TWI729135B - 編碼裝置、解碼裝置、編碼方法及解碼方法 - Google Patents

編碼裝置、解碼裝置、編碼方法及解碼方法 Download PDF

Info

Publication number
TWI729135B
TWI729135B TW106116488A TW106116488A TWI729135B TW I729135 B TWI729135 B TW I729135B TW 106116488 A TW106116488 A TW 106116488A TW 106116488 A TW106116488 A TW 106116488A TW I729135 B TWI729135 B TW I729135B
Authority
TW
Taiwan
Prior art keywords
aforementioned
information
data string
arithmetic coding
bit string
Prior art date
Application number
TW106116488A
Other languages
English (en)
Other versions
TW201806392A (zh
Inventor
西孝啓
遠間正真
安倍清史
Original Assignee
美商松下電器（美國）知識產權公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商松下電器（美國）知識產權公司 filed Critical 美商松下電器（美國）知識產權公司
Publication of TW201806392A publication Critical patent/TW201806392A/zh
Application granted granted Critical
Publication of TWI729135B publication Critical patent/TWI729135B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一種編碼裝置，是對圖像資訊進行編碼的編碼裝置，並具備記憶體、及可對記憶體進行存取的電路，其中，可對記憶體進行存取的電路是從圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出位元串，該位元串包含二值化資料串，且包含顯示對於二值化資料串是否適用算術編碼的適用資訊，在位元串的輸出中，包含未適用算術編碼的二值化資料串，且輸出將下述資訊作為適用資訊而包含的位元串，其中該資訊為顯示對於二值化資料串未適用算術編碼的資訊。

Description

編碼裝置、解碼裝置、編碼方法及解碼方法
發明領域 本發明是有關於一種將圖像資訊編碼的編碼裝置等。
發明背景 在以往的編碼方式之H.265中，為了有效率地將圖像資訊編碼，所使用的是算術編碼。 先前技術文獻
非專利文獻 非專利文獻1：H.265(ISO/IEC 23008-2 HEVC(High Efficiency Video Coding，高效率視訊編碼))
發明概要 發明欲解決之課題 但是，會有因算術編碼或算術解碼產生的處理延遲，而難以在短時間內進行圖像資訊的編碼或解碼之情況。
於是，本發明提供一種編碼裝置，其可以支援因算術編碼等產生的處理延遲之削減。 用以解決課題之手段
本發明的一態樣之編碼裝置，是對圖像資訊進行編碼的編碼裝置，其具備記憶體、及可對前述記憶體進行存取的電路，其中，可對前述記憶體進行存取的前述電路是從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出位元串，該位元串包含前述二值化資料串，且包含有顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，在前述位元串的輸出中包含有未適用前述算術編碼的前述二值化資料串，且輸出將下述資訊作為前述適用資訊而包含的前述位元串，其中該資訊為顯示對於前述二值化資料串未適用前述算術編碼的資訊。
再者，這些全面性的或具體的態樣可以藉由系統、裝置、方法、積體電路、電腦程式、或電腦可讀取的CD-ROM等非暫時的記錄媒體來實現，也可以藉由系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。 發明效果
在此，本發明的一態樣之編碼裝置等，可以支援因算術編碼等產生的處理延遲之削減。
用以實施發明之形態 (作為本發明之基礎的知識見解) 在以往的編碼方式之H.265中，為了有效率地將圖像資訊編碼，所使用的是算術編碼。具體來說，所採用的是被稱為CABAC的上下文參考之適應性二值算術編碼方式。
例如，在上下文參考之適應性二值算術編碼方式中，是藉由二值化，將多值訊號轉換為以0或1表現之值的資料串之二值化資料串。並且，依照資料種類等上下文從預定的複數個發生機率之中選擇0或1的發生機率，且依照所選擇的發生機率來對二值化資料串適用二值算術編碼。並且，依照包含於二值化資料串的0或1之值來更新發生機率。
亦即，在上下文參考之適應性二值算術編碼方式中，是依照可變的發生機率來進行二值算術編碼。又，在上下文參考之適應性二值算術編碼方式中，是針對特定的資料種類等，並依照固定的發生機率來進行二值算術編碼。
藉由這種算術編碼，可以得到高的編碼效率。換言之，藉由這種算術編碼，可以得到高的壓縮率。
但是，在這種算術編碼以及對應於這種算術編碼的算術解碼中，是使用複雜的處理，而會產生處理延遲。因此，要在短時間內進行圖像資訊的編碼或解碼是有困難的。
於是，本發明的一態樣之編碼裝置，是對圖像資訊進行編碼的編碼裝置，其具備記憶體、及可對前述記憶體進行存取的電路，可對前述記憶體進行存取的前述電路是從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出位元串，該位元串包含前述二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，在前述位元串的輸出中包含未適用前述算術編碼的前述二值化資料串，且輸出將下述資訊作為前述適用資訊而包含的前述位元串：顯示對於前述二值化資料串未適用前述算術編碼的資訊。
藉此，編碼裝置即可以跳過算術編碼。因此，編碼裝置可以支援因算術編碼所產生的處理延遲之削減。又，編碼裝置可以有效地活用與算術編碼有關的二值化之資源。又，編碼裝置可以輸出可藉由適用資訊識別算術編碼的適用狀態之位元串。
例如，前述電路亦可切換如下的第1動作及第2動作：(i)第1動作是在前述位元串的輸出中包含適用前述算術編碼的前述二值化資料串，且輸出將下述資訊作為前述適用資訊而包含的前述位元串：顯示對於前述二值化資料串適用前述算術編碼的資訊；及(ii)第2動作是在前述位元串的輸出中包含未適用前述算術編碼的前述二值化資料串，且輸出將下述資訊作為前述適用資訊而包含的前述位元串：顯示對於前述二值化資料串未適用前述算術編碼的資訊。
藉此，編碼裝置可以適應地切換是否進行算術編碼，而可以適應地跳過算術編碼。
又，例如，前述電路亦可輸出包含前述適用資訊的前述位元串，且該適用資訊是以包含1個以上的圖片之單位來全面性地顯示對於前述二值化資料串是否適用前述算術編碼之資訊。
藉此，編碼裝置即可以抑制與適用資訊有關的編碼量及處理量之增加。
又，本發明的一態樣之編碼裝置，是對圖像資訊進行編碼的編碼裝置，該編碼裝置亦可具備記憶體、及可對前述記憶體進行存取的電路，可對前述記憶體進行存取的前述電路是從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出包含前述二值化資料串的位元串，且可切換如下的第1動作及第2動作：(i)第1動作是在前述位元串的輸出中，輸出包含適用前述算術編碼的前述二值化資料串之前述位元串；及(ii)第2動作是在前述位元串的輸出中，輸出包含未適用前述算術編碼的前述二值化資料串之前述位元串。
藉此，編碼裝置可以適應地切換是否進行算術編碼，而可以適應地跳過算術編碼。因此，編碼裝置可以支援因算術編碼所產生的處理延遲之削減。又，編碼裝置可以有效地活用與算術編碼有關的二值化之資源。
例如，前述電路亦可輸出前述位元串，該位元串包含前述二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，而可切換如下之前述第1動作及前述第2動作：(i)前述第1動作是在前述位元串的輸出中包含適用前述算術編碼的前述二值化資料串，且輸出將下述資訊作為前述適用資訊而包含的前述位元串：顯示對於前述二值化資料串適用前述算術編碼的資訊；及(ii)前述第2動作是在前述位元串的輸出中包含未適用前述算術編碼的前述二值化資料串，且輸出將下述資訊作為前述適用資訊而包含的前述位元串：顯示對於前述二值化資料串未適用前述算術編碼的資訊。
藉此，編碼裝置可以輸出可藉由適用資訊識別算術編碼的適用狀態之位元串。
又，例如，前述電路亦可用包含1個以上的圖片之單位來全面性地切換前述第1動作與前述第2動作。
藉此，編碼裝置即可以抑制與算術編碼的適用狀態之切換有關的處理量之增加。
在此，本發明的一態樣之解碼裝置，是對圖像資訊進行解碼的解碼裝置，並具備記憶體、及可對前述記憶體進行存取的電路，可對前述記憶體進行存取的前述電路會取得位元串，該位元串包含從前述圖像資訊中依照用於算術編碼的二值化而導出的二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，並從作為包含於前述位元串之前述二值化資料串且未適用前述算術編碼的前述二值化資料串中導出前述圖像資訊，其中該位元串是將下述資訊作為前述適用資訊而包含：顯示對於前述二值化資料串未適用前述算術編碼的資訊。
藉此，解碼裝置即可以跳過算術解碼。因此，解碼裝置可以支援因算術解碼所產生的處理延遲之削減。又，解碼裝置可以有效地活用與算術解碼有關的逆二值化之資源。又，解碼裝置可以從可藉由適用資訊識別算術編碼的適用狀態之位元串中導出圖像資訊。
例如，前述電路亦可切換如下的第1動作及第2動作：(i)第1動作是在前述圖像資訊的導出中，從作為包含於前述位元串的前述二值化資料串且適用前述算術編碼的前述二值化資料串中導出前述圖像資訊，其中該位元串是將下述資訊作為前述適用資訊而包含：顯示對於前述二值化資料串適用前述算術編碼的資訊；及(ii)第2動作是在前述圖像資訊的導出中，從作為包含於前述位元串的前述二值化資料串且未適用前述算術編碼的前述二值化資料串中導出前述圖像資訊，其中該位元串是將下述資訊作為前述適用資訊而包含：顯示對於前述二值化資料串未適用前述算術編碼的資訊。
藉此，解碼裝置即可以適應地切換是否進行算術解碼，而可以適應地跳過算術解碼。
又，例如，前述電路亦可取得包含前述適用資訊的前述位元串，且該適用資訊是以包含1個以上的圖片之單位來全面性地顯示對於前述二值化資料串是否適用前述算術編碼之資訊。
藉此，解碼裝置即可以抑制與適用資訊有關的編碼量及處理量之增加。
又，本發明的一態樣之解碼裝置，是對圖像資訊進行解碼的解碼裝置，該解碼裝置亦可具備記憶體、及可對前述記憶體進行存取的電路，可對前述記憶體進行存取的前述電路會取得包含從前述圖像資訊中依照用於算術編碼的二值化而導出的二值化資料串的位元串，且從前述二值化資料串中導出前述圖像資訊，並可切換如下的第1動作及第2動作：(i)第1動作是在前述圖像資訊的導出中，從作為包含於前述位元串的前述二值化資料串且適用前述算術編碼的前述二值化資料串中導出前述圖像資訊；及(ii)第2動作是在前述圖像資訊的導出中，從作為包含於前述位元串的前述二值化資料串且未適用前述算術編碼的前述二值化資料串中導出前述圖像資訊。
藉此，解碼裝置即可以適應地切換是否進行算術解碼，而可以適應地跳過算術解碼。因此，解碼裝置可以支援因算術解碼所產生的處理延遲之削減。又，解碼裝置可以有效地活用與算術解碼有關的逆二值化之資源。
例如，前述電路亦可取得前述位元串，該位元串包含前述二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼之適用資訊，並可切換如下的前述第1動作及前述第2動作：(i)前述第1動作是在前述圖像資訊的導出中，從作為包含於前述位元串的前述二值化資料串且適用前述算術編碼的前述二值化資料串中導出前述圖像資訊，其中該位元串是將下述資訊作為前述適用資訊而包含：顯示對於前述二值化資料串適用前述算術編碼的資訊；及(ii)前述第2動作是在前述圖像資訊的導出中，從作為包含於前述位元串的前述二值化資料串且未適用前述算術編碼的前述二值化資料串中導出前述圖像資訊，其中該位元串是將下述資訊作為前述適用資訊而包含：顯示對於前述二值化資料串未適用前述算術編碼的資訊。
藉此，解碼裝置可以取得可藉由適用資訊識別算術編碼的適用狀態之位元串，並導出圖像資訊。
又，例如，前述電路亦可用包含1個以上的圖片之單位來全面性地切換前述第1動作與前述第2動作。
藉此，解碼裝置即可以抑制與算術編碼的適用狀態之切換有關的處理量之增加。
又，本發明的一態樣之編碼方法，是對圖像資訊進行編碼的編碼方法，其是從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出位元串，該位元串包含前述二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，在前述位元串的輸出中包含未適用前述算術編碼的前述二值化資料串，且輸出將下述資訊作為前述適用資訊而包含的前述位元串：顯示對於前述二值化資料串未適用前述算術編碼的資訊。
藉此，執行此編碼方法的裝置等即可以跳過算術編碼。因此，執行此編碼方法的裝置等可以支援因算術編碼所產生的處理延遲之削減。又，執行此編碼方法的裝置等可以有效地活用與算術編碼有關的二值化之資源。又，執行此編碼方法的裝置等可以輸出可藉由適用資訊來識別算術編碼的適用狀態之位元串。
又，本發明的一態樣之編碼方法，是對圖像資訊進行編碼的編碼方法，且該編碼方法亦可從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出包含前述二值化資料串的位元串，且可切換如下的第1動作及第2動作：(i)第1動作是在前述位元串的輸出中，輸出包含適用前述算術編碼的前述二值化資料串之前述位元串；及(ii)第2動作是在前述位元串的輸出中，輸出包含未適用前述算術編碼的前述二值化資料串之前述位元串。
藉此，執行此編碼方法的裝置等即可以適應地切換是否進行算術編碼，而可以適應地跳過算術編碼。因此，執行此編碼方法的裝置等可以支援因算術編碼所產生的處理延遲之削減。又，執行此編碼方法的裝置等可以有效地活用與算術編碼有關的二值化之資源。
又，本發明的一態樣之解碼方法，是對圖像資訊進行解碼的解碼方法，其是取得位元串，該位元串包含從前述圖像資訊中依照用於算術編碼的二值化而導出的二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，並從作為包含於前述位元串之前述二值化資料串且未適用前述算術編碼的前述二值化資料串中導出前述圖像資訊，其中該位元串是將下述資訊作為前述適用資訊而包含：顯示對於前述二值化資料串未適用前述算術編碼的資訊。
藉此，執行此解碼方法的裝置等即可以跳過算術解碼。因此，執行此解碼方法的裝置等可以支援因算術解碼所產生的處理延遲之削減。又，執行此解碼方法的裝置等可以有效地活用與算術解碼有關的逆二值化之資源。又，執行此解碼方法的裝置等可以取得可藉由適用資訊來識別算術編碼的適用狀態之位元串，並導出圖像資訊。
又，本發明的一態樣之解碼方法，是對圖像資訊進行解碼的解碼方法，該解碼方法亦可取得包含從前述圖像資訊中依照用於算術編碼的二值化而導出的二值化資料串之位元串，且從前述二值化資料串中導出前述圖像資訊，並可切換如下的第1動作及第2動作：(i)第1動作是在前述圖像資訊的導出中，從作為包含於前述位元串的前述二值化資料串且適用前述算術編碼的前述二值化資料串中導出前述圖像資訊；及(ii)第2動作是在前述圖像資訊的導出中，從作為包含於前述位元串的前述二值化資料串且未適用前述算術編碼的前述二值化資料串中導出前述圖像資訊。
藉此，執行此解碼方法的裝置等即可以適應地切換是否進行算術解碼，而可以適應地跳過算術解碼。因此，執行此解碼方法的裝置等可以支援因算術解碼所產生的處理延遲之削減。又，執行此解碼方法的裝置等可以有效地活用與算術解碼有關的逆二值化之資源。
此外，這些全面性性的或具體的態樣可以藉由系統、裝置、方法、積體電路、電腦程式、或電腦可讀取的CD-ROM等非暫時的記錄媒體來實現，也可以藉由系統、裝置、方法、積體電路、電腦程式、及記錄媒體的任意組合來實現。
以下，將參照圖式來具體地說明實施形態。
再者，以下說明的實施形態都是顯示全面性的或具體的例子之實施形態。以下實施形態所示的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等只是一個例子，並非用來限定請求範圍的主旨。又，以下的實施形態的構成要素之中，針對沒有記載在表示最上位概念之獨立請求項中的構成要素，是作為任意之構成要素來說明。 (實施形態1) [編碼裝置之概要]
首先，說明實施形態1之編碼裝置的概要。圖1是顯示實施形態1之編碼裝置100的功能構成之方塊圖。編碼裝置100是以區塊單位對動態圖像/圖像進行編碼的動態圖像/圖像編碼裝置。
如圖1所示，編碼裝置100是以區塊單位對圖像進行編碼的裝置，並具備分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、區塊記憶體118、環路濾波部120、框記憶體122、框內預測部124、框間預測部126、及預測控制部128。
編碼裝置100可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、環路濾波部120、框內預測部124、框間預測部126及預測控制部128而發揮功能。又，編碼裝置100也可以作為對應於分割部102、減法部104、轉換部106、量化部108、熵編碼部110、逆量化部112、逆轉換部114、加法部116、環路濾波部120、框內預測部124、框間預測部126及預測控制部128的1個以上之專用的電子電路來實現。
以下，針對包含在編碼裝置100的各構成要素來進行說明。 [分割部]
分割部102是將包含在輸入動態圖像的各圖片分割成複數個區塊，且將各區塊輸出至減法部104。例如，分割部102首先可將圖片分割為固定尺寸(例如128×128)的區塊。此固定尺寸的區塊被稱為編碼樹單元(CTU)。並且，分割部102會根據遞迴的四元樹(quadtree)及/或二元樹(binary tree)區塊分割，而將各個固定尺寸的區塊分割成可變尺寸(例如64×64以下)的區塊。此可變尺寸的區塊可稱為編碼單元(CU)、預測單元(PU)或轉換單元(TU)。再者，在本實施形態中，並不需要區別CU、PU及TU，圖片內的一部分或全部的區塊成為CU、PU、TU的處理單位亦可。
圖2是顯示實施形態1之區塊分割的一例之圖。在圖2中，實線是表示藉由四元樹區塊分割的區塊邊界，而虛線是表示藉由二元樹區塊分割的區塊邊界。
在此，區塊10是128×128像素的正方形區塊(128×128區塊)。此128×128區塊10首先被分割成4個正方形的64×64區塊(四元樹區塊分割)。
左上的64×64區塊會進一步地被垂直地分割成2個矩形的32×64區塊，並將左邊的32×64區塊進一步垂直地分割成2個矩形的16×64區塊(二元樹區塊分割)。其結果是左上的64×64區塊被分割成2個的16×64區塊11、12、以及32×64區塊13。
右上的64×64區塊被水平地分割為2個矩形的64×32區塊14、15(二元樹區塊分割)。
左下的64×64區塊被分割為4個正方形的32×32區塊(四元樹區塊分割)。4個32×32區塊當中，將左上的區塊及右下的區塊進一步地分割。左上的32×32區塊被垂直地分割成2個矩形的16×32區塊，且將右邊的16×32區塊進一步水平地分割為2個16×16區塊(二元樹區塊分割)。右下的32×32區塊被水平地分割成2個32×16區塊(二元樹區塊分割)。其結果，可將左下的64×64區塊分割成：16×32區塊16、2個16×16區塊17、18、2個32×32區塊19、20、與2個32×16區塊21、22。
右下的64×64區塊23未被分割。
如上所述，在圖2中，區塊10是根據遞迴的四元樹及二元樹區塊分割，而被分割成13個可變尺寸的區塊11~23。這種分割被稱為QTBT(四元樹加二元樹區塊結構(quad-tree plus binary tree))分割。
再者，在圖2中，雖然是將1個區塊分割成4個或2個區塊(四元樹或二元樹區塊分割)，但分割並不限定於此。例如，亦可將1個區塊分割成3個區塊(三元樹區塊分割)。這種包含三元樹區塊分割的分割，被稱為MBT(多類型樹(multi type tree))分割。 [減法部]
減法部104是以由分割部102所分割的區塊單位來從原訊號(原樣本)減去預測訊號(預測樣本)。也就是說，減法部104會算出編碼對象區塊(以下，稱為當前區塊)的預測誤差(也可稱為殘差)。而且，減法部104會將算出的預測誤差輸出至轉換部106。
原訊號是編碼裝置100的輸入訊號，且是表示構成動態圖像的各圖片之圖像的訊號(例如亮度(luma)訊號及2個色差(chroma)訊號)。在以下，有時也會將表示圖像的訊號稱為樣本。 [轉換部]
轉換部106會將空間區域的預測誤差轉換成頻率區域的轉換係數，並將轉換係數輸出至量化部108。具體來說，轉換部106會例如對空間區域的預測誤差進行預定之離散餘弦轉換(DCT)或離散正弦轉換(DST)。
再者，轉換部106亦可從複數個轉換類型之中適應地選擇轉換類型，且使用與所選擇的轉換類型相對應之轉換基底函數(transform basis function)，來將預測誤差轉換成轉換係數。有時將這種轉換稱為EMT(外顯性多重核心轉換(explicit multiple core transform))或AMT(適應性多重轉換(adaptive multiple transform))。
複數個轉換類型包含例如DCT-II、DCT-V、DCT-VIII、DST-I及DST-VII。圖3是顯示對應於各轉換類型的轉換基底函數之表格。在圖3中N是表示輸入像素的數量。從這些複數個轉換類型之中的轉換類型之選擇可依例如預測的種類(框內預測(intra-prediction)及框間預測(inter-prediction))而定，亦可依框內預測模式而定。
這種顯示是否適用EMT或AMT的資訊(可稱為例如AMT旗標(AMT flag))及顯示所選擇的轉換類型的資訊是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他的層級(例如，序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。
又，轉換部106也可以將轉換係數(轉換結果)再轉換。有時將這種再轉換稱為AST(適應性二次轉換(adaptive secondary transform))或NSST(不可分的二次轉換(non-separable secondary transform))。例如，轉換部106會按包含在對應於框內預測誤差的轉換係數之區塊的每個子區塊(例如4×4子區塊)進行再轉換。顯示是否適用NSST的資訊以及與在NSST中所用的轉換矩陣相關的資訊是在CU層級被訊號化。再者，這些資訊的訊號化並不需限定於CU層級，也可以是其他的層級(例如，序列層級(sequence level)、圖片層級(picture level)、片段層級(slice level)、圖塊層級(tile level)或CTU層級)。 [量化部]
量化部108是對從轉換部106輸出的轉換係數進行量化。具體來說，量化部108是以預定的掃描順序掃描當前區塊的轉換係數，且根據與所掃描的轉換係數相對應之量化參數(QP)來對該轉換係數進行量化。並且，量化部108會將當前區塊之量化的轉換係數(以下，稱為量化係數)輸出到熵編碼部110及逆量化部112。
預定的順序是用於轉換係數的量化/逆量化之順序。例如，預定的掃描順序是以頻率的遞升順序(從低頻到高頻的順序)或遞降順序(從高頻到低頻的順序)來定義。
所謂量化參數是定義量化步階(量化寬度)的參數。例如，量化參數的值增加的話，會使量化步階也增加。也就是說，量化參數的值增加的話，會使量化誤差増大。 [熵編碼部]
熵編碼部110是藉由對從量化部108輸入之量化係數進行可變長度編碼，來生成編碼訊號(編碼位元流(bit stream))。具體來說，熵編碼部110是例如將量化係數二值化，而對二值訊號進行算術編碼。 [逆量化部]
逆量化部112是對從量化部108輸入之量化係數進行逆量化。具體來說，逆量化部112是以預定的掃描順序對當前區塊的量化係數進行逆量化。並且，逆量化部112會將當前區塊之逆量化的轉換係數輸出到逆轉換部114。 [逆轉換部]
逆轉換部114是藉由對從逆量化部112輸入之轉換係數進行逆轉換，來復原預測誤差。具體來說，逆轉換部114是藉由對轉換係數進行與轉換部106的轉換對應之逆轉換，來復原當前區塊的預測誤差。並且，逆轉換部114會將復原的預測誤差輸出至加法部116。
再者，由於復原的預測誤差會因量化而失去資訊，因此和減法部104算出的預測誤差並不一致。亦即，復原的預測誤差中包含有量化誤差。 [加法部]
加法部116會對來自逆轉換部114之輸入的預測誤差、與來自預測控制部128之輸入的預測訊號進行加法運算，藉此再構成當前區塊。而且，加法部116會將再構成的區塊輸出到區塊記憶體118及環路濾波部120。有時也將再構成區塊稱為局部解碼區塊(local decoding block)。 [區塊記憶體]
區塊記憶體118是用於保存在框內預測中所參照的區塊且也是編碼對象圖片(以下，稱為當前圖片)內的區塊的儲存部。具體來說，區塊記憶體118會保存從加法部116輸出的再構成區塊。 [環路濾波部]
環路濾波部120會對藉由加法部116再構成的區塊施行環路濾波，且將已進行濾波的再構成區塊輸出到框記憶體122。所謂環路濾波器是在編碼環路內使用的濾波器(環內濾波器(In-loop filter))，且包含例如去區塊濾波器(Deblocking Filter，DF)、取樣自適應偏移(Sample Adaptive Offset，SAO)及調適性環路濾波器(Adaptive Loop Filter，ALF)等。
在ALF中，可適用去除編碼失真用的最小平方誤差濾波器，例如可適用按當前區塊內的2×2子區塊的每一個，根據局部的梯度(gradient)的方向及活動性(activity)來從複數個濾波器之中選擇的1個濾波器。
具體來說，首先，可將子區塊(例如2×2子區塊)分類成複數個類別(class)(例如15個或25個類別)。子區塊的分類是根據梯度的方向及活動性來進行。例如，可利用梯度的方向值D(例如0~2或0~4)與梯度的活性值A(例如0~4)來算出分類值C(例如C=5D＋A)。並且，根據分類值C，來將子區塊分類成複數個類別(例如15個或25個類別)。
梯度的方向值D可藉由例如比較複數個方向(例如水平、垂直及2個對角方向)的梯度來導出。又，梯度的活性值A是藉由例如對複數個方向的梯度作加法運算，並將加法結果量化來導出。
根據這種分類的結果，即可從複數個濾波器之中決定子區塊用的濾波器。
作為在ALF中所用的濾波器之形狀，可利用的有例如圓對稱形狀。圖4A~圖4C是顯示在ALF中所用的濾波器之形狀的複數個例子之圖。圖4A是顯示5×5菱形(diamond)形狀濾波器，圖4B是顯示7×7菱形形狀濾波器，圖4C是顯示9×9菱形形狀濾波器。顯示濾波器的形狀之資訊是在圖片層級被訊號化。再者，顯示濾波器的形狀之資訊的訊號化並不需要限定於圖片層級，亦可為其他的層級(例如，序列層級、片段層級、圖塊層級、CTU層級或CU層級)。
ALF的開啟/關閉(on/off)是在例如圖片層級或CU層級決定的。例如，針對亮度是在CU層級來決定是否適用ALF，而針對色差則是在圖片層級來決定是否適用ALF。顯示ALF的開啟/關閉之資訊是在圖片層級或CU層級被訊號化。再者，顯示ALF的開啟/關閉之資訊的訊號化並不需要限定於圖片層級或CU層級，亦可為其他的層級(例如，序列層級、片段層級、圖塊層級或CTU層級)。
可選擇的複數個濾波器(到例如15個或25個為止的濾波器)之係數組是在圖片層級被訊號化。再者，係數組的訊號化並不需要限定於圖片層級，也可以是其他的層級(例如序列層級、片段層級、圖塊層級、CTU層級、CU層級或子區塊層級)。 [框記憶體]
框記憶體122是用於保存於框間預測所用的參照圖片之儲存部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體122會保存已藉由環路濾波部120而被濾波的再構成區塊。 [框內預測部]
框內預測部124是參照已保持於區塊記憶體118的當前圖片內之區塊來進行當前區塊的框內預測(也稱為畫面內預測)，藉此生成預測訊號(框內預測訊號)。具體來說，框內預測部124是參照與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此生成框內預測訊號，並將框內預測訊號輸出至預測控制部128。
例如，框內預測部124會利用事先規定的複數個框內預測模式當中的1個來進行框內預測。複數個框內預測模式包含1個以上之非方向性預測模式、以及複數個方向性預測模式。
1個以上之非方向性預測模式包含例如H.265/HEVC(高效率視訊編碼(High-Efficiency Video Coding))規格(非專利文獻1)所規定的平面(Planar)預測模式及DC預測模式。
複數個方向性預測模式包含例如H.265/HEVC規格所規定的33個方向之預測模式。再者，複數個方向性預測模式亦可除了33個方向之外更進一步地包含有32個方向的預測模式(合計65個方向性預測模式)。圖5是顯示框內預測中的67個框內預測模式(2個非方向性預測模式及65個方向性預測模式)之圖。實線箭頭是表示以H.265/HEVC規格所規定的33個方向，虛線箭頭是表示追加的32個方向。
再者，在色差區塊的框內預測中，亦可參照亮度區塊。也就是說，也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。有時可將這種框內預測稱為CCLM(交叉成分線性模型(cross-component linear model))預測。這種參照亮度區塊的色差區塊之框內預測模式(例如可稱為CCLM模式)，也可以作為色差區塊的框內預測模式的一個來加入。
框內預測部124亦可根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。這種伴隨補正的框內預測有時被稱為PDPC(獨立位置框內預測組合(position dependent intra prediction combination))。顯示有無PDPC的適用之資訊(被稱為例如PDPC旗標)是在例如CU層級被訊號化。再者，此資訊的訊號化並不需要限定於CU層級，也可以是其他的層級(例如序列層級、圖片層級、片段層級、圖塊層級或CTU層級)。 [框間預測部]
框間預測部126會參照保存在框記憶體122的參照圖片且也是與當前圖片不同的參照圖片，來進行當前區塊的框間預測(也稱為畫面間預測)，藉此生成預測訊號(框間預測訊號)。框間預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)之單位來進行。例如，框間預測部126是針對當前區塊或子區塊而在參照圖片內進行運動搜尋(運動估計(motion estimation))。而且，框間預測部126是利用以運動搜尋所得到的運動資訊(例如運動向量)來進行運動補償，藉此生成當前區塊或子區塊的框間預測訊號。並且，框間預測部126會將生成的框間預測訊號輸出至預測控制部128。
使用於運動補償的運動資訊會被訊號化。在運動向量的訊號化中，亦可使用運動向量預測子(motion vector predictor)。也就是說，亦可將運動向量與運動向量預測子之間的差分訊號化。
再者，不只是由運動搜尋得到的當前區塊之運動資訊，亦可連相鄰區塊的運動資訊也利用，來生成框間預測訊號。具體來說，藉由將根據由運動搜尋得到的運動資訊之預測訊號、以及根據相鄰區塊的運動資訊之預測訊號作加權相加，而以當前區塊內的子區塊單位來生成框間預測訊號亦可。這種框間預測(運動補償)有時被稱為OBMC(重疊分塊運動補償，overlapped block motion compensation)。
在這種OBMC模式中，顯示OBMC用的子區塊之尺寸的資訊(例如被稱為OBMC區塊尺寸)是在序列層級被訊號化。又，顯示是否適用OBMC模式的資訊(例如被稱為OBMC旗標)是在CU層級被訊號化。再者，這些資訊的訊號化之層級並不需要限定於序列層級及CU層級，亦可為其他的層級(例如圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。
再者，亦可不將運動資訊訊號化，而在解碼裝置側導出。例如，也可以使用H.265/HEVC規格所規定的合併模式(merge mode)。又，亦可藉由在例如解碼裝置側進行運動搜尋來導出運動資訊。在此情況下，可在不使用當前區塊的像素值的情形下進行運動搜尋。
在此，針對在解碼裝置側進行運動搜尋的模式進行說明。有時將在此解碼裝置側進行運動搜尋的模式稱為PMMVD(型樣匹配運動向量導出，pattern matched motion vector derivation)模式、或FRUC(提升框速轉換，flame rate up-conversion)模式。
首先，將包含於合併清單的候補的1個選擇作為由型樣匹配進行之搜尋的開始位置。使用第1型樣匹配或第2型樣匹配來作為型樣匹配。有時將第1型樣匹配及第2型樣匹配分別稱為雙向匹配(bilateral matching)及模板匹配(template matching)。
在第1型樣匹配中，是在為不同的2個參照圖片內的2個區塊且也是沿著當前區塊的運動軌跡(motion trajectory)的2個區塊之間進行型樣匹配。
圖6是用來說明沿著運動軌跡的2個區塊間的型樣匹配(雙向匹配)之圖。如圖6所示，在第1型樣匹配中，是在為沿著當前區塊(Cur block)的運動軌跡之2個區塊且也是不同的2個參照圖片(Ref0、Ref1)內的2個區塊之配對中，搜尋最匹配的配對，藉此導出2個運動向量(MV0、MV1)。
在連續的運動軌跡之假設之下，指出2個參照區塊的運動向量(MV0、MV1)會相對於當前圖片(Cur Pic)與2個參照圖片(Ref0、Ref1)之間的時間上之距離(TD0、TD1)成比例。例如，當前圖片在時間上位於2個參照圖片之間，且從當前圖片到2個參照圖片的時間上之距離為相等的情況下，在第1型樣匹配中，會導出鏡像對稱的雙向之運動向量。
在第2型樣匹配中，是在當前圖片內的模板(在當前圖片內與當前區塊相鄰的區塊(例如上及/或左的相鄰區塊))與參照圖片內的區塊之間進行型樣匹配。
圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。如圖7所示，在第2型樣匹配中，是藉由在參照圖片(Ref0)內搜尋與在當前圖片(Cur Pic)內相鄰於當前區塊(Cur block)的區塊最匹配的區塊，以導出當前區塊的運動向量。
這種顯示是否適用FRUC模式的資訊(例如可稱為FRUC旗標)是在CU層級被訊號化。又，在適用FRUC模式的情況下(例如FRUC旗標為真的情況)，將顯示型樣匹配的方法(第1型樣匹配或第2型樣匹配)之資訊(例如可稱為FRUC模式旗標)在CU層級訊號化。再者，這些資訊的訊號化並不需要限定於CU層級，亦可為其他的層級(例如，序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。
再者，也可以藉由與運動搜尋不同的方法，在解碼裝置側導出運動資訊。例如，亦可根據假設了等速直線運動的模型，以像素單位使用周邊像素值來算出運動向量的補正量。
在此，針對根據假設了等速直線運動的模型來導出運動向量的模式進行說明。有時將此模式稱為BIO(雙向光流，bi-directional optical flow)模式。
圖8是用於說明假設了等速直線運動的模型之圖。在圖8中，(vx ，vy )是表示速度向量，τ0 、τ1 各自表示當前圖片(Cur Pic)與2個參照圖片(Ref0 ，Ref1 )之間的時間上之距離。(MVx0 ，MVy0 )是表示對應於參照圖片Ref0 的運動向量，(MVx1 ，MVy1 )表示對應於參照圖片Ref1 的運動向量。
此時在速度向量(vx ，vy )的等速直線運動之假設之下，是將(MVx0 ，MVy0 )及(MVx1 ，MVy1 )各自表示為(vx τ0 ，vy τ0 )及(-vx τ1 ，-vy τ1 )，而使以下的光流等式(1)成立。 [數學式1]
Figure 02_image001
在此，I(k) 表示運動補償後的參照圖像k(k=0，1)之亮度值。此光流等式是表示下述的(i)、(ii)與(iii)之和等於零：(i)亮度值的時間微分、(ii)水平方向的速度及參照圖像的空間梯度之水平成分的積、及(iii)垂直方向的速度及參照圖像的空間梯度之垂直成分的積。根據此光流等式與赫米內插法公式(Hermite interpolation)的組合，可將從合併清單等得到的區塊單位之運動向量以像素單位進行補正。
再者，亦可藉由與根據假設了等速直線運動的模型之運動向量的導出不同之方法，在解碼裝置側導出運動向量。例如，亦可根據複數個相鄰區塊的運動向量而以子區塊單位來導出運動向量。
在此，針對根據複數個相鄰區塊的運動向量而以子區塊單位來導出運動向量的模式進行說明。有時將此模式稱為仿射運動補償預測(affine motion compensation prediction)。
圖9是用於說明根據複數個相鄰區塊的運動向量之子區塊單位的運動向量之導出的圖。在圖9中，當前區塊包含16個4×4子區塊。在此，是根據相鄰區塊的運動向量來導出當前區塊的左上角控制點之運動向量v0 ，且根據相鄰子區塊的運動向量來導出當前區塊的右上角控制點之運動向量v1 。並且，使用2個運動向量v0 及v1 ，藉由以下的式(2)，來導出當前區塊內的各子區塊之運動向量(vx ，vy )。 [數學式2]
Figure 02_image003
在此，x及y各自表示子區塊的水平位置及垂直位置，且w表是示預定的加權係數。
在這種仿射運動補償預測模式中，左上及右上角控制點的運動向量之導出方法也可以包含幾個不同的模式。顯示這種仿射運動補償預測模式的資訊(例如可稱為仿射旗標)是在CU層級被訊號化。再者，顯示此仿射運動補償預測模式的資訊之訊號化並不需要限定於CU層級，也可以是其他的層級(例如序列層級、圖片層級、片段層級、圖塊層級、CTU層級或子區塊層級)。 [預測控制部]
預測控制部128會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至減法部104及加法部116。 [解碼裝置的概要]
接著，說明可對從上述編碼裝置100輸出的編碼訊號(編碼位元流)進行解碼之解碼裝置的概要。圖10是顯示實施形態1之解碼裝置200的功能構成之方塊圖。解碼裝置200是以區塊單位對動態圖像/圖像進行解碼的動態圖像/圖像解碼裝置。
如圖10所示，解碼裝置200具備熵解碼部202、逆量化部204、逆轉換部206、加法部208、區塊記憶體210、環路濾波部212、框記憶體214、框內預測部216、框間預測部218、及預測控制部220。
解碼裝置200可藉由例如通用處理器及記憶體來實現。在此情況下，藉由處理器執行保存在記憶體的軟體程式時，處理器是作為熵解碼部202、逆量化部204、逆轉換部206、加法部208、環路濾波部212、框內預測部216、框間預測部218及預測控制部220而發揮功能。又，解碼裝置200也可以作為對應於熵解碼部202、逆量化部204、逆轉換部206、加法部208、環路濾波部212、框內預測部216、框間預測部218及預測控制部220的1個以上之專用的電子電路來實現。
以下，針對包含在解碼裝置200的各構成要素來進行說明。 [熵解碼部]
熵解碼部202是對編碼位元流進行熵解碼。具體來說，熵解碼部202是例如從編碼位元流算術解碼出二值訊號。而且，熵解碼部202會對二值訊號進行多值化(debinarize)。藉此，熵解碼部202會以區塊單位將量化係數輸出至逆量化部204。 [逆量化部]
逆量化部204是對來自熵解碼部202的輸入之解碼對象區塊(以下，稱為當前區塊)之量化係數進行逆量化。具體來說，逆量化部204是針對當前區塊的量化係數的每一個，根據對應於該量化係數的量化參數，來對該量化係數進行逆量化。並且，逆量化部204會將當前區塊之已進行逆量化的量化係數(也就是轉換係數)輸出至逆轉換部206。 [逆轉換部]
逆轉換部206是藉由對來自逆量化部204的輸入之轉換係數進行逆轉換，以復原預測誤差。
在例如顯示已從編碼位元流解讀出的資訊為適用EMT或AMT之情形的情況下(例如AMT旗標為真)，逆轉換部206會根據顯示已解讀的轉換類型之資訊，來對當前區塊的轉換係數進行逆轉換。
又，在例如顯示已從編碼位元流解讀出的資訊為適用NSST之情形的情況下，逆轉換部206會對已轉換的轉換係數(轉換結果)進行再轉換。 [加法部]
加法部208會對來自逆轉換部206之輸入的預測誤差、與來自預測控制部220之輸入的預測訊號進行加法運算，藉此再構成當前區塊。而且，加法部208會將再構成的區塊輸出到區塊記憶體210及環路濾波部212。 [區塊記憶體]
區塊記憶體210是用於保存為在框內預測中參照的區塊且也是解碼對象圖片(以下，稱為當前圖片)內的區塊的儲存部。具體來說，區塊記憶體210會保存從加法部208輸出的再構成區塊。 [環路濾波部]
環路濾波部212會對藉由加法部208再構成的區塊施行環路濾波，且將已進行濾波的再構成區塊輸出到框記憶體214及顯示裝置等。
當顯示從編碼位元流解讀出的ALF之開啟/關閉的資訊顯示的是ALF之開啟的情況下，可根據局部的梯度之方向及活動性而從複數個濾波器之中選擇1個濾波器，且將所選擇的濾波器適用於再構成區塊。 [框記憶體]
框記憶體214是用於保存於框間預測所用的參照圖片之儲存部，有時也被稱為框緩衝器(frame buffer)。具體來說，框記憶體214會保存已藉由環路濾波部212而被濾波的再構成區塊。 [框內預測部]
框內預測部216是根據已從編碼位元流解讀出的框內預測模式，並參照保存於區塊記憶體210的當前圖片內之區塊來進行框內預測，藉此生成預測訊號(框內預測訊號)。具體來說，框內預測部216是參照與當前區塊相鄰的區塊之樣本(例如亮度值、色差值)來進行框內預測，藉此生成框內預測訊號，並將框內預測訊號輸出至預測控制部220。
再者，在色差區塊的框內預測中選擇參照亮度區塊的框內預測模式之情況下，框內預測部216也可以根據當前區塊的亮度成分，來預測當前區塊的色差成分。
又，已從編碼位元流解讀出的資訊顯示的是PDPC的適用的情況下，框內預測部216會根據水平/垂直方向的參照像素之梯度來補正框內預測後的像素值。 [框間預測部]
框間預測部218是參照保存於框記憶體214的參照圖片，來預測當前區塊。預測是以當前區塊或當前區塊內的子區塊(例如4×4區塊)之單位來進行。例如，框間預測部126會利用從編碼位元流所解讀出的運動資訊(例如運動向量)來進行運動補償，藉此生成當前區塊或子區塊的框間預測訊號，並將框間預測訊號輸出至預測控制部128。
再者，顯示從編碼位元流解讀出的資訊適用OBMC模式的情況下，框間預測部218會使用的不只有藉由運動搜尋所得到的當前區塊之運動資訊，還有相鄰區塊的運動資訊，來生成框間預測訊號。
又，顯示從編碼位元流解讀出的資訊適用FRUC模式的情況下，框間預測部218會依照從編碼流解讀出的型樣匹配之方法(雙向匹配或模板匹配)進行運動搜尋，以藉此導出運動資訊。並且，框間預測部218會使用已導出的運動資訊來進行運動補償。
又，在適用BIO模式的情況下，框間預測部218會根據假設了等速直線運動的模型來導出運動向量。又，於顯示從編碼位元流解讀出的資訊適用仿射運動補償預測模式的情況下，框間預測部218會根據複數個相鄰區塊的運動向量，以子區塊單位來導出運動向量。 [預測控制部]
預測控制部220會選擇框內預測訊號及框間預測訊號的任一個，且將所選擇的訊號作為預測訊號而輸出至加法部208。 [編碼裝置中的熵編碼部之詳細內容]
圖11是顯示實施形態1之編碼裝置100中的熵編碼部110之詳細的功能構成的方塊圖。熵編碼部110會藉由對於從量化部108輸出的量化係數來適用可變長度編碼，而生成位元串，並將所生成的位元串輸出。此位元串是對應於已編碼的圖像資訊，也被稱為編碼訊號、編碼位元流或編碼位元串。
在圖11的例子中，熵編碼部110具備二值化部132、切換部134、中間緩衝器136、算術編碼部138、切換部140及多工化部142。而且，熵編碼部110會生成位元串，且將所生成的位元串輸出，藉此將所生成的位元串保存到輸出緩衝器144。已保存到輸出緩衝器144的位元串會適當地由輸出緩衝器144輸出。熵編碼部110也可以包含有輸出緩衝器144。 [熵編碼部中的二值化部]
二值化部132是對量化係數等進行二值化。具體來說，二值化部132是將已量化的頻率轉換係數等轉換為例如以0或1來表現的值之資料串，且將所得到的資料串輸出。以下，將此資料串也稱為二值化資料串。又，藉由二值化部132進行的二值化，是用於算術編碼的二值化，更具體地來說是用於進行二值算術編碼的二值化。亦即，二值化部132是依照用於算術編碼的二值化來導出圖像資訊的二值化資料串。
再者，作為二值化的方式，有一元碼二值化(Unary binarization)、截斷型一元碼二值化(Truncated unary binarization)、一元碼/k次指數哥倫布碼組合之二值化(Unary / kth exponential Golomb combined binarization)、定長碼二值化(Fixed-length binarization)、及表格參照等。
又，例如，可藉由二值化部132中的二值化、及算術編碼部138中的算術編碼，來進行上下文參考之適應性二值算術編碼方式的熵編碼。上下文參考之適應性二值算術編碼方式也被稱為CABAC。藉由二值化部132所進行的二值化，也可以表現為用於上下文參考之適應性二值算術編碼方式的二值化。 [熵編碼部中的切換部]
切換部134及140是依照模式資訊來連動並動作，並切換對於二值化資料串是否適用算術編碼。例如，切換部134及140會依照從編碼裝置100之外部所給與的模式資訊，來切換對於二值化資料串是否適用算術編碼。模式資訊也可以由使用者或上位系統等作為指示來給與。
例如，此模式資訊會選擇性地顯示第1模式及第2模式。亦即，模式資訊會顯示從第1模式及第2模式之中所選擇的其中一個的模式。並且，可為例如，在第1模式中，對於二值化資料串適用算術編碼，而在第2模式中，對於二值化資料串不適用算術編碼。
具體來說，當模式資訊顯示第1模式的情況下，切換部134會將從二值化部132輸出的二值化資料串輸出至中間緩衝器136，藉此將二值化資料串保存在中間緩衝器136。而且，算術編碼部138會對於已保存於中間緩衝器136的二值化資料串適用算術編碼，而輸出已適用算術編碼的二值化資料串。切換部140會將從算術編碼部138所輸出的二值化資料串輸出至多工化部142。
另一方面，當模式資訊顯示第2模式的情況下，切換部134會將從二值化部132輸出的二值化資料串原樣地輸出至切換部140。並且，切換部140會將從切換部134所輸出的二值化資料串輸出至多工化部142。亦即，算術編碼被旁路。再者，為了避免與作為算術編碼的一態樣之旁路(bypass)算術編碼的混淆，會有將算術編碼旁路之作法表現為跳過算術編碼的情況。
模式資訊及模式也可以表現為延遲模式資訊及延遲模式。具體來說，第1模式是一般模式，第2模式是低延遲模式。並且，在第2模式中，會比第1模式更減少處理延遲。 [熵編碼部中的中間緩衝器]
中間緩衝器136是用於保存二值化資料串的儲存部，也被稱為中間記憶體。在算術編碼部138所進行的算術編碼中會產生延遲。又，延遲量會因二值化資料串的內容而有波動。可藉由中間緩衝器136來吸收延遲量的波動，以流暢地進行後續的處理。再者，將資料輸入至中間緩衝器136等之儲存部之作法，是對應於將資料儲存於儲存部，而從儲存部輸出資料之作法則是對應於從儲存部讀出資料。 [熵編碼部中的算術編碼部]
算術編碼部138會進行算術編碼。具體來說，算術編碼部138會讀出已保存在中間緩衝器136的二值化資料串，且對於二值化資料串適用算術編碼。算術編碼部138亦可對於二值化資料串，來適用對應於上下文參考之適應性二值算術編碼方式的算術編碼。
例如，算術編碼部138是依照資料種類等之上下文來選擇值的發生機率，且依照所選擇的發生機率來進行算術編碼，並依照算術編碼的結果來更新發生機率。也就是說，算術編碼部138是依照可變的發生機率來進行算術編碼。依照可變的發生機率所進行的算術編碼也被稱為上下文適應算術編碼。
又，算術編碼部138亦可針對特定的資料種類等，依照固定的發生機率來進行算術編碼。具體來說，算術編碼部138亦可依照50%的發生機率作為0或1的發生機率來進行算術編碼。根據固定的出現機率所進行的算術編碼也被稱為旁路算術編碼。 [熵編碼部中的多工化部]
多工化部142會對模式資訊與二值化資料串進行多工化，而生成包含模式資訊及二值化資料串的位元串。並且，多工化部142會藉由將位元串輸出至輸出緩衝器144，以將位元串保存於輸出緩衝器144。已保存在輸出緩衝器144的位元串可適當地由輸出緩衝器144輸出。亦即，多工化部142是透過輸出緩衝器144來輸出位元串。
例如，模式資訊作為上位的參數而包含在位元串中亦可。具體來說，模式資訊亦可包含在位元串中的SPS(序列參數組，Sequence parameter set)中，亦可包含在位元串中的PPS(圖片參數組，Picture parameter set)中，亦可包含在位元串中的片段標頭中。包含在位元串中的模式資訊是以1個以上的位元來表現。
而且，亦可將二值化資料串包含在片段資料中。在此，二值化資料串可為已適用算術編碼的二值化資料串，亦可為未適用算術編碼的二值化資料串。
又，包含在位元串中的模式資訊也可以表現為適用資訊，該適用資訊是顯示對於包含在位元串的二值化資料串是否適用算術編碼之資訊。換言之，模式資訊也可以作為顯示對於二值化資料串是否適用算術編碼的適用資訊，而包含在位元串中。此適用資訊會顯示位元串包含適用算術編碼的二值化資料串、或位元串包含未適用算術編碼的二值化資料串。
再者，以上位系統來交換模式資訊的情況下、或者在已預定有模式資訊的情況等中，模式資訊也可以不包含在位元串中。也就是說，在此情況下，也可以不進行多工化。 [輸出緩衝器]
輸出緩衝器144是用於保存位元串的儲存部，也被稱為CPB(Coded Picture Buffer：編碼圖片緩衝器)、或輸出記憶體。編碼裝置100對圖像資訊進行編碼所得到的位元串是保存在輸出緩衝器144中。而且，保存於輸出緩衝器144的位元串可適當地輸出，且與例如編碼音頻訊號等被多工化。 [編碼裝置中的熵解碼部之詳細內容]
圖12是顯示實施形態1之解碼裝置200中的熵解碼部202之詳細功能構成的方塊圖。熵解碼部202會對透過輸入緩衝器232輸入的位元串進行熵解碼，藉此導出量化係數等。此位元串是藉由例如編碼裝置100所生成的位元串，且可具有上述之資料構成。
在圖12的例子中，熵解碼部202具備分離部234、切換部236、算術解碼部238、中間緩衝器240、切換部242及逆二值化部244。熵解碼部202亦可包含有輸入緩衝器232。 [輸入緩衝器]
輸入緩衝器232是用於保存位元串的儲存部，也被稱為CPB或輸入記憶體。藉由解碼裝置200解碼的位元串會從例如編碼音頻訊號等分離，且保存至輸入緩衝器232。並且，解碼裝置200會讀出已保存在輸入緩衝器232中的位元串，並對位元串進行解碼。 [熵解碼部中的分離部]
分離部234會從輸入緩衝器232取得位元串，且從位元串中分離模式資訊與二值化資料串，並將模式資訊與二值化資料串輸出。也就是說，分離部234會透過輸入緩衝器232來取得包含模式資訊與二值化資料串的位元串，並將包含於位元串的模式資訊與二值化資料串輸出。二值化資料串可以是已適用算術編碼的二值化資料串，也可以是未適用算術編碼的二值化資料串。
如上所述，模式資訊也可以表現為適用資訊，該適用資訊是顯示對於包含在位元串的二值化資料串是否適用算術編碼之資訊。並且，以上位系統來交換模式資訊的情況下、或者在已預定有模式資訊的情況等中，模式資訊也可以不包含在位元串中。在此情況下，亦可不進行模式資訊的分離及輸出。又，模式資訊也可以從解碼裝置200的外部，具體來說是由使用者或上位系統等作為指示來給與。 [熵解碼部中的切換部]
切換部236及242是依照從分離部234等所得到的模式資訊來連動而動作，並切換對於二值化資料串是否適用算術解碼。例如，在模式資訊選擇性地顯示的第1模式及第2模式當中，在第1模式中是對於二值化資料串適用算術解碼，在第2模式中是對於二值化資料串不適用算術解碼。
具體來說，當模式資訊顯示第1模式的情況下，切換部236會將從分離部234所輸出的二值化資料串輸出至算術解碼部238。並且，算術解碼部238會對於二值化資料串適用算術解碼，且輸出已適用算術解碼的二值化資料串，藉此將已適用算術解碼的二值化資料串保存於中間緩衝器240。切換部242會適當地取得已保存在中間緩衝器240的二值化資料串，並將從中間緩衝器240取得的二值化資料串輸出至逆二值化部244。
另一方面，當模式資訊顯示第2模式的情況下，切換部236會將從分離部234輸出的二值化資料串原樣地輸出至切換部242。並且，切換部242會將從切換部236所輸出的二值化資料串輸出至逆二值化部244。也就是說，算術解碼會被旁路。再者，為了避免與作為算術編碼的一態樣之旁路(bypass)算術解碼的混淆，會有將算術解碼旁路之作法表現為跳過算術解碼的情況。 [熵解碼部中的算術解碼部]
算術解碼部238會進行算術解碼。具體來說，算術解碼部238會對於已適用算術編碼的二值化資料串適用算術解碼，且輸出已適用算術解碼的二值化資料串，藉此將已適用算術解碼的二值化資料串保存於中間緩衝器240。已適用算術解碼的二值化資料串會對應於未適用算術編碼之原本的二值化資料串。算術編碼部138亦可對於二值化資料串，來適用對應於上下文參考之適應性二值算術編碼方式的算術解碼。
例如，算術解碼部238會依照資料種類等之上下文來選擇值的發生機率，且依照所選擇的發生機率來進行算術解碼，並依照算術解碼的結果來更新發生機率。也就是說，算術解碼部238會依照可變的發生機率來進行算術解碼。根據可變的發生機率所進行的算術解碼也被稱為上下文適應算術解碼。
又，算術解碼部238亦可針對特定的資料種類等，依照固定的發生機率來進行算術解碼。具體來說，算術解碼部238亦可依照50%的發生機率作為0或1的發生機率來進行算術解碼。依照固定的發生機率所進行的算術解碼也被稱為旁路算術解碼。 [熵解碼部中的中間緩衝器]
中間緩衝器240是用於保存已被算術解碼的二值化資料串之儲存部，也被稱為中間記憶體。在算術解碼部238所進行的算術解碼中會產生延遲。又，延遲量會因二值化資料串的內容而有波動。可藉由中間緩衝器240來吸收延遲量的波動，以流暢地進行後續的處理。 [熵解碼部中的逆二值化部]
逆二值化部244是藉由對二值化資料串進行逆二值化，以導出量化係數等。具體來說，逆二值化部244是將例如以0或1來表現的值之二值化資料串，轉換成已量化的頻率轉換係數等，並將已量化的頻率轉換係數等輸出至逆量化部204。又，藉由逆二值化部244所進行的逆二值化，是對應於用於算術編碼的二值化之逆二值化，更具體地來說是對應於用於進行二值算術編碼的二值化之逆二值化。
又，例如，可藉由算術解碼部238中的算術解碼、及逆二值化部244中的逆二值化，來進行上下文參考之適應性二值算術編碼方式的熵解碼。亦即，逆二值化部244亦可進行依照上下文參考之適應性二值算術編碼方式的逆二值化。又，逆二值化也被稱為多值化。 [編碼解碼系統]
圖13是顯示實施形態1之包含編碼裝置100及解碼裝置200的編碼解碼系統300之功能構成的方塊圖。編碼解碼系統300具備傳送裝置150及接收裝置250，以進行圖像資訊的編碼、傳送、接收及解碼。傳送裝置150具備傳送控制部152、編碼裝置100及輸出緩衝器144，以進行圖像資訊的編碼及傳送。接收裝置250具備接收控制部252、輸入緩衝器232及解碼裝置200，以進行已編碼之圖像資訊的接收及解碼。
例如，圖像資訊的傳送，也就是圖像資訊的傳送與接收開始之前，在傳送裝置150與接收裝置250之間會進行有關於編碼解碼能力的資訊之交換。編碼解碼能力意味與圖像資訊的編碼及解碼相關聯之能力。藉此，可決定包含上述之第1模式或第2模式等的編碼方式。
在圖13的例子中，在圖像資訊的傳送與接收開始之前，傳送控制部152與接收控制部252會進行與編碼裝置100及解碼裝置200之編碼解碼能力有關的資訊之交換。並且，傳送控制部152與接收控制部252會決定包含第1模式或第2模式等的編碼方式。
例如，亦可依照可在編碼裝置100及解碼裝置200兩者中被支援的模式，將進行算術編碼的第1模式、或不進行算術編碼的第2模式，決定為使用於編碼及解碼的模式。在第1模式及第2模式兩者都被支援的情況下，也可以依照預定的優先順序，將第1模式或第2模式決定為使用於編碼及解碼的模式。
例如，在第1模式中，雖然會發生處理延遲，但可抑制編碼量的增加、或畫質的劣化。在第2模式中，雖然可抑制處理延遲，但會發生編碼量的增加、或畫質的劣化。因此，在抑制編碼量的增加或畫質的劣化為優先之環境中，亦可設為第1模式比第2模式更優先的模式來預定。又，在抑制處理延遲為優先的環境中，亦可設為第2模式比第1模式更優先的模式來預定。
傳送控制部152會對編碼裝置100通知已決定的編碼方式，且接收控制部252會對解碼裝置200通知已決定的編碼方式。編碼裝置100是依照所通知的編碼方式來對圖像資訊進行編碼，解碼裝置200是以對應於所通知的編碼方式之解碼方法，來對圖像資訊進行解碼。
例如，傳送控制部152會將顯示由第1模式及第2模式之中所決定的模式之模式資訊 作為指示來向編碼裝置100通知。接收控制部252會將顯示由第1模式及第2模式之中所決定的相同模式之模式資訊作為指示來向解碼裝置200通知。
編碼裝置100是依照作為指示而被通知的模式資訊，輸出位元串，該位元串是將適用算術編碼的二值化資料串、或未適用算術編碼的二值化資料串包含於片段資料中。解碼裝置200是依照作為指示而被通知的模式資訊，從包含於位元串的片段資料的適用算術編碼之二值化資料串、或包含於位元串的片段資料的未適用算術編碼之二值化資料串中導出圖像資訊。
再者，在編碼解碼系統300中，固定地使用包含第1模式或第2模式等之編碼方式的情況下，也可以不進行編碼解碼能力的交換。傳送控制部152及接收控制部252也可以將包含第1模式或第2模式等之編碼方式，固定地通知到編碼裝置100及解碼裝置200。或者，編碼裝置100及解碼裝置200也可以將包含第1模式或第2模式等之編碼方式，作為內部的參數而固定地保持。
又，以編碼規格所規定的複數個設定檔之中，在預定的設定檔中，亦可將使用於編碼及解碼的模式始終固定為第1模式及第2模式之中的一個模式。
又，模式資訊亦可作為上位的參數而被包含在位元串中的SPS、PPS或片段標頭等中。藉此，解碼裝置200即可以依照包含於位元串的模式資訊，來切換對於包含於位元串的二值化資料串是否適用算術解碼。
又，亦可將顯示以H.265所規定的低延遲HRD模式之low_delay_hrd_flag等作為模式資訊來使用。或者，模式資訊也可以是有別於low_delay_hrd_flag等的資訊。在此情況下，由於是將算術編碼的適用、與HRD模式各自切換，因此可以更靈活地使延遲量適應於上位層的應用程式等。 [編碼裝置的組裝例]
圖14是顯示實施形態1之編碼裝置100的組裝例之方塊圖。編碼裝置100具備電路160及記憶體162。例如，圖1及圖11所示之編碼裝置100的複數個構成要素是藉由圖14所示之電路160及記憶體162來組裝。
電路160是進行資訊處理的電路，且是可對記憶體162進行存取的電路。例如，電路160是對圖像資訊進行編碼之專用或通用的電子電路。電路160也可以是CPU之類的處理器。又，電路160也可以是複數個電子電路的集合體。又，例如，電路160也可以在圖1及圖11所示之編碼裝置100的複數個構成要素之中，發揮除了用於儲存資訊的構成要素之外的複數個構成要素之作用。
記憶體162是儲存電路160用於對圖像資訊進行編碼的資訊之通用或專用的記憶體。記憶體162可以是電子電路，也可以連接至電路160上。又，記憶體162也可以是複數個電子電路的集合體。又，記憶體162可以是磁碟或光碟等，也可以表現為儲存器或記錄媒體等。又，記憶體162可以是非揮發性記憶體，也可以是揮發性記憶體。
例如，在記憶體162中可以儲存有編碼的圖像資訊，也可以儲存有對應於已編碼之圖像資訊的位元串。又，在記憶體162中也可以儲存有電路160對圖像資訊進行編碼用的程式。
又，例如，電路160也可以是在圖1及圖11所示之編碼裝置100的複數個構成要素當中，發揮用於儲存資訊的構成要素之作用。具體來說，記憶體162也可以發揮圖1所示之區塊記憶體118及框記憶體122的作用，也可以發揮圖11所示之中間緩衝器136的作用。
再者，在編碼裝置100中，亦可不將圖1及圖11等所示之複數個構成要素的全部都組裝，且亦可不將上述複數個處理的全部都進行。圖1及圖11等所示之複數個構成要素的一部分也可以被包含在其他的裝置中，且上述之複數個處理的一部分也可以藉由其他的裝置來執行。
並且，在編碼裝置100中，是藉由組裝圖1及圖11等所示之複數個構成要素當中的一部分，且進行上述之複數個處理的一部分，來支援因算術編碼而產生的處理延遲之削減。 [編碼裝置的第1編碼動作例]
圖15是顯示實施形態1的編碼裝置100之第1編碼動作例的流程圖。例如，可藉由將圖15所示的動作以圖14所示之編碼裝置100的電路160來進行，以將圖像資訊編碼。
如圖15所示，首先，電路160是從圖像資訊中依照用於算術編碼的二值化來導出二值化資料串(S101)。再者，圖像資訊是顯示圖像的資訊。具體來說，圖像資訊也可以是顯示藉由進行上述之轉換、量化及預測等而從圖像中得到的量化係數之資訊。或者，圖像資訊也可以是顯示不進行上述之轉換、量化及預測等而從圖像中得到的像素值之資訊。
並且，電路160會輸出包含未適用算術編碼的二值化資料串之位元串(S102)。
具體來說，電路160會輸出位元串，該位元串包含二值化資料串，且包含顯示對於二值化資料串是否適用算術編碼的適用資訊。此時，電路160是輸出位元串，該位元串包含未適用算術編碼的二值化資料串，且作為適用資訊而包含顯示對於二值化資料串未適用算術編碼的資訊。
藉此，編碼裝置100即可以跳過算術編碼。因此，編碼裝置100可以支援因算術編碼所產生的處理延遲之削減。又，編碼裝置100可以有效地活用與算術編碼有關的二值化之資源。又，編碼裝置100可以輸出可藉由適用資訊識別算術編碼的適用狀態之位元串。
再者，關於編碼裝置100所進行的動作，也可以不限定上述之轉換、量化及預測等其他的動作。例如，編碼裝置100也可以不進行其他的動作。關於編碼裝置100所進行的動作，即使不限定其他的動作，編碼裝置100仍然可以支援因算術編碼所產生的處理延遲之削減。
或者，例如電路160也可以切換第1動作與第2動作。在第1動作中，電路160會輸出位元串，且該位元串包含適用算術編碼的二值化資料串，且作為適用資訊而包含顯示對於二值化資料串適用算術編碼的資訊。在第2動作中，電路160會輸出位元串，且該位元串包含未適用算術編碼的二值化資料串，且作為適用資訊而包含顯示對於二值化資料串未適用算術編碼的資訊。
藉此，編碼裝置100即可以適應地切換是否進行算術編碼，而可以適應地跳過算術編碼。又，電路160是藉由切換第1動作與第2動作，而可以在不同的時間點進行第1動作及第2動作之兩者。再者，藉由電路160所進行的第1動作及第2動作各自能夠表現為第1輸出動作及第2輸出動作。
又，例如，電路160亦可用包含1個以上的圖片之單位來全面性地切換第1動作與第2動作。藉此，編碼裝置100即可以抑制與算術編碼的適用狀態之切換有關的處理量之增加。
又，例如，電路160亦可依照從編碼裝置100之外部所給與的資訊來切換第1動作與第2動作，亦可依照保持於編碼裝置100的內部的資訊來切換第1動作與第2動作。藉此，電路160即可以依照編碼裝置100的外部或內部之資訊，來適當地切換第1動作與第2動作。
又，例如，電路160亦可輸出包含適用資訊的位元串，且該適用資訊是以包含1個以上的圖片之單位來全面性地顯示對於二值化資料串是否適用算術編碼。換言之，適用資訊亦可用包含1個以上的圖片之單位來全面性地顯示：位元串是否包含適用算術編碼的二值化資料串、或位元串是否包含未適用算術編碼的二值化資料串。藉此，編碼裝置100即可以抑制與適用資訊有關的編碼量及處理量之增加。 [編碼裝置的第2編碼動作例]
圖16是顯示實施形態1的編碼裝置100之第2編碼動作例的流程圖。例如，可藉由將圖16所示的動作以圖14所示之編碼裝置100的電路160來進行，以將圖像資訊編碼。
如圖16所示，首先，電路160是從圖像資訊中依照用於算術編碼的二值化來導出二值化資料串(S111)。此動作與圖15的導出處理(S101)相同。
而且，電路160會切換第1動作與第2動作(S112)。在第1動作中，電路160會輸出包含適用算術編碼的二值化資料串之位元串(S113)。在第2動作中，電路160會輸出包含未適用算術編碼的二值化資料串之位元串(S114)。
藉此，編碼裝置100即可以適應地切換是否進行算術編碼，而可以適應地跳過算術編碼。因此，編碼裝置100可以支援因算術編碼所產生的處理延遲之削減。又，編碼裝置100可以有效地活用與算術編碼有關的二值化之資源。又，電路160是藉由切換第1動作與第2動作，而可以在不同的時間點進行第1動作及第2動作之兩者。
再者，關於編碼裝置100所進行的動作，也可以不限定上述之轉換、量化及預測等其他的動作。例如，編碼裝置100也可以不進行其他的動作。關於編碼裝置100所進行的動作，即使不限定其他的動作，編碼裝置100仍然可以支援因算術編碼所產生的處理延遲之削減。
或者，例如，電路160亦可輸出位元串，該位元串包含二值化資料串，且包含顯示對於二值化資料串是否適用算術編碼的適用資訊。
並且，在第1動作中，電路160亦可輸出位元串，該位元串包含適用算術編碼的二值化資料串，且作為適用資訊而包含顯示對於二值化資料串適用算術編碼的資訊。並且，在第2動作中，電路160亦可輸出位元串，該位元串包含未適用算術編碼的二值化資料串，且作為適用資訊而包含顯示對於二值化資料串未適用算術編碼的資訊。
藉此，編碼裝置100可以輸出可藉由適用資訊識別算術編碼的適用狀態之位元串。
又，例如，與第1編碼動作例同樣地，電路160亦可依照從編碼裝置100之外部所給與的資訊來切換第1動作與第2動作，亦可依照保持於編碼裝置100的內部的資訊來切換第1動作與第2動作。
又，例如，與第1編碼動作例同樣地，電路160亦可用包含1個以上的圖片之單位來全面性地切換第1動作與第2動作。又，例如，與第1編碼動作例同樣地，電路160亦可輸出包含適用資訊的位元串，且該適用資訊以包含1個以上的圖片之單位來全面性地顯示對於二值化資料串是否適用算術編碼。 [解碼裝置的組裝例]
圖17是顯示實施形態1之解碼裝置200的組裝例之方塊圖。解碼裝置200具備電路260及記憶體262。例如，圖10及圖12所示之解碼裝置200的複數個構成要素，是藉由圖17所示之電路260及記憶體262來組裝。
電路260是進行資訊處理的電路，且是可對記憶體262進行存取的電路。例如，電路260是對圖像資訊進行解碼之通用或專用的電子電路。電路260也可以是CPU之類的處理器。又，電路260也可以是複數個電子電路的集合體。又，例如，電路260也可以是在圖10及圖12所示之解碼裝置200的複數個構成要素當中，發揮除了用於儲存資訊的構成要素之外的複數個構成要素之作用。
記憶體262是儲存電路260用於對圖像資訊進行解碼的資訊之通用或專用的記憶體。記憶體262可以是電子電路，也可以連接至電路260上。又，記憶體262也可以是複數個電子電路的集合體。又，記憶體262可以是磁碟或光碟等，也可以表現為儲存器或記錄媒體等。又，記憶體262可以是非揮發性記憶體，也可以是揮發性記憶體。
例如，在記憶體262中也可以儲存有對應於已編碼的圖像資訊之位元串，也可以儲存有對應於已解碼的位元串之圖像資訊。又，在記憶體262中也可以儲存有電路260用於對圖像資訊進行解碼的程式。
又，例如，電路260也可以是在圖10及圖12所示之解碼裝置200的複數個構成要素當中，發揮用於儲存資訊的構成要素之作用。具體來說，記憶體262也可以發揮圖10所示之區塊記憶體210及框記憶體214的作用，也可以發揮圖12所示之中間緩衝器240的作用。
再者，在解碼裝置200中，亦可不將圖10及圖12等所示之複數個構成要素的全部都組裝，且亦可不將上述複數個處理的全部都進行。圖10及圖12等所示之複數個構成要素的一部分也可以被包含在其他的裝置中，且上述之複數個處理的一部分也可以藉由其他的裝置來執行。
並且，在解碼裝置200中，是藉由組裝圖10及圖12等所示之複數個構成要素當中的一部分，且進行上述之複數個處理的一部分，來支援因算術解碼而產生的處理延遲之削減。 [解碼裝置的第1解碼動作例]
圖18是顯示實施形態1的解碼裝置200之第1解碼動作例的流程圖。例如，可藉由將圖18所示的動作以圖17所示之解碼裝置200的電路260來進行，以將圖像資訊解碼。
如圖18所示，首先，電路260是從圖像資訊中取得位元串，該位元串包含依照用於算術編碼的二值化而導出的二值化資料串(S201)。具體來說，電路260是從圖像資訊中取得位元串，該位元串包含依照用於算術編碼的二值化而導出的二值化資料串，且包含顯示對於二值化資料串是否適用算術編碼的適用資訊。
並且，電路260會由未進行算術編碼的二值化資料串中導出圖像資訊(S202)。具體來說，電路260是從作為包含於位元串的二值化資料串且未適用算術編碼的二值化資料串中導出圖像資訊，其中該位元串是將下述資訊作為適用資訊而包含：顯示對於二值化資料串未適用算術編碼的資訊。
藉此，解碼裝置200即可以跳過算術解碼。因此，解碼裝置200可以支援因算術解碼所產生的處理延遲之削減。又，解碼裝置200可以有效地活用與算術解碼有關的逆二值化之資源。又，解碼裝置200可以取得可藉由適用資訊識別算術編碼的適用狀態之位元串，並導出圖像資訊。
再者，關於解碼裝置200所進行的動作，也可以不限定上述之轉換、量化及預測等其他的動作。例如，解碼裝置200也可以不進行其他的動作。關於解碼裝置200所進行的動作，即使不限定其他的動作，解碼裝置200仍然可以支援因算術解碼所產生的處理延遲之削減。
或者，例如電路260也可以切換第1動作與第2動作。在第1動作中，電路260是從包含於位元串，且適用算術編碼的二值化資料串中導出圖像資訊，其中該位元串是將下述資訊作為適用資訊而包含：顯示對於二值化資料串適用算術編碼的資訊。在第2動作中，電路260是從包含於位元串，且未適用算術編碼的二值化資料串中導出圖像資訊，其中該位元串是將下述資訊作為適用資訊而包含：顯示對於二值化資料串未適用算術編碼的資訊。
藉此，解碼裝置200即可以適應地切換是否進行算術解碼，而可以適應地跳過算術解碼。又，解碼裝置200可以依照適用資訊來切換第1動作與第2動作。又，電路260是藉由切換第1動作與第2動作，而可以在不同的時間點進行第1動作及第2動作之兩者。再者，藉由電路260所進行的第1動作及第2動作各自能夠表現為第1導出動作及第2導出動作。
又，例如，電路260亦可依照從解碼裝置200之外部所給與的資訊來切換第1動作與第2動作，亦可依照保持於解碼裝置200的內部的資訊來切換第1動作與第2動作。藉此，電路260即可以依照解碼裝置200的外部或內部之資訊，來適當地切換第1動作與第2動作。
又，例如，電路260亦可用包含1個以上的圖片之單位來全面性地切換第1動作與第2動作。藉此，解碼裝置200即可以抑制與算術編碼的適用狀態之切換有關的處理量之增加。
又，例如，電路260亦可取得包含適用資訊的位元串，且該適用資訊是以包含1個以上的圖片之單位來全面性地顯示對於二值化資料串是否適用算術編碼。換言之，適用資訊亦可用包含1個以上的圖片之單位來全面性地顯示：位元串是否包含適用算術編碼的二值化資料串、或位元串是否包含未適用算術編碼的二值化資料串。藉此，解碼裝置200即可以抑制與適用資訊有關的解碼量及處理量之增加。 [解碼裝置的第2解碼動作例]
圖19是顯示實施形態1的解碼裝置200之第2解碼動作例的流程圖。例如，可藉由將圖19所示的動作以圖17所示之解碼裝置200的電路260來進行，以將圖像資訊解碼。
如圖19所示，首先，電路260是從圖像資訊取得位元串，該位元串包含依照用於算術編碼的二值化而導出的二值化資料串(S211)。
而且，電路260會切換第1動作與第2動作(S212)。在第1動作中，電路260會從包含於位元串且適用算術編碼的二值化資料串中導出圖像資訊(S213)。在第2動作中，電路260會從包含於位元串且未適用算術編碼的二值化資料串中導出圖像資訊(S214)。
藉此，解碼裝置200即可以適應地切換是否進行算術解碼，而可以適應地跳過算術解碼。因此，解碼裝置200可以支援因算術解碼所產生的處理延遲之削減。又，解碼裝置200可以有效地活用與算術解碼有關的逆二值化之資源。又，電路260是藉由切換第1動作與第2動作，而可以在不同的時間點進行第1動作及第2動作之兩者。
再者，關於解碼裝置200所進行的動作，也可以不限定上述之轉換、量化及預測等其他的動作。例如，解碼裝置200也可以不進行其他的動作。關於解碼裝置200所進行的動作，即使不限定其他的動作，解碼裝置200仍然可以支援因算術解碼所產生的處理延遲之削減。
或者，例如，電路260亦可取得位元串，該位元串包含二值化資料串，且包含顯示對於二值化資料串是否適用算術編碼的適用資訊。
並且，在第1動作中，電路260亦可從包含於位元串，且適用算術編碼的二值化資料串中導出圖像資訊，其中該位元串是將下述資訊作為適用資訊而包含：顯示對於二值化資料串適用算術編碼的資訊。並且，在第2動作中，電路260亦可從包含於位元串，且未適用算術編碼的二值化資料串中導出圖像資訊，其中該位元串是將下述資訊作為適用資訊而包含：顯示對於二值化資料串未適用算術編碼的資訊。
藉此，解碼裝置200可以取得可藉由適用資訊識別算術編碼的適用狀態之位元串，並導出圖像資訊。又，解碼裝置200可以依照適用資訊來切換第1動作與第2動作。
又，例如，與第1解碼動作例同樣地，電路260亦可依照從解碼裝置200之外部所給與的資訊來切換第1動作與第2動作，且亦可依照保持於解碼裝置200的內部的資訊來切換第1動作與第2動作。
又，例如，與第1解碼動作例同樣地，電路260亦可用包含1個以上的圖片之單位來全面性地切換第1動作與第2動作。又，例如，與第1解碼動作例同樣地，電路260亦可取得包含適用資訊的位元串，且該適用資訊以包含1個以上的圖片之單位來全面性地顯示對於二值化資料串是否適用算術編碼。 [補充說明]
本實施形態中的編碼裝置100及解碼裝置200對於要求在短時間內進行編碼及解碼的即時通訊系統等特別有用。具體來說，編碼裝置100及解碼裝置200對於視訊會議系統或電子鏡子等是有用的。例如，在這些系統環境中，可使用未進行算術編碼及算術解碼的第2模式。
又，基本上，是以包含1個以上的圖片之單位來全面性地進行算術編碼的有無適用之切換。但是，也可以用更小的單位來進行算術編碼的有無適用之切換。例如，在特定的資料種類中，也可以跳過算術編碼及算術解碼。更具體地來說，也可以進行算術編碼及算術解碼的跳過，來取代旁路算術編碼及旁路算術解碼。
又，例如，也可以進行上下文算術編碼、旁路算術編碼及算術編碼的跳過之切換。同樣地，也可以進行上下文算術解碼、旁路算術解碼及算術解碼的跳過之切換。
又，顯示對於二值化資料串是否適用算術編碼的適用資訊，亦可藉由1個位元的旗標來表現，也可以用其他形式來表現。例如，藉由將顯示對於二值化資料串適用算術編碼的資訊追加到位元串中，使位元串能包含追加的資訊來作為適用資訊。或者，藉由將顯示對於二值化資料串未適用算術編碼的資訊追加到位元串中，使位元串能包含追加的資訊來作為適用資訊。
又，適用資訊作為與其他的資訊共通的資訊，而不包含在位元串中亦可。例如，將顯示圖片的種類之資訊包含在位元串中，且依據圖片的種類來切換算術編碼的有無適用的情況下，顯示圖片的種類之資訊亦可為適用資訊。
又，本實施形態中的編碼裝置100及解碼裝置200可以各自作為圖像編碼裝置及圖像解碼裝置來利用。或者，編碼裝置100及解碼裝置200可以各自作為熵編碼裝置及熵解碼裝置來利用。亦即，編碼裝置100及解碼裝置200也可以各自只對應於熵編碼部110及熵解碼部202。
又，在本實施形態中，各構成要素可由專用之硬體構成，亦可藉由執行適合於各構成要素之軟體程式來實現。各構成要素亦可藉由CPU或處理器等之程式執行部將已記錄於硬碟或半導體記憶體等之記錄媒體的軟體程式讀取並執行來實現。
具體來說，編碼裝置100及解碼裝置200也可以各自具備有處理電路(Processing Circuitry)、及電連接於該處理電路之可由該處理電路存取之儲存裝置(Storage)。例如，處理電路是對應於電路160或260，且儲存裝置是對應於記憶體162或262。
處理電路包含專用的硬體及程式執行部之至少一個，且是利用儲存裝置來執行處理。又，儲存裝置在處理電路包含程式執行部的情形下，會儲存以該程式執行部執行之軟體程式。
在此，實現本實施形態之編碼裝置100或解碼裝置200等的軟體程式，是如以下的程式。
亦即，此程式是使電腦執行對圖像資訊進行編碼的編碼方法，該編碼方法是從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出位元串，該位元串包含前述二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，在前述位元串的輸出中包含未適用前述算術編碼的前述二值化資料串，且輸出將下述資訊作為前述適用資訊而包含的前述位元串：顯示對於前述二值化資料串未適用前述算術編碼的資訊。
或者，此程式是使電腦執行對圖像資訊進行編碼的編碼方法，該編碼方法是從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出包含前述二值化資料串的位元串，且可切換如下的第1動作及第2動作：(i)第1動作是在前述位元串的輸出中，輸出包含適用前述算術編碼的前述二值化資料串之前述位元串；及(ii)第2動作是在前述位元串的輸出中，輸出包含未適用前述算術編碼的前述二值化資料串之前述位元串。
或者，此程式是使電腦對圖像資訊進行解碼的解碼方法，該解碼方法是取得位元串，該位元串包含從前述圖像資訊中依照用於算術編碼的二值化而導出的二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，並從作為包含於前述位元串之前述二值化資料串且未適用前述算術編碼的前述二值化資料串中導出前述圖像資訊，其中該位元串是將下述資訊作為前述適用資訊而包含：顯示對於前述二值化資料串未適用前述算術編碼的資訊。
或者，此程式是使電腦執行對圖像資訊進行解碼的解碼方法，該解碼方法是取得包含從前述圖像資訊中依照用於算術編碼的二值化而導出的二值化資料串之位元串，且從前述二值化資料串中導出前述圖像資訊，而可切換如下的第1動作及第2動作：(i)第1動作是在前述圖像資訊的導出中，從作為包含於前述位元串的前述二值化資料串且適用前述算術編碼的前述二值化資料串中導出前述圖像資訊；及(ii)第2動作是在前述圖像資訊的導出中，從作為包含於前述位元串的前述二值化資料串且未適用前述算術編碼的前述二值化資料串中導出前述圖像資訊。
又，如上所述，各構成要素也可以是電路。這些電路可以作為整體而構成1個電路，也可以是各自不同的電路。又，各構成要素可以利用通用的處理器來實現，也可以利用專用的處理器來實現。
又，亦可令另外的構成要素執行特定的構成要素所執行的處理。又，亦可將執行處理的順序變更，且亦可將複數個處理並行來執行。又，亦可使編碼解碼裝置具備有編碼裝置100及解碼裝置200。
於說明中所用的第1及第2等的序數也可以適當地更換。又，對於構成要素等，可將序數重新給與，亦可去除。
以上，雖然是就一個或複數個態樣之編碼裝置100及解碼裝置200來根據實施形態進行了說明，但本發明並非限定於此實施形態之發明。只要不脫離本發明之主旨，將本發明所屬技術領域中具有通常知識者可設想得到之各種變形施行於本實施形態者、或組合不同的實施形態中的構成要素而建構之形態，均可包含於一個或複數個態樣的範圍內。 (實施形態2)
在以上之各實施形態中，功能方塊的每一個通常可藉由MPU及記憶體等來實現。又，藉由功能方塊的每一個所進行之處理，通常是藉由使處理器等之程式執行部將已記錄於ROM等之記錄媒體的軟體(程式)讀出並執行來實現。可將該軟體藉由下載等來發布，亦可記錄於半導體記憶體等之記錄媒體來發布。再者，當然也可以藉由硬體(專用電路)來實現各功能方塊。
又，在各實施形態中所說明之處理，可以藉由使用單一的裝置(系統)集中處理來實現，或者藉由使用複數個裝置分散處理來實現亦可。又，執行上述程式之處理器可為單個，亦可為複數個。亦即，可進行集中處理，或者進行分散處理亦可。
本發明不受以上之實施例所限定，可進行種種的變更，且該等亦包含於本發明之範圍內。
更進一步地，在此說明上述各實施形態所示之動態圖像編碼方法(圖像編碼方法)或動態圖像解碼方法(圖像解碼方法)的應用例與使用其之系統。該系統之特徵在於具有使用圖像編碼方法之圖像編碼裝置、使用圖像解碼方法之圖像解碼裝置、及具備兩者之圖像編碼解碼裝置。針對系統中的其他的構成，可以視情況適當地變更。 [使用例]
圖20是顯示實現內容傳遞服務(content delivery service)的內容供給系統ex100之整體構成之圖。可將通訊服務之提供區分割成所期望的大小，且在各格區(cell)內分別設置有作為固定無線電台之基地台ex106、ex107、ex108、ex109、ex110。
在此內容供給系統ex100中，可透過網際網路服務提供者ex102或通訊網ex104、及基地台ex106~ex110，將電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器連接到網際網路ex101。該內容供給系統ex100亦可設成為組合並連接上述之任一要素。亦可在不透過作為固定無線電台之基地台ex106~ex110的情況下，將各機器透過電話網或近距離無線等直接或間接地相互連接。又，串流伺服器(streaming server)ex103，是透過網際網路ex101等而與電腦ex111、遊戲機ex112、相機ex113、家電ex114、及智慧型手機ex115等之各機器相連接。又，串流伺服器ex103是透過衛星ex116來與飛機ex117內之熱點(hot spot)內的終端等連接。
再者，取代基地台ex106~ex110 ，而使用無線存取點或熱點等亦可。又，串流伺服器ex103可在不透過網際網路ex101或網際網路服務提供者ex102的情形下直接與通訊網ex104連接，亦可在不透過衛星ex116的情形下直接與飛機ex117連接。
相機ex113是數位相機等之可進行靜態圖攝影、及動態圖攝影之機器。又，智慧型手機ex115可為對應於一般稱作2G、3G、3.9G、4G、還有今後會被稱作5G的移動通訊系統之方式的智慧型電話機、攜帶電話機、或者PHS(Personal Handyphone System(個人手持電話系統))等。
家電ex118可為冰箱、或包含於家庭用燃料電池汽電共生系統(cogeneration system)之機器等。
在內容供給系統ex100中，是藉由使具有攝影功能之終端通過基地台ex106等來連接到串流伺服器ex103，而使實況(live)即時傳遞等變得可行。在實況即時傳遞中，終端(電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端等)，會對於使用者使用該終端所攝影之靜態圖或動態圖內容進行已在上述各實施形態所說明之編碼處理，並與已藉由編碼而得到之影像資料、已將對應於影像之聲音編碼的聲音資料進行多工化，來將所獲得之資料傳送至串流伺服器ex103。亦即，各終端是作為本發明的一個態樣的圖像編碼裝置而發揮功能。
另一方面，串流伺服器ex103會對針對有要求之客戶端(client)所傳送之內容資料進行流(stream)傳遞。客戶端是指可將已經過上述編碼處理之資料解碼的電腦ex111、遊戲機ex112、相機ex113、家電ex114、智慧型手機ex115、及飛機ex117內之終端等。已接收到所傳遞之資料的各機器會將所接收到之資料解碼處理並播放。亦即，各機器是作為本發明之一個態樣的圖像解碼裝置而發揮功能。 [分散處理]
又，串流伺服器ex103可為複數個伺服器或複數台電腦，亦可為將資料分散並處理或記錄以進行傳遞者。例如，串流伺服器ex103可藉由CDN(Contents Delivery Network(內容傳遞網路))而實現，亦可藉由分散於世界中的多數個邊緣伺服器(edge server)與於邊緣伺服器之間進行連接的網路來實現內容傳遞。在CDN上，會因應客戶來動態地分配在物理上相近之邊緣伺服器。並且，可以藉由將內容快取(cache)及傳遞至該邊緣伺服器來減少延遲。又，由於可以在發生某種錯誤時或因流量之增加等而改變通訊狀態時，以複數個邊緣伺服器將處理分散，或將傳遞主體切換為其他的邊緣伺服器，來繞過已發生障礙之網路部分並持續傳遞，因此可以實現高速且穩定的傳遞。
又，不僅是傳遞本身之分散處理，亦可將已攝影之資料的編碼處理在各終端進行，也可在伺服器側進行，亦可互相分擔來進行。作為一例，一般在編碼處理中，會進行2次處理環路。在第1次的環路中可檢測在框或場景單位下之圖像的複雜度或編碼量。又，在第2次的環路中可進行維持畫質並提升編碼效率的處理。例如，可以藉由使終端進行第1次的編碼處理，且使接收內容之伺服器側進行第2次的編碼處理，而減少在各終端之處理負荷並且使其提升內容的質與效率。此時，只要有以近乎即時的方式接收並解碼的要求，也可以將終端已進行之第一次的編碼完成資料以其他終端接收並播放，因此也可做到更靈活的即時發送。
作為其他的例子，相機ex113等是由圖像中進行特徵量提取，並將與特徵量相關之資料作為元資料(meta data)來壓縮並傳送至伺服器。伺服器會進行例如從特徵量判斷目標(object)之重要性並切換量化精度等的因應圖像之意義的壓縮。特徵量資料對於在伺服器之再度的壓縮時的運動向量預測之精度及效率提升特別有效。又，亦可在終端進行VLC(可變長度編碼)等之簡易的編碼，並在伺服器進行CABAC(上下文參考之適應性二值算術編碼方式)等處理負荷較大的編碼。
此外，作為其他的例子，在運動場、購物商場、或工廠等中，會有藉由複數個終端拍攝幾乎相同的場景之複數個影像資料存在的情況。此時，可利用已進行攝影之複數個終端、因應需要而沒有進行攝影之其他的終端及伺服器，以例如GOP(Group of Picture(圖片群組))單位、圖片單位、或已將圖片分割而成之圖塊(tile)單位等來各自分配編碼處理並進行分散處理。藉此，可以減少延遲，而更能夠實現即時性(real-time)。
又，由於複數個影像資料幾乎為相同的場景，因此亦可在伺服器進行管理及/或指示成可互相地配合參照在各終端所攝影之影像資料。或者，亦可使伺服器接收來自各終端之編碼完成資料，並在複數個資料間變更參照關係、或者修正或更換圖片本身並重新編碼。藉此，可以生成已提高一個個資料之質與效率的流(stream)。
又，伺服器亦可在進行變更影像資料之編碼方式的轉碼(transcode)後再傳遞影像資料。例如，伺服器亦可將MPEG類之編碼方式轉換為VP類，亦可將H.264轉換為H.265。
如此，編碼處理就可藉由終端或1個以上之伺服器來進行。因此，以下雖然使用「伺服器」或「終端」等之記載來作為進行處理之主體，但亦可在終端進行在伺服器進行之處理的一部分或全部，也可在伺服器進行在終端進行之處理的一部分或全部。又，有關於這些，針對解碼處理也是同樣的。 [3D、多角度]
近年來，將以彼此幾乎同步之複數台相機ex113及/或智慧型手機ex115等之終端所攝影到之不同的場景、或者將相同的場景從不同的角度攝影之圖像或影像加以整合並利用的作法也在逐漸增加中。各終端所攝影到之影像會根據另外取得的終端間之相對的位置關係、或者包含於影像之特徵點為一致的區域等而被整合。
伺服器不僅將二維動態圖像編碼，亦可根據動態圖像之場景解析等而自動地、或者在使用者所指定之時刻中，將靜態圖編碼並傳送至接收終端。更進一步地，伺服器在可以取得攝影終端間之相對位置關係的情況下，不僅是二維動態圖像，還可以根據相同場景從不同的角度所攝影之影像，來生成該場景之三維形狀。再者，伺服器亦可將藉由點雲(point cloud)等而生成之三維資料另外編碼，亦可根據使用三維資料來辨識或追蹤人物或目標的結果，從複數個終端所攝影之影像中選擇、或再構成並生成要傳送至接收終端的影像。
如此一來，使用者可以任意選擇對應於各攝影終端之各影像來享受場景，也可以享受從利用複數圖像或影像再構成之三維資料中切出之任意視點的影像之內容。此外，與影像同樣地，聲音也可由複數個不同的角度進行收音，且伺服器亦可配合影像將來自特定之角度或空間的聲音與影像進行多工化並傳送。
又，近年來，Virtual Reality(虛擬實境，VR)及Augmented Reality(擴增虛擬實境，AR)等將現實世界與虛擬世界建立對應之內容也逐漸普及。在VR圖像的情形下，伺服器亦可分別製作右眼用及左眼用之視點圖像，並藉由Multi-View Coding(多視圖編碼，MVC)等在各視點影像間進行容許參照之編碼，亦可不互相參照而作為不同的流來進行編碼。在不同的流之解碼時，可使其互相同步並播放成因應使用者之視點來重現虛擬的三維空間。
在AR圖像的情形下，伺服器會根據三維之位置或使用者視點的移動，將虛擬空間上的虛擬物體資訊重疊於現實空間之相機資訊。解碼裝置亦可取得或保持虛擬物體資訊及三維資料，因應使用者視點的移動而生成二維圖像並順暢地連結，藉此製作重疊資料。或者，亦可為解碼裝置除了虛擬物體資訊之委託之外還將使用者視點的移動也傳送至伺服器，且伺服器配合從保持於伺服器之三維資料中所接收到的視點的運動來製作重疊資料，並將重疊資料編碼並傳遞至解碼裝置。再者，亦可為重疊資料除了RGB以外還具有顯示穿透度的α值，伺服器將從三維資料所製作出之目標以外的部分之α值設定為0等，並在該部分為穿透的狀態下進行編碼。或者，伺服器亦可如色度鍵(chroma key)的形式將預定之值的RGB值設定為背景，而生成目標以外之部分為背景色的資料。
同樣地被傳遞之資料的解碼處理可在客戶端之各終端進行，也可在伺服器側進行，亦可互相分擔而進行。作為一例，亦可使某個終端暫時將接收要求傳送至伺服器，並在其他終端接收因應該要求之內容且進行解碼處理，再將解碼完成之訊號傳送至具有顯示器的裝置。不依靠可通訊之終端本身的性能而將處理分散並選擇適當之內容之作法，可以播放畫質良好的資料。又，作為其他之例，亦可以用TV等接收大尺寸之圖像資料，並將圖片分割後之圖塊等一部分的區域解碼並顯示於鑑賞者之個人終端。藉此，可以將整體圖片共有化，並且可以就近確認自己負責的領域或想要更詳細確認之區域。
又，今後可預想到下述情形：不論屋內外，在近距離、中距離、或長距離之無線通訊為可複數使用的狀況下，利用MPEG-DASH等之傳遞系統規格，一邊對連接中之通訊切換適當之資料一邊無縫地接收內容。藉此，使用者不僅對本身之終端，連設置於屋內外之顯示器等的解碼裝置或顯示裝置都可自由地選擇並且即時切換。又，根據本身之位置資訊等，可以一邊切換要進行解碼之終端及要進行顯示之終端一邊進行解碼。藉此，在往目的地之移動中，變得可一邊使已埋入有可顯示之元件的鄰近之建築物的牆面或地面的一部分顯示地圖資訊一邊移動。又，令編碼資料快取到可以在短時間內從接收終端進行存取之伺服器、或者複製到內容傳遞伺服器(content delivery server)中的邊緣伺服器等之根據在網路上對編碼資料的存取容易性，來切換接收資料之位元率(bit-rate)的作法也是可做到的。 [可調式編碼]
關於內容之切換，將利用圖21所示之應用上述各實施形態顯示之動態圖像編碼方法來壓縮編碼之可調整的流來進行說明。雖然伺服器具有複數個內容相同而質卻不同的流來作為個別的流也無妨，但亦可以是活用透過如圖示地分層來進行編碼而實現的時間上/空間上可調整之流的特徵，來切換內容的構成。亦即，藉由使解碼側因應性能這種內在要因與通訊頻帶之狀態等的外在要因來決定要解碼至哪一層，解碼側即可以自由地切換低解析度之內容與高解析度之內容來解碼。例如，當想在回家後以網際網路TV等機器收看於移動中以智慧型手機ex115收看之影像的後續時，該機器只要將相同的流解碼至不同的層即可，因此可以減輕伺服器側的負擔。
此外，如上述地，除了實現按每層將圖片都編碼，且在基本層之上位存在增強層(enhancement layer)之可調整性(scalability)的構成以外，亦可使增強層包含根據圖像之統計資訊等的元資訊，且使解碼側根據元資訊將基本層之圖片進行超解析，藉此來生成已高畫質化之內容。所謂超解析可以是相同解析度中的SN比之提升、以及解析度之擴大之任一種。元資訊包含：用以特定出於超解析處理中使用之線形或非線形的濾波係數之資訊、或者特定出於超解析處理中使用之濾波處理、機械學習或最小平方運算中的參數值的資訊等。
或者，亦可為因應圖像內之目標等的含義而將圖片分割為圖塊等，且使解碼側選擇解碼之圖塊，而僅將一部分之區域解碼的構成。又，藉由將目標之屬性(人物、車、球等)與影像內之位置(同一圖像中的座標位置等)作為元資訊加以儲存，解碼側即可以根據元資訊特定出所期望之目標的位置，並決定包含該目標之圖塊。例如，如圖22所示，元資訊可使用HEVC中的SEI訊息等與像素資料為不同之資料儲存構造而被保存。此元資訊是表示例如主目標之位置、尺寸、或色彩等。
又，以流、序列或隨機存取單位等，由複數個圖片構成之單位來保存元資訊亦可。藉此，解碼側可以取得使特定人物出現在影像內之時刻等，且與圖片單位之資訊對照，藉此可以特定出目標存在之圖片、以及在圖片內之目標的位置。 [網頁之最佳化]
圖23是顯示電腦ex111等中的網頁的顯示畫面例之圖。圖24是顯示智慧型手機ex115等中的網頁的顯示畫面例之圖。如圖23及圖24所示，當網頁包含複數個屬於對圖像內容之鏈接的鏈接圖像時，其外觀會依閱覽之裝置而不同。當畫面上可看到複數個鏈接圖像時，直至使用者明確地選擇鏈接圖像、或者鏈接圖像接近畫面之中央附近或鏈接圖像之整體進入畫面內為止，顯示裝置(解碼裝置)都會顯示具有各內容之靜態圖或框內編碼畫面(Intra Picture，I-Picture)作為鏈接圖像、或者以複數個靜態圖或框內編碼畫面等顯示gif動畫之形式的影像、或者僅接收基本層來將影像進行解碼及顯示。
當已由使用者選擇出鏈接圖像時，顯示裝置會將基本層設為最優先來解碼。再者，只要有在構成網頁之HTML中顯示屬於可調整之內容的資訊，亦可使顯示裝置解碼至增強層。又，為了擔保即時性，在選擇之前或通訊頻帶非常嚴格時，顯示裝置可以藉由僅解碼及顯示前向參照(forward reference)之圖片(框內編碼畫面、預測畫面(Predictive Picture，P-Picture)、僅前向參照之雙向預估編碼畫面(Bidirectionally Predictive Picture))，以減低前頭圖片之解碼時刻與顯示時刻之間的延遲(從內容之解碼開始到顯示開始之間的延遲)。又，顯示裝置亦可特意無視圖片之參照關係而將所有的雙向預估編碼畫面及預測畫面設成前向參照來粗略地解碼，並隨著時間經過使接收之圖片增加來進行正常的解碼。 [自動行駛]
又，當為了汽車之自動行駛或支援行駛而傳送接收二維或三維之地圖資訊等的靜態圖或影像資料時，接收終端亦可除了屬於1個以上之層的圖像資料之外，也將天候或工程之資訊等也都接收作為元資訊，並對應於這些來解碼。再者，元資訊可以屬於層，亦可單純與圖像資料進行多工化。
此時，由於包含接收終端之車、無人機(drone)或飛機等會移動，因此藉由接收終端在接收要求時傳送該接收終端之位置資訊，即可一邊切換基地台ex106~ex110一邊實現無縫的接收及解碼。又，接收終端會因應使用者之選擇、使用者之狀況或通訊頻帶的狀態，而變得可動態地切換要將元資訊接收到何種程度、或要將地圖資訊更新至何種程度。
如以上地進行，在內容供給系統ex100中，客戶端可即時地接收使用者所傳送之已編碼的資訊，並將其進行解碼、播放。 [個人內容之傳遞]
又，在內容供給系統ex100中，不僅是來自影像傳遞業者之高畫質且長時間的內容，來自個人之低畫質且短時間的內容的單播(unicast)、或多播(multicast)傳遞也是可做到的。又，這種個人的內容被認為今後也會持續增加下去。為了將個人內容做成更優良之內容，伺服器亦可在進行編輯處理之後進行編碼處理。這可藉由例如以下之構成來實現。
伺服器會在攝影時即時或累積進行而於攝影後，從原圖或編碼完成資料中進行攝影錯誤、場景搜尋、意義解析、及目標檢測等之辨識處理。而且，伺服器會根據辨識結果以手動或自動方式進行下述編輯：補正失焦或手震等、刪除亮度較其他圖片低或未聚焦之場景等重要性低的場景、強調目標之邊緣、使色調變化等之編輯。伺服器會根據編輯結果來將編輯後之資料編碼。又，當攝影時刻太長時收視率會下降的情況也是眾所皆知的，伺服器會根據圖像處理結果而以自動的方式如上述地不僅對重要性低之場景還有動態較少的場景等進行剪輯，以使其因應攝影時間成為特定之時間範圍內的內容。或者，伺服器亦可根據場景之意義解析的結果來生成摘錄並進行編碼。
再者，在個人內容中，也有照原樣的話會有造成侵害著作權、著作人格權、或肖像權等之內容攝入的案例，也有當共享的範圍超過所欲之範圍等對個人來說不方便的情況。因此，例如，伺服器亦可將畫面周邊部之人的臉、或房子之中等特意變更為未聚焦之圖像並編碼。又，伺服器亦可辨識是否有與事先登錄之人物不同的人物的臉照在編碼對象圖像內，並在有照出的情況下，進行將臉的部分打上馬賽克等之處理。或者，作為編碼之前處理或後處理，而從著作權等之觀點來讓使用者於圖像中指定想要加工之人物或背景區域後，令伺服器進行將所指定之區域置換為別的影像，或者使焦點模糊等之處理之作法也是可做到的。如果是人物，可以在動態圖像中一邊追蹤人物一邊置換臉之部分的影像。
又，由於資料量較小之個人內容的視聽對即時性的要求較強，因此，雖然也會取決於頻帶寬，但解碼裝置首先會最優先地接收基本層再進行解碼及播放。解碼裝置亦可在這段期間接收增強層，且於環路播放之情形等播放2次以上的情形下，將增強層也包含在內來播放高畫質的影像。只要進行像這樣可調整之編碼的流，就可以提供一種雖然在未選擇時或初次看到的階段是粗略的動態圖，但流會逐漸智能化(smart)而使圖像變好的體驗。除了可調式編碼以外，即使以第1次播放之粗略的流、與參考第1次之動態圖而編碼之第2次的流作為1個流來構成也可以提供同樣的體驗。 [其他之使用例]
又，這些編碼或解碼處理一般是在各終端所具有之LSIex500中處理。LSIex500可為單晶片(one chip)，亦可為由複數個晶片形成之構成。再者，亦可將動態圖像編碼或解碼用之軟體組入可以在電腦ex111等讀取之某種記錄媒體(CD-ROM、軟式磁碟(flexible disk)、或硬碟等)，並使用該軟體進行編碼或解碼處理。此外，當智慧型手機ex115為附有相機時，亦可傳送以該相機取得之動態圖資料。此時之動態圖資料是以智慧型手機ex115具有之LSIex500來編碼處理過之資料。
再者，LSIex500亦可為將應用軟體下載並啟動(activate)之構成。此時，終端首先會判定該終端是否對應於內容之編碼方式、或者是否具有特定服務之執行能力。當終端沒有對應於內容之編碼方式時、或者不具有特定服務之執行能力時，終端會下載編碼解碼器或應用軟體，然後，取得及播放內容。
又，不限於透過網際網路ex101之內容供給系統ex100，在數位播放用系統中也可以組入上述實施形態之至少動態圖像編碼裝置(圖像編碼裝置)或動態圖像解碼裝置(圖像解碼裝置)之任一個。由於是利用衛星等來將已使影像與聲音被多工化之多工資料乘載於播送用之電波來進行傳送接收，因此會有相對於內容供給系統ex100之容易形成單播的構成更適合多播的差別，但有關於編碼處理及解碼處理仍可為同樣之應用。 [硬體構成]
圖25是顯示智慧型手機ex115之圖。又，圖26是顯示智慧型手機ex115的構成例之圖。智慧型手機ex115具備：用於在與基地台ex110之間傳送接收電波的天線ex450、可拍攝影像及靜態圖之相機部ex465、顯示已將相機部ex465所拍攝到之影像以及在天線ex450所接收到之影像等解碼之資料的顯示部ex458。智慧型手機ex115更具備：觸控面板等之操作部ex466、用於輸出聲音或音響之揚聲器等的聲音輸出部ex457、用於輸入聲音之麥克風等之聲音輸入部ex456、可保存所攝影之影像或靜態圖、錄音之聲音、接收之影像或靜態圖、郵件等之已編碼的資料、或已解碼之資料的記憶體部ex467、及作為與SIMex468之間的介面部之插槽部ex464，該SIMex468是用於特定使用者，且以網路為首對各種資料的存取進行認證。再者，取代記憶體部ex467而使用外接記憶體亦可。
又，統合地控制顯示部ex458及操作部ex466等之主控制部ex460是透過匯流排ex470而與電源電路部ex461、操作輸入控制部ex462、影像訊號處理部ex455、相機介面部ex463、顯示器控制部ex459、調變/解調部ex452、多工/分離部ex453、聲音訊號處理部ex454、插槽部ex464、及記憶體部ex467連接著。
電源電路部ex461在藉由使用者之操作而將電源鍵設成開啟狀態時，會藉由從電池組(battery pack)對各部供給電力而將智慧型手機ex115起動為可作動之狀態。
智慧型手機ex115會根據具有CPU、ROM及RAM等之主控制部ex460的控制，進行通話及資料通訊等之處理。通話時，是將以聲音輸入部ex456所收音之聲音訊號在聲音訊號處理部ex454轉換為數位聲音訊號，並以調變/解調部ex452對其進行展頻處理，接著以傳送/接收部ex451施行數位類比轉換處理及頻率轉換處理後，透過天線ex450傳送。又，將接收資料放大且施行頻率轉換處理及類比數位轉換處理，並以調變/解調部ex452進行解展頻處理，接著以聲音訊號處理部ex454轉換為類比聲音訊號後，由聲音輸出部ex457將其輸出。資料通訊模式時，是藉由本體部之操作部ex466等的操作而透過操作輸入控制部ex462將正文(text)、靜態圖、或影像資料送出至主控制部ex460，而同樣地進行傳送接收處理。當在資料通訊模式時傳送影像、靜態圖、或影像與聲音的情形下，影像訊號處理部ex455會藉由在上述各實施形態所顯示之動態圖像編碼方法將保存於記憶體部ex467之影像訊號或從相機部ex465輸入之影像訊號壓縮編碼，並將已編碼之影像資料送出至多工/分離部ex453。又，聲音訊號處理部ex454會在以相機部ex465拍攝影像或靜態圖等中將以聲音輸入部ex456所收音之聲音訊號編碼，並將已編碼之聲音資料送出至多工/分離部ex453。多工/分離部ex453是以預定之方式將編碼完成影像資料與編碼完成聲音資料進行多工化，並以調變/解調部(調變/解調電路部)ex452、及傳送/接收部ex451施行調變處理及轉換處理並透過天線ex450傳送。
在已接收附加於電子郵件或網路聊天之影像、或鏈接至網頁等之影像的情形下，為了透過天線ex450將已接收之多工資料解碼，多工/分離部ex453會藉由分離多工資料，而將多工資料分成影像資料之位元流與聲音資料之位元流，再透過同步匯流排ex470將已編碼之影像資料供給至影像訊號處理部ex455，並且將已編碼之聲音資料供給至聲音訊號處理部ex454。影像訊號處理部ex455會藉由對應於上述各實施形態所示之動態圖像編碼方法的動態圖像解碼方法來解碼影像訊號，並透過顯示器控制部ex459從顯示部ex458顯示被鏈接之動態圖像檔案中所含的影像或靜態圖。又，聲音訊號處理部ex454會將聲音訊號解碼，並從聲音輸出部ex457輸出聲音。再者，由於即時串流(real time streaming)已普及，因此依據使用者的狀況，也可能在社會上不適合發出聲音的場所發生聲音的播放。因此，作為初始值較理想的是，在不使聲音訊號播放的情形下僅播放影像資料之構成。僅在使用者進行點選影像資料等操作的情形下才將聲音同步播放亦可。
又，此處雖然以智慧型手機ex115為例進行了說明，但是在作為終端方面，可考慮具有編碼器及解碼器兩者之傳送接收型終端，其他還有僅具有編碼器之傳送終端、以及僅具有解碼器之接收終端這3種組裝形式。此外，在數位播送用系統中，雖然是作成接收或傳送已在影像資料中將聲音資料等多工化之多工資料來進行說明，但在多工資料中，除了聲音資料以外亦可將與影像有關聯之文字資料等多工化，且可接收或傳送影像資料本身而非多工資料。
再者，雖然作成為使包含CPU之主控制部ex460控制編碼或解碼處理並進行了說明，但終端具備GPU的情況也很多。因此，也可以是藉由在CPU與GPU已共通的記憶體、或將地址管理成可以共通地使用的記憶體，來活用GPU之性能而將較寬廣的區域一併處理的構成。藉此可以縮短編碼時間，確保即時性，而可以實現低延遲。特別是對運動搜尋、解塊濾波方法(deblock filter)、SAO(Sample Adaptive Offset(取樣自適應偏移))、及轉換、量化之處理，在不利用CPU的情形下，利用GPU以圖片等單位一併進行時是有效率的。 産業上之可利用性
本發明可在例如電視接收器、數位錄影機、汽車導航系統、行動電話、數位相機、數位攝影機、視訊會議系統或電子鏡子等上利用。
100‧‧‧編碼裝置102‧‧‧分割部104‧‧‧減法部106‧‧‧轉換部108‧‧‧量化部110‧‧‧熵編碼部112、204‧‧‧逆量化部114、206‧‧‧逆轉換部116、208‧‧‧加法部118、210‧‧‧區塊記憶體120、212‧‧‧環路濾波部122、214‧‧‧框記憶體124、216‧‧‧框內預測部126、218‧‧‧框間預測部128、220‧‧‧預測控制部10~23‧‧‧區塊132‧‧‧二值化部134、140、236、242‧‧‧切換部136、240‧‧‧中間緩衝器138‧‧‧算術編碼部142‧‧‧多工化部144‧‧‧輸出緩衝器150‧‧‧傳送裝置152‧‧‧傳送控制部160、260‧‧‧電路162、262‧‧‧記憶體200‧‧‧解碼裝置202‧‧‧熵解碼部232‧‧‧輸入緩衝器234‧‧‧分離部238‧‧‧算術解碼部244‧‧‧逆二值化部250‧‧‧接收裝置252‧‧‧接收控制部300‧‧‧編碼解碼系統Cur block‧‧‧當前區塊Cur Pic‧‧‧當前圖片ex100‧‧‧內容供給系統ex101‧‧‧網際網路ex102‧‧‧網際網路服務提供者ex103‧‧‧串流伺服器ex104‧‧‧通訊網ex106、ex107、ex108、ex109、ex110‧‧‧基地台ex111‧‧‧電腦ex112‧‧‧遊戲機ex113‧‧‧相機ex114‧‧‧家電ex115‧‧‧智慧型手機ex116‧‧‧衛星ex117‧‧‧飛機ex450‧‧‧天線ex451‧‧‧傳送/接收部ex452‧‧‧調變/解調部(調變/解調電路部)ex453‧‧‧多工/分離部ex454‧‧‧聲音訊號處理部ex455‧‧‧影像訊號處理部ex456‧‧‧聲音輸入部ex457‧‧‧聲音輸出部ex458‧‧‧顯示部ex459‧‧‧顯示器控制部ex460‧‧‧主控制部ex461‧‧‧電源電路部ex462‧‧‧操作輸入控制部ex463‧‧‧相機介面部ex464‧‧‧插槽部ex465‧‧‧相機部ex466‧‧‧操作部ex467‧‧‧記憶體部ex468‧‧‧SIMex470‧‧‧匯流排ex500‧‧‧LSIMV0、MV1、v0、v1‧‧‧運動向量Ref0、Ref1‧‧‧參照圖片S101、S102、S111~S114、S201、S202、S211~S214‧‧‧步驟TD0、TD1‧‧‧距離τ0、τ1‧‧‧時間上之距離
圖1是顯示實施形態1之編碼裝置的功能構成之方塊圖。 圖2是顯示實施形態1之區塊分割的一例之圖。 圖3是顯示對應於各轉換類型的轉換基底函數之表格。 圖4A是顯示在ALF所用的濾波器之形狀的一例之圖。 圖4B是顯示在ALF所用的濾波器之形狀的其他的一例之圖。 圖4C是顯示在ALF所用的濾波器之形狀的其他的一例之圖。 圖5是顯示框內預測中的67個框內預測模式之圖。 圖6是用於說明沿著運動軌跡的2個區塊間的型樣匹配(雙向匹配)之圖。 圖7是用於說明在當前圖片內的模板與參照圖片內的區塊之間的型樣匹配(模板匹配)之圖。 圖8是用於說明假設了等速直線運動的模型之圖。 圖9是用於說明根據複數個相鄰區塊的運動向量之子區塊單位的運動向量的導出之圖。 圖10是顯示實施形態1之解碼裝置的功能構成之方塊圖。 圖11是顯示實施形態1之編碼裝置中的熵編碼部之詳細的功能構成之方塊圖。 圖12是顯示實施形態1之解碼裝置中的熵解碼部之詳細的功能構成之方塊圖。 圖13是顯示實施形態1之包含編碼裝置及解碼裝置的編碼解碼系統之功能構成的方塊圖。 圖14是顯示實施形態1之編碼裝置的組裝例之方塊圖。 圖15是顯示實施形態1的編碼裝置的第1編碼動作例的流程圖。 圖16是顯示實施形態1的編碼裝置之第2編碼動作例的流程圖。 圖17是顯示實施形態1之解碼裝置的組裝例之方塊圖。 圖18是顯示實施形態1的解碼裝置的第1解碼動作例的流程圖。 圖19是顯示實施形態1的解碼裝置之第2解碼動作例的流程圖。 圖20是實現內容傳遞服務(content delivery service)的內容供給系統之整體構成圖。 圖21是顯示可調式編碼時之編碼構造的一例之圖。 圖22是顯示可調式編碼時之編碼構造的一例之圖。 圖23是顯示網頁的顯示畫面例之圖。 圖24是顯示網頁的顯示畫面例之圖。 圖25是顯示智慧型手機的一例之圖。 圖26是顯示智慧型手機的構成例之方塊圖。
100‧‧‧編碼裝置
160‧‧‧電路
162‧‧‧記憶體

Claims (12)

  1. 一種編碼裝置，是對圖像資訊進行編碼的編碼裝置，其具備：記憶體；及電路，可對前述記憶體進行存取，其中，可對前述記憶體進行存取的前述電路是從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出位元串，該位元串包含前述二值化資料串，且包含有顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，在前述位元串的輸出中，輸出前述位元串，該位元串包含有未適用前述算術編碼的前述二值化資料串，且包含下述資訊來作為前述適用資訊，其中該資訊為顯示對於前述二值化資料串未適用前述算術編碼的資訊，在前述位元串的輸出中，輸出包含前述適用資訊的前述位元串，且該適用資訊是以包含1個以上的圖片之單位來全面性地顯示對於前述二值化資料串是否適用前述算術編碼的資訊。
  2. 如請求項1之編碼裝置，其中，前述電路會切換如下的第1動作及第2動作：(i)前述第1動作是在前述位元串的輸出中，輸出前述位元串，該位元串包含有適用前述算術編碼的前述二值化資料串，且包含下述資訊來作為前述適用資訊，其中該資 訊為顯示對於前述二值化資料串適用前述算術編碼的資訊；及(ii)前述第2動作是在前述位元串的輸出中，輸出前述位元串，該位元串包含有未適用前述算術編碼的前述二值化資料串，且包含下述資訊來作為前述適用資訊，其中該資訊為顯示對於前述二值化資料串未適用前述算術編碼的資訊。
  3. 一種編碼裝置，是對圖像資訊進行編碼的編碼裝置，其具備：記憶體；及電路，可對前述記憶體進行存取，其中，可對前述記憶體進行存取的前述電路是從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出包含前述二值化資料串的位元串，且可切換如下的第1動作及第2動作：(i)前述第1動作是在前述位元串的輸出中，輸出包含有適用前述算術編碼之前述二值化資料串的前述位元串；及(ii)前述第2動作是在前述位元串的輸出中，輸出包含有未適用前述算術編碼之前述二值化資料串的前述位元串，在前述第1動作與前述第2動作的切換中，是以包含1個以上的圖片之單位來全面性地切換前述第1動作與前述 第2動作。
  4. 如請求項3之編碼裝置，其中，前述電路會輸出前述位元串，該位元串包含前述二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，並可切換如下之前述第1動作及前述第2動作：(i)前述第1動作是在前述位元串的輸出中，輸出前述位元串，該位元串包含有適用前述算術編碼的前述二值化資料串，且包含下述資訊來作為前述適用資訊，其中該資訊為顯示對於前述二值化資料串適用前述算術編碼的資訊；及(ii)前述第2動作是在前述位元串的輸出中，輸出前述位元串，該位元串包含有未適用前述算術編碼的前述二值化資料串，且包含下述資訊來作為前述適用資訊，其中該資訊為顯示對於前述二值化資料串未適用前述算術編碼的資訊。
  5. 一種解碼裝置，是對圖像資訊進行解碼的解碼裝置，其具備：記憶體；及電路，可對前述記憶體進行存取，其中，可對前述記憶體進行存取的前述電路會取得位元串，該位元串包含從前述圖像資訊中依照用於算術編碼的二值化而導出的二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，並可從包含於前述位元串之前述二值化資料串且未 適用前述算術編碼的前述二值化資料串中，導出前述圖像資訊，其中該位元串是包含顯示對於前述二值化資料串未適用前述算術編碼的資訊來作為前述適用資訊，在前述位元串的取得中，取得包含前述適用資訊的前述位元串，且該適用資訊是以包含1個以上的圖片之單位來全面性地顯示對於前述二值化資料串是否適用前述算術編碼的資訊。
  6. 如請求項5之解碼裝置，其中，前述電路會切換如下的第1動作及第2動作：(i)前述第1動作是在前述圖像資訊的導出中，從包含於前述位元串的前述二值化資料串且適用前述算術編碼的前述二值化資料串中，導出前述圖像資訊，其中該位元串是包含顯示對於前述二值化資料串適用前述算術編碼的資訊來作為前述適用資訊；及(ii)前述第2動作是在前述圖像資訊的導出中，從包含於前述位元串的前述二值化資料串且未適用前述算術編碼的前述二值化資料串中，導出前述圖像資訊，其中該位元串是包含顯示對於前述二值化資料串未適用前述算術編碼的資訊來作為前述適用資訊。
  7. 一種解碼裝置，是對圖像資訊進行解碼的解碼裝置，其具備：記憶體；及電路，可對前述記憶體進行存取，其中，可對前述記憶體進行存取的前述電路會取得包 含有從前述圖像資訊中依照用於算術編碼的二值化而導出的二值化資料串之位元串，且從前述二值化資料串中導出前述圖像資訊，並可切換如下的第1動作及第2動作：(i)前述第1動作是在前述圖像資訊的導出中，從包含於前述位元串的前述二值化資料串且適用前述算術編碼的前述二值化資料串中，導出前述圖像資訊；及(ii)前述第2動作是在前述圖像資訊的導出中，從包含於前述位元串的前述二值化資料串且未適用前述算術編碼的前述二值化資料串中，導出前述圖像資訊，在前述第1動作與前述第2動作的切換中，是以包含1個以上的圖片之單位來全面性地切換前述第1動作與前述第2動作。
  8. 如請求項7之解碼裝置，其中，前述電路會取得前述位元串，該位元串包含前述二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼之適用資訊，並可切換如下的前述第1動作及前述第2動作：(i)前述第1動作是在前述圖像資訊的導出中，從包含於前述位元串的前述二值化資料串且適用前述算術編碼的前述二值化資料串中，導出前述圖像資訊，其中該位元串是包含顯示對於前述二值化資料串適用前述算術編碼的資訊來作為前述適用資訊；及(ii)前述第2動作是在前述圖像資訊的導出中，從包含 於前述位元串的前述二值化資料串且未適用前述算術編碼的前述二值化資料串中，導出前述圖像資訊，其中該位元串是包含顯示對於前述二值化資料串未適用前述算術編碼的資訊來作為前述適用資訊。
  9. 一種編碼方法，是對圖像資訊進行編碼的編碼方法，其為從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出位元串，該位元串包含前述二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，在前述位元串的輸出中，輸出前述位元串，該位元串包含未適用前述算術編碼的前述二值化資料串，且包含下述資訊來作為前述適用資訊，其中該資訊為顯示對於前述二值化資料串未適用前述算術編碼的資訊，在前述位元串的輸出中，輸出包含前述適用資訊的前述位元串，且該適用資訊是以包含1個以上的圖片之單位來全面性地顯示對於前述二值化資料串是否適用前述算術編碼的資訊。
  10. 一種編碼方法，是對圖像資訊進行編碼的編碼方法，其為從前述圖像資訊中依照用於算術編碼的二值化來導出二值化資料串，並輸出包含前述二值化資料串的位元串， 且可切換如下的第1動作及第2動作：(i)前述第1動作是在前述位元串的輸出中，輸出包含有適用前述算術編碼的前述二值化資料串之前述位元串；及(ii)前述第2動作是在前述位元串的輸出中，輸出包含有未適用前述算術編碼的前述二值化資料串之前述位元串，在前述第1動作與前述第2動作的切換中，是以包含1個以上的圖片之單位來全面性地切換前述第1動作與前述第2動作。
  11. 一種解碼方法，是對圖像資訊進行解碼的解碼方法，其取得位元串，該位元串包含從前述圖像資訊中依照用於算術編碼的二值化而導出的二值化資料串，且包含顯示對於前述二值化資料串是否適用前述算術編碼的適用資訊，並從包含於前述位元串之前述二值化資料串且未適用前述算術編碼的前述二值化資料串中，導出前述圖像資訊，其中該位元串是包含顯示對於前述二值化資料串未適用前述算術編碼的資訊來作為前述適用資訊，在前述位元串的取得中，取得包含前述適用資訊的前述位元串，且該適用資訊是以包含1個以上的圖片之單位來全面性地顯示對於前述二值化資料串是否適用前述算術編碼的資訊。
  12. 一種解碼方法，是對圖像資訊進行解碼的解碼方法，其取得包含有從前述圖像資訊中依照用於算術編碼的二值化而導出的二值化資料串，且從前述二值化資料串中導出前述圖像資訊，並可切換如下的第1動作及第2動作：(i)前述第1動作是在前述圖像資訊的導出中，從包含於前述位元串之前述二值化資料串且適用前述算術編碼的前述二值化資料串中，導出前述圖像資訊；及(ii)前述第2動作是在前述圖像資訊的導出中，從包含於前述位元串之前述二值化資料串且未適用前述算術編碼的前述二值化資料串中，導出前述圖像資訊，在前述第1動作與前述第2動作的切換中，是以包含1個以上的圖片之單位來全面性地切換前述第1動作與前述第2動作。
TW106116488A 2016-05-20 2017-05-18 編碼裝置、解碼裝置、編碼方法及解碼方法 TWI729135B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662339212P 2016-05-20 2016-05-20
US62/339,212 2016-05-20

Publications (2)

Publication Number Publication Date
TW201806392A TW201806392A (zh) 2018-02-16
TWI729135B true TWI729135B (zh) 2021-06-01

Family

ID=60325771

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106116488A TWI729135B (zh) 2016-05-20 2017-05-18 編碼裝置、解碼裝置、編碼方法及解碼方法

Country Status (7)

Country Link
US (1) US11166026B2 (zh)
EP (1) EP3461131A4 (zh)
JP (1) JP7199221B2 (zh)
KR (1) KR102442406B1 (zh)
CN (1) CN109155863B (zh)
TW (1) TWI729135B (zh)
WO (1) WO2017199800A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139283A1 (ja) * 2017-01-30 2018-08-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2019138981A1 (ja) * 2018-01-12 2019-07-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
WO2020094057A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Position based intra prediction
CN113170122B (zh) 2018-12-01 2023-06-27 北京字节跳动网络技术有限公司 帧内预测的参数推导
CN111247798B (zh) * 2019-01-10 2022-03-15 深圳市大疆创新科技有限公司 对三维数据点集进行编码或解码的方法和设备
WO2020171644A1 (ko) * 2019-02-22 2020-08-27 엘지전자 주식회사 영상 코딩 시스템에서 cclm 예측에 기반한 영상 디코딩 방법 및 그 장치
CN113491121B (zh) 2019-02-24 2022-12-06 北京字节跳动网络技术有限公司 对视频数据进行编解码的方法、设备及计算机可读介质
KR20210114060A (ko) 2019-03-13 2021-09-17 엘지전자 주식회사 Dmvr 기반의 인터 예측 방법 및 장치
EP3745725A1 (en) 2019-03-22 2020-12-02 LG Electronics Inc. -1- Method and device for inter prediction on basis of dmvr and bdof
EP3944623A4 (en) 2019-03-22 2022-06-08 LG Electronics Inc. METHOD AND DEVICE FOR DMVR-BASED INTERPREDICTION
US11140409B2 (en) 2019-03-22 2021-10-05 Lg Electronics Inc. DMVR and BDOF based inter prediction method and apparatus thereof
JP7079377B2 (ja) * 2019-03-25 2022-06-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
GB201905400D0 (en) * 2019-04-16 2019-05-29 V Nova Int Ltd Video coding technology
WO2020235586A1 (ja) * 2019-05-20 2020-11-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2021006196A1 (ja) * 2019-07-10 2021-01-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
CN114145020A (zh) * 2019-08-29 2022-03-04 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
KR20220054591A (ko) * 2019-08-30 2022-05-03 소니 세미컨덕터 솔루션즈 가부시키가이샤 부호화 장치, 부호화 방법, 복호 장치, 복호 방법 및 프로그램
JP7431549B2 (ja) * 2019-10-01 2024-02-15 キヤノン株式会社 符号化装置、撮像装置、制御方法、及びプログラム
US11357020B2 (en) 2020-02-06 2022-06-07 International Business Machines Corporation Connecting computer processing systems and transmitting data
US11290575B2 (en) * 2020-02-06 2022-03-29 International Business Machines Corporation Connecting computer processing systems and transmitting data
US11405766B2 (en) 2020-02-06 2022-08-02 International Business Machines Corporation Connecting computer processing systems and transmitting data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060126744A1 (en) * 2004-12-10 2006-06-15 Liang Peng Two pass architecture for H.264 CABAC decoding process
CN1949873A (zh) * 2005-10-12 2007-04-18 华为技术有限公司 Cabac解码系统及方法
WO2009029797A1 (en) * 2007-08-31 2009-03-05 Qualcomm Incorporated Architecture for multi-stage decoding of a cabac bitstream
US20120328207A1 (en) * 2011-06-22 2012-12-27 Hisao Sasai Image decoding method and image coding method
US9088796B2 (en) * 2011-11-07 2015-07-21 Sharp Kabushiki Kaisha Video decoder with enhanced CABAC decoding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3337365B2 (ja) * 1996-01-23 2002-10-21 株式会社リコー 多値画像データ伝送装置
KR101208233B1 (ko) * 2004-11-09 2012-12-04 파나소닉 주식회사 중간 형식으로 변환하는 2단계 산술 복호
KR100776195B1 (ko) * 2005-08-09 2007-11-16 (주)씨앤에스 테크놀로지 빠른 ｃａｖｌｃ를 위한 ｈ.264 디코딩 방법
JP4878262B2 (ja) * 2006-10-31 2012-02-15 キヤノン株式会社 エントロピー符号化装置
JP4785706B2 (ja) * 2006-11-01 2011-10-05 キヤノン株式会社 復号装置及び復号方法
JP2013009167A (ja) * 2011-06-24 2013-01-10 Mitsubishi Electric Corp エントロピー符号化装置、エントロピー復号装置、エントロピー符号化方法及びエントロピー復号方法
US9503717B2 (en) * 2012-01-09 2016-11-22 Texas Instruments Incorporated Context adaptive binary arithmetic coding (CABAC) with scalable throughput and coding efficiency
WO2015008478A1 (en) * 2013-07-15 2015-01-22 Sharp Kabushiki Kaisha Modified coding for a transform skipped block for cabac in hevc
US9743116B2 (en) 2012-01-19 2017-08-22 Huawei Technologies Co., Ltd. High throughput coding for CABAC in HEVC
JP5521083B2 (ja) * 2013-04-18 2014-06-11 パナソニック株式会社 画像符号化装置
US20190020877A1 (en) * 2016-01-21 2019-01-17 Sony Corporation Image processing apparatus and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060126744A1 (en) * 2004-12-10 2006-06-15 Liang Peng Two pass architecture for H.264 CABAC decoding process
CN1949873A (zh) * 2005-10-12 2007-04-18 华为技术有限公司 Cabac解码系统及方法
WO2009029797A1 (en) * 2007-08-31 2009-03-05 Qualcomm Incorporated Architecture for multi-stage decoding of a cabac bitstream
US20120328207A1 (en) * 2011-06-22 2012-12-27 Hisao Sasai Image decoding method and image coding method
US9088796B2 (en) * 2011-11-07 2015-07-21 Sharp Kabushiki Kaisha Video decoder with enhanced CABAC decoding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Ryoji Hattori, Kazuo Sugimoto1, Yusuke Itani, Shun-ichi Sekiguchi and Tokumichi Murakami, " Fast bypass mode for CABAC", The 2012 Picture Coding Symposium, May 07, Year of 2012, pp.417-420 *
Ryoji Hattori, Kazuo Sugimoto1, Yusuke Itani, Shun-ichi Sekiguchi and Tokumichi Murakami, " Fast bypass mode for CABAC", The 2012 Picture Coding Symposium, May 07, Year of 2012, pp.417-420。

Also Published As

Publication number Publication date
US20190089958A1 (en) 2019-03-21
KR102442406B1 (ko) 2022-09-13
TW201806392A (zh) 2018-02-16
WO2017199800A1 (ja) 2017-11-23
EP3461131A1 (en) 2019-03-27
JP7199221B2 (ja) 2023-01-05
JPWO2017199800A1 (ja) 2019-03-14
CN109155863A (zh) 2019-01-04
KR20190008224A (ko) 2019-01-23
CN109155863B (zh) 2022-09-20
EP3461131A4 (en) 2019-03-27
US11166026B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
TWI729135B (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
JP6994868B2 (ja) 符号化装置、復号装置、符号化方法、および復号方法
JP7422811B2 (ja) 非一時的記憶媒体
WO2018030292A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP6998874B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP2023145787A (ja) 符号化装置及び復号装置
JP2022066195A (ja) 符号化装置及び符号化方法
WO2018030293A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
TWI812414B (zh) 編碼裝置、解碼裝置及記錄媒體
JP2023159390A (ja) 符号化装置及び復号装置
WO2018030294A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
JP7375113B2 (ja) 符号化装置及び復号装置
JP2024015159A (ja) 符号化装置、復号装置、符号化方法、及び復号方法
JP7389282B2 (ja) 復号装置、及び、復号方法
TW201826796A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
JP2023126387A (ja) 符号化装置及び符号化方法
WO2019009314A1 (ja) 符号化装置、復号装置、符号化方法および復号方法
JP2023016992A (ja) 符号化装置及び復号装置
WO2018097078A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
TW201924338A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201909631A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
TW201826795A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
WO2019049912A1 (ja) 符号化装置、復号装置、符号化方法及び復号方法
TW201834456A (zh) 編碼裝置、解碼裝置、編碼方法及解碼方法
WO2019138981A1 (ja) 符号化装置、復号装置、符号化方法および復号方法