TW201338552A - 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程式，及圖像解碼程式 - Google Patents

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程式，及圖像解碼程式 Download PDF

Info

Publication number
TW201338552A
TW201338552A TW101146821A TW101146821A TW201338552A TW 201338552 A TW201338552 A TW 201338552A TW 101146821 A TW101146821 A TW 101146821A TW 101146821 A TW101146821 A TW 101146821A TW 201338552 A TW201338552 A TW 201338552A
Authority
TW
Taiwan
Prior art keywords
image
divided
decoded
decoding
encoding
Prior art date
Application number
TW101146821A
Other languages
English (en)
Other versions
TWI477107B (zh
Inventor
Mayuko Watanabe
Masaki Kitahara
Atsushi Shimizu
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201338552A publication Critical patent/TW201338552A/zh
Application granted granted Critical
Publication of TWI477107B publication Critical patent/TWI477107B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

本發明之相較於習知之分割圖像內編碼，係更能抑制編碼效率之降低，且能削減編碼演算量以及解碼演算量。分割圖像產生部係將編碼對象的輸入圖像分割成相同尺寸的區塊，並彙集各區塊內的相對位置為相同之畫素而產生分別為相同尺寸的分割圖像。有關於一部分的分割圖像係由分割圖像內編碼處理部進行分割圖像內編碼。分割圖像間編碼處理部係將另外之已完成編碼的分割圖像作為參考圖像使用而進行分割圖像間編碼。在參考圖像的候補為複數個時，相關方向算出部係於已編碼分割圖像和其參考圖像的組合之中，求取在原圖像上之畫素的相關性高者，參考圖像選擇部係選擇位於對於編碼對象分割圖像相關性高的方向之已編碼完成的分割圖像，以作為分割圖像間編碼處理部所使用之參考圖像。

Description

圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程式，及圖像解碼程式
本發明係有關於圖像編碼、解碼技術，特別是有關於對習知之畫面內預測編碼、解碼，實現抑止編碼效率之降低，並削減解碼演算量之編碼和解碼之圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程式(program)、以及圖像解碼程式之相關技術。
本發明係根據2011年12月13日向日本提出申請之特願2011-271841號而主張其優先權，此處係援用其內容。
影像編碼國際標準之H.264係為了利用區塊(block)間之畫素相關性而提升編碼之壓縮率，而進行畫面內預測編碼(參考非專利文獻1)。該畫面內預測係以彙集幾個的畫素之區塊單位而進行，且對亮度信號而可利用4×4、8×8、16×16之3種類的區塊尺寸。此外，各區塊尺寸係分別能選擇複數個預測模式(mode)。
該H.264於畫面內預測之時，雖使用外插預測的方 法，惟具有該方法的預測效率不佳的問題。為了解決該問題，對全部畫面進行藉由去塊濾波器(deblocking filter)而抑制區塊失真之動作，而使得演算量變多。
此外，就提升畫面內預測之編碼效率的方法而言，已知有記載於非專利文獻2之技術。該技術係在畫面內預測當中，對編碼對象區塊自已編碼之區域探索誤差小的區塊，且使用其相對之預測誤差而進行編碼之方法。
第19圖係表示習知技術之畫面內預測編碼處理之例的流程圖(flow chart)。在非專利文獻2之畫面內預測編碼中，首先，將編碼對象的圖像分割成相同尺寸之N個的區塊1至N(步驟(step)S801)。接著，對最初的區塊1進行畫面內預測編碼(步驟S802)。繼而在區塊2以後之區塊的編碼係自已編碼的區域中將預測誤差小之區塊作為參考圖像，而進行畫面間預測編碼，且將對該參考圖像之動態向量(vector)資訊和預測誤差進行編碼(步驟S803)。重覆該步驟S803之處理直至最後的區塊N為止。
該非專利文獻2所提案之技術係用以提升編碼效率的方法，由於在重覆相同圖案(pattern)的區域係能抑制預測誤差的產生，故其量子化誤差亦容易變小。因此，其係設想能減少去塊濾波器的處理量。
然而，就上述方法而言，對於重覆相同圖案的圖像雖可能有效，但在幾乎不會顯示相同圖案的圖像則並非有效，在該情形時，則設想其無法明顯地削減預測誤差，而量子化誤差亦不會變小。在該情形時，由於亦無法削減去塊濾波器的處理量，而設想其在解碼演算量之削減上為無效。此外，由於必須對解碼 側傳送表示相對於各區塊之參考區塊的相對位置之偏移向量(offset vector)資訊，故於解碼側亦產生進行參考區塊資訊之解碼用的演算，結果，有演算量仍然變多之問題。
為了解決該非專利文獻2之技術之課題，本案各個發明者係於非專利文獻3之中，提案可抑制編碼效率之降低，且能削減編碼演算量以及解碼演算量之技術。
第20圖係說明非專利文獻3所提案之技術的圖示。該提案技術係在原圖像PIC1的畫面內編碼當中，將原圖像PIC1分離為於相同位置的畫素具有強的相關性之4個分割圖像PIC10至PIC13。又，圖中之賦予0、1、2、3的數值之格係分別表示畫素。亦即，將輸入之編碼對象的原圖像PIC1分割成2×2畫素的區塊，並彙集各區塊內之相對位置為相同的畫素，而設定分割圖像PIC10至PIC13。將其中之1個分割圖像PIC10進行畫面內編碼，且對殘留之3個的分割圖像PIC11、PIC12、PIC13，分別因應於分離方法而由已編碼的圖像產生參考圖像且進行預測編碼。
進行畫面內編碼之第1個的分割圖像PIC10雖係使用強的去塊濾波器，但第2至4個的分割圖像PIC11、PIC12、PIC13則使用預測效率佳之畫面間編碼，藉此而使去塊濾波器的強度降低。因此，在整體上能削減去塊處理之演算量，且能維持編碼效率而削減解碼演算量。
該方法之處理順序如下。
(1)如第20圖所示，將原圖像PIC1區分成4個分割圖像PIC10至PIC13。
(2)藉由畫面內編碼之方式而將第1個分割圖像PIC10進行 編碼。
(3)使用半畫素濾波器而產生將分割圖像PIC10之編碼圖像往右移離半畫素之圖像。
(4)將(3)所產生之圖像作為參考圖像，且將動態向量作為0而將第2個的分割圖像PIC11進行畫面間編碼。
(5)使用半畫素濾波器而產生將分割圖像PIC10之編碼圖像往下移離半畫素之圖像。
(6)將(5)所產生之圖像作為參考圖像，且將動態向量作為0而將第3個的分割圖像PIC12進行畫面間編碼。
(7)使用半畫素濾波器而產生將分割圖像PIC12之編碼圖像往右移離半畫素之圖像。
(8)將(7)所產生之圖像作為參考圖像，且將動態向量作為0而將第4個的分割圖像PIC13進行畫面間編碼。
該例係說明將輸入之編碼對象的原圖像PIC1分割成2×2畫素的區塊，並彙集各區塊內之相對位置為相同的畫素，且設定4個分割圖像PIC10至PIC13而予以編碼之情形。然而，亦可更為一般化，而將原圖像分割成n×m畫素的區塊，將各區塊之相對位置為相同之複數的畫素群(此處係稱為子區塊(sub block))予以再配置而設定分割圖像。子區塊為n1×m1畫素(其中，1≦n1<n,1≦m1<m)。
習知方法係實施如下之編碼。首先，以等間隔而由輸入圖像抽出1個或複數個畫素(子區塊)，並藉由彙集此等之子區塊而產生複數的分割圖像，且對至少一個之分割圖像進行僅使用該分割圖像而編碼之分割圖像內編碼。對另外的分割圖像之編 碼，則使用已編碼之分割圖像而進行分割圖像間預測編碼。亦即，將已編碼之分割圖像作為參考圖像，以此為基礎而根據包含於編碼對象分割圖像之畫素和包含於已編碼之分割圖像之畫素的相對性位置關係，例如將產生小數畫素精度的內插圖像時所用之濾波器使用於參考圖像，據此而產生預測圖像，並將該預測圖像和編碼對象分割圖像的誤差信號進行編碼。
第21圖係習知方法之處理流程圖。
首先，步驟S900係將圖像分割成相同尺寸的區塊，並產生分割圖像P0至PN。此外，步驟S901係於所產生的分割圖像P0至PN之中，對幾個之分割圖像P0至PM(其中，0≦M<N)進行分割圖像內編碼。繼而步驟S902係對分割圖像P(M+1)至PN，將已編碼之區塊作為參考圖像而進行分割圖像間編碼。
(先前技術文獻) (專利文獻)
[非專利文獻1]：ITU-T Rec. H. 264, “Advanced video coding for generic audiovisual services”, March 2005.
[非專利文獻2]：J. Yang, B. Yin, Y. Sun, and N. Zhang, “A block-matching based intra frame prediction for H. 264/A VC”, in Proceedings of IEEE International Conference on Multimedia and Expo (ICME’ 06), pp. 705-708, Toronto, Canada, July 2006.
[非專利文獻3]：渡邊真由子, 北原正樹, 清水淳, 如澤裕尚：“畫面內編碼之解碼演算量削減之檢討“, 2011年信學會綜合大會演講論文集, D-11-39, March 2011.
在影像編碼國際標準之H.264等之影像編碼的解碼處理中，其用以減低區塊失真之去塊濾波器之處理量所占比例相當大。對於該問題，若使用非專利文獻3中所提案之在以固定規則抽出畫素或畫素群並重新排列之分割圖像間進行預測編碼之方法時，則可抑制區塊失真的產生。由於該方法而減低去塊濾波器之使用處所，故能減低去塊濾波器的演算量。
然而，該方法對於下列之點則仍具有改善之餘地。
(1)首先，在分割圖像間編碼中使用2個以上之參考圖像時，為了能掌握在解碼時為使用哪一個參考圖像，則必須將表示預測編碼所使用之參考圖像的參考圖像指標(index)進行編碼，而增加該編碼量。因此，編碼效率即產生惡化之情形。另一方面，將參考圖像的方向予以固定時，則預測精度下降，且編碼效率惡化。
(2)此外，按每個分割圖像內的各區塊而切換參考圖像時，則必須按每個各區塊將參考圖像指標傳送於解碼側，而由於將參考圖像指標進行編碼會增加編碼量，故具有更為增加編碼量的問題。
本發明之目的係謀求上述分割圖像間編碼的改善，藉由不需要進行分割圖像間編碼的參考圖像指標之編碼，而提升編碼效率。
本發明最具特徵之處係在使用將畫素(或畫素群)予以再配置之分割圖像，且藉由分割圖像內編碼和分割圖像間編碼 而進行畫面內預測編碼(解碼亦相同)之圖像編碼方式當中，以分割圖像間編碼而選擇參考用之參考圖像時，求得位於和編碼對象分割圖像的原圖像上之畫素相關性高的方向之畫素所屬的已編碼分割圖像，並將其作為參考圖像。此外，該參考圖像的選擇係使用在編碼器(encoder)(圖像編碼裝置)和解碼器(decoder)(圖像解碼裝置)上共通的選擇邏輯(logic)，藉此不需要進行表示選擇了哪一個已編碼分割圖像作為參考圖像之參考圖像指標之編碼。
本發明係在每次將輸入圖像進行壓縮編碼時，進行以下之處理。
(1)將輸入圖像分割成n×m畫素的區塊，且將分割之各區塊分割成n1×m1畫素(其中，1≦n1<n,1≦m1<m)之子區塊，並彙集區塊內之相對位置為相同之子區塊，而分別產生相同尺寸的分割圖像。
(2)將至少一個以上之分割圖像進行分割圖像內編碼。此處之分割圖像內編碼係將分割圖像作為畫面單位而進行之畫面內預測之編碼。
(3)為了將經過分割圖像內編碼之分割圖像以外的分割圖像進行編碼，係對編碼對象分割圖像和已編碼分割圖像之相同位置的畫素，選擇在原圖像上之距離短的已編碼分割圖像而作為相對於編碼對象分割圖像之分割圖像間編碼所使用之參考圖像。參考圖像之候補有複數個時，則求得位於和編碼對象分割圖像之畫素相關性高的方向之畫素所屬的已編碼分割圖像，並選擇其作為參考圖像。亦即，使用相關性高之已編碼分割圖像而作為參考圖像。對於是否為高的相關性，則例如根據已編碼分割圖像的預測誤差 而判斷。
(4)使用所選擇之參考圖像而產生對編碼對象分割圖像之預測圖像，且進行分割圖像間預測編碼。該分割圖像間預測編碼係例如將藉由編碼對象分割圖像和參考圖像的在原圖像上之對應畫素的相對位置所決定之特定的濾波器實施於參考圖像而得之圖像作為預測圖像，而進行分割圖像間預測編碼。此處之分割圖像間預測編碼係將各分割圖像作為畫面單位而進行之畫面間預測之編碼。
(5)將以上之分割圖像內編碼和分割圖像間預測編碼之編碼結果進行資訊源編碼，而將編碼位元訊流(bit stream)予以輸出。
上述處理(3)之參考圖像的選擇係將編碼對象分割圖像分割成n2×m2畫素之區域(相當於H.264之巨集區塊(macro block)等)，且能按每個區域進行。此處係將該區域稱為分割圖像區塊。亦即，亦可藉由選擇相關性高之參考圖像而按每個編碼對象之分割圖像區塊，來切換1個編碼對象分割圖像之中最佳之參考圖像而進行分割圖像間預測編碼。
就求得上述處理(3)之位於相關性高的方向之畫素所屬的已編碼分割圖像之處理而言，係有如下之2個方法。
第1方法係對參考圖像的候補，分別算出成為參考圖像的候補之已編碼分割圖像之解碼圖像和由該已編碼分割圖像之參考圖像所作成之預測圖像的預測誤差之和。並且，求得預測誤差之和變小之已編碼分割圖像和參考圖像的組合，並將連結此等之圖像內所對應之畫素的在原圖像上之畫素的方向設為相關性高的方向。編碼對象分割圖像的編碼所使用之參考圖像係設為相 對於編碼對象分割圖像位於相關性高的方向之畫素所屬之已編碼參考圖像。
第2方法係算出已進行分割圖像間編碼而存在之編碼資料的預測誤差之和，並根據該預測誤差之和來判斷其相關性而選擇參考圖像，藉此而抑制解碼演算量的增加，以取代如第1方法之對已編碼分割圖像產生預測圖像並計算誤差。
上述第1方法中，為了計算相關性高的方向，係計算已進行過分割圖像間編碼之圖像之解碼圖像和由該參考圖像所作成之預測圖像的差分(誤差)。然而，於按每個分割圖像或分割圖像區塊重新產生預測圖像，並取得和已進行過分割圖像間編碼圖像之解碼圖像的差分時，其演算量則大為增加。
相對於此，第2方法係使用預先作為編碼資料而產生之預測誤差而算出其預測誤差之和，並藉由判斷其相關性，即可保持和第1方法大致同等之功效，且能大大地抑制編碼/解碼演算量的增加。
此外，本發明係在每次將藉由上述方法而編碼的圖像之編碼資料進行解碼時，進行以下之處理。
(1)在圖像編碼裝置側，將輸入圖像分割成n×m畫素的區塊，且將分割之各區塊分割成n1×m1畫素(其中，1≦n1<n，1≦m1<m)之子區塊，並彙集區塊內之相對位置為相同之子區塊，並輸入分別產生相同尺寸的分割圖像並進行編碼之編碼資料，並進行資訊源解碼。
(2)根據解碼之資料，將至少一個以上之分割圖像進行分割圖像內解碼。
(3)將經過分割圖像內解碼之分割圖像以外的分割圖像進行解碼時，則對於解碼對象分割圖像和已解碼分割圖像之相同位置的畫素，選擇在原圖像上之距離短的已解碼分割圖像而作為相對於解碼對象分割圖像之分割圖像間預測解碼所使用之參考圖像。在參考圖像之候補為複數個時，則求得和解碼對象分割圖像之畫素相關性高的方向之畫素所屬的已解碼分割圖像，並選擇其作為參考圖像。亦即，對於解碼對象分割圖像係使用相關性高之已解碼分割圖像作為參考圖像。對於是否為高的相關性，則例如根據已解碼分割圖像的預測誤差而判斷。
(4)使用所選擇之參考圖像而產生相對於解碼對象分割圖像之預測圖像，而進行分割圖像間預測解碼。
(5)根據藉由分割圖像內解碼和分割圖像間預測解碼而進行解碼之分割圖像，將各分割圖像之各畫素配置於原圖像之原來的位置，而構成解碼圖像。
上述處理(3)之參考圖像的選擇係將解碼對象分割圖像分割成n2×m2畫素之分割圖像區塊，且能按每個分割圖像區塊進行。
此外，在求得上述處理(3)之位於相關性高的方向之畫素所屬的已解碼分割圖像之處理，係使用和上述之編碼時之第1或第2方法相同之方法。
本發明的作用如下。在習知之分割圖像間編碼方法中，係必需作成表示使用哪一個已編碼分割圖像作為參考圖像的參考圖像指標而予以編碼。本發明係藉由使用相關性高的分割圖像作為參考圖像，來削減參考圖像指標的管理負擔(overhead)，以 取代作成參考圖像指標並予以編碼。據此，係提升編碼效率。
詳細情形如下。習知技術係能選擇複數個參考圖像，而為了從該參考圖像之中選擇編碼效率佳的參考圖像，則例如必須測定可分別由參考圖像作成之預測圖像和已編碼分割圖像的平方誤差，並選擇平方誤差小者，且將其參考圖像指標進行編碼。特別是，於按每個分割圖像區塊而切換參考圖像時，則按每個分割圖像區塊產生參考圖像指標的編碼量，而使編碼量變大。
在本方法中，對於原本為1個的原圖像之分割圖像之間，使用具有強的空間相關性之情形，而使用和預測圖像的誤差來推測作為參考圖像而使用之分割圖像間已編碼圖像和該已編碼圖像的參考圖像之相關性。推測誤差變小的方向為相關性最高的方向，並使用該方向作為編碼對象分割圖像的參考方向。由於在原圖像的鄰近畫素之間，其方向之相關性的強度係被設想為固定，故將位於從編碼對象分割圖像所觀看的參考方向之圖像作為參考圖像而進行預測誤差編碼，據此，即使未將如參考圖像指標之明示參考圖像的資訊傳送於解碼器側，亦能抑制編碼效率的提升之下降。
特別是，由於本方法係編碼器/解碼器的雙方均能僅依據已編碼/已解碼圖像的資訊，並藉由相同的處理而選擇相同的參考圖像，故無需將如參考圖像指標之明示參考圖像的資訊進行編碼，因此能削減該動作之編碼量。
根據本發明，在從編碼對象圖像抽出畫素或畫素群，且產生經過分割之分割圖像，並使用對其進行分割圖像內編 碼和分割圖像間編碼的方法之畫面內預測編碼當中，係能選擇分割圖像間編碼所使用之適當的參考圖像，且不需要進行表示參考圖像之參考圖像指標之編碼。因此，能提升編碼效率，此外，能削減伴隨著去塊濾波器處理而產生之演算量。
10‧‧‧圖像編碼裝置
11‧‧‧分割圖像產生部
12‧‧‧分割圖像內編碼處理部
13‧‧‧分割圖像間編碼處理部
14、311‧‧‧資訊源編碼部
15、25‧‧‧相關方向算出部
16、26‧‧‧參考圖像選擇部
20、401‧‧‧圖像解碼裝置
21‧‧‧資訊源解碼部
22‧‧‧分割圖像內解碼處理部
23‧‧‧分割圖像間解碼處理部
24‧‧‧解碼圖像合成部
50、60‧‧‧CPU
51‧‧‧RAM
52‧‧‧圖像信號輸入部
53‧‧‧程式記憶裝置
54‧‧‧圖像編碼程式
55‧‧‧編碼資料輸出部
101‧‧‧分割圖像內編碼部
102、201‧‧‧分割圖像內解碼部
103、202‧‧‧解碼圖像記憶體
104、203‧‧‧預測圖像產生部
105‧‧‧差分算出部
106‧‧‧預測誤差編碼部
107、120‧‧‧預測誤差解碼部
108、123、205‧‧‧圖像解碼部
109、206‧‧‧加算器
110、207‧‧‧減算器
111、121、208、221‧‧‧預測誤差算出部
112、122、209‧‧‧預測誤差比較部
204‧‧‧預測誤差解碼部
300‧‧‧活動圖像編碼裝置
301、402‧‧‧畫面內預測部
302、403‧‧‧畫面間預測部
303‧‧‧預測殘差信號產生部
304‧‧‧變換處理部
305‧‧‧量子化處理部
306、404‧‧‧逆量子化處理部
307、405‧‧‧逆變換處理部
308、406‧‧‧解碼信號產生部
309、407‧‧‧訊框記憶體
310‧‧‧內嵌式迴圈濾波器處理部
400‧‧‧活動圖像解碼裝置
第1圖係顯示圖像編碼裝置的構成例之圖示。
第2A圖係顯示分割圖像產生部之分割圖像的產生例之圖示。
第2B圖係顯示分割圖像產生部之分割圖像的產生例之圖示。
第2C圖係顯示分割圖像產生部之分割圖像的產生例之圖示。
第2D圖係顯示分割圖像產生部之分割圖像的產生例之圖示。
第3圖係顯示分割圖像間編碼處理部之預測圖像的產生例之圖示。
第4圖係圖像編碼處理之流程圖。
第5圖係分割圖像間編碼處理(例1)之詳細的流程圖。
第6圖係顯示圖像編碼裝置之詳細的構成例(例1)之圖示。
第7圖係分割圖像間編碼處理(例2)之詳細的流程圖。
第8圖係顯示圖像編碼裝置之詳細的構成例(例2)之圖示。
第9圖係顯示編碼對象圖像的分割例之圖示。
第10A圖係顯示參考圖像的選擇方法之例之圖示。
第10B圖係顯示參考圖像的選擇方法之例之圖示。
第10C圖係顯示參考圖像的選擇方法之例之圖示。
第10D圖係顯示參考圖像的選擇方法之例之圖示。
第11圖係顯示圖像解碼裝置的構成例之圖示。
第12圖係圖像解碼處理之流程圖。
第13圖係顯示圖像解碼裝置之詳細的構成例(例1)之圖示。
第14圖係顯示圖像解碼裝置之詳細的構成例(例2)之圖示。
第15圖係顯示能適用本發明的活動圖像編碼裝置之例之圖示。
第16圖係顯示能適用本發明的活動圖像解碼裝置之例之圖示。
第17圖係顯示使用軟體程式(software program)而實現圖像編碼裝置時的硬體(hardware)構成例之圖示。
第18圖係顯示使用軟體程式而實現圖像解碼裝置時的硬體構成例之圖示。
第19圖係顯示習知技術之畫面內預測編碼處理之例的流程圖。
第20圖係說明以固定間隔抽出畫素的分割圖像的習知之畫面內預測編碼處理之例的圖示。
第21圖係以固定間隔抽出畫素的分割圖像的習知之畫面內預測編碼處理之流程圖。
以下，使用圖式說明本發明之實施形態。
[圖像編碼裝置]
第1圖係表示圖像編碼裝置的構成例之圖示。圖像編碼裝置10係具備分割圖像產生部11、分割圖像內編碼處理部12、分割圖像間編碼處理部13、相關方向算出部15、參考圖像選擇部16、以及資訊源編碼部14。
分割圖像產生部11係將輸入圖像分割成n×m畫素的區塊，且將分割之各區塊分割成n1×m1畫素(其中，1≦n1<n,1≦m1<m)之子區塊，並彙集區塊內之相對位置為相同之子區塊，而分別產生相同尺寸的分割圖像。
第2A圖至第2D圖係顯示分割圖像產生部11之分割圖像的產生例之圖示。分割圖像產生部11係例如將第2A圖所示之原圖像作為輸入圖像，並如第2B圖所示，分別將該原圖像分割成n×m畫素的區塊Mj(j=0,1,…,J)。此外，如第2C圖所示，分割圖像產生部11係將各區塊Mj分割成n1×m1畫素(其中，1≦n1<n,1≦m1<m)之子區塊Bjk(k=0,1,…,K)。
接著，如第2D圖所示，分割圖像產生部11係從各區塊Mj彙集區塊內之相對位置相同的子區塊Bjk，而分別產生相同尺寸的分割圖像Pk(k=0,1,…,K)。分割圖像P0係彙集子區塊B00、B10、…、BJ0，分割圖像P1係彙集子區塊B01、B11、…、BJ1，分割圖像PK係彙集子區塊B0K、B1K、…、BJK者。
分割圖像內編碼處理部12係將包含由分割圖像產生部11所產生的第一個之分割圖像的幾個之分割圖像(亦可僅為第一個之分割圖像)進行分割圖像內編碼。此處之分割圖像內編碼係僅使用成為目前的編碼對象之分割圖像的畫素資訊而進行編碼之編碼方法，若為不參考另外的分割圖像之編碼方法，則使用任何之編碼方法均可。例如，可使用H.264編碼方式之畫面內(intra)預測編碼等之方法。
分割圖像間編碼處理部13係將由分割圖像產生部11所產生的分割圖像之中尚未被進行編碼之分割圖像進行分割圖 像間編碼。該分割圖像間編碼係將已編碼分割圖像作為參考圖像，且將由成為目前的編碼對象之分割圖像和參考圖像的在原圖像上之對應畫素的相對位置所決定之預定的濾波器實施於參考圖像而藉此產生預測圖像。將該預測圖像和編碼對象分割圖像的誤差進行分編碼，並將該編碼資訊傳送於資訊源編碼部14。
資訊源編碼部14係將分割圖像內編碼處理部12、以及分割圖像間編碼處理部13的輸出之編碼資訊進行熵值(entropy)編碼，並將編碼資料予以輸出。
本實施形態，特別是和非專利文獻3所示之習知技術的分割圖像間預測編碼不同之點在於具備：相關方向算出部15，係於參考圖像的候補為複數個時，則檢查原圖像上之編碼對象圖像的畫素和已編碼圖像的畫素之相關性；以及參考圖像選擇部16，其係選擇相關性高的方向的畫素所屬之已編碼分割圖像作為參考圖像。
相關方向算出部15係於成為參考圖像的候補之已編碼分割圖像之中，求得預測誤差的絕對值和或平方和最小之分割圖像，根據該結果而將已編碼分割圖像和該參考圖像的在原圖像之對應的畫素之方向設為相關性高的方向，並將該相關方向通知給參考圖像選擇部16。
參考圖像選擇部16係對於編碼對象之分割圖像，選擇位於相關方向算出部15所算出之相關方向的已編碼分割圖像作為參考圖像，並將該參考圖像通知給分割圖像間編碼處理部13。
第3圖係顯示分割圖像間編碼處理部13之預測圖像的產生例之圖示。以下係說明分割圖像Pi為成為參考圖像之已編 碼分割圖像，分割圖像Pk為進行分割圖像間預測編碼的編碼對象分割圖像時的預測圖像之產生例。將分割圖像Pi所屬之子區塊以Bi予以顯示，且將分割圖像Pk所屬之子區塊以Bk予以顯示。
在分割圖像Pi之子區塊Bi和分割圖像Pk之子區塊Bk之原圖像的位置關如第3圖(A)所示者時，則如第3圖(B)所示，抽出位於子區塊Bk的週邊之子區塊Bi。該例雖對1個之子區塊Bk而抽出2個之子區塊Bi，惟抽出之子區塊的數量並不限定於2個。接著，如第3圖(C)所示，將內插濾波器使用於抽出之2個的子區塊Bi的畫素值，而算出子區塊Bk’的畫素值。內插濾波器的濾波器係數係使用根據在原圖像上的子區塊Bi和子區塊Bk的相對位置而預先決定者。又，有關於內插濾波器的內插方法，在習知技術上已知有各種方法，亦可使用任何的內插方法而產生預測圖像。
將彙集如此處理並藉由內插方式而產生之子區塊Bk’設為使用於分割圖像Pk的分割圖像間預測編碼之預測圖像。
[圖像編碼處理之流程]
第4圖係圖像編碼處理之流程圖。根據第4圖而說明圖像編碼處理之流程。
首先，分割圖像產生部11係將輸入圖像分割成相同尺寸的區塊，並彙集各區塊內之相對位置相同之子區塊(畫素或畫素群)而產生分割圖像P0至PN(步驟S101)。
接著，分割圖像內編碼處理部12係對分割圖像P0至PN之中的幾個之分割圖像P0至PM(其中，M<N)，進行分割圖像內編碼(步驟S102)。此處，成為分割圖像內編碼的對象之分 割圖像係以預定的間隔來遠離構成分割圖像的子區塊在原圖像上的位置為佳。亦可僅將前頭之分割圖像P0設為分割圖像內編碼的對象。
接著，分割圖像間編碼處理部13係對分割圖像P(M+1)至PL(其中，M<L<N)，將已編碼分割圖像作為參考圖像而進行分割圖像間編碼(步驟S103)。該P(M+1)至PL係例如經過分割圖像內編碼之分割圖像的右鄰之未編碼分割圖像、或經過分割圖像內編碼之分割圖像的正下方之未編碼分割圖像般，其參考圖像的候補為單數之情形之分割圖像。此處，進行分割圖像間編碼之分割圖像的編號係可預先設定。
接著，分割圖像間編碼處理部13係對於殘留之分割圖像P(L+1)至PN，對編碼對象之分割圖像，將位於藉由相關方向算出部15和參考圖像選擇部16所選擇之相關性高的方向之畫素所屬的已編碼分割圖像作為參考圖像，而進行分割圖像間編碼(步驟S104)。
[分割圖像間編碼處理之詳細流程(例1)]
第5圖係顯示第4圖所示之步驟S104之詳細的處理流程圖之第1例。
在步驟S201中，對各分割圖像Pi(i係(L+1)至N為止)，重覆進行步驟S202至步驟S208為止之處理。
步驟S202係將各分割圖像Pi分割成編碼單位的分割圖像區塊，且於各分割圖像區塊重覆進行步驟S203至步驟S207為止之處理。該分割圖像區塊雖為例如16×16畫素之相當於H.264編碼之巨集區塊等，惟分割圖像區塊的尺寸係可任意設定。
在步驟S203中，對編碼對象之分割圖像區塊，作成分割圖像間已編碼分割圖像的解碼圖像A、以及由其參考圖像作成預測圖像B，並計算解碼圖像A和預測圖像B的差分之預測誤差，求得預測誤差的絕對值和或平方和(以下，將絕對值和或平方和簡稱為「和」)。
步驟S204係求得使步驟S203所求得之解碼圖像A和預測圖像B之預測誤差的和變小之已編碼分割圖像(設為PA)、以及該參考圖像(設為PB)的組合。
步驟S205係對步驟S204所求得之已編碼分割圖像PA和參考圖像PB的組合，將連結在原圖像上之點A(X(PA),Y(PA))、點B(X(PB),Y(PB))的2點之方向設為相關性高的方向。
在步驟S206中，對編碼對象之分割圖像區塊，選擇相關性高的方向之畫素所屬的已編碼分割圖像作為參考圖像，且根據該參考圖像而產生預測圖像並進行分割圖像間編碼。
在步驟S207中，判定分割圖像Pi內的全部分割圖像區塊的處理是否已結束，若有未處理之分割圖像區塊，則對該分割圖像區塊重覆進行步驟S202以後之處理。
在步驟S208中，係判定是否將分割圖像P(L+1)至PN之全部進行編碼，並重覆進行步驟S201以後之處理，直至將分割圖像P(L+1)至PN之全部進行編碼為止。
[圖像編碼裝置之詳細的構成例(例1)]
第6圖係顯示第1圖所示之圖像編碼裝置10之詳細的構成例。第6圖所示之圖像編碼裝置10係執行第5圖所說明之第1例的處理之裝置的構成例。在第6圖中，由於分割圖像產生 部11、資訊源編碼部14、參考圖像選擇部16係對應於第1圖所示之相同符號者，故省略其說明。
分割圖像內編碼部101係對分割圖像P0至PM進行分割圖像內編碼。分割圖像內解碼部102係將分割圖像內編碼部101所編碼之分割圖像予以解碼，並將該解碼圖像儲存於解碼圖像記憶體(memory)103。此後經過分割圖像間編碼之分割圖像的解碼圖像亦儲存於該解碼圖像記憶體103。
預測圖像產生部104係為了於分割圖像產生部11所產的分割圖像之中，將尚未編碼之分割圖像進行分割圖像間預測編碼，而按每個該分割圖像之分割圖像區塊(以下，亦將分割圖像區塊簡稱為分割圖像)，將解碼圖像記憶體103內之已編碼的分割圖像作為參考圖像而產生預測圖像。在該預測圖像之產生中，係將由成為目前的編碼對象之分割圖像和參考圖像的在原圖像上之對應畫素的相對位置所決定之預定的濾波器實施於參考圖像，而藉此產生預測圖像。
差分算出部105係從成為目前的編碼對象之分割圖像區塊的各畫素值減去由預測圖像產生部104所產生之預測圖像的各畫素值，並算出預測誤差。預測誤差編碼部106係對算出之預測誤差實施正交變換或量子化處理，且將預測誤差進行編碼。
資訊源編碼部14係將由分割圖像內編碼部101以及分割圖像間預測編碼所編碼之預測誤差編碼部106的編碼資訊進行熵值編碼，並將編碼資料予以輸出。
在第1例中，由預測誤差解碼部107將預測誤差編碼部106所編碼之預測誤差進行解碼。圖像解碼部108係藉由加 算器109將預測誤差解碼部107所解碼之預測誤差加上預測圖像產生部104所產生的預測圖像，並將分割圖像間編碼圖像進行解碼。又，在圖像解碼部108中，亦可於將預測圖像和預測誤差予以內插之後，施以去塊濾波器等之後處理濾波器。解碼之分割圖像的解碼圖像係儲存於解碼圖像記憶體103。
藉由減算器110而算出已編碼分割圖像的解碼圖像和預測圖像的差分，預測誤差算出部111係按每個成為參考圖像的候補之已編碼的分割圖像而算出預測誤差之和。預測誤差比較部112係求得預測誤差算出部111所算出之預測誤差的和為最小之分割圖像，並根據其結果而將預測誤差的和為最小之已編碼分割圖像和其參考圖像的在原圖像之對應的畫素之方向設為相關性高的方向，並將其相關方向通知給參考圖像選擇部16。
參考圖像選擇部16係從解碼圖像記憶體103之中，選擇位於對於編碼對象的分割圖像由預測誤差比較部112所算出之相關方向之已編碼分割圖像作為參考圖像，並將該參考圖像通知給預測圖像產生部104。
[分割圖像間編碼處理之詳細流程(例2)]
第7圖係顯示第4圖所示之步驟S104之詳細的處理流程圖之第2例。
在第2例中，步驟S303的處理和第1例不同，另外的步驟S301、S302、S304至S308則和第5圖所說明之第1例的步驟S201、S202、S204至S208相同。
在步驟S303中，係對於編碼對象的分割圖像區塊，求得分割圖像間已編碼分割圖像之解碼圖像A和其預測圖像B之 預測誤差之和。亦即，步驟S303中，係按每個分割圖像區塊重新產生預測圖像而產生解碼圖像A，並不求預測誤差的和，而直接使用已產生出之作為已編碼資料之預測誤差而算出該預測誤差之和，並判斷其相關性。據此，即可抑制解碼演算之演算量的增加。
[圖像編碼裝置之詳細的構成例(例2)]
第8圖係顯示第1圖所示之圖像編碼裝置10之詳細的第2構成例。第8圖所示之圖像編碼裝置10係執行第7圖所說明之第2例的處理之裝置的構成例。在第8圖中，由於和前述之第6圖的第1例之圖像編碼裝置10相同符號者係具有和第6圖所示者相同的功能，故省略其詳細的說明。
第2例之情形時，預測誤差解碼部120係對預測誤差編碼部106所編碼之預測誤差實施逆量子化處理或逆正交變換，藉此將預測誤差進行解碼。預測誤差算出部121係按每個分割圖像而算出由預測誤差解碼部120進行解碼的預測誤差之和。預測誤差比較部122係求得預測誤差算出部121所算出的預測誤差之和為最小之分割圖像，並根據其結果而將預測誤差之和為最小之已編碼分割圖像和其參考圖像的在原圖像之對應的畫素之方向設為相關性高的方向，並將其相關方向通知給參考圖像選擇部16。
參考圖像選擇部16係對於編碼對象的分割圖像而根據預測誤差比較部122的結果，將位於所通知之相關方向的已編碼分割圖像設為參考圖像之情形通知給圖像解碼部123。圖像解碼部123係根據該預測圖像和預測誤差而產生所通知之已編碼分割圖像之解碼圖像，並儲存於解碼圖像記憶體103。預測圖像 產生部104係將儲存於解碼圖像記憶體103的解碼圖像作為為參考圖像而使用，並產生用以進行編碼對象的分割圖像區塊的編碼之預測圖像。
[編碼之具體例]
第9圖係顯示編碼對象圖像的分割例。如第9圖所示，以下所說明之例中，分割圖像產生部11係將編碼對象之輸入圖像的1訊框(frame)分割成2×2畫素的區塊M0、M1、…、MJ。此外，分割圖像產生部11係將各區塊M0、M1、…、MJ之每1畫素分割成B0、B1、B2、B3。並將從藉由如此處理所分割之各M0、M1、…、MJ中彙集左上方的子區塊B0的畫素而成者作為分割圖像P0，將彙集右上方的子區塊B1的畫素而成者作為分割圖像P1，將彙集左下方的子區塊B2的畫素而成者作為分割圖像P2，將彙集右下方的子區塊B3的畫素而成者作為分割圖像P3。
此處係說明將2×2畫素的區塊分割成1×1畫素的子區塊之例。然而，區塊和子區塊的尺寸並不限定於該例，在區塊的尺寸或子區塊的尺寸為更大之情形時，亦能使用本發明而同樣地實施。
[第1例之處理]
在前述之第1例中，對於如第9圖之方式而分割之分割圖像，進行分割圖像內編碼以及分割圖像間編碼如下。
．處理1-1：對分割圖像P0進行分割圖像內編碼。
．處理1-2：對分割圖像P1，將分割圖像P0的解碼圖像作為參考圖像，並使用內插濾波器而產生預測圖像，且進行分割圖像間編碼。產生經過編碼之分割圖像P1的解碼圖像P1’並予以記憶。 將其情形顯示於第10A圖。
．處理1-3：對分割圖像P2，將分割圖像P0的解碼圖像作為參考圖像，並使用內插濾波器而產生預測圖像，且進行分割圖像間編碼。產生經過編碼之分割圖像P2的解碼圖像P2’並予以記憶。將其情形顯示於第10B圖。
．處理1-4：對分割圖像P1、P2，算出各自的預測圖像和解碼圖像P1’、P2’的預測誤差之和S1、S2(例如預測誤差的絕對值和或平方誤差和)，並進行比較。
．處理1-5：S1≦S2時，如第10C圖所示，將分割圖像P2的解碼圖像作為參考圖像而使用於分割圖像P3的分割圖像間編碼。亦即，將內插濾波器實施於分割圖像P2的解碼圖像而產生分割圖像P3的預測圖像，並將該預測圖像和分割圖像P3的預測誤差進行編碼，藉此而進行分割圖像P3的分割圖像間編碼。此係由於S1≦S2，而設想在原圖像上之水平方向之畫素間的相關性為高於垂直方向之畫素間的相關性之故。
．處理1-6：S1>S2時，如第10D圖所示，將分割圖像P1的解碼圖像作為參考圖像而使用於分割圖像P3的分割圖像間編碼。亦即，將內插濾波器實施於分割圖像P1的解碼圖像而產生分割圖像P3的預測圖像，並將該預測圖像和分割圖像P3的預測誤差進行編碼，藉此而進行分割圖像P3的分割圖像間編碼。此係由於S1>S2，而設想在原圖像上之垂直方向之畫素間的相關性為高於水平方向之畫素間的相關性之故。
[第2例之處理]
在前述之第2例中，對於如第9圖之方式而分割之分割圖像，進行分割圖像內編碼以及分割圖像間編碼如下。
．處理2-1：對分割圖像P0進行分割圖像內編碼。
．處理2-2：對分割圖像P1，將分割圖像P0的解碼圖像作為參考圖像，並藉由對其使用內插濾波器而產生預測圖像，且進行分割圖像間編碼。並記憶此時之預測誤差的和S1。
．處理2-3：對分割圖像P2，將分割圖像P0的解碼圖像作為參考圖像，並藉由對其使用內插濾波器而產生預測圖像，且進行分割圖像間編碼。並記憶此時之預測誤差的和S2。
．處理2-4：對分割圖像P1、P2，將各自的預測誤差的和S1、S2進行比較。
．處理2-5：S1≦S2時，將分割圖像P2的解碼圖像作為參考圖像而使用於分割圖像P3的分割圖像間編碼。亦即，將內插濾波器實施於分割圖像P2的解碼圖像而產生分割圖像P3的預測圖像，並將該預測圖像和分割圖像P3的預測誤差進行編碼，藉此而進行分割圖像P3的分割圖像間編碼。
．處理2-6：S1>S2時，將分割圖像P1的解碼圖像作為參考圖像而使用於分割圖像P3的分割圖像間編碼。亦即，將內插濾波器實施於分割圖像P1的解碼圖像而產生分割圖像P3的預測圖像，並將該預測圖像和分割圖像P3的預測誤差進行編碼，藉此而進行分割圖像P3的分割圖像間編碼。
[圖像解碼裝置]
第11圖係顯示圖像解碼裝置的構成例之圖示。圖像解碼裝置20係具備資訊源解碼部21、分割圖像內解碼處理部22、分割圖像間解碼處理部23、解碼圖像合成部24、相關方向算出部25、以及參考圖像選擇部26。
圖像解碼裝置20係輸入由第1圖所示之圖像編碼裝置10進行壓縮編碼的圖像之編碼資料。資訊源解碼部21係將輸入之編碼資料進行熵值解碼。
分割圖像內解碼處理部22係藉由分割圖像內預測而將預先決定之至少1個以上之經過分割圖像內編碼的分割圖像之編碼資料進行解碼。分割圖像間解碼處理部23係將已解碼之分割圖像作為參考圖像，並藉由分割圖像間預測而將解碼對象的分割圖像進行解碼。藉由分割圖像內解碼處理部22和分割圖像間解碼處理部23而解碼之分割圖像係輸入於解碼圖像合成部24。解碼圖像合成部24係將經過解碼之分割圖像的各子區塊予以配置於原圖像上之原來的位置，而藉此產生解碼圖像。
在參考圖像的候補僅為1個時，例如最接近於解碼對象分割圖像的在原圖像上之畫素位置的畫素所屬之已解碼分割圖像僅為1個時，分割圖像間解碼處理部23係將該已解碼分割圖像作為參考圖像而進行分割圖像間解碼。
參考圖像的候補為複數個時，例如最接近於解碼對象分割圖像的在原圖像上之畫素位置的畫素所屬之已解碼分割圖像存在著複數個時，相關方向算出部25係於成為參考圖像的候補之已解碼分割圖像之中，求得預測誤差的絕對值和或平方和為最 小之分割圖像，並根據其結果而將已解碼分割圖像和其參考圖像的在原圖像之對應的畫素之方向設為相關性高的方向，並將其相關方向通知給參考圖像選擇部26。該相關方向算出部25所進行的處理和圖像編碼裝置10之相關方向算出部15所進行的處理係完全相同。
參考圖像選擇部26係選擇位於對於解碼對象之分割圖像由相關方向算出部25所算出的相關方向之已解碼分割圖像作為參考圖像，並將該參考圖像通知給分割圖像間解碼處理部23。
[圖像解碼處理之流程]
第12圖係圖像解碼處理之流程圖。根據第12圖而說明圖像解碼處理之流程。
首先，資訊源解碼部21係將輸入之解碼對象的編碼資料進行熵值解碼(步驟S401)。此外，分割圖像內解碼處理部22係以輸入之編碼資料為基礎，對預先決定之分割圖像P0至PN之中的幾個之分割圖像P0至PM(其中，M<N)，使用如H.264所進行之習知的畫面內預測解碼方法等而進行分割圖像內解碼(步驟S402)。
接著，分割圖像間解碼處理部23係對預先決定之分割圖像P(M+1)至PL，分別將預先決定之已解碼分割圖像作為參考圖像而進行分割圖像間解碼(步驟S403)。
接著，分割圖像間解碼處理部23係對未解碼之分割圖像P(L+1)至PN，將由參考圖像選擇部26根據已解碼分割圖像的預測誤差所選擇之位於空間相關性高的方向之已解碼分割圖像 作為參考圖像，並進行分割圖像間解碼(步驟S404)。
最後，解碼圖像合成部24係將由分割圖像內解碼處理部22和分割圖像間解碼處理部23進行解碼之分割圖像的畫素(子區塊)予以合成，且作為解碼圖像而予以輸出(步驟S405)。
[圖像解碼裝置之詳細的構成例(例1)]
第13圖係顯示第11圖所示之圖像解碼裝置20之詳細的第1構成例。第13圖所示之圖像解碼裝置20當中，由於資訊源解碼部21、解碼圖像合成部24、參考圖像選擇部26係對應於第11圖所示之相同符號者，故省略其說明。
分割圖像內解碼部201係根據由資訊源解碼部21所解碼之分割圖像P0至PM的解碼資訊，將此等之分割圖像P0至PM進行分割圖像內解碼，並將該解碼圖像儲存於解碼圖像記憶體202。此後進行過分割圖像間解碼之分割圖像的解碼圖像亦儲存於該解碼圖像記憶體202。
預測圖像產生部203係為了將尚未解碼之分割圖像進行分割圖像間預測解碼，而按每個該分割圖像之分割圖像區塊(以下，亦有簡稱為分割圖像之情形)，將解碼圖像記憶體202內之已解碼之分割圖像作為參考圖像而產生預測圖像。在該預測圖像之產生中，將由成為目前的解碼對象之分割圖像和參考圖像的在原圖像上之對應畫素的相對位置所決定之預定的濾波器實施於參考圖像，而藉此產生預測圖像。
預測誤差解碼部204係將成為分割圖像間解碼的對象之分割圖像的預測誤差進行解碼。圖像解碼部205係藉由加算器206而將預測圖像產生部203所產生之預測圖像加上預測誤差 解碼部204所解碼的預測誤差，並產生解碼圖像。又，圖像解碼部205亦可於將預測圖像和預測誤差予以內插之後，施以去塊濾波器等之後處理濾波器。該解碼圖像係傳送於解碼圖像合成部24並儲存於解碼圖像記憶體202。
減算器207係從圖像解碼部205所解碼之分割圖像區塊的各畫素值減去由預測圖像產生部203所產生之預測圖像的各畫素值，並將其減算結果通知給預測誤差算出部208。預測誤差算出部208係按每個成為參考圖像的候補之已解碼分割圖像而算出預測誤差之和。預測誤差比較部209係求得預測誤差算出部208所算出之預測誤差的和為最小之分割圖像，並根據其結果而將預測誤差的和為最小之已解碼分割圖像和其參考圖像的在原圖像之對應的畫素之方向設為相關性高的方向，並將其相關方向通知給參考圖像選擇部26。
參考圖像選擇部26係從解碼圖像記憶體202之中，選擇位於對於解碼對象的分割圖像由預測誤差比較部209所算出之相關方向的已解碼分割圖像作為參考圖像，並將該參考圖像通知給預測圖像產生部203。
[圖像解碼裝置之詳細的構成例(例2)]
第14圖係顯示第11圖所示之圖像解碼裝置20之詳細的第2構成例。在第14圖所示之圖像解碼裝置20當中，由於和前述之第13圖的第1例相同符號者係具有和第13圖所示者相同的功能，故省略其詳細的說明。
第2例之情形時，預測誤差算出部221係按每個成為參考圖像的候補之已解碼分割圖像(區塊)，算出預測誤差解碼 部204所解碼的預測誤差之和。預測誤差比較部222係求得預測誤差算出部221所算出之預測誤差的和為最小之分割圖像，並根據其結果而將預測誤差的和為最小之已解碼分割圖像和其參考圖像的在原圖像之對應的畫素之方向設為相關性高的方向，並將其相關方向通知給參考圖像選擇部26。參考圖像選擇部26係從解碼圖像記憶體202之中，選擇位於對於解碼對象的分割圖像由預測誤差比較部222所算出之相關方向的已解碼分割圖像作為參考圖像，並將該參考圖像通知給預測圖像產生部203。
[第1例的解碼處理之具體例]
就第1例的解碼處理之具體例而言，係說明如前述第9圖所示之對將2×2畫素區塊的畫素予以再配置之4個的分割圖像P0至P3，進行分割圖像內解碼以及分割圖像間解碼之例。
．處理1-1：對分割圖像P0進行分割圖像內解碼。
．處理1-2：對分割圖像P1，將分割圖像P0的解碼圖像作為參考圖像，並對其使用內插濾波器而產生預測圖像，且進行分割圖像間解碼。將解碼之分割圖像P1的解碼圖像P1’予以記憶。
．處理1-3：對分割圖像P2，將分割圖像P0的解碼圖像作為參考圖像，並對其使用內插濾波器而產生預測圖像，且進行分割圖像間解碼。將解碼之分割圖像P2的解碼圖像P2’予以記憶。
．處理1-4：對分割圖像P1、P2，分別算出預測圖像和解碼圖像P1’、P2’之預測誤差的和S1、S2(例如預測誤差的絕對值和或平方誤差和)，並進行比較。
．處理1-5：S1≦S2時，將分割圖像P2的解碼圖像作為參考圖像而使用於 分割圖像P3的分割圖像間解碼。亦即，將內插濾波器實施於分割圖像P2的解碼圖像而產生分割圖像P3的預測圖像，並將該預測圖像加上分割圖像P3的預測誤差，而藉此進行分割圖像P3的分割圖像間解碼。此係由於S1≦S2，而設想在原圖像上之水平方向之畫素間的相關性為高於垂直方向之畫素間的相關性之故。
．處理1-6：S1>S2時，將分割圖像P1的解碼圖像作為參考圖像而使用於分割圖像P3的分割圖像間解碼。亦即，將內插濾波器實施於分割圖像P1的解碼圖像而產生分割圖像P3的預測圖像，並將該預測圖像加上分割圖像P3的預測誤差，藉此而進行分割圖像P3的分割圖像間解碼。此係由於S1>S2，而設想在原圖像上之垂直方向之畫素間的相關性為高於水平方向之畫素間的相關性之故。
[第2例之處理]
在前述之第2例中，係對於以第9圖之方式所分割之分割圖像進行分割圖像內解碼以及分割圖像間解碼如下。
．處理2-1：對分割圖像P0進行分割圖像內解碼。
．處理2-2：對分割圖像P1，將分割圖像P0的解碼圖像作為參考圖像，並對其使用內插濾波器而產生預測圖像，且進行分割圖像間解碼。並記憶此時之預測誤差的和S1。
．處理2-3：對分割圖像P2，將分割圖像P0的解碼圖像作為參考圖像，並對其使用內插濾波器而產生預測圖像，且進行分割圖像間解碼。並記憶此時之預測誤差的和S2。
．處理2-4：對分割圖像P1、P2，將各自的預測誤差的和S1、S2進行比較。
．處理2-5：S1≦S2時，將分割圖像P2的解碼圖像作為參考圖像而使用於分割圖像P3的分割圖像間解碼。亦即，將內插濾波器實施於分割圖像P2的解碼圖像而產生分割圖像P3的預測圖像，並將該預測圖像加上分割圖像P3的預測誤差，藉此而進行分割圖像P3的分割圖像間解碼。
．處理2-6：S1>S2時，將分割圖像P1的解碼圖像作為參考圖像而使用於分割圖像P3的分割圖像間解碼。亦即，將內插濾波器實施於分割圖像P1的解碼圖像而產生分割圖像P3的預測圖像，並將該預測圖像加上分割圖像P3的預測誤差，藉此而進行分割圖像P3的分割圖像間解碼。
又，在以上說明之實施形態當中，成為分割圖像內編碼(解碼亦相同)的對象之分割圖像係相對於1畫面可為1個或複數個，此外，亦能夠以將分割圖像分割成小區域之分割圖像區塊單位來進行分割圖像內編碼以及分割圖像間編碼之編碼處理。以分割圖像區塊單位來進行分割圖像間編碼之處理時，亦能夠以分割圖像區塊單位而藉由和預測誤差的和之比較來切換參考圖像。
[適用圖像編碼裝置的活動圖像編碼裝置之例]
第15圖係顯示能適用本發明的活動圖像編碼裝置之例。在活動圖像編碼裝置300當中，本發明係特別可適用於關連於畫面內預測部301之編碼處理。對於另外的部分則和作為H.264或另外的編碼器而使用之習知的一般之活動圖像編碼裝置的 構成相同。
活動圖像編碼裝置300係輸入編碼對象的影像信號，並將輸入影像信號的訊框分割成區塊並按每個區塊進行編碼，並將該位元訊流作為編碼訊流而予以輸出。為了進行該編碼，預測殘差信號產生部303係求得輸入影像信號和屬於畫面內預測部301或畫面間預測部302的輸出之預測信號的差分，並將其作為預測殘差信號而輸出。變換處理部304係對預測殘差信號進行離散餘弦變換(DCT)等之正交變換，並輸出變換係數。量子化處理部305係將變換係數予以量子化，並輸出該經過量子化之變換係數。資訊源編碼部311係將經過量子化之變換係數進行熵值編碼，並作為編碼訊流而輸出。
另一方面，經過量子化之變換係數亦被輸入於逆量子化處理部306，且於此處被進行逆量子化。逆變換處理部307係將逆量子化處理部306的輸出之變換係數進行逆正交變換，並輸出其預測殘差解碼信號。
解碼信號產生部308係將該預測殘差解碼信號加上屬於畫面內預測部301或畫面間預測部302的輸出之預測信號，並產生經過編碼之編碼對象區塊的解碼信號。該解碼信號係為了在畫面內預測部301或畫面間預測部302當中作為參考圖像而使用，故被儲存於訊框記憶體309。又，在畫面間預測部302當中參考該參考圖像時，則在內嵌式迴圈(in-loop)濾波器處理部310當中，輸入儲存於訊框記憶體309的圖像，且進行減低編碼失真的濾波(filtering)處理，並將該濾波處理後的圖像作為參考圖像而使用。
在畫面內預測部301當中，係進行本發明之實施形態所說明之分割圖像內編碼以及分割圖像間編碼之編碼處理。由畫面內預測部301或畫面間預測部302所設定之預測模式或動態向量等之資訊係由資訊源編碼部311進行熵值編碼，並作為編碼訊流而輸出。
[適用圖像解碼裝置的活動圖像解碼裝置之例]
第16圖係顯示能適用本發明的活動圖像解碼裝置之例。在活動圖像解碼裝置400當中，本發明係特別可適用於關連於畫面內預測部402之解碼處理。對於另外的部分，則和作為H.264或另外的編碼器而使用之習知的一般之活動圖像解碼裝置的構成相同。
活動圖像解碼裝置400係輸入由第15圖所說明之活動圖像編碼裝置300所編碼之編碼訊流而進行解碼，並藉此將解碼圖像的影像信號予以輸出。為了進行該解碼處理，資訊源解碼部401係輸入編碼訊流，且將解碼對象區塊的量子化變換係數進行熵值解碼，並將畫面內預測的相關資訊以及畫面間預測的相關資訊進行解碼。在畫面內預測部402當中，其係進行本發明之實施形態所說明之分割圖像內解碼以及分割圖像間解碼之解碼處理。
逆量子化處理部404係輸入量子化變換係數，且將其進行逆量子化而輸出解碼變換係數。逆變換處理部405係將逆正交變換實施於解碼變換係數，並輸出預測殘差解碼信號。解碼信號產生部406係將該預測殘差解碼信號加上屬於畫面內預測部402或畫面間預測部403的輸出之預測信號，並產生解碼對象區塊 的解碼信號。該解碼信號係為了在畫面內預測部402或畫面間預測部403當中作為參考圖像而使用，被儲存於訊框記憶體407。又，在畫面間預測部403當中參考參考圖像時，則在內嵌式迴圈濾波器處理部408當中，輸入儲存於訊框記憶體407的圖像，且進行減低編碼失真的濾波處理，並將該濾波處理後的圖像作為參考圖像而使用。
[電腦(computer)之構成例]
第17圖係顯示使用由電腦和軟體程式來構成第1圖之圖像編碼裝置10時的硬體構成例。本系統係構成為藉由匯流排而連接下列構件：CPU(Central Processing Unit，中央處理單元)50，係執行程式；RAM(Random Access Memory，隨機存取記憶體)等記憶體51，係儲存CPU50所存取之程式或資料；圖像信號輸入部52(亦可為由碟片裝置等來記憶圖像信號之記憶部)，係輸入來自攝影機等之編碼對象的圖像信號；程式記憶裝置53，係儲存使CPU50執行藉由本方法將輸入圖像進行編碼的處理之軟體程式的圖像編碼程式54；以及編碼資料輸出部55(亦可為由碟片(disk)裝置等來記憶編碼資料之記憶部)，係例如經由網路(network)而將藉由CPU50執行載入(load)於記憶體51的圖像編碼程式54而產生之編碼資料予以輸出。
第18圖係顯示使用由電腦和軟體程式來構成第11圖之圖像解碼裝置20時的硬體構成例。本系統係構成為藉由匯流排而連接下列構件：CPU60，係執行程式；RAM等記憶體61，係儲存CPU60所存取之程式或資料；編碼資料記憶部62(經由網路等之輸入部亦可)，係輸入並記憶由第1圖之圖像編碼裝置10藉 由本方法而進行編碼之編碼資料；程式記憶裝置63，係儲存使CPU60執行藉由本方法將編碼資料進行解碼的處理之軟體程式的圖像解碼程式64；以及解碼圖像輸出部65，係將藉由CPU60執行載入於記憶體61的圖像解碼程式64而對編碼資料進行解碼所得之解碼圖像輸出於播放裝置等。
以上雖為參考圖式而說明本發明之實施形態，但上述實施形態只不過為本發明之例示，本發明明顯並不限定於上述實施形態。因此，在不脫離本發明的精神以及技術範圍之範圍內，亦可進行構成要素的追加、省略、置換、以及其他之變更處理。
(產業上之可利用性)
本發明係例如可適用於畫面內預測編碼、解碼。根據本發明，即可提升編碼效率，此外，可削減伴隨著去塊濾波器處理之演算量。
10‧‧‧圖像編碼裝置
11‧‧‧分割圖像產生部
12‧‧‧分割圖像內編碼處理部
13‧‧‧分割圖像間編碼處理部
14‧‧‧資訊源編碼部
15‧‧‧相關方向算出部
16‧‧‧參考圖像選擇部

Claims (18)

  1. 一種圖像編碼方法，係將輸入圖像進行壓縮編碼的圖像編碼方法，具有下述步驟：分割圖像產生步驟，係將前述輸入圖像分割成n×m畫素的區塊，且於將經過分割之各區塊再分割成n1×m1畫素(其中，1≦n1<n,1≦m1<m)之子區塊時，設定由前述區塊內之相對位置相同之子區塊的畫素之集合所構成，且分別為相同尺寸的分割圖像；分割圖像內編碼步驟，係將至少一個以上之前述分割圖像進行分割圖像內編碼；分割圖像間編碼步驟，係使用從已編碼分割圖像之中所選擇的參考圖像而產生相對於編碼對象分割圖像之預測圖像，並進行分割圖像間編碼；相關方向算出步驟，係於存在有複數個前述參考圖像之候補時，以前述已編碼分割圖像的分割圖像間預測之預測誤差為基礎，對已編碼分割圖像和前述已編碼分割圖像的在參考圖像之相同位置的畫素，算出和原圖像上的畫素之相關性最高的方向；參考圖像選擇步驟，係於存在有複數個前述參考圖像之候補時，選擇對前述編碼對象分割圖像位於前述相關性高的方向之已編碼分割圖像而作為前述參考圖像；以及資訊源編碼步驟，係將前述分割圖像內編碼步驟和前述分割圖像間編碼步驟之編碼結果進行資訊源編碼。
  2. 如申請專利範圍第1項所述之圖像編碼方法，其中，前述相關方向算出步驟係由成為前述參考圖像的候補之各已編碼分割圖像之解碼圖像和各已編碼分割圖像之參考圖像而產生預測圖像，且算出對於各已編碼分割圖像之前述解碼圖像之前述預測圖像的預測誤差之和，並算出將對應於前述預測誤差之和為最小之已編碼分割圖像和參考圖像的組合之相同位置之畫素的在原圖像上之畫素予以連結的方向，以作為前述相關性高的方向。
  3. 如申請專利範圍第1項所述之圖像編碼方法，其中，前述相關方向算出步驟係對成為前述參考圖像的候補之各已編碼分割圖像，算出於前述分割圖像間編碼當中所算出的預測誤差之和，並算出將對應於前述預測誤差之和為最小之已編碼分割圖像和參考圖像的組合之相同位置之畫素予以連結的原圖像上之畫素的方向而作為前述相關性高的方向。
  4. 如申請專利範圍第1項、第2項或第3項所述之圖像編碼方法，其中，至少前述分割圖像間編碼步驟、前述相關方向算出步驟以及前述參考圖像選擇步驟係按每個分割前述分割圖像的圖像區塊，來進行前述分割圖像之編碼處理、相關方向之算出處理以及前述參考圖像之選擇處理，並按每個前述圖像區塊切換前述分割圖像間編碼之參考圖像。
  5. 一種圖像解碼方法，係將輸入圖像分割成n×m畫素的區塊，且於將經過分割之各區塊分割成n1×m1畫素(其中，1≦n1<n,1≦m1<m)之子區塊時，設定由前述區塊內之相對位置相同之子 區塊的畫素的集合所構成，且分別為相同尺寸的分割圖像，且將藉由按每個前述分割圖像進行編碼而被壓縮編碼之圖像的編碼資料進行解碼之圖像解碼方法，具有下述步驟：資訊源解碼步驟，係輸入前述被壓縮編碼之圖像的編碼資料，並進行資訊源解碼；分割圖像內解碼步驟，係根據在前述資訊源解碼步驟所解碼的資料而將至少一個以上之前述分割圖像進行分割圖像內解碼；分割圖像間解碼步驟，係使用從已解碼分割圖像之中所選擇的參考圖像而產生相對於解碼對象分割圖像之預測圖像，並進行分割圖像間解碼；相關方向算出步驟，係於存在有複數個前述參考圖像之候補時，以前述已解碼分割圖像的分割圖像間預測之預測誤差為基礎，對已解碼分割圖像和前述已解碼分割圖像的參考圖像之相同位置的畫素，算出和原圖像上的畫素之相關性最高的方向；參考圖像選擇步驟，係於存在有複數個前述參考圖像之候補時，對前述解碼對象分割圖像，選擇位於前述相關性高的方向之已解碼分割圖像而作為前述參考圖像；以及解碼圖像合成步驟，係從藉由前述分割圖像內解碼步驟和前述分割圖像間解碼步驟所解碼之分割圖像而將解碼圖像予以合成。
  6. 如申請專利範圍第5項所述之圖像解碼方法，其中， 前述相關方向算出步驟係從成為前述參考圖像的候補之各已解碼分割圖像和各已解碼分割圖像之參考圖像而產生預測圖像，且算出對於各已解碼分割圖像之前述預測圖像的預測誤差之和，並算出將對應於前述預測誤差之和為最小之已解碼分割圖像和參考圖像的組合之相同位置之畫素的在原圖像上之畫素予以連結的方向，以作為前述相關性高的方向。
  7. 如申請專利範圍第5項所述之圖像解碼方法，其中，前述相關方向算出步驟係對成為前述參考圖像的候補之各已解碼分割圖像，算出前述分割圖像間解碼當中所算出的預測誤差之和，並算出將對應於前述預測誤差之和為最小之已解碼分割圖像和參考圖像的組合之相同位置之畫素的在原圖像上之畫素予以連結的方向，以作為前述相關性高的方向。
  8. 如申請專利範圍第5項、第6項或第7項所述之圖像解碼方法，其中，至少前述分割圖像間解碼步驟、前述相關方向算出步驟、以及前述參考圖像選擇步驟係按每個分割前述分割圖像的圖像區塊，進行前述分割圖像之解碼處理、相關方向之算出處理以及前述參考圖像之選擇處理，並按每個前述圖像區塊切換前述分割圖像間解碼之參考圖像。
  9. 一種圖像編碼裝置，係將輸入圖像進行壓縮編碼，係包括：分割圖像產生部，係將前述輸入圖像分割成n×m畫素的區塊，且於將經過分割之各區塊分割成n1×m1畫素(其中，1≦n1<n,1≦m1<m)之子區塊時，設定由前述區塊內之相對位置相同之子區塊的畫素之集合所構成，且分別為相同尺寸的分割 圖像；分割圖像內編碼部，係將至少一個以上之前述分割圖像進行分割圖像內編碼；分割圖像間編碼部，係使用從已編碼分割圖像之中所選擇的參考圖像而產生相對於編碼對象分割圖像之預測圖像，並進行分割圖像間編碼；相關方向算出部，係於存在有複數個前述參考圖像之候補時，以前述已編碼分割圖像的分割圖像間預測之預測誤差為基礎，對已編碼分割圖像和前述已編碼分割圖像的參考圖像之相同位置的畫素，算出和原圖像上的畫素之相關性最高的方向；參考圖像選擇部，係於存在有複數個前述參考圖像之候補時，對前述編碼對象分割圖像，選擇位於前述相關性高的方向之已編碼分割圖像而作為前述參考圖像；以及資訊源編碼部，係將前述分割圖像內編碼部和前述分割圖像間預測編碼部之編碼結果進行資訊源編碼。
  10. 如申請專利範圍第9項所述之圖像編碼裝置，其中，前述相關方向算出部係由成為前述參考圖像的候補之各已編碼分割圖像之解碼圖像和各已編碼分割圖像之參考圖像而產生預測圖像，且算出相對於各已編碼分割圖像之前述解碼圖像之前述預測圖像的預測誤差之和，並算出將對應於前述預測誤差之和為最小之已編碼分割圖像和參考圖像的組合之相同位置之畫素的在原圖像上之畫素予以連結的方向，以作為前述相關性高的方向。
  11. 如申請專利範圍第9項所述之圖像編碼裝置，其中， 前述相關方向算出部係對成為前述參考圖像的候補之各已編碼分割圖像，算出前述分割圖像間編碼當中所算出的預測誤差之和，並算出將對應於前述預測誤差之和為最小之已編碼分割圖像和參考圖像的組合之相同位置之畫素的在原圖像上之畫素予以連結的方向，以作為前述相關性高的方向。
  12. 如申請專利範圍第9項、第10項或第11項所述之圖像編碼裝置，其中，至少前述分割圖像間編碼部、前述相關方向算出部以及前述參考圖像選擇部係按每個分割前述分割圖像的圖像區塊，進行前述分割圖像之編碼處理、相關方向之算出處理以及前述參考圖像之選擇處理，並按每個前述圖像區塊切換前述分割圖像間編碼之參考圖像。
  13. 一種圖像解碼裝置，係將經過輸入圖像分割成n×m畫素的區塊，且於將經過分割之各區塊分割成n1×m1畫素(其中，1≦n1<n,1≦m1<m)之子區塊時，設定由前述區塊內之相對位置相同之子區塊的畫素的集合所構成，且分別為相同尺寸的分割圖像，且將藉由按每個前述分割圖像進行編碼而被壓縮編碼之圖像的編碼資料進行解碼，係包括：資訊源解碼部，係輸入前述被壓縮編碼之圖像的編碼資料，並進行資訊源解碼；分割圖像內解碼部，係根據前述資訊源解碼部所解碼的資料而將至少一個以上之前述分割圖像進行分割圖像內解碼；分割圖像間解碼部，係使用從已解碼分割圖像之中所選擇的參考圖像而產生相對於解碼對象分割圖像之預測圖像，並進 行分割圖像間解碼；相關方向算出部，係於存在有複數個前述參考圖像之候補時，以前述已解碼分割圖像的分割圖像間預測之預測誤差為基礎，對已解碼分割圖像和前述已解碼分割圖像的參考圖像之相同位置的畫素，算出和原圖像上的畫素之相關性最高的方向；參考圖像選擇部，係於存在有複數個前述參考圖像之候補時，對前述解碼對象分割圖像，選擇位於前述相關性高的方向之已解碼分割圖像而作為前述參考圖像；以及解碼圖像合成部，係從藉由前述分割圖像內解碼部和前述分割圖像間預測解碼部所解碼之分割圖像而將解碼圖像予以合成。
  14. 如申請專利範圍第13項所述之圖像解碼裝置，其中，前述相關方向算出部係由成為前述參考圖像的候補之各已解碼分割圖像和各已解碼分割圖像之參考圖像而產生預測圖像，且算出相對於各已解碼分割圖像之前述預測圖像的預測誤差之和，並算出將對應於前述預測誤差之和為最小之已解碼分割圖像和參考圖像的組合之相同位置之畫素的在原圖像上之畫素予以連結的方向，以作為前述相關性高的方向。
  15. 如申請專利範圍第13項所述之圖像解碼裝置，其中，前述相關方向算出部係對成為前述參考圖像的候補之各已解碼分割圖像，算出前述分割圖像間解碼當中所算出的預測誤差之和，並算出將對應於前述預測誤差之和為最小之已解碼分割圖像和參考圖像的組合之相同位置之畫素的在原圖像上之畫素予以連結的方向，以作為前述相關性高的方向。
  16. 如申請專利範圍第13項、第14項或第15項所述之圖像解碼裝置，其中，至少前述分割圖像間解碼部、前述相關方向算出部以及前述參考圖像選擇部係按每個分割前述分割圖像的圖像區塊，進行前述分割圖像之解碼處理、相關方向之算出處理以及前述參考圖像之選擇處理，並按每個前述圖像區塊切換前述分割圖像間解碼之參考圖像。
  17. 一種圖像編碼程式，其特徵在於：係使電腦執行申請專利範圍第1項至第4項中之任意1項所記載之圖像編碼方法。
  18. 一種圖像解碼程式，其特徵在於：係使電腦執行申請專利範圍第5項至第8項中之任意1項所記載之圖像解碼方法。
TW101146821A 2011-12-13 2012-12-12 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程式，及圖像解碼程式 TWI477107B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011271841A JP5795525B2 (ja) 2011-12-13 2011-12-13 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム

Publications (2)

Publication Number Publication Date
TW201338552A true TW201338552A (zh) 2013-09-16
TWI477107B TWI477107B (zh) 2015-03-11

Family

ID=48612573

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101146821A TWI477107B (zh) 2011-12-13 2012-12-12 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程式，及圖像解碼程式

Country Status (11)

Country Link
US (1) US9332275B2 (zh)
EP (1) EP2775718B1 (zh)
JP (1) JP5795525B2 (zh)
KR (1) KR101614828B1 (zh)
CN (1) CN103975599B (zh)
BR (1) BR112014014322A2 (zh)
CA (1) CA2858693A1 (zh)
PL (1) PL2775718T3 (zh)
RU (1) RU2014123658A (zh)
TW (1) TWI477107B (zh)
WO (1) WO2013089129A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9748074B2 (en) 2014-09-05 2017-08-29 Nuflare Technology, Inc. Data generating apparatus, energy beam writing apparatus, and energy beam writing method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6130267B2 (ja) * 2013-08-13 2017-05-17 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US10382792B2 (en) * 2015-02-13 2019-08-13 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal by means of transform-domain prediction
WO2017133660A1 (en) * 2016-02-04 2017-08-10 Mediatek Inc. Method and apparatus of non-local adaptive in-loop filters in video coding
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
US10958807B1 (en) * 2018-02-08 2021-03-23 Digimarc Corporation Methods and arrangements for configuring retail scanning systems
US10880451B2 (en) 2018-06-08 2020-12-29 Digimarc Corporation Aggregating detectability metrics to determine signal robustness
TWI749676B (zh) 2020-08-03 2021-12-11 緯創資通股份有限公司 影像品質評估裝置及其影像品質評估方法
TWI743919B (zh) * 2020-08-03 2021-10-21 緯創資通股份有限公司 視訊處理裝置及視訊串流的處理方法
CN116708933B (zh) * 2023-05-16 2024-04-16 深圳东方凤鸣科技有限公司 一种视频编码方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2905756A (en) 1956-11-30 1959-09-22 Bell Telephone Labor Inc Method and apparatus for reducing television bandwidth
JPS647854A (en) * 1987-06-30 1989-01-11 Toshiba Corp Encoding device
JPH03187694A (ja) * 1989-12-18 1991-08-15 Canon Inc 符号化装置
JPH0678294A (ja) * 1992-08-21 1994-03-18 Sony Corp 符号化方法、符号化装置、および復号化装置
JP2000299866A (ja) * 1999-04-12 2000-10-24 Ntt Software Corp 画像符号化方法
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
CN101668215A (zh) * 2003-02-18 2010-03-10 诺基亚有限公司 图像解码方法
TW200603614A (en) * 2004-06-02 2006-01-16 Matsushita Electric Ind Co Ltd Seamless switching between random access units multiplexed in a multi angle view multimedia stream
JP4148228B2 (ja) 2005-02-10 2008-09-10 ソニー株式会社 画像記録装置、画像再生制御装置、画像記録再生制御装置、これらの装置の処理方法およびその方法をコンピュータに実行させるプログラム
KR100727970B1 (ko) * 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101246294B1 (ko) 2006-03-03 2013-03-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
TWI415478B (zh) 2007-10-15 2013-11-11 Nippon Telegraph & Telephone 影像編碼裝置及解碼裝置、影像編碼方法及解碼方法，其程式與記錄有程式的記錄媒體
KR20110095320A (ko) * 2008-11-14 2011-08-24 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치 및 동화상 복호 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9748074B2 (en) 2014-09-05 2017-08-29 Nuflare Technology, Inc. Data generating apparatus, energy beam writing apparatus, and energy beam writing method

Also Published As

Publication number Publication date
EP2775718A4 (en) 2015-07-29
RU2014123658A (ru) 2017-01-20
KR101614828B1 (ko) 2016-04-22
US9332275B2 (en) 2016-05-03
PL2775718T3 (pl) 2020-01-31
CA2858693A1 (en) 2013-06-20
JP2013125973A (ja) 2013-06-24
EP2775718B1 (en) 2019-07-10
EP2775718A1 (en) 2014-09-10
CN103975599A (zh) 2014-08-06
TWI477107B (zh) 2015-03-11
WO2013089129A1 (ja) 2013-06-20
US20140355678A1 (en) 2014-12-04
JP5795525B2 (ja) 2015-10-14
KR20140092374A (ko) 2014-07-23
BR112014014322A2 (pt) 2017-06-13
CN103975599B (zh) 2017-05-03

Similar Documents

Publication Publication Date Title
TWI477107B (zh) 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程式，及圖像解碼程式
KR101473278B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
JP6164600B2 (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
JP5418756B2 (ja) 画像再符号化装置、画像再符号化方法及び画像再符号化プログラム
JP5197630B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
CN116886929A (zh) 对图像编码/解码的方法和设备及存储比特流的记录介质
JP2007053561A (ja) 画像符号化装置および画像符号化方法
JP2009527977A (ja) タイプが一致しない下位階層の情報を使用しインターレースビデオ信号をエンコーディング／デコーディングする方法および装置
KR20130085392A (ko) 인트라 예측 처리 속도 향상을 위한 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
CN111010578B (zh) 一种帧内帧间联合预测的方法、装置以及存储介质
JP2011229145A (ja) 符号化ユニットにおける動画符号化においてハイブリッド多仮説予測を行う方法、および関連装置
US20110135003A1 (en) Uni-modal based fast half-pel and fast quarter-pel refinement for video encoding
JP2012175332A (ja) 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
TWI524742B (zh) 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置、圖像編碼程式及圖像解碼程式
KR101443865B1 (ko) 인터 예측 방법 및 장치
KR101475286B1 (ko) 인트라 예측 방법 및 장치, 그리고 영상 처리 장치
KR101375699B1 (ko) 인트라 예측 방법 및 장치
KR20170122351A (ko) 화면 내 예측 방향성에 따른 적응적 부호화 순서를 사용하는 비디오 코딩 방법 및 장치
KR20180121341A (ko) 압축 영역에서 핵심 프레임이 포함된 동영상 합성 방법 및 장치
WO2014196118A1 (ja) 画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法
JP6253564B2 (ja) 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
JP5578974B2 (ja) 画像符号化装置
JP2019087985A (ja) 画像符号化装置及び画像符号化プログラム
KR20140072941A (ko) 계층간 참조샘플을 이용하여 화면 내 예측을 수행하는 확장 비디오 부/복호화 방법 및 장치