TWI580250B - An image processing apparatus, an image processing method, an image processing program, and a recording medium - Google Patents

An image processing apparatus, an image processing method, an image processing program, and a recording medium Download PDF

Info

Publication number
TWI580250B
TWI580250B TW104111383A TW104111383A TWI580250B TW I580250 B TWI580250 B TW I580250B TW 104111383 A TW104111383 A TW 104111383A TW 104111383 A TW104111383 A TW 104111383A TW I580250 B TWI580250 B TW I580250B
Authority
TW
Taiwan
Prior art keywords
vertical
horizontal
unit
filtering
image
Prior art date
Application number
TW104111383A
Other languages
English (en)
Other versions
TW201528779A (zh
Inventor
Masaru Ikeda
Junichi Tanaka
Yoshitaka Morigami
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201528779A publication Critical patent/TW201528779A/zh
Application granted granted Critical
Publication of TWI580250B publication Critical patent/TWI580250B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體
本揭示係關於圖像處理裝置及圖像處理方法。
圖像編碼方式之標準規格之一種即H.264/AVC中，為抑制起因於圖像編碼時產生之區塊失真之畫質劣化，例如對每4×4像素於區塊交界應用去區塊濾波器。應用該去區塊濾波器所需要之處理量龐大，據說例如有時甚至會占圖像編碼時之所有處理量之50%。
下一代圖像編碼方式HEVC(High Efficiency Video Coding，高效率視訊編碼)之標準化作業中，於JCTVC-A119(參照下述非專利文獻1)中，提案有對每8×8像素以上的尺寸之區塊應用去區塊濾波器。根據JCTVC-A119中提案之方法，藉由擴大應用去區塊濾波器之最小單位之區塊尺寸，從而可在1個巨區塊內並行執行同一方向之複數個區塊交界上之濾波處理。
[先前技術文獻] [非專利文獻]
[非專利文獻1]K. Ugur (Nokia), K. R. Andersson (LM Ericsson), A. Fuldseth (Tandberg Telecom), 「JCTVC-A119: Video coding technology proposal by Tandberg, Nokia, and Ericsson」, Documents of the first meeting of the Joint Collaborative Team on Video Coding (JCT-VC), Dresden, Germany, 15-23 April, 2010.
但，即使採用JCTVC-A119中提案之方法，仍會有針對垂直方向之區塊交界之處理與針對水平方向之區塊交界之處理間之依存關係。 由此，要在1個巨區塊(或1個編碼單位)內使針對不同方向之區塊交界之處理並行化，及要在巨區塊間使處理並行化依然有困難。因此即使是上述方法，因應用解塊濾波器時之龐大處理量所造成之延遲或資料速率之下降等問題亦難獲得充分解決。
因此，本揭示之技術提供一種可使應用解塊濾波器時之處理進而並行化之圖像處理裝置及圖像處理方法。
根據本揭示，提高一種圖像處理裝置，其具備：解碼部，其從編碼串流解碼圖像；判斷部，其判斷是否對鄰接於藉由前述解碼部解碼之圖像內之區塊交界之鄰接區塊應用解塊濾波器；濾波部，其對藉由前述判斷部判斷為應用解塊濾波器之鄰接區塊應用解塊濾波器；及控制部，其將重建圖像之前述鄰接區塊之像素作為參照像素使用，使前述判斷部執行垂直區塊交界及水平區塊交界上之前述判斷處理。
上述圖像處理裝置典型上可作為解碼圖像之圖像解碼裝置實現。
又，根據本揭示，提供一種圖像處理方法，其包含：從編碼串流解碼圖像；執行判斷是否對鄰接於被解碼之圖像內之區塊交界之鄰接交界應用解塊濾波器之判斷處理；對前述判斷處理中經判斷為應用解塊濾波器之鄰接區塊應用解塊濾波器；及以將重建圖像之前述鄰接區塊之像素作為參照像素使用，而執行垂直區塊交界及水平區塊交界上之前述判斷處理之方式，控制前述判斷處理。
又，根據本揭示，提供一種圖像處理裝置，其具備：判斷部，其執行判斷是否對鄰接於在將編碼對象圖像編碼時被局部解碼之圖像 內之區塊交界之鄰接區塊應用解塊濾波器之判斷處理；濾波部，其對藉由前述判斷部判斷為應用解塊濾波器之鄰接區塊應用解塊濾波器；控制部，其將重建圖像之前述鄰接區塊之像素作為參照像素使用，使前述判斷部執行垂直區塊交界及水平區塊交界上之前述判斷處理；及編碼部，其使用藉由前述濾波部濾波之圖像，編碼前述編碼對象圖像。
上述圖像處理裝置典型上可作為編碼圖像之圖像編碼裝置實現。
又，根據本揭示，提供一種圖像處理方法，其包含：執行判斷是否對鄰接於在將編碼對象圖像編碼時被局部解碼之圖像內之區塊交界之鄰接區塊應用解塊濾波器之判斷處理；對前述判斷處理中判斷為應用解塊濾波器之鄰接區塊應用解塊濾波器；以將重建圖像之前述鄰接區塊之像素作為參照像素使用而執行垂直區塊交界及水平區塊交界上之前述判斷處理之方式，控制前述判斷處理；及使用藉由前述解塊濾波器濾波之圖像，編碼前述編碼對象圖像。
如上說明，根據本揭示之圖像處理裝置及圖像處理方法，可使應用解塊濾波器時之處理進而並行化。
10、60‧‧‧圖像處理裝置
24‧‧‧解塊濾波器
110‧‧‧判斷區塊
112-1~n,212-1~n‧‧‧第1判斷部(垂直交界判斷部)
114-1~n,214-1~n‧‧‧第2判斷部(水平交界判斷部)
130‧‧‧水平濾波區塊
132-1~n,332-1~n‧‧‧第1濾波部(水平濾波部)
140‧‧‧垂直濾波區塊
142-1~n,342-1~n‧‧‧第2濾波部(垂直濾波部)
150‧‧‧並行化控制部
208‧‧‧列記憶體(記憶體)
360‧‧‧計算部
圖1係顯示一實施形態之圖像編碼裝置之構成之一例之方塊圖。
圖2係顯示一實施形態之圖像解碼裝置之構成之一例之方塊圖。
圖3係顯示夾著交界鄰接之像素之一例之說明圖。
圖4係用以針對現有方法之濾波要否判斷處理中之參照像素進行說明之說明圖。
圖5係用以針對藉由濾波處理更新之像素進行說明之說明圖。
圖6係用以針對用以說明實施形態之邊緣稱呼方法進行說明之說 明圖。
圖7係用以針對現有方法之並行處理進行說明之說明圖。
圖8係用以針對現有方法之處理間之依存關係進行說明之第1說明圖。
圖9係用以針對現有方法之處理間依存關係進行說明之第2說明圖。
圖10係用以針對現有方法之處理順序之一例進行說明之說明圖。
圖11係用以針對第1實施例之濾波要否判斷處理中之參照像素進行說明之第1說明圖。
圖12係用以針對第1實施例之濾波要否判斷處理中之參照像素進行說明之第2說明圖。
圖13係用以針對處理順序之第1例進行說明之說明圖。
圖14係用以針對處理順序之第2例進行說明之說明圖。
圖15係顯示第1實施例之解塊濾波器之詳細構成之一例之方塊圖。
圖16係顯示判斷部之進而詳細構成之一例之方塊圖。
圖17係用以針對夾著切片交界鄰接之區塊之一例進行說明之說明圖。
圖18係用以針對每個切片之處理順序之第1例進行說明之說明圖。
圖19係用以針對每個切片之處理順序之第2例進行說明之說明圖。
圖20係顯示利用一實施形態之解塊濾波器之處理流程之第1例之流程圖。
圖21係顯示利用一實施形態之解塊濾波器之處理流程之第2例之 流程圖。
圖22係顯示一實施形態之濾波要否判斷處理之流程之一例之流程圖。
圖23係顯示第2實施例之解塊濾波器之詳細構成之一例之方塊圖。
圖24係用以針對第2實施例中可實現之判斷方法之第1及第2例進行說明之說明圖。
圖25係用以針對第2實施例中可實現之判斷方法之第3及第4例進行說明之說明圖。
圖26係用以針對第2實施例中可實現之判斷方法之第5及第6例進行說明之說明圖。
圖27係用以針對每個LCU之處理順序進行說明之說明圖。
圖28係顯示每個LCU之處理流程之一例之流程圖。
圖29係用以針對第3實施例之概要進行說明之說明圖。
圖30係顯示第3實施例之解塊濾波器之詳細構成之一例之方塊圖。
圖31係用以針對用以加權平均之權重決定進行說明之說明圖。
圖32用以針對用以加權平均之權重之一例進行說明之說明圖。
圖33係用以針對自第3實施例之計算部之輸出像素值進行說明之說明圖。
圖34係用以針對用以比較之處理順序之第1例進行說明之說明圖。
圖35係用以針對第3實施例中實現之處理順序之第1例進行說明之說明圖。
圖36係用以針對用以比較之處理順序之第2例進行說明之說明圖。
圖37係用以針對第3實施例中實現之處理順序之第2例進行說明之說明圖。
圖38係顯示利用第3實施例之解塊濾波器之處理流程之一例之流程圖。
圖39係顯示圖38所示之像素值計算處理流程之一例之流程圖。
圖40係用以針對多視點編解碼器進行說明之說明圖。
圖41係用以針對向一實施形態之圖像編碼處理之多視點編解碼器之應用進行說明之說明圖。
圖42係用以針對向一實施形態之圖像解碼處理之多視點編解碼器之應用進行說明之說明圖。
圖43係用以針對可擴展編解碼器進行說明之說明圖。
圖44係用以針對向一實施形態之圖像編碼處理之可擴展編解碼器之應用進行說明之說明圖。
圖45係用以針對向一實施形態之圖像解碼處理之可擴展編解碼器之應用進行說明之說明圖。
圖46係顯示電視機裝置概要構成之一例之方塊圖。
圖47係顯示手機之概要構成之一例之方塊圖。
圖48係顯示記錄播放裝置之概要構成之一例之方塊圖。
圖49係顯示攝像裝置之概要構成之一例之方塊圖。
以下參照附加圖式，針對本揭示之較佳實施形態詳細說明。另，本說明書及附圖中，針對實質具有同一功能構成之構成要素，藉由附加同一符號而省略重複說明。
又，按照以下順序說明該「實施形態」。
1.裝置之概要
1-1.圖像編碼裝置
1-2.圖像解碼裝置
2.現有方法之說明
2-1.解塊濾波器之基本構成
2-2.現有方法之處理間之依存關係
3.第1實施例
3-1.解塊濾波器之構成例
3-2.處理流程
4.第2實施例
4-1.解塊濾波器之構成例
4-2.處理流程
4-3.每個LCU之處理例
5.第3實施例
5-1.概要
5-2.解塊濾波器之構成例
5-3.處理順序之例
5-4.處理流程
6.向各種編解碼器之應用
6-1.多視點編解碼器
6-2.可擴展編解碼器
7.應用例
8.總結
<1.裝置之概要>
首先，使用圖1及圖2說明作為可應用本說明書中揭示之技術之一例之裝置之概要。本說明書中揭示之技術例如可應用於圖像編碼裝置及圖像解碼裝置。
[1-1.圖像編碼裝置]
圖1係顯示一實施形態之圖像編碼裝置10之構成之一例之方塊圖。參照圖1，圖像編碼裝置10具備：A/D(Analogue to Digital，類比-數位)轉換部11、重排序緩衝器12、減法部13、正交轉換部14、量化部15、可逆編碼部16、儲存緩衝器17、速率控制部18、逆量化部21、逆正交轉換部22、加法部23、解塊濾波器24a、圖框記憶體25、選擇器26、框內預測部30、動態偵測部40、及模式選擇部50。
A/D轉換部11將以類比形式輸入之圖像信號轉換成數位形式之圖像資料，並將一連串數位圖像資料向重排序緩衝器12輸出。
重排序緩衝器12將從A/D轉換部11輸入之一連串圖像資料中所含之圖像重排序。重排序緩衝器12根據編碼處理之GOP(Group of Pictures，圖片群組)結構轉換圖像後，將轉換後之圖像資料向減法部13、框內預測部30及動態偵測部40輸出。
對減法部13供給從重排序緩衝器12輸入之圖像資料、及藉由之後說明之模式選擇部50所選擇之預測圖像資料。減法部13算出從重排序緩衝器12輸入之圖像資料與從模式選擇部50輸入之預測圖像資料之差分即預測誤差資料，並將所算出之預測誤差資料向正交轉換部14輸出。
正交轉換部14對從減法部13輸入之預測誤差資料進行正交轉換。藉由正交轉換部14執行之正交轉換例如可為離散餘弦轉換(Discrete Cosine Transform：DCT)或K-L轉換等。正交轉換部14將由正交轉換處理獲得之轉換係數資料向量化部15輸出。
對量化部15供給從正交轉換部14輸入之轉換係數資料、以及來自之後說明之速率控制部18之速率控制信號。量化部15將轉換係數資料量化，並將量化後之轉換係數資料(以下稱作量化資料)向可逆編碼部16及逆量化部21輸出。又，量化部15基於來自速率控制部18之速率控制信號切換量化參數(量化位階)，而使輸入至可逆編碼部16之量化 資料之位元率變化。
對可逆符號化部16供給從量化部15輸入之量化資料、以及由之後說明之由框內預測部30或動態偵測部40生成、且由模式選擇部50選擇之框內預測或框間預測相關之資訊。框內預測相關之資訊例如可包含表示每個區塊之最佳框內預測模式之預測模式資訊。又，框間預測相關之資訊例如可包含用以預測每個區塊之動態向量之預測模式資訊、差分動態向量資訊、及參照圖像資訊等。
可逆編碼部16藉由對量化資訊進行可逆編碼處理，而生成編碼串流。利用可逆編碼部16之可逆編碼例如可為可變長度編碼或算數編碼等。又，可逆編碼部16將上述框內預測相關之資訊或框間預測相關之資訊在編碼串流之標頭(例如區塊標頭或切片標頭等)內多工處理。然後，可逆編碼部16將生成之編碼串流向儲存緩衝器17輸出。
儲存緩衝器17使用半導體記憶體等之記憶媒體將從可逆編碼部16輸入之編碼串流暫時儲存。然後，儲存緩衝器17將所儲存之編碼串流以對應於傳送路徑(或自圖像編碼裝置10之輸出線)之帶域之速率輸出。
速率控制部18監視儲存緩衝器17之空間容量。且，速率控制部18對應於儲存緩衝器17之空間容量而生成速率控制信號，將所生成之速率控制信號向量化部15輸出。例如速率控制部18在儲存緩衝器17之空間容量較少時，生成用以降低量化資料之位元率之速率控制信號。又，例如速率控制部18在儲存緩衝器17之空間容量充分大時，生成用以提高量化資料之位元率之速率控制信號。
逆量化部21對從量化部15輸入之量化資料進行逆量化處理。然後，逆量化部21將由量化處理獲得之轉換係數資料向逆正交轉換部22輸出。
逆正交轉換部22藉由對從逆量化部21輸入之轉換係數資料進行 逆正交轉換處理，而復原預測誤差資料。然後，逆正交轉換部22將所復原之預測誤差資料向加法部23輸出。
藉由加法部23將從逆正交轉換部22輸入之經復原之預測誤差資料與從模式選擇部50輸入之預測圖像資料相加，而生成解碼圖像資料。然後，加法部23將所生成之解碼圖像資料向解塊濾波器24a及圖框記憶體25輸出。
解塊濾波器24a進行用以減少圖像編碼時產生之區塊失真之濾波處理。例如，解塊濾波器24a針對從加法部23輸入之解碼圖像資料於每個區塊之交界判斷要否濾波，並對判斷為應應用濾波器之交界應用解塊濾波器。對解塊濾波器24a除輸入來自加法部23之解碼圖像資料外，亦輸入用以判斷要否濾波所使用之資訊(例如模式資訊、轉換係數資訊及動態向量)。然後，解塊濾波器24a將區塊失真經去除之濾波後之解碼圖像資料向圖框記憶體25輸出。另，有關利用解塊濾波器24a進行之處理將於後詳細說明。
圖框記憶體25使用記憶媒體記憶從加法部23輸入之解碼圖像資訊、及從解塊濾波器24a輸入之濾波後之解碼圖像資料。
選擇器26從圖框記憶體25讀取用以框內預測所使用之濾波前之解碼圖像資料，將所讀取之解碼圖像資料作為參照圖像資料供給至框內預測部30。又，選擇器26從圖框記憶體25讀取用以框間預測所使用之濾波後之解碼圖像資料，將所讀取之解碼圖像資料作為參照圖像資料供給至動態偵測部40。
框內預測部30基於從重排序緩衝器12輸入之編碼對象之圖像資料、及經由選擇器26供給之解碼圖像資料，進行各框內預測模式之框內預測處理。例如框內預測部30使用特定之代價函數評估利用各框內預測模式之預測結果。然後，框內預測部30將代價函數值為最小之框內預測模式、即壓縮率為最高之框內預測模式選擇作為最佳框內預測 模式。再者，框內預測部30將表示該最佳框內預測模式之預測模式資訊、預測圖像資料、及代價函數值等框內預測相關之資訊向模式選擇部50輸出。
動態偵測部40基於從重排序緩衝器12輸入之編碼對象之圖像資料、及經由選擇器26供給之解碼圖像資料，進行框間預測處理(圖框間預測處理)。例如，動態偵測部40使用特定之代價函數評估利用各預測模式之預測結果。接著，動態偵測部40將代價函數值為最小之預測模式、即壓縮率為最高之預測模式選擇作為最佳預測模式。再者，動態偵測部40按照該最佳預測模式生成預測圖像資料。然後，動態偵測部40將表示所選擇之最佳預測模式之預測模式資訊、預測圖像資料、及代價函數值等框間預測相關之資訊向模式選擇部50輸出。
模式選擇部50將從框內預測部30輸入之框內預測相關之代價函數值，與從動態偵測部40輸入之框間預測相關之代價函數值進行比較。然後，模式選擇部50選擇框內預測及框間預測中代價函數值較少之預測方法。若模式選擇部50選擇框內預測之情形時，將框內預測相關之資訊向可逆編碼部16輸出，且將預測圖像資料向減法部13及加法部23輸出。又，若模式選擇部50選擇框間預測之情形時，將框間預測相關之上述資訊向可逆編碼部16輸出，且將預測圖像資料向減法部13及加法部23輸出。
[1-2.圖像解碼裝置]
圖2係顯示一實施形態之圖像解碼裝置60之構成之一例之方塊圖。參照圖2，圖像解碼裝置60具備儲存緩衝器61、可逆解碼部62、逆量化部63、逆正交轉換部64、加法部65、解塊濾波器24b、重排序緩衝器67、D/A(Digital to Analogue，類比-數位)轉換部68、圖框記憶體69、選擇器70及71、框內預測部80、以及動態補償部90。
儲存緩衝器61使用記憶媒體暫時儲存經由傳送路輸入之編碼串 流。
可逆解碼部62將從儲存緩衝器61輸入之編碼串流按照編碼時使用之編碼方式解碼。又，可逆解碼部62將在編碼串流之標頭區域經多工處理之資訊解碼。所謂在解碼串之標頭區域經多工處理之資訊，例如可包含區塊標頭內之框內預測相關之資訊及框間預測相關之資訊。可逆解碼部62將框內預測相關之資訊向框內預測部80輸出。又，可逆解碼部62將框間預測相關之資訊向動態補償部90輸出。
逆量化部63使由可逆解碼部62解碼後之量化資料逆量化。逆正交轉換部64按照編碼時使用之正交轉換方式，對從逆量化部63輸入之轉換係數進行逆正交轉換，藉此生成預算誤差資料。然後，逆正交轉換部64將所生成之預測誤差資料向加法部65輸出。
藉由加法部65加法從逆正交轉換部64輸入之預測誤差資料，與從選擇器71輸入之預測圖像資料，而生成解碼圖像資料。然後，加法部65將所生成之解碼圖像資料向解塊濾波器24b及圖框記憶體69輸出。
解塊濾波器24b進行用以使出現於經解碼之圖像上之區塊失真減少之濾波處理。解塊濾波器24b例如針對從加法部65輸入之解碼圖像資料於每個區塊之交界判斷要否濾波，並對判斷為應應用濾波器之交界應用解塊濾波器。對解塊濾波器24b除輸入來自加法部65之解碼圖像資料外，亦輸入用以判斷要否濾波所使用之資訊。然後，解塊濾波器24b將區塊失真經去除之濾波後之解碼圖像資料向重排序緩衝器67及圖框記憶體69輸出。另，有關利用解塊濾波器24b進行之處理將於後詳細說明。
重排序緩衝器67藉由將從解塊濾波器24b輸入之圖像重排序，而生成行時間序行之一連串圖像資料。然後，重排序緩衝器67將所生成之圖像資料向D/A轉換部68輸出。
D/A轉換部68將從重排序緩衝器67輸入之數位形式之圖像資料轉換成類比形式之圖像信號。然後，D/A轉換部68例如對連接於圖像解碼裝置60之顯示器(未圖示)輸出類比圖像信號，藉此顯示圖像。
圖框記憶體69使用記憶體媒體記憶從加法部65輸入之濾波前之解碼圖像資料，及從解塊濾波器24b輸入之濾波後之解碼圖像資料。
選擇器70根據藉由可逆解碼部62獲得之模式資訊，對每個圖像內之區塊在框內預測部80與動態補償部90間切換來自圖框記憶體69之圖像資料之輸出目的地。例如選擇器70在框內預測模式受指定之情形時，將從圖框記憶體69供給之濾波前之解碼圖像資料作為參照圖像資料向框內預測部80輸出。又，選擇器70在框間預測模式受指定之情形時，將從圖框記憶體69供給之濾波後之解碼圖像料作為參照圖像資料向動態補償部90輸出。
選擇器71根據藉由可逆解碼部62獲得之模式資訊，對每個圖像內之區塊在框內預測部80與動態補償部90間轉換應向加法部65供給之預測圖像資料之輸出來源。例如選擇器71在框內預測模式受指定之情形中，將從框內預測部80輸出之預測圖像資料向加法部65供給。選擇器71在框間預測模式受指定之情形時，將從動態補償部90輸出之預測圖像資料向加法部65供給。
框內預測部80基於從可逆解碼部62輸入之框內預測相關之資訊與來自圖框記憶體69之參照圖像資料，進行像素值之畫面內預測，而生成預測圖像資料。然後，框內預測部80將所生成之預測圖像資料向選擇器71輸出。
動態補償部90基於從可逆解碼部62輸入之框間預測相關之資訊與來自圖框記憶體69之參照圖像資訊，進行動態補償處理，而生成預測圖像資料。然後，動態補償部90將所生成之預測圖像資料向選擇器71輸出。
<2.現有方法之說明>
[2-1.解塊濾波器之基本構成]
一般言之，H.264/AVC或HEVC等現有之圖像編碼方式中之利用解塊濾波器之處理，包含濾波要否判斷處理及濾波處理2種處理。以下，以HEVC為例針對此2種處理進行說明。
(1)濾波要否判斷處理
濾波要否判斷處理係對每個輸入圖像內之區塊交界判斷是否應應用解塊濾波器之處理。區塊之交界包含左右鄰接之區塊間之垂直交界與上下鄰接之區塊間之水平交界。JCTVC-A119中，8×8像素之區塊尺寸為最小處理單位。例如，於16×16像素之巨區塊內存在4個8×8像素之區塊，每個區塊各有1個(左方)垂直交界及1個(上方)水平交界、即合計4+4=8個交界之判斷對象。另，本說明書中，巨區塊之用語亦包含HEVC之文脈中之編碼單位(CU：Coding Unit)。
圖3係顯示夾著交界而鄰接之2個區塊(鄰接區塊)Ba及Bb內之像素之一例之說明圖。此處以垂直交界為例進行說明，但當然此處說明之事項對於水平交界亦可同等應用。圖3之例中，區塊Ba內之像素以pij記號表示。i係行之索引，j係列之索引。行之索引i從靠近垂直交界之行起依次(從右向左)編號為0、1、2、3。行之索引j從上向下編號為0、1、2、...、7。另，區塊Ba之左半部分在圖中省略。另一方面，區塊Bb內之像素以qkj記號表示。k係行之索引，j係列之索引。行之索引k從靠近垂直交界之行起依次(從左向右)編號為0、1、2、3。另，區塊Bb之右半部分在圖中省略。
對於圖3所示之區塊Ba及Bb間之垂直交界是否應應用解塊濾波器，可根據如下條件判斷：
˙亮度成份(Luma)之判斷條件...條件A及條件B任一者皆為真則應用
-條件A：
(A1)區塊Ba或Bb為框內預測模式；(A2)區塊Ba或Bb具有非零之正交轉換係數；或(A3)｜MVAx-MVBx｜≧4或｜MVAy-MVBy｜≧4
-條件B：
｜p22-2p12+p02｜+｜q22-2q12+q02｜+｜p25-2p15+p05｜+｜q25-2q15+q05｜<β
另，關於條件A3，設Qpel(1/4像素)精度之區塊Ba之動態向量為(MVAx、MVAy)，設區塊Bb之動態向量為(MVBx、MVBy)。又，條件B中之β係邊緣判斷閾值。B之初始值根據量化參數賦予。又，β之值可由使用者以切片標頭內之參數指定。
˙色差成份(Chroma)之判斷條件...條件A為真則應用
-條件A1：區塊Ba或Bb為框內預測模式
即，如圖4中虛線框L3及L5所示，在針對一般之垂直交界之濾波要否判斷處理(尤其亮度成份之判斷條件B之判斷)中，參照各區塊之第3及第6列(設最上列為第1列)之像素。同樣的，在針對水平交界之濾波要否判斷處理中，參照各區塊之第3及第6行之像素(圖4中未顯示)。然後，針對按照上述判斷條件判斷為應應用解塊濾波器之交界，進行以下說明之濾波處理。
(2)濾波處理
若判斷應針對某交界應用解塊濾器，則就垂直交界而言乃針對該交界之左右之像素進行濾波處理，就水平交界而言乃針對該交界之上下之像素進行濾波處理。對於亮度成份，可根據像素值在濾波強度為強(strong)濾波與弱(weak)濾波間切換。
˙亮度成份之濾波
-強度選擇...對每1列(或每1行)選擇濾波強度。在以下條件C1~C3都滿足之情形時選擇強濾波，任一者都不滿足之情形時選擇弱濾波：
(C1)d<(β>>2)
(C2)｜p3j-p0j｜+｜q0j-q3j｜<(β>>3)
(C3)｜p0j-q0j｜<((5tC+1)>>1)
此處，j在垂直交界時為列之索引，在水平交界時為行之索引。又，d=｜p22-2p12+p02｜+｜q22-2q12+q02｜+｜p25-2p15+p05｜+｜q25-2q15+q05｜。
-弱濾波：
△=Clip(-tc,tc,(13(q0j-p0j))+4(q1j-p1j)-5(q2j-p2j)+16)>>5))
p0j=Clip0-255(p0j+△)
q0j=Clip0-255(q0j-△)
p1j=Clip0-255(p1j+△/2)
q1j=Clip0-255(q1j-△/2)
-強濾波：
p0j=Clip0-255((p2j+2p1j+2p0j+2q0j+q1j+4)>>3)
q0j=Clip0-255((p1j+2p0j+2q0j+2q1j+q2j+4)>>3)
p1j=Clip0-255((p2j+p1j+p0j+q0j+2)>>2)
q1j=Clip0-255((p0j+q0j+q1j+q2j+2)>>2)
p2j=Clip0-255((2p3j+3p2j+p1j+p0j+q0j+4)>>3)
q2j=Clip0-255((p0j+q0j+q1j+3q2j+2q3j+4)>>3)
另，Clip(a,b,c)表示值c在a≦c≦b範圍內進行片斷處理，Clip0-255(c)表示值c在0≦c≦255範圍內進行片斷處理。
˙色差成份之濾波：
△=Clip(-tc,tc,((((q0j-p0j)<<2)+p1j-q1j+4)>>3))
p0j=Clip0-255(p0j+△)
q0j=Clip0-255(q0j-△)
即，如圖5中虛線框C6~C8及C1~C3所示，針對一般垂直交界之 濾波處理(尤其是亮度成份之強濾波)中，各區塊之第1~3及第6~8行之像素值被更新。同樣的，針對水平交界之濾波處理中，各區塊之第1~3及第6~8列之像素值被更新。
[2-2.現有方法中之處理間之依存關係]
此處，為說明而如圖6所示，將具有16×16像素尺寸之巨區塊MBx(MB0、MB1...)之左上方之垂直交界表示為Vx,0，將中央上方之垂直交界表示為Vx,1，將左下方之垂直交界表示為Vx,2，將中央下方之垂直交界表示為Vx,3，將左上方之水平交界表示為Hx,0，將右上方之水平交界表示為Hx,1，將左中央之水平交界表示為Hx,2，將右中央之水平交界表示為Hx,3。又，將例如針對交界Z之濾波要否判斷處理表示為JZ，將濾波處理表示為FZ等。
上述現有方法中，在1個巨區塊內針對同一方向之複數個交界之處理間不存在依存關係。因此，例如可在1個巨區塊內並行執行針對複數個垂直交界之濾波，及可並行執行針對複數個水平交界之濾波。作為一例，參照圖7，可知在巨區塊MB0內，4個濾波處理FV0,0、FV0,1、FV0,2、及FV0,3間無依存關係(即無重複更新之像素)，可並行執行該等處理。
但，上述現有方法中，垂直交界上之濾波處理與水平交界上之濾波要否判斷處理間有依存關係。又，水平交界上之濾波處理與垂直交界上之濾波要否判斷處理間亦有依存關係。因此，例如將垂直交界比水平交界先處理之情形時，某巨區塊內之水平交界上之濾波要否判斷處理需等待垂直交界上之濾波處理結束後才能執行。作為一例，參照圖8，顯示在巨區塊MB0內，濾波要否判斷處理JH0,0依存於濾波處理FV0,0及FV0,1之結果，且濾波要否判斷JH0,1依存於濾波處理FV0,1之結果。同樣的，某巨區塊內之垂直交界上之濾波要否判斷處理需等待相鄰之巨區塊之水平交界上之濾波處理結束後才能執行。作為一例，參 照圖9，顯示巨區塊MB1之濾波要否判斷處理JV1,0依存於巨區塊MB0之濾波處理FH0,1及FH0,3之結果，巨區塊MB1之濾波要否判斷處理Jv1,2依存於巨區塊MB0之濾波處理FH0,3之結果。
現有方法由於具有如此之處理間之依存關係，因此即使採用例如JCTVC-A119中提案之方法，亦只能在非常有限之範圍內達成解塊濾波器處理之並行化。
圖10係針對現有方法之解塊濾波器之處理順序之一例進行說明之說明圖。此處，作為一例，設定將具有32×32像素尺寸之圖像輸入至解塊濾波器。該輸入圖像包含各自具有16×16像素尺寸之4個巨區塊MB0~MB3。
參照圖10，可並行執行之處理分別顯示於各虛線狀框內。例如在第1步驟中，並行執行巨區塊MB0之4個垂直交界上之濾波要否判斷處理JV0,0、JV0,1、JV,2及JV0,3。接著，在第2步驟中，並行執行巨區塊MB0之個垂直交界上之濾波處理FV0,0、FV0,1、FV0,2及FV0,3。接著，第2步驟結束後，於第3步驟中，並行執行巨區塊MB0之4個水平交界上之濾波要否判斷處理JH0,0、JH0,1、JH0,2及JH0,3。接著，在第4步驟中，並行執行巨區塊MB0之4個水平交界上之濾波處理FH0,0、FH0,1、FH0,2及FH0,3。接著，第4步驟結束後，依次進行巨區塊MB1之處理(第5步驟~第8步驟)。接著，巨區塊MB1之處理結束後，依次進行巨區塊MB2之處理(第9步驟~第12步驟)。接著，巨區塊MB2之處理結束後，依次進行巨區塊MB3之處理(第13步驟~第16步驟)。
在如此有限範圍內之處理之並行化中，因應用解塊濾波器時之龐大處理量所造成之延遲或資料速率下降等問題很難說獲得充分解決。對此，藉由以下說明之解塊濾波器之3個實施例，實現應用解塊濾波器時之處理之進而並行化。
<3.第1實施例>
[3-1.解塊濾波器之構成例]
本節中，說明圖1所示之圖像編碼裝置10之解塊濾波器24a及圖2所示之圖像解碼裝置60之解塊濾波器24b之第1實施例之構成之一例。另，解塊濾波器24a及解塊濾波器24b之構成亦可為共通。因此以下說明中，於無需特別區別兩者之情形中，將解塊濾波器24a及解塊濾波器24b統稱為解塊濾波器24。
(1)新處理間之依存關係
本實施例中，利用解塊濾波器24之處理亦包含上述濾波要否判斷處理及濾波處理之2種處理。惟解塊濾波器24係基於與現有方法不同之參照像素之像素值，判斷是否應對各垂直交界及各水平交界應用解塊濾波器。更具體言之，解塊濾波器24在垂直交界之判斷時，將夾著垂直交界而鄰接之區塊之像素中屬於未應用水平交界之解塊濾波器之列之像素作為參照像素。又，解塊濾波器24在水平交界之判斷時，將夾著水平交界而鄰接之區塊之像素中屬於未應用垂直交界之解塊濾波器之行之像素作為參照像素。另，本項中作為一例，利用解塊濾波器24之處理亦為將8×8像素之區塊尺寸作為1個處理單位者。
圖11係用以針對利用解塊濾波器24之垂直交界上之濾波要否判斷處理中之參照像素進行說明之說明圖。參照圖11，顯示具有16×16像素尺寸之巨區塊MB0。解塊濾波器24將屬於各區塊之第4及第5列(L4及L5)之至少一方之像素作為參照像素，而判斷是否要進行此種巨區塊MB0之4個垂直交界上之濾波。該等2列係未應用水平交界之解塊濾波器之列(參照圖9)。根據如此構成，則水平交界上之濾波處理與垂直交界上之濾波要否判斷處理間之依存關係消除。
圖12係用以針對利用解塊濾波器24之水平交界上之濾波要否判斷處理中之參照像素進行說明之說明圖。參照圖12，再次顯示巨區塊MB0。解塊濾波器24將屬於各區塊之第4及第5行(C4及C5)之至少一方 之像素作為參照像素，判斷是否要進行此種巨區塊MB0之4個水平交界上之濾波。該等2行係未應用垂直交界之解塊濾波器之行(參照圖7或圖8)。根據如此構成，亦消除垂直交界上之濾波處理與水平交界上之濾波要否判斷處理間之依存關係。
如上方式消除處理間之依存關係之結果，可使在1個巨區塊內針對垂直交界及水平交界之濾波要否判斷處理並行化。又，亦可使巨區塊間之處理並行化。例如亦可並行進行輸入圖像內之所有巨區塊之垂直交界及水平交界上之濾波要否判斷處理。
圖13係用以針對可藉由解塊濾波器24實現之處理順序之第1例進行說明之說明圖。此處，作為一例，亦設為將具有32×32像素尺寸之圖像輸入於解塊濾波器。該輸入圖像包含各自具有16×16像素尺寸之4個巨區塊MB0~MB3。
參照圖13，可並行執行之處理分別顯示於各虛線框內。圖10之例中一連串處理需要16個處理步驟，相對於此，圖13之例中則將相同數量之處理縮減為3個步驟。即，在第1步驟中，並行執行所有巨區塊MB0~MB3之所有垂直交界及所有水平交界上之濾波要否判斷處理JV0,0~JV0,3及JH0,0~JH3,3。接著，在第2步驟中，並行執行所有巨區塊MB0~MB3之16個垂直交界上之濾波處理FV0,0~FV3,3。接著，在第3步驟中，並行執行所有巨區塊MB0~MB3之16個水平交界上之濾波處理FH0,0~FH3,3。另，第2步驟與第3步驟亦可順序顛倒。
圖13係藉由巨區塊間之處理並行化將並行度(並行執行之處理之多少)提高至最大限度之例，另一方面，如圖14之例所示，解塊濾波器24亦可實現每個巨區塊之處理。
圖14之例中，與圖10及圖13相同數量之處理縮減為12個處理步驟。即，在第1步驟中，並行執行巨區塊MB0之4個垂直交界及4個水平交界上之濾波要否判斷處理JV0,0~JV0,3及JH0,0~JH0,3。接著，在第2步 驟中，並行執行巨區塊MB0之4個垂直交界上之濾波處理FV0,0~FV0,3。接著，在第3步驟中，並行執行巨區塊MB1之4個垂直交界及4個水平交界上之濾波要否判斷處理JV1,0~JV1,3及JH1,0~JH1,3。接著，在第4步驟中，並行執行巨區塊MB1之4個垂直交界上之濾波處理FV1,0~FV1,3。接著，在第5步驟中，並行執行巨區塊MB0之4個水平交界上之濾波處理FH0,0~FH0,3。接著，在第6步驟中，並行執行巨區塊MB2之4個垂直交界及4個水平交界上之濾波要否判斷處理JV2,0~JV2,3及JH2,0~JH2,3。接著，在第7步驟中，並行執行巨區塊MB2之4個垂直交界上之濾波處理FV2,0~FV2,3。接著，在第8步驟中，並行執行巨區塊MB1之4個水平交界上之濾波處理FH1,0~FH1,3。接著，在第9步驟中，並行執行巨區塊MB3之4個垂直交界及4個水平交界上之濾波要否判斷處理JV3,0~JV3,3及JH3,0~JH3,3。接著，在第10步驟中，並行執行巨區塊MB3之4個垂直交界上之濾波處理FV3,0~FV3,3。接著，在第11步驟中，並行執行巨區塊MB2之4個水平交界上之濾波處理FH2,0~FH2,3。接著，在第12步驟中，並行執行巨區塊MB3之4個水平交界上之濾波處理FH3,0~FH3,3。此情形中，並行度雖然較圖13之例減少，但亦可以比現有方法更少數量之處理步驟執行輸入圖像全體之解塊濾波器24之處理。
(2)解塊濾波器之詳細構成
圖15係顯示實現上述並行處理之第1實施例之解塊濾波器24之詳細構成之一例之方塊圖。參照圖15，解塊濾波器24具有判斷區塊110、水平濾波區塊130、垂直濾波區塊140及並行化控制部150。
(2-1)判斷區塊
判斷區塊110包含複數個垂直交界判斷部112-1~112-n及複數個水平交界判斷部114-1~114-n。對各垂直交界判斷部112及各水平交界判斷部114供給向解塊濾波器24輸入之輸入圖像，及用以濾波要否判斷所使用之判斷資訊。
各垂直交界判斷部112使用屬於未應用如圖11所例示之水平交界之解塊濾波器的列之參照像素之像素值，判斷是否應對各垂直交界應用解塊濾波器。此處之參照像素之像素值係向解塊濾波器24輸入之輸入像素值。然後，各垂直交界判斷部112將表示各垂直交界之判斷結果之資訊(例如「1」表示應應用解塊濾波器之判斷結果之二值資訊)向水平濾波區塊130輸出。
各水平交界判斷部114使用屬於未應用如圖12所例示之垂直交界之解塊濾波器之行的參照像素之像素值，判斷是否應對各水平交界應用解塊濾波器。此處之參照像素之像素值亦為向解塊濾波器24輸入之輸入像素值。利用各水平交界判斷部114之判斷處理與利用各垂直交界判斷部112之判斷處理係並行進行。然後，各水平交界判斷部114將表示各水平交界上之判斷結果之資訊向垂直濾波區塊140輸出。
圖16係顯示各垂直交界判斷部112及各水平交界判斷部114之進而詳細構成之一例之方塊圖。參照圖16，各判斷部包含抽頭建構部121、運算部122、閾值比較部123、失真評估部124及濾波判斷部125。
抽頭建構部121從夾著輸入圖像內所關注之交界而鄰接之2個區塊之像素值取得參照像素之像素值，而建構用以判斷上述亮度成份之判斷條件B之抽頭(參照像素值集)。例如各區塊之尺寸為8×8像素之情形中，關注之交界為垂直交界時，抽頭建構部121由屬於左右2個區塊之第4及第5列之一方或雙方之像素值建構抽頭。又，關注之交界為水平交界時，抽頭建構部121由屬於上下2個區塊之第4及第5行之一方或雙方之像素值建構抽頭。運算部122將藉由抽頭建構部121建構之抽頭代入判斷條件B之判斷式之左側，算出與邊緣閾值β比較之邊緣值。閾值比較部123將藉由運算部122算出之值與邊緣判斷閾值β進行比較，將比較結果向濾波判斷部125輸出。
失真評估部124使用作為判斷資訊供給之模式資訊(MB模式)、轉換係數資訊及動態向量資訊，評估上述亮度成份之判斷條件A。然後，失真評估部124將評估結果向濾波判斷部125輸出。另，對於色差成份，僅能進行利用失真評估部124基於模式資訊之判斷條件A1之判斷。
濾波判斷部125基於從閾值比較部123輸入之判斷條件B之比較結果，與從失真評估部124輸入之判斷條件A之評估結果，判斷是否應對關注之交界應用解塊濾波器。然後，濾波判斷部125輸出表示判斷結果之資訊。
(2-2)水平濾波區塊
返回至圖15，繼續說明解塊濾波器24之構成。水平濾波區塊130包含複數個水平濾波部132-1~132-n。對各水平濾波部132供給輸入圖像及來自判斷區塊110之各垂直交界上之判斷結果。
各水平濾波部132在所對應之垂直交界判斷部112之判斷結果顯示應應用解塊濾波器之情形時，在所對應之垂直交界左右之像素上應用垂直交界之解塊濾波器。然後，各水平濾波部132將對於應用濾波器之像素為濾波後之像素值、對於其他像素為輸入像素之像素值向垂直濾波區塊140輸出。
(2-3)垂直濾波區塊
垂直濾波區塊140包含複數個垂直濾波部142-1~142-n。對各垂直濾波部142供給輸入圖像及來自判斷區塊110之各水平交界上之判斷結果。
各垂直濾波部142在所對應之水平交界判斷部114之判斷結果顯示應應用濾波器之情形時，在所對應之水平交界上下之像素上使用水平交界之解塊濾波器。然後，各垂直濾波部142對於應用濾波器之像素輸出濾波後之像素值、對於其他像素輸出從水平濾波區塊130供給之 像素值。來自各垂直濾波部142之輸出可構成來自解塊濾波器24之輸出圖像。
(2-4)並行化控制部
並行化控制部150控制判斷區塊110中之濾波要否判斷處理之並行度，及水平濾波區塊130及垂直濾波區塊140中之濾波處理之並行度。
例如並行化控制部150亦可基於輸入圖像之尺寸，控制各區塊之處理並行度。更具體言之，並行化控制部150在輸入圖像之尺寸相對較大之情形中，提高各區塊之處理並行度。藉此，可適當防止因根據圖像之尺寸而增加之處理量所造成之延遲或資料速率下降。又，例如並行化控制部150亦可基於序列參數集、圖片參數集或切片標頭內所含之參數，控制各區塊之處理並行度。藉此，可根據開發裝置之每個使用者之要求靈活設定並行度。例如亦可根據處理器之核心數量或軟體之執行緒數量等安裝環境之限制而設定並行度。
再者，本實施例中，巨區塊間之處理可並行化，意指無論圖像內之每個區塊之處理順序之設定為何，都不會影響最終輸出之結果。對此，並行化控制部150可對每個區塊控制判斷區塊110中之濾波要否判斷處理之順序，以及水平濾波區塊130及垂直濾波區塊140中之濾波處理之順序。
更具體言之，並行化控制部150亦可根據巨區塊間之濾波處理之依存關係而控制濾波處理之順序。例如現有方法中，欲安裝圖像內之每個切片之並行處理時，會有因夾著切片交界而鄰接之巨區塊間之處理之依存關係而引起處理延遲之情形。但本實施例中，並行化控制部150可比其他巨區塊先進行鄰接於切片交界之巨區塊之濾波處理。
例如圖17係顯示夾著切片交界而鄰接之8個巨區塊MB10~MB13及MB20~MB23。其中，巨區塊MB10~MB13屬於切片SL1。巨區塊MB20~MB23屬於切片SL2。該等巨區塊中，切片SL2之巨區塊MB20 之水平交界上之濾波處理依存於切片SL1之巨區塊MB12之垂直交界上之濾波處理。同樣，切片SL2之巨區塊MB21之水平交界上之濾波處理依存於切片SL1之巨區塊MB13之垂直交界上之濾波處理。
如此狀況下，如圖18之例所示，並行化控制部150例如比其他交界之處理優先執行切片SL1之濾波處理中巨區塊MB12及MB13之垂直交界上之濾波處理。其結果，於切片SL2之濾波處理中，可防止巨區塊MB20及MB21之水平交界上之濾波處理產生較大延遲。又，如圖19之例，即使是率先並行執行切片SL1所含之所有巨區塊之垂直交界上之濾波處理之情形，切片SL2之巨區塊MB20及MB21之水平交界上之濾波處理亦不會產生延遲。
[3-2.處理流程]
接著，使用圖20~圖22說明利用解塊濾波器進行之處理流程。
(1)第1案例
圖20係顯示利用解塊濾波器24之第1案例中之處理流程之一例之流程圖。第1案例係與並行度較大之圖13之例對應之案例。
參照圖20，首先，垂直交界判斷部112-1~112-n對輸入圖像內之複數個巨區塊所含之所有垂直交界並行地判斷濾波要否(步驟S102)。又，水平交界判斷部114-1~114-n對輸入圖像內之複數個巨區塊所含之所有水平交界並行判斷濾波要否(步驟S104)。該等步驟S102及步驟S104亦為並行進行。
接著，水平濾波部132-1~132-n對步驟S102中判斷為應應用解塊濾波器之所有垂直交界，並行應用解塊濾波器(步驟S110)。接著，垂直濾波部142-1~142-n對步驟S104中判斷為應應用解塊濾波器之所有水平交界並行應用解塊濾波器(步驟S120)。
(2)第2案例
圖21係顯示利用解塊濾波器24之第2案例之處理流程之一例之流 程圖。第2案例係與並行度較小之圖14之例對應之案例。
參照圖21，首先，垂直交界判斷部112-1~112-n對輸入圖像內之1個關注巨區塊所含之所有垂直交界並行判斷濾波要否(步驟S202)。又，水平交界判斷部114-1~114-n對該關注巨區塊所含之所有水平交界並行判斷濾波要否(步驟S204)。該等步驟S202及步驟S204亦為並行進行。
接著，水平濾波部132-1~132-n對步驟S202中判斷為應應用解塊濾波器之關注巨區塊內之垂直交界並行應用解塊濾波器(步驟S210)。
下一步驟S220之處理係以上一個迴圈之關注巨區塊為對象進行。對於最初之關注巨區塊，亦可跳過步驟S220之處理。垂直濾波部142-1~142-n對在上一個迴圈之步驟S204中判斷為應應用解塊濾波器之水平交界並行應用解塊濾波器(步驟S220)。
其後，若輸入圖像內有剩下之未處理之關注巨區塊之情形時，重複對新的關注巨區塊執行步驟S202~S220之處理(步驟S230)。
另一方面，如未剩下未處理之關注巨區塊之情形時，垂直濾波部142-1~142-n以最後一個迴圈之關注巨區塊為對象，對判斷為應應用解塊濾波器之水平交界並行應用解塊濾波器(步驟S240)。然後處理結束。
另，此處已針對以圖像單位及巨區塊單位使各個處理並行化之典型的2個案例進行說明，但該等2個案例僅係用以說明之例。例如亦可以特定數量(2個或4個等)之巨區塊、或排行於水平方向或垂直方向之一群區塊等之各種單位，使解塊濾波器24之處理並行化。
(3)濾波要否判斷處理
圖22係顯示相當於圖20之步驟S102及S104以及圖21之步驟S202及S204之濾波要否判斷處理之流程之一例之流程圖。
參照圖22，首先，失真評估部124基於模式資訊、轉換係數資訊 及動態向量資訊評估各交界之變形(步驟S130)。此處，評估為有變形之情形(判斷條件A為真之情形)時，處理向步驟S134進展。另一方面，評估為無變形之情形時，處理向步驟S140進展(步驟S132)。
在步驟S134中，基於藉由抽頭建構部121建構之參照像素之抽頭，藉由運算部122算出邊緣值(步驟S134)。然後，閾值比較部123將所算出之值與邊緣閾值β進行比較(步驟S136)。此處，邊緣值小於閾值β之情形(判斷條件B為真之情形)時，處理向步驟S138進展。另一方面，邊緣值不小於閾值β之情形時，處理向步驟S140進展。
在步驟S138中，濾波判斷部125判斷應對判斷對象之交界應用解塊濾波器(步驟S138)。另一方面，在步驟S140中，濾波判斷部125判斷不應對判斷對象之交界應用解塊濾波器(步驟S140)。
<4.第2實施例>
第1實施中，為針對某區塊進行濾波要否判斷處理，使用未藉由其他區塊之濾波處理更新之像素之像素值。相對於此，在本節說明之第2實施例中，設置保持向解塊濾波器輸入之輸入像素值之記憶體，藉此消除濾波要否判斷處理之限制，而可使用更多種判斷條件。
[4-1.解塊濾波器之構成例]
(1)各部之說明
圖23係顯示第2實施例之解塊濾波器24之詳細構成之一例之方塊圖。參照圖23，解塊濾波器24具有列記憶體208、判斷區塊210、水平濾波區塊130、垂直濾波區塊140及並行化控制部150。
列記憶體208記憶向解塊濾波器24輸入之輸入圖像之像素值。藉由列記憶體208記憶之像素值不藉由水平濾波區塊130及垂直濾波區塊140之濾波處理而被更新。藉由列記憶體208記憶之像素值在以下說明之利用各判斷區塊210內之各部分進行之濾波要否判斷處理中受參照。另，基於與解塊濾波器24之處理不同之目的而設於裝置內之記憶 體亦可作為列記憶體208再利用(共用)。
判斷區塊210包含複數個垂直交界判斷部212-1~212-n及複數個水平交界判斷部214-1~214-n。對各垂直交界判斷部212及各水平交界判斷部214供給由列記憶體208記憶之、向解塊濾波器24輸入之輸入像素之像素值，及用以判斷濾波要否所使用之判斷資訊。
各垂直交界判斷部212使用向解塊濾波器24輸入之輸入像素值，判斷是否應對各垂直交界應用解塊濾波器。然後，各垂直交界判斷部212將表示針對各垂直交界之判斷結果之資訊向水平濾波區塊130輸出。
各水平交界判斷部214亦使用向解塊濾波器24輸入之輸入像素值，判斷是否應對各水平交界應用解塊濾波器。利用各水平交界判斷部214之判斷處理與利用各垂直交界判斷部212之判斷處理係並行進行。然後，各水平交界判斷部214將表示各水平交界之判斷結果之資訊向垂直濾波區塊140輸出。
(2)各種判斷條件
本實施例中，各垂直交界判斷部212亦可如圖4所示之現有方法，參照區塊之第3及第6列之像素來判斷各區塊之垂直交界上之濾波要否。惟所參照之像素值係由列記憶體208記憶之、向解塊濾波器24輸入之輸入圖像之像素值。同樣的，各水平交界判斷部214亦可參照區塊之第3及第6行之像素，來判斷各區塊之水平交界上之濾波要否。此情形時，無需改變安裝於現有裝置之濾波要否判斷處理之判斷條件，即可容易實現本實施例之構成。
又，各垂直交界判斷部212在判斷時亦可參照區塊之3列以上之像素。同樣的，各水平交界判斷部214在判斷時亦可參照區塊之3行以上之像素。再者，各垂直交界判斷部212及各水平交界判斷部214亦可使用與現有方法不同之判斷條件式。以下，使用圖24~圖26分別說明 本實施例中可實現之判斷方法之6個例。
(2-1)第1例
圖24係用以分別說明判斷方法之第1及第2例之說明圖。第1及第2例中，於垂直交界上之濾波要否判斷處理(尤其亮度成份之判斷條件B之判斷)中，參照各區塊之第1至第8之所有列L1~L8之像素。於水平交界上之濾波要否判斷處理中，亦參照各區塊之第1至第8之所有行之像素。
第1例中，亮度成份之判斷條件可如下定義：
˙亮度成份(Luma)之判斷條件...條件A及條件B任一者皆為真則應用
-條件A：
(A1)區塊Ba或Bb為框內預測模式；(A2)區塊Ba或Bb具有非零之正交轉換係數；或(A3)｜MVAx-MVBx｜≧4或｜MVAy-MVBy｜≧4
-條件B：
iD0=｜p20-2p10+p00｜+｜q20-2q10+q00｜+｜p27-2p17+p07｜+｜q27-2q17+q07｜
iD1=｜p21-2p11+p01｜+｜q21-2q11+q01｜+｜p26-2p16+p06｜+｜q26-2q16+q06｜
iD2=｜p22-2p12+p02｜+｜q22-2q12+q02｜+｜p25-2p15+p05｜+｜q25-2q15+q05｜
iD3=｜p3-2p13+p03｜+｜q23-2q13+q03｜+｜p24-2p14+p04｜+｜q24-2q14+q04｜
iDave=(iDo+iD1+iD2+iD3)>>2
如上之情形中，iDave<β
色差成份之判斷條件亦可與已說明之現有方法相同。另，算出4 個判斷用參數iD0~iD3之平均值iDave時，亦可計算加權平均。
(2-2)第2例
第2例中，亮度成份之判斷條件B可如下定義：
-條件B：
iD0=｜p20-2p10+p00｜+｜q20-2q10+q00｜+｜p27-2p17+p07｜+｜q27-2q17+q07｜
iD1=｜p21-2p11+p01｜+｜q21-2q11+q01｜+｜p26-2p16+p06｜+｜q26-2q16+q06｜
iD2=｜p22-2p12+p02｜+｜q22-2q12+q02｜+｜p25-2p15+p05｜+｜q25-2q15+q05｜
iD3=｜p3-2p13+p03｜+｜q23-2q13+q03｜+｜p24-2p14+p04｜+｜q24-2q14+q04｜
如上之情形中，iD0<β且iD1<β且iD2<β且iD3<β
4個判斷用參數iD0~iD3之算出式與第1例相同。另，亦可不使用全部4個判斷用參數iD0~iD3，而使用其中至少3個、2個或1個低於邊緣判斷閾值β之條件。
(2-3)第3例
圖25係用以分別說明判斷方法之第3及第4例之說明圖。第3及第4例中，於垂直交界上之濾波要否判斷處理(尤其亮度成份之判斷條件B之判斷)中，參照各區塊之4列L1、L3、L6及L8之像素。於水平交界上之濾波要否判斷處理中，亦參照各區塊之4行像素。
第3例中，亮度成份之判斷條件可如下定義：
˙亮度成份(Luma)之判斷條件...條件A及條件B任一者皆為真則應用
-條件A：
(A1)區塊Ba或Bb為框內預測模式；(A2)區塊Ba或Bb具有非零之正交轉換係數；或(A3)｜MVAx-MVBx｜≧4或｜MVAy-MVBy｜≧4
-條件B：
iD0=｜p20-2p10+p00｜+｜q20-2q10+q00｜+｜p27-2p17+p07｜+｜q27-2q17+q07｜
iD2=｜p22-2p12+p02｜+｜q22-2q12+q02｜+｜p25-2p15+p05｜+｜q25-2q15+q05｜
iDave=(iD0+iD2)>>1
如上之情形中，iDave<β
色差成份之判斷條件亦可與已說明之現有方法相同。另，算出2個判斷用參數iD0及iD2之平均值iDave時，亦可計算加權平均。
(2-4)第4例
第4例中，亮度成份之判斷條件B可如下定義：
-條件B：
iD0=｜p20-2p10+p00｜+｜q20-2q10+q00｜+｜p27-2p17+p07｜+｜q27-2q17+q07｜
iD2=｜p22-2p12+p02｜+｜q22-2q12+q02｜+｜p25-2p15+p05｜+｜q25-2q15+q05｜
如上之情形中，iD0<β且iD2<β
2個判斷用參數iD0及iD2之算出式與第3例相同。另，亦可不使用非2個判斷用參數iD0及iD2雙方，而使用其中至少一方低於邊緣判斷閾值β之條件。
另，此處說明區塊之第1、第3、第6及第8列(或行)L1、L3、L6及L8為判斷時所參照之例，但亦可參照列或行之其他組合。
(2-5)第5例
圖26係用以分別說明判斷方法之第5及第6例之說明圖。第5及第6例中，於垂直交界上之濾波要否判斷處理中，參照各區塊之4列L1、L3、L5及L7之像素。於水平交界上之濾波要否判斷處理中亦參照各區塊之4行像素。
第5例中，亮度成份之判斷條件可如下定義：
．亮度成份(Luma)之判斷條件...條件A及條件B任一者皆為真則應用
-條件A：
(A1)區塊Ba或Bb為框內預測模式；(A2)區塊Ba或Bb具有非零之正交轉換係數；或(A3)｜MVAx-MVBx｜≧4或｜MVAy-MVBy｜≧4
-條件B：
iD0=｜p20-2p10+p00｜+｜q20-2q10+q00｜+｜p26-2p16+p06｜+｜q26-2q16+q06｜
iD2=｜p22-2p12+p02｜+｜q22-2q12+q02｜+｜p24-2p14+p04｜+｜q24-2q14+q04｜
iDave=(iD0+iD2)>>1
如上之情形中，iDave<β
色差成份之判斷條件亦可與已說明之現有方法相同。另，算出2個判斷用參數iD0及iD2之平均值iDave時，亦可計算加權平均。
(2-6)第6例
第6例中，亮度成份之判斷條件B可如下定義：
-條件B：
iD0=｜p20-2p10+p00｜+｜q20-2q10+q00｜+｜p26-2p16+p06｜+｜q26-2q16+q06｜
iD2=｜p22-2p12+p02｜+｜q22-2q12+q02｜+｜p24-2p14+p04｜+｜q24-2q14+q04｜
如上之情形中，iD0<β且iD2<β
2個判斷用參數iD0及iD2之算出式與第5例相同。另，亦可不使用非2個判斷用參數iD0及iD2雙方，而使用其中至少一方低於邊緣判斷閾值β之條件。
一般言之，判斷時所參照之列及行之數量越多，則判斷之正確性越提高。因此，參照8列及行之第1例及第2例中，可使先前不應應用解塊濾波器之區塊被濾波之可能性、及先前應應用解塊濾波器之區塊不被濾波之可能性最小化。其結果，可提高編碼及解碼之圖像之畫質。另一方面，若減少判斷時所參照之列及行之數量，則可降低處理成本。由於畫質與處理成本有取捨關係，因此判斷時所應參照之列及行之數量亦可根據裝置之用途或安裝之限制等而適當選擇。又，亦可適當選擇應參照之列之組合及行之組合。
又，如第1、第3及第5例所述，藉由將判斷用參數之平均值iDave與邊緣判斷閾值β進行比較，從而不受每個列或行之參數偏差之過度影響，可以區塊單位進行適當判斷。
[4-2.處理流程]
第2實施例中亦與第1實施例相同，解塊濾波器24可以不同之並行度動作。
即，並行度較大之第1案例中，垂直交界判斷部212-1~212-n針對輸入圖像內之複數個巨區塊中所含之所有垂直交界並行判斷濾波要否。又，水平交界判斷部214-1~214-n針對輸入圖像內之複數個巨區塊中所含之所有水平交界並行判斷濾波要否。該等垂直交界及水平交界之判斷處理亦為並行進行。其後，水平濾波部132-1~132-n及垂直 濾波部142-1~142-n針對判斷為應應用解塊濾波器之垂直交界及水平交界分別應用解塊濾波器(參照圖20)。
又，並行度較小之第2案例中，垂直交界判斷部212-1~212-n針對輸入圖像內之1個關注巨區塊中所含之所有所有垂直交界並行判斷濾波要否。又，水平交界判斷部214-1~214-n對該關注巨區塊中所含之所有水平交界並行判斷濾波要否。針對該等垂直交界及水平交界之判斷處理亦為並行進行。其後，水平濾波部132-1~132-n針對判斷為應應用解塊濾波器之垂直交界應用解塊濾波器。垂直濾波部142-1~142-n針對判斷為應應用解塊濾波器之水平交界應用解塊濾波器。對輸入圖像內之所有巨區塊重複如上之處理(參照圖21)。
另，該等2個案例僅係用以說明之例。第2實施例中亦可以特定數量(2個或4個等)之巨區塊，或排行於水平方向或垂直方向之一群區塊等各種單位，並行地進行利用解塊濾波器24之處理。又，第2實施例中亦與第1實施例相同，解塊濾波器24之處理之並行度及順序亦可藉由並行化控制部150控制。
[4-3.每個LCU之處理之例]
如上述，本說明書中說明之各種實施例之技術亦可作為基於HEVC之編碼單位(CU)之處理而實現。HEVC中，尺寸最大之編碼單位稱作LCU(Largest Coding Unit)，例如可選擇64×64像素之LCU。可選擇之最小CU之尺寸為8×8像素。於圖像之編碼及解碼時，通常以圖片(或切片)左上方之LCU為起點，按照光柵掃描之順序對每個LCU進行處理。因此本項中，針對如解塊濾波器24中之此種對每個LCU之處理例進行說明。
圖27係用以針對與上述第2實施例關聯之每個LCU之處理順序進行說明之說明圖。此處，設LCU之尺寸為16×16像素，CU之尺寸為8×8像素。
參照圖27，於左上方之第1階段中，進行至第n-1個LCU為止之各LCU之濾波結束。另，垂直交界上之濾波之對象像素以斜線表示，水平交界上之濾波之對象像素則為塗黑。
圖27之右上方之第2階段及左下方之第3階段之處理係以第n個LCU為對象之處理。首先，於第2階段之前，針對屬於第n個LCU之所有垂直交界及所有水平交界之濾波要否判斷處理，使用向解塊濾波器24輸入之輸入像素值而並行進行。接著，第2階段中，屬於第n號LCU之垂直交界中判斷為應應用解塊濾波器之垂直交界之濾波處理，使用向解塊濾波器24輸入之輸入像素值而並行進行。接著，屬於第n號LCU之水平交界中判斷為應應用解塊濾波器之水平交界之濾波處理，使用第2階段之處理後之像素值而並行進行。
其後，圖27右下之第4階段之處理係以第n+1個LCU為對象之處理。並行進行屬於第n+1個LCU之所有垂直交界及所有水平交界之濾波要否判斷處理後，在第4階段中，並行進行判斷為應應用解塊濾波器之垂直交界上之濾波處理。
另，此處，作為一例，將LCU之尺寸設為16×16像素，但LCU之尺寸亦可為32×32像素或64×64像素等。尤其若所選擇之LCU之尺寸越大，則屬於1個LCU之垂直交界及水平交界之數量越多，因此並行化之處理時間之短縮效果進而提高。
圖28係顯示利用解塊濾波器24進行之每個LCU之處理流程之一例之流程圖。
參照圖28，首先，垂直交界判斷部212-1~212-n對輸入圖像內之1個關注LCU中所含之所有垂直交界並行判斷濾波要否(步驟S252)。又，水平交界判斷部214-1~214-n對該關注LCU所含中之所有水平交界並行判斷濾波要否(步驟S254)。該等步驟S252及步驟S254亦為並行進行。
接著，水平濾波部132-1~132-n對步驟S252中判斷為應應用解塊濾波器之關注LCU內之垂直交界並行應用解塊濾波器(步驟S260)。
接著，垂直濾波部142-1~142-n對步驟S254中判斷為應應用解塊濾波器之關注LCU內之水平交界並行應用解塊濾波器(步驟S270)。
其後，若輸入圖像內有剩下之未處理之LCU之情形時，對新關注LCU重複步驟S252~S270之處理(步驟S280)。另一方面，如未剩下未處理之LCU之情形時，處理結束。
<5.第3實施例>
[5-1.概要]
第2實施例中，於垂直交界及水平交界雙方之濾波要否判斷處理中，藉由參照向解塊濾波器輸入之輸入像素值，消除該等濾波要否判斷處理間之依存關係，而能夠使判斷處理並行化。在本節說明之第3實施例中，亦可將第2實施例之想法應用於濾波處理。即，在對垂直交界及水平交界雙方之濾波處理中，亦濾波向解塊濾波器輸入之輸入像素值。
圖29係用以針對本實施例之概要進行說明之說明圖。圖29之左下方係顯示藉由解塊濾波器處理前之輸入像素(亦稱作重建像素)之圖形。本實施例中，向解塊濾波器輸入之輸入像素不僅在垂直交界及水平交界之濾波要否判斷處理中被參照，亦在垂直交界之濾波處理及水平交界之濾波處理雙方被參照。因此該等2個濾波處理間之依存關係得以消除。又，該等2個濾波處理係並行進行。
惟在針對垂直交界之濾波處理及針對水平交界之濾波處理中，有重複之像素值被更新之可能性。具有如此可能性之像素位置在圖29中以塗黑之像素表示。對此，本實施例之解塊濾波器對於藉由並行動作之2個濾波器而被重複更新之像素，從2個濾波器輸出計算1個輸出像素值。
[5-2.解塊濾波器之構成例]
圖30係顯示第3實施例之解塊濾波器24之詳細構成之一例之方塊圖。參照圖30，解塊濾波器24具有列記憶體208、判斷區塊210、水平濾波區塊330、垂直濾波區塊340、並行化控制部150及計算部360。判斷區塊210包含複數個垂直交界判斷部212-1~212-n及複數個水平交界判斷部214-1~214-n。各垂直交界判斷部212及各水平交界判斷部214亦可按照如第2實施例中例示之各種判斷條件來判斷各交界上之濾波要否。
水平濾波區塊330包含複數個水平濾波部332-1~332-n。對各水平濾波部332供給來自列記憶體208之輸入像素值及來自判斷區塊210之各垂直交界之判斷結果。
各水平濾波部332在所對應之垂直交界判斷部212之判斷結果顯示應應用濾波器之情形時，對所對應之垂直之交界左右之像素應用垂直交界之解塊濾波器。然後，各水平交界判斷部332對應於應用濾波器之像素將濾波後之像素值向計算部360輸出，對應於其他像素將輸入像素值向計算部360輸出。
垂直濾波部340包含複數個垂直濾波部342-1~342-n。對各垂直濾波部342供給來自列記憶體208之輸入像素值及來自判斷區塊210之各水平交界之判斷結果。
各垂直濾波部342在所對應之水平交界判斷部214之判斷結果顯示應應用解塊濾波器之情形時，對所對應之水平之交界上下之像素上應用水平交界之解塊濾波器。垂直濾波部342-1~342-n之濾波處理與水平濾波部332-1~332-n之濾波處理係並行進行。然後，各垂直濾波部342對應於應用濾波器之像素將濾波後之像素值向計算部360輸出，對應於其他像素將輸入像素值向計算部360輸出。
對計算部360並行供給來自水平濾波區塊330之輸出像素值與來 自垂直濾波區塊340之輸出像素值。再者，對計算部360供給利用垂直交界判斷部212及水平交界判斷部214之判斷結果。計算部360根據所供給之判斷結果，針對藉由水平濾波區塊330及垂直濾波區塊340雙方濾波之像素，基於來自水平濾波區塊330之濾波器輸出及來自垂直濾波區塊340之濾波器輸出而計算輸出像素值。
例如於本實施例中，計算部360針對重複被濾波之像素計算2個濾波器輸出之平均。藉由計算部360計算之2個濾波器輸出之平均可為單純平均。亦可取而代之，計算部360計算2個濾波器輸出之加權平均。計算部360例如可根據與各像素之垂直交界之距離及與水平交界之距離，決定各像素之加權平均之權重。
圖31係說明用以決定計算部360之加權平均之權重之說明圖。參照圖31，位於圖29所示之1個重複位置之關注像素PZ顯示為黑色。關注像素PZ與最近之垂直交界VZ間之距離DV為3像素。關注像素PZ與最近之水平交界HZ間之距離DH為2像素。距離DH小於距離DV。此情形時，計算部360可決定垂直交界VZ之解塊濾波器之輸出之權重大於水平交界HZ之解塊濾波器之輸出之權重。圖31之例中，垂直交界VZ之濾波器輸出Vout與水平交界HZ之濾波器輸出Hout間之權重比決定為2：3。
如由圖31理解，作為2個濾波器輸出之加權平均之計算結果，可對各關注像素獲得與應用具有沿著水平方向之濾波器抽頭與沿著垂直方向之濾波器抽頭之1個2維濾波器之情形相同之輸出像素值。藉此，在使垂直交界及水平交界之濾波處理並行化之情形中，亦可適當減少出現於垂直交界及水平交界雙方之區塊失真。作為其他實施例，解塊濾波器24亦可具有同時計算水平濾波、垂直濾波及加權平均之1個2維濾波器。惟該情形時會產生使濾波器係數對每個像素產生各種變化之必要性，因此安裝變得極其複雜。相對於此，若如第3實施例之方式 於並行執行2個1維濾波器後計算加權平均，則可有效利用現有的解塊濾波器之結構，且容易實現與2維濾波器實質相等之處理。
圖32係說明按照圖31之例決定之加權平均之權重之一例之說明圖。參照圖32，顯示位於垂直交界與水平交界之1個交點周圍之6×6=36個像素(上述重複位置之像素)。該等像素中，對於位於與垂直交界及水平交界相距等距離之像素，濾波器輸出Vout與濾波器輸出Hout間之權重比為1比1(或2比2或3比3)。對於靠近垂直交界之像素，決定為濾波器輸出Vout之權重大於濾波器輸出Hout之權重(例如像素P1之權重比為Vout：Hout=3：1)。另一方面，對於靠近水平交界之像素，決定為濾波器輸出Vout之權重小於濾波器輸出Hout之權重(例如像素P2之權重比為Vout：Hout=1：3)。
如此根據各像素與交界間之距離使加權平均之權重變化，從而可更有效抑制區塊失真，並改善畫質。
另，上述權重僅為一例。例如計算部360亦可取代各像素與交界間之距離(或除此以外)，根據對應於各像素之垂直交界及水平交界之邊緣強度，決定各像素之加權平均之權重。此處所謂之邊緣強度，例如可表現為藉由如圖16所示之運算部122算出之邊緣值之參數。此情形時，可決定為邊緣強之交界之濾波器輸出之權重大於邊緣弱之交界之濾波器輸出之權重。如此根據邊緣強度使加權平均之權重變化，可對強烈出現區塊失真之交界適當地提高解塊濾波器之效果。
計算部360針對藉由水平濾波區塊330及垂直濾波區塊340之任一者濾波之像素，選擇來自已實際進行濾波之區塊之輸出。又，計算部360針對未藉由水平濾波區塊330及垂直濾波區塊340之任一者濾波之像素，直接輸出向解塊濾波器24輸入之輸入像素值。將對應於濾波要否判斷結果之來自計算部360之輸出像素值顯示於圖33之表中。
[5-3.處理順序之例]
以下，說明本實施例中可藉由解塊濾波器24實現之處理順序之2例。此處，作為一例，設定將具有32×32像素尺寸之圖像輸入至解塊濾波器。該輸入圖像包含各自具有16×16像素尺寸之4個巨區塊MB0~MB3。
(1)第1例
首先，為進行比較，於圖34顯示有垂直交界之濾波處理與水平交界之濾波處理間之依存關係之情形之處理順序。另，圖34所示之處理順序與第1實施例關聯、且與圖13所示之處理順序實質相同。圖34中，在第1步驟中，並行執行4個巨區塊MB0~MB3之所有垂直交界及所有水平交界之濾波要否判斷處理JV0,0~JV0,3及JH0,0~JH0,3。接著，在第2步驟中，執行4個巨區塊MB0~MB3之16個垂直交界之濾波處理FV0,0~FV3,3。接著，在第3步驟中，執行4個巨區塊MB0~MB3之16個水平交界之濾波處理FH0,0~FH3,3。其後，在第4步驟(圖13中省略)中，使水平交界之濾波處理後之各像素值自解塊濾波器24儲存至輸出用記憶體。
圖35係顯示本實施例中實現之處理順序之第1例。圖35中，在第1步驟中，並行執行4個巨區塊MB0~MB3之所有垂直交界及所有水平交界之濾波要否判斷處理JV0,0~JV3,3及JH0,0~JH3,3。接著，在第2步驟中，並行執行4個巨區塊MB0~MB3之所有垂直交界及所有水平交界之濾波處理FV0,0~FV3,3及FH0,0~FH3,3(實際上僅濾波判斷為需要濾波之交界)。其後，在第3步驟中，使各像素值自解塊濾波器24儲存至輸出用記憶體。解塊此時，對於藉由水平濾波區塊330及垂直濾波區塊340雙方濾波之像素，可計算2個濾波器輸出之加權平均作為輸出像素值。
(2)第2例
上述第1例係將並行度提高至最大限度之例，另一方面，本實施例中，解塊濾波器24亦可實現每個巨區塊之處理。
首先，為進行比較，於圖36顯示有垂直交界之濾波處理與水平交界之濾波處理間之依存關係之情形之每個巨區塊之處理順序。另，圖36所示之處理順序與第1實施例關聯、且與圖14所示之處理順序實質相同。於圖14中基於說明之簡明度之觀點而省略圖示之儲存至輸出用記憶體之像素值之4個處理步驟(第6、第10、第14及第16步驟)在圖36中則有明示。圖36之處理以包含該等4個處理步驟之16個處理步驟構成。
圖37係顯示本實施例中實現之處理順序之第2例。圖37中，在第1步驟中，並行執行巨區塊MB0之4個垂直交界及4個水平交界之濾波要否判斷處理JV0,0~JV0,3及JH0,0~JH0,3。接著，在第2步驟中，並行執行巨區塊MB0之4個垂直交界及4個水平交界之濾波處理FV0,0~FV0,3及FH0,0~FH0,3。接著，在第3步驟中，使巨區塊MB0之各像素值自解塊濾波器24儲存至輸出用記憶體。此時，針對藉由2個濾波器重複濾波之像素，可計算2個濾波器輸出之加權平均作為輸出像素值。其後，於第4步驟至第6步驟中同樣處理巨區塊MB1，於第7步驟至第9步驟中同樣處理巨區塊MB2，於第10步驟至第12步驟中同樣處理巨區塊MB3。圖37之處理以比圖36之處理少之12個處理步驟構成。
如此，在第3實施例中，亦消除垂直交界之濾波處理與水平交界之濾波處理間之依存關係，因此與第1及第2實施形態相比，可以更少的處理步驟執行解塊濾波器24中之處理。另，濾波處理中僅需參照向解塊濾波器輸入之輸入像素之優點之一在於，無論濾波器抽頭如何構成，亦不會產生垂直交界之濾波處理與水平交界之濾波處理間之依存關係。因此，亦可由比現有方法多之像素來構成濾波器抽頭而謀求畫質之提高。例如在現有方法中，如與圖7關聯說明，於每個交界之各側使用3像素之濾波器抽頭。但在本實施例中，即使例如每個交界之各像素使用5像素以上之濾波器抽頭，亦不會在處理間產生依存關 係。又，即使縮小解塊濾波器之處理單位之區塊尺寸，亦不會在處理間產生依存關係。
於第3實施例中亦與第1及第2實施例相同，解塊濾波器24中之處理並行度及順序亦可藉由並行化控制部150控制。
[5-4.處理流程]
圖38係顯示第3實施例之解塊濾波器之處理流程之一例之流程圖。又，圖39係顯示圖38所示之像素值計算處理流程之一例之流程圖。
參照圖38，首先，垂直交界判斷部212-1~212-n對輸入圖像內(或巨區塊內)之所有垂直交界並行判斷濾波要否(步驟S302)。又，水平交界判斷部214-1~214-n對輸入圖像內(或巨區塊內)之所有水平交界並行判斷濾波要否(步驟S304)。該等步驟S302及步驟S304亦為並行進行。
接著，水平濾波部332-1~332-n對步驟S302中判斷為應應用解塊濾波器之所有垂直交界並行應用解塊濾波器(步驟S306)。又，垂直濾波部342-1~342-n對步驟S304中判斷為應應用解塊濾波器之所有水平交界並行應用解塊濾波器(步驟S308)。該等步驟S306及步驟S308亦為並行進行。
接著，藉由計算部360進行圖39所示之像素值計算處理(步驟S310)。參照圖39，步驟S314至步驟S326之處理係依每個處理對象之像素迴圈進行(步驟S312)。
於步驟S314中，計算部360判斷關注像素是否藉由垂直交界及水平交界上之2個濾波器雙方而被濾波(步驟S314)。此處，若關注像素藉由2個濾波器雙方而被濾波之情形時，處理向步驟S322進展。另一方面，若關注像素未藉由2個濾波器雙方而被濾波之情形時，處理向步驟S316進展。
於步驟S316中，計算部360判斷關注像素是否藉由垂直交界及水 平交界上之2個濾波器之任一方而被濾波(步驟S316)。此處，若關注像素藉由2個濾波器之任一方而被濾波之情形時，處理向步驟S320進展。另一方面，若關注像素未藉由任一方之濾波器而被濾波之情形時，處理向步驟S318進展。
在步驟S318中，計算部360取得向解塊濾波器24輸入之輸入像素值(步驟S318)。在步驟S320中，計算部360取得來自對關注像素實際進行濾波之濾波器之濾波器輸出(步驟S320)。
在步驟S322中，計算部360根據例如與關注像素之垂直交界之距離及與水平交界之距離，或對應於關注像素之垂直交界及水平交界之邊緣強度，決定用以對關注像素計算來自2個濾波器之濾波器輸出之加權平均之權重值(步驟S322)。然後，計算部360使用所決定之權重，計算來自2個濾波器之濾波器輸出之加權平均(步驟S324)。
其後，計算部360將於步驟S318或步驟S320中取得、或於步驟S324中計算之關注像素之像素值存儲於記憶體(步驟S326)。若已對處理對象之所有像素進行上述之處理，則圖38及圖39所示之一連串處理結束。
<6.對各種解碼器之應用>
本揭示之技術可應用於圖像之編碼及解碼相關之各種編解碼器。本節中，針對將本揭示之技術分別應用於多視點編解碼器及可擴展編解碼器之例進行說明。
[6-1.多視點編解碼器]
多視點編解碼器即所謂用以將多視點影像編碼及解碼之圖像編碼方式。圖40係用以針對多視點編解碼器進行說明之說明圖。參照圖40，顯示於3個視點分別攝影之3個視點之圖框之序列。對各視點賦予視點ID(view_id)。該等複數個視點中任一視點指定為基本視點(base view)。基本視點以外之視點稱作非基本視點。圖40之例中，視點ID 為「0」之視點為基本視點，視點ID為「1」或「2」之2個視點為非基本視點。編碼該等多視點之圖像資料時，藉由基於針對基本視點之圖框之編碼資訊編碼非基本視點之圖框，可使作為全體之編碼串流之資料尺寸被壓縮。
於按照上述多視點編解碼器之編碼處理及解碼處理中，可對各視點應用解塊濾波器。對各視點應用解塊濾波器時，根據本揭示之技術，亦可使各視點中之垂直區塊交界及水平區塊交界之濾波要否判斷處理並行化。再者，亦可使各視點中之濾波要否判斷處理與濾波處理並行化。再者，用以控制濾波要否判斷處理或濾波處理之參數(例如上文中第27頁末段至第28頁第一段之段落中說明之參數)亦可依每個視點設定。又，基本視點中設定之參數亦可在非基本視點中再利用。
又，亦可遍及複數個視點使濾波要否判斷處理或濾波處理並行化。用以控制濾波要否判斷處理或濾波處理之參數(例如上文中第27頁末段至第28頁第一段之段落中說明之參數)亦可遍及複數個視點共用化。又，亦可追加指定表示是否遍及複數個視點參數共用化之圖表。
圖41係用以說明應用於上述圖像編碼處理之多視點編解碼器之說明圖。參照圖41，顯示作為一例之多視點編碼裝置710之構成。多視點編碼裝置710具備第1編碼部720、第2編碼部730及多工部740。
第1編碼部720編碼基本視點圖像而生成基本視點之編碼串流。第2編碼部730編碼非基本視點圖像而生成非基本視點之編碼串流。多工部740將藉由第1編碼部720生成之基本視點之編碼串流與藉由第2編碼部730生成之1個以上非基本視點之編碼串流多工處理，而生成多視點之多工串流。
圖41所例示之第1編碼部720及第2編碼部730具有與上述實施形態之圖像編碼裝置10相同之構成。藉此，向各視點應用解塊濾波器 時，可使垂直區塊交界及水平區塊交界之濾波要否判斷處理並行化，或使濾波要否判斷處理與濾波處理並行化。控制該等處理之參數可插入各視點編碼串流之標頭區域，或亦可插入多工串流內之共用標頭區域。
圖42係用以說明應用上述圖像解碼處理之多視點編解碼器之說明圖。參照圖42，顯示作為一例之多視點解碼裝置760之構成。多視點解碼裝置760具備反向多工部770、第1解碼部780及第2解碼部790。
反向多工部770將多視點之多工串流反向多工為基本視點之編碼串流及1個以上非基本視點之編碼串流。第1解碼部780從基本視點之編碼串流解碼基本視點圖像。第2解碼部730從非基本視點之編碼串流解碼非基本視點圖像。
圖42所例示之第1解碼部780及第2解碼部790具有與上述實施形態之圖像解碼裝置60相同之構成。藉此，向各視點應用解塊濾波器時，可使垂直區塊交界及水平區塊交界之濾波要否判斷處理並行化，或使濾波要否判斷處理與濾波處理並行化。控制該等處理之參數可從各視點之編碼串流之標頭區域取得，或亦可從多工串流內之共用標頭區域取得。
[6-2.可擴展編解碼器]
可擴展編解碼器即所謂用以實現階層編碼之圖像編碼方式。圖43係用以針對可擴展編解碼器進行說明之說明圖。參照圖43，顯示空間解像度、時間解像度或畫質不同之3層圖框之序列。對各層賦予層ID(layer_id)。該等複數層中解像度(或畫質)最低之層係基本層(base layer)。基本層以外之層稱作增強層。圖43之例中，層ID為「0」之層係基本層，層ID為「1」或「2」之2層係增強層。編碼該等多層圖像資料時，藉由基於針對基本層之圖框之編碼資訊而編碼增強層之圖框，可使作為全體之編碼串流之資料尺寸被壓縮。
於按照上述可擴展編解碼器之編碼處理及解碼處理中，可對各層應用解塊濾波器。對各層應用解塊濾波器時，根據本揭示之技術，亦可使各層中之垂直模塊區塊交界及水平模塊區塊交界之濾波要否判斷處理並行化。再者，亦可使各層中之濾波要否判斷處理與濾波處理並行化。再者，用以控制濾波要否判斷處理或濾波處理之參數(例如上文中第27頁末段至第28頁第一段之段落中說明之參數)亦可依每層設定。又，基本層中設定之參數亦可在增強層中再利用。
又，亦可遍及複數個層使濾波要否判斷處理或濾波處理並行化。用以控制濾波要否判斷處理或濾波處理之參數(例如上文中第27頁末段至第28頁第一段之段落中說明之參數)亦可遍及複數個層共用化。又，亦可追加指定表示是否遍及複數個層參數共用化之圖。
圖44係用以說明應用於上述圖像編碼處理之可擴展編解碼器之說明圖。參照圖44，顯示作為一例之可伸縮編碼裝置810之構成。可伸縮編碼裝置810具備第1編碼部820、第2編碼部830及多工部840。
第1編碼部820編碼基本層圖像而生成基本層之編碼串流。第2編碼部編碼增強層圖像而生成增強層之編碼串流。多工部840將藉由第1編碼部820生成之基本層之編碼串流，與藉由第2編碼部830生成之1個以上增強層之編碼串流多工處理，而生成多視點之多工串流。
圖44所例示之第1編碼部820及第2編碼部830具有與上述實施形態之圖像編碼裝置10相同之構成。藉此，對各層應用解塊濾波器時，可使垂直區塊交界及水平區塊交界之濾波要否判斷處理並行化，或可使濾波要否處理與濾波處理並行化。控制該等處理之參數可插入各層之編碼串流之標頭區域，或亦可插入多工串流內之共用標頭區域。
圖45係用以說明應用於上述圖像解碼處理之可擴展編解碼器之說明圖。參照圖45，顯示作為一例之可伸縮解碼裝置860之構成。可伸縮解碼裝置860具備反向多工部870、第1解碼部880及第2解碼部 890。
反向多工部870將多層多工串流反向多工為基本層之編碼串流及1個以上的增強層之編碼串流。第1解碼部880從基本層之編碼串流解碼基本層圖像。第2解碼部890從增強層之編碼串流解碼增強層之圖像。
圖45所例示之第1解碼部880及第2解碼部890具有與上述實施形態之圖像解碼60相同之構成。藉此，對各層應用解塊濾波器時，可使垂直區塊交界及水平區塊交界之濾波要否判斷處理並行化，或可使濾波要否判斷處理與濾波處理並行化。控制該等處理之參數可從各層之編碼串流之標頭區域取得，或亦可從多工串流內之共用標頭區域取得。
<7.應用例>
上述實施形態之圖像編碼裝置10及圖像解碼裝置60可應用於衛星廣播、有線電視等之有線廣播、網路上之配信、及利用手機通信向終端機進行配信等之傳送器或接收器；對光碟、磁碟及快閃記憶體等之媒體記錄圖像之記錄裝置；或從該等記憶媒體播放圖像之播放裝置等之各種電子機器中。以下針對4個應用例進行說明。
[7-1.第1應用例]
圖46係顯示應用上述實施形態之電視機裝置之概要構成之一例。電視機裝置900具備天線901、調諧器902、多工解訊器903、解碼器904、影像信號處理部905、顯示部906、音頻信號處理部907、揚聲器908、外部介面909、控制部910、使用者介面911、及匯流排912。
調諧器902從經由天線901接收之發送信號擷取期望之頻道之信號，並解碼所擷取之信號。然後，調諧器902將藉由解碼所得之編碼位元串流向多工解訊器903輸出。即，調諧器902具有接收圖像經編碼之編碼串流之作為電視機裝置900中之傳送機構之功能。
多工解訊器903從編碼串流分離視聽對象之節目之影像串流及音頻串流，將所分離之各串流向解碼器904輸出。又，多工解訊器903從編碼位元串流中擷取EPG(Electronic Program Guide：電子節目表選單)等輔助資料，將所擷取之資料供給至控制部910。另，多工解訊器903在編碼位元串流經擾碼之情形下亦可進行解擾碼。
解碼器904將從多工解訊器903輸入之影像串流及音頻串流解碼。然後，解碼器904將藉由解碼處理所生成之影像資料向影像信號處理部905輸出。又，解碼器904將藉由解碼處理所生成之音頻資料向音頻信號處理部907輸出。
影像信號處理部905播放從解碼器904輸入之影像資料，使影像顯示於顯示部906。又，影像信號處理部905亦可將經由網路供給之應用畫面顯示於顯示部906。又，影像信號處理部905亦可對影像資料根據設定進行例如雜訊去除等追加處理。再者，影像信號處理部905亦可生成例如選單選單、按鈕或游標游標等GUI(Graphical User Interface：圖形使用者介面)之圖像，且將所生成之圖像與輸出圖像重疊。
顯示部906藉由從影像信號處理部905供給之驅動信號予以驅動，於顯示器(例如液晶顯示器、電漿顯示器或OLED等)之影像面上顯示影像或圖像。
音頻信號處理部907對從解碼器904輸入之音頻資料進行D/A轉換及放大等播放處理，並從揚聲器908輸出音頻。又，音頻信號處理部907亦可對音頻資料進行雜訊去除等追加處理。
外部介面909係用以連接電視機裝置900與外部機器或網路之介面。例如經由外部介面909接受之影像串或音頻串亦可藉由解碼器904解碼。即，外部介面909亦具有接收圖像經編碼之編碼串流之作為電視機裝置900中之傳送機構之作用。
控制部910具有CPU(Central Processing Unit：中央處理單元)等處理器，以及RAM(Random Access Memory：隨機存取記憶體)及ROM(Read Only Memory：唯讀記憶體)等記憶體。記憶體記憶由CPU執行之程式、程式資料、EPG資料及經由網路取得之資料等。藉由記憶體記憶之程式例如在電視機裝置900起動時藉由CPU讀取並執行。CPU藉由執行程式並根據例如從使用者介面911輸入之操作信號而控制電視機裝置900之動作。
使用者介面911與控制部910連接。使用者介面911例如具有使用者用以操作電視機裝置900之按鈕及開關、以及遠端控制信號之接收部等。使用者介面911經由該等構成要素檢測使用者之操作並生成操作信號，將所生成之操作信號向控制部910輸出。
匯流排912將調諧器902、多工解訊器903、解碼器904、影像信號處理部905、音頻信號處理部907、外部介面909及控制部910相互連接。
如此構成之電視機裝置900中，解碼器904具有上述實施形態之圖像解碼裝置60之功能。藉此，在電視機裝置900中進行圖像解碼時，可提高解塊濾波器之處理並行度而使處理高速化。
[7-2.第2應用例]
圖47係顯示應用上述實施形態之手機之概要構成之一例。手機920具備天線921、通信部922、音頻編解碼器923、揚聲器924、麥克風925、相機部926、圖像處理部927、解多工部928、記錄播放部929、顯示部930、控制部931、操作部932、及匯流排933。
天線921與通信部922連接。揚聲器924及麥克風925與音頻編解碼器923連接。操作部932與控制部931連接。匯流排933將通信部922、音頻編解碼器923、相機部926、圖像處理部927、解多工部928、記錄播放部929、顯示部930、及控制部931相互連接。
手機920以包含音頻通話模式、資料通信模式、攝影模式及電視電話模式之各種動作模式，進行音頻信號之收發、電子郵件或圖像資料之收發、圖像之攝像、及資料之記錄等動作。
於音頻通話模式下，藉由麥克風925生成之類比音頻信號被供給至音頻編解碼器923。音頻編解碼器923將類比音頻信號轉換成音頻資料，將經轉換之音頻資料進行A/D轉換並壓縮。然後，音頻編解碼器923將壓縮後之音頻資料向通信部922輸出。通信部922將音頻資料編碼及調變，生成發送信號。然後，通信部922將所生成之發送信號經由天線921向基地台(未圖示)發送。又，通信部922將經由天線921接收之無線信號放大及頻率轉換，取得接收信號。然後，通信部922將接收信號解調及解碼而生成音頻資料，將所生成之音頻資料向音頻編解碼器923輸出。音頻編編解碼器923將音頻資料進行解壓縮及D/A轉換，生成類比音頻信號。然後，音頻編解碼器923將所生成之音頻信號供給至揚聲器924並輸出音頻。
又，於資料通信模式下，例如控制部931根據經由操作部932之使用者之操作，生成構成電子郵件之文字資料。又，控制部931使文字顯示於顯示部930。又，控制部931根據經由操作部932之來自使用者之發送指示，生成電子郵件資料，將所生成之電子郵件資料向通信部922輸出。通信部922將電子郵件資料編碼及調變，生成發送信號。然後，通信部922將所生成之發送信號經由天線921向基地台(未圖示)發送。又，通信部922將經由天線921接收之無線信號放大及頻率轉換，取得接收信號。然後，通信部922將接收信號解調及解碼而復原電子郵件資料，將所復原之電子郵件資料向控制部931輸出。控制部931使電子郵件之內容顯示於顯示部930，且使電子郵件資料記憶於記憶播放部929之記憶媒體中。
記錄播放部929具有可讀寫之任意記憶媒體。例如記憶媒體可為 RAM或快閃記憶體等內藏型記憶媒體，亦可為硬碟、磁碟、磁光碟、光碟、USB記憶體、或記憶卡等外部安裝型記憶體媒體。
又，於攝影模式下，例如相機部926拍攝被攝體並生成圖像資料，將所生成之圖像資料向圖像處理部927輸出。圖像處理部927將從相機部926輸入之圖像資料編碼，並使編碼串流記憶於記錄播放部929之記憶媒體內。
又，於電視電話模式下，例如解多工部928使藉由圖像處理部927編碼之影像串流，與從音頻編解碼器923輸入之音頻串流多工處理，將經多工處理之串流向通信部922輸出。通信部922將串流編碼及調變，生成發送信號。然後，通信部922將所生成之發送信號經由天線921向基地台(未圖示)發送。又，通信部922將經由天線921接收之無線信號放大及頻率轉換，取得接收信號。該等發送信號及接收信號中可包含編碼位元串流。然後，通信部922將接收信號解調及解碼，將串復原，將所復原之串向解多工部928輸出。解多工部928從所輸入之串流分離影像串流及音頻串流，將影像串流向圖像處理部927輸出，將音頻串流向音頻編解碼器923輸出。圖像處理部927解碼影像串流，生成影像資料。影像資料被供給至顯示部930，藉由顯示部930而顯示一連串圖像。音頻編解碼器923將音頻串流解壓縮及D/A轉換，生成類比音頻信號。然後，音頻編解碼器923將所生成之音頻信號供給至揚聲器924並輸出音頻。
如此構成之手機920中，圖像處理部927具有上述實施形態之圖像編碼裝置10及圖像解碼裝置60之功能。藉此，於手機920中進行圖像編碼及解碼時，可提高解塊濾波器之處理並行度且使處理高速化。
[7-3.第3應用例]
圖48係顯示應用上述實施形態之記錄播放裝置之概要構成之一例。記錄播放裝置940例如將所接收之廣播節目之音頻資料及影像資 料編碼並記錄於記錄媒體。又，記錄播放裝置940例如亦可將從其他裝置獲得之音頻資料及影像資料編碼並記錄於記錄媒體。又，記錄播放裝置940例如根據使用者之指示，在監視器及揚聲器上播放記錄於記錄媒體之資料。此時，記錄播放裝置940解碼音頻資料及影像資料。
記錄播放裝置940具備調諧器941、外部介面942、編碼器943、HDD(Hard Disk Drive：硬碟機)944、磁碟驅動器945、選擇器946、解碼器947、OSD(On-Screen Displsy，螢幕顯示)948、控制部949、及使用者介面950。
調諧器941從經由天線(未圖示)接收之廣播信號中擷取期望頻道之信號，並解碼所擷取之信號。然後，調諧器941將藉由解碼所得之編碼位元串流向選擇器946輸出。即，調諧器941具有作為記錄播放裝置940中之傳送機構之作用。
外部介面942係用以連接記錄播放裝置940與外部機器或網路之介面。外部介面942例如亦可為IEEE1394介面、網路介面、USB介面、或快閃記憶體介面等。例如，經由外部介面942接收之影像資料及音頻資料被輸入至編碼器943。即，外部介面942具有作為記錄播放裝置940中之傳送機構之作用。
編碼器943在從外部介面942輸入之影像資料及音頻資料未被編碼之情形時，將影像資料及音頻資料編碼。然後，編碼器943將編碼位元串流向選擇器946輸出。
HDD944將影像及音頻等內容資料經壓縮之編碼位元串流、各種程式及其他資料記錄於內部之硬碟中。又，HDD944在影像及音頻播放時，從硬碟讀取該等資料。
磁碟驅動器945向所安裝之記錄媒體進行資料之記錄及讀取。安裝於磁碟驅動器945之記錄媒體亦可為例如DVD磁碟(DVD-Video、 DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray(註冊商標)磁碟等。
選擇器946在影像及音頻之記錄時選擇從調諧器941或編碼器943輸入之編碼位元串流，將所選擇之編碼位元串流向HDD944或磁碟驅動器945輸出。又，選擇器946在影像及音頻之播放時將從HDD944或磁碟驅動器945輸入之編碼位元串流向解碼器947輸出。
解碼器947解碼編碼位元串流，生成影像資料及音頻資料。然後，解碼器947將所生成之影像資料向OSD948輸出。又，解碼器904將所生成之音頻資料向外部之揚聲器輸出。
OSD948播放從解碼器947輸入之影像資料並顯示影像。又，OSD948亦可使例如選單、按鈕或游標等之GUI之圖像與所顯示之影像重疊。
控制部949具有CPU等處理器、以及RAM及ROM等記憶體。記憶體記憶由CPU執行之程式、以及程式資料等。藉由記憶體記憶之程式例如在記錄播放裝置940起動時藉由CPU讀取並執行。CPU藉由執行程式而例如根據從使用者介面950輸入之操作信號來控制記錄播放裝置940之動作。
使用者介面950與控制部949連接。使用者介面950例如具有使用者用以操作記錄播放裝置940之按鈕及開關，以及遠端控制信號之接收部等。使用者介面950經由該等構成要素檢測使用者之操作並生成操作信號，將所生成之操作信號向控制部949輸出。
如此構成之記錄播放裝置940中，編碼器943具有上述實施形態之圖像編碼裝置10之功能。又，解碼器947具有上述實施形態之圖像解碼裝置60之功能。藉此，在記錄播放裝置940中進行圖像之編碼及解碼時，可提高解塊濾波器之處理並行度且使處理高速化。
[7-4.第4應用例]
圖49係顯示應用上述實施形態之攝像裝置之概要構成之一例。攝像裝置960拍攝被攝體而生成圖像，將圖像資料編碼並記錄於記錄媒體中。
攝像裝置960具備光學區塊961、攝像部962、信號處理部963、圖像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動器968、OSD969、控制部970、使用者介面971、及匯流排972。
光學區塊961與攝像部962連接。攝像部962與信號處理部963連接。顯示部965與圖像處理部964連接。使用者介面971與控制部970連接。匯流排972將圖像處理部964、外部介面966、記憶體967、媒體驅動器968、OSD969、及控制部970相互連接。
光學區塊961具有焦距透鏡及光圈機構等。光學區塊961將被攝體之光學像成像於攝像部962之攝像面上。攝像部962具有CCD或CMOS等圖像感測器，藉由光電轉換將成像於攝像面之光學像轉換成作為電信號之圖像信號。然後，攝像部962將圖像信號向信號處理部963輸出。
信號處理部963對從攝像部962輸入之圖像信號進行過度曝光修正、伽馬修正、顏色修正等各種相機信號處理。信號處理部963將相機信號處理後之圖像資料向圖像處理部964輸出。
圖像處理部964將從信號處理部963輸入之圖像資料編碼，生成編碼資料。然後，圖像處理部964將所生成之編碼資料向外部介面966或媒體驅動器968輸出。又，圖像處理部964將從外部介面966或媒體驅動器968輸入之編碼資料解碼，生成圖像資料。然後，圖像處理部964將所生成之圖像資料向顯示部965輸出。又，圖像處理部964亦可將從信號處理部963輸入之圖像資料向顯示部965輸出並顯示圖像。又，圖像處理部964亦可將從OSD969取得之顯示用資料與向顯示部965輸出之圖像重疊。
OSD969例如生成選單、按鈕或游標等GUI之圖像，將所生成之圖像向圖像處理部964輸出。
外部介面966例如作為USB輸出入端子而構成。外部介面966例如在圖像印刷時連接攝像裝置960與印表機。又，於必要時在外部介面966上連接驅動器。於驅動器上安裝例如磁碟或光碟等可卸除式媒體，從可卸除式媒體讀取之程式可安裝於攝像裝置960上。再者，外部介面966亦可作為連接於LAN或網際網路等網路之網路介面構成。即，外部介面966具有作為攝像裝置960中之傳送機構之作用。
安裝於媒體驅動器968之記錄媒體例如亦可為磁碟、磁光碟、光碟、或半導體記憶體體等可讀寫之任意之可卸除式媒體。又，亦可於媒體驅動器968上固定安裝記錄媒體，構成例如內建式硬碟或SSD(Solid State Drive：固態磁碟機)之非可移動式記憶部。
控制部970具有CPU等之處理器，以及RAM及ROM等記憶體。記憶體記憶由CPU執行之程式以及程式資料等。藉由記憶體記憶之程式例如在攝像裝置960起動時藉由CPU讀取並執行。CPU藉由執行程式而例如根據從使用者介面971輸入之操作信號控制攝像裝置960之動作。
使用者介面971與控制部970連接。使用者介面971例如具有使用者用以操作攝像裝置960之按鈕及開關等。使用者介面971經由該等構成要素檢測使用者之操作而生成操作信號，將所生成之操作信號向控制部970輸出。
如此構成之攝像裝置960中，圖像處理部964具有上述實施形態之圖像編碼裝置10及圖像解碼裝置60之功能。藉此，在攝像裝置960中進行圖像編碼及解碼時，可提高解塊濾波器之處理並行度且使處理高速化。
<8.總結>
至此為止，已使用圖1~圖49針對一實施形態之圖像編碼裝置10及圖像解碼裝置60之解塊濾波器之3個實施例進行詳細說明。根據該等3個實施例，垂直交界上之解塊濾波器之應用要否判斷及水平交界上之解塊濾波器之應用要否判斷，皆使用向解塊濾波器輸入之輸入像素值進行。因此，可不依存於濾波處理之結果，而並行執行該等判斷處理。又，亦可消除巨區塊間之處理之依存關係，使對複數個巨區塊之處理並行化。其結果，可避免起因於解塊濾波器之龐大處理量所造成之延遲或資料速率之下降，而使處理高速化。又，亦可因應圖像之尺寸或安裝環境之限制等各種條件，而靈活設定解塊濾波器之處理之並行度及順序。
又，根據第1實施例，用以對垂直交界之解塊濾波器之應用要否之判斷所使用之像素值，屬於不應用水平交界之解塊濾波器之列之像素之像素值。用以對水平交界之解塊濾波器之應用要否判斷所使用之像素值，屬於不應用垂直交界之解塊濾波器之列之像素之像素值。即，用以對某區塊之濾波進行要否判斷處理所使用之像素值，不會被其他區塊之濾波處理更新。因此，在某區塊之濾波要否判斷處理前執行其他區塊之濾波處理之情形中，亦無需將向解塊濾波器輸入之輸入像素值保持於另外的記憶體上。因此，可節約裝置安裝所需要之硬體之成本。
又，根據第2實施例，於濾波處理中未被更新之記憶體內記憶向解塊濾波器輸入之輸入像素值，在濾波要否判斷處理中參照該輸入像素值。此情形時，由於不會對濾波要否判斷處理中應參照之像素位置產生限制，因此可因應各種目的(例如濾波要否之更正確之判斷，或以更少處理成本之判斷等)而靈活使用判斷條件。
又，根據第3實施例，於垂直交界及水平交界上之濾波處理雙方中，濾波向解塊濾波器輸入之輸入像素。根據該構成，亦可使垂直交 界及水平交界上之濾波處理互相並行化。藉此，可使解塊濾波器中之處理進一步高速化。又，對於藉由並行執行之2個濾波處理雙方所更新之像素，基於2個濾波器輸出計算輸出像素值。藉此，即使在使上述2個濾波處理並行化之情形中，亦可適當減少出現於垂直交界及水平交界雙方之區塊失真。又，輸出像素值可作為2個濾波器輸出之加權平均計算而得。藉此，亦可提高解塊濾波器之區塊失真之去除效果，進而提高畫質。
另，本說明書中，主要說明將垂直交界上之濾波處理比水平交界上之濾波處理先進行之例，但在先進行水平交界上之濾波處理之情形下，亦可同等享受本揭示之技術之上述效果。又，解塊濾波器之處理單位之尺寸或巨區塊之尺寸不限於本說明書中所說明之例，亦可為其他尺寸。又，作為方法之一，若省略濾波要否判斷處理本身，亦可使對複數個垂直交界及複數個水平交界之解塊濾波器之應用並行化。
又，將用以使解塊濾波器之處理並行化所使用自資訊從編碼側向解碼側傳送之方法，不限於將該等資訊多工處理為編碼串流之標頭之方法。例如，該等資訊亦可不多工處理為編碼位元串流，而作為與編碼位元串流相關聯之個別資料予以傳送或記錄。此處，「關聯」之用語意指可將位元串流中所含之圖像(亦可為切片或區塊等之圖像之一部分)與對應於該圖像之資訊在解碼時加以連結。即，資訊亦可在與圖像(或位元串流)不同之傳送路徑上傳送。又，資訊亦可記錄於與圖像(或位元串流)不同之記錄媒體(或同一記錄媒體之其他記錄區域)中。再者，資訊與圖像(或位元串流)例如亦可以複數圖框、1圖框或圖框內之一部分等任意之單位互相關聯。
以上已一面參照附加圖式針對本揭示之較佳實施形態詳細說明，但本揭示之技術範圍不限於上述例。只要是具有本揭示之技術領域中之一般知識者，當得在申請專利範圍所記載之技術思想範疇內設 想出各種變更例或修正例。應瞭解該等變更及修改當然屬於本揭示之技術範圍內者。
另，本說明書中，將垂直交界上之濾波處理表現為「水平濾波」，將水平交界上之濾波處理表現為「垂直濾波」。一般言之，垂直交界上之濾波處理之濾波器抽頭沿著水平方向排行，水平交界上之濾波處理之濾波器抽頭沿著垂直方向排行。因此採用如上述之濾波處理之稱呼。
24‧‧‧解塊濾波器
110‧‧‧判斷區塊
112-1‧‧‧垂直交界判斷部
112-n‧‧‧垂直交界判斷部
114-1‧‧‧水平交界判斷部
114-n‧‧‧水平交界判斷部
130‧‧‧水平濾波區塊
132-1‧‧‧水平濾波部
132-n‧‧‧水平濾波部
140‧‧‧垂直濾波區塊
142-1‧‧‧垂直濾波部
142-n‧‧‧垂直濾波部
150‧‧‧並行化控制部

Claims (16)

  1. 一種圖像處理裝置，其包含：解碼部，其將編碼串流進行解碼而產生圖像；水平判斷部，其係將判斷對於上述圖像之8x8區塊之垂直區塊交界是否適用水平濾波器之水平濾波判斷跨於複數之垂直區塊交界來進行者；及垂直判斷部，其係將判斷對於上述圖像之8x8區塊之水平區塊交界是否適用垂直濾波器之垂直濾波判斷跨於複數之水平區塊交界來進行者。
  2. 如請求項1之圖像處理裝置，其中上述水平判斷部係對上述圖像之最大編碼單位中全部的垂直區塊交界進行上述水平濾波判斷；且上述垂直判斷部係對上述圖像之最大編碼單位中全部的水平區塊交界進行上述垂直濾波判斷。
  3. 如請求項2之圖像處理裝置，其中上述垂直判斷部係於藉由上述水平判斷部對上述圖像之最大編碼單位中全部的垂直區塊交界進行了上述水平濾波判斷後，對上述圖像之最大編碼單位中全部的水平區塊交界進行上述垂直濾波判斷。
  4. 如請求項1之圖像處理裝置，其中上述水平判斷部係跨於複數之垂直區塊交界而並行地進行上述水平濾波判斷。
  5. 如請求項4之圖像處理裝置，其中上述水平判斷部係不依存對其他垂直區塊交界之水平濾波判斷地進行上述水平濾波判斷。
  6. 如請求項5之圖像處理裝置，其中上述垂直判斷部係跨於複數之水平區塊交界而並行地進行上述垂直濾波判斷。
  7. 如請求項6之圖像處理裝置，其中上述垂直判斷部係不依存對其 他水平區塊交界之垂直濾波判斷地進行上述垂直濾波判斷。
  8. 一種圖像處理方法，其包含：解碼步驟，其將編碼串流進行解碼而產生圖像；水平判斷步驟，其係將判斷對於上述圖像之8x8區塊之垂直區塊交界是否適用水平濾波器之水平濾波判斷跨於複數之垂直區塊交界來進行；及垂直判斷步驟，其係將判斷對於上述圖像之8x8區塊之水平區塊交界是否適用垂直濾波器之垂直濾波判斷跨於複數之水平區塊交界來進行。
  9. 如請求項8之圖像處理方法，其中上述水平判斷步驟中，對上述圖像之最大編碼單位中全部的垂直區塊交界進行上述水平濾波判斷；且上述垂直判斷步驟中，對上述圖像之最大編碼單位中全部的水平區塊交界進行上述垂直濾波判斷。
  10. 如請求項9之圖像處理方法，其中上述垂直判斷步驟中，於對上述圖像之最大編碼單位中全部的垂直區塊交界已藉由上述水平判斷步驟進行過上述水平濾波判斷後，對上述圖像之最大編碼單位中全部的水平區塊交界進行上述垂直濾波判斷。
  11. 如請求項8之圖像處理方法，其中上述水平判斷步驟中，跨於複數之垂直區塊交界而並行地進行上述水平濾波判斷。
  12. 如請求項11之圖像處理方法，其中上述水平判斷步驟中，不依存對其他垂直區塊交界之水平濾波判斷地進行上述水平濾波判斷。
  13. 如請求項12之圖像處理方法，其中上述垂直判斷步驟中，跨於複數之水平區塊交界而並行地進行上述垂直濾波判斷。
  14. 如請求項13之圖像處理方法，其中上述垂直判斷部中，不依存 對其他水平區塊交界之垂直濾波判斷地進行上述垂直濾波判斷。
  15. 一種圖像處理程式，其係使電腦執行如下步驟：解碼步驟，其將編碼串流進行解碼而產生圖像；水平判斷步驟，其係將判斷對於上述圖像之8x8區塊之垂直區塊交界是否適用水平濾波器之水平濾波判斷跨於複數之垂直區塊交界來進行；及垂直判斷步驟，其係將判斷對於上述圖像之8x8區塊之水平區塊交界是否適用垂直濾波器之垂直濾波判斷跨於複數之水平區塊交界來進行。
  16. 一種記錄媒體，其係記錄有如請求項15之圖像處理程式者。
TW104111383A 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium TWI580250B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010272907 2010-12-07
JP2011004391 2011-01-12
JP2011045652 2011-03-02
JP2011117557 2011-05-26

Publications (2)

Publication Number Publication Date
TW201528779A TW201528779A (zh) 2015-07-16
TWI580250B true TWI580250B (zh) 2017-04-21

Family

ID=46207095

Family Applications (4)

Application Number Title Priority Date Filing Date
TW104111385A TWI569627B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium
TW104111383A TWI580250B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium
TW100144707A TWI520504B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium
TW104111379A TWI580249B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW104111385A TWI569627B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW100144707A TWI520504B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium
TW104111379A TWI580249B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium

Country Status (14)

Country Link
US (4) US9973763B2 (zh)
EP (4) EP3748962A1 (zh)
JP (3) JP6011341B2 (zh)
KR (3) KR101963097B1 (zh)
CN (4) CN106454359B (zh)
AU (1) AU2011339460B2 (zh)
BR (1) BR112013013509B1 (zh)
CA (1) CA2815819C (zh)
ES (1) ES2856823T3 (zh)
MX (3) MX355896B (zh)
MY (1) MY163146A (zh)
RU (2) RU2691962C2 (zh)
TW (4) TWI569627B (zh)
WO (1) WO2012077607A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI600318B (zh) 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
CN108366264B (zh) 2010-06-04 2022-08-26 索尼公司 图像处理设备和方法
RU2691962C2 (ru) 2010-12-07 2019-06-19 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
CN106791878B (zh) 2010-12-07 2019-05-14 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5884313B2 (ja) 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101989613B1 (ko) 2011-02-10 2019-06-14 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
BR122020013607B1 (pt) 2011-03-11 2023-10-24 Sony Corporation Aparelho e método de processamento de imagem
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN107295335B (zh) 2011-06-28 2020-03-17 索尼公司 图像处理装置和图像处理方法
TWI632808B (zh) * 2012-04-06 2018-08-11 新力股份有限公司 Image processing device and method
WO2014087861A1 (ja) * 2012-12-06 2014-06-12 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
CN105451025B (zh) * 2014-07-31 2019-03-01 富士通株式会社 图像处理方法以及装置
US20160173897A1 (en) * 2014-12-10 2016-06-16 Haihua Wu High Parallelism Dependency Pattern for GPU Based Deblock
KR102597231B1 (ko) * 2016-09-30 2023-11-03 삼성디스플레이 주식회사 영상 처리 장치, 표시 장치 및 두부 장착 표시 장치
WO2018137190A1 (en) * 2017-01-25 2018-08-02 Shanghai United Imaging Healthcare Co., Ltd. System and method for image reconstruction
TWI833248B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼方法及編碼方法
JP2019074967A (ja) * 2017-10-17 2019-05-16 キヤノン株式会社 フィルタ処理装置およびその制御方法
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
JP7155568B2 (ja) 2018-03-26 2022-10-19 東洋製罐グループホールディングス株式会社 金属加工物
AU2018416684B2 (en) * 2018-03-29 2022-12-01 Sony Corporation Image processing apparatus and image processing method
CN113475082A (zh) 2019-02-27 2021-10-01 瑞典爱立信有限公司 使用子像素运动矢量阈值的去块
CN113545041A (zh) * 2019-03-07 2021-10-22 数字洞察力有限公司 图像编码/解码方法和设备
JP7026065B2 (ja) * 2019-03-12 2022-02-25 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN110213579A (zh) * 2019-06-11 2019-09-06 上海富瀚微电子股份有限公司 双核心计算单元实现环路滤波的方法
JP7200074B2 (ja) * 2019-09-20 2023-01-06 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
WO2023028964A1 (en) 2021-09-02 2023-03-09 Nvidia Corporation Parallel processing of video frames during video encoding
CN116097649A (zh) * 2021-09-06 2023-05-09 辉达公司 无滤波相依性的视频帧的并行编码
WO2023047950A1 (ja) * 2021-09-22 2023-03-30 シャープ株式会社 動画像符号化装置、動画像復号装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125205A (en) * 1996-12-18 2000-09-26 Thomas Licensing S.A. Process and device for labeling a region
US20020145702A1 (en) * 2000-04-21 2002-10-10 Motoki Kato Information processing method and apparatus, program and recording medium
US20050231641A1 (en) * 2002-05-20 2005-10-20 Sony Corporation Video signal processing apparatus and method
EP1843352A2 (en) * 2003-02-19 2007-10-10 Matsushita Electric Industrial Co., Ltd. Recording medium, playback apparatus, recording method, program, and playback method
TW200847792A (en) * 2007-01-22 2008-12-01 Nec Corp Picture re-encoding apparatus, picture re-encoding method and picture re-encoding program
US20090129738A1 (en) * 2006-05-10 2009-05-21 Sony Corporation Information processing apparatus, information processing method, and computer program

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832030B2 (ja) * 1986-10-21 1996-03-27 ソニー株式会社 ブロツク符号化された画像信号の復号装置
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100949418B1 (ko) 2002-02-15 2010-03-24 소니 주식회사 보행식 이동 로봇의 다리 장치 및 보행식 이동 로봇의제어 방법
JP4114494B2 (ja) * 2002-03-07 2008-07-09 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
KR100644618B1 (ko) * 2004-07-02 2006-11-10 삼성전자주식회사 블록 단위로 부호화된 영상의 블록경계에서의 불연속성제거필터 및 방법
US8116379B2 (en) 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
JP4270125B2 (ja) * 2004-12-16 2009-05-27 ソニー株式会社 データ処理装置、画像処理装置、それらの方法およびプログラム
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7792385B2 (en) * 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
JP2006270851A (ja) * 2005-03-25 2006-10-05 Victor Co Of Japan Ltd 画像符号化装置及び画像復号装置
CN100420269C (zh) * 2005-12-09 2008-09-17 逐点半导体（上海）有限公司 一种图像增强处理系统和处理方法
JP4712642B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 デブロッキングフィルタ、画像符号化装置および画像復号化装置
US20080123750A1 (en) * 2006-11-29 2008-05-29 Michael Bronstein Parallel deblocking filter for H.264 video codec
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
WO2009123033A1 (ja) * 2008-03-31 2009-10-08 日本電気株式会社 デブロッキングフィルタ処理装置、デブロッキングフィルタ処理方法
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
JP2010014513A (ja) 2008-07-03 2010-01-21 Fuji Electric Holdings Co Ltd はんだフラックス中の金属成分分析方法
CN101321290B (zh) * 2008-07-17 2010-12-15 北京数码视讯科技股份有限公司 基于数字信号处理器的去块滤波方法
WO2010035403A1 (ja) * 2008-09-25 2010-04-01 パナソニック株式会社 フィルタ装置およびフィルタ方法
US8861586B2 (en) * 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
JP2010136245A (ja) * 2008-12-08 2010-06-17 Toshiba Corp 動画像処理装置及び方法
JP2010141513A (ja) * 2008-12-10 2010-06-24 Toshiba Corp 演算装置及び動画像符号化装置
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5793511B2 (ja) * 2010-02-05 2015-10-14 テレフオンアクチーボラゲット エル エム エリクソン（パブル） デブロッキングフィルタリング制御
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
CN102860009A (zh) 2010-04-13 2013-01-02 松下电器产业株式会社 编码失真除去方法、编码方法、解码方法、编码失真除去装置、编码装置、及解码装置
TWI600318B (zh) 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
CN108366264B (zh) 2010-06-04 2022-08-26 索尼公司 图像处理设备和方法
RU2691962C2 (ru) * 2010-12-07 2019-06-19 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
CN106791878B (zh) 2010-12-07 2019-05-14 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
KR101989613B1 (ko) 2011-02-10 2019-06-14 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
BR122020013607B1 (pt) 2011-03-11 2023-10-24 Sony Corporation Aparelho e método de processamento de imagem
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN104380752B (zh) 2012-06-29 2018-10-23 威勒斯媒体国际有限公司 编码设备和编码方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6125205A (en) * 1996-12-18 2000-09-26 Thomas Licensing S.A. Process and device for labeling a region
US20020145702A1 (en) * 2000-04-21 2002-10-10 Motoki Kato Information processing method and apparatus, program and recording medium
US20050231641A1 (en) * 2002-05-20 2005-10-20 Sony Corporation Video signal processing apparatus and method
EP1843352A2 (en) * 2003-02-19 2007-10-10 Matsushita Electric Industrial Co., Ltd. Recording medium, playback apparatus, recording method, program, and playback method
US20090129738A1 (en) * 2006-05-10 2009-05-21 Sony Corporation Information processing apparatus, information processing method, and computer program
TW200847792A (en) * 2007-01-22 2008-12-01 Nec Corp Picture re-encoding apparatus, picture re-encoding method and picture re-encoding program

Also Published As

Publication number Publication date
CA2815819A1 (en) 2012-06-04
EP3748962A1 (en) 2020-12-09
US20200092568A1 (en) 2020-03-19
MX355896B (es) 2018-05-04
TWI569627B (zh) 2017-02-01
RU2585662C2 (ru) 2016-06-10
TW201233188A (en) 2012-08-01
EP3748964A1 (en) 2020-12-09
AU2011339460B2 (en) 2015-10-29
US20190253721A1 (en) 2019-08-15
KR101879890B1 (ko) 2018-07-18
CN106385586A (zh) 2017-02-08
BR112013013509B1 (pt) 2021-12-28
RU2013125498A (ru) 2014-12-10
JPWO2012077607A1 (ja) 2014-05-19
US20180184095A1 (en) 2018-06-28
JP2018014743A (ja) 2018-01-25
TW201528780A (zh) 2015-07-16
CN103229506A (zh) 2013-07-31
RU2691962C2 (ru) 2019-06-19
CN106454358B (zh) 2020-03-17
JP2016208533A (ja) 2016-12-08
JP6011341B2 (ja) 2016-10-19
TW201528779A (zh) 2015-07-16
TW201528778A (zh) 2015-07-16
AU2011339460A1 (en) 2013-06-13
BR112013013509A2 (pt) 2020-07-28
KR20130129381A (ko) 2013-11-28
US10931955B2 (en) 2021-02-23
RU2016105120A (ru) 2018-11-22
CN106454358A (zh) 2017-02-22
RU2016105120A3 (zh) 2019-05-23
EP2651127B1 (en) 2021-02-03
ES2856823T3 (es) 2021-09-28
TWI580249B (zh) 2017-04-21
US10582202B2 (en) 2020-03-03
EP3748963A1 (en) 2020-12-09
MX2013006131A (es) 2013-06-28
JP6222305B2 (ja) 2017-11-01
AU2011339460A2 (en) 2013-07-11
US9973763B2 (en) 2018-05-15
EP3748963B1 (en) 2022-03-02
KR20180085039A (ko) 2018-07-25
KR101963096B1 (ko) 2019-03-27
CA2815819C (en) 2019-12-24
MY163146A (en) 2017-08-15
US20130259142A1 (en) 2013-10-03
JP6471787B2 (ja) 2019-02-20
CN106454359B (zh) 2020-05-19
EP2651127A4 (en) 2015-03-25
CN103229506B (zh) 2016-11-09
TWI520504B (zh) 2016-02-01
MX338737B (es) 2016-04-29
KR20180085040A (ko) 2018-07-25
WO2012077607A1 (ja) 2012-06-14
KR101963097B1 (ko) 2019-03-27
CN106454359A (zh) 2017-02-22
EP2651127A1 (en) 2013-10-16
US10362318B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
TWI580250B (zh) An image processing apparatus, an image processing method, an image processing program, and a recording medium
JP6819702B2 (ja) テレビジョン装置、携帯電話機、再生装置、カメラ及び方法