JP6087739B2 - 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム - Google Patents

動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム Download PDF

Info

Publication number
JP6087739B2
JP6087739B2 JP2013120890A JP2013120890A JP6087739B2 JP 6087739 B2 JP6087739 B2 JP 6087739B2 JP 2013120890 A JP2013120890 A JP 2013120890A JP 2013120890 A JP2013120890 A JP 2013120890A JP 6087739 B2 JP6087739 B2 JP 6087739B2
Authority
JP
Japan
Prior art keywords
value
feature
threshold value
pixel value
classes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013120890A
Other languages
English (en)
Other versions
JP2014239338A (ja
Inventor
知伸 吉野
知伸 吉野
内藤 整
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2013120890A priority Critical patent/JP6087739B2/ja
Priority to EP14808170.6A priority patent/EP3007443B1/en
Priority to CN201480032529.XA priority patent/CN105453565B/zh
Priority to PCT/JP2014/065009 priority patent/WO2014196613A1/ja
Publication of JP2014239338A publication Critical patent/JP2014239338A/ja
Priority to US14/959,155 priority patent/US20160088295A1/en
Application granted granted Critical
Publication of JP6087739B2 publication Critical patent/JP6087739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラムに関する。
非特許文献1から4には、映像圧縮符号化処理において、符号化済み画像に対してフィルタ処理を施すことで画質を改善する手法が示されている。
特に、非特許文献1、2には、映像圧縮符号化の標準規格が示されている。この標準規格によれば、圧縮符号化によりブロック境界に生じる品質劣化を低減するフィルタ処理を、適用できる。
一方、非特許文献3、4には、符号化劣化を復元するフィルタを、フレームごとに適応的に更新する手法が示されている。
特に、非特許文献3には、画面全体を対象として原画像との二乗誤差が最小になるように、画面全体に対して1種類のフィルタを算出することが示されている。一方、非特許文献4には、最適なフィルタ設計の局所性を考慮して、フレームごとに複数のフィルタを設計することが示されている。
Joint Video Team(JVT) of ISO/IEC MPEG and ITU-T VCEG, "Text of ISO/IEC 14496-10 Advanced Video Coding," July 2004. "High Efficiency Video Coding (HEVC) text specification draft10," JCT-VC 12th meeting, JCTVC-L1003 v34, Jan. 2013. T. Chujoh, G. Yasuda, N. Wada and T. Yamagake, "Block-based adaptive loop filter," ITU-T Q.6/SG16, VCEG-AI18, 2008. M. Karczewicz, P. Chen, R. Joshi, X. Wang, W. Chien, R. Panchal, "Video coding technology proposal by Qualcomm Inc.," JCTVC-A121, April 2010.
非特許文献1や非特許文献2おけるフィルタ処理は、ブロック境界に生じる品質劣化にのみ適用される。このため、フィルタ処理による画質の改善効果は、限定的であった。
一方、非特許文献3におけるフィルタ処理は、画面全体に適応的に適用される。しかし、非特許文献3におけるフィルタ処理では、フィルタは、上述のように画面全体に対して1種類しか算出されない。
ここで、画面全体には、エッジと、エッジにより区分された平坦領域と、が含まれ、画面全体で見ると、平坦領域を構成する画素の方が、エッジを構成する画素よりも多くなる。このため、非特許文献3において算出される画面全体に対して1種類のフィルタでは、エッジと比べて平坦領域の方が支配的になる。したがって、エッジがくずれると人は違和感を覚えやすく、エッジは重要な絵柄であるにもかかわらず、非特許文献3におけるフィルタ処理では、エッジ成分を保持できず、フィルタ処理による画質の改善効果を十分には得られない場合があった。
また、非特許文献4におけるフィルタ処理では、上述のように、最適なフィルタ設計の局所性を考慮して、フレームごとに複数のフィルタを設計する。具体的には、まず、デコード画像の画素値について、予め定められた小領域ごとに画素値勾配に基づく特徴量を算出し、予め定められた閾値を用いた閾値処理により各小領域を分類する。次に、分類した画素ごとに最適なフィルタを設計する。これによれば、エッジに対するフィルタと、平坦領域に対するフィルタと、をそれぞれ別に設計することができる。
しかし、画素値勾配に基づく特徴量は、画像の絵柄に依存する。このため、上述の予め定められた閾値を用いた閾値処理では、各小領域の分類を、フィルタ設計に最適に実施することができず、フィルタ処理による画質の改善効果を十分には得られない場合があった。
そこで、本発明は、上述の課題に鑑みてなされたものであり、フィルタ処理により画質を改善して、符号化性能を向上させることを目的とする。
本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する動画像符号化装置(例えば、図1の動画像符号化装置AAに相当)であって、復号画像(例えば、図1のフィルタ処理前のローカルデコード画像hに相当)の画素値の特徴量(例えば、後述の画素値勾配に相当)を、前記画素単位または前記小領域単位で求める画素値特徴量算出手段(例えば、図2の画素値勾配特徴量算出部51に相当)と、前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する閾値処理分類手段(例えば、図2の閾値処理分類部53に相当)と、前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する動的閾値決定手段(例えば、図2の動的閾値決定部52に相当)と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、各画素または各小領域を分類する際に用いる閾値を、画素単位または小領域単位で求めた特徴量に基づいて決定することとした。このため、画像の絵柄を考慮して閾値を動的に決定することができるので、各画素または各小領域の分類を、フィルタ設計に最適に実施することができる。したがって、フィルタ処理による画質を改善して、符号化性能を向上させることができる。
(2) 本発明は、(1)の動画像符号化装置について、前記動的閾値決定手段は、前記画素値特徴量算出手段により求められた特徴量の分布(例えば、後述のヒストグラムに相当)に基づいて、前記閾値を決定することを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)の動画像符号化装置において、閾値を、特徴量の分布に基づいて決定することができる。
(3) 本発明は、(1)または(2)の動画像符号化装置について、前記動的閾値決定手段は、前記画素値特徴量算出手段により求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する特徴的階級検出手段と、前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する閾値決定手段と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)または(2)の動画像符号化装置において、特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出し、検出した階級のうち互いに隣り合う2つの階級の度数の間の値を、これら2つの階級に対する閾値として決定することとした。このため、閾値を、特徴量のヒストグラムを用いて決定することができる。
(4) 本発明は、(3)の動画像符号化装置について、前記特徴的階級検出手段は、前記度数の集中している階級の検出を、前記ヒストグラムの各階級のうち互いに隣り合うものの度数に関する1次微分(例えば、後述の1次微分評価値D(k)に相当)および2次微分(例えば、後述の2次微分評価値D(k)に相当)を用いて行うことを特徴とする動画像符号化装置を提案している。
この発明によれば、(3)の動画像符号化装置において、度数の集中している階級の検出を、互いに隣り合う階級の度数に関する1次微分および2次微分を用いて行うこととした。このため、度数に関する1次微分および2次微分により、互いに隣り合う階級の度数の変化を検出することができ、度数の集中している階級を適切に検出することができる。
(5) 本発明は、(3)または(4)の動画像符号化装置について、前記特徴的階級検出手段は、前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数の平均値、または、前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数の重み付け平均値を、当該2つの階級に対する前記閾値として決定することを特徴とする動画像符号化装置を提案している。
この発明によれば、(3)または(4)の動画像符号化装置において、度数が集中しており互いに隣り合う2つの階級の度数の平均値、または、度数が集中しており互いに隣り合う2つの階級の度数の重み付け平均値を、これら2つの階級に対する閾値として決定することとした。このため、これら2つの階級のそれぞれに属する画素または小領域を、閾値により適切に分類することができ、上述した効果と同様の効果を奏することができる。
(6) 本発明は、(1)から(5)のいずれかの動画像符号化装置について、前記画素値特徴量算出手段は、前記特徴量として画素値勾配を求めることを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)から(5)のいずれかの動画像符号化装置において、特徴量として画素値勾配を用いて、閾値を動的に決定することができる。
(7) 本発明は、(6)の動画像符号化装置について、前記画素値特徴量算出手段は、sobelフィルタまたはラプラシアンフィルタを用いて前記画素値勾配を求めることを特徴とする動画像符号化装置を提案している。
この発明によれば、(6)の動画像符号化装置において、sobelフィルタまたはラプラシアンフィルタを用いて画素値勾配を求めることができる。
(8) 本発明は、復号処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ適用を許容する動画像復号装置(例えば、図3の動画像復号装置BBに相当)であって、復号画像(例えば、図3のフィルタ処理前のデコード画像Fに相当)の画素値の特徴量(例えば、後述の画素値勾配に相当)を、前記画素単位または前記小領域単位で求める画素値特徴量算出手段と、前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する閾値処理分類手段と、前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する動的閾値決定手段と、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、各画素または各小領域を分類する際に用いる閾値を、画素単位または小領域単位で求めた特徴量に基づいて決定することとした。このため、画像の絵柄を考慮して閾値を動的に決定することができるので、各画素または各小領域の分類を、フィルタ設計に最適に実施することができる。したがって、フィルタ処理による画質を改善して、符号化性能を向上させることができる。
(9) 本発明は、(8)の動画像復号装置について、前記動的閾値決定手段は、前記画素値特徴量算出手段により求められた特徴量の分布(例えば、後述のヒストグラムに相当)に基づいて、前記閾値を決定することを特徴とする動画像復号装置を提案している。
この発明によれば、(8)の動画像復号装置において、閾値を、特徴量の分布に基づいて決定することができる。
(10) 本発明は、(8)または(9)の動画像復号装置について、前記動的閾値決定手段は、前記画素値特徴量算出手段により求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する特徴的階級検出手段と、前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する閾値決定手段と、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、(8)または(9)の動画像復号装置において、特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出し、検出した階級のうち互いに隣り合う2つの階級の度数の間の値を、これら2つの階級に対する閾値として決定することとした。このため、閾値を、特徴量のヒストグラムを用いて決定することができる。
(11) 本発明は、(10)の動画像復号装置について、前記特徴的階級検出手段は、前記度数の集中している階級の検出を、前記ヒストグラムの各階級のうち互いに隣り合うものの度数に関する1次微分(例えば、後述の1次微分評価値D(k)に相当)および2次微分(例えば、後述の2次微分評価値D(k)に相当)を用いて行うことを特徴とする動画像復号装置を提案している。
この発明によれば、(10)の動画像復号装置において、度数の集中している階級の検出を、互いに隣り合う階級の度数に関する1次微分および2次微分を用いて行うこととした。このため、度数に関する1次微分および2次微分により、互いに隣り合う階級の度数の変化を検出することができ、度数の集中している階級を適切に検出することができる。
(12) 本発明は、(10)または(11)の動画像復号装置について、前記特徴的階級検出手段は、前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数の平均値、または、前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数の重み付け平均値を、当該2つの階級に対する前記閾値として決定することを特徴とする動画像復号装置を提案している。
この発明によれば、(10)または(11)の動画像復号装置において、度数が集中しており互いに隣り合う2つの階級の度数の平均値、または、度数が集中しており互いに隣り合う2つの階級の度数の重み付け平均値を、これら2つの階級に対する閾値として決定することとした。このため、これら2つの階級のそれぞれに属する画素または小領域を、閾値により適切に分類することができ、上述した効果と同様の効果を奏することができる。
(13) 本発明は、(8)から(12)のいずれかの動画像復号装置について、前記画素値特徴量算出手段は、前記特徴量として画素値勾配を求めることを特徴とする動画像復号装置を提案している。
この発明によれば、(8)から(12)のいずれかの動画像復号装置において、特徴量として画素値勾配を用いて、閾値を動的に決定することができる。
(14) 本発明は、(8)から(12)のいずれかの動画像復号装置について、前記画素値特徴量算出手段は、前記特徴量として画素値の分散値を求めることを特徴とする動画像復号装置を提案している。
この発明によれば、(8)から(12)のいずれかの動画像復号装置において、特徴量として画素値の分散値を用いて、閾値を動的に決定することができる。
(15) 本発明は、(13)の動画像復号装置について、前記画素値特徴量算出手段は、sobelフィルタまたはラプラシアンフィルタを用いて前記画素値勾配を求めることを特徴とする動画像復号装置を提案している。
この発明によれば、(13)の動画像復号装置において、sobelフィルタまたはラプラシアンフィルタを用いて画素値勾配を求めることができる。
(16) 本発明は、符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する動画像符号化装置(例えば、図1の動画像符号化装置AAに相当)と、復号処理ループ内で適応フィルタ処理を許容し、当該画素単位または当該小領域単位でのフィルタ適用を許容する動画像復号装置(例えば、図3の動画像復号装置BBに相当)と、を備える動画像システムであって、前記動画像符号化装置は、復号画像(例えば、図1のフィルタ処理前のローカルデコード画像hに相当)の画素値の特徴量(例えば、後述の画素値勾配に相当)を、前記画素単位または前記小領域単位で求める符号化側画素値特徴量算出手段(例えば、図2の画素値勾配特徴量算出部51に相当)と、前記符号化側画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する符号化側閾値処理分類手段(例えば、図2の閾値処理分類部53に相当)と、前記符号化側画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する符号化側動的閾値決定手段(例えば、図2の動的閾値決定部52に相当)と、を備え、前記動画像復号装置は、復号画像(例えば、図3のフィルタ処理前のデコード画像Fに相当)の画素値の特徴量(例えば、後述の画素値勾配に相当)を、前記画素単位または前記小領域単位で求める復号側画素値特徴量算出手段と、前記復号側画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する復号側閾値処理分類手段と、前記復号側画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する復号側動的閾値決定手段と、を備えることを特徴とする動画像システムを提案している。
この発明によれば、動画像符号化装置および動画像復号装置のそれぞれにおいて、各画素または各小領域を分類する際に用いる閾値を、画素単位または小領域単位で求めた特徴量に基づいて決定することとした。このため、画像の絵柄を考慮して閾値を動的に決定することができるので、各画素または各小領域の分類を、フィルタ設計に最適に実施することができる。したがって、フィルタ処理による画質を改善して、符号化性能を向上させることができる。
また、この発明によれば、動画像符号化装置および動画像復号装置のそれぞれにおいて、各画素または各小領域を分類する際に用いる閾値を、画素単位または小領域単位で求めた特徴量に基づいて決定し、決定した閾値を用いて各画素または各小領域を分類することとした。このため、動画像符号化装置で決定された閾値や、動画像符号化装置での各画素または各小領域の分類結果を、動画像復号装置に送信する必要がないため、これら閾値や分類結果を動画像符号化装置から動画像復号装置に送信する場合と比べて、符号化性能をさらに向上させることができる。
(17) 本発明は、符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する動画像符号化装置(例えば、図1の動画像符号化装置AAに相当)と、復号処理ループ内で適応フィルタ処理を許容し、当該画素単位または当該小領域単位でのフィルタ適用を許容する動画像復号装置(例えば、図3の動画像復号装置BBに相当)と、を備える動画像システムであって、前記動画像符号化装置は、復号画像(例えば、図1のフィルタ処理前のローカルデコード画像hに相当)の画素値の特徴量(例えば、後述の画素値勾配に相当)を、前記画素単位または前記小領域単位で求める符号化側画素値特徴量算出手段(例えば、図2の画素値勾配特徴量算出部51に相当)と、前記符号化側画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する符号化側閾値処理分類手段(例えば、図2の閾値処理分類部53に相当)と、前記符号化側画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する符号化側動的閾値決定手段(例えば、図2の動的閾値決定部52に相当)と、前記符号化側閾値処理分類手段による分類結果、または、前記符号化側動的閾値決定手段により決定された前記閾値を、を前記動画像復号装置に送信する送信手段と、を備え、前記動画像復号装置は、前記送信手段から送信された前記分類結果または前記閾値を受信する受信手段を備えることを特徴とする動画像システムを提案している。
この発明によれば、動画像符号化装置において、各画素または各小領域を分類する際に用いる閾値を、画素単位または小領域単位で求めた特徴量に基づいて決定し、決定した閾値を用いて各画素または各小領域を分類することとした。このため、画像の絵柄を考慮して閾値を動的に決定することができるので、各画素または各小領域の分類を、フィルタ設計に最適に実施することができる。したがって、フィルタ処理による画質を改善して、符号化性能を向上させることができる。
また、この発明によれば、動画像符号化装置において、各画素または各小領域を分類する際に用いる閾値を、画素単位または小領域単位で求めた特徴量に基づいて決定し、決定した閾値を用いて各画素または各小領域を分類し、分類結果または閾値を動画像復号装置に送信することとした。このため、動画像復号装置は、閾値を求めたり、閾値を用いて各画素または各小領域を分類したりする必要がないため、動画像符号化装置および動画像復号装置のそれぞれにおいて閾値を求めたり分類したりする場合と比べて、動画像復号装置における演算量を削減することができる。
(18) 本発明は、画素値特徴量算出手段(例えば、図2の画素値勾配特徴量算出部51に相当)、閾値処理分類手段(例えば、図2の閾値処理分類部53に相当)、および動的閾値決定手段(例えば、図2の動的閾値決定部52に相当)を備え、符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する動画像符号化装置(例えば、図1の動画像符号化装置AAに相当)における動画像符号化方法であって、前記画素値特徴量算出手段が、復号画像(例えば、図1のフィルタ処理前のローカルデコード画像hに相当)の画素値の特徴量(例えば、後述の画素値勾配に相当)を、前記画素単位または前記小領域単位で求める第1のステップと、前記閾値処理分類手段が、前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する第2のステップと、前記動的閾値決定手段が、前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する第3のステップと、を備えることを特徴とする動画像符号化方法を提案している。
この発明によれば、各画素または各小領域を分類する際に用いる閾値を、画素単位または小領域単位で求めた特徴量に基づいて決定することとした。このため、画像の絵柄を考慮して閾値を動的に決定することができるので、各画素または各小領域の分類を、フィルタ設計に最適に実施することができる。したがって、フィルタ処理による画質を改善して、符号化性能を向上させることができる。
(19) 本発明は、画素値特徴量算出手段、閾値処理分類手段、および動的閾値決定手段を備え、復号処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ適用を許容する動画像復号装置(例えば、図3の動画像復号装置BBに相当)における動画像復号方法であって、前記画素値特徴量算出手段が、復号画像(例えば、図3のフィルタ処理前のデコード画像Fに相当)の画素値の特徴量(例えば、後述の画素値勾配に相当)を、前記画素単位または前記小領域単位で求める第1のステップと、前記閾値処理分類手段が、前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する第2のステップと、前記動的閾値決定手段が、前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する第3のステップと、を備えることを特徴とする動画像復号方法を提案している。
この発明によれば、各画素または各小領域を分類する際に用いる閾値を、画素単位または小領域単位で求めた特徴量に基づいて決定することとした。このため、画像の絵柄を考慮して閾値を動的に決定することができるので、各画素または各小領域の分類を、フィルタ設計に最適に実施することができる。したがって、フィルタ処理による画質を改善して、符号化性能を向上させることができる。
(20) 本発明は、画素値特徴量算出手段(例えば、図2の画素値勾配特徴量算出部51に相当)、閾値処理分類手段(例えば、図2の閾値処理分類部53に相当)、および動的閾値決定手段(例えば、図2の動的閾値決定部52に相当)を備え、符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する動画像符号化装置(例えば、図1の動画像符号化装置AAに相当)における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記画素値特徴量算出手段が、復号画像(例えば、図1のフィルタ処理前のローカルデコード画像hに相当)の画素値の特徴量(例えば、後述の画素値勾配に相当)を、前記画素単位または前記小領域単位で求める第1のステップと、前記閾値処理分類手段が、前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する第2のステップと、前記動的閾値決定手段が、前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する第3のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、各画素または各小領域を分類する際に用いる閾値を、画素単位または小領域単位で求めた特徴量に基づいて決定することとした。このため、画像の絵柄を考慮して閾値を動的に決定することができるので、各画素または各小領域の分類を、フィルタ設計に最適に実施することができる。したがって、フィルタ処理による画質を改善して、符号化性能を向上させることができる。
(21) 本発明は、画素値特徴量算出手段、閾値処理分類手段、および動的閾値決定手段を備え、復号処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ適用を許容する動画像復号装置(例えば、図3の動画像復号装置BBに相当)における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記画素値特徴量算出手段が、復号画像(例えば、図3のフィルタ処理前のデコード画像Fに相当)の画素値の特徴量(例えば、後述の画素値勾配に相当)を、前記画素単位または前記小領域単位で求める第1のステップと、前記閾値処理分類手段が、前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する第2のステップと、前記動的閾値決定手段が、前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する第3のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、各画素または各小領域を分類する際に用いる閾値を、画素単位または小領域単位で求めた特徴量に基づいて決定することとした。このため、画像の絵柄を考慮して閾値を動的に決定することができるので、各画素または各小領域の分類を、フィルタ設計に最適に実施することができる。したがって、フィルタ処理による画質を改善して、符号化性能を向上させることができる。
本発明によれば、フィルタ処理による画質を改善して、符号化性能を向上させることができる。
本発明の一実施形態に係る動画像符号化装置のブロック図である。 前記実施形態に係る動画像符号化装置が備える事前解析部のブロック図である。 本発明の一実施形態に係る動画像復号装置のブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
[動画像符号化装置AAの構成および動作]
図1は、本発明の一実施形態に係る動画像符号化装置AAのブロック図である。動画像符号化装置AAは、符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する。この動画像符号化装置AAは、予測値生成部1、DCT/量子化部2、エントロピー符号化部3、逆DCT/逆量子化部4、事前解析部5、フィルタ係数算出部6、適応フィルタ処理部7、およびローカルメモリ8を備える。
予測値生成部1は、入力画像としての原画像aと、ローカルメモリ8から出力される後述のフィルタ処理済みローカルデコード画像dと、を入力とする。この予測値生成部1は、イントラ予測やインター予測などの予測方法を用いて予測値を生成する。そして、最も高い符号化性能が期待される予測方法を用いて生成した予測値を、予測値eとして出力する。
DCT/量子化部2は、原画像aと、予測値eと、の差分である予測残差信号を入力とする。このDCT/量子化部2は、予測残差信号に対して直交変換処理を施し、その結果により得られる変換係数について量子化処理を施して、量子化された変換係数fとして出力する。
エントロピー符号化部3は、量子化された変換係数fを入力とする。このエントロピー符号化部3は、量子化された変換係数fに対してエントロピー符号化を施し、その結果を、符号化データへの記述規則(符号化シンタックス)に従って符号化データに記述して、符号化データbとして出力する。
逆DCT/逆量子化部4は、量子化された変換係数fを入力とする。この逆DCT/逆量子化部4は、量子化された変換係数fに対して逆量子化処理を施し、その結果により得られる変換係数に対して逆変換処理を施して、逆直交変換された画素信号gとして出力する。
事前解析部5は、フィルタ処理前のローカルデコード画像hを入力とする。フィルタ処理前のローカルデコード画像hとは、予測値eと、逆直交変換された画素信号gと、の和のことである。この事前解析部5は、フィルタ処理前のローカルデコード画像hを構成する各画素または各小領域を分類し、分類結果iとして出力する。事前解析部5の詳細については、図2を用いて後に説明する。
フィルタ係数算出部6は、原画像aと、フィルタ処理前のローカルデコード画像hと、分類結果iと、を入力とする。このフィルタ係数算出部6は、分類結果iに従って分類される画素または小領域ごとに、原画像aとフィルタ処理前のローカルデコード画像hとの誤差が最小となるフィルタ係数を、最適なフィルタ係数として算出する。そして、算出したフィルタ係数を、符号化データ(フィルタ係数)cとして出力する。
適応フィルタ処理部7は、符号化データ(フィルタ係数)cと、フィルタ処理前のローカルデコード画像hと、分類結果iと、を入力とする。この適応フィルタ処理部7は、分類結果iに従って分類される画素または小領域ごとに、フィルタ処理前のローカルデコード画像hの各画素に対して、フィルタ係数算出部6により算出されたフィルタ係数を用いてフィルタ処理を施す。また、適応フィルタ処理部7は、フィルタ制御単位ブロックごとに、適用したフィルタ係数を示す情報を、適否情報として求める。そして、フィルタ処理の結果と、適否情報と、をフィルタ処理済みローカルデコード画像dとして出力する。
ローカルメモリ8は、適応フィルタ処理部7から出力されるフィルタ処理済みローカルデコード画像dを入力とする。このローカルメモリ8は、入力されたフィルタ処理済みローカルデコード画像dを蓄積し、適宜、予測値生成部1に出力する。
[事前解析部5の構成および動作]
図2は、事前解析部5のブロック図である。事前解析部5は、画素値勾配特徴量算出部51、動的閾値決定部52、および閾値処理分類部53を備える。
画素値勾配特徴量算出部51は、フィルタ処理前のローカルデコード画像hを入力とする。この画素値勾配特徴量算出部51は、フィルタ処理前のローカルデコード画像hを構成する画素または小領域ごとに、画素値勾配を算出し、画素または小領域ごとの特徴量jとして出力する。
なお、画素値勾配を、画素ごとに算出するのか、小領域ごとに算出するのかは、予め定められているものとする。また、画素値勾配を小領域ごとに算出する場合には、これら小領域のそれぞれがどの画素を含んで構成されるのかが、予め定められているものとする。また、これら予め定められている情報は、事前解析部5だけでなく、図3を用いて後述する事前解析部140にも保持されているものとする。
また、小領域ごとに画素値勾配を算出する例として、N画素×N画素の小領域ごとに画素値勾配を算出する場合には、まず、この小領域に含まれるN×N個の各画素の画素値勾配を求める。次に、これら各画素の画素値勾配の平均値を算出し、この小領域の画素値勾配とする。
また、画素値勾配の算出には、例えば、sobelフィルタやラプラシアンフィルタを用いる手法を適用することができる。
動的閾値決定部52は、画素または小領域ごとの特徴量jを入力とする。この動的閾値決定部52は、画素または小領域ごとの特徴量jに基づいて、閾値を決定し、動的閾値mとして出力する。具体的には、まず、画素または小領域ごとの特徴量jをステップ幅Qで量子化し、量子化した特徴量の値に関してヒストグラムを求める。次に、求めたヒストグラムの各階級の中から度数の集中している階級を検出する。次に、検出した階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、これら2つの階級に対する閾値として決定する。これによれば、度数の集中している階級同士を分類できるように、閾値が動的に決定されることになる。
例えば、画素または小領域ごとの特徴量jをステップ幅Qで量子化した結果、K種類の階級が得られた場合について、以下に説明する。この場合、ヒストグラムの第k番目(kは、0≦k≦K−1を満たす任意の整数)の度数がh(k)で表されるものとすると、動的閾値決定部52は、ヒストグラムの連続する階級における度数の変化を評価する。
具体的には、まず、便宜的にh(K)=h(K−1)と定義して、以下の数式(1)に示す度数変化の1次微分評価値D(k)を求める。
Figure 0006087739
次に、便宜的にh(−1)=h(0)、h(K)=h(K−1)と定義して、以下の数式(2)に示す度数変化の2次微分評価値D(k)を求める。
Figure 0006087739
次に、以下の数式(3)を満たすkを求め、求めたkにおける度数h(k)を、上述の度数の集中している階級の度数(特徴的な度数)として検出する。なお、数式(3)において、T1およびT2のそれぞれは、予め定められた値であるものとする。
Figure 0006087739
次に、上述の特徴的な度数がS個検出されたものとし、これらS個の特徴的な度数を階級の小さいものから順にf(s)(sは、0≦s≦S−1を満たす任意の整数)と表すこととすると、f(s)とf(s+1)との間の値の中から、これらf(s)およびf(s+1)に対する閾値を決定する。これによれば、(S−1)個の閾値が決定されることになる。
f(s)とf(s+1)との間の値の中から上述の閾値を決定する方法としては、例えば以下の2つの方法を適用できる。ここで、f(s)の度数に相当するヒストグラムの階級をk1とし、f(s+1)の度数に相当するヒストグラムの階級をk2と表すこととする。
1つ目の方法では、動的閾値決定部52は、k1の度数と、k2の度数と、の平均値を、これらk1およびk2に対する閾値として決定する。
2つ目の方法では、動的閾値決定部52は、k1の度数およびk2の度数のそれぞれに対して、以下の数式(4)および数式(5)のそれぞれで重み付けし、その結果の和を、これらk1およびk2に対する閾値として決定する。
Figure 0006087739
Figure 0006087739
閾値処理分類部53は、画素または小領域ごとの特徴量jと、動的閾値mと、を入力とする。この閾値処理分類部53は、画素または小領域ごとの特徴量jについて動的閾値mに基づいて閾値判定処理を行って、画素または小領域ごとの特徴量jと動的閾値mとを比較する。そして、比較結果に基づいてこれら画素または小領域を分類し、分類の結果を分類結果iとして出力する。これによれば、(S−1)個の閾値により、画素または小領域がS個に分類されることになる。
[動画像復号装置BBの構成および動作]
図3は、本発明の一実施形態に係る動画像復号装置BBのブロック図である。動画像復号装置BBは、復号処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ適用を許容する。この動画像復号装置BBは、エントロピー復号部110、予測値生成部120、逆DCT/逆量子化部130、事前解析部140、フィルタ処理部150、およびメモリ160を備える。
エントロピー復号部110は、符号化データbを入力とする。このエントロピー復号部110は、符号化データbに記載されている内容を符号化データ構造に従って解析し、エントロピー復号し、エントロピー復号の結果として得られる予測情報Bおよび残差信号Cを出力する。
予測値生成部120は、予測情報Bと、メモリ160から出力される後述の復号済み画像Aと、を入力とする。この予測値生成部120は、予測情報Bに基づいて予測方法を決定し、決定した予測方法に従って復号済み画像Aから予測値Dを生成し、出力する。
逆DCT/逆量子化部130は、残差信号Cを入力とする。この逆DCT/逆量子化部130は、残差信号Cに対して逆量子化処理を施し、その結果に対して逆変換処理を施して、逆直交変換結果Eとして出力する。
事前解析部140は、フィルタ処理前のデコード画像Fを入力とする。フィルタ処理前のデコード画像Fとは、予測値Dと逆直交変換結果Eとの和のことである。この事前解析部140は、事前解析部5と同様の構成を備えており、事前解析部5と同様の動作を行って、フィルタ処理前のデコード画像Fを構成する各画素または各小領域に分類し、分類結果Gとして出力する。
フィルタ処理部150は、フィルタ処理前のデコード画像Fと、符号化データ(フィルタ係数)cと、分類結果Gと、を入力とする。このフィルタ処理部150は、分類結果Gに従って分類される画素または小領域ごとに、フィルタ処理前のデコード画像Fの各画素に対して、符号化データ(フィルタ係数)cを用いてフィルタ処理を施す。そして、フィルタ処理により得られた復号済み画像Aを出力する。
メモリ160は、復号済み画像Aを入力とする。このメモリ160は、入力された復号済み画像Aを蓄積し、適宜、予測値生成部120に出力する。
以上の動画像符号化装置AAおよび動画像復号装置BBによれば、以下の効果を奏することができる。
動画像符号化装置AAおよび動画像復号装置BBのそれぞれは、画素または小領域を分類する際に用いる閾値を、画素または小領域ごとの画素値勾配に基づいて決定する。このため、画像の絵柄を考慮して閾値を動的に決定することができるので、画素または小領域の分類を、フィルタ設計に最適に実施することができる。したがって、フィルタ処理による画質を改善して、符号化性能を向上させることができる。
また、動画像符号化装置AAおよび動画像復号装置BBのそれぞれは、画素または小領域ごとの画素値勾配に関してヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出し、検出した階級のうち互いに隣り合う2つの階級の度数の間の値を、これら2つの階級に対する閾値として決定する。このため、閾値を、画素または小領域ごとの画素値勾配に関するヒストグラムを用いて決定することができる。
また、動画像符号化装置AAおよび動画像復号装置BBのそれぞれは、上述の数式(1)、(2)、(3)を用いて説明したように、度数の集中している階級の検出を、互いに隣り合う階級の度数に関する1次微分および2次微分を用いて行う。このため、度数に関する1次微分および2次微分により、互いに隣り合う階級の度数の変化を検出することができ、度数の集中している階級を適切に検出することができる。
また、動画像符号化装置AAおよび動画像復号装置BBのそれぞれは、度数が集中しており互いに隣り合う2つの階級の度数の平均値、または、度数が集中しており互いに隣り合う2つの階級の度数の重み付け平均値(上述の数式(4)、(5)参照)を、これら2つの階級に対する閾値として決定する。このため、これら2つの階級のそれぞれに属する画素または小領域を、閾値により適切に分類することができ、上述した効果と同様の効果を奏することができる。
また、動画像符号化装置AAおよび動画像復号装置BBのそれぞれは、sobelフィルタやラプラシアンフィルタを用いて、画素または小領域ごとの画素値勾配を算出することができる。
また、動画像符号化装置AAおよび動画像復号装置BBのそれぞれは、閾値を動的に決定し、決定した閾値を用いて画素または小領域を分類する。このため、動画像符号化装置AAで動的に決定された閾値や、動画像符号化装置AAでの画素または小領域の分類結果を、動画像復号装置BBに送信する必要がないため、これら閾値や分類結果を動画像符号化装置AAから動画像復号装置BBに送信する場合と比べて、符号化性能をさらに向上させることができる。
なお、本発明の動画像符号化装置AAや動画像復号装置BBの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置AAや動画像復号装置BBに読み込ませ、実行することによって、本発明を実現できる。
ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD−ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置AAや動画像復号装置BBに設けられたプロセッサによって行われる。
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置AAや動画像復号装置BBから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置AAや動画像復号装置BBにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
例えば、上述の実施形態では、画素または小領域ごとの特徴量として、画素または小領域ごとの画素値勾配を用いることとしたが、これに限らず、例えば、画素または小領域ごとの画素値の分散値を用いてもよい。
また、上述の実施形態では、動的閾値決定部52は、数式(3)を満たすkを求め、求めたkにおける度数h(k)を上述の特徴的な度数として検出することとした。しかし、これに限らず、ヒストグラムのピークを検出し、検出したピークにおける度数を特徴的な度数として検出できればよく、例えば以下の4つの方法のいずれかにより、ヒストグラムのピークを検出することとしてもよい。
第1の方法では、動的閾値決定部52は、数式(1)の1次微分評価値D(k)の符号が正から負に変化する途中で、この1次微分評価値D(k)がゼロになる際のkを求め、求めた第k番目の階級を、ピークとして検出する。これによれば、ヒストグラムの上に凸になっている部分の頂点を、ピークとして決定することができる。
第2の方法では、動的閾値決定部52は、予め定められた値よりも大きい数式(2)の2次微分評価値D(k)を求め、このときの第k番目の階級を、ピークとして検出する。これによれば、予め定められた値よりも度数の増加傾向が高い階級を、ピークとして決定することができる。
第3の方法では、動的閾値決定部52は、予め定められた値よりも度数h(k)の高い階級を、ピークまたはピークを含む範囲として検出する。
第4の方法では、動的閾値決定部52は、上述の第1の方法、第2の方法、および第3の方法のいずれかによりヒストグラムの谷を検出し、隣り合う谷の間をピークとして検出する。第1の方法によりヒストグラムの谷を検出する場合には、数式(1)の1次微分評価値D(k)の符号が負から正に変化する途中で、この1次微分評価値D(k)がゼロになる際のkを求め、求めた第k番目の階級を、谷として検出する。また、第2の方法によりヒストグラムの谷を検出する場合には、予め定められた値よりも小さい数式(2)の2次微分評価値D(k)を求め、このときの第k番目の階級を、谷として検出する。また、第3の方法によりヒストグラムの谷を検出する場合には、予め定められた値よりも度数h(k)の低い階級を、谷または谷を含む範囲として検出する。
また、上述の実施形態では、動画像符号化装置AAおよび動画像復号装置BBのそれぞれにおいて、閾値を動的に決定し、決定した閾値を用いて画素または小領域を分類することとしたが、これに限らず、動画像符号化装置AAで動的に決定した閾値や、動画像符号化装置AAでの画素または小領域の分類結果を、動画像符号化装置AAから動画像復号装置BBに送信するものとしてもよい。これによれば、閾値の決定や、画素または小領域の分類を動画像復号装置BBで行う必要がないため、動画像復号装置BBにおける演算量を削減することができる。
5、140・・・事前解析部
6・・・フィルタ係数算出部
7・・・適応フィルタ処理部
150・・・フィルタ処理部
51・・・画素値勾配特徴量算出部
52・・・動的閾値決定部
53・・・閾値処理分類部
AA・・・動画像符号化装置
BB・・・動画像復号装置

Claims (19)

  1. 符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する動画像符号化装置であって、
    復号画像の画素値の特徴量を、前記画素単位または前記小領域単位で求める画素値特徴量算出手段と、
    前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する閾値処理分類手段と、
    前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する動的閾値決定手段と、
    を備え
    前記動的閾値決定手段は、
    前記画素値特徴量算出手段により求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する特徴的階級検出手段と、
    前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する閾値決定手段と、を備えることを特徴とする動画像符号化装置。
  2. 前記動的閾値決定手段は、前記画素値特徴量算出手段により求められた特徴量の分布に基づいて、前記閾値を決定することを特徴とする請求項1に記載の動画像符号化装置。
  3. 前記特徴的階級検出手段は、前記度数の集中している階級の検出を、前記ヒストグラムの各階級のうち互いに隣り合うものの度数に関する1次微分および2次微分を用いて行うことを特徴とする請求項1または2に記載の動画像符号化装置。
  4. 前記特徴的階級検出手段は、前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数の平均値、または、前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数の重み付け平均値を、当該2つの階級に対する前記閾値として決定することを特徴とする請求項1からのいずれかに記載の動画像符号化装置。
  5. 前記画素値特徴量算出手段は、前記特徴量として画素値勾配を求めることを特徴とする請求項1からのいずれかに記載の動画像符号化装置。
  6. 前記画素値特徴量算出手段は、sobelフィルタまたはラプラシアンフィルタを用いて前記画素値勾配を求めることを特徴とする請求項に記載の動画像符号化装置。
  7. 復号処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ適用を許容する動画像復号装置であって、
    復号画像の画素値の特徴量を、前記画素単位または前記小領域単位で求める画素値特徴量算出手段と、
    前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する閾値処理分類手段と、
    前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する動的閾値決定手段と、
    を備え
    前記動的閾値決定手段は、
    前記画素値特徴量算出手段により求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する特徴的階級検出手段と、
    前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する閾値決定手段と、を備えることを特徴とする動画像復号装置。
  8. 前記動的閾値決定手段は、前記画素値特徴量算出手段により求められた特徴量の分布に基づいて、前記閾値を決定することを特徴とする請求項に記載の動画像復号装置。
  9. 前記特徴的階級検出手段は、前記度数の集中している階級の検出を、前記ヒストグラムの各階級のうち互いに隣り合うものの度数に関する1次微分および2次微分を用いて行うことを特徴とする請求項に記載の動画像復号装置。
  10. 前記特徴的階級検出手段は、前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数の平均値、または、前記特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数の重み付け平均値を、当該2つの階級に対する前記閾値として決定することを特徴とする請求項またはに記載の動画像復号装置。
  11. 前記画素値特徴量算出手段は、前記特徴量として画素値勾配を求めることを特徴とする請求項から10のいずれかに記載の動画像復号装置。
  12. 前記画素値特徴量算出手段は、前記特徴量として画素値の分散値を求めることを特徴とする請求項から10のいずれかに記載の動画像復号装置。
  13. 前記画素値特徴量算出手段は、sobelフィルタまたはラプラシアンフィルタを用いて前記画素値勾配を求めることを特徴とする請求項11に記載の動画像復号装置。
  14. 符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する動画像符号化装置と、復号処理ループ内で適応フィルタ処理を許容し、当該画素単位または当該小領域単位でのフィルタ適用を許容する動画像復号装置と、を備える動画像システムであって、
    前記動画像符号化装置は、
    復号画像の画素値の特徴量を、前記画素単位または前記小領域単位で求める符号化側画素値特徴量算出手段と、
    前記符号化側画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する符号化側閾値処理分類手段と、
    前記符号化側画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する符号化側動的閾値決定手段と、
    を備え
    前記符号化側動的閾値決定手段は、
    前記符号化側画素値特徴量算出手段により求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する符号化側特徴的階級検出手段と、
    前記符号化側特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する符号化側閾値決定手段と、
    を備え、
    前記動画像復号装置は、
    復号画像の画素値の特徴量を、前記画素単位または前記小領域単位で求める復号側画素値特徴量算出手段と、
    前記復号側画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する復号側閾値処理分類手段と、
    前記復号側画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する復号側動的閾値決定手段と、
    を備え
    前記復号側動的閾値決定手段は、
    前記復号側画素値特徴量算出手段により求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する復号側特徴的階級検出手段と、
    前記復号側特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する復号側閾値決定手段と、を備えることを特徴とする動画像システム。
  15. 符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する動画像符号化装置と、復号処理ループ内で適応フィルタ処理を許容し、当該画素単位または当該小領域単位でのフィルタ適用を許容する動画像復号装置と、を備える動画像システムであって、
    前記動画像符号化装置は、
    復号画像の画素値の特徴量を、前記画素単位または前記小領域単位で求める符号化側画素値特徴量算出手段と、
    前記符号化側画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する符号化側閾値処理分類手段と、
    前記符号化側画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する符号化側動的閾値決定手段と、
    を備え
    前記符号化側動的閾値決定手段は、
    前記符号化側画素値特徴量算出手段により求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する符号化側特徴的階級検出手段と、
    前記符号化側特徴的階級検出手段により検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する符号化側閾値決定手段と、
    を備えるとともに、
    前記符号化側閾値処理分類手段による分類結果、または、前記符号化側閾値決定手段により決定された前記閾値を、前記動画像復号装置に送信する送信手段と、
    を備え、
    前記動画像復号装置は、
    前記送信手段から送信された前記分類結果または前記閾値を受信する受信手段を備えることを特徴とする動画像システム。
  16. 画素値特徴量算出手段、閾値処理分類手段、および動的閾値決定手段を備え、符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する動画像符号化装置における動画像符号化方法であって、
    前記画素値特徴量算出手段が、復号画像の画素値の特徴量を、前記画素単位または前記小領域単位で求める第1のステップと、
    前記閾値処理分類手段が、前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する第2のステップと、
    前記動的閾値決定手段が、前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する第3のステップと、
    を備え
    前記第3のステップにおいて、
    前記第1のステップにより求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する第4のステップと、
    前記第4のステップにより検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する第5のステップと、
    備えたことを特徴とする動画像符号化方法。
  17. 画素値特徴量算出手段、閾値処理分類手段、および動的閾値決定手段を備え、復号処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ適用を許容する動画像復号装置における動画像復号方法であって、
    前記画素値特徴量算出手段が、復号画像の画素値の特徴量を、前記画素単位または前記小領域単位で求める第1のステップと、
    前記閾値処理分類手段が、前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する第2のステップと、
    前記動的閾値決定手段が、前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する第3のステップと、
    を備え
    前記第3のステップにおいて、
    前記第1のステップにより求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する第4のステップと、
    前記第4のステップにより検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する第5のステップと、
    を備えたことを特徴とする動画像復号方法。
  18. 画素値特徴量算出手段、閾値処理分類手段、および動的閾値決定手段を備え、符号化処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ設計を許容する動画像符号化装置における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、
    前記画素値特徴量算出手段が、復号画像の画素値の特徴量を、前記画素単位または前記小領域単位で求める第1のステップと、
    前記閾値処理分類手段が、前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する第2のステップと、
    前記動的閾値決定手段が、前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する第3のステップと、
    を備え
    前記第3のステップにおいて、
    前記第1のステップにより求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する第4のステップと、
    前記第4のステップにより検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する第5のステップと、
    をコンピュータに実行させるためのプログラム。
  19. 画素値特徴量算出手段、閾値処理分類手段、および動的閾値決定手段を備え、復号処理ループ内で適応フィルタ処理を許容し、画素単位または複数の画素で構成される小領域単位でのフィルタ適用を許容する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
    前記画素値特徴量算出手段が、復号画像の画素値の特徴量を、前記画素単位または前記小領域単位で求める第1のステップと、
    前記閾値処理分類手段が、前記画素値特徴量算出手段により求められた特徴量と、閾値と、を比較し、当該比較結果に基づいて、前記画素のそれぞれまたは前記小領域のそれぞれを分類する第2のステップと、
    前記動的閾値決定手段が、前記画素値特徴量算出手段により求められた特徴量に基づいて、前記閾値を決定する第3のステップと、
    を備え
    前記第3のステップにおいて、
    前記第1のステップにより求められた特徴量のヒストグラムを求め、求めたヒストグラムの各階級の中から度数の集中している階級を検出する第4のステップと、
    前記第4のステップにより検出された階級のうち互いに隣り合う2つの階級の度数を求め、求めた2つの度数の間の値を、当該2つの階級に対する前記閾値として決定する第5のステップと、
    をコンピュータに実行させるためのプログラム。
JP2013120890A 2013-06-07 2013-06-07 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム Active JP6087739B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013120890A JP6087739B2 (ja) 2013-06-07 2013-06-07 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
EP14808170.6A EP3007443B1 (en) 2013-06-07 2014-06-05 Loop adaptive filtering in video coding
CN201480032529.XA CN105453565B (zh) 2013-06-07 2014-06-05 视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法
PCT/JP2014/065009 WO2014196613A1 (ja) 2013-06-07 2014-06-05 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
US14/959,155 US20160088295A1 (en) 2013-06-07 2015-12-04 Video coding device, video decoding device, video system, video coding method, video decoding method, and computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013120890A JP6087739B2 (ja) 2013-06-07 2013-06-07 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2014239338A JP2014239338A (ja) 2014-12-18
JP6087739B2 true JP6087739B2 (ja) 2017-03-01

Family

ID=52008244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013120890A Active JP6087739B2 (ja) 2013-06-07 2013-06-07 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム

Country Status (5)

Country Link
US (1) US20160088295A1 (ja)
EP (1) EP3007443B1 (ja)
JP (1) JP6087739B2 (ja)
CN (1) CN105453565B (ja)
WO (1) WO2014196613A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055539A (zh) * 2017-12-21 2018-05-18 国网江苏省电力公司泰州供电公司 一种电力调度监控处理方法
TWI698124B (zh) * 2019-06-13 2020-07-01 瑞昱半導體股份有限公司 影像調整方法以及相關的影像處理電路
TWI703863B (zh) * 2019-06-13 2020-09-01 瑞昱半導體股份有限公司 視頻品質偵測方法與影像處理電路
CN112118367B (zh) * 2019-06-20 2023-05-02 瑞昱半导体股份有限公司 影像调整方法以及相关的影像处理电路
US11610340B2 (en) * 2020-04-17 2023-03-21 Tencent America LLC Edge enhancement filter
CN114339223B (zh) * 2021-02-23 2023-03-31 杭州海康威视数字技术股份有限公司 解码方法、装置、设备及机器可读存储介质
CN113382257B (zh) * 2021-04-19 2022-09-06 浙江大华技术股份有限公司 编码方法、装置、电子设备及计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3496734B2 (ja) * 1994-04-30 2004-02-16 ソニー株式会社 エッジ領域検出装置及び方法
JP4455487B2 (ja) * 2005-12-16 2010-04-21 株式会社東芝 復号化装置及び復号化方法及びプログラム
US7742652B2 (en) * 2006-12-21 2010-06-22 Sharp Laboratories Of America, Inc. Methods and systems for image noise processing
MX2010008978A (es) * 2008-03-07 2010-09-07 Toshiba Kk Aparato de codificacion / decodificacion de video.
EP2445216A4 (en) * 2009-06-19 2013-03-20 Mitsubishi Electric Corp IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
JP2011172101A (ja) * 2010-02-19 2011-09-01 Panasonic Corp 画像符号化方法、画像符号化装置及び撮像システム
JP5464435B2 (ja) * 2010-04-09 2014-04-09 ソニー株式会社 画像復号装置および方法
JP5627507B2 (ja) * 2011-01-12 2014-11-19 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
WO2014170886A1 (en) * 2013-04-17 2014-10-23 Digital Makeup Ltd System and method for online processing of video images in real time

Also Published As

Publication number Publication date
EP3007443A4 (en) 2016-12-21
EP3007443B1 (en) 2019-12-18
CN105453565A (zh) 2016-03-30
JP2014239338A (ja) 2014-12-18
WO2014196613A1 (ja) 2014-12-11
CN105453565B (zh) 2018-09-28
US20160088295A1 (en) 2016-03-24
EP3007443A1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
JP6087739B2 (ja) 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
US20200296426A1 (en) In loop chroma deblocking filter
JP5801032B2 (ja) インループのアーチファクト除去フィルタリングのための方法および装置
US9681132B2 (en) Methods and apparatus for adaptive loop filtering in video encoders and decoders
US20200314453A1 (en) System and method for reducing blocking artifacts and providing improved coding efficiency
JP6120896B2 (ja) ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置
US8649431B2 (en) Method and apparatus for encoding and decoding image by using filtered prediction block
US9967556B2 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
EP2774376B1 (en) Video encoding and decoding based on image refinement
KR20120117613A (ko) 동영상 부호화 장치 및 방법
US9432694B2 (en) Signal shaping techniques for video data that is susceptible to banding artifacts
JP2015027022A (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
CN111903124B (zh) 图像处理装置和图像处理方法
JP5627507B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US10419775B2 (en) Moving image encoding apparatus, image capturing apparatus, moving image encoding method, and non-transitory computer readable storage medium
KR20190062284A (ko) 인지 특성에 기반한 영상 처리 방법 및 장치
JP6171584B2 (ja) 動画像符号化装置、動画像符号化方法、および動画像符号化プログラム
US9438914B2 (en) Encoding apparatus and encoding method
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
US11044472B2 (en) Method and apparatus for performing adaptive filtering on reference pixels based on size relationship of current block and reference block
WO2015046431A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
US20230254483A1 (en) Intra prediction method and apparatus for performing adaptive filtering on reference pixel
JP5728330B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
Kumar Regional mutual information-based identification and reduction of flicker artifacts during video encoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170202

R150 Certificate of patent or registration of utility model

Ref document number: 6087739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150