JP5653307B2 - 画像符号化方法,画像符号化装置およびそのプログラム - Google Patents
画像符号化方法,画像符号化装置およびそのプログラム Download PDFInfo
- Publication number
- JP5653307B2 JP5653307B2 JP2011141726A JP2011141726A JP5653307B2 JP 5653307 B2 JP5653307 B2 JP 5653307B2 JP 2011141726 A JP2011141726 A JP 2011141726A JP 2011141726 A JP2011141726 A JP 2011141726A JP 5653307 B2 JP5653307 B2 JP 5653307B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- block
- image
- denoising
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
・「探索形状」:テンプレートマッチングの対象とする当該画素周辺の各探索点の集合体,また,その集合体が形作る形状。
・「テンプレート形状」:テンプレートマッチングの際に当該画素と各探索点の類似度を計算するときに用いる画素群,また,その画素群が形作る形状。画素群は,当該画素周辺と各探索点周辺で同じ形状を用い,相対位置関係が同じ位置同士の画素値を比較する。
(1)重み値合計の変数SWを0,画素値合計の変数SPを0に初期化する。
(2)探索形状内のすべての各探索点に対して,以下の処理を繰り返す。
(2−1)テンプレート類似度としてSSDを算出する。
(2−2)重み値W=exp(−SSD/デノイズ係数)
(2−3)重み値合計SW=重み値合計SW+重み値W
(2−4)画素値合計SP=画素値合計SP+重み値W×(探索点の画素値)
(3)探索形状内のすべての探索点について(2)の処理を終えたならば,デノイズ対象画素のデノイズ後の画素値を,次式により求める。
また,“MPEG”や“VCEG”にて現在国際標準化活動が行われている次世代映像符号化標準方式の“High Efficiency Video Coding”の雛形(Test Model)である“HM”には,符号化歪を除去するためにデブロッキングフィルタによるデノイズフィルタが搭載されている(非特許文献2参照)。
ブロックごとにNLMフィルタ適用の有無を参照してブロック内のNLMフィルタ適用画素数をカウントし,所定の上限に達した時点で処理を終了し,以降のブロックや画素にはNLMフィルタを適用しない。
ブロックごとにNLMフィルタ適用の有無を参照してブロック内のNLMフィルタ適用画素数における各演算量をカウントし,所定の上限に達した時点で処理を終了し,以降のブロックや画素にはNLMフィルタを適用しない。
図1は,本発明が適用される符号化装置の構成例を示す図である。本発明は,例えば図1に示すような映像符号化装置に適用されるが,これは一例であり,本発明は,必ずしも図1に示すような装置構成のものに限定されるわけではない。
図2および図3は,図1に示す映像符号化装置の処理フローチャートを示している。映像符号化装置は,以下の処理を行う。
・まず,ステップS101にて,入力シーケンスを原画像記憶部101に格納する。
・次に,ステップS102にて,シーケンス情報を符号化してビットストリーム記憶部125に格納する。
・次に,ステップS103にて,符号化対象の全フレームに対するステップS117までのループ処理を行う。
・次に,ステップS104にて,符号化対象画像の全CodingUnit(CU)に対するステップS114までのループ処理を行う。
・次に,ステップS105にて,ブロックサイズを決定し,符号化してビットストリーム記憶部125に格納する。
・次に,ステップS106にて,予測サイズを決定し,符号化してビットストリーム記憶部125に格納する。
・次に,ステップS107にて,画面内/フレーム間予測の各予測ブロックの中で,最も符号化効率が高い手法と対象ブロックの差分値を計算する。
・次に,ステップS108にて,予測情報をビットストリーム記憶部125に格納する。
・次に,ステップS109にて,変換サイズを決定し,符号化してビットストリーム記憶部125に格納する。
・次に,ステップS110にて,離散コサイン変換(DCT)を行う。
・次に,ステップS111にて,量子化を行い,量子化後DCT係数を符号化してビットストリーム記憶部125に格納する。
・次に,ステップS112にて,逆量子化と逆離散コサイン変換を行う。
・次に,ステップS113にて,ステップS107にて適用された予測ブロックと逆変換後の復号差分ブロックとを加算合成する。
・次に,ステップS114にて,復号画像記憶部110に加算合成した部分復号画像を格納する。
・符号化対象画像の全CUに対するループ処理が終了すると,ステップS115にて,ループフィルタA部200が,復号画像に符号化歪みを軽減するためのフィルタ処理を施す。この処理の詳細については,図6,図8を用いて後述する。
・次に,ステップS116にて,ALF(Adaptive Loop Filter)を実行し,ALF係数を符号化してビットストリーム記憶部125に格納する。
・次に,ステップS117にて,ALF後復号画像をフレームバッファ115に格納する。
・符号化対象の全フレームに対するループ処理が終了すると,ステップS118にて,ビットストリームを出力して処理を終了する。
図4は,図1に示す符号化装置におけるループフィルタA部200とそれに関連する部分の構成例を示している。図4において,原画像記憶部101,復号画像記憶部110,ビットストリーム記憶部125,符号化情報記憶部126は,図1に示すものと同じであり,他の部分がループフィルタA部200の構成要素となっている。
図5に,フィルタ適応選択部の第1の例を示す。第1の例は,デノイズフィルタが適用される画素数の上限を制限する場合の例である。
図6は,第1の例によるループフィルタA部の処理フローチャートである。ループフィルタA部200は,復号画像を参照してループフィルタB部114にフィルタ後復号画像を受け渡すまでに以下の手順に従った処理を実行する。
・まず,ステップS201にて,復号画像と原画像を用いて符号化効率が最適になるデノイズ係数を算出し,デノイズ係数を符号化してビットストリーム記憶部125に格納する。
・次に,ステップS202にて,ブロックごとのループ処理により,各ブロックについてステップS203〜S205の処理を行う。
・ステップS203では,復号画像に対して,ステップS201で算出したデノイズ係数を用いてデノイズフィルタの処理を実行し,コスト(SSD)を算出する。
・ステップS204では,復号画像に対して,デブロッキングフィルタを適用し,コスト(SSD)を算出する。
・次に,ステップS205にて,ステップS203で算出したコストとステップS204で算出したコストとを比較し,コストの低いフィルタを選択し,フィルタ適用判定ビットをコストの低いほうに設定する。
・ステップS206では,終了判定処理により,以上のステップS203〜S205の処理をブロックが終了するまで繰り返す。
・次に,ステップS207にて,ブロックごとにフィルタ適用判定ビットのリストに設定された手法におけるブロックのコストと,デブロッキングフィルタ後のブロックのコスト間の差分を計算し,コスト差分の昇順にソートする。
・次に,ステップS208にて,コストの低い順にフィルタ適用判定ビットを参照してデノイズフィルタ適用対象のブロックを選択し,デノイズフィルタが適用される画素数をカウントする。
・ステップS209では,カウント結果の画素数がデノイズフィルタ許容合計画素数を超えたかどうかを判定し,超えた場合にはステップS211へ,超えていない場合にはステップS210へ進む。
・ステップS210では,コスト順にソートした結果のすべてのブロックに対する処理が終了したかどうかを判定し,終了した場合にはステップS212へ進み,終了していない場合にはステップS208へ戻って,次にコストの低いブロックについて同様に処理を繰り返す。
・ステップS211では,デノイズフィルタ許容合計画素数を超えたブロックと,その後のブロックのフィルタ適用判定ビットを,すべてデブロッキングフィルタに書き換える。すなわち,それ以降のブロックについては,デノイズフィルタの適用を打ち切る。
・ステップS212では,フィルタ適用判定ビットに従って,デノイズフィルタまたはデブロッキングフィルタ適用後の画像を生成し,ループフィルタB部114に出力する。また,フィルタ適用判定ビット群を符号化し,ビットストリーム記憶部125に出力する。
図7に,フィルタ適応選択部の第2の例を示す。第2の例は,デノイズフィルタの合計演算量の上限を制限する場合の例である。
図8は,第2の例によるループフィルタA部の処理フローチャートである。ループフィルタA部200は,復号画像を参照してループフィルタB部114にフィルタ後復号画像を受け渡すまでに以下の手順を行う。
・ステップS301からステップS307までの処理は,図6で説明したステップS201からステップS207までの処理と同様である。
・ステップS308では,コストの低い順にフィルタ適用判定ビットを参照してデノイズフィルタ適用対象のブロックを選択し,デノイズフィルタが適用される画素に対する演算量をカウントする。
・ステップS309では,カウント結果の演算量がデノイズフィルタ許容合計演算量を超えたかどうかを判定し,超えた場合にはステップS311へ,超えていない場合にはステップS310へ進む。
・ステップS310以降の処理は,図6で説明したステップS210以降の処理と同様である。
以上の符号化の処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。
110 復号画像記憶部
125 ビットストリーム記憶部
126 符号化情報記憶部
201 デノイズ係数決定部
202 デノイズフィルタ処理部
203 デブロッキングフィルタ処理部
204 デノイズ係数符号化部
205 フィルタ情報符号化部
210,210′ フィルタ適応選択部
211,221 ブロックSSD算出部
212,222 SSD差分順ソート部
213,223 ブロック選択部
214,224 フィルタ後画像生成部
Claims (7)
- ループフィルタとして,テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によって対象画素のノイズを除去するデノイズフィルタと,ブロック歪みを除去するデブロッキングフィルタとを,ブロックごとに適応選択して用いることにより,予測符号化された画像の復号画像に対するノイズを除去し,画像を符号化する画像符号化方法であって,
前記デノイズフィルタが適応選択されたブロックにおける該フィルタが適用される画素数を計測し,ブロックごとに順次計測された画素数の合計を算出するステップと,
前記画素数の合計と,所定のデノイズフィルタ許容合計画素数とを比較するステップと,
前記画素数の合計が,前記所定のデノイズフィルタ許容合計画素数を超えた場合に,そのブロック以降のブロックに対して,前記デノイズフィルタの適用を打ち切り,前記デブロッキングフィルタを適用するステップとを実行する
ことを特徴とする画像符号化方法。 - 請求項1記載の画像符号化方法において,
前記ブロックごとに順次計測された画素数の合計を算出するステップでは,前記デノイズフィルタが適応選択されたブロックについて,前記デブロッキングフィルタを適用した場合との比較による相対的な符号化のコストが小さい順のブロックの順番で画素数の合計を算出する
ことを特徴とする画像符号化方法。 - ループフィルタとして,テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によって対象画素のノイズを除去するデノイズフィルタと,ブロック歪みを除去するデブロッキングフィルタとを,ブロックごとに適応選択して用いることにより,予測符号化された画像の復号画像に対するノイズを除去し,画像を符号化する画像符号化方法であって,
前記デノイズフィルタが適応選択されたブロックの該フィルタが適用される各画素におけるテンプレートの構成画素数と探索形状内の探索点数とから演算量を計測し,ブロックごとに順次計測された演算量の合計を算出するステップと,
前記演算量の合計と,所定のデノイズフィルタ許容合計演算量とを比較するステップと,
前記演算量の合計が,前記所定のデノイズフィルタ許容合計演算量を超えた場合に,そのブロック以降のブロックに対して,前記デノイズフィルタの適用を打ち切り,前記デブロッキングフィルタを適用するステップとを実行する
ことを特徴とする画像符号化方法。 - 請求項3記載の画像符号化方法において,
前記ブロックごとに順次計測された演算量の合計を算出するステップでは,前記デノイズフィルタが適応選択されたブロックについて,前記デブロッキングフィルタを適用した場合との比較による相対的な符号化のコストが小さい順のブロックの順番で演算量の合計を算出する
ことを特徴とする画像符号化方法。 - ループフィルタとして,テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によって対象画素のノイズを除去するデノイズフィルタと,ブロック歪みを除去するデブロッキングフィルタとを,ブロックごとに適応選択して用いることにより,予測符号化された画像の復号画像に対するノイズを除去し,画像を符号化する画像符号化装置であって,
前記デノイズフィルタが適応選択されたブロックにおける該フィルタが適用される画素数を計測し,ブロックごとに順次計測された画素数の合計を算出する手段と,
前記画素数の合計と,所定のデノイズフィルタ許容合計画素数とを比較する手段と,
前記画素数の合計が,前記所定のデノイズフィルタ許容合計画素数を超えた場合に,そのブロック以降のブロックに対して,前記デノイズフィルタの適用を打ち切り,前記デブロッキングフィルタを適用する手段とを備える
ことを特徴とする画像符号化装置。 - ループフィルタとして,テンプレートマッチングによりテンプレート類似度に応じた重みと探索点における画素値の加重和によって対象画素のノイズを除去するデノイズフィルタと,ブロック歪みを除去するデブロッキングフィルタとを,ブロックごとに適応選択して用いることにより,予測符号化された画像の復号画像に対するノイズを除去し,画像を符号化する画像符号化装置であって,
前記デノイズフィルタが適応選択されたブロックの該フィルタが適用される各画素におけるテンプレートの構成画素数と探索形状内の探索点数とから演算量を計測し,ブロックごとに順次計測された演算量の合計を算出する手段と,
前記演算量の合計と,所定のデノイズフィルタ許容合計演算量とを比較する手段と,
前記演算量の合計が,前記所定のデノイズフィルタ許容合計演算量を超えた場合に,そのブロック以降のブロックに対して,前記デノイズフィルタの適用を打ち切り,前記デブロッキングフィルタを適用する手段とを備える
ことを特徴とする画像符号化装置。 - 請求項1から請求項4までのいずれか1項に記載の画像符号化方法を,コンピュータに実行させるための画像符号化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011141726A JP5653307B2 (ja) | 2011-06-27 | 2011-06-27 | 画像符号化方法,画像符号化装置およびそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011141726A JP5653307B2 (ja) | 2011-06-27 | 2011-06-27 | 画像符号化方法,画像符号化装置およびそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013009242A JP2013009242A (ja) | 2013-01-10 |
JP5653307B2 true JP5653307B2 (ja) | 2015-01-14 |
Family
ID=47676212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011141726A Active JP5653307B2 (ja) | 2011-06-27 | 2011-06-27 | 画像符号化方法,画像符号化装置およびそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5653307B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3095226A1 (en) | 2018-03-28 | 2019-10-03 | Huawei Technologies Co., Ltd. | An image processing device and method for performing efficient deblocking |
CN113395415B (zh) * | 2021-08-17 | 2021-11-26 | 深圳大生活家科技有限公司 | 基于降噪技术的相机数据处理方法及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4230636B2 (ja) * | 2000-02-29 | 2009-02-25 | 株式会社東芝 | 動画像再生方法および動画像再生装置 |
DK1387585T3 (da) * | 2001-09-12 | 2005-07-25 | Matsushita Electric Ind Co Ltd | Billedkodningsfremgangsmåde og billedkodningsfremgangsmåde |
JP2007174196A (ja) * | 2005-12-21 | 2007-07-05 | Toshiba Corp | 情報処理装置、制御方法およびプログラム |
JP4643454B2 (ja) * | 2006-01-10 | 2011-03-02 | 株式会社東芝 | 動画像復号装置及び動画像復号方法 |
JP4649347B2 (ja) * | 2006-02-28 | 2011-03-09 | 株式会社東芝 | 情報処理装置及び情報処理装置の動画像復号方法 |
JP2007306538A (ja) * | 2006-04-12 | 2007-11-22 | Matsushita Electric Ind Co Ltd | 画像復号装置及び方法 |
JP2008160359A (ja) * | 2006-12-22 | 2008-07-10 | Victor Co Of Japan Ltd | 動画像符号化装置、動画像符号化方法、および動画像符号化用プログラム |
US20120087595A1 (en) * | 2009-06-19 | 2012-04-12 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method, and image decoding method |
-
2011
- 2011-06-27 JP JP2011141726A patent/JP5653307B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013009242A (ja) | 2013-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI496475B (zh) | 影像編碼/解碼方法、影像編碼/解碼裝置及其程式 | |
TWI491253B (zh) | 畫像處理方法、畫像處理裝置、影像編碼/解碼方法、影像編碼/解碼裝置及其程式 | |
JP7546721B2 (ja) | ビデオ符号化のための双方向オプティカルフローおよびデコーダ側動きベクトル補正を選択的に適用する方法およびデバイス | |
KR100584552B1 (ko) | 동영상 부호화 및 복호화 방법과 그 장치 | |
US20200244965A1 (en) | Interpolation filter for an inter prediction apparatus and method for video coding | |
KR20170093833A (ko) | 인트라 모드들의 코딩 | |
WO2020258055A1 (zh) | 环路滤波的方法与装置 | |
JP5653307B2 (ja) | 画像符号化方法,画像符号化装置およびそのプログラム | |
JP5868157B2 (ja) | 画像処理方法/装置,映像符号化方法/装置,映像復号方法/装置およびそれらのプログラム | |
KR101443865B1 (ko) | 인터 예측 방법 및 장치 | |
JP6769302B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム | |
WO2022037583A1 (en) | Systems and methods for intra prediction smoothing filter | |
CN116982262A (zh) | 视频编码中依赖性量化的状态转换 | |
KR101247024B1 (ko) | 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법 | |
JP2017073602A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
KR20180107067A (ko) | 영상 부호화/복호화 장치 및 방법 | |
KR20200134302A (ko) | 이미지 처리 장치 및 방법 | |
WO2023241340A1 (en) | Hardware for decoder-side intra mode derivation and prediction | |
KR100622305B1 (ko) | 동영상 복호화 방법과 그 장치 | |
WO2021056920A1 (zh) | 视频编解码的方法和装置 | |
KR100708206B1 (ko) | 동영상 복호화 방법과 그 장치 | |
KR100694166B1 (ko) | 동영상 부호화 방법과 그 장치 | |
CN112204986A (zh) | 视频编解码的方法和装置 | |
KR20050098216A (ko) | 동영상 부호화 및 복호화 방법과 그 장치 | |
KR20050098214A (ko) | 동영상 부호화 및 복호화 방법과 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5653307 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |