JP4270733B2 - 画像のサイズ変換方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像信号に対するポストフィルタ処理に適した画像処理方法及び装置に関する。
【０００２】
【従来の技術】
ポストフィルタ処理は、何らかの処理が加えられた後の画像に施されるフィルタ処理であり、例えば動画像復号化の後で、動画像符号化時の圧縮によって生じた歪を軽減するために用いられる。特に、ＭＰＥＧ方式のようなＤＣＴ（離散コサイン変換）を用いた画像符号化方式では、ブロック単位で符号化しているために生じるブロック歪や、量子化によって生じる擬似的な高域成分によるモスキート歪といった歪が問題となる。また、画像符号化時の量子化により高域成分が失われるため、画像のエッジ部分が鈍って全体的にボケた印象になってしまう。
【０００３】
このような点を改善するため、ポストフィルタ処理においては、一般に画像の性質に応じて適応的にフィルタ処理を行う方法が用いられる。しかし、従来のポストフィルタ処理では画素毎にフィルタリング処理を行う必要があるため、大きな計算量を必要とする。例えば、ＩＴＵ−ＴＨ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場合、輝度信号だけでも横３５２画素、縦２８８画素で合計１０１，３７６画素もの画素についてフィルタ処理を行うことになる。このような計算量の多い処理をソフトウェアで実現しようとするとリアルタイム処理が難しく、またハードウェアで実現する場合はコストが高くなるという問題がある。
【０００４】
一方、符号化された画像のサイズ変換を行う場合、復号後にフィルタでサイズ変換を行う方法や、ＤＣＴ係数などの変換係数面でサイズ変換を行う方法が知られている。いずれの方法でも、符号化歪が存在する状態下の画像をサイズ変換すると、サイズ変換の処理で符号化歪が拡散されてしまうため、サイズ変換後にポストフィルタ処理を行っても符号化歪が残ってしまう。一方、ポストフィルタ処理後にサイズ変換処理を行うと、拡大の場合にはボケた画像になり、縮小の場合には鮮鋭化処理の影響で折り返し歪が発生してしまう。
【０００５】
【発明が解決しようとする課題】
上述したように、従来技術によるポストフィルタ処理は画素毎にフィルタ処理を行うために、多くの計算量を必要とするという問題点があった。また、従来技術による画像のサイズ変換処理では、符号化した画像のサイズ変換を行う場合、ポストフィルタ処理を効果的に行うことができないという問題点があった。
【０００６】
本発明の目的は、少ない計算量で符号化歪などのノイズ除去フィルタ処理と鮮鋭化フィルタ処理を同時に行うことのできる画像処理方法及び装置を提供することにある。
【０００７】
本発明の他の目的は、サイズ変換を行う場合にも効果的にポストフィルタ処理を行うことができる画像処理方法及び装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係る第１の画像フィルタ処理方法では、画像信号の入力値から１単位時間前の出力値を減じた差分を計算する差分し、この差分の絶対値がある所定値より小さい場合は差分に０より大きく１より小さい値を乗じた値、また差分の絶対値が所定値より大きい場合は差分に−１より大きく０より小さい値を乗じた値をそれぞれ変更値として生成し、この変更値に従って入力値を変更して新たな出力値を計算する。
【０００９】
また、この画像処理を実現する本発明に係る第１の画像フィルタ処理装置は、フィルタ処理後の出力値を一時的に記憶保持する記憶手段と、画像信号の入力値から記憶手段に記憶保持された１単位時間前の出力値を減じた差分を計算する差分計算手段と、複数の差分候補に対応して予め計算された複数の変更値候補を格納し、差分に対応した変更値を出力するルックアップテーブルと、入力値を変更値に従って変更して新たな出力値を計算する出力値計算手段とにより構成され、ルックアップテーブルは、差分の絶対値がある所定値より小さい場合は差分に０より大きく１より小さい値を乗じた値を変更値として出力し、差分の絶対値が所定値より大きい場合は差分に−１より大きく０より小さい値を乗じた値を変更値として出力する。
【００１０】
このような第１の画像フィルタ処理方法及び装置によると、少ない計算量で、微細な画像信号の変動を平滑化する符号化歪み除去と大きな画像信号の変動のエッジ部分を強調する鮮鋭化を同時に行うことができる。
【００１１】
本発明に係る第２の画像フィルタ処理方法では、入力される画像信号をノイズ除去フィルタ処理した後にサイズ変換処理を行い、次いで鮮鋭化フィルタ処理を行う。すなわち、この画像処理方法は入力される画像信号に対してノイズ除去フィルタ処理を行うノイズ除去フィルタ処理ステップと、このノイズ除去フィルタ処理ステップによる処理後の画像信号に対してサイズ変換処理を行うサイズ変換処理ステップと、このサイズ変換処理ステップにる処理後の画像信号に対して鮮鋭化フィルタ処理を行う鮮鋭化フィルタ処理ステップとからなる。
【００１２】
ここで、ノイズ除去フィルタ処理ステップでは、入力される画像信号の入力値から１単位時間前のフィルタ処理後の出力値を減じた第１の差分を計算し、この第１の差分に０より大きく１より小さい値を乗じた値を第１の変更値として生成して、この第１の変更値に従って入力される画像信号の入力値を変更して新たな出力値を計算する。
【００１３】
また、鮮鋭化フィルタ処理ステップでは、サイズ変換処理後の画像信号の入力値から１単位時間前の出力値を減じた第２の差分を計算し、この第２の差分に−１より大きく０より小さい値を乗じた値を変更値として生成して、この第２の変更値に従ってサイズ変換処理ステップによる処理後の画像信号の入力値を第２の変更値に従って変更して新たな出力値を計算する。
【００１４】
さらに、第２の画像処理方法を実現する本発明に係る第２の画像処理装置は、入力される画像信号に対してノイズ除去フィルタ処理を行うノイズ除去フィルタ処理部と、このノイズ除去フィルタ処理部から出力される画像信号に対してサイズ変換処理を行うサイズ変換処理部と、このサイズ変換処理手段から出力される画像信号に対して鮮鋭化フィルタ処理を行う鮮鋭化フィルタ処理部とからなり、ノイズ除去フィルタ処理部及び鮮鋭化フィルタ処理部は、第１の画像処理装置と同様に、それぞれ記憶手段、差分計算手段、ルックアップテーブル及び出力値計算手段から構成される。
【００１５】
このような第２の画像フィルタ処理方法及び装置によると、画像サイズ変換処理を行う場合にも、少ない計算量で微細な画像信号の変動を平滑化する符号化歪み除去と、大きな画像信号の変動のエッジ部分を強調する鮮鋭化を同時に行うことが可能となる。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像フィルタ処理装置の構成を示すブロック図である。この画像フィルタ処理装置は、入力端子１００に入力された画像信号の画素値（入力値）から出力端子１０５に出力される一単位時間前の画像信号の画素値（出力値）を減じた差分を求める加算器１０１と、この差分がアドレスとして与えられることにより入力値に対する変更値を出力するルックアップテーブル１０２と、この変更値に従って入力値を変更することにより出力値を計算する加算器１０３と、出力値を一時的に記憶保持するメモリ１０４とから構成される。ルックアップテーブル１０２には、加算器１０１によって求められ得る複数の差分候補に対応して予め計算された複数の変更値候補が格納されている。
【００１７】
次に、本実施形態による画像フィルタ処理装置の動作を具体的に説明する。 入力値をＰ[t]、出力値をＱ[t]とする。ｔは画素の位置を表している。位置ｔの画素にフィルタ処理を施すために、入力画素値Ｐ[t]とメモリ１０４に記憶保持されている一単位時間前の出力値Ｑ[t-1]が加算器１０１に入力され、差分ｄが計算される。この差分ｄによってルックアップテーブル１０２が参照され、変更値ｆ(d)が生成される。この変更値ｆ(d)が加算器１０３において入力値Ｐ[t]から差し引かれることにより、出力値Ｑ[t]が求められる。この一連の動作を数式で表すと、次のようになる。
Ｑ[t] ＝Ｐ[t]−ｆ(d) （１）
ｄ＝Ｐ[t]−Ｑ[t-1] （２）
ルックアップテーブル１０２には、関数ｆで予め計算された変更値ｆ(d)の多数の候補が差分ｄの多数の候補に対応付けられてテーブルとして格納されている。例えば、画素値が０〜２５５の範囲の値を持つ８ビットデータならば、差分ｄは−２５５〜＋２５５の範囲となるから、ルックアップテーブル１０２には５１１個の配列を用意しておけばよい。従って、この画像フィルタ処理装置でのフィルタ処理に必要な演算は、１画素のフィルタ処理につき加算器１０１，１０３での２回の加算のみでよい。
【００１８】
このフィルタ処理の基本は、次式（３）に示されるように、現画素である入力値Ｐ[t]と一単位時間前の出力値Ｑ[t-1]との重み付け加算を行うことである。ただし、重み付け係数αは両者の差分ｄによって変わる。
Ｑ[t] ＝(1−α)Ｐ[t]＋αＱ[t-1] （３）
重み付け係数αの計算を式（２）の差分ｄを変数として表すと、
Ｑ[t] ＝Ｐ[t]−αｄ （４）
となる。
【００１９】
ここで、
０＜α＜１ （５）
のとき、Ｑ[t]は入力値Ｐ[t]と一単位時間前の出力値Ｑ[t]との重み付け平均となり、これは平滑化処理となる。一方、
−１＜α＜０ （６）
のときは、Ｑ[t]は入力値Ｐ[t]と一単位時間前の出力値Ｑ[t]との差分ｄに比例してＰ[t]に画素値が足されるような鮮鋭化処理となる。以上の関係をｆ(d)を縦軸に、ｄを横軸にしてグラフ化すると、図２のようになる。図２の右上がりの斜線で示す領域は式（５）に対応し、左下がりの斜線で示す領域は式（６）に対応している。
【００２０】
本実施形態において、変更値ｆ(d)の値は例えば図３に示されるように差分ｄの絶対値が所定値ｄth以下の場合は式（５）の領域をとり、ｄの絶対値が所定値以上ｄthの場合は式（６）の領域をとるように設定される。このような変更値ｆ(d)を設定することにより、微細な画素値の変動に対しては、平滑化処理を行って符号化歪を除去することができ、また画素値の大きな変動部分につていは、エッジと判断してエッジ強調を行い、鮮鋭化処理することができる。
【００２１】
このフィルタ処理は、一単位時間前の出力値を使うことから、巡回型のフィルタ処理になっている。巡回型フィルタ処理は位相のずれが生じるため、単独で画像処理に用いることは適当でない。そこで、以下のように、このフィルタ処理を複数回行うことで、この問題点を回避する。
【００２２】
図４は、図１の画像フィルタ処理装置を用いたポストフィルタ処理の具体的な手順を示すフローチャートである。このポストフィルタ処理では、入力画像に対して画面（フレーム）の４方向からフィルタ処理を行う。まず、フレームの右から左へ向かうポストフィルタ処理を行う（Ｓ１０１）。具体的には図５（ａ）に示すように、画面の右から左に順番に画素毎にポストフィルタ処理を行う。次に、反対方向の左から右へ向かうのポストフィルタ処理を行う（Ｓ１０２）。具体的には図５（ｂ）に示すように、画面の左から右に順番に画素毎にポストフィルタ処理を行う。
【００２３】
同様に、今度は上から下へ向かうポストフィルタ処理を行い（Ｓ１０３）、次に反対方向の下から上へ向かうポストフィルタ処理を行う（Ｓ１０４）。具体的には、図５（ｃ）及び図５（ｄ）に示すように、画面の上から下の順番、次に下から上の順番に画素毎にポストフィルタ処理を行う。
【００２４】
入力信号がカラー画像信号、例えば輝度信号Ｙ及び二つの色差信号Ｃｂ，Ｃｒである場合、図５（ａ）（ｂ）（ｃ）（ｄ）で説明した処理をＹ，Ｃｂ，Ｃｒそれぞれの信号に対して行う。このように互いに反対方向からフィルタ処理を行うことによって、以前の出力値を用いる巡回型フィルタ処理の欠点である位相のずれを打ち消すことができる。また、この例のように４方向からフィルタ処理を行った場合でも、１画素当たりのフィルタ処理に必要な計算量は８回の加算のみで済む。
【００２５】
なお、本実施形態においては、右→左、左→右、上→下、下→上の順番にフィルタ処理を行ったが、互いに打ち消し合う方向であれば、どのような順番でもよい。また、４方向の例を示したが、左右のみ、あるいは上下のみの２方向や、斜めを入れた８方向でフィルタ処理を行ってもよい。
【００２６】
図６は、本実施形態の効果を示す図である。このフィルタ処理の特徴は、符号化歪のような微小な変動の信号成分は平滑化し、逆に大きな変動の信号成分をより増強してエッジを強調する動作を行う。このようにポストフィルタ処理を行うことによって、歪感が少なく、鮮鋭度の高い画像を得ることができる。
【００２７】
このように本実施形態によると、少ない計算量で、符号化歪除去と鮮鋭化を同時に行うことのできる画像フィルタ装置を提供することができる。
【００２８】
（第２の実施形態）
次に、本発明の第２の実施形態として、符号化画像のポストフィルタ処理と画像サイズ変換の両方を行う例について説明する。図７は、符号化画像に対するポストフィルタ処理と画像サイズ変換処理の両方を行う場合の具体的な処理の流れを示す図である。また、図８は本実施形態に係る画像処理装置の構成を示す、
まず、ノイズ除去フィルタ処理部２０１によってノイズ除去のポストフィルタ処理を行う（Ｓ２０１）。ノイズ除去フィルタ処理部２０１は、第１の実施形態で説明した画像フィルタ処理装置と同様の構成であり、加算器１０１Ａ、ルックアップテーブル１０２Ａ、加算器１０３Ａ及びメモリ１０４Ａからなる。ここで、ルックアップテーブル１０２Ａに用いられている関数ｆ(d)は図９に示すようなものであり、ｄの絶対値が所定値ｄth以下のとき式（５）の領域の値をとる。
【００２９】
次に、ステップＳ２０１でノイズ除去された後の画像に対して、通常のＦＩＲフィルタにより構成されたサイズ変換処理部２１２によって画像サイズの変換処理を行う（Ｓ２０２）。一例として、サイズ変換処理部２０２にＭＰＥＧ−１のテストモデルであったＳＭ３で用いられた５タップのＦＩＲフィルタを用いる方法を示す。この方法においては、画像サイズを２倍に拡大するときには、拡大方向の画素間を零内挿した上で、(-3,0,35,64,35,0,-3)/128の５タップのＦＩＲフィルタをかけて拡大画像を作成する。画像サイズを１／２に縮小するときには、(-29,0,88,138,88,0,-29)/256の５タップのＦＩＲフィルタをかけて画素を１／２サブサンプリングする。
【００３０】
最後に、鮮鋭化フィルタ処理部２０３によって鮮鋭化のポストフィルタ処理を行う（Ｓ２０３）。この鮮鋭化処理部２０３も第１の実施形態で説明した画像フィルタ処理装置と同様の構成であり、加算器１０１Ｂ、ルックアップテーブル１０２Ｂ、加算器１０３Ｂ及びメモリ１０４Ｂからなる。ここで、ルックアップテーブル１０２Ｂに用いられている関数ｆ(d)は図１０に示すようなものであり、ｄの絶対値が所定値ｄth以上のとき式（６）の領域の値をとる。従って、隣接画素値が一定以上大きいとエッジと判断してエッジ強調を行い、鮮鋭化処理を行う。
【００３１】
図１１は、本実施形態に従ってノイズ除去フィルタ処理とサイズ変換処理である拡大フィルタ処理及び鮮鋭化フィルタ処理を行った場合の効果を示している。ノイズ除去フィルタによって符号化歪による微少な変動成分を除去し、さらに拡大した後に鮮鋭化処理を行う。このような順序で各処理を行うことにより、拡大した場合にも歪感が少なく、エッジの立った鮮鋭な画像が得られる。
【００３２】
【発明の効果】
以上説明したように、本発明によれば少ない計算量で、符号化歪除去と鮮鋭化を同時に行うことができ、また、サイズ変換を行う場合にも効果的にポストフィルタ処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像フィルタ処理装置の構成を示すブロック図
【図２】同実施形態におけるルックアップテーブルの作成法を説明する図
【図３】同実施形態におけるルックアップテーブルの内容の具体例を示す図
【図４】同実施形態におけるポストフィルタ処理の好ましい手順を示すフローチャート
【図５】同ポストフィルタの動作を具体的に説明する図
【図６】同実施形態におけるポストフィルタ処理の効果を示す図
【図７】本発明の第２の実施形態に係る画像フィルタ処理の手順を示すフローチャート
【図８】同実施形態に係る画像フィルタ処理装置の構成を示すブロック図
【図９】同実施形態におけるノイズ除去フィルタ処理部内のルックアップテーブルを説明する図
【図１０】同実施形態における鮮鋭化ポストフィルタ処理部内のルックアップテーブルを説明する図
【図１１】同実施形態の効果を説明する図
【符号の説明】
１００…入力端子
１０１…差分計算用加算器
１０２…変更値生成用ルックアップテーブル
１０３…出力値計算用加算器
１０４…一時記憶用メモリ
１０５…出力端子
２０１…ノイズ除去フィルタ処理部
２０２…サイズ変換処理部
２０３…鮮鋭化フィルタ処理部

Claims (7)

1. 入力される符号化した画像信号に対して、
   入力される画像信号の第１の入力値から１単位時間前のフィルタ処理後の出力値を減じた第１の差分を計算するステップと、
   前記第１の差分の絶対値がある所定値より小さい場合に前記第１の差分に０より大きく１より小さい値を乗じた値を第１の変更値として生成するステップと、
   前記入力される画像信号の入力値を前記第１の変更値に従って変更して新たな出力値を計算するステップと、
   を有する符号化歪除去ポストフィルタ処理を行う符号化歪除去フィルタ処理ステップと、
   前記符号化歪除去ポストフィルタ処理ステップによる処理後の画像信号に対してサイズ変換処理を行うサイズ変換処理ステップと、
   前記サイズ変換処理ステップによる処理後の画像信号に対して鮮鋭化ポストフィルタ処理を行う鮮鋭化ポストフィルタ処理ステップと、
   を具備することを特徴とする符号化した画像のサイズ変換方法。
2. 前記符号化歪除去ポストフィルタ処理ステップは、前記符号化歪除去ポストフィルタ処理を前記入力される符号化した画像信号に対して、（ａ）画面の右から左に向かうフィルタ処理、（ｂ）画面の左から右に向かうフィルタ処理、（ｃ）画面の上から下に向かうフィルタ処理、及び（ｄ）画面の下から上に向かうフィルタ処理のうち、（ａ）（ｂ）のフィルタ処理及び（ｃ）（ｄ）のフィルタ処理の少なくとも一方を行うことを特徴とする請求項１に記載の符号化した画像のサイズ変換方法。
3. 入力される符号化した画像信号に対して符号化歪除去ポストフィルタ処理を行う符号化歪除去フィルタ処理ステップと、
   前記符号化歪除去ポストフィルタ処理ステップによる処理後の画像信号に対してサイズ変換処理を行うサイズ変換処理ステップと、
   前記サイズ変換処理ステップによる処理後の画像信号に対して、
   サイズ変換処理ステップによる処理後の画像信号の入力値から１単位時間前の出力値を減じた第２の差分を計算するステップと、
   前記第２の差分の絶対値がある所定値より大きい場合に前記第２の差分に−１より大きく０より小さい値を乗じた値を変更値として生成するステップと、
   前記サイズ変換処理ステップによる処理後の画像信号の入力値を前記第２の変更値に従って変更して新たな出力値を計算するステップと、
   を有する鮮鋭化ポストフィルタ処理を行う鮮鋭化ポストフィルタ処理ステップと、
   を具備することを特徴とする符号化した画像のサイズ変換方法。
4. 前記鮮鋭化ポストフィルタ処理ステップは、前記鮮鋭化ポストフィルタ処理を前記サイズ変換処理ステップによる処理後の画像信号に対して、（ａ）画面の右から左に向かうフィルタ処理、（ｂ）画面の左から右に向かうフィルタ処理、（ｃ）画面の上から下に向かうフィルタ処理、及び（ｄ）画面の下から上に向かうフィルタ処理のうち、（ａ）（ｂ）のフィルタ処理及び（ｃ）（ｄ）のフィルタ処理の少なくとも一方を行うことを特徴とする請求項３に記載の符号化した画像のサイズ変換方法。
5. 入力される符号化した画像信号に対して符号化歪除去フィルタ処理を行う符号化歪除去フィルタ処理部と、
   前記符号化歪除去フィルタ処理部から出力される画像信号に対してサイズ変換処理を行うサイズ変換処理部と、
   前記サイズ変換処理手段から出力される画像信号に対して鮮鋭化ポストフィルタ処理を行う鮮鋭化ポストフィルタ処理部とを具備し、
   前記符号化歪除去ポストフィルタ処理部は、
   符号化歪除去ポストフィルタ処理後の出力値を一時的に記憶保持する第１の記憶手段と、
   該符号化歪除去ポストフィルタ処理部に入力される画像信号の入力値から前記第１の記憶手段に記憶保持された１単位時間前の出力値を減じた第１の差分を計算する第１の差分計算手段と、
   複数の第１の差分候補に対応して予め計算された複数の第１の変更値候補を格納し、前記第１の差分の絶対値がある所定値より小さい場合に前記第１の差分に０より大きく１より小さい値を乗じた値を第１の変更値として出力する第１のルックアップテーブルと、
   前記符号化歪除去フィルタ処理部に入力される画像信号の入力値を前記変更値に従って変更して新たな出力値を計算する第１の出力値計算手段と、
   を有することを特徴とする符号化した画像のサイズ変換装置。
6. 前記鮮鋭化ポストフィルタ処理部は、
   鮮鋭化ポストフィルタ処理後の出力値を一時的に記憶保持する第２の記憶手段と、
   該鮮鋭化ポストフィルタ処理部に入力される画像信号の入力値から前記第２の記憶手段に記憶保持された１単位時間前の出力値を減じた第２の差分を計算する第２の差分計算手段と、
   複数の第２の差分候補に対応して予め計算された複数の第２の変更値候補を格納し、前記第２の差分の絶対値がある所定値より大きい場合に前記第２の差分に−１より大きく０より小さい値を乗じた値を第２の変更値として出力する第２のルックアップテーブルと、
   前記鮮鋭化ポストフィルタ処理部に入力される画像信号の入力値を前記第２の変更値に従って変更して新たな出力値を計算する第２の出力値計算手段と、
   を有する請求項５に記載の符号化した画像のサイズ変換装置。
7. 入力される符号化した画像信号に対して符号化歪除去フィルタ処理を行う符号化歪除去フィルタ処理部と、
   前記符号化歪除去フィルタ処理部から出力される画像信号に対してサイズ変換処理を行うサイズ変換処理部と、
   前記サイズ変換処理手段から出力される画像信号に対して鮮鋭化ポストフィルタ処理を行う鮮鋭化ポストフィルタ処理部とを具備し、
   前記鮮鋭化ポストフィルタ処理部は、
   鮮鋭化ポストフィルタ処理後の出力値を一時的に記憶保持する第２の記憶手段と、
   該鮮鋭化ポストフィルタ処理部に入力される画像信号の入力値から前記第２の記憶手段に記憶保持された１単位時間前の出力値を減じた第２の差分を計算する第２の差分計算手段と、
   複数の第２の差分候補に対応して予め計算された複数の第２の変更値候補を格納し、前記第２の差分の絶対値がある所定値より大きい場合に前記第２の差分に−１より大きく０より小さい値を乗じた値を第２の変更値として出力する第２のルックアップテーブルと、
   前記鮮鋭化ポストフィルタ処理部に入力される画像信号の入力値を前記第２の変更値に従って変更して新たな出力値を計算する第２の出力値計算手段と、
   を有することを特徴とする符号化した画像のサイズ変換装置。

Images