JP3715273B2 - 画像データの平滑化処理装置、平滑化処理方法及び平滑化処理プログラム - Google Patents
画像データの平滑化処理装置、平滑化処理方法及び平滑化処理プログラム Download PDFInfo
- Publication number
- JP3715273B2 JP3715273B2 JP2002342599A JP2002342599A JP3715273B2 JP 3715273 B2 JP3715273 B2 JP 3715273B2 JP 2002342599 A JP2002342599 A JP 2002342599A JP 2002342599 A JP2002342599 A JP 2002342599A JP 3715273 B2 JP3715273 B2 JP 3715273B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- field
- frame
- smoothing
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000009499 grossing Methods 0.000 title claims abstract description 168
- 238000012545 processing Methods 0.000 title claims description 54
- 238000003672 processing method Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 98
- 238000011045 prefiltration Methods 0.000 description 29
- 230000001186 cumulative effect Effects 0.000 description 24
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像情報の圧縮符号化に関連する画像データの処理方法に関する。
【０００２】
【従来の技術】
一般的に、動画像情報は膨大なデータ量を有するため、これをそのまま記憶媒体などに記憶するためには膨大な量の記憶容量が要求される。そこで、動画像データを光ディスクその他の記憶媒体に記憶可能とするために、画像の圧縮符号化技術が知られている。動画像の圧縮符号化方式としてはＭＰＥＧ（Moving Picture Expert Group）が代表的である。
【０００３】
ＭＰＥＧに代表される圧縮符号化方式は所定画素数（例えば８×８画素）のブロック毎に離散コサイン変換（ＤＣＴ）や量子化を行い、原画像データの高周波成分を削減する性質の圧縮方法であるので、原画像データを低ビットレートに圧縮する場合、上記のブロック毎に境界線の如きブロックノイズが発生することがある。これは、圧縮符号化の対象となる原画像データが高周波成分を多く有する場合に顕著に現れる。
【０００４】
そこで、そのようなブロックノイズの発生を防止するために、ＭＰＥＧなどの圧縮符号化の前処理としてプレフィルタを利用したフィルタリングが行われる。プレフィルタは、一種の平滑化フィルタであり、原画像データに存在する高周波成分を予め取り除くことにより、ＭＰＥＧなどの圧縮符号化時におけるブロックノイズを低減させる目的で使用される。一般的にプレフィルタは、画像データを構成する各画素の輝度値を所定の大きさ（画素数）の平滑化フィルタなどを利用して平均化することにより、原画像データの高周波成分を除去する（例えば特許文献１を参照）。
【０００５】
【特許文献１】
特許第３２８０２１１号公報
【０００６】
【発明が解決しようとする課題】
しかし、従来のプレフィルタはほとんどが静的動作の２次元フィルタであり、フィルタリングの対象となる元画像データの種類や特性に拘わらず一意に平滑化処理を行うため、平滑化処理後の画像データに不具合が生じることがある。圧縮符号化の対象となる原画像データとしては、例えば６０フィールド画像データ、３０フィールド画像データ、２−３プルダウン画像データなどが想定される。６０フィールド画像とは１秒間が６０フィールドで構成され、フィールド毎に画像内容が異なる画像データをいう。３０フレーム画像とは１秒間が３０フレームで構成され、１フレームを構成する２つのフィールド画像の画像内容が同じであり、１フレームとして表示すると静止画となるものをいう。また、２−３プルダウン画像とは、映画などのもともと２４フレーム／秒の画像を６０フィールド画像に変換したものをいう。
【０００７】
このように、圧縮符号化の対象となる原画像データはいくつかの種類があるので、静的なプレフィルタにより一律に平滑化処理を行うと、処理後の画像データに却って不具合が生じることがある。例えば、平滑化処理をフレーム単位で行うプレフィルタを使用してフィールド画像データ（６０フィールド／秒）を平滑化すると、１フレームを構成する２つのフィールド画像の組合せ方などにより全く異なる２つのフィールド画像を平滑化してしまい、平滑化処理後の画像データが原画像データと大きく異なってしまうことが起こりうる。また、平滑化処理をフィールド単位で行うプレフィルタを使用してフレーム画像データ（３０フレーム／秒）を平滑化処理すると、画像内容によってはラインレベルでの画像の相違により、フィールド毎に平滑化の結果が異なって、縞模様が発生するなどの不具合が生じることがある。本発明が解決しようとする課題には、上記のようなものが例として挙げられる。
【０００８】
本発明は、以上の点に鑑みてなされたものであり、元画像データの種類に拘わらず、簡単な構成及びアルゴリズムで元画像データのノイズ成分を適切に軽減することが可能な平滑化フィルタを提供することを課題とする。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、画像データの平滑化処理装置であって、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得手段と、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定手段と、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択手段と、前記選択手段により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択手段により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化手段と、を備えることを特徴とする。
【００１０】
請求項４に記載の発明は、画像データの平滑化処理方法であって、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得工程と、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定工程と、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択工程と、前記選択工程により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択工程により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化工程と、を備えることを特徴とする。
【００１１】
請求項５に記載の発明は、画像データの平滑化処理プログラムであって、コンピュータ上で実行することにより、前記コンピュータを、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得手段、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定手段、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択手段、前記選択手段により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択手段により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化手段、として機能させることを特徴とする。
【００１２】
【発明の実施の形態】
まず、本発明の基本的手法について説明する。前述のように、ＭＰＥＧなどの圧縮符号化の前処理として、プレフィルタによる平滑化を行い、ノイズ成分を除去することが行われる。ここで、プレフィルタによる平滑化の対象となる原画像データは、前述のように６０フィールド画像データや３０フレーム画像データなど、各種のものがあり、単純に時間的に前後するの２つのフィールドの組合せで平滑化を行うと画像内容が変化してしまうなどの弊害が生じうる。例えば、３０フレーム画像データの場合などにトップフィールド画像とボトムフィールド画像とが整合している場合には図１（ａ）に示すように平滑化処理は適切に行われ、不要なノイズが除去される。しかし、例えば２−３プルダウン画像データや、フィールドの順序が逆の画像（ボトムフィールド→トップフィールドで１枚のフレーム画像が構成されるタイプの画像データ）などでは、図１（ｂ）に例示するように画像内容の異なる画像を平滑化してしまうという不具合が生じる。
【００１３】
そこで、本発明では、まず、平滑化の対象となる２つのフィールド画像として、適切な組合せを選択するためにフィールド／フレーム判定処理を行う。画像データは一般的に１フレームが２フィールドにより構成される。この２つのフィールド画像を、「トップ（TOP）フィールド」と「ボトム（BOTTOM）フィールド」と呼ぶ。即ち、１つのトップフィールドと１つのボトムフィールドの組合せにより１つのフレーム画像が構成される。なお、トップフィールド及びボトムフィールドは、通常の映像信号におけるＯＤＤフィールドとＥＶＥＮフィールド、又は、第１フィールドと第２フィールドとも表現される（但し、各々がいずれに対応するかは、信号の具体的なフォーマットによる）。
【００１４】
ある１つのフィールド画像を平滑化することを考えた場合、そのフィールド画像に対して時間的に前後する２つのフィールド画像のいずれを選んでもフレーム画像の組合せを作ることができる。即ち、いま第ｎ番目のトップフィールド画像を平滑化すると仮定すると、平滑化処理の対象とするフィールド画像の組合せとしては、▲１▼第ｎ番目のトップフィールドと第ｎ番目のボトムフィールド、又は、▲２▼第ｎ番目のトップフィールドと第ｎ−１番目のボトムフィールド、の２つの組合せが考えられる。そこで、本発明では、これら２つの組合せのうち、画像内容に相違が少ない方の組合せを選択して平滑化処理を実行する。これにより、画像内容の相違が大きい組合せでフィールド画像が平滑化されてしまうという不具合を低減することができる。
【００１５】
さらに、上記のようにして決定された２つのフィールド画像の組合せに対して平滑化を行う際、画像領域を複数の領域（ブロック）に区分し、ブロック単位で平滑化処理を行う。その際、２つのフィールド画像の画像内容に相違が小さい領域についてはフレーム単位で平滑化を行い、相違が大きい領域についてはフィールド単位で平滑化を行う。フレーム単位で平滑化を行うとはフレーム画像における隣接ライン間で平滑化処理を行うことをいい、フィールド単位で平滑化を行うとはフィールド画像における隣接ライン間（フレーム画像においては１ライン飛び越したラインとの間）で平滑化を行うことをいう。この処理を上記のブロック毎に行う。よって、１枚のフィールド画像を平滑化する場合でも、その画像中の動きの多い領域（ブロック）は同一フィールド内での平滑化が行われ、動きの少ない領域（ブロック）では隣接フィールドとの平滑化が行われる。これにより、平滑化の対象となる画像データの画像内容に変化が多いか否かを考慮してブロック毎に適切な方法での平滑化を行うことができる。
【００１６】
本発明の好適な実施形態では、画像データの平滑化処理装置は、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得手段と、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定手段と、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択手段と、前記選択手段により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択手段により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化手段と、を備える。
【００１７】
上記の平滑化処理装置によれば、フィールド画像データを時系列に配列した画像データが画像ソースなどから供給される。フレーム画像データは、２つのフィールド画像により構成される。平滑化処理の対象となるフィールド画像データは、所定の大きさのブロックに区分される。処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより第１のフレーム画像データが構成でき、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより第２のフレーム画像データが構成できる。ここで、これらフレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかが、ブロック毎に判定される。そして、フィールド構造と判定されたブロック数が少ない方のフレーム画像データが選択される。第１のフレーム画像データが選択された場合は先行フィールド画像データを用いて平滑化が行われ、第２のフレーム画像データが選択された場合は後続フィールド画像データを用いて平滑化が行われる。これにより、内容の相違が大きいフィールド画像データを用いて平滑化が行われることが防止される。
【００１８】
上記の平滑化処理装置の一態様では、前記平滑化手段は、前記判定手段がフレーム構造であると判定したブロックについては前記選択手段が選択したフレーム画像データを構成する２つのフィールド画像データを用いてフレーム単位の平滑化処理を行い、前記判定手段がフィールド構造であると判定したブロックについては前記処理対象のフィールド画像データのみを用いてフィールド単位の平滑化処理を行う。この場合、前記フレーム単位の平滑化処理は前記２つのフィールド画像データにより構成されるフレーム画像の隣接ライン間で平滑化を行う処理であり、前記フィールド単位の平滑化処理は前記処理対象のフィールド画像データの隣接ライン間で平滑化を行う処理である。
【００１９】
本発明の他の好適な実施形態では、画像データの平滑化処理方法は、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得工程と、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定工程と、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択工程と、前記選択工程により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択工程により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化工程と、を備える。
上記の平滑化処理方法により、内容の相違が大きいフィールド画像データを用いて平滑化が行われることが防止される。
【００２０】
本発明のさらに他の実施形態では、画像データの平滑化処理プログラムは、コンピュータ上で実行することにより、前記コンピュータを、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得手段、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定手段、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択手段、前記選択手段により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択手段により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化手段、として機能させる。
上記の平滑化処理プログラムをコンピュータ上で実行することにより、平滑化処理装置を構成することができる。
【００２２】
【実施例】
以下、図面を参照して本発明の好適な実施例について説明する。なお、以下の実施例は、本発明をＭＰＥＧ方式による圧縮符号化の前処理に使用されるプレフィルタに適用した例を示す。
【００２３】
［圧縮符号化システム］
図２に本発明によるプレフィルタを適用した画像データの圧縮符号化システムの構成を概略的に示す。図２に示すように、画像ソース５から出力される原画像データＤ０は、本発明のプレフィルタ（平滑化フィルタ）１０に供給される。なお、画像ソース５は各種の光ディスクやハードディスクなどの記憶媒体とすることができ、原画像データＤ０は前述のように、６０フィールド画像データ、３０フレーム画像データ、２−３プルダウン画像データなどの各種の画像データとすることができる。
【００２４】
プレフィルタ１０は原画像データＤ０に対して適切な平滑化を施し、平滑化処理後の画像データＤ１を符号化部７へ供給する。符号化部７は例えばＭＰＥＧエンコーダなどであり、画像データＤ１を圧縮符号化する。ＭＰＥＧエンコーダの場合、一般的には画像データＤ１に対してまずＤＣＴを行い、さらに量子化及び符号化により符号化画像データを出力する。なお、そうして圧縮符号化された画像データは、光ディスクなどの記録媒体に記録されたり、通信路を通じて送信されたりして利用される。
【００２５】
図２に示すように、プレフィルタ１０はメモリ１２と、フレーム／フィールド判定部１４と、平滑化処理部１６と、出力バッファ１８とを備える。メモリ１２は、フィールド画像４枚分の記憶容量を有する。メモリ１２は、原画像データＤ０をフィールド画像毎に順に読み込み、一時的に記憶する。
【００２６】
フレーム／フィールド判定部１４は、メモリ１２に一時的に記憶されたフィールド画像を使用してフレーム／フィールド判定を行う。フレーム／フィールド判定は、判定対象となるフィールド画像及び他の１つのフィールド画像の内容を分析し、それらのフィールド画像間の相違が所定レベルより小さければその２つのフィールド画像をフレーム構造にあると判定し、所定レベルより大きければその２つのフィールド画像をフィールド構造にあると判定する。なお、詳細は後述するが、２つのフィールド画像がフレーム構造にあるかフィールド構造にあるかは、画像領域を複数のブロックに分割してブロック毎に判定し、ブロック毎の判定結果に基づいて全体のフィールド画像がフレーム構造にあるかフィールド構造にあるかを判定する。
【００２７】
平滑化処理部１６は、処理対象となるフィールド画像と他の１つのフィールド画像により構成されるフレーム画像について、画素毎に平滑化処理を実行する。平滑化は、画像を構成する各画素の値を、所定の近傍範囲の画素値と平均化する処理であり、一般的には平滑化フィルタを使用して行われる。平滑化処理部１６は、フレーム／フィールド判定部１４による判定結果に応じて、平滑化の対象となるフィールド画像データを特定する。また、平滑化の対象となるフィールド画像データのブロック毎に、当該ブロックがフレーム／フィールド判定処理によってフレーム構造にあると判定された場合はフレーム単位での平滑化を行い、当該ブロックがフレーム／フィールド判定処理によってフィールド構造にあると判定された場合はフィールド単位での平滑化を行う。平滑化処理後の画像データは出力バッファ１８に一時的に記憶された後、符号化部７へ出力される。
【００２８】
［プレフィルタの処理］
次に、プレフィルタ１０における処理について詳しく説明する。
【００２９】
（フレーム／フィールド判定処理）
まず、フレーム／フィールド判定処理について説明する。図３（ａ）に原画像データを構成する画像データ例を示す。原画像データは、基本的にトップフィールド画像とボトムフィールド画像を交互に含む画像データであり、１つのトップフィールド画像と１つのボトムフィールド画像とを組合せることにより１つのフレーム画像が構成される。図３（ａ）の例においては、原画像データはトップフィールド画像としてTOP_01、TOP_02、TOP_03、...を含み、ボトムフィールド画像としてBOTTOM_01、BOTTOM_02、BOTTOM_03、...を含む。画像ソース５からは例えばTOP_01、BOTTOM_01、TOP_02、BOTTOM_02という順序でプレフィルタ１０のメモリ１２に原画像データＤ０が供給される。メモリ１２は、４つのフィールドメモリを有し、最初は４つのフィールド画像TOP_01、BOTTOM_01、TOP_02、BOTTOM_02を保持し、次のタイミングではBOTTOM_01、TOP_02、BOTTOM_02、TOP_03を保持し、というように、順次１つのフィールド画像を更新しつつ、常に時間的に連続する４つのフィールド画像を保持する。
【００３０】
いま、プレフィルタ１０による平滑化の処理対象フレームが図３（ａ）に示すようにTOP_02であると仮定する。このとき、メモリ１２にはBOTTOM_01、TOP_02、BOTTOM_02、TOP_03の４つのフィールド画像が保持されている。ここで、処理対象のフィールドであるTOP_02は、先行するフィールド画像BOTTOM_01と組み合わせることによりフレーム画像を構成することができるし、BOTTOM_02と組み合わせることによってもフレーム画像を構成することができる。即ち、処理対象フィールドTOP_02の平滑化は、フィールド画像TOP_02とBOTTOM_01により構成されるフレーム画像（第１の組合せとする）、及び、フィールド画像TOP_02とBOTTOM_02により構成されるフレーム画像（第２の組合せとする）の２通りのいずれかで行うことが可能である。そこで、フレーム／フィールド判定部１４は、まず、いずれの組合せが適切であるかを決定する。
【００３１】
本実施例では、フレーム／フィールド判定部１４は、各フィールド画像を８×８画素のブロックに分割し、ブロック毎にフレーム／フィールド判定を行う。図４は例えばフィールド画像TOP_02とBOTTOM_01により構成されるフレーム画像の１ブロックを模式的に示す。図中の白抜きの四角形はトップフィールド画像の１画素を示し、斜線の四角形はボトムフィールド画像の１画素を示す。また、図４の右側には、フレーム画像の上から３ライン分の各画素の画素値（例えば輝度値）をアルファベットで示している。画素値Ａ〜Ｐはフィールド画像TOP_02の画素値であり、画素値ａ〜ｈはフィールド画像BOTTOM_01の画素値である。
【００３２】
ここで、フレーム／フィールド判定部１４は、まずフレーム画像の１ライン目と２ライン目の画素値を利用して、図４に示す式によりフレーム計算値ＣＲ１を算出する。また、フレーム画像の２ライン目と３ライン目の画素値を利用してフレーム計算値ＣＲ２を算出する。この処理を７ライン目と８ライン目の組合せまで実行することにより、フレーム計算値ＣＲ１〜ＣＲ７を算出し、それらを合計してフレーム累積和ＣＲを算出する。図中の式から理解されるように、フィールド画像TOP_02とBOTTOM_01の画像が類似しているほどフレーム累積和ＣＲの値は小さくなり、相違しているほどフレーム累積和ＣＲの値は大きくなる。
【００３３】
次に、フレーム／フィールド判定部１４は、図５に示すようにフィールド累積和を算出する。具体的には、まず図５（ａ）に示すように、トップフィールド画像TOP_02を構成する４ラインのうちで隣接するライン毎の組合せについて図５（ａ）に示すように、フレームの場合と同様の式によりトップフィールド計算値ＣＴ１〜ＣＴ３を算出し、それらを合計してトップフィールド累積和ＣＴを得る。式から理解されるように、トップフィールド画像TOP_02の各ライン毎の画素値が類似しているほどトップフィールド累積和ＣＴは小さくなり、相違しているほどトップフィールド累積和ＣＴは大きくなる。但し、トップフィールド累積和ＣＴは同一のフィールド画像内での画素値を比較しているため、フレーム累積和に比べて小さくなる傾向にある。
【００３４】
次に、フレーム／フィールド判定部１４は、図５（ｂ）に示すように同様の処理によりボトムフィールド累積和ＣＢを算出する。具体的には、本例では処理対象のフレーム画像はフィールド画像TOP_02とBOTTOM_01の組合せにより構成されるフレーム画像であるので、ボトムフィールド画像BOTTOM_01の各画素値を使用してボトムフィールド累積和ＣＢを算出する。
【００３５】
こうして、フレーム累積和ＣＲ、トップフィールド累積和ＣＴ及びボトムフィールド累積和ＣＢが得られると、フレーム／フィールド判定部１４はブロック毎にフレーム／フィールド判定を行う。具体的には、まず以下の式により、第１及び第２の判定値を求め、以下の条件式１及び２を満足しているか否かを判定する。
【００３６】
第１の判定値 ＝ ｜ＣＲ−２・ＣＴ｜ ＞２０００ （条件式１）
第２の判定値 ＝ ｜ＣＲ−２・ＣＢ｜ ＞２０００ （条件式２）
そして、フレーム／フィールド判定部１４は、条件式１及び２が満足されていれば、当該ブロックをフィールドと判定し、条件式１及び２のいずれか一方でも満足していない場合は当該ブロックをフレームと判定する。
【００３７】
以上のようにして、フレーム／フィールド判定部１４はブロック毎のフィールド／フレーム判定を行う。原画像データが例えば７２０×４８０画素である場合、１つのフレーム画像中に８×８画素のブロックは５４００ブロック含まれることになり、各ブロックについてフレーム又はフィールドの判定を行う。そして、フレーム／フィールド判定部１４は、フィールドと判定したブロック数をフィールド判定数ｆｂ１として算出する。
【００３８】
次に、フレーム／フィールド判定部１４は、処理対象となるフィールド画像TOP_02を含むフレームの別の組合せ、つまりフィールド画像TOP_02とBOTTOM_02の組合せについても上述と同様の処理を実行し、フィールド判定数ｆｂ２を算出する。
【００３９】
次に、フレーム／フィールド判定部１４は、第１の組合せと第２の組合せのいずれを用いて平滑化処理を行うべきかを、フィールド判定数に基づいて決定する。具体的には、フィールド判定数が少ない方の組合せで平滑化処理を行う。例えば、図３（ｂ）に示すようにフィールド画像TOP_02とBOTTOM_01の組合せにおけるフィールド判定数ｆｂ１＝αが、フィールド画像TOP_02とBOTTOM_02の組合せにおけるフィールド判定数ｆｂ２＝βよりも大きい場合、フィールド画像TOP_02とBOTTOM_02の組合せで後述の平滑化処理を行うことに決定する。このように、フレーム／フィールド判定部１４は、第１と第２の組合せのうち、フィールド判定数（フィールドと判定されたブロック数）が少ない方の組合せ、即ち、画像間に相違が少ない組合せでフレーム画像を構成し、平滑化を実行するように決定する。よって、原画像データの種類などに拘わらず、常に適切な組合せで平滑化を行うことができ、相違の大きい組合せのフィールド画像で平滑化を行うことが防止される。
【００４０】
（平滑化処理）
次に平滑化処理について説明する。平滑化処理はブロック単位で１画素毎に行われる。図６に平滑化処理の対象となるフレーム画像を模式的に示す。ここで、平滑化処理の対象となるフレーム画像とは、上述のフレーム／フィールド判定処理により、フィールド判定数が少ないとして平滑化処理の対象として決定された組合せによるフレーム画像である。例えば図３（ａ）に示す例では、処理対象のフィールド画像がトップフィールド画像TOP_02であり、フレーム／フィールド判定処理により図３（ｂ）に示すようにフィールド画像TOP_02とBOTTOM_02の組合せにより構成されるフレーム画像に対して平滑化処理を実行することが決定されている。よって、この場合はフレーム画像TOP_02とBOTTOM_02の組合せによるフレーム画像が平滑化処理の対象となる（図６参照）。
【００４１】
このようにフレーム／フィールド判定処理により決定されたフレーム画像に対して、ブロック毎にフレーム単位の平滑化又はフィールド単位の平滑化の一方を適用する。ここでのブロックは、フレーム／フィールド判定処理において規定したブロックであり、本実施例では図４及び図５に示すように８×８画素のブロックである。フレーム／フィールド判定処理により、処理対象のフレーム画像については各ブロック毎にフレーム又はフィールドの判定が済んでいる。その判定結果の一例を図６に示す。なお、この判定結果はプレフィルタ内のメモリなどに記憶されている。図６中、「ＦＲ」で示すブロックはフレーム／フィールド判定によりフレームと判定されたブロックであり、「ＦＩ」で示すブロックはフレーム／フィールド判定によりフィールドと判定されたブロックである。平滑化処理においては、このブロック単位で、フレームと判定されたブロック内の画素にはフレーム単位の平滑化処理を適用し、フィールドと判定されたブロック内の画素にはフィールド単位の平滑化処理を適用する。
【００４２】
次に、フレーム単位の平滑化処理及びフィールド単位の平滑化処理について具体的に説明する。図７（ａ）にフレーム単位の平滑化フィルタの構成例を示し、図７（ｂ）にフィールド単位の平滑化フィルタの構成例を示す。平滑化フィルタは一般的に、処理の対象となる画素を中心とし、その周辺画素の画素値を一律に変化させるフィルタである。平滑化フィルタの係数「ａ」を平滑化係数とも呼ぶ。図７（ａ）に示す例は３×３画素の平滑化フィルタであるが、これ以外の平滑化フィルタを使用することも可能である。
【００４３】
フレーム単位の平滑化処理の場合、処理対象となるフレーム画像の隣接ラインを対象として平滑化処理を行う。よって、フレーム単位の平滑化フィルタはフレーム画像データの上下方向及び左右方向の３画素に対してフィルタリングを行う。
【００４４】
一方、フィールド単位の平滑化処理の場合は、フィールド毎に独立して平滑化処理を行う。図６の例では、処理対象のフィールド画像がTOP_02であるので、フィールドと判定されたブロックは、フィールド画像TOP_02のみの画素データを使用して平滑化を行うことになる。図７（ｂ）に示すフィールド単位の平滑化フィルタは、説明の便宜上、フレーム画像状態（２つのフィールド画像を組み合わせた状態）の画像データに対して適用する平滑化フィルタとして構成しているので、斜線で示す部分は処理を行わず、実質的にはフィールド単位の３×３画素の平滑化フィルタとなっている。なお、実際の処理において、フィールド画像単位でメモリに記憶されているフィールド画像TOP_02に対して平滑化処理を行う場合には、図７（ａ）に示す平滑化フィルタを使用すればよい。
【００４５】
また、処理対象となるフィールド画像の周辺部の画素に対しては、処理対象画素の位置に応じて図７（ｃ）に示す構造の各平滑化フィルタを使用することになる。なお、図７（ｃ）に示す画像周辺部用の平滑化フィルタは図７（ａ）と同様にフレーム状態の画像データに対して適用されるものであり、フィールド単位の平滑化の場合は図７（ｂ）と同様に処理対象とならない画素部分（斜線で示す画素）を有する形となる。
【００４６】
なお、本実施例では平滑化フィルタ処理に先だってソーベルフィルタにより境界線検出を行い、境界線を含まない画素に対してのみ平滑化処理を実行する。この理由は、スーパーインポーズの文字や画像の輪郭に対して一律に平滑化処理を実行すると、文字や画像の輪郭がつぶれてしまうので、そのような境界線部分は平滑化処理を不適用として文字や輪郭のつぶれを防止することにある。フレーム単位の画像データ用のソーベルフィルタの構成例を図８（ａ）に示し、フィールド単位の画像データ用のソーベルフィルタの構成例を図８（ｂ）に示す。具体的には、ソーベルフィルタを処理対象となるフレーム画像又はフィールド画像の１画素毎に適用し、結果として得られる値が所定の閾値より大きい場合はその画素が境界上に位置すると判定し、閾値より小さい場合はその画素は境界上に位置しないと判定する。
【００４７】
［プレフィルタ処理の流れ］
次に、プレフィルタ処理全体の流れについて図９乃至図１１を参照して説明する。図９はプレフィルタ処理のメインルーチンのフローチャートであり、図１０はフレーム／フィールド判定処理のフローチャートであり、図１１は平滑化処理のフローチャートである。
【００４８】
まず、図９を参照すると、プレフィルタ１０は、画像ソース５からの原画像データＤ０を受け取る（ステップＳ１）。そして、フレーム／フィールド判定部１４は、まず、トップフィールド画像データの処理を行う。即ち、図３に示すように、処理対象のトップフィールド画像（例えばトップフィールド画像TOP_02）と、それに先行するフィールド画像（例えばボトムフィールド画像BOTTOM_01）との組合せ（以下、「組合せＡ」と呼ぶ。）により構成されるフレーム画像について、フレーム／フィールド判定を行う（ステップＳ２）。これにより、組合せＡのフレーム画像について各ブロック毎にフレーム又はフィールドの判定がなされ、フィールド判定数ｆｂ１が得られる。
【００４９】
次に、フレーム／フィールド判定部１４は、処理対象のフィールド画像（例えばトップフィールド画像TOP_02）と、それに対応するフィールド画像（例えばボトムフィールド画像BOTTOM_02）との組合せ（以下、「組合せＢ」と呼ぶ。）により構成されるフレーム画像について、フレーム／フィールド判定を行う（ステップＳ３）。これにより、組合せＢのフレーム画像について各ブロック毎にフレーム又はフィールドの判定がなされ、フィールド判定数ｆｂ２が得られる。
【００５０】
次に、フレーム／フィールド判定部１４は、組合せＡのフィールド判定数ｆｂ１と組合せＢのフィールド判定数ｆｂ２を比較し（ステップＳ４）、フィールド判定数の少ない方の組合せのフレーム画像を平滑化処理の対象に決定する。そして、平滑化処理部１６は対応するフレーム画像を利用して平滑化処理を実行し（ステップＳ５又はＳ６）、平滑化処理後の画像データを出力バッファ１８を介して符号化部７へ出力する（ステップＳ７）。
【００５１】
次に、プレフィルタ１０はボトムフィールド画像の処理を行う。例えば図３（ａ）のボトムフィールド画像BOTTOM_02を処理対象と仮定すると、トップフィールド画像TOP_02とボトムフィールド画像BOTTOM_02の組合せ（組合せＢ）により構成されるフレーム画像と、トップフィールド画像TOP_03とボトムフィールド画像BOTTOM_02の組合せ（以下、「組合せＣ」とする）により構成されるフレーム画像のいずれを対象として平滑化処理を行うべきかを決定する。但し、ここでは組合せＢによるフレーム画像についてのフレーム／フィールド判定は既にステップＳ３で完了しているので、組合せＣによるフレーム画像についてのフレームフィールド判定のみを実行する（ステップＳ８）。そして、フレーム／フィールド判定部１４は、組合せＢによるフレーム画像と組合せＣによるフレーム画像のうち、フィールド判定数の少ない方のフレーム画像を平滑化処理の対象と決定する（ステップＳ９）。平滑化処理部１６はそのフレーム画像について平滑化処理を実行し（ステップＳ１０又はＳ１１）、結果として得られる画像データを出力バッファ１８を介して符号化部７へ出力する（ステップＳ１２）。
【００５２】
こうして、プレフィルタ１０はトップフィールド画像とボトムフィールド画像についてフレーム／フィールド判定処理及び平滑化処理を繰り返す。そして、原画像データＤ０中の全てのフィールド画像データについて処理が完了すると（ステップＳ１３；Yes）、プレフィルタ処理を終了する。
【００５３】
次に、ステップＳ２、Ｓ３及びＳ８で実行されるフレーム／フィールド判定処理の流れを、図１０を参照して説明する。図１０において、まず、フレーム累積和を算出する。即ち、図４に示すように、１つのブロック（本例では８×８画素）について、隣接ライン間で対応する画素値の差分の二乗を計算し、これを当該ブロックの横方向画素全てについて合計することによりフレーム計算値ＣＲ１を算出する（ステップＳ２０、Ｓ２１）。そして、処理ラインを１つずらし（ステップＳ２２）、同様の処理を行ってフレーム計算値ＣＲ２を算出する。これを繰り返して１ブロック分の全てのフレーム計算値（図４の例ではＣＲ１〜ＣＲ７）が得られると（ステップＳ２３；Yes）、それらを合計してフレーム累積和ＣＲを算出する。
【００５４】
次に、図５（ａ）に示すように、当該ブロックのトップフィールドに対応する画素のみについて同様にライン毎のトップフィールド計算値ＣＴ１、ＣＴ２、..を算出し（ステップＳ２４、Ｓ２５）、これを当該ブロックの縦方向全てについて行って（ステップＳ２６、Ｓ２７）、トップフィールド累積和ＣＴを算出する。同様に、当該ブロックのボトムフィールドに対応する画素のみについてライン毎のボトムフィールド計算値ＣＢ１、ＣＢ２、..を算出し（ステップＳ２４、Ｓ２５）、これを当該ブロックの縦方向全てについて行って（ステップＳ２６、Ｓ２７）、ボトムフィールド累積和ＣＢを算出する。こうして、１つの処理対象ブロックについて、フレーム累積和ＣＲ、トップフィールド累積和ＣＴ、及びボトムフィールド累積和ＣＢが揃う。
【００５５】
次に、フレーム／フィールド判定部１４は、当該ブロックがフィールド判定条件を具備しているかを判定する（ステップＳ３２）。具体的には、上述の条件式１及び２の両方が満足されているか否かを判定し、両方が満足されている場合にはそのブロックをフィールドと判定し（ステップＳ３３）、いずれか一方でも満足されていない場合はそのブロックをフレームと判定する（ステップＳ３４）。こうして、対象となるフレーム画像のうちの１ブロックについてのフレーム／フィールド判定が終了する。
【００５６】
以後、フレーム／フィールド判定部１４は、ブロックを１つずらし、同様の処理により当該ブロックをフレーム又はフィールドと判定する。そして、判定対象となるフレーム画像に含まれる全てのブロックについて、フレーム又はフィールドの判定結果が得られた時点で、フレーム／フィールド判定処理は終了する。
【００５７】
次に、平滑化処理について図１１を参照して説明する。平滑化処理は、図９のステップＳ５、Ｓ６、Ｓ１０又はＳ１１において、それぞれ対象となるフレーム画像が特定された状態で行われる。
【００５８】
まず、平滑化処理部１６は、対象となるフレーム画像中の１つの画素を処理対象画素として特定し、その処理対象画素が属するブロックがフレームと判定されたブロックか、フィールドと判定されたブロックかを判定する（ステップＳ４１）。ブロック毎のフレーム／フィールド判定結果（図６参照）は前述のようにプリフィルタ内のメモリなどに保存されているので、平滑化処理部１６はそれを参照すればよい。平滑化処理部１６は、処理対象画素がフレームと判定されたブロックに属する場合、図７（ａ）に例示するようなフレーム用の平滑化フィルタを選択し（ステップＳ４２）、その処理対象画素がフィールドと判定されたブロックに属する場合には図７（ｂ）に例示するようなフィールド用の平滑化フィルタを選択する（ステップＳ４３）。
【００５９】
次に、平滑化処理部１６は、まず前述のソーベルフィルタを実行し（ステップＳ４４）、処理対象画素が境界上にあるか否かを判定する（ステップＳ４５）。処理対象画素が境界上にある場合には、前述のように平滑化処理により文字や輪郭などがつぶれることを防止するため、平滑化フィルタによる平滑化処理を行わずに、ステップＳ４７へ進む。一方、処理対象画素が境界上にない場合には、ステップＳ４２又はＳ４３で選択した平滑化フィルタを適用して平滑化処理を実行する（ステップＳ４６）。
【００６０】
さらに次の処理対象画素を特定し（ステップＳ４７）、次の処理対象画素があるか否かを判定する（ステップＳ４８）。こうして、処理対象となるフレームの全ての画素について、順に平滑化処理を実行し、全ての画素について処理が終了すると（ステップＳ４８）、平滑化処理が終了する。
【００６１】
［変形例］
上記の実施例においては、本発明の平滑化フィルタをＭＰＥＧによる圧縮符号化処理の前処理として適用されるプレフィルタとして使用しているが、本発明の平滑化フィルタはこれ以外の一般的な画像の平滑化処理に適用できる。例えば、通常のディスプレイなどに搭載し、表示画像のノイズ除去などの目的で使用することも可能である。
【００６２】
また上記の実施例では、画像データの輝度値を画素値として平滑化を行っているが、輝度のみならず色差についても同様に平滑化を行うことが可能である。
【００６３】
また、上記実施例中のフレーム／フィールド判定におけるフレーム累積和、フィールド累積和の計算式や、条件式１及び２などはいずれも単なる一例であり、他の計算式や条件式を使用してフレーム／フィールド判定を行うことも可能である。
【図面の簡単な説明】
【図１】平滑化処理前後の画像例を示す図である。
【図２】本発明による平滑化フィルタを適用した画像データの圧縮符号化システムの概略構成を示すブロック図である。
【図３】フレーム／フィールド判定処理の対象となるフレーム画像の組合せ例を示す図である。
【図４】フレーム／フィールド判定処理における、ブロック単位でのフレーム累積和の計算方法を示す図である。
【図５】フレーム／フィールド判定処理における、ブロック単位でのフィールド累積和の計算方法を示す図である。
【図６】処理対象のフレーム画像についてのフレーム／フィールド判定結果例を示す図である。
【図７】平滑化処理において使用される平滑化フィルタの構成例を示す。
【図８】平滑化処理において使用されるソーベルフィルタの構成例を示す。
【図９】図２に示すシステムにより実行されるプレフィルタ処理のフローチャートである。
【図１０】図９におけるフレーム／フィールド判定処理のフローチャートである。
【図１１】図９における平滑化処理のフローチャートである。
【符号の説明】
５ 画像ソース
７ 符号化部
１０ プレフィルタ（平滑化フィルタ）
１２ メモリ
１４ フレーム／フィールド判定部
１６ 平滑化処理部
１８ 出力バッファ
【発明の属する技術分野】
本発明は、画像情報の圧縮符号化に関連する画像データの処理方法に関する。
【０００２】
【従来の技術】
一般的に、動画像情報は膨大なデータ量を有するため、これをそのまま記憶媒体などに記憶するためには膨大な量の記憶容量が要求される。そこで、動画像データを光ディスクその他の記憶媒体に記憶可能とするために、画像の圧縮符号化技術が知られている。動画像の圧縮符号化方式としてはＭＰＥＧ（Moving Picture Expert Group）が代表的である。
【０００３】
ＭＰＥＧに代表される圧縮符号化方式は所定画素数（例えば８×８画素）のブロック毎に離散コサイン変換（ＤＣＴ）や量子化を行い、原画像データの高周波成分を削減する性質の圧縮方法であるので、原画像データを低ビットレートに圧縮する場合、上記のブロック毎に境界線の如きブロックノイズが発生することがある。これは、圧縮符号化の対象となる原画像データが高周波成分を多く有する場合に顕著に現れる。
【０００４】
そこで、そのようなブロックノイズの発生を防止するために、ＭＰＥＧなどの圧縮符号化の前処理としてプレフィルタを利用したフィルタリングが行われる。プレフィルタは、一種の平滑化フィルタであり、原画像データに存在する高周波成分を予め取り除くことにより、ＭＰＥＧなどの圧縮符号化時におけるブロックノイズを低減させる目的で使用される。一般的にプレフィルタは、画像データを構成する各画素の輝度値を所定の大きさ（画素数）の平滑化フィルタなどを利用して平均化することにより、原画像データの高周波成分を除去する（例えば特許文献１を参照）。
【０００５】
【特許文献１】
特許第３２８０２１１号公報
【０００６】
【発明が解決しようとする課題】
しかし、従来のプレフィルタはほとんどが静的動作の２次元フィルタであり、フィルタリングの対象となる元画像データの種類や特性に拘わらず一意に平滑化処理を行うため、平滑化処理後の画像データに不具合が生じることがある。圧縮符号化の対象となる原画像データとしては、例えば６０フィールド画像データ、３０フィールド画像データ、２−３プルダウン画像データなどが想定される。６０フィールド画像とは１秒間が６０フィールドで構成され、フィールド毎に画像内容が異なる画像データをいう。３０フレーム画像とは１秒間が３０フレームで構成され、１フレームを構成する２つのフィールド画像の画像内容が同じであり、１フレームとして表示すると静止画となるものをいう。また、２−３プルダウン画像とは、映画などのもともと２４フレーム／秒の画像を６０フィールド画像に変換したものをいう。
【０００７】
このように、圧縮符号化の対象となる原画像データはいくつかの種類があるので、静的なプレフィルタにより一律に平滑化処理を行うと、処理後の画像データに却って不具合が生じることがある。例えば、平滑化処理をフレーム単位で行うプレフィルタを使用してフィールド画像データ（６０フィールド／秒）を平滑化すると、１フレームを構成する２つのフィールド画像の組合せ方などにより全く異なる２つのフィールド画像を平滑化してしまい、平滑化処理後の画像データが原画像データと大きく異なってしまうことが起こりうる。また、平滑化処理をフィールド単位で行うプレフィルタを使用してフレーム画像データ（３０フレーム／秒）を平滑化処理すると、画像内容によってはラインレベルでの画像の相違により、フィールド毎に平滑化の結果が異なって、縞模様が発生するなどの不具合が生じることがある。本発明が解決しようとする課題には、上記のようなものが例として挙げられる。
【０００８】
本発明は、以上の点に鑑みてなされたものであり、元画像データの種類に拘わらず、簡単な構成及びアルゴリズムで元画像データのノイズ成分を適切に軽減することが可能な平滑化フィルタを提供することを課題とする。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、画像データの平滑化処理装置であって、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得手段と、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定手段と、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択手段と、前記選択手段により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択手段により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化手段と、を備えることを特徴とする。
【００１０】
請求項４に記載の発明は、画像データの平滑化処理方法であって、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得工程と、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定工程と、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択工程と、前記選択工程により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択工程により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化工程と、を備えることを特徴とする。
【００１１】
請求項５に記載の発明は、画像データの平滑化処理プログラムであって、コンピュータ上で実行することにより、前記コンピュータを、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得手段、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定手段、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択手段、前記選択手段により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択手段により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化手段、として機能させることを特徴とする。
【００１２】
【発明の実施の形態】
まず、本発明の基本的手法について説明する。前述のように、ＭＰＥＧなどの圧縮符号化の前処理として、プレフィルタによる平滑化を行い、ノイズ成分を除去することが行われる。ここで、プレフィルタによる平滑化の対象となる原画像データは、前述のように６０フィールド画像データや３０フレーム画像データなど、各種のものがあり、単純に時間的に前後するの２つのフィールドの組合せで平滑化を行うと画像内容が変化してしまうなどの弊害が生じうる。例えば、３０フレーム画像データの場合などにトップフィールド画像とボトムフィールド画像とが整合している場合には図１（ａ）に示すように平滑化処理は適切に行われ、不要なノイズが除去される。しかし、例えば２−３プルダウン画像データや、フィールドの順序が逆の画像（ボトムフィールド→トップフィールドで１枚のフレーム画像が構成されるタイプの画像データ）などでは、図１（ｂ）に例示するように画像内容の異なる画像を平滑化してしまうという不具合が生じる。
【００１３】
そこで、本発明では、まず、平滑化の対象となる２つのフィールド画像として、適切な組合せを選択するためにフィールド／フレーム判定処理を行う。画像データは一般的に１フレームが２フィールドにより構成される。この２つのフィールド画像を、「トップ（TOP）フィールド」と「ボトム（BOTTOM）フィールド」と呼ぶ。即ち、１つのトップフィールドと１つのボトムフィールドの組合せにより１つのフレーム画像が構成される。なお、トップフィールド及びボトムフィールドは、通常の映像信号におけるＯＤＤフィールドとＥＶＥＮフィールド、又は、第１フィールドと第２フィールドとも表現される（但し、各々がいずれに対応するかは、信号の具体的なフォーマットによる）。
【００１４】
ある１つのフィールド画像を平滑化することを考えた場合、そのフィールド画像に対して時間的に前後する２つのフィールド画像のいずれを選んでもフレーム画像の組合せを作ることができる。即ち、いま第ｎ番目のトップフィールド画像を平滑化すると仮定すると、平滑化処理の対象とするフィールド画像の組合せとしては、▲１▼第ｎ番目のトップフィールドと第ｎ番目のボトムフィールド、又は、▲２▼第ｎ番目のトップフィールドと第ｎ−１番目のボトムフィールド、の２つの組合せが考えられる。そこで、本発明では、これら２つの組合せのうち、画像内容に相違が少ない方の組合せを選択して平滑化処理を実行する。これにより、画像内容の相違が大きい組合せでフィールド画像が平滑化されてしまうという不具合を低減することができる。
【００１５】
さらに、上記のようにして決定された２つのフィールド画像の組合せに対して平滑化を行う際、画像領域を複数の領域（ブロック）に区分し、ブロック単位で平滑化処理を行う。その際、２つのフィールド画像の画像内容に相違が小さい領域についてはフレーム単位で平滑化を行い、相違が大きい領域についてはフィールド単位で平滑化を行う。フレーム単位で平滑化を行うとはフレーム画像における隣接ライン間で平滑化処理を行うことをいい、フィールド単位で平滑化を行うとはフィールド画像における隣接ライン間（フレーム画像においては１ライン飛び越したラインとの間）で平滑化を行うことをいう。この処理を上記のブロック毎に行う。よって、１枚のフィールド画像を平滑化する場合でも、その画像中の動きの多い領域（ブロック）は同一フィールド内での平滑化が行われ、動きの少ない領域（ブロック）では隣接フィールドとの平滑化が行われる。これにより、平滑化の対象となる画像データの画像内容に変化が多いか否かを考慮してブロック毎に適切な方法での平滑化を行うことができる。
【００１６】
本発明の好適な実施形態では、画像データの平滑化処理装置は、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得手段と、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定手段と、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択手段と、前記選択手段により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択手段により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化手段と、を備える。
【００１７】
上記の平滑化処理装置によれば、フィールド画像データを時系列に配列した画像データが画像ソースなどから供給される。フレーム画像データは、２つのフィールド画像により構成される。平滑化処理の対象となるフィールド画像データは、所定の大きさのブロックに区分される。処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより第１のフレーム画像データが構成でき、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより第２のフレーム画像データが構成できる。ここで、これらフレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかが、ブロック毎に判定される。そして、フィールド構造と判定されたブロック数が少ない方のフレーム画像データが選択される。第１のフレーム画像データが選択された場合は先行フィールド画像データを用いて平滑化が行われ、第２のフレーム画像データが選択された場合は後続フィールド画像データを用いて平滑化が行われる。これにより、内容の相違が大きいフィールド画像データを用いて平滑化が行われることが防止される。
【００１８】
上記の平滑化処理装置の一態様では、前記平滑化手段は、前記判定手段がフレーム構造であると判定したブロックについては前記選択手段が選択したフレーム画像データを構成する２つのフィールド画像データを用いてフレーム単位の平滑化処理を行い、前記判定手段がフィールド構造であると判定したブロックについては前記処理対象のフィールド画像データのみを用いてフィールド単位の平滑化処理を行う。この場合、前記フレーム単位の平滑化処理は前記２つのフィールド画像データにより構成されるフレーム画像の隣接ライン間で平滑化を行う処理であり、前記フィールド単位の平滑化処理は前記処理対象のフィールド画像データの隣接ライン間で平滑化を行う処理である。
【００１９】
本発明の他の好適な実施形態では、画像データの平滑化処理方法は、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得工程と、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定工程と、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択工程と、前記選択工程により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択工程により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化工程と、を備える。
上記の平滑化処理方法により、内容の相違が大きいフィールド画像データを用いて平滑化が行われることが防止される。
【００２０】
本発明のさらに他の実施形態では、画像データの平滑化処理プログラムは、コンピュータ上で実行することにより、前記コンピュータを、各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得手段、処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定手段、前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択手段、前記選択手段により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択手段により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化手段、として機能させる。
上記の平滑化処理プログラムをコンピュータ上で実行することにより、平滑化処理装置を構成することができる。
【００２２】
【実施例】
以下、図面を参照して本発明の好適な実施例について説明する。なお、以下の実施例は、本発明をＭＰＥＧ方式による圧縮符号化の前処理に使用されるプレフィルタに適用した例を示す。
【００２３】
［圧縮符号化システム］
図２に本発明によるプレフィルタを適用した画像データの圧縮符号化システムの構成を概略的に示す。図２に示すように、画像ソース５から出力される原画像データＤ０は、本発明のプレフィルタ（平滑化フィルタ）１０に供給される。なお、画像ソース５は各種の光ディスクやハードディスクなどの記憶媒体とすることができ、原画像データＤ０は前述のように、６０フィールド画像データ、３０フレーム画像データ、２−３プルダウン画像データなどの各種の画像データとすることができる。
【００２４】
プレフィルタ１０は原画像データＤ０に対して適切な平滑化を施し、平滑化処理後の画像データＤ１を符号化部７へ供給する。符号化部７は例えばＭＰＥＧエンコーダなどであり、画像データＤ１を圧縮符号化する。ＭＰＥＧエンコーダの場合、一般的には画像データＤ１に対してまずＤＣＴを行い、さらに量子化及び符号化により符号化画像データを出力する。なお、そうして圧縮符号化された画像データは、光ディスクなどの記録媒体に記録されたり、通信路を通じて送信されたりして利用される。
【００２５】
図２に示すように、プレフィルタ１０はメモリ１２と、フレーム／フィールド判定部１４と、平滑化処理部１６と、出力バッファ１８とを備える。メモリ１２は、フィールド画像４枚分の記憶容量を有する。メモリ１２は、原画像データＤ０をフィールド画像毎に順に読み込み、一時的に記憶する。
【００２６】
フレーム／フィールド判定部１４は、メモリ１２に一時的に記憶されたフィールド画像を使用してフレーム／フィールド判定を行う。フレーム／フィールド判定は、判定対象となるフィールド画像及び他の１つのフィールド画像の内容を分析し、それらのフィールド画像間の相違が所定レベルより小さければその２つのフィールド画像をフレーム構造にあると判定し、所定レベルより大きければその２つのフィールド画像をフィールド構造にあると判定する。なお、詳細は後述するが、２つのフィールド画像がフレーム構造にあるかフィールド構造にあるかは、画像領域を複数のブロックに分割してブロック毎に判定し、ブロック毎の判定結果に基づいて全体のフィールド画像がフレーム構造にあるかフィールド構造にあるかを判定する。
【００２７】
平滑化処理部１６は、処理対象となるフィールド画像と他の１つのフィールド画像により構成されるフレーム画像について、画素毎に平滑化処理を実行する。平滑化は、画像を構成する各画素の値を、所定の近傍範囲の画素値と平均化する処理であり、一般的には平滑化フィルタを使用して行われる。平滑化処理部１６は、フレーム／フィールド判定部１４による判定結果に応じて、平滑化の対象となるフィールド画像データを特定する。また、平滑化の対象となるフィールド画像データのブロック毎に、当該ブロックがフレーム／フィールド判定処理によってフレーム構造にあると判定された場合はフレーム単位での平滑化を行い、当該ブロックがフレーム／フィールド判定処理によってフィールド構造にあると判定された場合はフィールド単位での平滑化を行う。平滑化処理後の画像データは出力バッファ１８に一時的に記憶された後、符号化部７へ出力される。
【００２８】
［プレフィルタの処理］
次に、プレフィルタ１０における処理について詳しく説明する。
【００２９】
（フレーム／フィールド判定処理）
まず、フレーム／フィールド判定処理について説明する。図３（ａ）に原画像データを構成する画像データ例を示す。原画像データは、基本的にトップフィールド画像とボトムフィールド画像を交互に含む画像データであり、１つのトップフィールド画像と１つのボトムフィールド画像とを組合せることにより１つのフレーム画像が構成される。図３（ａ）の例においては、原画像データはトップフィールド画像としてTOP_01、TOP_02、TOP_03、...を含み、ボトムフィールド画像としてBOTTOM_01、BOTTOM_02、BOTTOM_03、...を含む。画像ソース５からは例えばTOP_01、BOTTOM_01、TOP_02、BOTTOM_02という順序でプレフィルタ１０のメモリ１２に原画像データＤ０が供給される。メモリ１２は、４つのフィールドメモリを有し、最初は４つのフィールド画像TOP_01、BOTTOM_01、TOP_02、BOTTOM_02を保持し、次のタイミングではBOTTOM_01、TOP_02、BOTTOM_02、TOP_03を保持し、というように、順次１つのフィールド画像を更新しつつ、常に時間的に連続する４つのフィールド画像を保持する。
【００３０】
いま、プレフィルタ１０による平滑化の処理対象フレームが図３（ａ）に示すようにTOP_02であると仮定する。このとき、メモリ１２にはBOTTOM_01、TOP_02、BOTTOM_02、TOP_03の４つのフィールド画像が保持されている。ここで、処理対象のフィールドであるTOP_02は、先行するフィールド画像BOTTOM_01と組み合わせることによりフレーム画像を構成することができるし、BOTTOM_02と組み合わせることによってもフレーム画像を構成することができる。即ち、処理対象フィールドTOP_02の平滑化は、フィールド画像TOP_02とBOTTOM_01により構成されるフレーム画像（第１の組合せとする）、及び、フィールド画像TOP_02とBOTTOM_02により構成されるフレーム画像（第２の組合せとする）の２通りのいずれかで行うことが可能である。そこで、フレーム／フィールド判定部１４は、まず、いずれの組合せが適切であるかを決定する。
【００３１】
本実施例では、フレーム／フィールド判定部１４は、各フィールド画像を８×８画素のブロックに分割し、ブロック毎にフレーム／フィールド判定を行う。図４は例えばフィールド画像TOP_02とBOTTOM_01により構成されるフレーム画像の１ブロックを模式的に示す。図中の白抜きの四角形はトップフィールド画像の１画素を示し、斜線の四角形はボトムフィールド画像の１画素を示す。また、図４の右側には、フレーム画像の上から３ライン分の各画素の画素値（例えば輝度値）をアルファベットで示している。画素値Ａ〜Ｐはフィールド画像TOP_02の画素値であり、画素値ａ〜ｈはフィールド画像BOTTOM_01の画素値である。
【００３２】
ここで、フレーム／フィールド判定部１４は、まずフレーム画像の１ライン目と２ライン目の画素値を利用して、図４に示す式によりフレーム計算値ＣＲ１を算出する。また、フレーム画像の２ライン目と３ライン目の画素値を利用してフレーム計算値ＣＲ２を算出する。この処理を７ライン目と８ライン目の組合せまで実行することにより、フレーム計算値ＣＲ１〜ＣＲ７を算出し、それらを合計してフレーム累積和ＣＲを算出する。図中の式から理解されるように、フィールド画像TOP_02とBOTTOM_01の画像が類似しているほどフレーム累積和ＣＲの値は小さくなり、相違しているほどフレーム累積和ＣＲの値は大きくなる。
【００３３】
次に、フレーム／フィールド判定部１４は、図５に示すようにフィールド累積和を算出する。具体的には、まず図５（ａ）に示すように、トップフィールド画像TOP_02を構成する４ラインのうちで隣接するライン毎の組合せについて図５（ａ）に示すように、フレームの場合と同様の式によりトップフィールド計算値ＣＴ１〜ＣＴ３を算出し、それらを合計してトップフィールド累積和ＣＴを得る。式から理解されるように、トップフィールド画像TOP_02の各ライン毎の画素値が類似しているほどトップフィールド累積和ＣＴは小さくなり、相違しているほどトップフィールド累積和ＣＴは大きくなる。但し、トップフィールド累積和ＣＴは同一のフィールド画像内での画素値を比較しているため、フレーム累積和に比べて小さくなる傾向にある。
【００３４】
次に、フレーム／フィールド判定部１４は、図５（ｂ）に示すように同様の処理によりボトムフィールド累積和ＣＢを算出する。具体的には、本例では処理対象のフレーム画像はフィールド画像TOP_02とBOTTOM_01の組合せにより構成されるフレーム画像であるので、ボトムフィールド画像BOTTOM_01の各画素値を使用してボトムフィールド累積和ＣＢを算出する。
【００３５】
こうして、フレーム累積和ＣＲ、トップフィールド累積和ＣＴ及びボトムフィールド累積和ＣＢが得られると、フレーム／フィールド判定部１４はブロック毎にフレーム／フィールド判定を行う。具体的には、まず以下の式により、第１及び第２の判定値を求め、以下の条件式１及び２を満足しているか否かを判定する。
【００３６】
第１の判定値 ＝ ｜ＣＲ−２・ＣＴ｜ ＞２０００ （条件式１）
第２の判定値 ＝ ｜ＣＲ−２・ＣＢ｜ ＞２０００ （条件式２）
そして、フレーム／フィールド判定部１４は、条件式１及び２が満足されていれば、当該ブロックをフィールドと判定し、条件式１及び２のいずれか一方でも満足していない場合は当該ブロックをフレームと判定する。
【００３７】
以上のようにして、フレーム／フィールド判定部１４はブロック毎のフィールド／フレーム判定を行う。原画像データが例えば７２０×４８０画素である場合、１つのフレーム画像中に８×８画素のブロックは５４００ブロック含まれることになり、各ブロックについてフレーム又はフィールドの判定を行う。そして、フレーム／フィールド判定部１４は、フィールドと判定したブロック数をフィールド判定数ｆｂ１として算出する。
【００３８】
次に、フレーム／フィールド判定部１４は、処理対象となるフィールド画像TOP_02を含むフレームの別の組合せ、つまりフィールド画像TOP_02とBOTTOM_02の組合せについても上述と同様の処理を実行し、フィールド判定数ｆｂ２を算出する。
【００３９】
次に、フレーム／フィールド判定部１４は、第１の組合せと第２の組合せのいずれを用いて平滑化処理を行うべきかを、フィールド判定数に基づいて決定する。具体的には、フィールド判定数が少ない方の組合せで平滑化処理を行う。例えば、図３（ｂ）に示すようにフィールド画像TOP_02とBOTTOM_01の組合せにおけるフィールド判定数ｆｂ１＝αが、フィールド画像TOP_02とBOTTOM_02の組合せにおけるフィールド判定数ｆｂ２＝βよりも大きい場合、フィールド画像TOP_02とBOTTOM_02の組合せで後述の平滑化処理を行うことに決定する。このように、フレーム／フィールド判定部１４は、第１と第２の組合せのうち、フィールド判定数（フィールドと判定されたブロック数）が少ない方の組合せ、即ち、画像間に相違が少ない組合せでフレーム画像を構成し、平滑化を実行するように決定する。よって、原画像データの種類などに拘わらず、常に適切な組合せで平滑化を行うことができ、相違の大きい組合せのフィールド画像で平滑化を行うことが防止される。
【００４０】
（平滑化処理）
次に平滑化処理について説明する。平滑化処理はブロック単位で１画素毎に行われる。図６に平滑化処理の対象となるフレーム画像を模式的に示す。ここで、平滑化処理の対象となるフレーム画像とは、上述のフレーム／フィールド判定処理により、フィールド判定数が少ないとして平滑化処理の対象として決定された組合せによるフレーム画像である。例えば図３（ａ）に示す例では、処理対象のフィールド画像がトップフィールド画像TOP_02であり、フレーム／フィールド判定処理により図３（ｂ）に示すようにフィールド画像TOP_02とBOTTOM_02の組合せにより構成されるフレーム画像に対して平滑化処理を実行することが決定されている。よって、この場合はフレーム画像TOP_02とBOTTOM_02の組合せによるフレーム画像が平滑化処理の対象となる（図６参照）。
【００４１】
このようにフレーム／フィールド判定処理により決定されたフレーム画像に対して、ブロック毎にフレーム単位の平滑化又はフィールド単位の平滑化の一方を適用する。ここでのブロックは、フレーム／フィールド判定処理において規定したブロックであり、本実施例では図４及び図５に示すように８×８画素のブロックである。フレーム／フィールド判定処理により、処理対象のフレーム画像については各ブロック毎にフレーム又はフィールドの判定が済んでいる。その判定結果の一例を図６に示す。なお、この判定結果はプレフィルタ内のメモリなどに記憶されている。図６中、「ＦＲ」で示すブロックはフレーム／フィールド判定によりフレームと判定されたブロックであり、「ＦＩ」で示すブロックはフレーム／フィールド判定によりフィールドと判定されたブロックである。平滑化処理においては、このブロック単位で、フレームと判定されたブロック内の画素にはフレーム単位の平滑化処理を適用し、フィールドと判定されたブロック内の画素にはフィールド単位の平滑化処理を適用する。
【００４２】
次に、フレーム単位の平滑化処理及びフィールド単位の平滑化処理について具体的に説明する。図７（ａ）にフレーム単位の平滑化フィルタの構成例を示し、図７（ｂ）にフィールド単位の平滑化フィルタの構成例を示す。平滑化フィルタは一般的に、処理の対象となる画素を中心とし、その周辺画素の画素値を一律に変化させるフィルタである。平滑化フィルタの係数「ａ」を平滑化係数とも呼ぶ。図７（ａ）に示す例は３×３画素の平滑化フィルタであるが、これ以外の平滑化フィルタを使用することも可能である。
【００４３】
フレーム単位の平滑化処理の場合、処理対象となるフレーム画像の隣接ラインを対象として平滑化処理を行う。よって、フレーム単位の平滑化フィルタはフレーム画像データの上下方向及び左右方向の３画素に対してフィルタリングを行う。
【００４４】
一方、フィールド単位の平滑化処理の場合は、フィールド毎に独立して平滑化処理を行う。図６の例では、処理対象のフィールド画像がTOP_02であるので、フィールドと判定されたブロックは、フィールド画像TOP_02のみの画素データを使用して平滑化を行うことになる。図７（ｂ）に示すフィールド単位の平滑化フィルタは、説明の便宜上、フレーム画像状態（２つのフィールド画像を組み合わせた状態）の画像データに対して適用する平滑化フィルタとして構成しているので、斜線で示す部分は処理を行わず、実質的にはフィールド単位の３×３画素の平滑化フィルタとなっている。なお、実際の処理において、フィールド画像単位でメモリに記憶されているフィールド画像TOP_02に対して平滑化処理を行う場合には、図７（ａ）に示す平滑化フィルタを使用すればよい。
【００４５】
また、処理対象となるフィールド画像の周辺部の画素に対しては、処理対象画素の位置に応じて図７（ｃ）に示す構造の各平滑化フィルタを使用することになる。なお、図７（ｃ）に示す画像周辺部用の平滑化フィルタは図７（ａ）と同様にフレーム状態の画像データに対して適用されるものであり、フィールド単位の平滑化の場合は図７（ｂ）と同様に処理対象とならない画素部分（斜線で示す画素）を有する形となる。
【００４６】
なお、本実施例では平滑化フィルタ処理に先だってソーベルフィルタにより境界線検出を行い、境界線を含まない画素に対してのみ平滑化処理を実行する。この理由は、スーパーインポーズの文字や画像の輪郭に対して一律に平滑化処理を実行すると、文字や画像の輪郭がつぶれてしまうので、そのような境界線部分は平滑化処理を不適用として文字や輪郭のつぶれを防止することにある。フレーム単位の画像データ用のソーベルフィルタの構成例を図８（ａ）に示し、フィールド単位の画像データ用のソーベルフィルタの構成例を図８（ｂ）に示す。具体的には、ソーベルフィルタを処理対象となるフレーム画像又はフィールド画像の１画素毎に適用し、結果として得られる値が所定の閾値より大きい場合はその画素が境界上に位置すると判定し、閾値より小さい場合はその画素は境界上に位置しないと判定する。
【００４７】
［プレフィルタ処理の流れ］
次に、プレフィルタ処理全体の流れについて図９乃至図１１を参照して説明する。図９はプレフィルタ処理のメインルーチンのフローチャートであり、図１０はフレーム／フィールド判定処理のフローチャートであり、図１１は平滑化処理のフローチャートである。
【００４８】
まず、図９を参照すると、プレフィルタ１０は、画像ソース５からの原画像データＤ０を受け取る（ステップＳ１）。そして、フレーム／フィールド判定部１４は、まず、トップフィールド画像データの処理を行う。即ち、図３に示すように、処理対象のトップフィールド画像（例えばトップフィールド画像TOP_02）と、それに先行するフィールド画像（例えばボトムフィールド画像BOTTOM_01）との組合せ（以下、「組合せＡ」と呼ぶ。）により構成されるフレーム画像について、フレーム／フィールド判定を行う（ステップＳ２）。これにより、組合せＡのフレーム画像について各ブロック毎にフレーム又はフィールドの判定がなされ、フィールド判定数ｆｂ１が得られる。
【００４９】
次に、フレーム／フィールド判定部１４は、処理対象のフィールド画像（例えばトップフィールド画像TOP_02）と、それに対応するフィールド画像（例えばボトムフィールド画像BOTTOM_02）との組合せ（以下、「組合せＢ」と呼ぶ。）により構成されるフレーム画像について、フレーム／フィールド判定を行う（ステップＳ３）。これにより、組合せＢのフレーム画像について各ブロック毎にフレーム又はフィールドの判定がなされ、フィールド判定数ｆｂ２が得られる。
【００５０】
次に、フレーム／フィールド判定部１４は、組合せＡのフィールド判定数ｆｂ１と組合せＢのフィールド判定数ｆｂ２を比較し（ステップＳ４）、フィールド判定数の少ない方の組合せのフレーム画像を平滑化処理の対象に決定する。そして、平滑化処理部１６は対応するフレーム画像を利用して平滑化処理を実行し（ステップＳ５又はＳ６）、平滑化処理後の画像データを出力バッファ１８を介して符号化部７へ出力する（ステップＳ７）。
【００５１】
次に、プレフィルタ１０はボトムフィールド画像の処理を行う。例えば図３（ａ）のボトムフィールド画像BOTTOM_02を処理対象と仮定すると、トップフィールド画像TOP_02とボトムフィールド画像BOTTOM_02の組合せ（組合せＢ）により構成されるフレーム画像と、トップフィールド画像TOP_03とボトムフィールド画像BOTTOM_02の組合せ（以下、「組合せＣ」とする）により構成されるフレーム画像のいずれを対象として平滑化処理を行うべきかを決定する。但し、ここでは組合せＢによるフレーム画像についてのフレーム／フィールド判定は既にステップＳ３で完了しているので、組合せＣによるフレーム画像についてのフレームフィールド判定のみを実行する（ステップＳ８）。そして、フレーム／フィールド判定部１４は、組合せＢによるフレーム画像と組合せＣによるフレーム画像のうち、フィールド判定数の少ない方のフレーム画像を平滑化処理の対象と決定する（ステップＳ９）。平滑化処理部１６はそのフレーム画像について平滑化処理を実行し（ステップＳ１０又はＳ１１）、結果として得られる画像データを出力バッファ１８を介して符号化部７へ出力する（ステップＳ１２）。
【００５２】
こうして、プレフィルタ１０はトップフィールド画像とボトムフィールド画像についてフレーム／フィールド判定処理及び平滑化処理を繰り返す。そして、原画像データＤ０中の全てのフィールド画像データについて処理が完了すると（ステップＳ１３；Yes）、プレフィルタ処理を終了する。
【００５３】
次に、ステップＳ２、Ｓ３及びＳ８で実行されるフレーム／フィールド判定処理の流れを、図１０を参照して説明する。図１０において、まず、フレーム累積和を算出する。即ち、図４に示すように、１つのブロック（本例では８×８画素）について、隣接ライン間で対応する画素値の差分の二乗を計算し、これを当該ブロックの横方向画素全てについて合計することによりフレーム計算値ＣＲ１を算出する（ステップＳ２０、Ｓ２１）。そして、処理ラインを１つずらし（ステップＳ２２）、同様の処理を行ってフレーム計算値ＣＲ２を算出する。これを繰り返して１ブロック分の全てのフレーム計算値（図４の例ではＣＲ１〜ＣＲ７）が得られると（ステップＳ２３；Yes）、それらを合計してフレーム累積和ＣＲを算出する。
【００５４】
次に、図５（ａ）に示すように、当該ブロックのトップフィールドに対応する画素のみについて同様にライン毎のトップフィールド計算値ＣＴ１、ＣＴ２、..を算出し（ステップＳ２４、Ｓ２５）、これを当該ブロックの縦方向全てについて行って（ステップＳ２６、Ｓ２７）、トップフィールド累積和ＣＴを算出する。同様に、当該ブロックのボトムフィールドに対応する画素のみについてライン毎のボトムフィールド計算値ＣＢ１、ＣＢ２、..を算出し（ステップＳ２４、Ｓ２５）、これを当該ブロックの縦方向全てについて行って（ステップＳ２６、Ｓ２７）、ボトムフィールド累積和ＣＢを算出する。こうして、１つの処理対象ブロックについて、フレーム累積和ＣＲ、トップフィールド累積和ＣＴ、及びボトムフィールド累積和ＣＢが揃う。
【００５５】
次に、フレーム／フィールド判定部１４は、当該ブロックがフィールド判定条件を具備しているかを判定する（ステップＳ３２）。具体的には、上述の条件式１及び２の両方が満足されているか否かを判定し、両方が満足されている場合にはそのブロックをフィールドと判定し（ステップＳ３３）、いずれか一方でも満足されていない場合はそのブロックをフレームと判定する（ステップＳ３４）。こうして、対象となるフレーム画像のうちの１ブロックについてのフレーム／フィールド判定が終了する。
【００５６】
以後、フレーム／フィールド判定部１４は、ブロックを１つずらし、同様の処理により当該ブロックをフレーム又はフィールドと判定する。そして、判定対象となるフレーム画像に含まれる全てのブロックについて、フレーム又はフィールドの判定結果が得られた時点で、フレーム／フィールド判定処理は終了する。
【００５７】
次に、平滑化処理について図１１を参照して説明する。平滑化処理は、図９のステップＳ５、Ｓ６、Ｓ１０又はＳ１１において、それぞれ対象となるフレーム画像が特定された状態で行われる。
【００５８】
まず、平滑化処理部１６は、対象となるフレーム画像中の１つの画素を処理対象画素として特定し、その処理対象画素が属するブロックがフレームと判定されたブロックか、フィールドと判定されたブロックかを判定する（ステップＳ４１）。ブロック毎のフレーム／フィールド判定結果（図６参照）は前述のようにプリフィルタ内のメモリなどに保存されているので、平滑化処理部１６はそれを参照すればよい。平滑化処理部１６は、処理対象画素がフレームと判定されたブロックに属する場合、図７（ａ）に例示するようなフレーム用の平滑化フィルタを選択し（ステップＳ４２）、その処理対象画素がフィールドと判定されたブロックに属する場合には図７（ｂ）に例示するようなフィールド用の平滑化フィルタを選択する（ステップＳ４３）。
【００５９】
次に、平滑化処理部１６は、まず前述のソーベルフィルタを実行し（ステップＳ４４）、処理対象画素が境界上にあるか否かを判定する（ステップＳ４５）。処理対象画素が境界上にある場合には、前述のように平滑化処理により文字や輪郭などがつぶれることを防止するため、平滑化フィルタによる平滑化処理を行わずに、ステップＳ４７へ進む。一方、処理対象画素が境界上にない場合には、ステップＳ４２又はＳ４３で選択した平滑化フィルタを適用して平滑化処理を実行する（ステップＳ４６）。
【００６０】
さらに次の処理対象画素を特定し（ステップＳ４７）、次の処理対象画素があるか否かを判定する（ステップＳ４８）。こうして、処理対象となるフレームの全ての画素について、順に平滑化処理を実行し、全ての画素について処理が終了すると（ステップＳ４８）、平滑化処理が終了する。
【００６１】
［変形例］
上記の実施例においては、本発明の平滑化フィルタをＭＰＥＧによる圧縮符号化処理の前処理として適用されるプレフィルタとして使用しているが、本発明の平滑化フィルタはこれ以外の一般的な画像の平滑化処理に適用できる。例えば、通常のディスプレイなどに搭載し、表示画像のノイズ除去などの目的で使用することも可能である。
【００６２】
また上記の実施例では、画像データの輝度値を画素値として平滑化を行っているが、輝度のみならず色差についても同様に平滑化を行うことが可能である。
【００６３】
また、上記実施例中のフレーム／フィールド判定におけるフレーム累積和、フィールド累積和の計算式や、条件式１及び２などはいずれも単なる一例であり、他の計算式や条件式を使用してフレーム／フィールド判定を行うことも可能である。
【図面の簡単な説明】
【図１】平滑化処理前後の画像例を示す図である。
【図２】本発明による平滑化フィルタを適用した画像データの圧縮符号化システムの概略構成を示すブロック図である。
【図３】フレーム／フィールド判定処理の対象となるフレーム画像の組合せ例を示す図である。
【図４】フレーム／フィールド判定処理における、ブロック単位でのフレーム累積和の計算方法を示す図である。
【図５】フレーム／フィールド判定処理における、ブロック単位でのフィールド累積和の計算方法を示す図である。
【図６】処理対象のフレーム画像についてのフレーム／フィールド判定結果例を示す図である。
【図７】平滑化処理において使用される平滑化フィルタの構成例を示す。
【図８】平滑化処理において使用されるソーベルフィルタの構成例を示す。
【図９】図２に示すシステムにより実行されるプレフィルタ処理のフローチャートである。
【図１０】図９におけるフレーム／フィールド判定処理のフローチャートである。
【図１１】図９における平滑化処理のフローチャートである。
【符号の説明】
５ 画像ソース
７ 符号化部
１０ プレフィルタ（平滑化フィルタ）
１２ メモリ
１４ フレーム／フィールド判定部
１６ 平滑化処理部
１８ 出力バッファ
Claims (5)
- 各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得手段と、
処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定手段と、
前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択手段と、
前記選択手段により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択手段により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化手段と、を備えることを特徴とする画像データの平滑化処理装置。 - 前記平滑化手段は、前記判定手段がフレーム構造であると判定したブロックについては前記選択手段が選択したフレーム画像データを構成する２つのフィールド画像データを用いてフレーム単位の平滑化処理を行い、前記判定手段がフィールド構造であると判定したブロックについては前記処理対象のフィールド画像データのみを用いてフィールド単位の平滑化処理を行うことを特徴とする請求項１に記載の画像データの平滑化処理装置。
- 前記フレーム単位の平滑化処理は前記２つのフィールド画像データにより構成されるフレーム画像の隣接ライン間で平滑化を行う処理であり、前記フィールド単位の平滑化処理は前記処理対象のフィールド画像データの隣接ライン間で平滑化を行う処理であることを特徴とする請求項２に記載の画像データの平滑化処理装置。
- 各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得工程と、
処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定工程と、
前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択工程と、
前記選択工程により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択工程により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化工程と、を備えることを特徴とする画像データの平滑化処理方法。 - コンピュータ上で実行することにより、前記コンピュータを、
各々が２つのフィールド画像データにより構成される複数のフレーム画像データを時系列に配列してなる画像データを取得するデータ取得手段、
処理対象のフィールド画像データと当該処理対象のフィールド画像データの直前の先行フィールド画像データとにより構成される第１のフレーム画像データ、及び、前記処理対象のフィールド画像データと当該処理対象のフィールド画像データの直後の後続フィールド画像データとにより構成される第２のフレーム画像データについて、前記フレーム画像データを構成する２つのフィールド画像データがフレーム構造にあるかフィールド構造にあるかを、前記フレーム画像データを構成する画素の画素値の差分に基づいて、前記フレーム画像データを構成する複数のブロック毎に判定する判定手段、
前記第１及び第２のフレーム画像データのうち、前記判定手段によりフィールド構造と判定されたブロックの数が少ない方のフレーム画像データを選択する選択手段、
前記選択手段により前記第１のフレーム画像データが選択された場合は前記先行フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化し、前記選択手段により前記第２のフレーム画像データが選択された場合は前記後続フィールド画像データを用いて前記処理対象のフィールド画像データを平滑化する平滑化手段、として機能させることを特徴とする画像データの平滑化処理プログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002342599A JP3715273B2 (ja) | 2002-11-26 | 2002-11-26 | 画像データの平滑化処理装置、平滑化処理方法及び平滑化処理プログラム |
| EP20030257350 EP1427215B1 (en) | 2002-11-26 | 2003-11-21 | Method and device for smoothing of image data |
| DE2003611946 DE60311946T2 (de) | 2002-11-26 | 2003-11-21 | Verfahren und Vorrichtung zur Bilddateienglättung |
| CNA2003101179862A CN1503562A (zh) | 2002-11-26 | 2003-11-26 | 图像数据的平滑处理器、平滑处理方法以及平滑处理程序 |
| US10/721,771 US20040151397A1 (en) | 2002-11-26 | 2003-11-26 | Smoothing processor, smoothing processing method and smoothing processing program of image data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002342599A JP3715273B2 (ja) | 2002-11-26 | 2002-11-26 | 画像データの平滑化処理装置、平滑化処理方法及び平滑化処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004179886A JP2004179886A (ja) | 2004-06-24 |
| JP3715273B2 true JP3715273B2 (ja) | 2005-11-09 |
Family
ID=32310641
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002342599A Expired - Fee Related JP3715273B2 (ja) | 2002-11-26 | 2002-11-26 | 画像データの平滑化処理装置、平滑化処理方法及び平滑化処理プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20040151397A1 (ja) |
| EP (1) | EP1427215B1 (ja) |
| JP (1) | JP3715273B2 (ja) |
| CN (1) | CN1503562A (ja) |
| DE (1) | DE60311946T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009260965A (ja) * | 2008-04-11 | 2009-11-05 | Tektronix Internatl Sales Gmbh | ビデオ・フレームのフィールド間動きの定量化方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100555866B1 (ko) * | 2004-06-08 | 2006-03-03 | 삼성전자주식회사 | 패턴 적응형 필터링에 의한 영상신호의 평활화 장치 및 그평활화 방법 |
| JP2008109247A (ja) * | 2006-10-24 | 2008-05-08 | Matsushita Electric Ind Co Ltd | ビデオ・ノイズをフィルタリングする方法、装置、集積回路およびエンコーダ |
| JP6573375B2 (ja) * | 2015-06-24 | 2019-09-11 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS592227B2 (ja) * | 1978-08-21 | 1984-01-17 | 株式会社日立製作所 | 雑音除去方式 |
| US5237413A (en) * | 1991-11-19 | 1993-08-17 | Scientific-Atlanta, Inc. | Motion filter for digital television system |
| TW293227B (ja) * | 1994-11-24 | 1996-12-11 | Victor Company Of Japan | |
| JPH09252468A (ja) * | 1996-03-15 | 1997-09-22 | Minolta Co Ltd | 画像圧縮装置 |
| BR9914117A (pt) * | 1998-09-29 | 2001-10-16 | Gen Instrument Corp | Processo e aparelho para detectar mudanças de cena e ajustar o tipo de codificação de imagem em um codificador de televisão de alta definição |
| HUP0102452A3 (en) * | 1999-01-27 | 2003-05-28 | Koninkl Philips Electronics Nv | Record carrier, playback device and method of recording information |
| JP4288805B2 (ja) * | 1999-12-28 | 2009-07-01 | ソニー株式会社 | 映像信号再生装置 |
| KR100611094B1 (ko) * | 2000-06-15 | 2006-08-09 | 주식회사 케이티 | 통계적 모델에 기반한 워터마크 삽입/검출 장치 및 그 방법 |
| ATE401647T1 (de) * | 2001-05-02 | 2008-08-15 | Pioneer Corp | Informationsaufzeichnungsmedium und informationsaufzeichnungsgerät |
| JP3713574B2 (ja) * | 2001-05-29 | 2005-11-09 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置、画像処理方法およびプログラム |
| DE60227623D1 (de) * | 2001-09-14 | 2008-08-28 | Pioneer Corp | Informationsaufzeichnungsmedium, Informationswiedergabegerät und Informationsaufzeichnungsgerät |
-
2002
- 2002-11-26 JP JP2002342599A patent/JP3715273B2/ja not_active Expired - Fee Related
-
2003
- 2003-11-21 EP EP20030257350 patent/EP1427215B1/en not_active Expired - Fee Related
- 2003-11-21 DE DE2003611946 patent/DE60311946T2/de not_active Expired - Fee Related
- 2003-11-26 US US10/721,771 patent/US20040151397A1/en not_active Abandoned
- 2003-11-26 CN CNA2003101179862A patent/CN1503562A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009260965A (ja) * | 2008-04-11 | 2009-11-05 | Tektronix Internatl Sales Gmbh | ビデオ・フレームのフィールド間動きの定量化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1427215A2 (en) | 2004-06-09 |
| DE60311946D1 (de) | 2007-04-05 |
| DE60311946T2 (de) | 2007-12-06 |
| EP1427215B1 (en) | 2007-02-21 |
| CN1503562A (zh) | 2004-06-09 |
| US20040151397A1 (en) | 2004-08-05 |
| JP2004179886A (ja) | 2004-06-24 |
| EP1427215A3 (en) | 2005-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7215823B2 (en) | Deblocking and deringing apparatus, program and method | |
| JP5261376B2 (ja) | 画像符号化装置および画像復号化装置 | |
| JP4666415B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP4455487B2 (ja) | 復号化装置及び復号化方法及びプログラム | |
| US8139651B2 (en) | Video deblocking filter | |
| KR101158345B1 (ko) | 디블록킹 필터링을 수행하는 방법 및 시스템 | |
| JP2002531971A (ja) | 画像の境界にまたがる画素値間の相違を減少させるための画像処理回路及び方法 | |
| KR19990024963A (ko) | 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법 | |
| JPH09200759A (ja) | ビデオ信号復号化システムおよびノイズ抑圧方法 | |
| JP2006114979A (ja) | 画像符号化装置及びその方法 | |
| WO2002067589A1 (en) | Image processing system, image processing method, and image processing program | |
| US20050117812A1 (en) | Method of reducing noise in images | |
| JP4931214B2 (ja) | 画像処理装置及びその方法 | |
| JPH05316361A (ja) | ブロック歪除去フィルタ | |
| JP2008301336A (ja) | 画像処理装置、画像符号化装置及び画像復号化装置 | |
| JP4931215B2 (ja) | 画像処理装置及びその方法 | |
| KR20010080611A (ko) | 필터링 장치 및 방법 | |
| JP3715273B2 (ja) | 画像データの平滑化処理装置、平滑化処理方法及び平滑化処理プログラム | |
| US20080253682A1 (en) | De-ringing filter for decompressed video data | |
| TWI782853B (zh) | 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法 | |
| JP5111260B2 (ja) | 画像処理装置、及び、特定領域検出方法 | |
| JP3799842B2 (ja) | 静的映像検出方法、及び装置 | |
| KR20050085368A (ko) | 블록화 아티팩트들을 측정하는 방법 | |
| JP2003219417A (ja) | 動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体 | |
| KR101452495B1 (ko) | 복원된 비디오 데이터를 위한 디링잉 필터 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040727 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040727 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20040812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050823 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050824 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |