JP3939524B2 - ビデオデータ処理方法 - Google Patents
ビデオデータ処理方法 Download PDFInfo
- Publication number
- JP3939524B2 JP3939524B2 JP2001312839A JP2001312839A JP3939524B2 JP 3939524 B2 JP3939524 B2 JP 3939524B2 JP 2001312839 A JP2001312839 A JP 2001312839A JP 2001312839 A JP2001312839 A JP 2001312839A JP 3939524 B2 JP3939524 B2 JP 3939524B2
- Authority
- JP
- Japan
- Prior art keywords
- maximum frequency
- grid
- discrete
- input image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
- H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル入力画像に含まれるデータの処理方法に関する。
【０００２】
本方法は、予め符号化され、たとえばＭＰＥＧ標準（Motion Picture Experts Group）ブロックに基づく符号化技術に従い続いて復号化されるデジタル画像におけるブロックの検出に利用され、また、ブロックに基づく符号化技術により引き起こされる目に見えるアーティファクトを低減するための、ブロックに含まれるデータの修正に利用される。
【０００３】
【従来の技術】
“Proceeding of 3rd IEEE International Conference on Image Processing,vol2,Lausanne,Switzerkand, 16-19 Sept 1996, pp.53-56”において、Hoon Paek and Sang-Uk Lee等による“Ａ projection-based post-processing technique to reduce blocking artifacts using a priori information on DCT coefficients of adjacent blocks”と題された論文には、デジタル画像に含まれるデータの処理方法が記載されている。
【０００４】
現在使用されている殆どの方法とは対照に、上記方法は、空間領域ではなく周波数領域において、すなわちデジタル入力画像に離散変換が適用された後に使用される。この離散変換は、たとえば、離散コサイン変換ＤＣＴである。この処理方法の目的は、ブロックアーティファクトに対応するＤＣＴ係数を修正することである。ブロックアーティファクトに関連する周波数を見つけて抑圧するために、従来の方法は以下のステップから構築されている。
【０００５】
・Ｎ画素のセグメントuの第１離散コサイン変換Ｕを計算するステップ。ここで、この例ではＮ＝８であり、U＝ＤＣＴ[u]＝｛U(0),U(1),…,U(N-1)｝、すなわち、以下のように表される。
【０００６】
【数１】
ここで、kは変換データUの周波数であり、k∈[0、N-1]である。
・セグメントuに隣接するＮ画素のセグメントvの第２離散コサイン変換Ｖを計算するステップ。Ｖ＝ＤＣＴ[v]＝｛V(0),V(1),…,V(N-1)｝、すなわち、以下のように表される。
【０００７】
【数２】
・２Nのセグメントw、すなわち、セグメントu及びvの連結に対応する１６画素について全体の離散コサイン変換Wを計算するステップ。W＝ＤＣＴ[w]＝｛W(0),W(1),…,W(2N-1)｝、すなわち、以下のように表される。
【０００８】
【数３】
図１は、８×８画素の２つのブロック１１，１２にそれぞれ属し、ブロックの境界１６の向かい合う側に配置される２つの隣り合うセグメント(u)１３及び(v)１４を示している。第１及び第２セグメントの連結に対応するセグメント(w)１５は、セグメント(u)１３及び(v)１４の間にブロックアーティファクトが存在する場合に、セグメント(u)１３及び(v)１４を超えて、高い空間周波数を含んでいる。今、以下のやり方でU及びVの関数として表すことができる。
【０００９】
【数４】
Wの予測される最大周波数（kwpred）は、すなわち、ブロックアーティファクト存在しない場合には、以下のやり方でU及びVの最大周波数（kumax）及び（kvmax）に理論的に依存する。
kwpred＝２.max(kumax,kvmax)＋２
ここで、kumax＝max(k∈{0,．．．,N-1}/abs(U(k)≠0)，
kvmax＝max(k∈{0,．．．,N-1}/abs(V(k)≠0)，
maxは、所与の値のセット間での値kの最大値となる関数である。
【００１０】
予測される最大周波数(kwpred)よりも高いkが奇数の周波数に対応する係数Ｗ(k)は、ブロックアーティファクトに等しいと考えられるので、ゼロに設定される。
【００１１】
【発明が解決しようとする課題】
本発明の目的は、スクリーン上に表示されるデジタル画像について良好な表示品質を得ることができるデータ処理方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は、以下の態様を考慮するものである。
【００１３】
デジタルビデオ信号に属する画像は、ＭＰＥＧ標準に従い符号化するために８行×８画素のブロックに分割される。画像の第１ブロックは、位置（０，０）から開始する。デジタルからアナログ及びアナログからデジタルへの変換の結果として、及びデジタルビデオ信号に適用されるいずれか可能な前処理アルゴリズムの結果として、この信号に属する原画像は数画素だけシフトされ、ＭＰＥＧブロックに対応するグリッドサイズが変化する。テレビジョンセットの入力で現れる入力画像は、原画像に関して復号化画像の変化を判定することができないか、又は復号化後のブロックに対応するグリッドサイズにおける変化を判定することができないことにより、いずれかの情報を含んでいない。したがって、従来技術のデータ処理方法は、かかる使用の場合に不十分である。これは、復号化画像の原点は（０，０）であり、ブロックは８×８画像のサイズを想定しているからである。
【００１４】
本発明によれば、これらの欠点を排除するために、デジタル入力画像に含まれるデータの処理方法は、全体の変換から生じた変換データに基づいて実際の最大周波数を判定するステップ、デジタル入力画像の一部についての実際の最大周波数と予測される最大周波数の間の比較に基づいて、グリッドを検出するステップをさらに備えていることを特徴としている。
【００１５】
グリッド検出ステップにより、デジタル入力画像がブロックに基づく符号化技術に従い符号化されているか否かを判定することができる。グリッドのサイズは、ＭＰＥＧ標準の場合はじめに８行×８画素の符号化ブロックに対応し、復号化の間の画像の可能な再標本化の後、該標準の場合に８行×１０，１２又は１６画素となる。
【００１６】
本発明のこれらの態様は、本発明の複数の実施の形態の以下の記載からより詳細な他の態様と共により明確になる。該実施の形態は、添付図面を参照して例を通して示される。
【００１７】
【発明の実施の形態】
本発明は、デジタル入力画像に含まれるデータの処理方法である。本方法は、ブロックに基づく符号化技法に従いデジタル入力画像が予め符号化されている場合に、該画像の表示品質を向上する役割を果たすものである。
【００１８】
図２は、符号化されたデジタル画像Ｓ１を含んでいるデジタルビデオ信号を処理するための完成されたシステムを例示している。このシステムがデコーダユニット２０を含んでいる場合、該ユニットは、チャネル（ＣＨ）２３を介してテレビジョン受信機２７に復号化アナログ画像Ｓ２を送信する役割を果たす。デコーダユニットは、ブロックに基づく符号化技術に従い符号化されているデジタルビデオ信号を復号化することができるデコーダ（ＭＰＤ）２１、及びデジタル／アナログ変換器（ＤＡＣ）２２を含んでいる。
【００１９】
テレビジョン受信機は、アナログ／デジタル変換器（ＡＤＣ）２４を含んでおり、該変換器は、デジタル入力画像Ｓ３を装置（ＤＥＴ）２５に供給する役割を果たす。該装置は、該デジタル入力画像がブロックに基づく符号化技術に従い復号化されているかを検出することができる。修正又は後処理装置（ＣＯＲ）２６は、デジタル入力画像の符号化の前に実行される信号前処理と対抗するものであり、そのスクリーン上の表示について、デジタル画像の表示品質を向上することができる。後処理は、検出装置により供給されるデータに依存して実行される。
【００２０】
テレビジョンセットの入力で利用することができるビデオ信号は、画素形成される画像を含んでいるが、該信号がブロックに基づく符号化技術に従い予め符号化されている場合に、該信号の可能な符号化及び復号化パラメータに関するいずれかの情報を含んではいない。
【００２１】
これは、検出装置がブロックに対応するグリッドのサイズ及び位置を判定するために適合されるためである。このブロックは、符号化技術により使用され、復号化に間に再標本化されている。修正装置の適切な用途は、グリッドの検出及びその配置に依存している。
【００２２】
本データ処理方法は、ＭＰＥＧ標準に従い符号化され、続いて復号化されるデジタル画像の領域において特に発展される。しかし、たとえば、H.261又はH.263のようなブロックに基づく符号化技術に従い符号化及び続いて復号化されるいずれか他のデジタルビデオ信号にも適用することができる。
【００２３】
ＭＰＥＧ標準に従い符号化されているデジタルビデオ信号に属する画像は、８行×８画素のブロックに分割される。画像の第１ブロックは、位置（０，０）で開始している。デジタル／アナログ及びアナログ／デジタル変換の結果として、及びデジタルビデオ信号を前処理するためのアルゴリズムの可能な使用の結果として、デジタルビデオ信号に属する原画像は、数画素だけシフトされる。一方、原画像は、低伝送速度で満足しうる表示品質を維持するために、異なる水平符号化フォーマットに従い符号化されていてもよい。
【００２４】
その初期フォーマットを回復するために、復号化の間に符号化されて、続いて水平方向にアップサンプリングする前に、原画像は水平方向にダウンサンプリングされる。これにより、アップサンプリング、８行×８画素のブロックに関してなお実行されている符号化によるグリッドサイズの変化が生じる。
【００２５】
この欠点を排除するために、本データ処理方法は、ブロックに基づく符号化技術に従い符号化されたデジタルビデオ信号を検出することを目的としている。この目的のために、本方法は、図３において例示されているように、以下のステップを含んでいる。
・第１離散変換（ＤＣＴ１：Discrete Cosine Transform１）を計算するステップ。たとえば、第１データセット(u)１３についてのコサイン変換である。好適な実施の形態では、このデータセットはＮ画素の輝度値により形成される。ここで、本例ではＮ＝８である。データ処理方法は、１次元において適用される。すなわち、グリッドの深さを検出するためにＮ画素の行に沿って、及び該グリッドの高さを検出するためにＮ画素の列に沿って行われる。
・第１セットに隣接する第２データセット(v)１４についての第２離散変換（ＤＣＴ１）３２を計算するステップ。好適な実施の形態では、この第２データセットもまた、Ｎ画素により形成される。
・第１及び第２セットの連結（ＣＯＮ）３０に対応し、本発明による実施の形態の場合結果的に２Ｎ画素により形成されるデータセット(w)についての全体の離散変換（ＤＣＴ２）３３を計算するステップ。
・第１離散変換（ＤＣＴ１）３１及び第２離散変換（ＤＣＴ１）３２から生じる変換データ（Ｕ）１３’及び（Ｖ）１４’に基づいて、予測される最大周波数（kwpred）３７を判定する（ＰＲＥＤ）３４のステップ。予測される最大周波数は、以下のやり方、kwpred＝２.max(kumax,kvmax)＋２により計算される。
ここで、kumax＝max(k∈{0,．．．,N-1}/abs(U(k))＞T)，
kvmax＝max(k∈{0,．．．,N-1}/abs(V(k))＞T)，
abs(x)は、xの絶対値を与える関数であり、
Tは、ゼロより大きいかゼロに等しい閾値である。
・全体の離散変換から生じる変換データ(W)１５’に基づいて実際の最大周波数(kwmax)３８を判定する（ＲＥＡ）３５のステップ。実際の最大周波数は、以下のやり方、kwmax＝max(k∈{0,．．．,2N-1}/abs(Ｗ(k))＞T)により計算される。
・デジタル入力画像がブロックに基づく符号化技術に従い符号化されているかを判定することができるかを検出する（ＧＲＩ）３６のステップ。これは、デジタル入力画像の一部について、実際の最大周波数（kwmax）と予測される最大周波数との間の比較により作用される。好適な実施の形態では、該一部は、グリッドの深さを検出するために画像の２０行毎に１行により形成され、グリッドの高さを検出するために画像の２０列毎に１列により形成される。かかる方法は、満足しうる検出品質を補償しつつ、最小の計算資源を必要とする。続いて、値kwpred(j)及びkwmax(j)は、１画素によるそれぞれのインクリメント後に、離散変換（ＤＣＴ１）及び（ＤＣＴ２）の計算のインタラクションを通して、行又は列のそれぞれの画素jについて計算される。したがって、検出ステップは、グリッドが検出されたかを示し、その場合、このグリッド３９のサイズ及び位置を与える。
【００２６】
図４は、より詳細に検出ステップ３６を例示するフローチャートである。この検出ステップは、以下のような量Ｘ(j)を計算するサブステップ（ＣＯＭＰ）４０を備えている。
Ｘ(j)＝kwpred(j)−kwmax(j).
ブロックの境界に関して、値Ｘ(j)は、閾値ＸＴよりも大きい。好適な実施の形態では、閾値の値ＸＴは４である。グリッドのサイズ及び位置を検出するために、この必要条件に合うＸの値jが記憶され、これらモジュロ８の値のヒストグラムが生成される。グリッドは、ヒストグラムの１つの値がハイであり、他の７つの値にわたり明確に優れている場合に検出される。すなわち、好適な実施の形態では、以下の場合である。
・ヒストグラムの第１最大値が１より大きく、このヒストグラムの第２最大値の３倍に等しい。
・ヒストグラムの第１最大値が１０よりも大きい。
【００２７】
第１テスト（ＨＧ）４０１は、次いで、８画素の深さを有するグリッドが検出されたかを判定するために水平方向に実行される。検出されたと判定された場合、検出ステップは終了して結果（ＨＧ１）４３を生じる。これは、１／２の画像フォーマットに対応する最後に記述される深さである、８又は１６画素の深さを有するグリッドが検出されたことを示す。検出されなかったと判定された場合において、７２０画素の深さを有する原画像から５４０画素の深さを有する画像に変換させるために、すなわち３／４の画像フォーマットへの、フォーマットを変換する第１サブステップ（ＦＣ１）４１が実行される。この目的のために、画像の行はファクタ３で原画像の２つの画素間に２つのゼロを付加し、フィルタＦ１によりフィルタリングすることによりアップサンプリングされる。フィルタＦ１は、たとえば１９の係数を有しており、以下のような係数である。
Ｆ１＝［9,6,0,-21,-9,0,103,220,295,330,295,220,103,0,-9,-21,0,6,9］
したがって、得られる信号は、４画素のうちから１つを選択することにより、続いてダウンサンプルされる。
【００２８】
次いで、変換されたデジタルビデオ信号にフレーム検出方法が適用される。次いで、８画素の深さを有するグリッドがフォーマット変換後に画像において検出されたかを判定するために、第２テスト（ＨＧ）４０２が水平方向に実行される。検出されたと判定された場合、検出ステップが終了されて結果（ＨＧ２）４４を生じる。該結果は、１０画素の深さを有するグリッドが、フォーマット変換前に初期画像において検出されていることを示している。検出されていないと判定された場合、７２０画素の深さを有する原画像から４８０画素の深さを有する画像へ変化するために、すなわち２／３の画像フォーマットに画像フォーマットを変換する第２サブステップ（ＦＣ２）４２が実行される。この目的のために、画像の行は、ファクタ２で原画像の２つの画素間にゼロを付加し、フィルタＦ２によりフィルタリングすることによりアップサンプリングされる。フィルタＦ２は、たとえば１５の係数を有しており、以下のような係数である。
Ｆ２＝［-3,-37,-41,-20,52,163,248,300,248,163,52,-20,-41,-37,-3］
したがって、得られる信号は、３つの画素のうちの１つを選択することにより続いてダウンサンプリングされる。
【００２９】
フレーム検出方法は、変換されるデジタルビデオ信号に適用される。次いで、８画素の深さを有するグリッドが画像変換の後に画像において検出されたかを判定するために、第３テスト（ＨＧ）４０３が水平方向に実行される。検出されたと判定した場合、検出ステップは終了して結果（ＨＧ３）４５を生じる。該結果は、１２画素の深さを有するグリッドが原画像において検出されたことを示している。検出されていないと判定した場合、水平方向においてグリッドが検出されていない事実に対応する結果（ＮＨＧ）４６となる。
【００３０】
同時に、フレーム検出方法は、垂直方向においてデジタル入力画像に適用される。８画素の高さを有するグリッドが検出されたかを判定するために、テスト（ＶＧ）４０４が実行される。検出されたと判定した場合、検出ステップは終了し、８画素の高さを有するグリッドが検出されたことを示す結果（ＶＧ）４７となる。検出されていないと判定した場合、垂直方向においてグリッドが検出されていない事実に対応する結果（ＮＶＧ）４８となる。
【００３１】
ＭＰＥＧ標準において使用される画像フォーマットについて、グリッド検出方法が記載された。しかし、本方法は、これらのフォーマットに限定されず、本発明の範囲を逸脱しない他の画像フォーマットに使用することができる。
【００３２】
上述された検出方法により、テレビジョンセットにより受信されたビデオ信号がブロック符号化技法により符号化されているかを検出することができる。また、本方法は、符号化が作用されることに基づくブロックに対応して、グリッドのサイズ及び位置を示す。次いで、検出方法に提供されるデータの関数として、好ましくは８行×８画素のブロックを処理するフォーマット変換後の画像に対して、後処理方法が適用される。画像は、スクリーン上に表示されるための処理後に、フルスクリーンフォーマット（すなわち、７２０画素）へ続いて再変換される。
【００３３】
有効な実施の形態において、後処理方法は、本発明による検出方法に共通のステップを使用する。図５は、デジタルビデオデータの後処理のかかる方法を例示している。本方法は、以下のステップを含んでいる。
・Ｎデータの第１セット(u)１３についての第１離散変換（ＤＣＴ１）３１を計算するステップ。
・第１セットに近いＮデータの第２セット(v)１４についての第２離散変換（ＤＣＴ１）３２を計算するステップ。
・第１及び第２セットの連結３０に対応する２Ｎデータのセット(w)１５についての全体の離散変換を計算し、変換データ(W)１５’を生じるステップ。
・第１離散変換（ＤＣＴ１）３１及び第２離散変換（ＤＣＴ１）３２から生じた変換されたデータ(Ｕ)１３’及び(Ｖ)１４’に基づいて予測された最大周波数(kwpred)３７を判定する（ＰＲＥＤ）ステップ。該周波数は、以下のやり方で計算される。
kwpred＝２.max(kumax,kvmax)＋２
ここで、kumax＝max(k∈{0,．．．,N-1}/abs(U(k))＞T)，
kvmax＝max(k∈{0,．．．,N-1}/abs(V(k))＞T)，
Tは、非ゼロの閾値である。
【００３４】
本発明による判定ステップは、閾値Tの導入に基づいて、臨界の最大周波数の計算の洗練を提供する。この洗練により、画像のより効果的な修正を達成することができる。閾値Tは、データu及びvのセットに属する画素数の関数である。後処理方法もまた、初期データ値u及びv並びに変換データ値U及びVに基づいて、自然の輪郭（natural contours）を検出するためのサブステップを有する修正ステップ（ＰＲＯＣ）５１を含んでいる。このサブステップにより、自然の輪郭を符号化アーティファクトにより引き起こされるブロック境界から区別することができる。自然の輪郭は、２つの条件が満たされた場合に検出される。
・ブロック境界の反対側でのデータu及びvの平均値
【００３５】
【外１】
がMよりも実質的に大きい場合。すなわち、以下に示される。
【００３６】
【外２】
・データu及びvのセットが低い活性度を示す場合。値kumax及びkvmaxが低くk0よりも小さい、すなわちkumax＜k0及びkvmax＜k0であることを明らかにする。
【００３７】
修正ステップ（ＰＲＯＣ）もまた、その周波数が奇数であり、予測された最大周波数よりも高い全体の離散変換から生じる変換データ(Ｗ)１５’をゼロにして、切り捨てられたデータ１５”を生じる切り捨てのサブステップを含んでいる。
【００３８】
最後に、後処理ステップ方法は、切り捨てられたデータ１５”の逆離散変換（ＩＤＣＴ２）５２を計算して、スクリーン上に続いて表示されることが意図される復号化されたデータ１５’’’を生じるステップを含んでいる。
【００３９】
たとえば、ある行及びある列について画像の一部に適用することができる上記の検出方法と異なり、後処理方法は、好ましくは、全体の画像に適用することができる。
【００４０】
さらに、この後処理方法は、検出方法またはデコーダ２１の出力でのいずれかに適用されてもよく、デコーダより供給されるパラメータにより、符号化ブロックに対応するフレームの位置を知ることができる。
【００４１】
後処理方法はまた、その適用順序は問題ではないが２つの連続するフェーズを含んでいる。
・データの行毎の処理に対応する垂直アーティファクトの修正。
・データの列毎の処理に対応する水平アーティファクトの修正。
【００４２】
最後に、インタレースされた画像系列の場合、画像は、２つのフィールドを形成するようにデインタレースされる。２つのフィールドは、続いて後処理方法に向けられる。処理の後、２つのフィールドは再インタレースされる。
【００４３】
本発明による後処理方法の第１実施の形態において、データ(u)１３及び(v)１４のセットは、連続した画素N＝８に関連した輝度値を含んでいる。第１離散変換（ＤＣＴ１）３１及び第２離散変換（ＤＣＴ１）３２から生じた変換データ(U)１３’及び（V）１４’に基づく予測された最大周波数（kwpred）３７を判定するステップ（ＰＲＥＤ）３４は、垂直アーティファクトの修正について水平閾値Th=5で、及び水平アーティファクトの修正についてプログレッシブ（非インタレース）モードで垂直閾値Tv=5、インタレースモードで垂直閾値Tv=３で実行される。実際のところ、最後に記載した場合において水平アーティファクトの修正は、水平解像度の半分に等しい解像度に対応するデータu及びvのセットを処理することにより実現される。これは、水平閾値に関する垂直閾値を説明する。自然の輪郭の検出のためのサブステップに関して、値Ｍ及びk0は３０及び３に設定されることが好ましい。
【００４４】
本発明による後処理方法の第２実施の形態では、データセット(u)１３及び(v)１４は、連続する画素Ｎ＝４に関連する輝度値を含んでいる。結果的に、閾値は、たとえばインタレースモードでTh=10及びTv=5、M=25、k0=1に変化する。かかる簡略化により、処理アルゴリズムの複雑さを低減することができるが、これにより修正効率がかなり低減する。
【００４５】
最後に、本発明による後処理の第３実施の形態では、データセット(u)１３及び(v)１４は、連続する画素Ｎ＝８に関連する輝度値をそれぞれ含んでいる。しかし、データセット(u)１３及び(v)１４は、２つのサブセットｕ’,u''及びv’,v''をそれぞれ含んでいる。サブセットｕ’,v’は、奇数ランクのデータを含んでおり、サブセットu'',v''は、偶数ランクのデータを含んでいる。
【００４６】
離散変換３１，３２，３３を計算するステップは、サブセットｕ’,v’に一方で適用され、サブセットu'',v''に他方で適用される。これにより、変換データU’,V’,W’、U'',V'',W'',がそれぞれ生成される。
【００４７】
同時に、判定するステップ（ＰＲＥＤ）３４は、予測された最大周波数（kw’pred）及び（kw''pred）３７を提供する。これらは、以下のように計算される。
kwpred=2.max(kumax,kvmax)+2
kw’pred＝２.max(ku’max,kv’max)＋２
ここで、ku’max=max(k∈{0,．．．,N-1}/abs(U’(k))＞Th又はTv)，
kv’max=max(k∈{0,．．．,N-1}/abs(V’(k))＞Th又はTv)，
kw”pred＝２.max(ku”max,kv”max)＋２
ここで、ku”max=max(k∈{0,．．．,N-1}/abs(U”(k))＞Th又はTv)，
kv”max=max(k∈{0,．．．,N-1}/abs(V”(k))＞Th又はTv)，
ここで、たとえば、インタレースモードにおいてTh=10及びTv=5である。
【００４８】
修正ステップ（ＰＲＯＣ）５１は、変換データＷ’及びＷ’””に独立である。
・自然の輪郭の検出のためのサブステップは、以下のようである。
【００４９】
【外３】
・その周波数が予測された最大周波数(kw’pred),(kw”pred)よりも高い、全体の離散変換から生じる変換データＷ’及びＷ’””の切捨てのサブステップ。
【００５０】
この実施の形態により、第１実施の形態の修正効率が維持される一方で、処理の複雑さが低減される。自然の輪郭を検出するためのサブステップは、第３実施の形態による後処理方法の良好な成果のために本質的ではない。
【００５１】
図１から図５の参照した上記記載は、本発明を限定するものではなく例示するものである。特許請求の範囲の領域内での様々な代替が存在することは明らかである。
【００５２】
ソフトウェアにより記載された機能を実現するための様々な方法がある。この点に関して、図２から図５は高度な図表であり、それぞれの図は、単なる１変形例を示している。したがって、図は分離されたブロックをとしての異なる機能を示しているが、これは、ソフトウェアの１つの項目が複数の機能を実行するという可能性を排除するものではない。これは、１つの機能がソフトウェア項目の１つのグループにより実行される場合があるという可能性を決して排除するものではない。
【００５３】
これらの機能は、後処理方法の場合に、テレビジョン受信機又は適切にプログラムされたセットトップボックス回路により実現されてもよい。プログラムメモリに含まれる命令のセットは、図２から図５を参照して上述された回路に異なる動作を実行させる可能性がある。命令のセットは、たとえば、命令のセットを搬送するディスクのようなデータ担体を読むことによりプログラムメモリにロードされてもよい。また、読むことは、たとえばインターネットのような通信ネットワークを介して作用されてもよい。この場合、サービスプロバイダは、命令のセットを興味関心のあるユーザに提供することができる。
【００５４】
動詞「備える」の使用は、特許請求項において定義されたものというよりも、いずれかの要素又はステップを排除するものではない。
【図面の簡単な説明】
【図１】従来技術のデータ処理方法を示す図である。
【図２】デジタルビデオ信号の処理についての本発明によるデータ処理方法を表す図である。
【図３】ブロックに基づく符号化技術に従い符号化された画像系列の検出についての本発明のデータ処理方法を表す図である。
【図４】ブロックに基づく符号化技術に従い符号化された画像を検出するステップのフローチャートである。
【図５】符号化されたデジタル画像の修正についての本発明によるデータ処理方法を表す図である。
【符号の説明】
Ｓ１：符号化されたデジタル画像
２０：デコーダユニット
２１：復号化装置（ＭＰＤ）
２２：デジタル／アナログ変換器（ＤＡＣ）
２３：チャネル（ＣＨ）
Ｓ２：復号化されたアナログ画像
２４：アナログ／デジタル変換器（ＡＤＣ）
Ｓ３：デジタル入力画像
２５：検出装置（ＤＥＴ）２５
２６：修正又は後処理装置（ＣＯＲ）
２７：テレビジョン受信機
３０：第１及び第２セットの連結（ＣＯＮ）
３１：第１離散変換（ＤＣＴ１）
３２：第２離散変換（ＤＣＴ２）
３３：全体の離散変換（ＤＣＴ２）
３４，３５：判定装置（ＰＲＥＤ）
３６：検出装置（ＧＲＩ）
【発明の属する技術分野】
本発明は、デジタル入力画像に含まれるデータの処理方法に関する。
【０００２】
本方法は、予め符号化され、たとえばＭＰＥＧ標準（Motion Picture Experts Group）ブロックに基づく符号化技術に従い続いて復号化されるデジタル画像におけるブロックの検出に利用され、また、ブロックに基づく符号化技術により引き起こされる目に見えるアーティファクトを低減するための、ブロックに含まれるデータの修正に利用される。
【０００３】
【従来の技術】
“Proceeding of 3rd IEEE International Conference on Image Processing,vol2,Lausanne,Switzerkand, 16-19 Sept 1996, pp.53-56”において、Hoon Paek and Sang-Uk Lee等による“Ａ projection-based post-processing technique to reduce blocking artifacts using a priori information on DCT coefficients of adjacent blocks”と題された論文には、デジタル画像に含まれるデータの処理方法が記載されている。
【０００４】
現在使用されている殆どの方法とは対照に、上記方法は、空間領域ではなく周波数領域において、すなわちデジタル入力画像に離散変換が適用された後に使用される。この離散変換は、たとえば、離散コサイン変換ＤＣＴである。この処理方法の目的は、ブロックアーティファクトに対応するＤＣＴ係数を修正することである。ブロックアーティファクトに関連する周波数を見つけて抑圧するために、従来の方法は以下のステップから構築されている。
【０００５】
・Ｎ画素のセグメントuの第１離散コサイン変換Ｕを計算するステップ。ここで、この例ではＮ＝８であり、U＝ＤＣＴ[u]＝｛U(0),U(1),…,U(N-1)｝、すなわち、以下のように表される。
【０００６】
【数１】
・セグメントuに隣接するＮ画素のセグメントvの第２離散コサイン変換Ｖを計算するステップ。Ｖ＝ＤＣＴ[v]＝｛V(0),V(1),…,V(N-1)｝、すなわち、以下のように表される。
【０００７】
【数２】
【０００８】
【数３】
【０００９】
【数４】
kwpred＝２.max(kumax,kvmax)＋２
ここで、kumax＝max(k∈{0,．．．,N-1}/abs(U(k)≠0)，
kvmax＝max(k∈{0,．．．,N-1}/abs(V(k)≠0)，
maxは、所与の値のセット間での値kの最大値となる関数である。
【００１０】
予測される最大周波数(kwpred)よりも高いkが奇数の周波数に対応する係数Ｗ(k)は、ブロックアーティファクトに等しいと考えられるので、ゼロに設定される。
【００１１】
【発明が解決しようとする課題】
本発明の目的は、スクリーン上に表示されるデジタル画像について良好な表示品質を得ることができるデータ処理方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は、以下の態様を考慮するものである。
【００１３】
デジタルビデオ信号に属する画像は、ＭＰＥＧ標準に従い符号化するために８行×８画素のブロックに分割される。画像の第１ブロックは、位置（０，０）から開始する。デジタルからアナログ及びアナログからデジタルへの変換の結果として、及びデジタルビデオ信号に適用されるいずれか可能な前処理アルゴリズムの結果として、この信号に属する原画像は数画素だけシフトされ、ＭＰＥＧブロックに対応するグリッドサイズが変化する。テレビジョンセットの入力で現れる入力画像は、原画像に関して復号化画像の変化を判定することができないか、又は復号化後のブロックに対応するグリッドサイズにおける変化を判定することができないことにより、いずれかの情報を含んでいない。したがって、従来技術のデータ処理方法は、かかる使用の場合に不十分である。これは、復号化画像の原点は（０，０）であり、ブロックは８×８画像のサイズを想定しているからである。
【００１４】
本発明によれば、これらの欠点を排除するために、デジタル入力画像に含まれるデータの処理方法は、全体の変換から生じた変換データに基づいて実際の最大周波数を判定するステップ、デジタル入力画像の一部についての実際の最大周波数と予測される最大周波数の間の比較に基づいて、グリッドを検出するステップをさらに備えていることを特徴としている。
【００１５】
グリッド検出ステップにより、デジタル入力画像がブロックに基づく符号化技術に従い符号化されているか否かを判定することができる。グリッドのサイズは、ＭＰＥＧ標準の場合はじめに８行×８画素の符号化ブロックに対応し、復号化の間の画像の可能な再標本化の後、該標準の場合に８行×１０，１２又は１６画素となる。
【００１６】
本発明のこれらの態様は、本発明の複数の実施の形態の以下の記載からより詳細な他の態様と共により明確になる。該実施の形態は、添付図面を参照して例を通して示される。
【００１７】
【発明の実施の形態】
本発明は、デジタル入力画像に含まれるデータの処理方法である。本方法は、ブロックに基づく符号化技法に従いデジタル入力画像が予め符号化されている場合に、該画像の表示品質を向上する役割を果たすものである。
【００１８】
図２は、符号化されたデジタル画像Ｓ１を含んでいるデジタルビデオ信号を処理するための完成されたシステムを例示している。このシステムがデコーダユニット２０を含んでいる場合、該ユニットは、チャネル（ＣＨ）２３を介してテレビジョン受信機２７に復号化アナログ画像Ｓ２を送信する役割を果たす。デコーダユニットは、ブロックに基づく符号化技術に従い符号化されているデジタルビデオ信号を復号化することができるデコーダ（ＭＰＤ）２１、及びデジタル／アナログ変換器（ＤＡＣ）２２を含んでいる。
【００１９】
テレビジョン受信機は、アナログ／デジタル変換器（ＡＤＣ）２４を含んでおり、該変換器は、デジタル入力画像Ｓ３を装置（ＤＥＴ）２５に供給する役割を果たす。該装置は、該デジタル入力画像がブロックに基づく符号化技術に従い復号化されているかを検出することができる。修正又は後処理装置（ＣＯＲ）２６は、デジタル入力画像の符号化の前に実行される信号前処理と対抗するものであり、そのスクリーン上の表示について、デジタル画像の表示品質を向上することができる。後処理は、検出装置により供給されるデータに依存して実行される。
【００２０】
テレビジョンセットの入力で利用することができるビデオ信号は、画素形成される画像を含んでいるが、該信号がブロックに基づく符号化技術に従い予め符号化されている場合に、該信号の可能な符号化及び復号化パラメータに関するいずれかの情報を含んではいない。
【００２１】
これは、検出装置がブロックに対応するグリッドのサイズ及び位置を判定するために適合されるためである。このブロックは、符号化技術により使用され、復号化に間に再標本化されている。修正装置の適切な用途は、グリッドの検出及びその配置に依存している。
【００２２】
本データ処理方法は、ＭＰＥＧ標準に従い符号化され、続いて復号化されるデジタル画像の領域において特に発展される。しかし、たとえば、H.261又はH.263のようなブロックに基づく符号化技術に従い符号化及び続いて復号化されるいずれか他のデジタルビデオ信号にも適用することができる。
【００２３】
ＭＰＥＧ標準に従い符号化されているデジタルビデオ信号に属する画像は、８行×８画素のブロックに分割される。画像の第１ブロックは、位置（０，０）で開始している。デジタル／アナログ及びアナログ／デジタル変換の結果として、及びデジタルビデオ信号を前処理するためのアルゴリズムの可能な使用の結果として、デジタルビデオ信号に属する原画像は、数画素だけシフトされる。一方、原画像は、低伝送速度で満足しうる表示品質を維持するために、異なる水平符号化フォーマットに従い符号化されていてもよい。
【００２４】
その初期フォーマットを回復するために、復号化の間に符号化されて、続いて水平方向にアップサンプリングする前に、原画像は水平方向にダウンサンプリングされる。これにより、アップサンプリング、８行×８画素のブロックに関してなお実行されている符号化によるグリッドサイズの変化が生じる。
【００２５】
この欠点を排除するために、本データ処理方法は、ブロックに基づく符号化技術に従い符号化されたデジタルビデオ信号を検出することを目的としている。この目的のために、本方法は、図３において例示されているように、以下のステップを含んでいる。
・第１離散変換（ＤＣＴ１：Discrete Cosine Transform１）を計算するステップ。たとえば、第１データセット(u)１３についてのコサイン変換である。好適な実施の形態では、このデータセットはＮ画素の輝度値により形成される。ここで、本例ではＮ＝８である。データ処理方法は、１次元において適用される。すなわち、グリッドの深さを検出するためにＮ画素の行に沿って、及び該グリッドの高さを検出するためにＮ画素の列に沿って行われる。
・第１セットに隣接する第２データセット(v)１４についての第２離散変換（ＤＣＴ１）３２を計算するステップ。好適な実施の形態では、この第２データセットもまた、Ｎ画素により形成される。
・第１及び第２セットの連結（ＣＯＮ）３０に対応し、本発明による実施の形態の場合結果的に２Ｎ画素により形成されるデータセット(w)についての全体の離散変換（ＤＣＴ２）３３を計算するステップ。
・第１離散変換（ＤＣＴ１）３１及び第２離散変換（ＤＣＴ１）３２から生じる変換データ（Ｕ）１３’及び（Ｖ）１４’に基づいて、予測される最大周波数（kwpred）３７を判定する（ＰＲＥＤ）３４のステップ。予測される最大周波数は、以下のやり方、kwpred＝２.max(kumax,kvmax)＋２により計算される。
ここで、kumax＝max(k∈{0,．．．,N-1}/abs(U(k))＞T)，
kvmax＝max(k∈{0,．．．,N-1}/abs(V(k))＞T)，
abs(x)は、xの絶対値を与える関数であり、
Tは、ゼロより大きいかゼロに等しい閾値である。
・全体の離散変換から生じる変換データ(W)１５’に基づいて実際の最大周波数(kwmax)３８を判定する（ＲＥＡ）３５のステップ。実際の最大周波数は、以下のやり方、kwmax＝max(k∈{0,．．．,2N-1}/abs(Ｗ(k))＞T)により計算される。
・デジタル入力画像がブロックに基づく符号化技術に従い符号化されているかを判定することができるかを検出する（ＧＲＩ）３６のステップ。これは、デジタル入力画像の一部について、実際の最大周波数（kwmax）と予測される最大周波数との間の比較により作用される。好適な実施の形態では、該一部は、グリッドの深さを検出するために画像の２０行毎に１行により形成され、グリッドの高さを検出するために画像の２０列毎に１列により形成される。かかる方法は、満足しうる検出品質を補償しつつ、最小の計算資源を必要とする。続いて、値kwpred(j)及びkwmax(j)は、１画素によるそれぞれのインクリメント後に、離散変換（ＤＣＴ１）及び（ＤＣＴ２）の計算のインタラクションを通して、行又は列のそれぞれの画素jについて計算される。したがって、検出ステップは、グリッドが検出されたかを示し、その場合、このグリッド３９のサイズ及び位置を与える。
【００２６】
図４は、より詳細に検出ステップ３６を例示するフローチャートである。この検出ステップは、以下のような量Ｘ(j)を計算するサブステップ（ＣＯＭＰ）４０を備えている。
Ｘ(j)＝kwpred(j)−kwmax(j).
ブロックの境界に関して、値Ｘ(j)は、閾値ＸＴよりも大きい。好適な実施の形態では、閾値の値ＸＴは４である。グリッドのサイズ及び位置を検出するために、この必要条件に合うＸの値jが記憶され、これらモジュロ８の値のヒストグラムが生成される。グリッドは、ヒストグラムの１つの値がハイであり、他の７つの値にわたり明確に優れている場合に検出される。すなわち、好適な実施の形態では、以下の場合である。
・ヒストグラムの第１最大値が１より大きく、このヒストグラムの第２最大値の３倍に等しい。
・ヒストグラムの第１最大値が１０よりも大きい。
【００２７】
第１テスト（ＨＧ）４０１は、次いで、８画素の深さを有するグリッドが検出されたかを判定するために水平方向に実行される。検出されたと判定された場合、検出ステップは終了して結果（ＨＧ１）４３を生じる。これは、１／２の画像フォーマットに対応する最後に記述される深さである、８又は１６画素の深さを有するグリッドが検出されたことを示す。検出されなかったと判定された場合において、７２０画素の深さを有する原画像から５４０画素の深さを有する画像に変換させるために、すなわち３／４の画像フォーマットへの、フォーマットを変換する第１サブステップ（ＦＣ１）４１が実行される。この目的のために、画像の行はファクタ３で原画像の２つの画素間に２つのゼロを付加し、フィルタＦ１によりフィルタリングすることによりアップサンプリングされる。フィルタＦ１は、たとえば１９の係数を有しており、以下のような係数である。
Ｆ１＝［9,6,0,-21,-9,0,103,220,295,330,295,220,103,0,-9,-21,0,6,9］
したがって、得られる信号は、４画素のうちから１つを選択することにより、続いてダウンサンプルされる。
【００２８】
次いで、変換されたデジタルビデオ信号にフレーム検出方法が適用される。次いで、８画素の深さを有するグリッドがフォーマット変換後に画像において検出されたかを判定するために、第２テスト（ＨＧ）４０２が水平方向に実行される。検出されたと判定された場合、検出ステップが終了されて結果（ＨＧ２）４４を生じる。該結果は、１０画素の深さを有するグリッドが、フォーマット変換前に初期画像において検出されていることを示している。検出されていないと判定された場合、７２０画素の深さを有する原画像から４８０画素の深さを有する画像へ変化するために、すなわち２／３の画像フォーマットに画像フォーマットを変換する第２サブステップ（ＦＣ２）４２が実行される。この目的のために、画像の行は、ファクタ２で原画像の２つの画素間にゼロを付加し、フィルタＦ２によりフィルタリングすることによりアップサンプリングされる。フィルタＦ２は、たとえば１５の係数を有しており、以下のような係数である。
Ｆ２＝［-3,-37,-41,-20,52,163,248,300,248,163,52,-20,-41,-37,-3］
したがって、得られる信号は、３つの画素のうちの１つを選択することにより続いてダウンサンプリングされる。
【００２９】
フレーム検出方法は、変換されるデジタルビデオ信号に適用される。次いで、８画素の深さを有するグリッドが画像変換の後に画像において検出されたかを判定するために、第３テスト（ＨＧ）４０３が水平方向に実行される。検出されたと判定した場合、検出ステップは終了して結果（ＨＧ３）４５を生じる。該結果は、１２画素の深さを有するグリッドが原画像において検出されたことを示している。検出されていないと判定した場合、水平方向においてグリッドが検出されていない事実に対応する結果（ＮＨＧ）４６となる。
【００３０】
同時に、フレーム検出方法は、垂直方向においてデジタル入力画像に適用される。８画素の高さを有するグリッドが検出されたかを判定するために、テスト（ＶＧ）４０４が実行される。検出されたと判定した場合、検出ステップは終了し、８画素の高さを有するグリッドが検出されたことを示す結果（ＶＧ）４７となる。検出されていないと判定した場合、垂直方向においてグリッドが検出されていない事実に対応する結果（ＮＶＧ）４８となる。
【００３１】
ＭＰＥＧ標準において使用される画像フォーマットについて、グリッド検出方法が記載された。しかし、本方法は、これらのフォーマットに限定されず、本発明の範囲を逸脱しない他の画像フォーマットに使用することができる。
【００３２】
上述された検出方法により、テレビジョンセットにより受信されたビデオ信号がブロック符号化技法により符号化されているかを検出することができる。また、本方法は、符号化が作用されることに基づくブロックに対応して、グリッドのサイズ及び位置を示す。次いで、検出方法に提供されるデータの関数として、好ましくは８行×８画素のブロックを処理するフォーマット変換後の画像に対して、後処理方法が適用される。画像は、スクリーン上に表示されるための処理後に、フルスクリーンフォーマット（すなわち、７２０画素）へ続いて再変換される。
【００３３】
有効な実施の形態において、後処理方法は、本発明による検出方法に共通のステップを使用する。図５は、デジタルビデオデータの後処理のかかる方法を例示している。本方法は、以下のステップを含んでいる。
・Ｎデータの第１セット(u)１３についての第１離散変換（ＤＣＴ１）３１を計算するステップ。
・第１セットに近いＮデータの第２セット(v)１４についての第２離散変換（ＤＣＴ１）３２を計算するステップ。
・第１及び第２セットの連結３０に対応する２Ｎデータのセット(w)１５についての全体の離散変換を計算し、変換データ(W)１５’を生じるステップ。
・第１離散変換（ＤＣＴ１）３１及び第２離散変換（ＤＣＴ１）３２から生じた変換されたデータ(Ｕ)１３’及び(Ｖ)１４’に基づいて予測された最大周波数(kwpred)３７を判定する（ＰＲＥＤ）ステップ。該周波数は、以下のやり方で計算される。
kwpred＝２.max(kumax,kvmax)＋２
ここで、kumax＝max(k∈{0,．．．,N-1}/abs(U(k))＞T)，
kvmax＝max(k∈{0,．．．,N-1}/abs(V(k))＞T)，
Tは、非ゼロの閾値である。
【００３４】
本発明による判定ステップは、閾値Tの導入に基づいて、臨界の最大周波数の計算の洗練を提供する。この洗練により、画像のより効果的な修正を達成することができる。閾値Tは、データu及びvのセットに属する画素数の関数である。後処理方法もまた、初期データ値u及びv並びに変換データ値U及びVに基づいて、自然の輪郭（natural contours）を検出するためのサブステップを有する修正ステップ（ＰＲＯＣ）５１を含んでいる。このサブステップにより、自然の輪郭を符号化アーティファクトにより引き起こされるブロック境界から区別することができる。自然の輪郭は、２つの条件が満たされた場合に検出される。
・ブロック境界の反対側でのデータu及びvの平均値
【００３５】
【外１】
【００３６】
【外２】
【００３７】
修正ステップ（ＰＲＯＣ）もまた、その周波数が奇数であり、予測された最大周波数よりも高い全体の離散変換から生じる変換データ(Ｗ)１５’をゼロにして、切り捨てられたデータ１５”を生じる切り捨てのサブステップを含んでいる。
【００３８】
最後に、後処理ステップ方法は、切り捨てられたデータ１５”の逆離散変換（ＩＤＣＴ２）５２を計算して、スクリーン上に続いて表示されることが意図される復号化されたデータ１５’’’を生じるステップを含んでいる。
【００３９】
たとえば、ある行及びある列について画像の一部に適用することができる上記の検出方法と異なり、後処理方法は、好ましくは、全体の画像に適用することができる。
【００４０】
さらに、この後処理方法は、検出方法またはデコーダ２１の出力でのいずれかに適用されてもよく、デコーダより供給されるパラメータにより、符号化ブロックに対応するフレームの位置を知ることができる。
【００４１】
後処理方法はまた、その適用順序は問題ではないが２つの連続するフェーズを含んでいる。
・データの行毎の処理に対応する垂直アーティファクトの修正。
・データの列毎の処理に対応する水平アーティファクトの修正。
【００４２】
最後に、インタレースされた画像系列の場合、画像は、２つのフィールドを形成するようにデインタレースされる。２つのフィールドは、続いて後処理方法に向けられる。処理の後、２つのフィールドは再インタレースされる。
【００４３】
本発明による後処理方法の第１実施の形態において、データ(u)１３及び(v)１４のセットは、連続した画素N＝８に関連した輝度値を含んでいる。第１離散変換（ＤＣＴ１）３１及び第２離散変換（ＤＣＴ１）３２から生じた変換データ(U)１３’及び（V）１４’に基づく予測された最大周波数（kwpred）３７を判定するステップ（ＰＲＥＤ）３４は、垂直アーティファクトの修正について水平閾値Th=5で、及び水平アーティファクトの修正についてプログレッシブ（非インタレース）モードで垂直閾値Tv=5、インタレースモードで垂直閾値Tv=３で実行される。実際のところ、最後に記載した場合において水平アーティファクトの修正は、水平解像度の半分に等しい解像度に対応するデータu及びvのセットを処理することにより実現される。これは、水平閾値に関する垂直閾値を説明する。自然の輪郭の検出のためのサブステップに関して、値Ｍ及びk0は３０及び３に設定されることが好ましい。
【００４４】
本発明による後処理方法の第２実施の形態では、データセット(u)１３及び(v)１４は、連続する画素Ｎ＝４に関連する輝度値を含んでいる。結果的に、閾値は、たとえばインタレースモードでTh=10及びTv=5、M=25、k0=1に変化する。かかる簡略化により、処理アルゴリズムの複雑さを低減することができるが、これにより修正効率がかなり低減する。
【００４５】
最後に、本発明による後処理の第３実施の形態では、データセット(u)１３及び(v)１４は、連続する画素Ｎ＝８に関連する輝度値をそれぞれ含んでいる。しかし、データセット(u)１３及び(v)１４は、２つのサブセットｕ’,u''及びv’,v''をそれぞれ含んでいる。サブセットｕ’,v’は、奇数ランクのデータを含んでおり、サブセットu'',v''は、偶数ランクのデータを含んでいる。
【００４６】
離散変換３１，３２，３３を計算するステップは、サブセットｕ’,v’に一方で適用され、サブセットu'',v''に他方で適用される。これにより、変換データU’,V’,W’、U'',V'',W'',がそれぞれ生成される。
【００４７】
同時に、判定するステップ（ＰＲＥＤ）３４は、予測された最大周波数（kw’pred）及び（kw''pred）３７を提供する。これらは、以下のように計算される。
kwpred=2.max(kumax,kvmax)+2
kw’pred＝２.max(ku’max,kv’max)＋２
ここで、ku’max=max(k∈{0,．．．,N-1}/abs(U’(k))＞Th又はTv)，
kv’max=max(k∈{0,．．．,N-1}/abs(V’(k))＞Th又はTv)，
kw”pred＝２.max(ku”max,kv”max)＋２
ここで、ku”max=max(k∈{0,．．．,N-1}/abs(U”(k))＞Th又はTv)，
kv”max=max(k∈{0,．．．,N-1}/abs(V”(k))＞Th又はTv)，
ここで、たとえば、インタレースモードにおいてTh=10及びTv=5である。
【００４８】
修正ステップ（ＰＲＯＣ）５１は、変換データＷ’及びＷ’””に独立である。
・自然の輪郭の検出のためのサブステップは、以下のようである。
【００４９】
【外３】
【００５０】
この実施の形態により、第１実施の形態の修正効率が維持される一方で、処理の複雑さが低減される。自然の輪郭を検出するためのサブステップは、第３実施の形態による後処理方法の良好な成果のために本質的ではない。
【００５１】
図１から図５の参照した上記記載は、本発明を限定するものではなく例示するものである。特許請求の範囲の領域内での様々な代替が存在することは明らかである。
【００５２】
ソフトウェアにより記載された機能を実現するための様々な方法がある。この点に関して、図２から図５は高度な図表であり、それぞれの図は、単なる１変形例を示している。したがって、図は分離されたブロックをとしての異なる機能を示しているが、これは、ソフトウェアの１つの項目が複数の機能を実行するという可能性を排除するものではない。これは、１つの機能がソフトウェア項目の１つのグループにより実行される場合があるという可能性を決して排除するものではない。
【００５３】
これらの機能は、後処理方法の場合に、テレビジョン受信機又は適切にプログラムされたセットトップボックス回路により実現されてもよい。プログラムメモリに含まれる命令のセットは、図２から図５を参照して上述された回路に異なる動作を実行させる可能性がある。命令のセットは、たとえば、命令のセットを搬送するディスクのようなデータ担体を読むことによりプログラムメモリにロードされてもよい。また、読むことは、たとえばインターネットのような通信ネットワークを介して作用されてもよい。この場合、サービスプロバイダは、命令のセットを興味関心のあるユーザに提供することができる。
【００５４】
動詞「備える」の使用は、特許請求項において定義されたものというよりも、いずれかの要素又はステップを排除するものではない。
【図面の簡単な説明】
【図１】従来技術のデータ処理方法を示す図である。
【図２】デジタルビデオ信号の処理についての本発明によるデータ処理方法を表す図である。
【図３】ブロックに基づく符号化技術に従い符号化された画像系列の検出についての本発明のデータ処理方法を表す図である。
【図４】ブロックに基づく符号化技術に従い符号化された画像を検出するステップのフローチャートである。
【図５】符号化されたデジタル画像の修正についての本発明によるデータ処理方法を表す図である。
【符号の説明】
Ｓ１：符号化されたデジタル画像
２０：デコーダユニット
２１：復号化装置（ＭＰＤ）
２２：デジタル／アナログ変換器（ＤＡＣ）
２３：チャネル（ＣＨ）
Ｓ２：復号化されたアナログ画像
２４：アナログ／デジタル変換器（ＡＤＣ）
Ｓ３：デジタル入力画像
２５：検出装置（ＤＥＴ）２５
２６：修正又は後処理装置（ＣＯＲ）
２７：テレビジョン受信機
３０：第１及び第２セットの連結（ＣＯＮ）
３１：第１離散変換（ＤＣＴ１）
３２：第２離散変換（ＤＣＴ２）
３３：全体の離散変換（ＤＣＴ２）
３４，３５：判定装置（ＰＲＥＤ）
３６：検出装置（ＧＲＩ）
Claims (7)
- デジタル入力画像に含まれるデータの処理方法であって、
前記デジタル入力画像の行及び列のＮ画素の値からなる第１のセットの第１離散変換を計算するステップと、
前記第１セットに隣接する、前記デジタル入力画像の行及び列のＮ画素の値からなる第２のセットの第２離散変換を計算するステップと、
前記第１及び第２のセットの連結に対応する第３のセットの全体の離散変換を計算するステップと、
前記第１離散変換から生じた変換データの絶対値の比較に基づいて第１の最大周波数を決定し、前記第２離散変換から生じた変換データの絶対値の比較に基づいて第２の最大周波数を決定し、前記第１の周波数と前記第２の周波数との比較に基づいて予測される最大周波数を判定するステップとを備え、
当該処理方法は、
前記全体の離散変換から生じた変換データの絶対値の比較に基づいて、実際の最大周波数を判定するステップと、
前記予測される最大周波数と前記実際の最大周波数との差を計算するステップと、
前記デジタル入力画像のある部分の行又は列で、前記予測される最大周波数の計算、前記実際の最大周波数の計算及び前記差の計算を繰り返すステップと、
前記差の値が閾値よりも高い場合にブロックの境界を検出し、検出されたブロックの境界に対応する画素の位置を記憶するステップと、
ｋをブロックに基づく符号化技術におけるブロックの可能性のある大きさとして、モジュロｋで、記憶された画素の位置に基づいてグリッドを検出するステップと、
を更に備えることを特徴とする方法。 - 前記グリッドを検出するステップは、モジュロｋで、前記記憶された画素の位置のヒストグラムを構築するステップを含み、
前記ヒストグラムの最大値が閾値よりも高く、前記ヒストグラムの第２の最大値よりも高い場合にグリッドが検出される、
ことを特徴とする請求項１記載の方法。 - グリッドが検出されない場合に、前記デジタル入力画像を別のフォーマットの画像に変換するステップを更に含み、
前記各ステップは、変換されたデジタル入力画像に対して再び行われる、
ことを特徴とする請求項１記載の方法。 - グリッドが検出された場合に、前記デジタル入力画像を修正するステップを備え、
前記修正ステップは、前記グリッドのサイズ及び位置に基づいて行われる、
ことを特徴とする請求項１記載の方法。 - 前記全体の離散変換から生じ、かつ前記予測される最大周波数よりも高い周波数を有する前記変換データを切り捨てるステップを備え、
前記第１及び第２のセットｕ及びｖは、奇数ランクのデータを含むサブセットｕ’，ｖ’と偶数ランクのデータを含むサブセットｕ’’，ｖ’’の２つのサブセットｕ’，ｕ’’及びｖ’，ｖ’’にそれぞれ分割され、
前記離散変換を計算するステップ、前記予測される最大周波数を判定するステップ及び前記全体の離散変換から生じた変換データを切り捨てるステップは、一方でサブセットｕ’，ｖ’に対して行われ、他方でｕ’’，ｖ’’に対して行われる、
ことを特徴とする請求項１記載の方法。 - テレビジョン受信機のための命令のセットを含むコンピュータプログラムであって、
前記テレビジョン受信機の回路にロードされたときに、前記テレビジョン受信機に請求項１乃至５の何れか記載の方法を実行させるコンピュータプログラム。 - セットトップボックスのための複数の命令のセットを含むコンピュータプログラムであって、
前記セットトップボックスの回路にロードされたときに、前記セットトップボックスに請求項１乃至５の何れか記載の方法を実行させるコンピュータプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0012936 | 2000-10-10 | ||
| FR0012936 | 2000-10-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002305747A JP2002305747A (ja) | 2002-10-18 |
| JP3939524B2 true JP3939524B2 (ja) | 2007-07-04 |
Family
ID=8855172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001312839A Expired - Fee Related JP3939524B2 (ja) | 2000-10-10 | 2001-10-10 | ビデオデータ処理方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7724825B2 (ja) |
| EP (1) | EP1202577B1 (ja) |
| JP (1) | JP3939524B2 (ja) |
| KR (1) | KR100859422B1 (ja) |
| CN (1) | CN1201592C (ja) |
| DE (1) | DE60119660T2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE60119660T2 (de) * | 2000-10-10 | 2007-02-22 | Koninklijke Philips Electronics N.V. | Verfahren zur Verarbeitung von Videodateien |
| FR2841423A1 (fr) * | 2002-06-25 | 2003-12-26 | Koninkl Philips Electronics Nv | Procede de detection d'artefacts de bloc |
| FR2841424A1 (fr) * | 2002-06-25 | 2003-12-26 | Koninkl Philips Electronics Nv | Procede de detection d'artefacts de bloc |
| KR20050027271A (ko) * | 2002-07-31 | 2005-03-18 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 블록킹 아티팩트들의 동적 검출 |
| KR20040046250A (ko) * | 2002-11-26 | 2004-06-05 | 한국정보통신주식회사 | 게이트웨이 기능을 구비한 신용카드 조회기 |
| FR2848373A1 (fr) * | 2002-12-04 | 2004-06-11 | Koninkl Philips Electronics Nv | Procede de mesure d'artefacts de bloc |
| KR20110106403A (ko) | 2009-01-27 | 2011-09-28 | 톰슨 라이센싱 | 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치 |
| RU2018135725A (ru) * | 2013-07-19 | 2018-11-21 | Сони Корпорейшн | Устройство и способ обработки информации |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0585573A3 (en) * | 1992-08-31 | 1994-07-13 | Ibm | System and method for suppressing blocking artifacts in decoded transform coded images |
| JPH08191444A (ja) * | 1995-01-09 | 1996-07-23 | Matsushita Electric Ind Co Ltd | ビデオ信号復号化装置 |
| US5850294A (en) * | 1995-12-18 | 1998-12-15 | Lucent Technologies Inc. | Method and apparatus for post-processing images |
| KR100244290B1 (ko) * | 1997-09-09 | 2000-02-01 | 구자홍 | 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법 |
| US6795580B1 (en) * | 1998-09-10 | 2004-09-21 | Tektronix, Inc. | Picture quality measurement using blockiness |
| DE60119660T2 (de) * | 2000-10-10 | 2007-02-22 | Koninklijke Philips Electronics N.V. | Verfahren zur Verarbeitung von Videodateien |
-
2001
- 2001-10-02 DE DE60119660T patent/DE60119660T2/de not_active Expired - Lifetime
- 2001-10-02 EP EP01203713A patent/EP1202577B1/fr not_active Expired - Lifetime
- 2001-10-03 US US09/970,009 patent/US7724825B2/en not_active Expired - Fee Related
- 2001-10-06 CN CNB01137957XA patent/CN1201592C/zh not_active Expired - Fee Related
- 2001-10-10 KR KR1020010062386A patent/KR100859422B1/ko not_active IP Right Cessation
- 2001-10-10 JP JP2001312839A patent/JP3939524B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE60119660D1 (de) | 2006-06-22 |
| EP1202577A1 (fr) | 2002-05-02 |
| KR20020028838A (ko) | 2002-04-17 |
| EP1202577A9 (fr) | 2002-08-28 |
| CN1348311A (zh) | 2002-05-08 |
| CN1201592C (zh) | 2005-05-11 |
| KR100859422B1 (ko) | 2008-09-23 |
| EP1202577B1 (fr) | 2006-05-17 |
| US7724825B2 (en) | 2010-05-25 |
| DE60119660T2 (de) | 2007-02-22 |
| US20020126761A1 (en) | 2002-09-12 |
| JP2002305747A (ja) | 2002-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7054366B2 (en) | Systems and methods for MPEG subsample decoding | |
| CN1122413C (zh) | 将编码高分辨率视频信号转换为解码低分辨率视频信号的系统及方法 | |
| US6862372B2 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
| JP3717975B2 (ja) | イメージデータ後処理方法及びその装置 | |
| EP1698164A2 (en) | Directional video filters for locally adaptive spatial noise reduction | |
| JP4462823B2 (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム | |
| JP2001285867A (ja) | Ｉｄｃｔミスマッチについて補償するｄｃｔドメイン下方変換システム | |
| JP3939524B2 (ja) | ビデオデータ処理方法 | |
| EP1352515B1 (en) | Apparatus and method for providing a usefulness metric based on coding information for video enhancement | |
| US6804303B2 (en) | Apparatus and method for increasing definition of digital television | |
| US8767831B2 (en) | Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream | |
| Martins et al. | A unified approach to restoration, deinterlacing and resolution enhancement in decoding MPEG-2 video | |
| US5734757A (en) | Post-processing method and apparatus for use in an image signal decoding system | |
| KR100803132B1 (ko) | 웨이브렛 변환을 이용한 엠펙 노이즈 제거 방법 및 장치 | |
| JP2001078187A (ja) | 画像復号化装置 | |
| JPH0389792A (ja) | 画像符号化装置 | |
| JP3991800B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置および画像表示装置、それに使用される補正データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| Liu et al. | Hardware implementation and cost of decoders for digital HDTV | |
| Choi et al. | POCS-based enhancement of de-interlaced video | |
| JP2004032413A (ja) | 補正映像信号生成装置、その方法及びそのプログラム、並びに、補正映像信号復元装置、その方法及びそのプログラム、並びに、補正映像信号符号化装置及び補正映像信号復号装置 | |
| JPH10271363A (ja) | 映像信号処理装置およびそれを用いた符号化映像信号復号装置およびディジタル放送受信・復号装置 | |
| Martins et al. | Transactions Letters_ | |
| JPH0730892A (ja) | 直交変換符号化装置 | |
| JPH06326993A (ja) | Ｅｄｔｖ信号の処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070328 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |