JP4253909B2 - 画像処理装置および画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばＭＰＥＧ(Moving Picture Expert Group) の規定に従う符号化方法によって符号化されたディジタル信号から復号される画像信号等の、解像度または画質の劣化の程度が時間方向に異なる画像信号に対して、画質等を向上させる処理を行う画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
ＭＰＥＧ−１，ＭＰＥＧ−２等のＭＰＥＧ規定に従う画像符号化方式（以下、ＭＰＥＧ符号化方式と表記する）においては、ランダムアクセス機能と、高い符号化効率とを実現するためにＩピクチャ、Ｐピクチャ、Ｂピクチャの３つの符号化タイプがある。Ｉピクチャ(Intra-Picture) はイントラ符号化の画面であり、他のフレームと独立して符号化される。これに対して、Ｐピクチャ(Predintive-Picture)は予測符号化画面であり、図８において各ピクチャの下方の一点鎖線にて示すように、時間的に先行するＩピクチャまたはＰピクチャのデータを参照画像とする動き補償予測符号化を行うことによって符号化される。
【０００３】
また、Ｂピクチャ(Bidirectionally-Picture) は双方向予測符号化画面である。すなわち、図８において各ピクチャの上方の実線にて示すように時間的に先行するＩピクチャまたはＰピクチャのデータを参照画像とし、それと共に図８において各ピクチャの上方の点線にて示すように時間的に後続するＩピクチャまたはＰピクチャのデータを参照画像として、動き補償予測符号化を行うことによって符号化される。Ｉ，Ｐ，Ｂの３種類のピクチャの組み合わせ方についてはＭＰＥＧ−１、ＭＰＥＧ−２においては特に規定されておらず、例えばデータ転送レート、復号される画像の品質等、画像情報の伝送に際しての要求に応じて、符号化器がピクチャの組み合わせ方を設定する。
【０００４】
【発明が解決しようとする課題】
以上のように、ＭＰＥＧ符号化方式ではピクチャタイプ毎に符号化方式が異なる。実際の符号化処理においては、原画像における動き量、ビット配分、レート制御等の条件が変化するので、これら３種類のピクチャタイプの何れにおいて解像度または画質の劣化の程度が大きいかは一般的には確定できない。但し、符号化方式が異なる複数種類のピクチャが用いられることに起因して、例えば解像度またはブロック歪み等に起因する画質の劣化の程度がフレーム毎に異なることは明らかである。
【０００５】
ここで、ブロック歪みは、ＭＰＥＧにおける符号化の単位であるブロックの内の幾つかにおいてアクティビティが損なわれ、アクティビティが損なわれたブロックと、当該ブロックに隣接するブロックとの境界が目立ってしまう現象であり、ＭＰＥＧ符号化方式に特有な劣化成分として知られている。
【０００６】
この発明は、上述したような状況に鑑みてなされたものであり、従って、この発明の目的は、解像度または画質の劣化の程度が時間方向に異なる画像信号に対して、劣化を全体的に低減させることが可能な画像処理装置および画像処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１の発明は、解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、画像信号内の画素である注目画素を含む注目フレームから、注目画素を中心とした周辺の複数の画素を含む第１の領域を切り出す第１の領域切り出し手段と、
注目フレームに対して所定フレーム前に出力したフレームから、注目画素と同一位置の画素を中心とした周辺の複数の画素を含む第２の領域を切り出す第２の領域切り出し手段と、
第１の領域内の注目画素と第２の領域内の注目画素と同一位置の画素との間で差分をとり、差分が所定のしきい値より小さい場合に第１の領域が静止画部分であると判定し、差分がしきい値以上となる場合に第１の領域が動画部分であると判定する静動判定手段と、
第１の領域内のアクティビティの尺度となる量を計算する第１の計算手段と、
第２の領域内のアクティビティの尺度となる量を計算する第２の計算手段と、
静動判定手段によって第１の領域が動画部分であると判定される場合に第１の領域内の画像データを出力し、静動判定手段によって第１の領域が静止画部分であると判定される場合に、第１の計算手段の出力と第２の計算手段の出力とを比較し、比較結果に基づいて、第１の領域と第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定手段とを有する画像処理装置である。
【０００８】
請求項７の発明は、解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、画像信号内の画素である注目画素を含む注目フレームと注目フレームに対して所定フレーム前に出力したフレームとの間で動きを検出する動き検出手段と、
注目フレームから、注目画素を中心とした周辺の複数の画素を含む第１の領域を切り出す第１の領域切り出し手段と、
第１の領域内のアクティビティの尺度となる量を計算する第１の計算手段と、
動き検出手段の出力に基づいて、注目フレームに対して所定フレーム前に出力したフレームに対する画素位置補整処理を施し、画素位置補整処理が施されてなる画像信号のフレームから、注目画素と同一位置の画素を中心とした周辺の複数の画素を含む第２の領域を切り出す第２の領域切り出し手段と、
第２の領域内のアクティビティの尺度となる量を計算する第２の計算手段と、
第１の計算手段の出力と第２の計算手段の出力とを比較し、比較結果に基づいて、第１の領域と第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定手段とを有する画像処理装置である。
【０００９】
請求項１２の発明は、解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、画像信号内の画素である注目画素を含む注目フレームから、注目画素を中心とした周辺の複数の画素を含む第１の領域を切り出す第１の領域切り出しステップと、
注目フレームに対して所定フレーム前に出力したフレームから、注目画素と同一位置の画素を中心とした周辺の複数の画素を含む第２の領域を切り出す第２の領域切り出しステップと、
第１の領域内の注目画素と第２の領域内の注目画素と同一位置の画素との間で差分をとり、差分が所定のしきい値より小さい場合に第１の領域が静止画部分であると判定し、差分がしきい値以上となる場合に第１の領域が動画部分であると判定する静動判定ステップと、
第１の領域内のアクティビティの尺度となる量を計算する第１の計算ステップと、
第２の領域内のアクティビティの尺度となる量を計算する第２の計算ステップと、
静動判定ステップによって第１の領域が動画部分であると判定される場合に第１の領域内の画像データを出力し、静動判定ステップによって第１の領域が静止画部分であると判定される場合に、第１の計算ステップの結果と第２の計算ステップの結果とを比較し、比較結果に基づいて、第１の領域と第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定ステップとを有する画像処理方法である。
【００１０】
請求項１３の発明は、解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、画像信号内の画素である注目画素を含む注目フレームと注目フレームに対して所定フレーム前に出力したフレームとの間で動きを検出する動き検出ステップと、
注目フレームから、注目画素を中心とした周辺の複数の画素を含む第１の領域を切り出す第１の領域切り出しステップと、
第１の領域内のアクティビティの尺度となる量を計算する第１の計算ステップと、
動き検出ステップの結果に基づいて、注目フレームに対して所定フレーム前に出力したフレームに対する画素位置補整処理を施し、画素位置補整処理が施されてなる画像信号のフレームから、注目画素と同一位置の画素を中心とした周辺の複数の画素を含む第２の領域を切り出す第２の領域切り出しステップと、
第２の領域内のアクティビティの尺度となる量を計算する第２の計算ステップと、
第１の計算ステップの結果と第２の計算ステップの結果とを比較し、比較結果に基づいて、第１の領域と第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定ステップとを有する画像処理方法。
【００１１】
以上のような発明によれば、解像度または画質の劣化の程度が時間方向に異なる画像信号から、アクティビティがより高い画像データを例えば画素を単位として選択的に出力することができる。
【００１２】
【発明の実施の形態】
この発明の一実施形態の構成の一例を図１に示す。入力画像信号が領域切り出し部１１、１２および出力画素決定部１３に供給される。ここで、入力画像信号がシーンチェンジを含まない一連のストリームであること、およびフレーム間で解像度や画質の劣化の程度が異なることがこの発明の一実施形態が有効に動作するための前提とされる。具体的には、ＭＰＥＧ−１，ＭＰＥＧ−２等のＭＰＥＧ符号化方式によって符号化された伝送用符号を復号化することによって得られる画像信号であってシーンチェンジを含まないもの等が入力画像信号として好適である。
【００１３】
但し、例えばフレーム間差分の平均値をしきい値を参照して判定する等の方法でシーンチェンジの前後のそれぞれ一連をなすストリームに分けて各ストリームを別個の入力画像信号として扱うような処理を行う構成を付加することにより、シーンチェンジを含む画像信号に対してもこの発明の一実施形態が有効に動作するようにすることができる。
【００１４】
領域切り出し部１１は、供給される入力画像信号から所定の領域を切り出し、切り出した領域のデータを分散計算部１４に供給する。分散計算部１４は、供給されるデータに基づいて分散を計算し、計算した分散値を出力画素決定部１３に供給する。また、領域切り出し部１２は、入力画像信号から例えば３×３画素等の大きさの領域を切り出し、切り出した領域のデータを差分計算器１５に供給する。なお、領域切り出し部１１、１２として、同一の領域切り出し部を共用するように構成しても良い。
【００１５】
差分計算器１５には、後述する領域切り出し部１８の出力がさらに供給される。差分計算器１５は、領域切り出し部１２によって切り出される領域内の注目画素と、領域切り出し部１８によって切り出される領域内の注目画素と同一位置の画素との差分を計算し、計算した差分値を静動判定部１６に供給する。静動判定部１６は、供給される差分値に基づいて注目画素の周辺が静止画部分であるか動画部分であるかを判定し、判定結果を出力画素決定部１３に供給する。ここで、判定処理としては、差分値が所定のしきい値以上となる場合に動画像であると判定し、それ以外の場合に静止画像であると判定する処理等を用いることができる。
【００１６】
出力画素決定部１３には、後述するように、フレームメモリ１７に保持されている画像信号と分散計算部２０の出力とがさらに供給される。出力画素決定部１３は、静動判定部１６が静止画像である旨の判定結果を出力する場合に次のような処理を行う。すなわち、分散計算部１４から供給される分散値と分散計算部２０から供給される分散値とを比較し、比較結果に基づいて出力画素を決定する。
【００１７】
すなわち、分散値をアクティビティの尺度として用い、領域切り出し部１１によって切り出される領域と領域切り出し部１９によって切り出される領域との内で分散値がより大きい領域内の注目画素または注目画素と同一位置の画素を出力画素として選択する。一方、静動判定部１６が動画像である旨の判定結果を出力する場合には、出力画素決定部１３は、領域切り出し部１１によって切り出される領域内の画素を出力する。なお、領域切り出し部１１および１９によって切り出される領域と、領域切り出し部１１２および１８によって切り出される領域を互いに同じくらいの大きさとした場合に動作精度を良好なものとすることができる。
【００１８】
出力画素決定部１３の出力が最終的な出力として図示しない表示装置等に供給されると共に、フレームメモリ１７に供給され、保持される。領域切り出し部１８は、フレームメモリ１７に保持されている画像信号から差分計算器１５による処理に使用される領域を切り出す。また、領域切り出し部１９は、フレームメモリ１７から注目画素同一位置の画素を中心とする、領域切り出し部１１によって切り出される領域と同一の形状および面積を有する領域を切り出す。領域切り出し部１９によって切り出される領域のデータが分散計算部２０に供給される。分散計算部２０は、供給されるデータに基づいて分散を計算し、計算した分散値を出力画素決定部１３に供給する。ここで、領域切り出し部１８、１９として、同一の領域切り出し部を共用するように構成しても良い。
【００１９】
この発明の一実施形態における処理の手順について図２を参照して説明する。ステップＳ１として、入力画像信号内の画素（注目画素）とフレームメモリ内に保持されている画像信号内の画素（注目画素と同一位置の画素）との差分を計算する。ステップＳ２として、ステップＳ１で算出した差分値を所定のしきい値と比較する。差分値がしきい値より大きいと判定される場合にはステップＳ１において処理対象とされた画素の周囲が動画像であるとの判断の下にステップＳ８に移行し、それ以外の場合には、ステップＳ１において処理対象とされた画素の周囲が静止画像であるとの判断の下にステップＳ３₁ およびステップＳ３₂ に移行する。
【００２０】
ステップＳ３₁ として入力画像信号から注目画素を中心とする領域を切り出し、ステップＳ４₁ に移行する。ステップＳ４₁ では、ステップＳ４₁ で切り出した領域内の分散（以下、分散１と表記する）を計算する。また、ステップＳ３₂ としてフレームメモリに保持されている画像信号から領域を切り出し、ステップＳ４₂ に移行する。ステップＳ４₂ では、ステップＳ３₂ で切り出した領域内の分散（以下、分散２と表記する）を計算する。
【００２１】
ステップＳ３₁ およびステップＳ３₂ によって切り出される領域の形状の一例を図３に示す。かかる一例は、斜線を付して示す注目画素を中心とする、画素ｘ₀₀〜ｘ_nnを含む矩形の領域である。このような領域が切り出される場合には、分散Ｖは以下の式（１）によって計算される。
【００２２】
【数１】

【００２３】
但し、切り出される領域の形状は矩形に限定されるものではなく、例えばひし形等、種々の形状とすることができる。
【００２４】
ステップＳ４₁ 、ステップＳ４₂ によって得られる分散１および分散２の大小比較がステップＳ５において行われる。分散１が分散２より大きいと判定される場合には、ステップＳ３₁ によって入力画像信号から切り出された領域内のアクティビティの方がステップＳ３₂ によってフレームメモリから切り出された領域内のアクティビティよりも大きいと判断される。かかる場合にはステップＳ７に移行する。一方、ステップＳ５において分散１が分散２より大きくないと判定されるには、ステップＳ３₂ によってフレームメモリから切り出された領域内のアクティビティがステップＳ３₁ によって入力画像信号から切り出された領域内のアクティビティ以上であると判断される。かかる場合にはステップＳ６に移行する。
【００２５】
ステップＳ７では、ステップＳ３₁ によって入力画像信号から切り出された領域内の注目画素を最終的な出力として表示装置等に供給する処理を行い、さらに、ステップＳ９に移行する。一方、ステップＳ６では、ステップＳ３₂ によってフレームメモリから切り出された領域内の、注目画素と同一位置の画素を最終的な出力として表示装置等に供給する処理を行い、さらに、ステップＳ９に移行する。
【００２６】
また、ステップＳ８では、ステップＳ１の処理対象である注目画素の周囲が動画像である場合に対処する処理として、入力画像信号内の画素をそのまま最終的な出力として表示装置等に供給する処理を行い、さらに、ステップＳ９に移行する。
【００２７】
以上のようなリカーシブ処理によって、静止画部分について、よりアクティビティの高い領域内の画素を選択的に出力し、また、そのような画素を後続のフレームに伝播していくことができる。
【００２８】
上述したこの発明の一実施形態が静止画部分についてのみ有効な処理を行うのに対して、動画部分についても有効な処理を行うようにした、この発明の他の実施形態も可能である。この発明の他の実施形態は、入力画像信号の動きを検出し、検出した動きに基づく処理を行うものである。
【００２９】
この発明の他の実施形態の構成の一例を図４に示す。入力画像信号が領域切り出し部４１、動きベクトル検出部４２および出力画素決定部４４に供給される。領域切り出し部４１は、供給される入力画像信号から注目画素位置を中心とする領域を切り出し、切り出した領域のデータを分散計算部４３に供給する。分散計算部４３は、供給されるデータに基づいて分散を計算し、計算した分散値を出力画素決定部４４に供給する。
【００３０】
一方、動き検出部４２は、供給される入力画像信号からブロックマッチング等の方法によって動きベクトルを検出し、検出した動きベクトルを画素位置補整および領域切り出し部４３に供給する。画素位置補整および領域切り出し部４５は、供給される動きベクトルを参照して、領域切り出し部４１によって切り出される領域に対応する領域を、フレームメモリ４７に保持されている画像信号から切り出す。すなわち、画素位置補整および領域切り出し部４５は、動きベクトルを参照して注目画素の画素位置を補整する処理を行い、さらに、かかる処理の結果として生成される画像信号から注目画素と同一位置の画素を中心として領域切り出し部４１によって切り出される領域と同一の形状および面積を有する領域を切り出す。
【００３１】
画素位置補整および領域切り出し部４５によって切り出される領域のデータが分散計算部４６に供給される。分散計算部４６は、供給される領域のデータに基づいて分散を計算し、計算した分散値を出力画素決定部４４に供給する。出力画素決定部４４には、さらに、フレームメモリ４７から前フレームの画像信号が供給される。出力画素決定部４４は、分散計算部４３から供給される分散値と分散計算部４６から供給される分散値とを比較し、比較結果に基づいて出力画素を決定する。
【００３２】
すなわち、分散値をアクティビティの尺度として用い、領域切り出し部４１によって切り出される領域と、画素位置補整および領域切り出し部４５によって切り出される領域との内で分散値がより大きい領域内の注目画素または注目画素と同一位置の画素を出力画素として選択する。出力画素決定部４４の出力は、最終的な出力として図示しない表示装置等に供給されると共にフレームメモリ４７に供給され、保持される。
【００３３】
この発明の他の実施形態における処理の手順について図５を参照して説明する。ステップＳ５０として、入力画像信号から領域を切り出す。ステップＳ５１として、ステップＳ５０によって入力画像信号から切り出された領域内の分散（以下、分散１’と表記する）を計算する。ステップＳ５２として、入力画像信号と、フレームメモリに保持された１フレーム前に出力した画像信号との間の動きベクトルをブロックマッチング等の方法で検出する。
【００３４】
ブロックマッチングによる動きベクトルの検出の概要を説明する。入力画像信号から注目画素を中心として幾つかの画素を含む所定の形状のブロック（参照ブロックと称される）を切り出す。一方で、フレームメモリ４７に保持された画像信号内に設定される探索範囲内の画素の各々を中心とする、参照ブロックと同形のブロックを切り出す。このようにして切り出される各ブロックと参照ブロックとの間で差分絶対値の和を計算する。
【００３５】
そして、各計算値を探索範囲内の画素に対応させて保持することにより、評価値テーブルを作成する。このようにして作成される評価値テーブルから最小値を探索し、探索される最小値に係る探索範囲内の画素の位置と注目画素とのずれ量を算出し、算出されるずれ量に基づいて動きベクトルを検出する。なお、ブロックマッチングについては、例えば、本願出願人の提案に係る、例えば特開昭５４−１２４９２７号公報等に詳細に開示されている。
【００３６】
ステップＳ５３として、まず、ステップＳ５２によって検出された動きベクトルに基づいて、フレームメモリに保持されている画像信号に対して画素位置を補整する処理を行う。さらに、ステップＳ５３では、画素位置を補整する処理の結果として得られる画像信号から、注目画素と同一位置の画素を中心とする、ステップＳ５０によって入力画像信号から切り出される領域と同一の形状、面積を有する領域を切り出す。ステップＳ５４として、ステップＳ５３によって切り出される領域内の分散（以下、分散２’と表記する）を計算する。
【００３７】
ステップＳ５０およびステップＳ５３によって切り出される領域の形状は、例えば図３に示した一例等を用いることができる。かかる一例を用いる場合に、分散Ｖは以下の式（２）によって計算される。
【００３８】
【数２】

【００３９】
但し、切り出される領域の形状は矩形に限定されるものではなく、例えばひし形等、種々の形状とすることができる。
【００４０】
ステップＳ５５では、ステップＳ５１にて計算された分散１’と、ステップＳ５３にて計算された分散２’との大小比較を行う。分散１’＞分散２’と判定される場合には、ステップＳ５０によって入力画像信号から切り出された領域のアクティビティがステップＳ５３によってフレームメモリから切り出された領域のアクティビティよりも大きいと判断される。かかる場合にはステップＳ５６に移行する。一方、ステップＳ５３において分散１が分散２より大きくないと判定される場合には、ステップＳ５３によってフレームメモリから切り出された領域のアクティビティがステップＳ５０によって入力画像信号から切り出された領域のアクティビティ以上であると判断される。かかる場合にはステップＳ５７に移行する。
【００４１】
ステップＳ５７では、ステップＳ５３によってフレームメモリから切り出された領域内の注目画素と同一位置の画素を最終的な出力として表示装置等に供給する処理を行う。但し、この場合には、動きベクトルに基づくステップＳ５３と同様な画素位置補整がなされた上で画素が出力される。さらに、ステップＳ５８に移行する。一方、ステップＳ５６では、ステップＳ５０によって入力画像信号から切り出された領域内の注目画素を最終的な出力として表示装置等に供給する処理を行い、さらに、ステップＳ５８に移行する。
【００４２】
以上のようなリカーシブ処理によって、静止画部分、動画像部分の何れについても、よりアクティビティの高い領域内の画素を選択的に出力し、また、そのような画素を後続のフレームに伝播していくことができる。
【００４３】
次に、ブロックマッチングによる動きベクトルの検出に係る構成について図６を参照して説明する。動きベクトル検出部４２は、ブロック切り出し部６１、評価値テーブル作成部６２、最小評価値探索部６３および動きベクトル推定部６４を有する。ブロック切り出し部６１は入力画像信号を供給され、供給される入力画像信号から参照ブロックを切り出す。参照ブロックのデータが評価値テーブル作成部６２に供給される。
【００４４】
評価値テーブル作成部６２は、フレームメモリ４７内に保持されている１フレーム前の画像信号上に探索範囲を設定し、探索範囲内の画素の各々を中心とする画素、参照ブロックと同形のブロックを切り出す。さらに、評価値テーブル作成部６２は、探索範囲から切り出される各ブロックと参照ブロックとの間で差分絶対値の和を計算し、計算値を探索範囲内の画素の各々に対応して保持することによって評価値テーブルを作成する。評価値テーブルのデータが最小評価値探索部６３に供給される。
【００４５】
最小評価値探索部６３は、供給されるデータに基づいて評価値の最小値を探索し、探索結果を示すデータを動きベクトル推定部６４に供給する。動きベクトル推定部６４は、供給されるデータに基づいて、最小値に係る探索範囲内の画素の位置と注目画素とのずれ量を算出し、算出されるずれ量に基づいて動きベクトルを推定する。動きベクトル推定部６４の出力が動きベクトル検出部４２の最終的な出力とされる。
【００４６】
なお、この発明の他の実施形態においては動きベクトルをブロックマッチングによって検出するようにしているが、例えば勾配法等、他の方法によって動きベクトルを検出するようにしても良い。
【００４７】
次に、図５中のステップＳ５３について図７を参照してより詳細に説明する。参照ブロック７１内の注目画素７２の位置に、ステップＳ５２によって検出される動きベクトル（ｘ，ｙ）を加算することにより、フレームメモリ４７に保持されている画像信号内で注目画素７２に対応する位置にある画素７４の位置を算出することができる。このようにして算出される画素位置を中心として、ステップＳ５０によって切り出される領域と同一の形状および大きさを有する領域を切り出すことにより、動きベクトルに基づく画素位置補整を行った上での領域切り出しを行うことができる。
【００４８】
また、上述したこの発明の一実施形態およびこの発明の他の実施形態においてはアクティビティの尺度として分散値を用いているが、アクティビティの尺度としては、例えばダイナミックレンジ（Dynamic Range 、ＤＲと表記されることがある）を用いることもできる。また、この発明の一実施形態およびこの発明の他の実施形態では最終的な出力の決定を画素を単位として行っているが、例えば分散を計算するために切り出される領域を単位として最終的な出力を決定するようにしても良い。
【００４９】
この発明は、上述したこの発明の一実施形態およびこの発明の他の実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００５０】
【発明の効果】
この発明によれば、原画像に対して例えばＭＰＥＧ規定に準拠した符号化および復号化がなされてなる画像信号等に対して、時間的に隣接するフレームの間でよりアクティビティが高いと判定される画像データを選択的に出力し、また、そのような画素を後続のフレームにも伝播していくことができる。
【００５１】
このため、フレーム間でのブロック歪み等の劣化に起因してフレーム間に生じる画質の格差を解消若しくは軽減することができる。従って、画像全体として均質で劣化の目立たない画像信号を出力することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の構成の一例を示すブロック図である。
【図２】この発明の一実施形態における処理の一例を示すフローチャートである。
【図３】この発明の一実施形態における領域の切り出しについて説明するための略線図である。
【図４】この発明の他の実施形態の構成の一例を示すブロック図である。
【図５】この発明の他の実施形態における処理の一例を示すフローチャートである。
【図６】この発明の他の実施形態の一部の構成の一例を示すブロック図である。
【図７】この発明の他の実施形態における画素位置補整について説明するための略線図である。
【図８】従来技術における問題点について説明するための略線図である。
【符号の説明】
１３・・・出力画素決定部、１６・・・動静判定部、４２・・・動きベクトル検出部、４５・・・画素位置補整および領域切り出し部、４４・・・出力画素決定部

Claims (13)

1. 解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、該画像信号内の画素である注目画素を含む注目フレームから、該注目画素を中心とした周辺の複数の画素を含む第１の領域を切り出す第１の領域切り出し手段と、
   上記注目フレームに対して所定フレーム前に出力したフレームから、上記注目画素と同一位置の画素を中心とした周辺の複数の画素を含む第２の領域を切り出す第２の領域切り出し手段と、
   上記第１の領域内の上記注目画素と上記第２の領域内の上記注目画素と同一位置の画素との間で差分をとり、上記差分が所定のしきい値より小さい場合に上記第１の領域が静止画部分であると判定し、上記差分が上記しきい値以上となる場合に上記第１の領域が動画部分であると判定する静動判定手段と、
   上記第１の領域内のアクティビティの尺度となる量を計算する第１の計算手段と、
   上記第２の領域内のアクティビティの尺度となる量を計算する第２の計算手段と、
   上記静動判定手段によって上記第１の領域が動画部分であると判定される場合に上記第１の領域内の画像データを出力し、上記静動判定手段によって上記第１の領域が静止画部分であると判定される場合に、上記第１の計算手段の出力と上記第２の計算手段の出力とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定手段とを有する画像処理装置。
2. 上記画像信号は、
   ＭＰＥＧの規定に従う符号化方法によって符号化されたディジタル信号から復号される画像信号である請求項１に記載の画像処理装置。
3. 上記第１および第２の計算手段は、
   上記アクティビティの尺度となる量として、上記第１および第２の領域内の画素値の分散を計算する請求項１に記載の画像処理装置。
4. 上記第１のおよび第２の計算手段は、
   上記アクティビティの尺度となる量として、上記第１および第２の領域内の画素値のダイナミックレンジを計算する請求項１に記載の画像処理装置。
5. 上記出力画像決定手段は、
   上記静動判定手段によって上記第１の領域が動画部分であると判定される場合に、上記第１の領域内の画像データを出力することに代えて、上記第１の領域内の注目画素を出力する請求項１に記載の画像処理装置。
6. 上記出力画像決定手段は、
   上記静動判定手段によって上記第１の領域が静止画部分であると判定される場合に、上記第１の計算手段の出力と上記第２の計算手段の出力とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力することに代えて、上記第１の領域と上記第２の領域の内でアクティビティがより大きいと判定される領域内の注目画素または上記注目画素と同一位置の画素を出力する請求項１に記載の画像処理装置。
7. 解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、該画像信号内の画素である注目画素を含む注目フレームと上記注目フレームに対して所定フレーム前に出力したフレームとの間で動きを検出する動き検出手段と、
   上記注目フレームから、上記注目画素を中心とした周辺の複数の画素を含む第１の領域を切り出す第１の領域切り出し手段と、
   上記第１の領域内のアクティビティの尺度となる量を計算する第１の計算手段と、
   上記動き検出手段の出力に基づいて、上記注目フレームに対して所定フレーム前に出力したフレームに対する画素位置補整処理を施し、上記画素位置補整処理が施されてなる画像信号のフレームから、上記注目画素と同一位置の画素を中心とした周辺の複数の画素を含む第２の領域を切り出す第２の領域切り出し手段と、
   上記第２の領域内のアクティビティの尺度となる量を計算する第２の計算手段と、
   上記第１の計算手段の出力と上記第２の計算手段の出力とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定手段とを有する画像処理装置。
8. 上記画像信号は、
   ＭＰＥＧの規定に従う符号化方法によって符号化されたディジタル信号から復号される画像信号である請求項７に記載の画像処理装置。
9. 上記第１のおよび第２の計算手段は、
   上記アクティビティの尺度となる量として、上記第１および第２の領域内の画素値の分散を計算する請求項７に記載の画像処理装置。
10. 上記第１のおよび第２の計算手段は、
    上記アクティビティの尺度となる量として、上記第１および第２の領域内の画素値のダイナミックレンジを計算する請求項７に記載の画像処理装置。
11. 上記出力画像決定手段は、
    上記第１の計算手段の出力と上記第２の出力とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力することに代えて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の注目画素または上記注目画素と同一位置の画素を出力する請求項７に記載の画像処理装置。
12. 解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、該画像信号内の画素である注目画素を含む注目フレームから、該注目画素を中心とした周辺の複数の画素を含む第１の領域を切り出す第１の領域切り出しステップと、
    上記注目フレームに対して所定フレーム前に出力したフレームから、上記注目画素と同一位置の画素を中心とした周辺の複数の画素を含む第２の領域を切り出す第２の領域切り出しステップと、
    上記第１の領域内の上記注目画素と上記第２の領域内の上記注目画素と同一位置の画素との間で差分をとり、上記差分が所定のしきい値より小さい場合に上記第１の領域が静止画部分であると判定し、上記差分が上記しきい値以上となる場合に上記第１の領域が動画部分であると判定する静動判定ステップと、
    上記第１の領域内のアクティビティの尺度となる量を計算する第１の計算ステップと、
    上記第２の領域内のアクティビティの尺度となる量を計算する第２の計算ステップと、
    上記静動判定ステップによって上記第１の領域が動画部分であると判定される場合に上記第１の領域内の画像データを出力し、上記静動判定ステップによって上記第１の領域が静止画部分であると判定される場合に、上記第１の計算ステップの結果と上記第２の計算ステップの結果とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定ステップとを有する画像処理方法。
13. 解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、該画像信号内の画素である注目画素を含む注目フレームと上記注目フレームに対して所定フレーム前に出力したフレームとの間で動きを検出する動き検出ステップと、
    上記注目フレームから、上記注目画素を中心とした周辺の複数の画素を含む第１の領域を切り出す第１の領域切り出しステップと、
    上記第１の領域内のアクティビティの尺度となる量を計算する第１の計算ステップと、
    上記動き検出ステップの結果に基づいて、上記注目フレームに対して所定フレーム前に出力したフレームに対する画素位置補整処理を施し、上記画素位置補整処理が施されてなる画像信号のフレームから、上記注目画素と同一位置の画素を中心とした周辺の複数の画素を含む第２の領域を切り出す第２の領域切り出しステップと、
    上記第２の領域内のアクティビティの尺度となる量を計算する第２の計算ステップと、
    上記第１の計算ステップの結果と上記第２の計算ステップの結果とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定ステップとを有する画像処理方法。

Images