JP4920444B2 - デジタル画像処理方法 - Google Patents

Description

本発明は、デジタル画像データを処理するデジタル画像処理方法に関する。特に、本発明は、エッジベースのマルチレート画像鮮鋭度強調を行うデジタル画像処理方法に関する。

画像処理が行われる多くのアプリケーション及びユーザ機器において、画像の鮮鋭度を強調することが必要な場合がある。ここで、エッジ等を含む画像領域において、鮮鋭度を強調する際、多くの場合、鮮鋭度強調の過程で、画像に含まれている雑音も増幅されてしまうという問題がある。

そこで、本発明の目的は、エッジを含む領域において画像雑音を増幅することなく、画像の鮮鋭度を向上させることができるデジタル画像処理方法を提供することである。

本発明の目的は、独立請求項１に定義されている本発明に基づくデジタル画像処理方法の特徴によって達成される。本発明に基づくデジタル画像処理方法の好適な実施の形態は、各従属請求項に定義されている。また、この目的は、独立請求項３１に基づく装置、及び独立請求項３２に基づくコンピュータにより読取可能な媒体によって達成される。

本発明に係るデジタル画像処理方法は、デジタル画像データを処理するデジタル画像処理方法において、（ａ）画像、画像のシーケンス及びビデオの少なくとも１つを表す処理されるデジタル画像データを入力データとして準備するステップＳ１と、（ｂ）入力データを処理し、強調された鮮鋭度プロパティを有する処理済みの画像、処理済みの画像シーケンス、処理済みのビデオを表す処理済みのデータとして、処理済みの画像データを生成するステップＳ２と、（ｃ）処理済みのデータを出力データとして提供するステップ（Ｓ３）とを有し、入力データを処理するステップＳ２は、エッジを検出及び強調する処理を含み、入力データに関してマルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理を用いて、入力データに対するマルチレート、マルチ解像度及び／又はマルチスケール鮮鋭度強調を実現する。

更に、本発明は、上述したデジタル画像処理方法及びそのステップを実現するよう適応化され、デジタル画像処理方法及びそのステップ実現するための手段を備えるデジタル画像処理システム、装置、機器、コンピュータプログラム製品、コンピュータにより読取可能な媒体を提供する。

以下では、機能的及び構造的に類似又は同様の要素及び構造については、同じ参照符号を付す。これらが出現する毎に同じ詳細な説明は繰り返さない。

本発明に基づく、デジタル画像データを処理するデジタル画像処理方法は、（ａ）画像Ｉ、画像のシーケンスＳＩ及びビデオＶの少なくとも１つを表す処理されるデジタル画像データＩＤを入力データｉｎｐＤとして準備するステップＳ１と、（ｂ）入力データｉｎｐＤを処理し、強調された鮮鋭度プロパティを有する処理済みの画像ｐｒｏｃＩ、処理済みの画像シーケンスｐｒｏｃＳＩ、処理済みのビデオｐｒｏｃＶを表す処理済みのデータｐｒｏｃＤとして、処理済みの画像データｐｒｏｃＩＤを生成するステップＳ２と、（ｃ）処理済みのデータｐｒｏｃＤを出力データｏｕｔＤとして提供するステップＳ３とを有し、入力データｉｎｐＤを処理するステップＳ２は、エッジを検出及び強調する処理ＤＥＥを含み、入力データｉｎｐＤに関してマルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理を用いて、入力データｉｎｐＤに対するマルチレート、マルチ解像度及び／又はマルチスケール鮮鋭度強調を実現する。

本発明の好ましい実施の形態においては、入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ及び／又はエッジベースの鮮鋭度強調は、入力データｉｎｐＤを分解Ｄ及び再構築Ｒする処理によって実現される。

これに代えて又はこれに加えて、入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ、エッジベースの鮮鋭度強調、及び／又は分解Ｄ及び再構築Ｒする処理は、ラプラシアンピラミッド分解及び再構築処理ＬＰＤＲによって実現してもよい。

これに代えて又はこれに加えて、入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ、エッジベースの鮮鋭度強調、分解Ｄ及び再構築Ｒする処理、及び／又はラプラシアンピラミッド分解及び再構築処理は、間引きＤＥＣ処理及び補間／統合ＩＮＴ処理に基づき又は間引きＤＥＣ処理及び補間／統合ＩＮＴ処理を用いてもよい。

この場合、間引きＤＥＣ処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づいて行ってもよい。

これに代えて又はこれに加えて、補間／統合ＩＮＴ処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づいて行ってもよい。

間引きＤＥＣ処理は、所定の順序で、（ｄ１）ローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬ及び（ｄ２）ダウンサンプリング↓のサブ処理を含んでいてもよい。

補間／統合ＩＮＴ処理は、所定の順序で、（ｉ１）アップサンプリング↑及び（ｉ２）ローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬのサブ処理を含んでいてもよい。

間引き処理ＤＥＣ及び／又は補間／統合処理ＩＮＴ、及び各サブ処理ｄ１、ｄ２、ｉ１、ｉ２は、高周波成分、雑音成分及び／又はその各分散を減少させ、各中間信号の有用な信号成分を実質的に変更しないように維持し、又は有用な信号成分を比較的より少量又は比較的少量だけ変更し又は変更しない。

間引き処理ＤＥＣ及び／又は補間／統合処理ＩＮＴ、及びローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬの各サブ処理ｄ１、ｉ２は、ハミングウィンドウを含むウィンドウ化プロセスに基づいて実行してもよい。

間引き処理ＤＥＣ及び／又は補間／統合処理ＩＮＴ、及びローパスフィルタリングＬ及び／又はアンチエリアスフィルタリングＬの各サブ処理ｄ１、ｉ２は、実行されるローパスフィルタＬ及び／又はアンチエリアスフィルタＬの伝達関数Ｈに基づいて、事前推定してもよい。

この場合、分類される信号領域又は信号成分において、高周波信号成分及び雑音のいずれが支配的であるかを判定するために、基底のフィルタＬのそれぞれの伝達関数Ｈを用いて、変化率、分散範囲及び分散公差範囲の少なくとも１つを定義してもよい。

入力データｉｎｐＤを処理するステップＳ２、エッジを検出及び強調する処理ＤＥＥ、エッジベースの鮮鋭度強調、分解Ｄ及び再構築Ｒする処理、ラプラシアンピラミッド分解及び再構築処理及び／又は間引きＤＥＣ処理及び補間／統合ＩＮＴ処理は、複数の繰返しステップｋ＝１，…，Ｎを繰り返すことによって実現してもよい。

繰返しステップｋ＝１，…，Ｎのそれぞれにおいて、詳細信号ｄｅｔ_ｋ（ｋ＝０，１，…，Ｎ）を生成してもよい
繰返し、及び各繰返し停止条件は、予め定義された手法で、各閾値及び／又は各閾値条件に基づいて決定してもよい。

各繰返しステップｋ＝１，…，Ｎにおいて、各分解ステップＤ_ｋ及び各再構築ステップＲ_ｋは、それぞれ分解処理内及び再構築処理内で実行してもよい。

各繰返しステップｋ＝１，…，Ｎにおいて、各分解ステップＤ_ｋは、直前の繰返しステップｋ−１から、繰返しステップｋ−１によって生成された入力データｉｎ_ｋを受信し、又は、先行する繰返しステップがない場合、入力データｉｎｐＤを受信してもよい。

各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤ_ｋは、入力データｉｎ_ｋ＋１を生成し、直後の繰返しステップｋ＋１における分解ステップＤ_ｋに供給し、又は、後続する繰返しステップがない場合、同じ繰返しステップｋにおける各再構築ステップＲ_ｋに出力データｏｕｔ_ｋを供給してもよい。

各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤ_ｋは、処理全体の入力データをｉｎｐＤとし、ｋ番目の繰返しステップの入力データをｉｎｐ_ｋとし、間引き処理ＤＥＣをＤＥＣ（・）とし、ダウンサンプリングｄ２を↓（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理ｄ１をＬ（・）として、式（１）及び（２）に基づいて、入力データｉｎ_ｋ＋１を生成及び供給してもよい。

各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤ_ｋは、詳細データｄｅｔ_ｋを生成し、同じ繰返しステップｋにおける各再構築ステップＲ_ｋに供給してもよい。

各繰返しステップｋ＝１，…，Ｎ−１において、各分解ステップＤ_ｋは、ｋ番目の繰返しステップの詳細データをｄｅｔ_ｋとし、ｋ番目の繰返しステップの入力データをｉｎｐ_ｋとし、補間／統合の処理をＩＮＴ（・）とし、エッジ判定及び強調の処理をＤＥＥ・とし、アップサンプリングｉ１を↑（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理ｉ２をＬ（・）として、式（３）の（ａ）、（ｂ）、（ｃ）のいずれかに基づいて、詳細データｄｅｔ_ｋを生成してもよい。

各繰返しステップｋ＝１，…，Ｎにおいて、各再構築ステップＲ_ｋは、同じ繰返しステップの各分解ステップＤ_ｋにおいて生成された詳細データｄｅｔ_ｋを分解ステップＤ_ｋから受信し、及び直後の繰返しステップｋ＋１の各再構築ステップＤ_ｋ＋１において生成された出力データｏｕｔ_ｋを再構築ステップＤ_ｋ＋１から受信し、又は、後続する繰返しステップがない場合、同じ繰返しステップの分解ステップＤ_ｋの入力データｉｎｐ_ｋを受信するように構成してもよい。

各繰返しステップｋ＝１，…，Ｎにおいて、各再構築ステップＲ_ｋは、出力データｏｕｔ_ｋ−１を生成し、直前の繰返しステップｋ−１の再構築ステップＲ_ｋ−１に供給し、又は先行する繰返しステップがない場合、出力データｏｕｔＤを処理全体に提供してもよい。

各繰返しステップｋ＝１，…，Ｎにおいて、各再構築ステップＲ_ｋは、ｋ番目の繰返しステップにおける出力データをｏｕｔ_ｋとし、ｋ番目の繰返しステップにおける入力データをｉｎｐ_ｋとし、補間／統合の処理をＩＮＴ（・）とし、エッジ判定及び強調の処理をＤＥＥ（・）とし、アップサンプリングｉ１を↑（・）とし、ローパスフィルタリング及び／又はアンチエイリアシングフィルタリング処理ｉ２をＬ（・）として、式（５）の（ａ）、（ｂ）、（ｃ）に基づいて、及び式（４）及び式（６）に基づいて、出力データｏｕｔ_ｋを生成及び準備及び／又は受信してもよい。

エッジ検出ＤＥＥは、元の入力信号ｉｎｐＤ及びマルチレート信号処理の分解側Ｄで出力された間引きＤＥＣ出力から実行してもよい。

エッジ検出ＤＥＥは、マルチレート信号処理の分解側Ｄの補間器ＩＮＴの出力から実行してもよい。

エッジ検出ＤＥＥは、マルチレート信号処理の再構築側Ｒの補間器ＩＮＴの出力から実行してもよい。

エッジ検出及び強調処理は、エッジベースの画像鮮鋭度強調の処理に基づいて実行してもよい。

エッジ検出及び強調処理は、非エッジベースの画像鮮鋭度強調の処理に基づいて実行してもよい。

エッジ検出は、マルチ解像度信号処理に基づいて実行し、エッジは、エッジベースの鮮鋭度強調方法によって強調してもよい。

より高い解像度レベルでは検出できないエッジを低い解像度レベルで検出し、エッジを更に強調してもよい。

異なる解像度レベルのエッジ検出は、異なるエッジ閾値又は同じエッジ閾値を用いて実行してもよい。

異なる解像度レベルのエッジ強調量は、制御され、異なる信号部分が制御された手法で強調される。

本発明の文脈では、エッジを検出及び強調するための如何なる既知の処理ＤＥＥを行ってもよい。

また、本発明の更なる側面として、本発明は、上述したデジタル画像処理方法及びそのステップを実現するよう適応化され、デジタル画像処理方法及びそのステップ実現するための手段を備えるデジタル画像処理システム、装置又は機器を提供する。

また、本発明の更なる側面として、本発明は、コンピュータ又はデジタル信号処理手段によって実行されると、上述したデジタル画像処理方法及びそのステップを実現するよう適応化されたコンピュータプログラム手段を備えるコンピュータプログラム製品を提供する。

また、本発明の更なる側面として、本発明は、上述したコンピュータプログラムを備えるコンピュータにより読取可能な媒体を提供する。

以下、本発明のこれらの及び更なる側面について説明する。

本発明は、特に、エッジベースのマルチレート画像鮮鋭度強調（edge-based multi rate image sharpness enhancement）を行うデジタル画像処理方法に関する。

本発明は、特に、マルチレート信号処理に基づく非線形の鮮鋭度強調方法を提供する。エッジベースの鮮鋭度強調方法によって、画像の雑音が増幅されることを防ぐことができ、マルチレート画像鮮鋭度強調が適用される画像鮮鋭度の改善にも有効である。ここでは、マルチレート処理を行うため、傾きが大きいエッジだけでなく、傾きが中間の及び小さいエッジも効果的に検出され、したがって、更に強調することができる。

画像鮮鋭度は、画像解像度に加えて、画質評価のための重要な特徴である。したがって、画像鮮鋭度の強調は、画像処理の重要な課題である。多数の画像鮮鋭度強調技術のうち、エッジベースの画像鮮鋭度強調技術は、最も有望であると考えられている［Ｓｃｈ００］。エッジベースの画像鮮鋭度強調技術は、画像鮮鋭度を向上させるだけではなく、雑音が増幅されることを防ぐことができる。エッジベースの画像鮮鋭度強調技術では、まず、画像のエッジを検出し、次に、エッジに沿った画素が強調される。

また、マルチスケール又はマルチ解像度信号処理として知られるマルチレート信号処理の研究は、多くの研究者によってなされている［ＣｒｏＲａ９６、Ｖａｉｄ９３、ＡｋａｎＨａ９０］。この技術は、多くの分野に応用されている。重要なアプリケーションの１つとして、鮮鋭度強調の分野がある［ＶｕｙＳｃｈ９１］。この技術は、ピラミッド分解（pyramid decomposition）に基づいている。ここでは、解像度が高いレベルでは、傾きが大きい信号部分が強調される。逆に、解像度が低いレベルでは、傾きが小さい信号部分が強調される。周知の非マルチレート信号処理方法では、大きな傾きを有する信号部分だけが強調されるが、本発明では、全て又は大部分の信号構造を強調できる。

ビデオ信号に含まれるピクチャの鮮鋭度を改善する方法は、（ａ）ステップ／エッジ強調アルゴリズムに基づいてピクチャを処理し、ステップ／エッジ強調ピクチャを生成するステップと、（ｂ）テクスチャ強調アルゴリズムに基づいてピクチャを処理し、テクスチャ強調されたピクチャを生成し、ステップ／エッジ強調ピクチャと、テクスチャ強調ピクチャとを混合することによって、鮮鋭度が改善されたピクチャを含むビデオ信号を生成するステップとを有し、ステップ（ａ）及び（ｂ）は、ピクチャに関連する動き情報に依存して実行される。この技術の詳細については、欧州特許第ＥＰ１３３９２２４号、「ピクチャ鮮鋭度を改善する方法及び装置（Method and Apparatus for Improving Picture Sharpness）」に開示されている。

特に低コントラスト構造を強調する必要があるため、マルチレート画像鮮鋭度強調技術は、画像鮮鋭度改善に関して最も効率的な技術である。しかしながら、周知のマルチレート画像鮮鋭度強調技術は、雑音による影響を非常に受けやすい。周知のエッジベースの画像鮮鋭度強調技術において、雑音の増幅を抑制すると、低コントラスト構造に対する強調の効果が低下する。

本発明は、画像雑音の増幅を防止しながら、低い、中間の、及び高いコントラストを有する画像信号の鮮鋭度を改善することを目的とする。マルチレート信号処理をエッジベースの画像強調技術と組み合わせることによって、雑音感度問題は、大幅に改善される。

周知のラプラシアンピラミッド分解及び再構築（Laplace pyramid decomposition and reconstruction）に基づくマルチレート信号処理を図１に示す。

マルチレート画像強調［ＶｕｙＳｃｈ９１］は、詳細信号（detail signal）に対して実行される。詳細信号自体が高周波成分であるので、その増幅、すなわち、１より大きい係数に乗算することによって、画像鮮鋭度が強調される。また、詳細信号には、画像雑音も含まれているので、この種の鮮鋭度強調技術では、鮮鋭度が改善される一方で、画像雑音も増幅される。雑音が過剰に増幅されることに対する対策として、例えば、コアリング技術（coring technique）が知られているが、雑音増幅問題は未解決である。

そこで、本発明は、新たな解決策として、図２によって示すようなエッジベースのマルチレート画像鮮鋭度強調技術を提供する。

エッジは、まず、解像度レベルが最も高い信号（元の入力信号）から検出され、次に、解像度レベルが低い信号から検出される。解像度レベルが低い信号は、ローパスフィルタ（Ｌ）及びダウンサンプラ（↓）を備える間引器（decimator）から出力される。外乱雑音に対してロバストなエッジ検出方法がある［Ｓｃｈ００］。エッジ検出のための前処理すなわち、直交フィルタリングによって、外乱雑音に対するエッジ検出のロバストネスを更に改善できる。そして、例えば、エッジ置換法、合成詳細信号加算法（synthetic detail-signal addition method）［Ｓｃｈ００］等によって、検出されたエッジに沿った画素を強調できる。

図２の構成では、エッジ検出及び強調は、間引器ＤＥＣの出力Ｌ↓を用いて行われる。また、アップサンプラ↑及びローパスフィルタＬからなる補間器又はインテグレータＩＮＴの出力↑Ｌを用いて、画像鮮鋭度を向上させることもでき、特に、再構築側の補間器の出力を用いることが有望である。

エッジの傾きは、図３に示すように、間引きの後により大きくなる。この結果、エッジ検出のために同じ閾値を適用しても、より高い解像度レベルでは、検出できないエッジをより低い解像度レベルで検出することができる。マルチレート処理の他の利点は、同じ画像について、エッジ検出のために２つ以上の閾値を適用でき、すなわち、異なるレベルに関して、エッジ検出のために異なる閾値を適用できるという点である。これにより、エッジ検出結果の精度を向上させることができる。

したがって、エッジベースの強調技術を用いて、より高い解像度レベルでは強調できないエッジをより低い解像度レベルにおいて強調することができる。この結果、高いコントラストを有する信号部分だけでなく、中間の及び低いコントラストを有する信号部分も強調することができる。

更に、信号強調量は、レベルによって異ならせることもでき、これにより、異なる信号部分を強調できる。例えば、解像度レベルが低い部分を解像度レベルが高い部分より強調することによって、コントラストが低い信号部分を強調することができる。

本発明は、元の入力信号及びマルチレート信号処理の分解側の間引器の出力信号からエッジ検出を行うことによって特徴付けられる画像鮮鋭度強調技術を開示する。この手法によって検出されたエッジは、エッジベース又は非エッジベースの画像鮮鋭度強調方法によって強調される。

これに代えて、マルチレート信号処理の分解側の補間器の出力からエッジ検出を行ってもよい。この手法によって検出されたエッジは、エッジベース又は非エッジベースの画像鮮鋭度強調方法によって強調される。

更に、これに代えて、マルチレート信号処理の再構築側の補間器の出力からエッジ検出を行ってもよい。この手法によって検出されたエッジは、エッジベース又は非エッジベースの画像鮮鋭度強調方法によって強調される。

これに加えて又はこれに代えて、画像鮮鋭度強調方法では、マルチ解像度信号処理に基づいてエッジ検出を行い、次に、エッジベースの鮮鋭度強調方法によってエッジを強調してもよい。

本発明の更なる側面では、高い解像度レベルにおいてエッジが検出できない場合、低い解像度レベルにおいてエッジを検出し、このエッジを強調できる。

本発明の更なる側面として、本発明に基づく画像鮮鋭度強調方法では、異なる又は同じエッジ閾値を用いて、異なる解像度レベルについてエッジを検出できる。

これに加えて又はこれに代えて、異なる解像度レベルについて、エッジ強調量を制御でき、これにより異なる信号部分を強調できる。

本発明は、マルチレート信号処理の利点とエッジベースの画像強調の利点の両方を組み合わせる。すなわち、本発明は、コントラストが低い、中間の及び高い画像信号の鮮鋭度を改善するとともに、雑音の増幅を防ぐ。

図１は、デジタル画像データ処理方法を実現するための構成の詳細を例示する概略的なブロック図であり、この構成は、入力データｉｎｐＤに基づき、出力データｏｕｔＤを生成し、出力する。

この処理は、入力データｉｎｐＤを分解するサブ処理Ｄと、再構築によって出力データｏｕｔＤを生成するサブ処理Ｒとから構成される。

更に、この処理全体を繰り返してもよく、すなわち分解のサブ処理Ｄ及び再構築のサブ処理Ｒをそれぞれ繰り返してもよい。各繰返しステップｋ＝１，…，Ｎにおいて、特定の繰返しステップｋのための入力データｉｎｐ_ｋ−１が供給又は生成され、次に、その特定の繰返しステップｋについて、各出力データｏｕｔ_ｋ−１が生成される。

最初に、すなわち、初期の又は繰返しステップｋ＝１において、処理全体の入力データｉｎｐＤによって入力データｉｎｐ０が与えられる。後続する各繰返しステップｋ＋１においては、先の繰返し処理ｋにおいて生成された各入力データｉｎｐ_ｋのそれぞれを、まず、ローパスフィルタリング又はアンチエイリアシングフィルタＬし、次にダウンサンプリング↓する。

各繰返しステップｋにおいて、次の繰返しステップｋ＋１の出力データｏｕｔ_ｋ＋１に基づいて、すなわち、所謂詳細データ又は詳細信号ｄｅｔ_ｋに、まず、アップサンプリング↑され、次に、アンチエイリアシングフィルタリング処理Ｌされる出力データｏｕｔ_ｋ＋１を加えることによって各出力データｏｕｔ_ｋが生成される。

ローパスフィルタリング又はアンチエイリアシングフィルタリングＬと、ダウンサンプリング↓との組合せは、間引き処理ＤＥＣと呼ぶこともでき、アップサンプリング↑と、ローパスフィルタリング又はアンチエイリアシングフィルタリング処理Ｌとの組合せは、統合又は補間処理ＩＮＴと呼ぶこともできる。

各繰返しステップｋについて、各詳細データｄｅｔ_ｋ又は詳細信号ｄｅｔ_ｋは、各繰返しステップｋにおける各入力信号ｉｎｐ_ｋ−１に減算又は各入力データｉｎｐ_ｋ−１に対して、所定の順序でローパスフィルタリング又はアンチエイリアシングフィルタＬ、ダウンサンプリング↓、アップサンプリング↑、及びローパスフィルタリング又はアンチエイリアシング処理Ｌを適用することによって得られる逆データを適用することによって生成される。

図２は、本発明に基づくデジタル画像処理方法の好ましい実施の形態の具体例を示す更なる概略的なブロック図であり、この構成は、各繰返しステップにおいて、エッジを検出及び強調する処理ＤＥＥを含む点が図１に示す構成と異なり、この処理は、各繰返しレベルｋにおいて、各入力データｉｎｐ_ｋに適用され、これにより、詳細信号ｄｅｔ_ｋ又は詳細データｄｅｔ_ｋが導出される。

図２の構成では、エッジを検出及び強調する処理ＤＥＥは、所定の繰返しレベルｋにおいて、各入力データｉｎｐ_ｋ−１に直接適用され、これにより、各詳細信号ｄｅｔ_ｋ又は詳細データｄｅｔ_ｋは、エッジを検出及び強調する処理ＤＥＥが適用される入力データｉｎｐ_ｋ−１と、ローパスフィルタ又はアンチエイリアシングフィルタＬ、ダウンサンプリング↓、アップサンプリング↑、及びローパスフィルタ又はアンチエイリアシングフィルタＬが所定の順序で実行される処理のカスケードが適用される各入力データｉｎｐ_ｋ−１との間の差分として定義される。

入力データｉｎｐ_ｋ及び出力データｏｕｔ_ｋのそれぞれの関係は、図１の構成と同様である。

図３は、本発明に基づいて適用される傾き間引き処理ＤＥＣの前後の画像データのエッジの傾きの増加を示す例示的なグラフである。

図４は、本発明の好ましい実施の形態に基づく繰り返し処理の基本構造及び分解ステップＤ_ｋと再構築ステップＲ_ｋとの間の異なる関係を示す更なる概略的なブロック図である。

図５は、異なるサブ処理と、データｉｎｐ_ｋ−１、ｉｎｐ_ｋ、ｄｅｔ_ｋ−１、ｄｅｔ_ｋ、ｏｕｔ_ｋ−１、ｏｕｔ_ｋの相互の関係及び各繰り返しのレベルｋにおける分解のサブ処理Ｄ_ｋ及び再構築のサブ処理Ｒ_ｋに関する関係を示している。

図６Ａ〜図６Ｃは、図５に示す包括的な関係を概略的なブロック図によって示している。但し、この具体例では、エッジを検出及び強調する処理ＤＥＥが図５の構成とは異なる。

図６Ａは、単一の繰返しステップｋについて、図２に対応する状況を示している。ここでも、エッジを検出及び強調する処理ＤＥＥは、所定の繰返しステップｋにおいて、入力データｉｎｐ_ｋ−１に適用できることが示されている。

図６Ｂに示す実施の形態では、エッジを検出及び強調する処理ＤＥＥは、各繰返しレベル_ｋにおいて、統合又は補間処理ＩＮＴの出力信号に直接適用される。

図６Ｃに示す実施の形態では、エッジを検出及び強調する処理ＤＥＥは、各繰返しレベルｋにおいて、分解処理Ｄ_ｋから再構築処理Ｒ_ｋに移され、すなわち、エッジを検出及び強調する処理ＤＥＥは、統合／補間処理ＩＮＴが適用された後に、ｋ番目の繰返しレベルにおいて受信された出力信号又は出力データｏｕｔ_ｋに適用され、すなわち、アップサンプリング↑及びローパス又はアンチエイリアシングフィルタリングＬの適用の後、詳細信号又は詳細データｄｅｔ_ｋに加算される直前に実行される。

参考文献
［Ｂｕｒｔ８１］P. J. Burt, "Fast Filter Transforms for Image Processing", Computer Graphics and Image Processing, Vol. 16, 1981.
［Ｃｒｏｗ８４］J. L. Crowley, R. M. Stern, "Fast Computation of the Difference of Low-Pass Transform", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 6, No. 2, 1984.
［ＡｋａｎＨａ９０］A.N. Akansu, R.A. Haddad, "Multiresolution Signal Decomposition", ISBN: 0120471418, Academic Press, 1990.
［ＶｕｙＳｃｈ９１］Pieter Paul Vuylsteke, Emile Paul Schoeters, "Method and Apparatus for Contrast Enhancement", EP 527 525, 1991.
［Ｖａｉｄ９３］P. P. Vaidyanathanm, "Multirate Systems and Filter Banks", ISBN: 0-13-605718-7, Prentice Hall PTR, 1993.
［ＣｒｏＲａ９６］Lawrence R. Rabiner, Ronald E. Crochiere, "Multirate Digital Signal Processing", ISBN: 0136051626, Prentice Hall Signal Processing Series, 1996.
［Ｓｃｈ００］H. Schroder, "Mehrdimensionale Signalverarbeitung", ISBN: 3-519-06197-X, B.G. Teubner Stuttgart, Stuttgart, 2000.

従来の信号処理方法を示す概略的なブロック図である。 本発明に基づくデジタル画像処理方法、特にエッジベースのマルチレート画像強調の第１の実施の形態を示す概略的なブロック図である。 本発明に基づく間引き処理に基づくエッジの傾きの変化を示すグラフ図である。 本発明に基づくデジタル画像処理方法に関する本発明の繰返し処理の概念を説明する概略的なブロック図である。 図４に示す処理の各繰返しステップの詳細を説明する概略的なブロック図である。 本発明に基づくデジタル画像処理方法の異なる実施の形態について、図５に示す繰返しステップの構造の詳細を示す概略的なブロック図である。 本発明に基づくデジタル画像処理方法の異なる実施の形態について、図５に示す繰返しステップの構造の詳細を示す概略的なブロック図である。 本発明に基づくデジタル画像処理方法の異なる実施の形態について、図５に示す繰返しステップの構造の詳細を示す概略的なブロック図である。

符号の説明

Ｄ 分解処理、Ｄ_ｋ 各繰返しレベルｋにおける分解処理、ＤＥＣ 分解処理、ｄｅｔ_ｋ 各繰返しレベルｋにおける詳細データ／詳細信号、ＤＥＥ エッジを検出及び強調する処理、ｉｎｐ_ｋ 各繰返しレベルｋにおける入力データ、ｉｎｐＤ 処理／方法全体の入力データ、ｉｎｐＩ 処理／方法全体の入力画像、ｉｎｐＳＩ 処理／方法全体の入力画像のシーケンス、ｉｎｐＶ 処理／方法全体の入力ビデオ、ＩＮＴ 統合／補間処理、ｏｕｔ_ｋ 前の繰返しレベルｋ−１の次の繰返しレベルｋからの出力データ、ｏｕｔＤ 処理／方法全体の出力データ、ｐｒｏｃＤ 処理／方法全体の処理済みのデータ、ｐｒｏｃＩ 処理／方法全体の処理済みの画像、ｐｒｏｃＳＩ 処理／方法全体の処理済みの画像シーケンス、ｐｒｏｃＶ 処理／方法全体の処理済みのビデオ、Ｒ 再構築処理、Ｒ_ｋ 各繰返しレベルｋの再構築処理

Claims (32)

1. デジタル画像データを処理する装置によって実行されるデジタル画像データ処理の方法であって、
   上記デジタル画像データを処理する装置のプロセッサでの、鮮鋭度プロパティを強調するための、マルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理に基づく上記デジタル画像データの処理を含み、
   上記処理は、上記デジタル画像データの分解及び再構築を含み、
   上記分解は、
   間引き処理の実行、
   上記間引き処理の出力に基づく補間／統合処理の実行、
   エッジを検出及び強調する処理の実行、及び
   上記エッジを検出及び強調する処理の出力及び上記補間／統合処理の出力による詳細信号の生成を含み、
   上記再構築は、上記詳細信号を入力として用いることを含む方法。
2. 上記分解及び再構築は、ラプラシアンピラミッド分解及び再構築処理によって実現される、請求項１に記載の方法。
3. 上記デジタル画像データの処理、上記エッジを検出及び強調する処理、並びに上記ラプラシアンピラミッド分解及び再構築処理による上記分解及び再構築の処理は、上記間引き処理及び上記補間／統合処理に基づく、請求項２に記載の方法。
4. 上記間引き処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づく、請求項３に記載の方法。
5. 上記補間／統合処理は、マルチレート信号処理、マルチスケール信号処理及び／又はマルチ解像度信号処理に基づく、請求項３に記載の方法。
6. 上記間引き処理は、
   ローパスフィルタリング及び／又はアンチエイリアスフィルタリング、並びに
   ダウンサンプリング
   のサブ処理を所定の順序で含む、請求項３に記載の方法。
7. 上記補間／統合処理は、
   アップサンプリング、並びに
   ローパスフィルタリング及び／又はアンチエイリアスフィルタリング
   のサブ処理を所定の順序で含む、請求項３に記載の方法。
8. 上記間引き処理及び／又は上記補間／統合処理は、
   高周波成分、雑音成分、又はその各分散を減少させ、
   各中間信号の有用な信号成分を実質的に変更しないように維持し、又は上記各中間信号の有用な信号成分を比較的少量しか減少させない
   ように実行される、請求項３に記載の方法。
9. 上記間引き処理又は上記補間／統合処理、及びローパスフィルタリング又はアンチエイリアスフィルタリングの各サブ処理は、ウインドウ化プロセスに基づく、請求項３に記載の方法。
10. 上記間引き処理及び／又は上記補間／統合処理、及びローパスフィルタリング及び／又はアンチエイリアスフィルタリングの各サブ処理は、実行されるローパスフィルタ又はアンチエイリアスフィルタの伝達関数に基づいて事前推定される、請求項３に記載の方法。
11. 分類される信号の領域又は信号成分において高周波信号又はノイズが支配的であるかを判定するために、基底のフィルタのそれぞれの伝達関数を用いて、変化率、分散範囲又は分散公差範囲の少なくとも１つを定義する、請求項１０に記載の方法。
12. 上記デジタル画像データの処理、上記分解及び再構築の処理、上記ラプラシアンピラミッド分解及び再構築処理、上記間引き処理、又は上記補間／統合処理の少なくとも１つは、複数の繰返しステップを繰り返すことによって実現される、請求項３に記載の方法。
13. 上記各繰返しステップにおいて、各分解ステップおよび各再構築ステップが、それぞれ上記分解の処理内及び上記再構築の処理内で実行される、請求項１２に記載の方法。
14. 上記各繰返しステップにおいて、前記各詳細信号は各分解ステップで生成されて上記繰返しステップのうちの各再構築ステップで用いられ、該各詳細信号は上記繰返しステップの中で実行される各エッジを検出及び強調する処理に基づく、請求項１３に記載の方法。
15. 上記繰返し及び各繰返し停止条件は、各閾値に基づく、請求項１２に記載の方法。
16. 上記各繰返しステップにおいて、各分解ステップは、直前の繰返しステップから該繰返しステップによって生成された入力データを受信する、又は、先行する繰返しステップがない場合上記デジタル画像データを受信する、請求項１２に記載の方法。
17. 上記各繰返しステップにおいて、上記各分解ステップは、上記入力データを生成し、直後の繰返しステップにおける分解ステップに供給する、又は、後続する繰返しステップがない場合同じ繰返しステップにおける各再構築ステップにデータを出力する、請求項１６に記載の方法。
18. 上記各繰返しステップにおいて、上記各分解ステップは、上記デジタル画像データをｉｎｐＤとし、ｋ番目の繰返しステップの上記入力データをｉｎｐ_ｋとし、上記間引き処理をＤＥＣ（・）とし、ダウンサンプリング処理を↓（・）とし、ローパスフィルタリング処理又はアンチエイリアスフィルタリング処理をＬ（・）として、式（１）及び（２）に基づいて上記入力データを生成及び供給する、請求項１７に記載の方法。
    

    
19. 上記各繰返しステップにおいて、上記各分解ステップは、ｋ番目の繰返しステップの上記詳細信号をｄｅｔ_ｋとし、ｋ番目の繰返しステップの上記入力データをｉｎｐ_ｋとし、上記補間／統合処理をＩＮＴ（・）とし、上記エッジを検出及び強調する処理をＤＥＥ（・）とし、アップサンプリング処理を↑（・）とし、ローパスフィルタリング処理又はアンチエイリアスフィルタリング処理をＬ（・）として、式（３）の（ａ）、（ｂ）のいずれか１つに基づいて上記詳細信号を生成及び提供する、請求項１８に記載の方法。
    

    
20. 上記各繰返しステップにおいて、各再構築ステップは、同じ繰返しステップの各分解ステップにおいて生成された詳細信号を該分解ステップから受信し、及び直後の繰返しステップの各再構築ステップにおいて生成された出力データを該再構築ステップから受信し、又は、後続する繰返しステップがない場合同じ繰返しステップの上記分解ステップの入力データを受信する、請求項１２に記載の方法。
21. 上記各繰返しステップにおいて、各再構築ステップは、出力データを生成し、直前の繰返しステップの再構築ステップに供給し、又は先行する繰返しステップがない場合上記処理全体のデータ出力をする、請求項１２に記載の方法。
22. 上記各繰返しステップにおいて、上記各再構築ステップは、ｋ番目の繰返しステップにおける上記出力データをｏｕｔ_ｋとし、ｋ番目の繰返しステップにおける入力データをｉｎｐ_ｋとし、上記補間／統合処理をＩＮＴ（・）とし、アップサンプリング処理を↑（・）とし、ローパスフィルタリング処理又はアンチエイリアスフィルタリング処理をＬ（・）として、式（４）、（５）及び（６）に基づいて上記出力データを受信する、請求項２１に記載の方法。
    

    
23. エッジ検出は、上記デジタル画像データ及びマルチレート信号処理の分解側の間引き出力から実行される、請求項１に記載の方法。
24. エッジ検出は、マルチレート信号処理の分解側の補間器の出力から実行される、請求項１に記載の方法。
25. 上記エッジを検出及び強調する処理は、エッジベースの画像鮮鋭度強調の処理に基づく、請求項１に記載の方法。
26. 上記エッジを検出及び強調する処理は、非エッジベースの画像鮮鋭度強調の処理に基づく、請求項１に記載の方法。
27. エッジ検出は、マルチ解像度信号処理に基づいて実行され、上記エッジは、エッジベースの鮮鋭度強調方法によって強調される、請求項１に記載の方法。
28. より高い解像度レベルでは検出できないエッジをより低い解像度レベルで検出し、該エッジを更に強調する、請求項１に記載の方法。
29. 異なる解像度レベルのエッジ検出は、異なるエッジ閾値または同じエッジ閾値を用いて実行される、請求項１に記載の方法。
30. 異なる解像度レベルのエッジ強調量は、制御され、異なる信号部分が制御された手法で強調される、請求項１に記載の方法。
31. デジタル画像データを処理する装置であって、
    鮮鋭度プロパティを強調するために、マルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理に基づいて上記デジタル画像データを処理するように設定されたプロセッサを備え、
    上記処理は、上記デジタル画像データの分解及び再構築を含み、
    上記分解は、
    間引き処理の実行、
    上記間引き処理の出力に基づく補間／統合処理の実行、
    エッジを検出及び強調する処理の実行、及び
    上記エッジを検出及び強調する処理の出力及び上記補間／統合処理の出力による詳細信号の生成を含み、
    上記再構築は、上記詳細信号を入力として用いることを含む装置。
32. 有形の一時的でないコンピュータ可読の記憶媒体であって、デジタル画像データを処理する装置によって実行されると該装置にデジタル画像データ処理の方法を実行させるコンピュータプログラム命令を含み、
    上記方法は、鮮鋭度プロパティを強調するための、マルチレート信号処理、マルチ解像度信号処理及び／又はマルチスケール信号処理に基づく上記デジタル画像データの処理を含み、
    上記処理は、上記デジタル画像データの分解及び再構築を含み、
    上記分解は、
    間引き処理の実行、
    上記間引き処理の出力に基づく補間／統合処理の実行、
    エッジを検出及び強調する処理の実行、及び
    上記エッジを検出及び強調する処理の出力及び上記補間／統合処理の出力による詳細信号の生成を含み、
    上記再構築は、上記詳細信号を入力として用いることを含む記憶媒体。

Images