JP6504500B2 - ビデオ画像強調方法 - Google Patents

Description

本発明は、ビデオ画像を強調するための方法に関し、特にテクスチャ領域を好適に強調し、しかもエッジ領域等に於ける過度なオーバーシュートを回避し得るようなビデオ画像の強調方法に関する。

ぼけ画像と呼ばれるシャープネスが欠けた画像を改善する手法が種々知られている。多くの場合、ビデオ信号の高域成分を強調することにより、画像に於けるエッジを鮮鋭化することからなる。この場合、強調が不十分であれば、画像のシャープネスが不十分となり、ぼけた印象を与える。しかしながら、強調が過度であれば、エッジに於ける画素信号にオーバーシュートが生じ、顕著な縁取りが生じ、不自然な印象を与える。

そこで、従来は、元の画像の状態に応じて、どの程度の輪郭強調が適正であるかを何らかの評価関数を用いたり、人間の判断により行うようにしていた。

また、自然な輪郭強調が達成されるように、ハイパスフィルタを用い、しかも画像の内容に応じて、フィルタの帯域特性を選択し、特に高域成分のゲインを調節することにより、画像の質を最適化することが行われている。例えば、特許文献１には、互いに直列に設けられた２つの遅延手段を用いて入力信号を処理することにより、先行信号（ｓ１）、対象信号（ｓ２）及び遅延信号（ｓ３）を得て、対象信号（ｓ２）と先行信号（ｓ１）との差、遅延信号（ｓ３）と対象信号（ｓ２）との差及び対象信号（ｓ２）と先行信号（ｓ１）及び遅延信号（ｓ３）の平均値との差として与えられる二次微分信号の内の絶対値が最小のものに、二次微分信号の符号を付したものを輪郭強調信号とすることが提案されている。特許文献２には、注目する小さな領域の画素の内の濃度の最大値及び最小値を計算し、これらの値に応じて、輪郭強調処理に伴うオーバーシュート量を抑制する技術が開示されている。

しかしながら、一般に画像中には様々に異なる特性を有する領域が含まれ、特定の輪郭強調を行った場合、領域によって画質の改善結果にばらつきが見られる。即ち、一般に画像中には、テクスチャ領域と呼ばれる、物体表面の性状などにより濃淡が規則的に変化し、エッジが複雑に分布する領域と、線又は輪郭のような明瞭なエッジを含むエッジ領域とが含まれる。いずれの領域も画像の質を高める上で重要な要素である。従って、ビデオ画像を強調するためには、このような領域をそれぞれ鮮明にし、しかも違和感を生じさせないことが望まれる。

また、ビデオ画像をリアルタイムで強調する必要性が高いことから、多大な計算量を要することなく、好適な輪郭強調が可能であることが望まれる。

特開２０００−３１２３０１号公報 特表２００８−５３２３７６号公報

このような従来技術の問題点及び発明者の知見に鑑み、本発明の主な目的は、テクスチャ領域及びエッジ領域の両者について、多大な計算量を要することなく、しかも高度な画質改善を達成し得るビデオ画像強調方法を提供することにある。

本発明によれば、このような目的は、各注目画素の周辺に設定された領域に於ける画素信号値の関数として輪郭強調信号を生成し、該輪郭強調信号を前記注目画素に適用することにより、ビデオ画像に於ける輪郭を強調するためのビデオ画像強調方法であって、前記注目画素の周辺に設定された領域に於ける画素信号値に基づき、強調されたビデオ信号値の最大制限値及び最小制限値を算出するステップと、前記領域に於ける画素信号値の変動を示す尺度値としてテクスチャ値を算出するステップと、前記最大制限値及び前記最小制限値を前記テクスチャ値に応じて補正するステップと、補正された前記最大制限値及び前記最小制限値により、強調されたビデオ信号値を制限するステップとを有することを特徴とするビデオ画像強調方法を提供することにより達成される。

テクスチャ値の大きい領域、即ちテクスチャ領域は、エッジ領域に比して、比較的強く輪郭強調を行うことにより、より好適なビデオ画像の強調が可能となる。即ち、テクスチャ領域を鮮鋭化し、しかもエッジ領域に於ける画素信号のオーバーシュートに起因する不自然な縁取りを回避することができる。その結果、テクスチャ領域及びエッジ領域に渡って、全体的に好適な画像強調が可能となる。

本発明に基づくビデオ画像強調方法を実施するためのシステム構成の一例を示すダイヤグラム図である。 本発明に基づくビデオ画像強調方法の一実施形態のフロー図である。 本発明に基づくビデオ画像強調方法に於けるテクスチャ値の算出方法の例を示すダイヤグラム図である。 テクスチャ値を正規化するための関数の例を示すグラフである。 ビデオ信号の最大制限値及び最小制限値をテクスチャ値に応じて補正する際に利用されるテクスチャ値の関数の例を示すグラフである。 ビデオ信号の補正の態様を説明するためのダイヤグラム図である。

本発明の好適実施例によれば、前記注目画素の周辺に設定された領域に於ける画素信号値の最大値及び最小値を検出し、強調されたビデオ信号値の前記最大制限値を、前記最大値から、前記最大値及び前記最小値間の差と前記テクスチャ値との積を加算して求め、強調されたビデオ信号値の前記最小制限値を、前記最小値から、前記最大値及び前記最小値間の差と前記テクスチャ値との積を減算して求めるようにしている。

これによれば、比較的簡単な演算処理により、好適な輪郭強調を行うことができる。

本発明の或る側面によれば、前記テクスチャ値が、画素信号値の増減の頻度の和から増減の頻度の差の絶対値を減算した値を、最大値が１となるように正規化した値として与えられるものとすることができる。

これによれば、強調されたビデオ信号値に於いて、テクスチャ値を好適に反映させることができる。

本発明の別の側面によれば、注目画素の画素値よりも大きくかつ前記最大値よりも小さい最大抑制値及び前記最大値及び注目画素の画素値よりも小さくかつ前記最小値よりも大きい最小抑制値を設定し、前記注目画素の画素信号値が、前記最大抑制値を超えた場合には、超えた量に応じて前記輪郭強調信号値を減じ、前記注目画素の画素信号値が、前記最小抑制値を下回った場合には、下回った量に応じて前記輪郭強調信号値を増すステップを更に有する。

これによれば、輪郭強調信号値の急激な頭打ちが回避でき、一層自然な印象を与えるような画像の輪郭強調が実現される。

以下、本発明の実施の形態について図面を参照しながら説明する。

本発明に基づくビデオ画像強調方法を実施するためのシステム構成の一例を示すダイヤグラム図である。ビデオ入力信号は、画素値の垂直方向の変化からノイズを除去するための垂直ローパスフィルタ（ＬＰＦ）１０及び画素値の水平方向の変化からノイズを除去するための水平ローパスフィルタ（ＬＰＦ）２０に供給される。垂直ローパスフィルタ１０の出力は、カットオフ周波数の異なる複数の水平ハイパスフィルタ（ＨＰＦ）１１〜１４に供給され、水平ローパスフィルタ２０の出力は、カットオフ周波数の異なる複数の垂直ハイパスフィルタ（ＨＰＦ）２１〜２４に供給される。これらのハイパスフィルタの内の高域側のもの１１，１２，２２，２２からの出力は、それぞれ、個別の可変ゲインユニット１５，１６、２５，２６を介して、高域ハイパスフィルタ成分合成ユニット１９に供給され、これらのハイパスフィルタの内の低域側のもの１３，１４，２３，２４からの出力は、それぞれ、個別の可変ゲインユニット１７，１８、２７，２８を介して、低域ハイパスフィルタ成分合成ユニット２９に供給される。

高域ハイパスフィルタ成分合成ユニット１９の出力は、直接合成ユニット３３に供給され、低域ハイパスフィルタ成分合成ユニット２９は、ｍｉｎ／ｍａｘ補正ユニット３２に供給される。ビデオ入力信号は、更に、直接ｍｉｎ／ｍａｘ補正ユニット３２に供給されると同時に、後記する特徴量抽出ユニット３１を介しても、ｍｉｎ／ｍａｘ補正ユニット３２に供給される。

ｍｉｎ／ｍａｘ補正ユニット３２の出力は、高域ハイパスフィルタ成分合成ユニット１９の出力と共に、強調成分として合成ユニット３３に供給されて、合成された後にビデオ入力信号を強調するためにビデオ入力信号に適用され、輪郭強調されたビデオ出力信号が得られる。

輪郭強調は、本実施例のように、水平及び垂直の両方向について行うことができるが、水平及び垂直のいずれか一方向についてのみ行うこともできる。また、強調信号の制限または補正は、本実施例のように、比較的低域成分の優勢な信号についてのみ行うこともできるが、比較的低域成分の優勢な信号についてのみ或いは、全域の周波数範囲に渡って行うこともできる。本実施例の構成は単なる例示であって、ビデオ入力信号に対するフィルタ処理はこれに限定されるものではなく、自由に変更することができる。また、本実施例では、低域ハイパスフィルタ成分合成ユニット２９の出力のみが、ｍｉｎ／ｍａｘ補正ユニット３２に供給されるようにしているが、高域ハイパスフィルタ成分合成ユニット１９の出力も、ｍｉｎ／ｍａｘ補正ユニット３２に供給されるようにして、同様なｍｉｎ／ｍａｘ補正がなされるようにすることもできる。

図２は、本発明に基づくビデオ画像強調方法の一実施形態のフロー図である。先ず、ステップＳ１に於いて得られたビデオ入力信号の垂直及び水平方向の変化に対してローパスフィルタ１０，２０を通過させてノイズ除去を行う（ステップＳ２）。垂直方向の変化に対してローパスフィルタ１０を通過させて得られたビデオ信号には、複数の水平ハイパスフィルタ１１〜１４を適用し、水平方向の変化に対してローパスフィルタ２０を通過させて得られたビデオ信号には複数の垂直ハイパスフィルタ２１〜２４を適用する。これらの水平ハイパスフィルタ及び垂直ハイパスフィルタから得られた成分の内の高域側のものは、対応する可変ゲインユニット１５、１６、２５、２６を用いて加重加算することにより、高域側の強調成分とされる（ステップＳ３）。これらの水平ハイパスフィルタ及び垂直ハイパスフィルタから得られた成分の内の低域側のものは、対応する可変ゲインユニット１７、１８、２７、２８を用いて加重加算することにより、低域側の強調成分とされる（ステップＳ３）。

次に、ビデオ入力信号の特徴量、例えばテクスチャ値を、特徴量抽出ユニット３１により、画素毎に又は領域単位で算出する（ステップＳ４）。注目画素の近傍の画素値の最大値及び最小値に基づいて強調成分のｍｉｎ／ｍａｘ値をｍｉｎ／ｍａｘ補正ユニット３２を用いて決定する（ステップＳ５）。最後に、合成ユニット３３により、ビデオ入力信号に対して強調成分を加算するなどして適用する（ステップＳ６）。

本発明によれば、テクスチャ領域の有無或いはテクスチャの度合いを考慮して輪郭強調の度合いを調整するようにしている。そのために、ビデオ入力信号に於ける注目画素の近傍（本実施例では注目画素を中心とする５×５の画素マトリックス）に於ける画素値の変化を評価する。即ち、
水平テクスチャ値＝（増加の回数＋減少の回数）−絶対値｛増加の回数−減少の回数｝
垂直テクスチャ値＝（増加の回数＋減少の回数）−絶対値｛増加の回数−減少の回数｝
Ｔｅｘ（テクスチャ値）＝ ｍａｘ｛水平テクスチャ値，垂直テクスチャ値｝×ｆ（ｚ）
但しｚは、変化なしの回数。

図３は、ビデオ画像強調方法に於けるテクスチャ値の算出方法の例を示すダイヤグラム図である。例Ａは、画素信号値が一定な領域に対応し、テクスチャ値＝（０＋０）−絶対値｛０−０｝＝０となり、テクスチャ値はゼロである。この領域は、テクスチャ領域でも、エッジ領域でもない領域をなす。例Ｂは、画素信号値が、一定な区間を経て単調増加する区間に至る場合で、この場合も、テクスチャ値＝（３＋０）−絶対値｛３−０｝＝０となり、テクスチャ値はゼロである。この領域は、エッジ領域である可能性はあるが、テクスチャ領域ではない領域をなす。例Ｃは、画素毎に画素信号値が頻繁に変化する領域であって、テクスチャ値＝（３＋３）−絶対値｛３−３｝＝６となり、テクスチャ値は６である。即ち、この領域は、明瞭なテクスチャ領域をなす。例Ｄは、画素信号値が、単調増加する区間を経て単調減少区間に至る場合で、この場合もテクスチャ値＝（３＋３）−絶対値｛３−３｝＝６となり、テクスチャ値は６である。即ち、この領域は、テクスチャ領域をなす。

図４はテクスチャ値を正規化するための関数ｆ（ｚ）の例を示すグラフである。この場合、変数ｚは画素間に符号変化の無い回数であって、関数ｆは下向きに凸な単調減少する関数からなり、変数ｚがゼロのときの関数値は１で、変数ｚが大きい場合、本実施例の場合ｚ＝５のときには関数値は０となる。しかしながら、これは一例であって、関数ｆは、直線的な或いは下向きに凹な関数であっても良い。また、変数ｚがゼロのとき及び５のときについても、関数値を自由に選択することができる。即ち、特定の状況に応じて所望の結果が得られるように関数ｆを自由に選択することができる。

ここで、輪郭強調されたビデオ出力信号の各画素点における最大制限値及び最小制限値をなすＭａｘＯｕｔ及びＭｉｎＯｕｔは、以下の式で与えられる。
Ｍａｘｏｕｔ＝Ｍａｘ＋ΔＭａｘ＊ｇ（Ｔｅｘ）
Ｍｉｎｏｕｔ＝Ｍｉｎ−ΔＭｉｎ＊ｇ（Ｔｅｘ）
但し、Ｍａｘ及びＭｉｎは、それぞれ注目画素近傍（本実施例では注目画素を中心とする５×５の画素マトリックス）に於ける画素値の最大値及び最小値を表す。関数ｇは、例えば図５に示されるような、下向きに凸な単調増加する関数からなり、テクスチャ値ｔｅｘがゼロのときの関数値は０で、テクスチャ値ｔｅｘが最大値ｔｅｘＭａｘのときの関数値は１となる。この関数ｇについても、関数ｆと同様に、特定の状況に応じて所望の結果が得られるように自由に選択することができる。

更に、ＭａｘＤｉｍ（最大抑制値）は、注目画素の画素値よりも大きくかつ前記最大値よりも小さい値に、ＭｉｎＤｉｍ（最小抑制値）は、注目画素の画素値よりも小さくかつ前記最小値よりも大きい値に設定される。

図６は、このような制限値及び抑制値を用いてビデオ信号を補正する態様を説明するためのダイヤグラム図である。強調されたビデオ信号がＭｉｎＤｉｍ以上かつＭａｘＤｉｍ以下である場合には、強調された信号がビデオ出力信号としてそのまま出力される。強調されたビデオ信号がＭａｘＤｉｍより大きくかつＭａｘｏｕｔ未満である場合には、強調されたビデオ信号に対して所定の１より小さい係数を掛けることにより、強調されたビデオ信号、特にそのオーバーシュートをやや抑制して、ビデオ出力信号として出力する。強調されたビデオ信号がＭａｘｏｕｔ以上である場合には、強調されたビデオ信号はＭａｘｏｕｔに等しい値として出力される。

強調信号がＭｉｎＤｉｍ未満であってかつＭｉｎｏｕｔより大きい場合には、強調されたビデオ信号に対して所定の１より小さい係数を掛けることにより、強調されたビデオ信号、特にそのオーバーシュートをやや抑制して、ビデオ出力信号として出力する。強調されたビデオ信号がＭｉｎｏｕｔ以下である場合には、強調されたビデオ信号はＭｉｎｏｕｔに等しい値として出力される。

このようにして、注目画素の近傍に於ける画素値の最大値及び最小値及びテクスチャ値に基づいて強調された出力信号の制限値を設定し、その際に、エッジ領域に於いては強調信号を比較的抑制して適用し、テクスチャ領域に於いては強調信号を比較的強く適用する。また、強調された出力信号の抑制は、出力信号に制限値を設定することにより実現することができるが、制限値に近づくに従って、抑制量を漸増させるようにすることもできる。

このようにして、画像の領域毎の特性に応じて強調された出力信号を制御することにより、画像の特性に適した輪郭強調処理を画像の領域毎に実施することができる。

１０ 垂直ローパスフィルタ
１１〜１４ 水平ハイパスフィルタ
１５〜１８ 可変ゲインユニット
１９ 水平ハイパスフィルタ成分合成ユニット
２０ 水平ローパスフィルタ
２１〜２４ 垂直ハイパスフィルタ
２５〜２８ 可変ゲインユニット
２９ 垂直ハイパスフィルタ成分合成ユニット
３１ 特徴量抽出ユニット
３２ ｍｉｎ／ｍａｘ補正ユニット
３３ 合成ユニット

Claims (4)

1. 各注目画素の周辺に設定された領域に於ける画素信号値の関数として輪郭強調信号を生成し、該輪郭強調信号を前記注目画素に適用することにより、ビデオ画像に於ける輪郭を強調するためのビデオ画像強調方法であって、
   前記注目画素の周辺に設定された領域に於ける画素信号値に基づき、強調されたビデオ信号値の最大制限値及び最小制限値を算出するステップと、
   前記領域に於ける画素信号値の変動を示す尺度値としてテクスチャ値を算出するステップと、
   前記最大制限値及び前記最小制限値を前記テクスチャ値に応じて補正するステップと、
   補正された前記最大制限値及び前記最小制限値により、強調されたビデオ信号値を制限するステップとを有し、
   前記注目画素の周辺に設定された領域に於ける画素信号値の最大値及び最小値を検出し、強調されたビデオ信号値の前記最大制限値を、前記最大値から、前記最大値及び前記最小値間の差と前記テクスチャ値との積を加算して求め、強調されたビデオ信号値の前記最小制限値を、前記最小値から、前記最大値及び前記最小値間の差と前記テクスチャ値との積を減算して求めることを特徴とするビデオ画像強調方法。
2. 前記テクスチャ値が、画素信号値の増減の頻度の和から増減の頻度の差の絶対値を減算した値を、最大値が１となるように正規化した値として与えられることを特徴とする請求項１に記載のビデオ画像強調方法。
3. 注目画素の画素値よりも大きくかつ前記最大値よりも小さい最大抑制値及び注目画素の画素値よりも小さくかつ前記最小値よりも大きい最小抑制値を設定し、前記注目画素の画素信号値が、前記最大抑制値を超えた場合には、超えた量に応じて前記強調されたビデオ信号値を減じ、前記注目画素の画素信号値が、前記最小抑制値を下回った場合には、下回った量に応じて前記強調されたビデオ信号値を増すステップを更に有することを特徴とする請求項１または請求項２に記載のビデオ画像強調方法。
4. 各注目画素の周辺に設定された領域に於ける画素信号値の関数として輪郭強調信号を生成し、該輪郭強調信号を前記注目画素に適用することにより、ビデオ画像に於ける輪郭を強調するためのビデオ画像強調方法であって、
   前記注目画素の周辺に設定された領域に於ける画素信号値に基づき、強調されたビデオ信号値の最大制限値及び最小制限値を算出するステップと、
   前記領域に於ける画素信号値の変動を示す尺度値としてテクスチャ値を算出するステップと、
   前記最大制限値及び前記最小制限値を前記テクスチャ値に応じて補正するステップと、
   補正された前記最大制限値及び前記最小制限値により、強調されたビデオ信号値を制限するステップとを有し、
   前記テクスチャ値が、画素信号値の増減の頻度の和から増減の頻度の差の絶対値を減算した値を、最大値が１となるように正規化した値として与えられることを特徴とするビデオ画像強調方法。

Images