JP4708170B2 - 輪郭強調回路及び輪郭強調方法 - Google Patents

Description

本発明は、デジタル画像処理に関し、特にデジタル画像に生じるジャギーを低減しながら輪郭強調を行なう技術に関する。

例えば、カラーテレビジョン信号の伝送系においては、伝送の帯域が制限されているために受像機で再現される画像の鮮鋭度は低下してしまう場合がある。このため理想的な撮像管で撮影した場合であっても、輝度信号の白黒変化時の信号は、受像機では信号の立ち上がりや立ち下がりの傾斜がある値以上鋭くならず、画面上では輪郭部分がぼけて見える場合がある。

このような画像のぼけを改善し、或いは更なる鮮鋭度を得るために、水平・垂直両方向に高周波数成分を強調することにより、輪郭を強調しエッジを立たせる輪郭強調技術がある。輪郭強調を行なう場合には、大きく二次微分型輪郭強調回路と高域強調型輪郭強調回路とがある。二次微分型輪郭強調回路では、映像信号を二次微分して、二次微分成分を映像信号から減算することにより輪郭強調を行なう方式である（例えば特許文献１参照。）。

一方、高域強調型輪郭強調回路では、映像信号の高周波成分をハイパスフィルタＨＰＦあるいはバンドパスフィルタＢＰＦを用いて強調し、映像信号に加算することにより輪郭強調を行なう（例えば特許文献２参照。）。

しかし、従来の輪郭強調処理では、輪郭強調した映像に不自然さが発生するなどの欠点があり、様々な改良方法の提案がなされてきた（例えば特許文献３参照。）。この文献では、入力映像信号から輪郭成分を抽出する。そして、この入力映像信号の輝度レベルを判定し、このレベル判定部の判定信号に応じて係数を複数段階に切り替える。この係数を抽出した輪郭成分に掛けて出力し、入力映像信号に加算して輪郭強調された映像信号を出力する。
特開２０００−２４４７７５号公報（第１頁、第５図、第６図） 特開２００５−２６０５３４号公報（第１頁、第１図） 特開平１１−４６３１２号公報（第１頁、第１図）

以下に、デジタル画像データに輪郭強調を行なう場合の課題を説明する。この場合には、例えば、図８に示すような輪郭強調処理回路１０を用いることが多い。この輪郭強調処理回路１０では、輪郭強調成分を様々な手法により演算し、強度調整を行なった後、元の画像データから減算する処理を行なう。この信号処理の過程を図９に示す。この減算処理を行なった演算結果として元の画像データより大きいレベルや、元の画像データより小さいレベルが発生する。特に、映像レベルが高い信号或いは低い信号に輪郭強調を行なった場合には、画像データフォーマットにおいて表現できるダイナミックレンジを越える値が発生する場合がある。このため、演算後にフォーマット表現可能範囲のダイナミックレンジに変換する処理（クリッピング処理）が必要となる。

図１０のような、振幅変化の大きく、変化の急峻な信号に対して輪郭強調を行なうと、先に述べたクリッピング処理が行なわれる。このクリッピング処理では、クリッピング前のピーク値が制限されることで、結果的に輪郭位置が移動するように見える。また、この
ような極端なクリッピング処理により、ナイキスト周波数を越える成分が発生することがあり、これも輪郭が不自然に見える原因となっている。これらのような原因で、図１１に示す斜め線に対して輪郭強調処理を行なった場合にはジャギーが発生する。

本発明は、上述の問題点に鑑みてなされたものであり、ジャギーの発生を押さえる輪郭強調処理回路及び輪郭強調方法を提供することを目的とするものである。

上記問題点を解決するために、請求項１に記載の発明は、入力信号のサンプリングレートに対して、前記サンプリングレートの１／４倍のオフセットをかけた位置に補間信号を挿入して２倍のアップサンプリングを行なうインターポレータ手段、前記アップサンプリングされた信号に対してエッジ強調処理を行なうエッジ強調手段、前記エッジ強調処理が
行なわれた信号に対し、出力データの最大値、最小値をデジタルフォーマットで許容されるダイナミックレンジ内に制限するクリッピング処理を行なうクリッピング手段及び前記クリッピング処理が行なわれた信号を間引くことにより、前記入力信号のサンプリングレートに戻すデシメータ手段を、直列接続したことを要旨とする。

請求項２に記載の発明は、入力信号のサンプリングレートに対して、前記サンプリングレートの１／４倍のオフセットをかけた位置に補間信号を挿入して２倍のアップサンプリングを行なう段階と、前記アップサンプリングされた信号に対してエッジ強調処理を行なう段階と、前記エッジ強調処理が行なわれた信号に対し、出力データの最大値、最小値をデジタルフォーマットで許容されるダイナミックレンジ内に制限するクリッピング処理を行なう段階と、前記クリッピング処理が行なわれた信号を間引くことにより、前記入力信号のサンプリングレートに戻すデシメーションを行なう段階とを実行することを要旨とする。

（作用）
請求項１又は２に記載の発明によれば、インターポレーション、エッジ強調処理、クリッピング処理、デシメーションを順次、実行する。従って、サンプリング点を増やすことにより、水平垂直両方向の分解能が拡大された状態を維持できる。これにより、輪郭強調によりオーバーシュート或いはアンダーシュートして切り取られる部分が発生し、結果的にクリッピング処理によりエッジの位置が移動しても、その移動量を低減することができる。これにより、ジャギーの発生は抑制される。

本発明によれば、インターポレーションにおいて、入力信号のサンプリングレートに対して、補間信号を挿入して２倍のアップサンプリングを行なう場合、オフセットをかけた位置に前記補間信号を挿入する。これにより、１サンプル毎に格子状の市松模様となったようなナイキスト周波数の映像データに対しても効果的に輪郭強調処理が可能となる。

本発明によれば、オフセットは、前記サンプリングレートの１／４倍とする。これにより、入力信号の両側に補間信号を挿入することにより、補間信号により２倍のサンプリングレートのデータを取得することができる。

本発明によれば、ジャギー発生を抑制しながら、輪郭強調を実現することができる。

以下、本発明を具体化した実施形態を、図１〜図６に従って説明する。
図１は、本実施形態の輪郭強調回路ＥＥの処理を概念的に説明した図である。ここでは、水平・垂直両方向の信号に対して輪郭強調処理が行なわれる。図１に示すように、輪郭強調回路ＥＥは、インターポレータ手段としてのインターポレータ回路（Interpolator）２１、エッジ強調手段としてのエッジ強調処理回路２２とクリッピング回路２３及びデシメータ手段としてのデシメータ回路（Decimator ）２４が直列に接続されて構成される。

インターポレータ回路２１は、入力された信号に対して、補間処理を行なうことによりサンプリングレートを上げる。この結果、図２に示すように、入力信号Ｓ０に対して補間信号Ｓ１を挿入して、画像の画素数を上げる。

次に、エッジ強調処理回路２２は、アップサンプリングされた信号に対してエッジ強調処理を行なう。例えば、上述の二次微分型輪郭強調回路により実現する。
次に、クリッピング回路２３が、デジタルフォーマットで許容されるダイナミックレンジ内にデータを制限する処理を行う。具体的な処理としては、例えば表現最大値への飽和演算処理と、表現最小値への飽和演算処理を行なう。

次に、デシメータ回路２４が、クリッピング処理が行なわれた信号に対して、間引きを行なうことによりサンプリングレートを下げるダウンサンプリング処理を実行する。このデシメータ回路２４は、ローパスフィルタとダウンサンプラとから構成される。ローパスフィルタ処理後にダウンサンプラは、ダウンサンプリングのためにｎ個間隔でピックアップする。これにより、入力された信号のサンプリングレートに戻し、元の画素数に戻す。この一連の処理で、ダウンサンプリングの前の信号に含まれる情報の内、ナイキスト周波数以下の成分のみが、ダウンサンプリング後のデータに残ることになる。

以下に、本発明の輪郭強調回路の実施例を、図３〜図６に従って説明する。ここでは、図３に示す画像信号を輪郭強調回路ＥＥに入力する。このオリジナルの画像信号は、図１０の画像信号と同じである。インターポレータ回路２１の処理により、図４に示す画像信号を得る。エッジ強調処理回路２２は、この画像信号に対して輪郭強調処理を行なう。そして、クリッピング回路２３は、輪郭強調後のデータの内のデータフォーマットに許される最大値を超えるデータと最小値以下のデータに対して、それぞれ最大値と最小値を割り当てる処理を行なう。この処理結果として図５に示す画像信号を得る。デシメータ回路２４は、この画像信号のダウンサンプリングを行なうことにより、図６に示す画像信号を得る。従来の輪郭強調処理を行なった画像（図１１）と、本発明の輪郭強調処理を行なった画像（図６）とを比較した場合、本発明の輪郭強調処理の画像の方のジャギーが抑制されていることがわかる。

以上、本実施形態によれば、以下に示す効果を得ることができる。
・ 上記実施形態では、インターポレータ回路２１でアップサンプリングが行なわれることにより、デジタル信号の水平垂直方向の分解能が上がる。このため、輪郭強調処理後のオーバーシュート部分やアンダーシュート部分の水平垂直方向の分解能も向上する。これにより、オーバーシュート部分やアンダーシュート部分のクリッピング処理により生じるジャギーを抑制することができる。

・ 上記実施形態では、エッジ強調処理回路２２は、アップサンプリングされた信号に対してエッジ強調処理を行なう。高周波数成分を強調することにより、画像のぼけを改善し、或いは鮮鋭度の向上を得ることができる。

・ 上記実施形態では、輪郭強調回路ＥＥは、インターポレータ手段としてのインターポレータ回路２１、輪郭強調手段としてのエッジ強調処理回路２２及び、データのダイナミックレンジを制限する手段としてのクリッピング回路２３、デシメータ手段としてのデシメータ回路２４を備える。これにより、各手段を公知の回路構成の組み合わせを用いて実現することができる。

なお、上記実施形態は、以下の態様に変更してもよい。
○ 上記実施形態では、インターポレータ回路２１は、４倍のアップサンプリングを行なうが、この倍率に限定されるものではない。例えば、２倍や８倍のアップサンプリングも可能である。特に、２倍の場合には、４倍のアップサンプリングに比べて、より簡易な回路構成で実現することができる。

更に、２倍のアップサンプリングの場合には、図７に示すように、オリジナルの信号の両側に、元のサンプリング周期の１／４のオフセットをかけた位置に補間信号Ｓ１を挿入する。そして、この補間信号Ｓ１を用いて輪郭強調処理を行なう。この場合、補間信号Ｓ１の間隔は元のサンプリング周期の１／２になり、２倍のアップサンプリングを行なったことになる。そして、オフセットをかけることにより、１サンプル毎の格子状の市松模様のようなナイキスト周波数の高域周波数の映像信号に対しても効果的な輪郭強調画像を得ることができる。

○ 上記実施形態では、エッジ強調処理回路２２は、二次微分型輪郭強調回路によりアップサンプリングされた信号に対してエッジ強調処理を行なう。エッジ強調処理を行なうための手段は、これに限定されるものではなく、高域強調型輪郭強調回路を用いることも可能である。

○ 上記実施形態では、インターポレータ手段はインターポレータ回路２１、輪郭強調手段はエッジ強調処理回路２２、クリッピング処理はクリッピング回路２３、デシメータ手段はデシメータ回路２４のように回路構成により実現する。各手段を実現するハードウエア構成は、これに限定されるものではなく、ソフトウエア処理を実行するＣＰＵ（central processing unit ）やＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）を用いることも可能である。

本発明の一実施形態の輪郭強調回路の構成の説明図。 本発明の一実施形態のアップサンプリングの説明図。 本発明の一実施形態における入力画像信号の説明図。 本発明の一実施形態におけるアップアサンプリング後の画像信号の説明図。 本発明の一実施形態における輪郭強調処理後の画像信号の説明図。 本発明の一実施形態におけるダウンサンプリング後の画像信号の説明図。 別の実施形態のアップサンプリングの説明図。 輪郭強調回路の説明図。 輪郭強調回路の信号処理の過程の説明図。 従来技術における入力画像信号の説明図。 従来技術における輪郭強調処理後の画像信号の説明図。

符号の説明

ＥＥ…輪郭強調回路、２１…インターポレータ手段としてのインターポレータ、２２…輪郭強調手段としてのエッジ強調処理回路、２３…クリッピング手段としてのクリッピング回路、２４…デシメータ手段としてのデシメータ回路、Ｓ０…入力信号、Ｓ１…補間信
号。

Claims (2)

1. 入力信号のサンプリングレートに対して、前記サンプリングレートの１／４倍のオフセットをかけた位置に補間信号を挿入して２倍のアップサンプリングを行なうインターポレータ手段、
   前記アップサンプリングされた信号に対してエッジ強調処理を行なうエッジ強調手段、
   前記エッジ強調処理が行なわれた信号に対し、出力データの最大値、最小値をデジタルフォーマットで許容されるダイナミックレンジ内に制限するクリッピング処理を行なうクリッピング手段及び
   前記クリッピング処理が行なわれた信号を間引くことにより、前記入力信号のサンプリングレートに戻すデシメータ手段を、直列接続したことを特徴とする輪郭強調回路。
2. 入力信号のサンプリングレートに対して、前記サンプリングレートの１／４倍のオフセットをかけた位置に補間信号を挿入して２倍のアップサンプリングを行なう段階と、
   前記アップサンプリングされた信号に対してエッジ強調処理を行なう段階と、
   前記エッジ強調処理が行なわれた信号に対し、出力データの最大値、最小値をデジタルフォーマットで許容されるダイナミックレンジ内に制限するクリッピング処理を行なう段階と、
   前記クリッピング処理が行なわれた信号を間引くことにより、前記入力信号のサンプリングレートに戻すデシメーションを行なう段階と
   を実行することを特徴とする輪郭強調方法。