JP4549723B2 - 画像信号強調装置 - Google Patents

Description

本発明はデジタル画像処理に関し、詳しくは、輪郭強調技術に関する。

画像処理の分野では、画像を鮮明にするために、輪郭強調処理が行われる。輪郭強調処理の概要を図１１および図１２を参照しながら説明する。図１１は、輪郭強調処理前の画像信号を示している。図の横軸は画像の連なる方向（たとえば水平方向に連続する画素の位置）を示しており、縦軸は輝度値を示している。図では、画像が明るい領域から暗い領域に変化している状態を示している。

そして、このような画像に輪郭強調処理を施した結果を図１２に示す。輪郭強調処理では、高輝度側にオーバーシュートさせるとともに、低輝度側にアンダーシュートさせ、波形をあえて乱すことにより、輪郭部分を強調するようにしている。したがって、従来の輪郭強調処理では、輪郭が強調される一方で、画像の品質が劣化するという問題があった。

そこで、下記特許文献１では、画像信号の空間周波数に応じて輪郭強調信号の振幅を変更する技術が開示されている。また、下記特許文献２では、輪郭強調信号を抑圧することにより、輪郭補正後の信号がダイナミックレンジ内に収まるようにする技術が開示されている。また、下記特許文献３では、輪郭強調処理後の画像信号が注目画素周辺の輝度レベルの最大値と最小値の範囲内に収まるように補正する技術が開示されている。

特開２００３−２８３８７３号公報 特開２００３−２３２７４３号公報 特開２００１−１４８４７４号公報

上記各特許文献に記載された技術は、いずれも、輪郭強調信号あるいは輪郭強調処理後の輝度信号のレベルの最大値や最小値を抑制しようとするものである。したがって、輪郭強調処理による極端な画像劣化を低減させることには効果を奏する。しかし、これらの技術は、画像がどのように変化をするかを意識した輪郭強調処理ではない。したがって、図１３（ａ）および図１３（ｂ）に示すような２つの画像を考えた場合、いずれかの画像であればフィルタ係数をチューニングするなどして鮮明な輪郭強調画像を得ることができるが、両方のタイプの画像に対して鮮明な輪郭強調画像を得ることはできなかった。

そこで、本発明は前記問題点に鑑み、様々なタイプの画像に対して鮮明な輪郭強調画像を得ることを可能とした技術を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、輝度信号および色差信号を含む画像信号を入力する手段と、前記輝度信号から高周波信号を抽出する手段と、前記高周波信号を前記輝度信号に適用させる領域を指定するマスク信号を生成するマスク信号生成手段と、前記マスク信号に従い、前記高周波信号を適用させる場合には、前記高周波信号を前記輝度信号に加算して出力し、前記高周波信号を適用させない場合には、前記輝度信号をそのまま出力する補正手段とを備え、前記マスク信号生成手段は、注目画素と前記注目画素の周辺に位置する複数の画素との間の複数の輝度差分値、および、前記注目画素における前記高周波信号の値（以下、ＨＤ値とする。）が全て第１閾値を下回るか否かによって、前記高周波信号を適用させるか否かを判定する第１マスク領域判定条件と、前記複数の輝度差分値および前記ＨＤ値が全て前記第２閾値を上回るか否かによって、前記高周波信号を適用させるか否かを判定する第２マスク領域判定条件とを切り替えつつ、前記マスク信号を生成する手段を含むことを特徴とする。

請求項２記載の発明は、請求項１に記載の画像信号強調装置において、前記第１マスク領域判定条件は、前記複数の輝度差分値および前記ＨＤ値のうち、いずれかが前記第１閾値を上回る場合には、前記高周波信号を適用させるよう判定し、前記第２マスク領域判定条件は、前記複数の輝度差分値および前記ＨＤ値のうち、いずれかが前記第２閾値を下回る場合には、前記高周波信号を適用させるよう判定することを特徴とする。

請求項３記載の発明は、請求項１または請求項２に記載の画像信号強調装置において、前記第１閾値をＴＨ＿ＤＣ（ＴＨ＿ＤＣは正の数である。）とすると、前記第２閾値は、−（ＴＨ＿ＤＣ）であることを特徴とする。

請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載の画像信号強調装置において、前記マスク信号生成手段は、前記輝度信号がＤＣ領域からエッジ領域への変化する点において、輝度値がプラス方向に変化している場合には、前記第２マスク領域判定条件を選択し、輝度値がマイナス方向に変化している場合には、前記第１マスク領域判定条件を選択するよう切り替える切替手段、を含むことを特徴とする。

請求項５記載の発明は、請求項４に記載の画像信号強調装置において、前記マスク信号生成手段は、前記複数の輝度差分値および前記ＨＤ値および前記注目画素と前記注目画素の周辺に位置する複数の画素との間の色差信号に関する複数の色差分値が全て第３閾値を下回る場合に、前記注目画素をＤＣ成分信号と判定する手段、を含み、前記切替手段は、前記輝度信号が前記ＤＣ領域から前記エッジ領域へ変化する点においては、前記ＤＣ成分信号と前記輝度信号との差分値がプラス方向に変化している場合に、前記第２マスク領域判定条件を選択し、前記ＤＣ成分信号と前記輝度信号との差分値がマイナス方向に変化している場合に、前記第１マスク領域判定条件を選択するよう切り替える手段、を含むことを特徴とする。

請求項６記載の発明は、請求項５に記載の画像信号強調装置において、前記第２マスク領域判定条件を選択した後は、前記ＤＣ成分信号と前記輝度信号との差分値が最初にマイナス方向に変化し、マイナス方向への変化が終了するまで前記第２マスク領域判定条件の選択を維持し、前記第１マスク領域判定条件を選択した後は、前記ＤＣ成分信号と前記輝度信号との差分値が最初にプラス方向に変化し、プラス方向への変化が終了するまで前記第１マスク領域判定条件の選択を維持することを特徴とする。

請求項７記載の発明は、請求項５または請求項６に記載の画像信号強調装置において、前記第３閾値は、前記第１閾値と同じ値であることを特徴とする。

請求項８記載の発明は、請求項１ないし請求項７のいずれかに記載の画像信号強調装置において、さらに、前記高周波信号をコアリング処理する手段、を備え、前記補正手段は、コアリング処理後の高周波信号を前記輝度信号に加算することを特徴とする。

請求項９記載の発明は、請求項１ないし請求項８のいずれかに記載の画像信号強調装置において、さらに、輝度信号補正後の画像信号を所定の色空間の画像信号に変換した際にサチュレーションを発生させないように、注目画素の色差信号に基づいて当該注目画素に関する最大輝度値を算出するとともに、前記高周波信号が前記最大輝度値を超えないようクリップ処理する手段、を備え、前記補正手段は、クリップ処理後の高周波信号を前記輝度信号に加算することを特徴とする。

請求項１０記載の発明は、輝度信号および色差信号を含む画像信号を入力する手段と、前記輝度信号から高周波信号を抽出する手段と、前記輝度信号に前記高周波信号を適用させて輪郭強調処理を行う補正手段と、を備え、前記補正手段は、エッジ領域における輝度値の変化方向を判定する判定手段を有し、前記補正手段は、前記判定手段によって前記輝度値がプラス方向に変化していると判定された場合、前記エッジ領域に対しては、高輝度域において高輝度側にオーバーシュートするよう高周波信号を適用させるとともに、低輝度域においては低輝度側へはアンダーシュートを起こさないよう高周波信号をマスクすることを特徴とする。

請求項１１記載の発明は、輝度信号および色差信号を含む画像信号を入力する手段と、前記輝度信号から高周波信号を抽出する手段と、前記輝度信号に前記高周波信号を適用させて輪郭強調処理を行う補正手段と、を備え、前記補正手段は、エッジ領域における輝度値の変化方向を判定する判定手段を有し、前記補正手段は、前記判定手段によって前記輝度値がマイナス方向に変化していると判定された場合、前記エッジ領域に対しては、低輝度域において低輝度側にアンダーシュートするよう高周波信号を適用させるとともに、高輝度域においては高輝度側へはオーバーシュートを起こさないよう高周波信号をマスクすることを特徴とする。

請求項１２記載の発明は、輝度信号および色差信号を含む画像信号を入力する手段と、前記輝度信号から高周波信号を抽出する手段と、前記輝度信号に前記高周波信号を適用させて輪郭強調処理を行う補正手段と、を備え、前記補正手段は、低輝度域から高輝度域に変化し、再び低輝度域へと変化する所定方向に連続する画素列に対しては、低輝度域から高輝度域へと変化するエッジ領域および高輝度域から低輝度域へと変化するエッジ領域において、いずれも高輝度域において高輝度側にオーバーシュートするよう高周波信号を適用させるとともに、いずれも低輝度域においては低輝度側へはアンダーシュートを起こさないよう高周波信号をマスクすることを特徴とする。

請求項１３記載の発明は、請求項１２に記載の画像信号強調装置において、前記補正手段は、低輝度域から高輝度域に変化した後、再び低輝度域へと戻るまでの間、その間に存在するエッジ領域には、高輝度側にオーバーシュートするよう高周波信号を適用させることを特徴とする。

請求項１４記載の発明は、輝度信号および色差信号を含む画像信号を入力する手段と、前記輝度信号から高周波信号を抽出する手段と、前記輝度信号に前記高周波信号を適用させて輪郭強調処理を行う補正手段と、を備え、前記補正手段は、高輝度域から低輝度域に変化し、再び高輝度域へと変化する所定方向に連続する画素列に対しては、高輝度域から低輝度域へと変化するエッジ領域および低輝度域から高輝度域へと変化するエッジ領域において、いずれも低輝度域において低輝度側にアンダーシュートするよう高周波信号を適用させるとともに、いずれも高輝度域においては高輝度側へはオーバーシュートを起こさないよう高周波信号をマスクすることを特徴とする。

請求項１５記載の発明は、請求項１４に記載の画像信号強調装置において、前記補正手段は、高輝度域から低輝度域に変化した後、再び高輝度域へと戻るまでの間、その間に存在するエッジ領域には、低輝度側にアンダーシュートするよう高周波信号を適用させることを特徴とする。

本発明によれば、画像の劣化を低減させながら、輪郭強調処理を施すことが可能である。また、輝度の変化に応じて２種類のマスク領域判定条件を選択して使用するので、様々なタイプの画像に対しても、鮮明な輪郭強調画像を得ることが可能である。

まず、図１ないし図３を参照しつつ、本発明の輪郭強調処理の概略と特徴を説明する。図１（ａ）は、画像信号から抽出された高周波信号（ＨＰＦ(High Pass Filter)出力信号）と、その高周波信号の通過を制御するマスクデータとを示している。高周波信号は図の白い領域のみ通過し、その他の領域において高周波信号はマスクされる。

図１（ｂ）は、元の画像信号を示している。この画像信号は、図の左から右へ向かう方向を画素の連なる方向として定義すると、暗い状態から明るい状態へ変化している画像である。そして、この元の画像信号に高周波信号が加算されることにより、輪郭強調処理後の補正信号が出力されるが、この際、高周波信号は、図１（ａ）のマスクデータのうち白い領域のみ通過するので、この領域の高周波信号のみが加算される。この加算後の結果を示すのが図１（ｃ）である。

このように、本発明の方法によれば、画像が暗い状態から明るい状態へ変化する場合には、明るく変化した後の状態は強調されるが、明るく変化する前の暗い状態が強調されることはない。つまり、図１２で示したように、エッジの両端で画像波形が乱れることはない。

図１は、画像が、暗い状態から明るい状態へ変化している場合を例に説明した。逆に、画像が、明るい状態から暗い状態へ変化している場合は、逆のような処理が行われる。つまり、画像が明るい状態から暗い状態へ変化する場合には、暗く変化した後の状態は強調されるが、暗く変化する前の明るい状態が強調されることはない。つまり、図１２で示したように、エッジの両端で画像波形が乱れることはない。

上記２つの例では、説明を簡単にするために、画像が暗い状態から明るい状態へ変化する場合、画像が明るい状態から暗い状態へ変化する場合、の２つのケースを比較して説明した。しかし、本発明においては、以下に示すように、基準輝度に対して画像がどのように変化するかを考慮して、輪郭強調処理を行う。すなわち、
＜１＞基準輝度と比較して最初に明るく変化する場合
＜２＞基準輝度と比較して最初に暗く変化する場合
＜３＞＜１＞の状態の後、最初に暗く変化する場合
＜４＞＜２＞の状態の後、最初に明るく変化する場合
のようなケースに場合分けをする。そして、＜３＞、＜４＞の変化が終了した後、基準輝度を更新する。

上記＜１＞のケースでは、画像が暗い状態から明るい状態へ変化する場合であるが、明るく変化した後の状態を強調し、明るく変化する前の暗い状態については強調しない。続いて、上記＜３＞のケースでは、暗く変化する前の明るい状態が強調され、暗く変化した後は、強調しない。

一方、上記＜２＞のケースでは、画像が明るい状態から暗い状態へ変化する場合であるが、暗く変化した後の状態を強調し、暗く変化する前の明るい状態については強調しない処理は、続いて、上記＜４＞では、明るく変化する前の暗い状態が強調され、明るく変化した後は、強調しない。

これらのケースを考慮した輪郭強調処理結果の例を図２および図３に示す。図２は、上記＜１＞および＜３＞の組み合わせケースを示している。また、図３は、上記＜２＞および＜４＞の組み合わせケースを示している。つまり、図２であれば、基準輝度に対して明るい被写体が存在する画像については、いずれのエッジも明るい部分が強調され、周囲の暗い部分の波形が乱れることはない。図３であれば、基準輝度に対して暗い被写体が存在する画像については、いずれのエッジも暗い部分が強調され、周囲の明るい部分の波形が乱れることはない。これにより、本発明では、図１３（ａ）,（ｂ）で示すような両方の画像に対しても輪郭強調処理によって鮮明な画像を得ることができるのである。

次に、図４ないし図１０を参照しつつ、本発明の実施の形態について説明する。図４は、本発明の実施の形態にかかる画像信号強調回路１０の機能ブロック図である。画像信号強調回路１０は、輝度信号Ｙと色差信号ＲＹ,ＢＹとで構成される画像信号を入力する。具体的には、画像信号強調回路１０は、所定のクロック周期に同期して、それぞれ輝度信号Ｙ、色差信号ＲＹ、色差信号ＢＹを１画素ずつ順に入力する。ここで色差信号ＲＹは、赤色差信号（Ｃｒ：赤色信号と輝度信号との差信号（Ｒ−Ｙ））であり、色差信号ＢＹは、青色差信号（Ｃｂ：青色信号と輝度信号との差信号（Ｂ−Ｙ））である。そして、本実施の形態において、入力する信号Ｙ,ＲＹ,ＢＹは、ＹＵＶ４２２規格のデータとする。したがって、各クロック周期において輝度信号Ｙが入力されるとともに、各クロック周期において、色差信号ＲＹとＢＹとが１画素づつ交互に入力される。

画像信号強調回路１０は、ラインメモリ１１,１２,１３を備えている。ラインメモリ１１,１２,１３は、それぞれ水平方向１ライン分の画像信号をバッファリングすることが可能なメモリである。ラインメモリ１１,１２,１３は、ＦＩＦＯ型のメモリであり、新たな１画素分の画素信号を入力すると、最も長く保持していた１画素分の画素信号（１ライン前の画素信号）を出力する。したがって、ラインメモリ１１によって、水平方向の１ライン分の色差信号（色差信号ＲＹ,ＢＹが交互に配列された信号）がバッファリングされ、ラインメモリ１２,１３によって、水平方向の２ライン分の輝度信号がバッファリングされる。

画像信号強調回路１０は、フィルタ回路１４およびマスク信号生成回路１５を備えている。フィルタ回路１４には、ラインメモリ１３から出力された輝度信号Ｙ１と、ラインメモリ１２から出力された輝度信号Ｙ２と、画像信号強調回路１０が新たに入力した輝度信号Ｙ３とが入力される。つまり、画像信号強調回路１０が新たな輝度信号Ｙ１を入力すると、輝度信号Ｙ１は、フィルタ回路１４およびラインメモリ１２に入力される。そして、同じタイミングでラインメモリ１２からは輝度信号Ｙ２が出力され、フィルタ回路１４およびラインメモリ１１に入力される。さらに、同じタイミングでラインメモリ１１から輝度信号Ｙ１が出力され、フィルタ回路１４に入力されるのである。

ここで、ラインメモリ１２,１３は、水平方向１ライン分の輝度信号をバッファリングしているので、輝度信号Ｙ１,Ｙ２,Ｙ３は、垂直方向で同じ位置にある画素信号である。そして、フィルタ回路１４は、入力した輝度信号Ｙ１,Ｙ２,Ｙ３をそれぞれ３画素分、つまり、水平方向で３列分の輝度信号をバッファリングするようにしている。これによって、フィルタ回路１４は、水平方向３画素、垂直方向３画素、合計９画素の正方領域の輝度信号を蓄積することが可能である。

また、マスク信号生成回路１５にも、輝度信号Ｙ１,Ｙ２,Ｙ３が入力され、同様に、マスク信号生成回路１５は、入力した輝度信号Ｙ１,Ｙ２,Ｙ３をそれぞれ３画素分バッファリングするようにしているので、マスク信号生成回路１５は、水平方向３画素、垂直方向３画素、合計９画素の正方領域の輝度信号を蓄積することが可能である。

図５は、フィルタ回路１４およびマスク信号生成回路１５が蓄積する９画素分の輝度信号の領域Ａ１を示している。言い換えると、フィルタ回路１４およびマスク信号生成回路１５は、注目画素ｅを中心とした、画素ａ〜画素ｉからなる９画素分の輝度信号を蓄積する。

さらに、マスク信号生成回路１５には、ラインメモリ１１から出力された色差信号Ｃ１（ＲＹあるいはＢＹ）と、画像信号強調回路１０が新たに入力した色差信号Ｃ２（ＲＹあるいはＢＹ）とが入力される。つまり、画像信号強調回路１０が新たな色差信号Ｃ２を入力すると、色差信号Ｃ２は、マスク信号生成回路１５およびラインメモリ１１に入力される。そして、同じタイミングでラインメモリ１１からは色差信号Ｃ１が出力され、マスク信号生成回路１５に入力される。ここで、ラインメモリ１１は、水平方向１ライン分の色差信号ＲＹ,ＢＹをバッファリングしているので、色差信号Ｃ１,Ｃ２は、垂直方向で同じ位置にある画素信号である。そして、マスク信号生成回路１５は、入力した色差信号Ｃ１,Ｃ２をそれぞれ３画素分、つまり、水平方向で３列分の画素信号をバッファリングするようにしている。これによって、フィルタ回路１４は、水平方向３画素、垂直方向２画素、合計６画素の領域の色差信号を蓄積することが可能である。

図６は、マスク信号生成回路１５が蓄積する６画素分の色差信号ＲＹの領域Ａ２を示しており、図７は、マスク信号生成回路１５が蓄積する６画素分の色差信号ＢＹの領域Ａ３を示している。言い換えると、マスク信号生成回路１５は、注目画素ｎを中心とした、画素ｊ〜画素ｏからなる６画素分の色差信号ＲＹと、注目画素ｔを中心とした、画素ｐ〜画素ｕからなる６画素分の色差信号ＢＹを蓄積する。ただし、色差信号Ｃ１,Ｃ２は、色差信号ＲＹ,ＢＹが交互に出力される信号であるので、領域Ａ２,Ａ３の全てに色差信号が割り当てられるわけではない。

そして、領域Ａ２,Ａ３は、領域Ａ１に含まれる領域である。そして、図８に示すように、フィルタ回路１４およびマスク信号生成回路１５は、画像全体領域Ａの中で、領域Ａ１を移動させながら、つまり、注目画素を移動させながら、後述する各種の処理を実行する。

フィルタ回路１４の処理内容について説明する。フィルタ回路１４は、ＨＰＦ(High Pass Filter)１４１およびＬＰＦ(Low Pass Filter)１４２を備えている。そして、ＨＰＦ１４１は、フィルタ回路１４が蓄積している９画素分の輝度信号、つまり、画素ａ〜画素ｉを用いて注目画素についての高周波信号ＨＤを算出する。また、ＬＰＦ１４２は、フィルタ回路１４が蓄積している９画素分の輝度信号を用いて低周波信号ＬＤを算出する。フィルタ回路１４は、高周波信号ＨＤをマスク信号生成回路１５およびコアリング回路１６に出力し、低周波信号ＬＤをマスク信号生成回路１５に出力する。

次に、図９を参照しながらマスク信号生成回路１５の処理内容について説明する。マスク信号生成回路１５は、ＤＣ判定回路１５１、マスク信号出力回路１５２、閾値メモリ１５３、ＤＣ値更新メモリ１５４、マスク切替判定回路１５５、ステータスメモリ１５６を備えている。

ＤＣ判定回路１５１は、図８で示したように、領域Ａ１を画像全体領域Ａの中で移動させながら、逐次、画像のＤＣ成分（直流成分）を算出する機能部である。ＤＣ判定回路１５１は、輝度信号Ｙ１,Ｙ２,Ｙ３、色差信号Ｃ１,Ｃ２、高周波信号ＨＤ、低周波信号ＬＤを入力する。

そして、ＤＣ判定回路１５１は、輝度信号ａ〜ｉ、色差信号ｊ〜ｏ、色差信号ｐ〜ｕを用いて、数１式〜数３式に示すような計算を行い、差分値を算出する。なお、数１式〜数３式にも示すように、図５、図６、図７で示した符号ａ〜ｕは、画素を示すとともに、それぞれ輝度信号および色差信号の信号値をも示している。

そして、ＤＣ判定回路１５１は、数１式から数３式を用いて計算した差分値を用いて、数４式で示す判定処理を行う。すなわち、数１式から数３式を用いて計算した全ての差分値が、ＤＣ判定用閾値ＴＨ＿ＤＣ（ＴＨ＿ＤＣは正の数である。）より小さく、かつ、高周波信号ＨＤの値がＤＣ判定用閾値ＴＨ＿ＤＣよりも小さいか否かを判定する。なお、ＤＣ判定用閾値ＴＨ＿ＤＣは、閾値メモリ１５３に格納されている。ここで、数２式、数３式において、対応する色差信号ＲＹあるいはＢＹが存在しない画素については、それぞれの計算を省略してよい。また、数４式において、対応する色差信号ＲＹあるいはＢＹが存在しない場合には、条件から除いてよい。

数４式で示す条件を満たしている場合には、ＤＣ判定回路１４は、現在の注目画素をＤＣ成分であると判定し、注目画素の低周波信号ＬＤをＤＣ値更新メモリ１５４に出力する。つまり、ＤＣ値として低周波信号ＬＤを採用する。これにより、ＤＣ値更新メモリ１５４において低周波信号ＬＤ（ＤＣ値）の更新処理が行われる。

マスク切替判定回路１５５は、高周波信号ＨＤを原信号に加算するか否かを決定するために使用するマスクの種類を判定する回路である。ここで、マスクの種類は、次の２種類である。

「プラス用マスク」・・・エッジ部分において、明るい領域をオーバーシュートさせるように高周波信号ＨＤを通過させ、暗い側では、高周波信号ＨＤをマスクする。

「マイナス用マスク」・・・エッジ部分において、暗い領域をアンダーシュートさせるように高周波信号ＨＤを通過させ、明るい側では、高周波信号ＨＤをマスクする。

数５式は、マスクの切替条件を示す条件式である。つまり、画素ｃ,ｆ,ｉの輝度値と、ＤＣ値更新メモリ１５４に格納されている低周波信号ＬＤとの差分絶対値のうち、いずれかがマスク切替閾値ＴＨ＿ＭＳを超えている場合には、マスク切替ポイントであると判定する。たとえば、比較的変化の少ないＤＣ領域から画像が明るく変化し始めるポイントや、ＤＣ領域から画像が暗く変化し始めるポイントなどである。さらに、ある水平方向の１ラインの画素信号を一例に考える。水平方向１ラインの一方の端部からスタートし、始めのうちはＤＣ領域が継続しているとする。このＤＣ領域の輝度値を基準輝度とすると、基準輝度から比較して明るくなり始めるポイントや、暗くなり始めるポイントを見つけるのである。つまり、本発明の方法において、「プラス用マスク」あるいは「マイナス用マスク」を選択する基準は、相対的なものである。基準となる輝度域より明るく変化するか、あるいは暗く変化するかによってマスクの種類を決定する。そして、この基準となる輝度域は、たとえば、水平方向の１ラインの画像については、左端（あるいは右端）の画素の輝度値あるいは、左端（あるいは右端）近傍に存在するＤＣ領域の輝度値である。

そして、数５式の条件を満たすことが分かれば、マスク切替判定回路１５５は、次に、「プラス用マスク」と「マイナス用マスク」のうち、いずれのマスクを使用するかを判定する。マスク切替判定回路１５５は、表１に示すような対応データを記憶しており、この対応データに用いて、まず判定ポイントを決定する。

表１では、数５式で示した３つの条件式のそれぞれの結果を利用して判定ポイントを決定する。具体的には、ｃポイントとＤＣ値（ＬＤ）の差分絶対値｜ｃ−ＬＤ｜、ｆポイントとＤＣ値（ＬＤ）の差分絶対値｜ｆ−ＬＤ｜、ｉポイントとＤＣ値（ＬＤ）の差分絶対値｜ｉ−ＬＤ｜それぞれとマスク切替閾値ＴＨ＿ＭＳとの大小関係を表１にあてはめる。そして、表１の１番右側の列に対応するのが判定ポイントである。たとえば、ｃ、ｆ、ｉポイントの差分絶対値が、全てマスク切替閾値ＴＨ＿ＭＳより大きい場合には、判定ポイントはｆである。

次に、判定ポイントの輝度値が、ＤＣ値（ＬＤ）と比較して、プラス側に変化しているか、あるいはマイナス側に変化しているかを求める。そして、プラス側に変化している場合には、「プラス用マスク」を使用することを決定する。マイナス側に変化している場合には、「マイナス用マスク」を使用することを決定する。ただし、この「プラス用マスク」あるいは「マイナス用マスク」の選択決定を行う際に、マスク切替判定回路１５５は、ステータスメモリ１５６の内容を参照する。

ステータスメモリ１５６は、
（ａ）基準状態
（ｂ）明状態
（ｃ）暗状態
の３つのステータスのいずれか１つのステータスを保持している。

そして、マスク切替判定回路１５５は、（ａ）基準状態において、判定ポイントの輝度値がプラス側に変化していることを検出した場合には、「プラス用マスク」を使用することを決定する。そして、「プラス用マスク」の使用を決定するとともに、ステータスメモリ１５６の内容を「明状態」に更新する。（ａ）基準状態において、判定ポイントの輝度値がマイナス側に変化していることを検出した場合には、「マイナス用マスク」を使用することを決定する。そして、「マイナス用マスク」の使用を決定するとともに、ステータスメモリ１５６の内容を「暗状態」に更新する。ここで、処理は水平方向の１走査ごとに行われ、ラインが更新されるごとにステータスは（ａ）基準状態に設定される。

一方、（ｂ）明状態においては、判定ポイントの輝度値がプラス側に変化していることを検出した場合には、（ｂ）明状態を維持する。つまり、「プラス用マスク」の使用を維持する。（ｂ）明状態において、判定ポイントの輝度値がマイナス側に変化していることを検出した場合にも、（ｂ）明状態を維持し、「プラス用マスク」を維持するが、マイナス側への変化が終了した時点で、ステータスメモリ１５６に格納されているステータス情報を（ａ）基準状態に更新する。このような判定を行うことで、図２に示すように、基準輝度から輝度が高くなっている領域が存在する場合、その領域内では、継続して「プラス用マスク」が使用されることになる。

また、（ｃ）暗状態においては、判定ポイントの輝度値がマイナス側に変化している場合には、（ｃ）暗状態を維持する。つまり、「マイナス用マスク」の使用を維持する。（ｃ）暗状態において、判定ポイントの輝度値がプラス側に変化している場合にも、（ｃ）暗状態を維持し、「マイナス用マスク」を維持するが、プラス側への変化が終了した時点で、ステータスメモリ１５６に格納されているステータス情報を（ａ）基準状態に更新する。このような判定を行うことで、図３に示すように、基準輝度から輝度が低くなっている領域が存在する場合、その領域内では、継続して「マイナス用マスク」が使用されることになる。

以上の判定処理を行った上で、マスク切替判定回路１５５は、「プラス用マスク」あるいは「マイナス用マスク」を指定したマスク切替信号ＭＣＤをマスク信号出力回路１５２に送信する。たとえば、「プラス用マスク」を使用することを決定した場合には、マスク切替信号ＭＣＤとして「０」を送信し、「マイナス用マスク」を使用することを決定した場合には、マスク切替信号ＭＣＤとして「１」を送信する。

マスク信号出力回路１５２は、注目画素の周辺９画素の輝度信号と、高周波信号ＨＤと、ＤＣ判定用閾値ＴＨ＿ＤＣと、マスク切替信号ＭＣＤを入力する。そして、マスク切替信号ＭＣＤに基づいて以下のようなマスク信号を生成処理を行う。

まず、マスク切替信号ＭＣＤが「マイナス用マスク」を指定している場合、マスク信号生成回路１５は、数６式に基づいてマスク信号を生成する。つまり、注目画素と周囲の画素８画素との差分ｓｕｂ０〜ｓｕｂ７が、全てＤＣ判定用閾値ＴＨ＿ＤＣより小さく、かつ、高周波信号ＨＤがＤＣ判定用閾値ＴＨ＿ＤＣより小さいか否かを判定する。そして、この条件を満たす場合には、マスク信号ＭＳＤとして「１」を出力する。信号「１」は、ＨＰＦの値を通過させないとする信号である。一方、数６式の条件も満たさない場合、つまり、いずれかの値がＤＣ判定用閾値ＴＨ＿ＤＣを超える場合には、マスク信号ＭＳＤとして「０」を出力する。信号「０」は、ＨＰＦの値を通過させる信号である。

一方、マスク切替信号ＭＣＤが「プラス用マスク」を指定している場合、マスク信号生回路１５は、数７式に基づいてマスク信号を生成する。つまり、注目画素と周囲の画素８画素との差分ｓｕｂ０〜ｓｕｂ７が、全てＤＣ判定用閾値ＴＨ＿ＤＣにマイナス符号を付けた閾値（−ＴＨ＿ＤＣ）より大きく、かつ、高周波信号ＨＤが（−ＴＨ＿ＤＣ）より大きいか否かを判定する。そして、この条件を満たす場合には、マスク信号ＭＳＤとして「１」を出力する。信号「１」は、ＨＰＦの値を通過させないとする信号である。一方、数７式の条件を満たさない場合、つまり、いずれかの値がＤＣ判定用閾値ＴＨ＿ＤＣを超える場合には、マスク信号ＭＳＤとして「０」を出力する。信号「０」は、ＨＰＦの値を通過させる信号である。

図４を再び参照する。ＨＰＦ１４１から出力された高周波信号ＨＤは、コアリング回路１６に出力され、コアリング処理が施される。図１０は、コアリング回路１６におけるコアリング特性を示す図である。横軸は、入力信号である高周波信号ＨＤの輝度値であり、縦軸は、コアリング処理後の高周波信号ＨＤＡの輝度値を示している。このように、高周波信号ＨＤのうち低輝度域の信号をカットあるいは抑制することにより、高周波信号ＨＤの波形を整えるようにしている。

次に、高周波信号ＨＤＡは、クリップ回路１７に入力される。クリップ回路１７には、また、色差信号Ｃ１が入力される。この実施の形態の画像信号強調回路１０は、輝度信号Ｙおよび色差信号ＲＹ,ＢＹを入力し、補正後の輝度信号Ｙｃおよび色差信号ＲＹ,ＢＹを出力する。この輝度と色差からなる色空間の画像信号は、その後、他の回路やソフトウェア処理に委ねられることになるが、この画像信号が、ＲＧＢ色空間の画像信号に変換される場合がある。そして、輝度信号Ｙｃの値が（高輝度側あるいは低輝度側に）大きくなり過ぎている場合には、ＲＧＢ変換後においてサチュレーションが発生し、色飛びが発生する場合が発生する。そこで、本実施の形態においては、高周波信号ＨＤＡに対してクリップ処理を施すことにより、ＲＧＢ変換後に色飛びが発生することを防止する。具体的には、注目画素の色差信号Ｃ１から、最大輝度値（あるいは最小輝度値）を算出し、この最大輝度値（あるいは最小輝度値）を超えないように高周波信号ＨＤＡをクリップするのである。ここで、高周波信号ＨＤＡをクリップするが、この高周波信号ＨＤＡは輝度信号であるので、色に寄与する度合いが小さく、ＲＧＢ変換後に発生する色飛びを抑制することが可能である。

クリップ回路１７は、最大輝度値（あるいは最小輝度値）の抑制された高周波信号ＨＤＢを加算回路１８に対して出力する。加算回路は、注目画素の輝度信号Ｙ２に高周波信号ＨＤＢを加算し、輪郭強調信号Ｙｅを出力する。

スイッチ回路１９は、注目画素について、未処理の輝度信号Ｙ２と、輪郭強調信号Ｙｅと、マスク信号ＭＳＤを入力する。そして、スイッチ回路１９は、マスク信号ＭＳＤが「０」であった場合には、輪郭強調信号Ｙｅを補正後の輝度信号Ｙｃとして出力する。また、スイッチ回路１９は、マスク信号ＭＳＤが「１」であった場合には、ＨＰＦの値をマスクする。すなわち、未処理の輝度信号Ｙ２をそのまま補正後の輝度信号Ｙｃとして出力するのである。

以上説明したように、本実施の形態によれば、エッジ領域において、エッジの両端で画像の波形が乱れることはなく、強調すべき領域のみに輪郭強調処理が加えられるので、画像品質を向上させることができる。また、基準輝度に対して高輝度側に変化している場合と、低輝度側に変化している場合とで、マスクを切り替えるので、図１３（ａ）,（ｂ）で示した両タイプの画像に対しても、品質のよい輪郭強調画像を得ることが可能である。

本発明の輪郭強調処理を概念的に示す図である。 基準輝度に対して明るい部分が存在する画像に対する輪郭強調処理結果を示す図である。 基準輝度に対して暗い部分が存在する画像に対する輪郭強調処理結果を示す図である。 本実施の形態にかかる輪郭強調処理回路のブロック図である。 注目画素の周辺領域Ａ１を示す図である。 注目画素の周辺領域Ａ２を示す図である。 注目画素の周辺領域Ａ３を示す図である。 判定処理の対象領域の動きを示す図である。 マスク信号生成回路のブロック図である。 コアリングの特性を示す図である。 明るい部分から暗い部分へと変化する画像を示す図である。 図１１の画像に対して従来の輪郭強調処理を施した結果を示す図である。 ２つのタイプの画像を示す図である。

符号の説明

１１,１２,１３ ラインメモリ
１４ フィルタ回路
１５ マスク信号生成回路
１６ コアリング回路
１７ クリップ回路
１８ 加算回路
１９ スイッチ回路
Ｃ１,Ｃ２ 色差信号
Ｙ１,Ｙ２,Ｙ３ 輝度信号

Claims (15)

1. 輝度信号および色差信号を含む画像信号を入力する手段と、
   前記輝度信号から高周波信号を抽出する手段と、
   前記高周波信号を前記輝度信号に適用させる領域を指定するマスク信号を生成するマスク信号生成手段と、
   前記マスク信号に従い、前記高周波信号を適用させる場合には、前記高周波信号を前記輝度信号に加算して出力し、前記高周波信号を適用させない場合には、前記輝度信号をそのまま出力する補正手段と、
   を備え、
   前記マスク信号生成手段は、
   注目画素と前記注目画素の周辺に位置する複数の画素との間の複数の輝度差分値、および、前記注目画素における前記高周波信号の値（以下、ＨＤ値とする。）が全て第１閾値を下回るか否かによって、前記高周波信号を適用させるか否かを判定する第１マスク領域判定条件と、前記複数の輝度差分値および前記ＨＤ値が全て前記第２閾値を上回るか否かによって、前記高周波信号を適用させるか否かを判定する第２マスク領域判定条件とを切り替えつつ、前記マスク信号を生成する手段、
   を含むことを特徴とする画像信号強調装置。
2. 請求項１に記載の画像信号強調装置において、
   前記第１マスク領域判定条件は、前記複数の輝度差分値および前記ＨＤ値のうち、いずれかが前記第１閾値を上回る場合には、前記高周波信号を適用させるよう判定し、前記第２マスク領域判定条件は、前記複数の輝度差分値および前記ＨＤ値のうち、いずれかが前記第２閾値を下回る場合には、前記高周波信号を適用させるよう判定することを特徴とする画像信号強調装置。
3. 請求項１または請求項２に記載の画像信号強調装置において、
   前記第１閾値をＴＨ＿ＤＣ（ＴＨ＿ＤＣは正の数である。）とすると、前記第２閾値は、−（ＴＨ＿ＤＣ）であることを特徴とする画像信号強調装置。
4. 請求項１ないし請求項３のいずれかに記載の画像信号強調装置において、
   前記マスク信号生成手段は、
   前記輝度信号がＤＣ領域からエッジ領域への変化する点において、輝度値がプラス方向に変化している場合には、前記第２マスク領域判定条件を選択し、輝度値がマイナス方向に変化している場合には、前記第１マスク領域判定条件を選択するよう切り替える切替手段、
   を含むことを特徴とする画像信号強調装置。
5. 請求項４に記載の画像信号強調装置において、
   前記マスク信号生成手段は、
   前記複数の輝度差分値および前記ＨＤ値および前記注目画素と前記注目画素の周辺に位置する複数の画素との間の色差信号に関する複数の色差分値が全て第３閾値を下回る場合に、前記注目画素をＤＣ成分信号と判定する手段、
   を含み、
   前記切替手段は、
   前記輝度信号が前記ＤＣ領域から前記エッジ領域へ変化する点においては、前記ＤＣ成分信号と前記輝度信号との差分値がプラス方向に変化している場合に、前記第２マスク領域判定条件を選択し、前記ＤＣ成分信号と前記輝度信号との差分値がマイナス方向に変化している場合に、前記第１マスク領域判定条件を選択するよう切り替える手段、
   を含むことを特徴とする画像信号強調装置。
6. 請求項５に記載の画像信号強調装置において、
   前記第２マスク領域判定条件を選択した後は、前記ＤＣ成分信号と前記輝度信号との差分値が最初にマイナス方向に変化し、マイナス方向への変化が終了するまで前記第２マスク領域判定条件の選択を維持し、前記第１マスク領域判定条件を選択した後は、前記ＤＣ成分信号と前記輝度信号との差分値が最初にプラス方向に変化し、プラス方向への変化が終了するまで前記第１マスク領域判定条件の選択を維持することを特徴とする画像信号強調装置。
7. 請求項５または請求項６に記載の画像信号強調装置において、
   前記第３閾値は、前記第１閾値と同じ値であることを特徴とする画像信号強調装置。
8. 請求項１ないし請求項７のいずれかに記載の画像信号強調装置において、さらに、
   前記高周波信号をコアリング処理する手段、
   を備え、
   前記補正手段は、コアリング処理後の高周波信号を前記輝度信号に加算することを特徴とする画像信号強調装置。
9. 請求項１ないし請求項８のいずれかに記載の画像信号強調装置において、さらに、
   輝度信号補正後の画像信号を所定の色空間の画像信号に変換した際にサチュレーションを発生させないように、注目画素の色差信号に基づいて当該注目画素に関する最大輝度値を算出するとともに、前記高周波信号が前記最大輝度値を超えないようクリップ処理する手段、
   を備え、
   前記補正手段は、クリップ処理後の高周波信号を前記輝度信号に加算することを特徴とする画像信号強調装置。
10. 輝度信号および色差信号を含む画像信号を入力する手段と、
    前記輝度信号から高周波信号を抽出する手段と、
    前記輝度信号に前記高周波信号を適用させて輪郭強調処理を行う補正手段と、
    を備え、
    前記補正手段は、エッジ領域における輝度値の変化方向を判定する判定手段を有し、
    前記補正手段は、前記判定手段によって前記輝度値がプラス方向に変化していると判定された場合、前記エッジ領域に対しては、高輝度域において高輝度側にオーバーシュートするよう高周波信号を適用させるとともに、低輝度域においては低輝度側へはアンダーシュートを起こさないよう高周波信号をマスクすることを特徴とする画像信号強調装置。
11. 輝度信号および色差信号を含む画像信号を入力する手段と、
    前記輝度信号から高周波信号を抽出する手段と、
    前記輝度信号に前記高周波信号を適用させて輪郭強調処理を行う補正手段と、
    を備え、
    前記補正手段は、エッジ領域における輝度値の変化方向を判定する判定手段を有し、
    前記補正手段は、前記判定手段によって前記輝度値がマイナス方向に変化していると判定された場合、前記エッジ領域に対しては、低輝度域において低輝度側にアンダーシュートするよう高周波信号を適用させるとともに、高輝度域においては高輝度側へはオーバーシュートを起こさないよう高周波信号をマスクすることを特徴とする画像信号強調装置。
12. 輝度信号および色差信号を含む画像信号を入力する手段と、
    前記輝度信号から高周波信号を抽出する手段と、
    前記輝度信号に前記高周波信号を適用させて輪郭強調処理を行う補正手段と、
    を備え、
    前記補正手段は、低輝度域から高輝度域に変化し、再び低輝度域へと変化する所定方向に連続する画素列に対しては、低輝度域から高輝度域へと変化するエッジ領域および高輝度域から低輝度域へと変化するエッジ領域において、いずれも高輝度域において高輝度側にオーバーシュートするよう高周波信号を適用させるとともに、いずれも低輝度域においては低輝度側へはアンダーシュートを起こさないよう高周波信号をマスクすることを特徴とする画像信号強調装置。
13. 請求項１２に記載の画像信号強調装置において、
    前記補正手段は、低輝度域から高輝度域に変化した後、再び低輝度域へと戻るまでの間、その間に存在するエッジ領域には、高輝度側にオーバーシュートするよう高周波信号を適用させることを特徴とする画像信号強調装置。
14. 輝度信号および色差信号を含む画像信号を入力する手段と、
    前記輝度信号から高周波信号を抽出する手段と、
    前記輝度信号に前記高周波信号を適用させて輪郭強調処理を行う補正手段と、
    を備え、
    前記補正手段は、高輝度域から低輝度域に変化し、再び高輝度域へと変化する所定方向に連続する画素列に対しては、高輝度域から低輝度域へと変化するエッジ領域および低輝度域から高輝度域へと変化するエッジ領域において、いずれも低輝度域において低輝度側にアンダーシュートするよう高周波信号を適用させるとともに、いずれも高輝度域においては高輝度側へはオーバーシュートを起こさないよう高周波信号をマスクすることを特徴とする画像信号強調装置。
15. 請求項１４に記載の画像信号強調装置において、
    前記補正手段は、高輝度域から低輝度域に変化した後、再び高輝度域へと戻るまでの間、その間に存在するエッジ領域には、低輝度側にアンダーシュートするよう高周波信号を適用させることを特徴とする画像信号強調装置。

Images