JP3786925B2 - 輪郭補正方法及びこれに適した装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は輪郭補正装置に係り、特に映像信号の水平方向、垂直方向、対角線方向の輪郭を効率よく補正できる改善された輪郭補正方法及びそれに適した装置に関する。
【０００２】
【従来の技術】
記録再生装置で再生された映像信号、ケーブル等で伝送された映像信号、またはＴＶカメラ等で撮影された映像信号は伝送界及び記録界の総体的な伝送帯域によって高域成分が損失され、特に輪郭が鈍くなって画像の鮮明性が損傷される。これにより、損傷された映像信号の画質を改善する必要がある。
一方、テレビ信号やＶＴＲ信号のように制限された解像度を有する映像信号がＰＤＰやプロジェクションＴＶのように次第に大型化されるディスプレー装置において、より高画質で再生可能にするために映像信号の画質を改善する必要がある。
【０００３】
映像信号の画質を改善するための従来の輪郭補正装置は、映像信号から微分信号を得て、この微分信号を映像信号に加算することにより輪郭部分の解像度を向上させている。
しかし、従来の輪郭補正回路は主に映像の水平方向及び垂直方向に対してのみ輪郭補正を行い、対角線方向の輪郭補正が不十分で全体的に優秀な解像度の向上効果が得られなかった。
【０００４】
【発明が解決しようとする課題】
本発明は、前記問題点を解決するために考案されたものであって、映像の水平、垂直方向だけでなく対角線方向に対しても十分な解像度の改善効果を発揮できる改善された輪郭補正方法を提供することをその目的とする。
本発明の他の目的は、上記の輪郭補正方法に適した輪郭補正装置を提供するところにある。
【０００５】
【課題を解決するための手段】
前記目的を達成する本発明に係る輪郭補正方法は、（ａ）映像信号から２次元２次微分信号を発する過程と、（ｂ）前記映像信号から水平、垂直、対角線方向の１次微分信号を発する過程と、（ｃ）前記１次微分信号のうち何れか１つを選択する過程と、（ｄ）前記（ｃ）過程で選択された信号と前記２次元２次微分信号とを合成する過程と、（ｅ）前記合成された結果として得られた信号で前記映像信号の輪郭を補正する過程と、を含むことを特徴とする。
【０００６】
前記他の目的を達成する本発明に係る輪郭補正装置は、映像信号の２次元２次微分信号を発する２次元２次微分器と、各々映像信号の水平方向、垂直方向、右側対角線方向、そして左側対角線方向の１次微分信号を発する１次微分器と、前記１次微分器から発せられた１次微分信号のうち何れか１つを選択する選択器と、前記選択器の出力と前記２次元２次微分器の出力とを乗算する第１乗算器と、前記映像信号を遅延する遅延器と、前記遅延器の出力と前記第１乗算器の出力とを加算する加算器と、を含むことを特徴とする。
【０００７】
【発明の実施の形態】
以下、添付した図面に基づき、本発明の構成及び動作を詳細に説明する。
図１は、従来の輪郭補正装置の例を示す図面である。図１に示された輪郭補正装置は、遅延器１０２、第１微分器１０４、絶対値演算器１０６、第２微分器１０８、第１及び第２乗算器１１０、１１２、そして加算器１１４を備える。
図１に示された装置は、映像信号の２次微分信号を得て、これを映像信号に加算することにより映像信号の輪郭を補正する。２次微分信号を得るために遅延される時間を補償するために遅延器が使われる。
【０００８】
図１に示された装置を映像信号の水平成分に適用する場合には水平輪郭補正が行われ、映像信号の垂直成分に適用する場合には垂直輪郭補正が行われる。
図１に示された装置において、入力された映像信号は第１微分器１０４により微分されて１次微分信号が得られる。１次微分信号は、再び第２微分器１０８に印加されて２次微分信号が得られる。
【０００９】
一方、１次微分信号は絶対値演算器１０６に印加され、その絶対値が得られる。
絶対値演算器１０６の出力と第２微分器１０８から出力される２次微分信号は第１乗算器１１０により合成される。
第１乗算器１１０の出力は、第２乗算器１１２に印加される。第２乗算器１１２はそれに印加される利得によって第１乗算器１１０の出力を増幅する役割をする。
【００１０】
第２乗算器１１２の出力は加算器１１４に印加される。
加算器１１４の他の入力として遅延器１０２を通じて遅延された入力信号が印加される。したがって、加算器１１４では入力映像信号とその２次微分成分を加算したもの、すなわち、輪郭補正が行われた映像信号が得られる。
【００１１】
図２は、図１に示された装置の動作を図式的に示す波形図である。
図２のＡ信号は、図１に示された入力映像信号を示すものであって立上り成分を有する。この立上り成分は輪郭部分、例えば、暗い部分と明るい部分との境界で生じる。
図２のＢ信号は、Ａ信号を１次微分したものの絶対値を取った結果を示すもの（１次微分信号）であり、図２のＣ信号は、Ｂ信号を再び微分した結果、すなわち、Ａ信号を２次微分した結果を示すもの（２次微分信号）である。
【００１２】
図２のＤ信号は、１次微分信号（Ｂ信号）と２次微分信号（Ｃ信号）とを第１乗算器１１０を通じて乗算した結果を示すものであり、図２のＥ信号は、Ｄ信号の利得を第２乗算器１１２により調整した結果を示すものである。
図２のＦ信号は、加算器１１４を通じてＡ信号とＤ信号とを加算した結果を示すものであり、Ｇ信号は加算器１１４を通じてＡ信号とＥ信号とを加算した結果を示すものである。Ｆ信号とＧ信号とを比較すれば、第２乗算器１１２に印加される利得を調整することによって輪郭補正効果が変わることが分かる。
しかし、図１に示されたような輪郭補正回路は、映像の水平及び垂直方向に対してのみ適用されるので映像の対角線方向に対する改善効果が不十分で、全体的に解像度の向上効果が不十分である問題がある。
【００１３】
図３は、本発明に係る輪郭補正方法の望ましい実施例を示すフローチャートである。
本発明は映像信号の輪郭の強度を示す２次微分信号を得て、これを映像信号の輪郭の方向を示す１次微分信号と乗算して輪郭補正に必要な信号を得る。ここで、１次微分信号は水平、垂直、対角線方向の１次微分信号（微分信号１、微分信号２、微分信号３、微分信号４）のうち選択されたものである。
【００１４】
図３に示されたフローチャートにおいて、まず映像信号の２次元２次微分信号を生じる（Ｓ３０２）。２次微分信号は輪郭の強度のみを示すだけで、輪郭の方向には関係がないという特徴がある。
次いで映像信号の水平、垂直、対角線方向の１次微分信号を発する（Ｓ３０４）。１次微分信号は輪郭の方向性を示す特徴を有する。
ここで、各方向で如何なる画素とそれに隣接する画素間の画素値の差分を求め、この差分のうち小さな値を微分値とする。このような方法により補正された信号の遷移時間を改善しうる。
【００１５】
水平、垂直、対角線方向の１次微分信号を比較して適切な１次微分信号を選択する（Ｓ３０６）。３０６段階の結果として水平、垂直、対角線方向の１次微分信号のうち絶対値を基準に最大値を有する１次微分値と水平、垂直、対角線方向の１次微分信号を合成して得られた値の絶対値のうち小さな値を有する信号を１次微分信号として選択する。
【００１６】
３０６段階で選択された信号と前記２次元２次微分信号とを合成する。ここで、合成とは乗算を意味する（Ｓ３０８）。３０８段階の結果、最大方向性を有する輪郭成分によって映像信号を補正可能な信号が得られる。また、輪郭補正の程度を調節するためにこの信号の利得が調整される。
３０６段階で得られた信号で映像信号の輪郭を補正する（Ｓ３１０）。具体的には、映像信号を３０２段階ないし３０８段階を行うのにかかる時間だけ遅延させた後、３０８段階で得られた信号と合成する。
【００１７】
図３に示された方法は、図４に示された本発明の輪郭補正装置の説明によってさらに詳細に説明される。
図４は、本発明に係る輪郭補正装置の望ましい実施例を示すブロック図である。図４に示された装置は映像信号の２次元２次微分信号を得て、これを映像信号の水平、垂直、右側対角線、そして左側対角線方向の微分信号のうち選択された微分信号と乗算した後、この値を遅延器により遅延された入力映像信号に加算することにより映像信号の輪郭を補正する。
【００１８】
図４に示された装置は、遅延器４０２、２次元２次微分器４０４、各々映像信号の水平、垂直、右側対角線、そして左側対角線方向の微分信号を得る第１ないし第４の１次微分器４０６ないし４１２、選択器４１４、第１及び第２乗算器４１６、４１８、そして加算器４２０を含む。
図４に示された装置は、映像信号の水平、垂直、対角線成分に対して輪郭補正を行うことによって効率的な輪郭補正効果を発揮する。
【００１９】
図４に示された装置において、入力された映像信号は２次元２次微分器により微分されて２次元２次微分信号が得られる。
一方、第１ないし第４の１次微分器４０６ないし４１２により映像信号の水平、垂直、右側対角線、そして左側対角線方向の微分信号が得られる。
水平、垂直、対角線方向の微分信号は、選択器４１４によって適切な微分信号が選択される。選択器４１４の出力は、第１乗算器４１６により２次元２次微分器４０４の出力と合成される。
【００２０】
第１乗算器４１６の出力は、第２乗算器４１８に印加される。第２乗算器４１８は、それに印加される利得によって第１乗算器４１６の出力を増幅する役割をする。
第２乗算器４１８の出力は加算器４２０に印加される。
加算器４２０の他の入力として遅延器４０２を通じて遅延された入力映像信号が印加される。したがって、加算器４２０では入力映像信号とその２次元２次微分成分を加算したもの、すなわち、水平、垂直、そして対角線方向に対して輪郭補正が行われた映像信号が得られる。
【００２１】
図５は、図４に示された１次微分器の例を示す図面である。
図５の（ａ）ないし（ｄ）は、各々水平方向の１次微分器４０６、垂直方向の１次微分器４０８、右側対角線方向の１次微分器４１０、そして左側方向の１次微分器４１２に相当する。
【００２２】
デジタル画像ではデータが一定間隔で並んでいるので事実的意味の微分演算は出来なくなる。このために隣接画素間の差を取る演算として微分を近似化する。これを差分と称する。
ｘ方向の微分をＧ（ｘ）とし、ｙ方向の微分をＧ（ｙ）とすれば、
Ｇ（ｘ）＝ｆ（ｘ＋１）−ｆ（ｘ）、Ｇ（ｙ）＝ｆ（ｙ＋１）−ｆ（ｙ）
と表すことができる。
【００２３】
ここで、ｆ（ｘ）はｘ方向画素の値を、ｆ（ｙ）はｙ方向画素の値を示す。
前記のような演算を映像処理で容易にしたのはマスクあるいはオペレータという行列である。
図５の（ａ）ないし（ｄ）に示されたそれぞれの行列は、同じ１次微分演算子であっても輪郭を抽出する方向が違うという特徴を有する。
【００２４】
図６は、図５に示された微分器の動作を図式的に示すための波形図である。
図６の（ａ）は、図５に示されたマスクで（−１、０、１）の係数を用いた時の１次微分信号の波形を示すものであり、（ｂ）は現在画素を中心に以前及び以後の画素を用いた２つの１次微分値の最小値を取って得られる１次微分信号の波形を示す。すなわち、（ｂ）の場合は、｛（ｘ，ｙ）−（ｘ−１、ｙ）｝と｛（ｘ＋１、ｙ）−（ｘ，ｙ）｝の２つの１次微分値を求め、この２値のうち小さな値を１次微分値として使用する。
【００２５】
図６の（ｂ）に示された１次微分信号が（ａ）に示された１次微分信号に比べて補正された信号の遷移時間を短縮するのにさらに効果的である。
当業者は、図５に示された１次微分演算子以外にもソーベル、プレヴィット、ローバトなどの演算子を使用できることが分かる。
図１０の（ａ）、（ｂ）、そして（ｃ）は、各々ソーベル演算子、プレヴィット演算子、ローバト演算子を示す。
ソーベル演算子は雑音には強いが、輪郭を過度に厚く取る短所があり、プレヴィットは雑音に弱く、垂直水平を強調する特徴があり、ローバトは適用半径が狭く、雑音に弱いという短所がある。
【００２６】
図７は、図４に示された２次元２次微分器の例を示す図面であって、２次元２次微分値を求めるために多く使われる３×３ラプラシアンマスク（ｌａｐｌａｃｉａｎ ｍａｓｋ）を示す図面である。
２次微分は、１次微分を再び微分したものであって輪郭の強度（方向は求めない）だけを検出するのに使われる。ラプラシアンマスクに得られる微分値をＬ（ｘ，ｙ）とすれば、
Ｌ（ｘ，ｙ）＝４＊ｆ（ｘ，ｙ）−｛ｆ（ｘ，ｙ−１）＋ｆ（ｘ，ｙ＋１）＋ｆ（ｘ−１，ｙ）＋ｆ（ｘ＋１，ｙ）｝となる。
当業者は２次微分演算子としてラプラシアンマスク以外にもキルシュフィルター（Ｋｉｒｓｈ ｆｉｌｔｅｒ）、テンプレートマッチなどを使用できることが分かる。
図１１の（ａ）及び（ｂ）は、各々キルシュフィルター、テンプレートマッチを示す。
【００２７】
図８は、図４に示された選択器の詳細な構成を示すブロック図である。
図８に示された装置は映像信号の水平、垂直、対角線方向の１次微分信号（ａ−ｄ）のうち絶対値を基準に最大値を有する微分信号を選択し、その絶対値と映像信号の水平、垂直、対角線方向の１次微分信号（ａ−ｄ）を全て合わせた信号の絶対値のうち小さな値を有するものを選択して出力する。
図８に示された選択器は、加算器８０２、第１及び第２絶対値演算器８０４、８０６、最大値選択器８０８、そして最小値選択器８１０を備える。
【００２８】
加算器８０２は、映像信号の水平、垂直、対角線方向の１次微分信号を流入し、これらを全て合わせた信号を出力する。加算器８０２の出力は、第１絶対値演算器８０４に提供される。したがって、第１絶対値演算器８０４は映像信号の水平、垂直、対角線方向の１次微分信号ａ，ｂ，ｃ，ｄを全て合わせた信号の絶対値ｅを出力する。
【００２９】
第２絶対値演算器８０６は、映像信号の水平、垂直、対角線方向の１次微分信号ａ，ｂ，ｃ，ｄを流入し、これらの絶対値を出力する。第２絶対値演算器８０６の出力は最大値選択器８０８に印加される。最大値選択器８０８は映像信号の水平、垂直、対角線方向の１次微分信号の絶対値のうち最大値を選択してｆ信号として出力する。したがって、最大値選択器８０８の出力として映像信号の水平、垂直、対角線方向の１次微分信号のうち最大１次微分信号の絶対値が得られる。
【００３０】
第１絶対値演算器８０４と最大値選択器８０８の出力ｅ，ｆは最小値選択器８１０に印加される。したがって、最小値演算器８１０は映像信号の水平、垂直、対角線方向の１次微分信号のうち最大値を有する微分信号の絶対値ｅと映像信号の水平、垂直、対角線方向の１次微分信号を全て合せた信号の絶対値ｆのうち小さな値を選択して出力する。
【００３１】
図９は、図５に示された装置の動作を図式的に示す波形図である。
図９の（ａ）は、図８の選択器による選択動作が行われない時の微分器の動作を示す図面であり、図９の（ｂ）と（ｃ）とは、図８の選択器による選択動作が行われた時の微分器の動作を示す図面である。
図９の（ａ）において、ａ，ｂ，ｃ，ｄは各々水平方向、垂直方向、右側対角線方向、そして左側対角線方向の１次微分信号である。一方、ｅは、ａ，ｂ，ｃ，ｄ信号を全て加算した結果の絶対値を取ったことを示す信号である。
【００３２】
図８の選択器による選択動作が行われない場合には、図８の選択器では水平方向、垂直方向、右側対角線方向、そして左側対角線方向の１次微分信号ａ，ｂ，ｃ，ｄを全て合算して得られるｅ信号が出力される。
したがって、図４に示された装置は２次微分信号のｈと、ｅ信号とを乗算した結果であるｉ信号が、映像信号に加算された結果として得られる。
【００３３】
図９の（ａ）では、水平方向、垂直方向、右側対角線方向、そして左側対角線方向の１次微分信号ａ，ｂ，ｃ，ｄが全て立上り形態であって全て＋値を有し、これによりこれらの総和の絶対値であるｅ信号が過度に大きくなって、結局元の信号に加えられるｉ信号も大きくなってピーキングによるオーバーフローが生じる。
【００３４】
図９の（ｂ）でも水平方向、垂直方向、右側対角線方向、そして左側対角線方向の１次微分信号ａ，ｂ，ｃ，ｄが全て立上り形態であって、全て＋値を有するが、最小値選択器８１０でｅ信号とａないしｄ値のうち最大信号であるｆ信号が相互比較され、その結果ｆ信号が選択されて最小値選択器８１０の出力のｇ信号に出力される。このｇ信号は２次微分信号ｈと乗算される。したがって、図９の（ｂ）の場合、（ａ）に比べては小さいが、ピーキングを抑制しつつ十分な輪郭補正効果を発揮する。
【００３５】
図９の（ｃ）では、立上りと立下りとが混在している場合を示す。この場合には、ｅ信号とａないしｄ信号のうち最大信号であるｆ信号が相互比較され、その結果ｅ信号が選択器の最終出力として選択されて２次微分値ｈと乗算される。
本発明の実施例において、図４、図７に示された装置がアナログ映像信号を処理するものと示されているが、当業者ならば本発明をソフトウェアによりデジタル映像信号に対しても行えることが分かる。
例えば、図１０の（ａ）に示されたソーベル演算子を具現するプログラムコードは次の通りである。
【００３６】
【表１】

【００３７】
一方、図７に示されたラプラシアン演算子を具現するプログラムコードは次の通りである。
【００３８】
【表２】

【００３９】
したがって、当業者は請求範囲に開示される本発明の主題を外れない範囲で多くの変形が有り得る周知せねばならない。
【００４０】
【発明の効果】
前述したように本発明に係る輪郭補正方法及び装置によれば、映像信号で２次微分信号を得て、これを水平、垂直、対角線方向の微分信号のうち選択した微分信号と合成して映像信号の輪郭を補正することによって、水平、垂直、対角線方向に効率的な輪郭補正を行うことができる。
【図面の簡単な説明】
【図１】 従来の輪郭補正装置の例を示す図面である。
【図２】 図１に示された装置の動作を図式的に示す波形図である。
【図３】 本発明に係る輪郭補正方法の望ましい実施例を示すフローチャートである。
【図４】 本発明に係る輪郭補正装置の望ましい実施例を示すブロック図である。
【図５】 図４に示された１次微分器の例を示す図面である。
【図６】 図５に示された微分器の動作を図式的に示す波形図である。
【図７】 図４に示された２次元２次微分器の例を示す図面である。
【図８】 図４に示された選択器の詳細な構成を示すブロック図である。
【図９】 図５に示された装置の動作を図式的に示す波形図である。
【図１０】 （ａ）、（ｂ）、（ｃ）は、各々ソーベル演算子、プレヴィット演算子、ローバト演算子を示す図面である。
【図１１】 （ａ）及び（ｂ）は、各々キルシュフィルター、テンプレートマッチを示す図面である。
【符号の説明】
４０２ 遅延器
４０４ ２次元２次微分器
４０６ 第１の１次微分器
４０８ 第２の１次微分器
４１０ 第３の１次微分器
４１２ 第４の１次微分器
４１４ 選択器
４１６ 第１乗算器
４１８ 第２乗算器
４２０ 加算器

Claims (10)

1. （ａ）映像信号から２次元２次微分信号を発する過程と、
   （ｂ）前記映像信号から水平、垂直、対角線方向の１次微分信号を発する過程と、
   （ｃ）前記１次微分信号のうち何れか１つを選択する過程と、
   （ｄ）前記（ｃ）過程で選択された信号と前記２次元２次微分信号とを合成する過程と、
   （ｅ）前記合成された結果として得られた信号で前記映像信号の輪郭を補正する過程と、を含む映像信号の輪郭補正方法。
2. 前記（ｃ）過程は、
   （ｃ−１）前記１次微分信号を全て加算する過程と、
   （ｃ−２）前記１次微分信号を比較して最大値を有する１次微分信号を選択する過程と、
   （ｃ−３）前記１次微分信号を全て加算して得られた信号の絶対値と前記１次微分信号の絶対値のうち、最大値を有する１次微分信号のうちから最小値を有する信号を選択する過程と、を含むことを特徴とする請求項１に記載の映像信号の輪郭補正方法。
3. 前記（ｄ）過程は、
   合成された信号の利得を調整する過程をさらに備えることを特徴とする請求項１に記載の映像信号の輪郭補正方法。
4. 前記（ｂ）過程は、
   各方向で何れの画素とそれに隣接する画素間の差分を求め、これら差分のうち小さな値を微分値とすることを特徴とする請求項１に記載の映像信号の輪郭補正方法。
5. 映像信号の２次元２次微分信号を発する２次元２次微分器と、
   各々映像信号の水平方向、垂直方向、右側対角線方向、そして左側対角線方向の１次微分信号を発する１次微分器と、
   前記１次微分器から発せられた１次微分信号のうち何れか１つを選択する選択器と、
   前記選択器の出力と前記２次元２次微分器の出力とを乗算する第１乗算器と、
   前記映像信号を遅延する遅延器と、
   前記遅延器の出力と前記第１乗算器の出力とを加算する加算器と、を含む映像信号の輪郭補正装置。
6. 前記第１乗算器から出力される信号の利得を調整する第２乗算器をさらに備えることを特徴とする請求項５に記載の映像信号の輪郭補正装置。
7. 前記１次微分器は、各方向で何れの画素とそれに隣接する画素間の差分を求め、この差分のうち小さな値を微分値とすることを特徴とする請求項５に記載の映像信号の輪郭補正装置。
8. 前記選択器は、
   前記１次微分信号のうち最大微分信号を選択して出力する最大値選択器であることを特徴とする請求項５に記載の映像信号の輪郭補正装置。
9. 前記選択器は、
   前記１次微分信号を加算する加算器と、
   前記加算器の出力と前記最大値選択器の出力のうち小さな値を選択して出力する最小値選択器をさらに備えることを特徴とする請求項８に記載の映像信号の輪郭補正装置。
10. 前記選択器は、
    前記加算器と前記最小値選択器との間に介在され、前記加算器から出力される信号の絶対値を演算して出力する第１絶対値演算器と、
    前記最大値選択器の前端に設けられ、前記１次微分信号の絶対値を演算して出力する第２絶対値演算器と、をさらに備えることを特徴とする請求項９に記載の映像信号の輪郭補正装置。

Images