JP4317134B2 - 画像を補間しかつ鮮鋭化するための方法 - Google Patents

Description

本発明は、少なくとも第１色成分と第２色成分とを含む画像において色を鮮鋭化（sharpening）するための方法（特許請求の範囲の請求項１の序文に記載された画像を鮮鋭化するための方法）に関する。さらに、本発明は、少なくとも一つの色成分を含む画像でディジタル信号を処理するための方法（特許請求の範囲の請求項２０の序文に記載された画像のディジタル信号を処理するための方法）に関する。さらに、本発明は、少なくとも一つの色成分を含む画像でディジタル信号を処理するためのディジタルフィルタ（特許請求の範囲の請求項３２の序文に記載された画像のディジタル信号を処理するためのディジタルフィルタ）に関する。さらに、本発明は、少なくとも第１色成分と第２色成分とを備えた画像で色を鮮鋭化するためのシステム（特許請求の範囲の請求項３３の序文に記載されたシステム）に関する。

さらに、本発明は、少なくとも第１色成分と第２色成分とを備えた画像において色を鮮鋭化するための手段を含む、画像を形成するための装置（特許請求の範囲の請求項３８の序文に記載された装置）と、少なくとも第１色成分と第２色成分とを備えた画像で色を鮮鋭化するためのコンピュータ命令を含む、コンピュータ・ソフトウェア製品を記憶するための記憶装置（特許請求の範囲の請求項４４の序文に記載された記憶装置）と、少なくとも第１色成分と第２色成分とを備えた画像で色を鮮鋭化するためのコンピュータ命令を含むコンピュータ・ソフトウェア製品（特許請求の範囲の請求項４６の序文に記載されたコンピュータ・ソフトウェア製品）とに関する。

例えば、ディジタルカメラ、カメラ付き携帯電話、またはその他の、単一の相補型金属酸化膜半導体（ＣＭＯＳ）もしくは単一の電荷結合素子（ＣＣＤ）を具備するカメラ等のような、ディジタル画像を記憶する装置によって撮影された画像は、各々の画素に対して全ての色成分の値を備えているわけではない。装置の価格および寸法に関してイメージセンサの数が決め手となるため、画像を形成するのにベイヤー・マトリックス等のいわゆるカラーフィルタアレイ（ＣＦＡ）を必要とするような、より小さい装置（カメラ装置）においては、イメージセンサを一つのみ使用する（状況によっては２つ以上のイメージセンサを使用することもできる）ことが目標となることは明白である。

ベイヤー・マトリックスは一般的なカラーフィルタアレイであるが、このベイヤー・マトリックスでは各画素に１色のみ標本化されるため、各画素から表色系の他の色が欠けていることになる。例えばＲＧＢ表色系（赤、緑および青）においては、ベイヤー・マトリックスにある画素の半分が緑の色成分を形成し、当該画素の他の半分が青および赤の色成分を形成するので、各画素から他の色調の値が欠落していることになる。このことにより、画像をその完全なフォーマットで保存することができるように、不足した色サンプルを補間する必要性が生じる。

本願明細書において色に言及する際に、赤（Ｒ）、緑（Ｇ）および青（Ｂ）間の関係に基づいて色を定義するような公知のＲＧＢ表色系が用いられる。また一方で、シアン（Ｃ）、マゼンタ（Ｍ）およびイエロー（Ｙ）の値によって色が形成されるＣＭＹ表色系（シアン・マゼンタ・イエロー）によっても色成分を説明できるということが明らかであろう。ここで、表色系は対応する他の任意の系であってもよい。

ベイヤー・マトリックス・フォーマットの画像のＲＧＢ画像への変換には、各画素で不足した色の値の補間が必要となる。補間システムは、最も近隣の画素を利用する補間システムによって例証することができる（最近隣法（nearest neighbour method）。この最近隣法のシステムでは、例えば不足した青および赤の色が同一色の最近隣の画素によって補間されるが、これは緑の補間が他の色成分によって制御されるように改良された線形補間法によるものと同様である。次に、一例として上記の最近隣法による方法を記載する。下記の数式（１）において、ベイヤー・マトリックスにおける色成分の位置の考えられる４つの状態を表す。

数式（１）の項目（ａ）および（ｂ）にあるような緑の画素Ｇについて、不足しているＲおよびＢの値が計算されると、同一色の２つの近隣についての平均値が計算される。例えば項目（ａ）では、緑の中央画素での青の成分Ｂの値は、緑の画素Ｇの上下にある青の画素の平均値である（Ｂ（Ｇ）＝（Ｂ１＋Ｂ２）／２）。同様の方法によって、緑の中央画素での赤の成分Ｒの値は、緑の画素Ｇ付近にある赤の画素Ｒの平均値である（Ｒ（Ｇ）＝（Ｒ１＋Ｒ２）／２）。

項目（ｃ）における場合は、赤の画素Ｒについて青が補間されている場合である。この場合、赤の画素Ｒの隅に位置する至近の４つの青の画素Ｂから平均値がとられる（Ｂ（Ｒ）＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４）。同様に、項目（ｄ）では、青の画素Ｂにある赤の成分Ｒの値は、隅に位置する赤の画素Ｒの平均値を計算することによって得られる（Ｒ（Ｂ）＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４）。

緑の成分Ｇは、最近隣の対を用いることによって補間することができる。下記の数式（２）では、緑の成分Ｇを補間するための２つの場合を表す。

数式（２）の項目（ａ）では、赤の画素Ｒについて、緑の成分Ｇの値が補間されており、緑の成分Ｇの値は以下のようになる。
Ｇ（Ｒ）＝（Ｇ１＋Ｇ３）／２（（Ｒ１−Ｒ３）の絶対値が（Ｒ２−Ｒ４）の絶対値よりも小さい場合（ａｂｓ（Ｒ１−Ｒ３）<ａｂｓ（Ｒ２−Ｒ４））、
Ｇ（Ｒ）＝（Ｇ２＋Ｇ４）／２（（Ｒ１−Ｒ３）の絶対値が（Ｒ２−Ｒ４）の絶対値よりも大きい場合（ａｂｓ（Ｒ１−Ｒ３）>ａｂｓ（Ｒ２−Ｒ４）の場合）、または
Ｇ（Ｒ）＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４）／４（（Ｒ１−Ｒ３）の絶対値が（Ｒ２−Ｒ４）の絶対値に等しい場合（ａｂｓ（Ｒ１−Ｒ３）＝ａｂｓ（Ｒ２−Ｒ４））により求められる。

換言すれば、補間には赤の成分Ｒの効果が考慮される。Ｒ１とＲ３との差がＲ２とＲ４との差よりも小さいならば、赤Ｒは垂直方向でより強くなり、この垂直方向では、垂直方向の近隣Ｇ１およびＧ３の平均値が補間での望ましい値を計算するのに用いられるということがわかる。また一方で、水平方向の効果の方が大きければそれぞれ隣り合う近隣の値が用いられる。赤の比率が完全に同一であれば４つの近隣が全て用いられる。項目（ｂ）では、青の色成分Ｂと組み合わせて同様な計算が行われる。

米国特許第６，５４９，２３３号（Ｂ１）は、ベイヤー・マトリックスによる色補間のための一つの方法を開示している。この米国特許の刊行物の方法は、画像の色の強さの勾配を計算するステップを含み、この画像の最高勾配値および最低勾配値が決定される。上記の勾配は、マトリックスの中央画素に位置する第１の色の位置とそこから離間している同様の色との間で計算される。計算された勾配は閾値と比較され、勾配がその色の上記閾値（色の強さの平均に基づいて形成される値）を超えていれば、中央画素の色の強さの値が中央画素から離間した画素に対して用いられる。

米国特許第５，２４７，３５２号が開示しているのは、カラー画像を鮮鋭化するための方法である。この方法では、カラー画像の鮮鋭化は、例えばマンセルカラーチャート（Munsell color chart）等の三次元色空間に基づいている。この米国特許の刊行物は、色差信号と少なくとも２つの鮮鋭化信号との和を規定するための幾つかの切換状態を呈示している。この切換状態は色座標系によって設定される。この色座標系は、画素の色の値に基づいて画素位置を決定する。切換状態による切換の位置は位置データに基づいている。この刊行物による装置は、切換によって送られる情報に基づいて、所望の鮮鋭化信号と色差信号とを結合することができる。この刊行物では、上記のようにして画像を鮮鋭化することができる。画像を鮮鋭化したものが極力高画質となるように、少なくとも２つの鮮明な信号、例えば赤と緑とが必要になる。換言すれば、この特許による方法では、第２色成分および第３色成分のフィルタリング（filtering）は、色空間から得られる値に基づいて調整される。

色成分は補間後全て鮮鋭化されねばならず、このことにより画像処理のための作業量が三倍になるため、処理システムが高い処理能力を有することが必要となる。本発明は、単一の色成分のフィルタリングの結果を利用して他の色成分をフィルタリングすることにより従来の技術を改良している。従来の技術のシステムにおいては、異なる成分のフィルタリングは様々な影響を引き起こすことがあり、画像の色に歪みが生じ得る。また一方で、公知の鮮鋭化関数では、雑音の増加や、特にエッジ付近での過度のエッジ鮮鋭化といったような、望ましくない上記２種類の現象が起こることがある。このことにより、例えば白線と結合した黒線として表示されるようなリンギングが現れる。

本発明の目的は、第１色成分の鮮鋭化フィルタリングの効果を利用して次の色成分の鮮鋭化を制御するような方法で、補間と鮮鋭化とを組み合わせることにより、画像処理の際に起こる上記の問題を軽減させることにある。

上記目的を達成するために、本発明による画像を鮮鋭化するための方法では、一つの色成分をまず補間し、このようにして補間された色成分が鮮鋭化される。その後、鮮鋭化された画像の各画素から、鮮鋭化されていない画像の対応する画素を推定することにより、補間された画像での鮮鋭化の効果が検討される。もし、第１成分での鮮鋭化の効果が所定の画素において著しく高いのであれば、第２または第３色成分について鮮鋭化を行う（問題となっている点に第２または第３色成分がある場合）。上記効果が低いのであれば、第２または第３色成分の予想される画素はそのままの状態で変化しない。こうして第２および第３色成分の原画素は、これらの色成分の補間前に、必要な部分について前もって鮮鋭化される。フィルタリングでは、従来の技術の任意のフィルタリング・マスクを使用することが可能である。しかしながら、最も好ましい最終結果は、真のエッジ画素である画素のみを処理するような適応可能な鮮鋭化フィルタを使用することにより得られる。この鮮鋭化フィルタでは、鮮鋭化の制御を行う際にエッジ強度を用いることが可能である。

より正確に表現するならば、本発明による画像を鮮鋭化するための方法は、主として特許請求の範囲の請求項１の特徴部分に記載されている内容を特徴とする。すなわち、本発明は、少なくとも第１色成分と第２色成分とを含む画像において色を鮮鋭化するための方法であって、上記第１色成分の情報を含む画素が、上記第２色成分の情報を含む画素とは少なくとも部分的に異なる位置に配置されており、上記第１色成分および上記第２色成分が補間され、かつ、少なくとも上記第１色成分が鮮鋭化される方法において、上記第２色成分の鮮鋭化が上記第１色成分の鮮鋭化に基づいて制御されることを特徴とする方法を提供する。

また一方で、本発明による画像におけるディジタル信号を処理するための方法は、主として特許請求の範囲の請求項２０の特徴部分に記載されている内容を特徴とする。すなわち、本発明は、少なくとも一つの色成分を含む画像内でディジタル信号を処理するための方法であって、色成分を処理するために、少なくとも２つの元の変化値を得るために、上記色成分の変化が少なくとも２つの異なる方向で計算され、少なくとも２つの変化値を得るために、計算された上記の元の変化値から最大値および最小値が選択され、上記の少なくとも２つの変化値に基づいて比率が決定されることを特徴とする方法を提供する。

また一方で、本発明による画像におけるディジタル信号を処理するためのディジタルフィルタは、主として特許請求の範囲の請求項３２の特徴部分に記載されている内容を特徴とする。すなわち、本発明は、少なくとも一つの色成分を含む画像でディジタル信号を処理するためのディジタルフィルタであって、請求項２０から請求項３１までのいずれか一項に記載の方法を実施するために上記ディジタルフィルタが設けられることを特徴とするディジタルフィルタを提供する。

また一方で、本発明による色を鮮鋭化するためのシステムは、主として独立形式の請求項３３の特徴部分に記載されている内容を特徴とする。すなわち、本発明は、少なくとも第１色成分と第２色成分とを備えた画像で色を鮮鋭化するためのシステムであって、上記第１色成分についての情報を含む画素が、上記第２色成分についての情報を含む画素とは少なくとも部分的に異なる位置に配置されており、上記システムが、上記第１色成分および上記第２色成分を補間するための手段と鮮鋭化を実施するための手段とを含むものにおいて、上記システムは、上記第１色成分の鮮鋭化に基づいて上記第２色成分の鮮鋭化を制御するための手段をさらに含むことを特徴とするシステムを提供する。

また一方で、本発明による装置は、主として独立形式の請求項３８の特徴部分に記載されている内容を特徴とする。すなわち、本発明は、少なくとも第１色成分と第２色成分とを備えた画像において色を鮮鋭化するための手段を含む、画像を形成するための装置であって、上記第１色成分についての情報を含む画素が、上記第２色成分の情報を含む画素とは少なくとも部分的に異なる位置に配置されており、上記装置が、上記第１色成分および上記第２色成分を補間するための手段と鮮鋭化を実施するための手段とを含むものにおいて、上記装置は、上記第１色成分の鮮鋭化に基づいて上記第２色成分の鮮鋭化を制御するための手段をさらに含むことを特徴とする装置を提供する。

また一方で、本発明による記憶装置は、主として独立形式の請求項４４の特徴部分に記載されている内容を特徴とする。すなわち、本発明は、少なくとも第１色成分と第２色成分とを備えた画像で色を鮮鋭化するためのコンピュータ命令を含む、コンピュータ・ソフトウェア製品を記憶するための記憶装置であって、上記第１色成分についての情報を含む画素が、上記第２色成分の情報を含む画素とは少なくとも部分的に異なる位置に配置されており、上記コンピュータ・ソフトウェア製品が、上記第１色成分および上記第２色成分を補間するためのコンピュータ命令と鮮鋭化を実施するためのコンピュータ命令とを含むものにおいて、上記コンピュータ・ソフトウェア製品は、上記第１色成分の鮮鋭化に基づいて上記第２色成分の鮮鋭化を制御するためのコンピュータ命令をさらに含むことを特徴とする記憶装置を提供する。

また一方で、本発明によるコンピュータ・ソフトウェア製品は、主として独立形式の請求項４６の特徴部分に記載されている内容を特徴とする。すなわち、本発明は、少なくとも第１色成分と第２色成分とを備えた画像で色を鮮鋭化するためのコンピュータ命令を含むコンピュータ・ソフトウェア製品であって、上記第１色成分についての情報を含む画素が、上記第２色成分の情報を含む画素とは少なくとも部分的に異なる位置に配置されており、上記コンピュータ・ソフトウェア製品が、上記第１色成分および上記第２色成分を補間するためのコンピュータ命令と鮮鋭化を実施するためのコンピュータ命令とを含むものにおいて、上記コンピュータ・ソフトウェア製品は、上記第１色成分の鮮鋭化に基づいて上記第２色成分の鮮鋭化を制御するためのコンピュータ命令をさらに含むことを特徴とするコンピュータ・ソフトウェア製品を提供する。

補間と鮮鋭化とを交互に配した本発明による方法によって、計算により生じる影響を、画質に影響を与えることなく低減させることが可能になる。本発明による方法によって、補間後にまず画像の全体的鮮鋭化が行われる従来の方法よりも良い画質を達成することがさらに可能になる。

これに加えて、本発明において使用される鮮鋭化の方法は自発的に適応可能(self-adaptive)であり、上記の方法は、均一な画像領域を鮮鋭化することには使用されずに画像の雑音量を低減させる。さらに、本発明の方法によれば、鮮鋭化の効力ははっきりしたエッジ付近に限定され、過剰な鮮鋭化によって生じるリンギングが防止される。このことにより、目にする画像はより感じの良いものになる。

さらに、本発明で用いられる鮮鋭化フィルタ・ウィンドウ（３×３）の寸法は、メモリの負荷に対して有利な効果を有する。なぜならば、従来の技術の方法におけると同様に、マトリックスの行のほとんど全ては装置内に保存される必要がないからである。これに加えて、主として選択を行うという方法に基づいて本発明の方法が実行されるので、上記のフィルタ・ウィンドウの寸法は、処理で要求される計算の量を低減させる。

本発明を、添付の図面を参照してより詳細に記載する。

図１は、ベイヤー・マトリックス画像の補間および鮮鋭化のための本発明による動作の順序を示すブロック図である。
図１において、ブロック１は、公知の方法による最大解像度での第１色成分Ｇに関する画像の補間を示す。第１色成分Ｇは、ベイヤー・マトリックスにおける青および赤の画素数に対する緑の画素数の理由から（Ｇ：Ｂ：Ｒは２：１：１）、緑であるのが好ましい。画素数がここで記載されているものと異なっていたならば、第１の色は、最大数である画素、またはその変化が輝度に対して最大効果を有する色成分となるように選択されるべきである。画像の補間が完了した後は、ブロック２で示すように、第１色成分Ｇに関して画像が相応に鮮鋭化される。

ブロック３では、画像に関して第２色成分Ｒおよび第３色成分Ｂの鮮鋭化が行われる。まず最初に、第１色成分Ｇに関して鮮鋭化された効果が、補間された色成分Ｇと比較される。もし、上記の効果（［鮮鋭化済み−非鮮鋭化］の絶対値（abs[Sharpened-Unsharpened]））が顕著であれば、第１色成分の鮮鋭化によって生じる変化をそのようなものとして利用し、あるいは、近隣の画素値の変化に比例して第１色成分の鮮鋭化によって生じる変化を利用することによって、対応する点の第２および第３色成分が鮮鋭化される。もし上記の効果が低ければ、鮮鋭化は行われない。

ブロック４では、第２および第３色成分が補間される。既に記述した方法により、補間され鮮鋭化された三色画像が生成される（ブロック５）。

ここで、鮮鋭化の工程（図１のブロック２および３）をより詳細に記述する。前述したように、第１色成分の鮮鋭化は、当該第１色成分の補間直後に開始される。その後、本発明により、第２および第３色成分が必要に応じて鮮鋭化される。

図２は鮮鋭化アルゴリズムの基本原理を示すブロック図である。なお、これ以降、前述した構成要素と同様のものについては、同一の参照番号を付して表すこととする。
まず最初に、第１色成分Ｇについて２次勾配（ラプラシアン）が計算され、色成分の変化およびその変化の強さが監視できるようになる。このことによって、真のエッジ画素が検出される。ここで、計算は、３×３画素のサンプルにおいて異なる四方向で勾配を計算することにより、有利に実行することができる（図３ａ〜図３ｄ参照）。これらの方向とは、画素Ｏからの水平方向（図３ａ参照）、垂直方向（図３ｂ参照）、対角線方向（ＮＷＳＥ＝北西と南東との間の対角線方向（Ｎｏｒｔｈｗｅｓｔ−Ｓｏｕｔｈｅａｓｔ）（図３ｃ参照）、ＮＥＳＷ＝＝南西と北東との間の対角線方向（Ｓｏｕｔｈｗｅｓｔ−Ｎｏｒｔｈｅａｓｔ）（図３ｄ参照））である。勾配の計算において、２つの最も外側の画素値（ＤとＥ、ＢとＧ、ＡとＨ、ＣとＦ）は所定の方向で最初に計算され、その後、この計算の合計が原画素値Ｏ（既に２倍されたもの）から減算される。このような処理が各方向で実行され、これによって各方向で次のような勾配が得られる。
ＧｒａｄＨｏｒ（水平方向の勾配）＝２×Ｏ−（Ｄ＋Ｅ）（すなわち、ＧｒａｄＨｏｒ＝２×Ｏ−Ｄ−Ｅ）
ＧｒａｄＶｅｒ（垂直方向の勾配）＝２×Ｏ−（Ｂ＋Ｇ）（すなわち、ＧｒａｄＶｅｒ＝２×Ｏ−Ｂ−Ｇ）
ＧｒａｄＮＷＳＥ（北西と南東との間の対角線方向の勾配）＝０．７５×（２×０−（Ａ＋Ｈ））
（すなわち、ＧｒａｄＮＷＳＥ＝０．７５×（２×Ｏ−Ａ−Ｈ））
ＧｒａｄＮＥＳＷ（南西と北東との間の対角線方向の勾配）＝０．７５×（２×Ｏ−（Ｃ＋Ｆ））
（すなわち、ＧｒａｄＮＥＳＷ＝０．７５×（２×Ｏ−Ｃ−Ｆ））

人間の目で観察すると、上記の変化は通常、水平方向および垂直方向の方が顕著である。したがって、上記の変化に数字１より小さい定数を掛けることにより、対角線の勾配が減衰する。さらに、対角線方向では、近隣の画素間の距離が水平方向および垂直方向における距離よりも長いということを考慮すべきである。距離間の比率は、厳密には１／√２＝０．７１である。

前述の理由から、ＧｒａｄＮＷＳＥおよびＧｒａｄＮＥＳＷの計算には、０．７１よりも計算上有利である係数０．７５が用いられる。この値は、好ましくは数字１より小さい他の値とすることも可能であり、その場合は、水平方向または垂直方向のいずれかを選択することが好ましい。

計算された勾配は元の変化の値を表し、最小値および最大値がそこから探索される。これらの最大値および最小値は、鮮鋭化の際に使用されて変化の値を得るのに用いられる。第１の変化値Ｔ１は、最小絶対値および最大絶対値のうちの小さい方の絶対値である。第２の変化値Ｔ２は、最小絶対値および最大絶対値のうちの大きい方の絶対値である。換言すれば、第１の変化値Ｔ１は、（探索される）最小値および最大値の絶対値のうちの小さい方に相当する値（絶対値）であり、第２の（他方の）変化値Ｔ２は、（探索される）最小値および最大値の絶対値のうちの大きい方に相当する値（絶対値）である。第１色成分の鮮鋭化関数はこれらの変化値間の比率に基づいている。変化値Ｔ２および変化値Ｔ１は、それぞれ、最大変化および最小変化を示す。これらの数字間の比率は、変化が生じたことがいかに重要であるかを示す。さらに、第２の変化値（Ｔ２）の勾配の正負記号（sign）についての情報が保存される。

勾配の検討において、鮮鋭化を制御するための５つの好適な例を見出すことができる。これらの例を図４ａ〜図４ｅに示す。ここで、図示されている丸印は元の変化値（勾配）の順序を示し、これらの元の変化値からＴ１およびＴ２が選択される。

図４ａ：全ての勾配値が負である。最小の勾配値は最大変化に相応する。換言すれば、最小の勾配値が最大の絶対値を有する。

図４ｂ：勾配が、最大の絶対値を有する勾配が負側にあるようにＯ軸の両側に分布している。この結果として、最小の勾配値が最大変化を示す。

図４ｃ：勾配は、最大の絶対値の勾配が正側にあるようにＯ軸の両側に分布している。ここでは、最大の勾配値が最大変化を示す。

図４ｄ：全ての勾配値が正側にある。最大の勾配値が最大変化を示す。

図４ｅ：全ての勾配値が０であり、画像領域が一定であるので、鮮鋭化する必要がない。

画像領域がはっきりしたエッジを含まない場合、色成分の鮮鋭化は変化に基づいて制御されるので、第１の変化値（Ｔ２）が十分に大きくなければ（色成分に８ビット表示形式が用いられる場合、好ましくはＴ２≦２）、鮮鋭化は不要である。その他の場合では、変化値間の比率が計算される（ｒａｔｉｏ＝Ｔ１／Ｔ２）。この比率を抑えるために、一定値（ｃｏｎｓｔ１、ｃｏｎｓｔ２）を各々の変化値Ｔ１、Ｔ２に加えることも可能である。ここで、下記の式が成り立つ。
ｒａｔｉｏ＝［Ｔ１（＋ｃｏｎｓｔ１）］／［Ｔ２（＋ｃｏｎｓｔ２）］

この等式に用いられる定数は、互いに等しくてもよく、等しくなくてもよい。画像処理方法または画像の特性に関連する他の要因のために、互いに等しくない定数を用いることが必要な場合があるが、通常はこれらの定数は等しくなっている。画像の所定の領域においてのみ値を一定にすること、換言すれば、異なる画像領域で異なる一定値を用いることも可能である。

一定値（ｃｏｎｓｔ１、ｃｏｎｓｔ２）は小さく、例えば３、あるいは１〜１０の間の他の値とするのが好ましい。計算された比率は、予め定められた２つの限定値であるＳｌｉｍ１、Ｓｌｉｍ２と比較される。これらの変数の値は、好ましくは、Ｓｌｉｍ２＝０．８、かつ、Ｓｌｉｍ１＝０．３である。これらの値は他の数字であってもよく（例えば、Ｓｌｉｍ１＝０．１〜０．５、かつ、Ｓｌｉｍ２＝０．５〜１．０）、これにより、できる限り簡単な方法で可能な限り良質の出力画像が得られる。上記の比率の値が限定値間で少ないほど、画素値を速く計算することができる。速度に関しては、Ｓｌｉｍ２が極力小さいことが有利である。

もし、変化の比率が第２の限定値（Ｓｌｉｍ２）よりも大きいか、または等しければ（ｒａｔｉｏ≧Ｓｌｉｍ２）、鮮鋭化は不要となる。したがって、変化値Ｔ１、Ｔ２が同一の正負記号を有し、ほぼ等しい場合、画像位置に雑音が生じる場合がある。他の選択肢として、変化値Ｔ１、Ｔ２が逆の正負記号を有するが、ほぼ等しい絶対値を有し、鮮鋭化の方向が予測できない場合がある。いずれの場合においても、鮮鋭化を実行しないことに価値がある。

もし、変化の比率が第１の限定値（Ｓｌｉｍ１）よりも小さいか、または等しければ（ｒａｔｉｏ≦Ｓｌｉｍ１）、上記画素が、最大鮮鋭化が用いられた真のエッジ画素であるということが推測可能である。鮮鋭化（ｓｈａｒｐ）は、値が予め定められているゲイン（ｇａｉｎ）を変化値Ｔ２に掛けることにより実行され、好ましくはｇａｉｎ＝０．６である。ゲインは別の値であってもよい。このゲインの目的は、はっきりしたエッジをさらに強調することである。鮮鋭化関数（ｓｈａｒｐ）は、こうして下記のフォーマットにより表される。
ｓｈａｒｐ＝Ｏ＋ｓｉｇｎ×Ｔ２×ｇａｉｎ

変化の比率を限定値間に設定すると（Ｓｌｉｍ２＞ｒａｔｉｏ＞Ｓｌｉｍ１）、鮮鋭化関数が重み係数（ｗｅｉｇｈｔ）で調節される。この重み係数は、第２の限定値（Ｓｌｉｍ２）と勾配の比率（ｒａｔｉｏ）との差に、限定値に依存した係数（ｃｏｅｆｆ）を掛けることによって次のように計算される。
ｃｏｅｆｆ＝１／（Ｓｌｉｍ２−Ｓｌｉｍｌ）、かつ
ｗｅｉｇｈｔ＝ｃｏｅｆｆ×（Ｓｌｉｍ２−ｒａｔｉｏ）

比率が増加するにつれて、重み係数（ｗｅｉｇｈｔ）は限定値（Ｓｌｉｍ１、Ｓｌｉｍ２）間で１から０まで直線的に減少する。このため、ｃｏｅｆｆ＝２のとき限定値がＳｌｉｍ２＝０．８、かつＳｌｉｍ１＝０．３であれば、重み係数の計算が極力簡単になる。鮮鋭化効果が過度に低減しないようにするために、または誤った画素の鮮鋭化を防止するために、限定値はこれらの値に非常に接近していなければならない。したがって、重みづけがなされた鮮鋭化関数は以下のようになる。
ｓｈａｒｐ＝Ｏ＋ｓｉｇｎ×（ｗｅｉｇｈｔ×Ｔ２）×ｇａｉｎ

鮮鋭化関数の値（ｓｈａｒｐ）が平均の原画素値（Ｏ）と異なるならば、最終的な検討が行われる。鮮鋭化関数における変化案（ａｂｓ（ｓｈａｒｐ−Ｏ））が、許容される所定の鮮鋭化リミタ（ｏｖｅｒ）よりも大きければ、出力値を制限することができる。換言すれば、過度の鮮鋭化が防止される。鮮鋭化リミタ（ｏｖｅｒ）の値は、（８ビットシステムにおいて）好ましくは４０であるが、見る人の選択により他の値もまた可能である。正負記号が負であれば、出力（ｓｈａｒｐ）は、選択された鮮鋭化方向での最小の画素値（Ｍｉｎ（ｘ，Ｏ，ｙ）：ここで、ｘおよびｙは、フィルタリング・ウィンドウでの中央画素Ｏの環境における最も外側の画素を表す）を有する出力よりも小さくなり得ない（この値からは鮮鋭化リミタ（ｏｖｅｒ）の値が減算済みである）。また一方で、正負記号が正であれば、出力は、選択された鮮鋭化方向での最大の画素値（Ｍａｘ（ｘ，Ｏ，ｙ）：ここで、ｘおよびｙは前述のとおりである）を有する出力よりも大きくなり得ない（この値には鮮鋭化リミタ（ｏｖｅｒ）の値が加算済みである）。下記の表１は、制御値と、選択された鮮鋭化方向が検討された後の最終的鮮鋭化出力（ｆｉｎａｌ：表１では最終出力と記す）との関係を示すものである。

この表１から、最終的鮮鋭化出力（ｆｉｎａｌ）は、制御値（ＣＷ）または鮮鋭化関数（ｓｈａｒｐ）の値のいずれかであるということがわかる。Ｍａｘ（ｓｈａｒｐ，ＣＷ）とは、最終出力が制御値（ＣＷ）または鮮鋭化関数（ｓｈａｒｐ）の値のいずれかであり、それらのうちの大きい方に依存しているということを意味する。同様にして、Ｍｉｎ（ｓｈａｒｐ，ＣＷ）とは、最終出力が制御値（ＣＷ）または鮮鋭化関数（ｓｈａｒｐ）の値のいずれかであり、それらのうちの小さい方に依存しているということを意味する。

表色系の値の範囲が、例えば８ビットから１６ビットまで変化する場合、上記で示した限定値Ｓｌｉｍ１、Ｓｌｉｍ２は変化しない。しかしながら、鮮鋭化リミタ（ｏｖｅｒ）の値は、ビット数に従って、例えば表色系の値の範囲が８ビットから１０ビットまで変化する場合、次のような手法で乗算される。
ｏｖｅｒ（１０）＝ｏｖｅｒ（８）×２^(10-8)。

鮮鋭化された第１色の画素に第２色または第３色の値がある場合、第２色または第３色の画素も同様に鮮鋭化される。第１色成分の鮮鋭化によって引き起こされる、画素値における最終的な変化（ｆｉｎａｌ−０）は、第１色の鮮鋭化前の画素値Ｏと、鮮鋭化後の画素値ｆｉｎａｌとの差が小さいならば（（ｆｉｎａｌ−Ｏ）の絶対値が２以下である（ａｂｓ（ｆｉｎａｌ−Ｏ）≦２），（８ビット））、色成分に直接加算されて鮮鋭化される（ｒｂ）。このような手順は次の式により表される。
ｒｂ’＝ｒｂ＋（ｆｉｎａｌ−Ｏ）

もし、画素の第１色の鮮鋭化前であるＯと鮮鋭化後であるｆｉｎａｌとの差が十分大きいならば（（ｆｉｎａｌ−Ｏ）の絶対値が２より大きい（ａｂｓ（ｆｉｎａｌ−Ｏ）＞２），（８−ｂｉｔ））、鮮鋭化は近隣の画素値の最大値と最小値との差に比例する。

このように比例した鮮鋭化では、以下のステップがとられる。ここで、既存の画素位置の全てを含むような以下の数式（３）のマスクを仮定することにする。

ｍは、第１色について鮮鋭化が実行されてしまっており、第２色または第３色の存在する、検討中の画素位置であると仮定することにする。位置ｍの周囲の同一色（第２色または第３色）である至近の画素位置を水平方向および垂直方向に制御することにする。こうして、点ｃ、ｘ、ｋおよびｏが得られる。これらの認められる位置ｃ、ｘ、ｋおよびｏのうち、最小の画素値ｍｉｎＣおよび最大の画素値ｍａｘＣが探索される。これに対応する位置において、（鮮鋭化前の）第１色成分の補間後の画素値も調べられ、これらのうち、最小の画素値ｍｉｎ１および最大の画素値ｍａｘ１も探索される。元の画像の第２色成分または第３色成分（ｒｂ）の画素値間の差（ｍａｘＣ−ｍｉｎＣ）が、補間された画像の第１色成分の対応する画素値間の差（ｍａｘ１−ｍｉｎ１）よりも小さければ［（ｍａｘＣ−ｍｉｎＣ）＜（ｍａｘ１−ｍｉｎ１）］、鮮鋭化には次の式が用いられる。
ｒｂ’＝ｒｂ＋（ｆｉｎａｌ−Ｏ）＊（ｍａｘＣ−ｍｉｎＣ＋ａｄｄ１）／（ｍａｘ１−ｍｉｎ１＋ａｄｄ２）
ここで、ａｄｄ１、ａｄｄ２は比率の緩和係数であり、好ましくは、８ビットのシステムにおいて３である。ａｄｄ１、ａｄｄ２は相互に不等であってもよいということに留意すべきである。その他の点では、前述の式が次のように適用される。
ｒｂ’＝ｒｂ＋（ｆｉｎａｌ−Ｏ）

望ましい色成分を鮮鋭化することにより必要な画素位置が走査された後、第２色成分および第３色成分が補間される。

例えば米国特許第５，５０６，６１９号に記載されているように、異なる位置（第２または第３色成分（Ｒ／Ｂ）が元々存在しない場所）にある第２色成分（Ｒ）および第３色成分（Ｂ）の画素は、ラプラシアン２の演算に基づいた補間が用いられる場合、最後の補間と組み合わせて自動的に鮮鋭化される。上記の参考文献による方法においては、補間された第１色成分Ｇに関しては、２次ラプラシアンの補正値Ｄの計算が行われる。この２次ラプラシアンの補正値Ｄは、第２色成分、すなわち赤Ｒ、または第３色成分、すなわち青Ｂの画素から減算されるか、またはこれに加算される。したがって、上記の第２または第３色成分は別々に鮮鋭化される必要がない。

前述したような本発明の画像を処理するための方法は、以下の疑似コードにより表すことができる。
第１色成分の鮮鋭化
ＧｒａｄＨｏｒ＝２×Ｏ−（Ｄ＋Ｅ）；
ＧｒａｄＶｅｒ＝２×Ｏ−（Ｂ＋Ｇ）；
ＧｒａｄＮＷＳＥ＝０，７５×（２×Ｏ−（Ａ＋Ｈ））；
ＧｒａｄＮＥＳＷ＝０，７５×（２×Ｏ−（Ｃ＋Ｆ））；
ＭｉｎＧｒａｄ＝Ｍｉｎ（ＧｒａｄＨｏｒ，ＧｒａｄＶｅｒ，ＧｒａｄＮＷＳＥ，ＧｒａｎｄＮＥＳＷ）；
ＭａｘＧｒａｄ＝Ｍａｘ（ＧｒａｄＨｏｒ，ＧｒａｄＶｅｒ，ＧｒａｄＮＷＳＥ，ＧｒａｎｄＮＥＳＷ）；
（ａｂｓ（ＭｉｎＧｒａｄ）＞ａｂｓ（ＭａｘＧｒａｄ））ならば、
Ｔ２＝ａｂｓ（ＭｉｎＧｒａｄ）；
Ｔ１＝ａｂｓ（ＭａｘＧｒａｄ）；
Ｓｉｇｎ＝ＭｉｎＧｒａｄ／ａｂｓ（ＭｉｎＧｒａｄ）；
もしそうでなければ、
Ｔ２＝ａｂｓ（ＭａｘＧｒａｄ）；
Ｔ１＝ａｂｓ（ＭｉｎＧｒａｄ）；
Ｓｉｇｎ＝ＭａｘＧｒａｄ／ａｂｓ（ＭａｘＧｒａｄ）；
（Ｔ２＞２）ならば、
ｒａｔｉｏ＝（Ｔ１＋ｃｏｎｓｔ１）／（Ｔ２＋ｃｏｎｓｔ２）；
（ｒａｔｉｏ＞Ｓｌｉｍ２）ならば、
ｓｈａｒｐ＝Ｏ；
また一方で、（ｒａｔｉｏ＜Ｓｌｉｍ１）ならば、
ｓｈａｒｐ＝Ｏ＋ｓｉｇｎ×Ｔ２×ｇａｉｎ；
もしそうでなければ、
ｗｅｉｇｈｔ＝ｃｏｅｆｆ×（Ｓｌｉｍ２−ｒａｔｉｏ）；
ｓｈａｒｐ＝Ｏ＋ｓｉｇｎ×（ｗｅｉｇｈｔ×Ｔ２）×ｇａｉｎ；
ここで、ｃｏｎｓｔ１，ｃｏｎｓｔ２＝３
Ｓｌｉｍ２＝０．８；
Ｓｌｉｍ１＝０．３；
ｇａｉｎ＝０．６；
ｃｏｅｆｆ＝２（１／（Ｓｌｉｍ２−Ｓｌｉｍ１））
（ａｂｓ（ｓｈａｒｐ−０））＞ｏｖｅｒならば、
（ｓｉｇｎ＜０）ならば、
ＣＷ＝Ｍｉｎ（ｘ，Ｏ，ｙ）−ｏｖｅｒ
ｆｉｎａｌ＝Ｍａｘ（ｓｈａｒｐ，ＣＷ）
もしそうでなければ、
ＣＷ＝Ｍａｘ（ｘ，Ｏ，ｙ）＋ｏｖｅｒ
ｆｉｎａｌ＝Ｍｉｎ（ｓｈａｒｐ，ＣＷ）
ここで、画素ｘ、ｙはフィルタリング・ウィンドウの中心点Ｏの周囲の選択された方向に従って決まる
もしそうでなければ、
ｆｉｎａｌ＝ｓｈａｒｐ；
もしそうでなければ、
ｆｉｎａｌ＝Ｏ；
第２または第３色成分の原画素の鮮鋭化
鮮鋭化された第１色成分の点Ｏの位置に第２または第３色成分の画素があるならば、
ｒｂ＝鮮鋭化された第１色成分の点Ｏの位置における第２または第３色成分の値；
（ａｂｓ（ｆｉｎａｌ−Ｏ））≦２ならば、
ｒｂ’＝ｒｂ＋（ｆｉｎａｌ−Ｏ）；
もしそうでなければ、／／比例した鮮鋭化
（（ｍａｘＣ−ｍｉｎＣ）＜（ｍａｘ１−ｍｉｎ１））ならば、
ｒｂ’＝ｃ＋（ｆｉｎａｌ−Ｏ）×（（ｍａｘＣ−ｍｉｎＣ＋ａｄｄ１）／（ｍａｘ１−ｍｉｎ１＋ａｄｄ２））
ここで、ａｄｄ１，ａｄｄ２＝３
ｍｉｎＣ＝Ｍｉｎ（ＯｒｉＮｅｉｇｂｏｕｒｓＣ（ｒｂ））
ｍａｘＣ＝Ｍａｘ（ＯｒｉＮｅｉｇｂｏｕｒｓＣ（ｒｂ））
ｍｉｎ１＝Ｍｉｎ（ＩｎｔＮｅｉｇｂｏｕｒｓ１（ｒｂ））
ｍａｘ１＝Ｍｉｎ（ＩｎｔＮｅｉｇｂｏｕｒｓ１（ｒｂ）
ＯｒｉＮｅｉｇｂｏｕｒｓＣ＝第２または第３色成分の至近（ｃ，ｘ，ｋ，ｏ）の原画素値
ＩｎｔＮｅｉｇｂｏｕｒｓ１＝第１色成分の至近（ｃ，ｘ，ｋ，ｏ）の補間された画素値
もしそうでなければ、
ｒｂ’＝ｒｂ＋（ｆｉｎａｌ−Ｏ）

前述の画像鮮鋭化方法は、変化値Ｔ２の代わりに他の変化値Ｔ３を用いて実行することもできる。変化値Ｔ３は、選択された最小値および最大値のうち、元の変化値の順で、小さい方の絶対値を有する値よりも大きい方の絶対値を有する値により近い方の元の勾配値の絶対値である。換言すれば、Ｔ３は、元の変化値の順で、Ｔ１で表される勾配値に向かって、Ｔ２で表される勾配値の次にある元の勾配値の絶対値である。例えば、順に−８、−１、２、５の勾配値、すなわち元の変化値があるとする。上記の元の変化値から、最小値（−８）および最大値（５）が選択される。これらのうち大きい方の絶対値をＴ２と表記し、小さい方の絶対値をＴ１と表記する（ここで、Ｔ２＝８、かつＴ１＝５）。前述のように、値Ｔ３は、Ｔ２より後の勾配値に近い勾配値の絶対値であるので、ここで求められる勾配は−１であり、Ｔ３の絶対値は１である。（呈示される例のように）二番目に大きい絶対値はＴ１であるため（これは既に最小変化を示すのに使用されている）、Ｔ３は必ずしも二番目に大きい絶対値を有する値ではないということに留意すべきである。また一方で、勾配２は勾配−１よりも大きい絶対値を有するが、勾配２は順番ではＴ１に近いので、この勾配２をＴ３として選択することはできない。

図６ａ〜６ｄはＴ１、Ｔ２およびＴ３に関して好適な４つの例を示す。図示された丸印は元の変化値（勾配）の順序を表し、ここからＴ１、Ｔ２およびＴ３が選択される。

図６ａでは、全ての勾配値が負である。変化値Ｔ３の正負記号が負である。

図６ｂでは、変化値Ｔ３が負側にあって負の正負記号を有するように、勾配がＯ軸の両側に分布している。

図６ｃでは、変化値Ｔ３が正側にあって正の正負記号を有するように、勾配がＯ軸の両側に分布している。

図６ｄでは、全ての勾配値が正側にある。変化値Ｔ３の正負記号も正である。

変化値Ｔ３が用いられる場合、Ｔ２と同様に、絶対値間の比率が計算される（ｒａｔｉｏ＝Ｔ１／Ｔ３）。比率Ｔ１／Ｔ３＞１のとき、変化値Ｔ３が変化値Ｔ１よりも小さい場合の可能性があるということに留意すべきである。この場合には、鮮鋭化は行われない。そうでない場合は、以下に示すような式が成り立つ。
ｒａｔｉｏ＝［Ｔ１（＋ｃｏｎｓｔ１）］／［Ｔ３（＋ｃｏｎｓｔ２）］

既に記述した場合と同様に、形成された比率および変化値Ｔ３が用いられるのみのアルゴリズムが進められる。変化値Ｔ２の代わりに変化値Ｔ３を用いることにより、鮮鋭化フィルタの性能が向上する。変化値Ｔ２は時々雑音に影響される場合があるので、実際の最大変化を表すのには変化値Ｔ３の方がより信頼できる。

雑音の出現の一例を図７ａ、図７ｂに示す。図７ａ、図７ｂは、雑音のある一つの画素Ｎを含む均一な領域を示す。雑音のある画素が鮮鋭化ウィンドウの中央画素である場合（図７ａ）、本発明により鮮鋭化されない。しかしながら、これが中央にない場合（図７ｂ）、鮮鋭化の影響を受ける。雑音のある画素ＮがＴ２として選択され、このことにより、フィルタリングがなされた画像において雑音のある元の単一の画素が、変化した画素値によって取り囲まれる。このようなことが、雑音のある画素の視認性を際立たせる。このような状態を図８ａ〜図８ｃに簡略化して示す。ここでは、図８ａは原画素を示しており、この原画素に対してＴ２によりフィルタリングがなされ（図８ｂ）、さらに、Ｔ３によりフィルタリングがなされる（図８ｃ）。ここからわかるように、値Ｔ２の使用によりフィルタリング領域内の雑音が強調される。

前述の画像鮮鋭化方法はハイパスマスクで実行されるが、これは必須ではない。なぜならば、バンドパスマスクを単独で使用することも、あるいはハイパスフィルタリングと組み合わせて使用することも可能であるからである。バンドパスマスクは、より大きい領域からサンプルをとり、それゆえに、ハイパスマスクでは見えない低勾配エッジを増進することが可能である。図９ａ〜図９ｃでは、ハイパスマスク（図９ａ）、これに対応するバンドパスマスク（図９ｂ）、およびハイパスマスクおよびバンドパスマスクの組み合わせ（図９ｃ）をいかにして作成できるかという点に関して幾つかの例を示す。ハイパスマスクおよびバンドパスマスクの組み合わせ（ＨＰ＋ＢＰ）は、ハイパスフィルタ（ＨＰ）のように動作するが、図１０ａ、図１０ｂからもわかるように、これは低周波数でも動作する。ハイパスフィルタ（ＨＰ）の−６ｄＢの点（ゲイン＝２）は周波数０．５であり、組み合わせたフィルタ（ＨＰ＋ＢＰ）についてはさらに低い周波数０．２５である。図１０ａは線形で表したゲインを示し、図１０ｂは対数のスケールで表したゲインを示す。

鮮鋭化に使用される前述のアルゴリズムを色成分の鮮鋭化に利用することも可能である。このような例を図１１に示す。この例では、色信号Ｒ、ＧおよびＢがまず補間され（ブロック１）、次に鮮鋭化フィルタにより鮮鋭化される（ブロック５）。補間は通常（しかしながら常にではない）、数段階に分けて行われる。色信号Ｇがまず補間され、次に色信号Ｒ、Ｂが補間される。さらに、ある状況において信号Ｒ、ＧおよびＢを信号Ｙ、ＵおよびＶに変換する場合があり（ブロック６）、ここで、少なくとも輝度Ｙが鮮鋭化される（ブロック７）。このことにより、３つの色成分の全てを有する、補間され鮮鋭化された画像が作成される（ブロック８）。

本説明で論じているアルゴリズムを、ここで表すように鮮鋭化に適用することが可能であるが、例えばディジタルフィルタによって、例えば雑音低減のために色信号が処理されるような他の信号処理方法においても上記アルゴリズムを適用することができるということにも留意すべきである。

前述したような本発明による画像鮮鋭化方法を、図５に示す画像処理システムで実施することが可能である。ここでは、撮像素子Ｃ（カメラ、または同様のもの）が、画像処理システム用にベイヤー・マトリックス画像Ｉを作製する。このベイヤー・マトリックス画像Ｉは、色分解装置Ｓにおいて、信号Ｒ、ＧおよびＢにより表される３つの色成分に分けられる。例えば、信号Ｇは緑の色成分を表しており、この色成分は補間装置１へ導かれて処理され、信号Ｇ１が生成される。補間された信号Ｇ１は鮮鋭化装置２で鮮鋭化され、この結果として生じる信号Ｇ２が、補間された信号Ｇ１と比較される。差動ユニットＤにより生成される信号Ｇ２−Ｇ１からの偏差Ｇ３が、色信号Ｒ、Ｂと共に他の鮮鋭化装置３へと導かれる。色信号Ｒ、Ｂは赤および青の色成分であるのが好ましい。もし必要ならば、上記の色信号Ｒ、Ｂは、偏差Ｇ３の効果により第２の鮮鋭化装置（他の鮮鋭化装置）で鮮鋭化される。次に、生成された鮮鋭化信号Ｒ１、Ｂ１が第２の補間装置４へ導かれて処理され、補間された信号Ｒ２、Ｂ２がここで生成される。

上記第２の補間装置４では、補間されるべき色の画素（そこから緑の色成分Ｇが欠落している）が自動的に鮮鋭化される。画像処理システムからの出力として、三色画像が得られ、そこでは各色成分が鮮鋭化されている。

前述した本発明を、ベイヤー・マトリックスが適用されるシステム以外の他のシステムにも適用できるということは、いかなる当業者にも明らかであろう。本発明による方法は、全ての色成分が全ての画素に集められるわけではないシステムにおいて有利である。一例として、各画素の強さの値を記録するが、色値として画素のうちの数点のみ記録するような装置が存在する。本発明の応用例および基本動作を考慮すれば、どのような方法で幾つかの画素から色成分が欠落しているのかということは重要ではない。本発明に関連して言及すべき一例として、本発明を適用することにより容易に実施可能な六角形の表色系がある。

上記で議論したことに加えて、色成分は、緑Ｇ、赤Ｒおよび青Ｂ以外のものであってもよいということが明らかであろう。本発明は、例えば太陽光、赤外線もしくは紫外線等の２つの異なる波長を有する任意の電磁放射線、または、ガンマ放射線もしくはＸ線放射線等の短波長の放射線、または、マイクロ波放射線等の長波長の放射線を様々な分解能で記録する素子において適用されることが可能である。さらに、本発明は、鮮鋭化すべき成分が前述した成分の組み合わせとして得られる場合において適用されることが可能である。したがって、色成分は、好ましくはＲＧＢ、ＣＭＹ、ＣＭＹＫ、ＨＳＩ、またはＹＵＶのグループから選択された表色系に属してもよい。

本発明による画像処理システムを、電子装置の一部として、例えばカメラのディジタル信号処理装置または同類のものにおいて実施することが可能である。このようなシステムはまた、ディジタル信号を補間するための手段、および上記ディジタル信号を鮮鋭化するための手段、例えばディジタルフィルタを有する。通常、電子装置もまた、他の機能、例えば画像情報を使用者に表示するための手段、および電子装置を制御するためのプロセッサを有する。本発明による画像処理システムを有するディジタルカメラは、個別のユニットとして、または装置と一体化されたユニットとして、携帯機器（この携帯機器は移動通信手段も含む）と組み合わせて実施されることが好ましい。さらに、本発明による画像処理システムを有するディジタルカメラは、ウェブカメラ（Web Cam）のように、通信網（例えばインターネット）に接続されることが可能である。

本発明は、これまで説明したような実施例のみに限定されるものではなく、添付の特許請求の範囲内で変更可能であるということが明らかであろう。

ベイヤー・マトリックス画像の補間および鮮鋭化のための本発明による処理命令を示す図である。 本発明による鮮鋭化方法の基本原理を示す図である。 ３×３画素の寸法であるサンプルの水平方向を示す図である。 ３×３画素の寸法であるサンプルの垂直方向を示す図である。 ３×３画素の寸法であるサンプルの一つの対角線方向を示す図である。 ３×３画素の寸法であるサンプルの他の対角線方向を示す図である。 本発明による勾配計算で起こる好適な例を示す図である。 本発明による勾配計算で起こる好適な例を示す図である。 本発明による勾配計算で起こる好適な例を示す図である。 本発明による勾配計算で起こる好適な例を示す図である。 本発明による勾配計算で起こる好適な例を示す図である。 本発明による画像処理システムの好ましい実施態様を示す図である。 二番目に高い勾配を使用した勾配計算で起こる好適な第１の例を示す図である。 二番目に高い勾配を使用した勾配計算で起こる好適な第２の例を示す図である。 二番目に高い勾配を使用した勾配計算で起こる好適な第３の例を示す図である。 二番目に高い勾配を使用した勾配計算で起こる好適な第４の例を示す図である。 雑音のある画素を含む鮮鋭化ウィンドウを示す図である。 雑音のある画素を含む鮮鋭化ウィンドウを示す図である。 本発明によるフィルタリングを行った後の雑音のある画素の視認性を示す図である。 本発明によるフィルタリングを行った後の雑音のある画素の視認性を示す図である。 本発明によるフィルタリングを行った後の雑音のある画素の視認性を示す図である。 フィルタリング・マスクの第１の例を示す図である。 フィルタリング・マスクの第２の例を示す図である。 フィルタリング・マスクの第３の例を示す図である。 フィルタリング・マスクの周波数応答を示す図である。 フィルタリング・マスクの周波数応答を示す図である。 ベイヤー・マトリックス画像の補間および鮮鋭化のための処理命令の具体例を示す図である。

Claims (39)

1. 画像の第１色成分の情報を含む画素を、前記画像の第２色成分の情報を含む画素とは少なくとも部分的に異なる位置に配置するステップと、
   前記第１色成分および前記第２色成分を補間するステップと、
   少なくとも前記第１色成分を鮮鋭化するステップと、
   を有する方法において、
   少なくとも２つの元の変化値を得るために、前記第１色成分の変化を少なくとも２つの異なる方向で計算するステップと、
   少なくとも２つの変化値を得るために、前記少なくとも２つの元の変化値から少なくとも最大値および最小値を選択するステップと、
   前記変化値間の比率を決定するステップと、
   前記第１色成分の画素の鮮鋭化前の値と鮮鋭化後の値との差の絶対値が所定の値より大きいとき、前記比率を用いて前記第２色成分の鮮鋭化を制御し、その後、前記第２色成分を補間するステップと、
   を有することを特徴とする方法。
2. 前記変化値に基づいて、第１変化値（Ｔ１）と他の変化値との間で計算すべき比率が決定されることを特徴とする、請求項１記載の方法。
3. 前記第１変化値（Ｔ１）が、選択された前記最小値および最大値の絶対値のうちの小さい方であることを特徴とする、請求項２記載の方法。
4. 前記他の変化値（Ｔ２）が、選択された前記最小値および最大値の絶対値のうちの大きい方であることを特徴とする、請求項３記載の方法。
5. 前記他の変化値（Ｔ３）が、選択された前記最小値および最大値のうち、元の変化値の順で、小さい方の絶対値を有する値よりも大きい方の絶対値を有する値により近い方の元の変化値の絶対値であることを特徴とする、請求項３記載の方法。
6. 前記の決定した比率が、第１色成分の鮮鋭度を制御するために使用されることを特徴とする、請求項１記載の方法。
7. 前記制御は、
   少なくとも一つの限定値（Ｓｌｉｍ２）を選択するステップと、
   前記決定した比率を少なくとも一つの限定値（Ｓｌｉｍ２）と比較するステップであって、前記比較の結果が、前記第１色成分の鮮鋭化を制御するために使用されるステップと、
   を有することを特徴とする、請求項６記載の方法。
8. 前記決定した比率が前記限定値（Ｓｌｉｍ２）よりも小さい場合に、前記第１色成分が鮮鋭化されることを特徴とする、請求項７記載の方法。
9. 前記制御は、
   少なくとも第１限定値（Ｓｌｉｍ１）および第２限定値（Ｓｌｉｍ２）を選択するステップと、
   前記決定した比率を前記第１限定値（Ｓｌｉｍ１）および前記第２限定値（Ｓｌｉｍ２）と比較するステップであって、前記比較の結果が、前記第１色成分の鮮鋭化を制御するために使用されるステップと、
   を有することを特徴とする、請求項６記載の方法。
10. 前記の比較ステップは前記鮮鋭化の強度を決定するために使用し、
    前記決定した比率が前記第１限定値（Ｓｌｉｍ１）よりも小さい場合に、前記鮮鋭化を最大化するステップと、
    前記決定した比率が、前記第１限定値（Ｓｌｉｍ１）および前記第２限定値（Ｓｌｉｍ２）により規定された値の範囲内である場合に、前記最大値よりも小さい値によって鮮鋭化するステップと、
    その他の場合に、前記第１色成分を鮮鋭化しないステップと、
    を有することを特徴とする、請求項９記載の方法。
11. 前記第２色成分の鮮鋭化が、前記第１色成分で前記第１色成分の鮮鋭化によって起こる変化の程度に基づいていることを特徴とする、請求項１から１０のいずれか一項に記載の方法。
12. 基準値が決定され、さらに、前記第１色成分での鮮鋭化によって起こる変化の程度が、決定された前記基準値よりも小さいかまたは前記基準値に等しい場合、前記第２色成分を鮮鋭化するために、前記第１色成分の鮮鋭化の値が前記第２色成分に加算されることを特徴とする、請求項１１記載の方法。
13. 基準値が決定され、さらに、前記第１色成分での鮮鋭化によって起こる変化の程度が、決定された前記基準値よりも大きい場合、前記第２色成分の鮮鋭化が前記第２色成分の近隣の画素に比例することを特徴とする、請求項１１または１２記載の方法。
14. 少なくとも２つの他の色成分を鮮鋭化するための方法が使用されることを特徴とする、請求項１から１３のいずれか一項に記載の方法。
15. 前記第１色成分が、最大数の画素および／または画像の輝度への最大の効果を備えた色成分であることを特徴とする、請求項１から１４のいずれか一項に記載の方法。
16. エッジを有する画素において鮮鋭化が増幅されることを特徴とする、請求項１から１５のいずれか一項に記載の方法。
17. 鮮鋭化によって起こる変化が、決定された変化よりも大きい場合、鮮鋭化が限定されることを特徴とする、請求項１から１６のいずれか一項に記載の方法。
18. 色成分が、ＲＧＢ、ＣＭＹ、ＣＭＹＫ、ＨＳＩ、またはＹＵＶのグループから選択された表色系に属することを特徴とする、請求項１から１７のいずれか一項に記載の方法。
19. 多数の色成分を含む画像内のディジタル信号を処理するステップを有する方法であって、
    前記色成分のうち１つは補間し、他の１つは鮮鋭化する方法において、
    少なくとも２つの元の変化値を得るために、選択した色成分の変化を少なくとも２つの異なる方向で計算するステップと、
    少なくとも２つの変化値を得るために、前記少なくとも２つの元の変化値から少なくとも最大値および最小値を選択するステップと、
    第１の元の変化値と他の元の変化値との比率を決定するステップであって、前記第１の元の変化値は前記の選択した最小値および最大値の絶対値の小さい方とし、かつ前記他の元の変化値は残りの元の変化値のいずれかとするステップと、
    前記選択した色成分の画素の鮮鋭化前の値と鮮鋭化後の値との差の絶対値が所定の値より大きいとき、前記比率を用いて前記選択した色成分と異なる色成分の鮮鋭化を制御し、その後、前記選択した色成分と異なる色成分を補間するステップと、
    を有することを特徴とする方法。
20. 前記他の元の変化値（Ｔ２）が、選択された前記最小値および最大値の絶対値のうちの大きい方であることを特徴とする、請求項１９記載の方法。
21. 前記他の元の変化値（Ｔ３）が、選択された前記最小値および最大値のうち、元の変化値の順で、小さい方の絶対値を有する値よりも大きい方の絶対値を有する値により近い方の元の変化値の絶対値であることを特徴とする、請求項１９記載の方法。
22. 前記決定した比率が、前記選択した色成分の処理の度合いを制御するために使用されることを特徴とする、請求項１９記載の方法。
23. 前記制御は、
    少なくとも一つの限定値（Ｓｌｉｍ２）を選択するステップと、
    前記決定した比率を少なくとも一つの限定値（Ｓｌｉｍ２）と比較するステップであって、前記比較の結果が、前記選択した色成分の処理を制御するために使用されるステップと、
    を有することを特徴とする、請求項２２記載の方法。
24. 前記決定した比率が前記限定値（Ｓｌｉｍ２）よりも小さい場合に、前記選択した色成分が処理されることを特徴とする、請求項２３記載の方法。
25. 前記制御は、
    少なくとも第１限定値（Ｓｌｉｍ１）および第２限定値（Ｓｌｉｍ２）を選択するステップと、
    前記決定した比率を前記第１限定値（Ｓｌｉｍ１）および前記第２限定値（Ｓｌｉｍ２）と比較するステップであって、前記比較の結果が、前記選択した色成分の処理を制御するために使用されるステップと、
    を有することを特徴とする、請求項２２記載の方法。
26. 前記の比較ステップは前記鮮鋭化の強度を決定するために使用し、
    前記決定した比率が前記第１限定値（Ｓｌｉｍ１）よりも小さい場合に、前記鮮鋭化を最大化するステップと、
    前記決定した比率が、前記第１限定値（Ｓｌｉｍ１）および前記第２限定値（Ｓｌｉｍ２）により規定された値の範囲内である場合に、前記最大値よりも小さい値によって鮮鋭化するステップと、
    その他の場合に、前記選択した色成分を鮮鋭化しないステップと、
    を有することを特徴とする、請求項２５記載の方法。
27. 色成分が、ＲＧＢ、ＣＭＹ、ＣＭＹＫ、ＨＳＩ、またはＹＵＶのグループから選択された表色系に属することを特徴とする、請求項１９記載の方法。
28. 少なくとも一つの色成分を含む画像内のディジタル信号を処理するためのディジタルフィルタであって、請求項１９から２７のいずれか一項に記載の方法を実現するようになっていることを特徴とするディジタルフィルタ。
29. 画像の第１色成分および第２色成分を補間する手段であって、前記画像は前記第２色成分の情報を含む画素とは少なくとも部分的に異なる位置に配置された前記第１色成分の情報を含む画素を有する手段と、
    少なくとも前記第１色成分を鮮鋭化する手段と、
    を備えるシステムにおいて、
    前記の鮮鋭化手段は、少なくとも２つの元の変化値を得るために、前記第１色成分の変化を少なくとも２つの異なる方向で計算し、
    少なくとも２つの変化値を得るために、前記少なくとも２つの元の変化値から少なくとも最大値および最小値を選択し、
    前記変化値間の比率を決定する、
    ように構成し、更に
    前記第１色成分の画素の鮮鋭化前の値と鮮鋭化後の値との差の絶対値が所定の値より大きいとき、前記比率を用いて前記第２色成分の鮮鋭化を制御し、その後、前記第２色成分を補間する
    ように構成することを特徴とするシステム。
30. 前記鮮鋭化手段は、第１変化値（Ｔ１）と他の変化値との間の比率を計算することによって、前記比率を決定するようになっていることを特徴とする、請求項２９記載のシステム。
31. 前記システムは、計算された前記比率を色成分の鮮鋭度の制御に使用するようになっていることを特徴とする、請求項２９記載のシステム。
32. 前記システムはまた、
    少なくとも第１限定値（Ｓｌｉｍ１）および第２限定値（Ｓｌｉｍ２）を選択し、
    前記の決定した比率を前記第１限定値（Ｓｌｉｍ１）および前記第２限定値（Ｓｌｉｍ２）と比較し、前記第１色成分の鮮鋭化を制御するために、前記比較の結果を用いるようになっていることを特徴とする、請求項３１記載のシステム。
33. 画像を形成するための装置であって、
    少なくとも第１色成分と第２色成分とを有する画像において色を鮮鋭化するための手段であって、前記画像は、前記第２色成分の情報を含む画素とは少なくとも部分的に異なる位置に配置された前記第１色成分についての情報を含む画素を有する手段と、
    前記第１色成分および前記第２色成分を補間するための手段と、
    を備えた装置において、
    前記の鮮鋭化手段は、
    少なくとも２つの元の変化値を得るために、前記第１色成分の変化を少なくとも２つの異なる方向で計算し、
    少なくとも２つの変化値を得るために、前記少なくとも２つの元の変化値から少なくとも最小値および最大値を選択し、
    前記変化値間の比率を決定し、更に
    前記第１色成分の画素の鮮鋭化前の値と鮮鋭化後の値との差の絶対値が所定の値より大きいとき、前記比率を用いて前記第２色成分の鮮鋭化を制御し、その後、前記第２色成分を補間する、
    ように構成することを特徴とする装置。
34. 前記の鮮鋭化手段は、第１変化値（Ｔ１）と他の変化値との間の比率を計算することによって、前記比率を決定するようになっていることを特徴とする、請求項３３記載の装置。
35. 計算された前記比率を色成分の鮮鋭度の制御に使用するようになっていることを特徴とする、請求項３３記載の装置。
36. 前記装置はまた、
    少なくとも第１限定値（Ｓｌｉｍ１）および第２限定値（Ｓｌｉｍ２）を選択し、
    前記の決定した比率を前記第１限定値（Ｓｌｉｍ１）および前記第２限定値（Ｓｌｉｍ２）と比較し、前記第１色成分の鮮鋭化を制御するために、前記比較の結果を用いるようになっていることを特徴とする、請求項３５記載の装置。
37. 前記装置が移動通信手段を含むことを特徴とする、請求項３３から３６のいずれか一項に記載の装置。
38. 計算機可読記憶媒体であって、
    画像の第１色成分および第２色成分を補間するステップであって、前記画像は前記第２色成分の情報を含む画素とは少なくとも部分的に異なる位置に配置された前記第１色成分の情報を含む画素を有するステップと、
    少なくとも前記第１色成分を鮮鋭化するステップと、
    を有する計算機命令を含み、該計算機命令は、
    前記の鮮鋭化手段は、少なくとも２つの元の変化値を得るために、前記第１色成分の変化を少なくとも２つの異なる方向で計算し、
    少なくとも２つの変化値を得るために、前記少なくとも２つの元の変化値から少なくとも最大値および最小値を選択し、
    前記変化値間の比率を決定する、
    ように構成し、更に
    前記第１色成分の画素の鮮鋭化前の値と鮮鋭化後の値との差の絶対値が所定の値より大きいとき、前記比率を用いて前記第２色成分の鮮鋭化を制御し、その後、前記第２色成分を補間する
    ように構成することを特徴とする計算機可読記憶媒体。
39. 計算機プログラムであって、
    画像の第１色成分および第２色成分を補間するステップであって、前記画像は前記第２色成分の情報を含む画素とは少なくとも部分的に異なる位置に配置された前記第１色成分の情報を含む画素を有するステップと、
    少なくとも前記第１色成分を鮮鋭化するステップと、
    を有する計算機命令を含み、該計算機命令は、
    前記の鮮鋭化手段は、少なくとも２つの元の変化値を得るために、前記第１色成分の変化を少なくとも２つの異なる方向で計算し、
    少なくとも２つの変化値を得るために、前記少なくとも２つの元の変化値から少なくとも最大値および最小値を選択し、
    前記変化値間の比率を決定する、
    ように構成し、更に
    前記第１色成分の画素の鮮鋭化前の値と鮮鋭化後の値との差の絶対値が所定の値より大きいとき、前記比率を用いて前記第２色成分の鮮鋭化を制御し、その後、前記第２色成分を補間する
    ように構成することを特徴とする計算機プログラム。

Images