JP5652272B2 - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像処理プログラム及び画像処理方法に関する。

従来、画像のエッジを強調する技術が存在する。例えば、処理対象となる原画像のエッジにオーバーシュートやアンダーシュートを付加することでエッジを強調する、アンシャープマスクと呼ばれる技術が存在する。デジタルカメラで撮影された画像には、一般的に、アンシャープマスクが施されている。

また、例えば、拡大処理を行う前に原画像のエッジを補正しておくことで、拡大処理後のエッジの鮮鋭度を改善する技術も存在する。

特開２００６−２３５７３３号公報

しかしながら、上記の従来技術では、ピントが合わずに撮影されたピンぼけの画像やデジタルズームによって拡大された拡大画像など、ぼやけた画像のエッジを鮮鋭化することは難しいという問題があった。

例えば、ピンぼけの画像や拡大画像では、エッジの勾配がなまることでぼやけた画像となっていた。図１９及び図２０は、従来技術の問題点について説明するための図である。図１９及び図２０では、画像を１次元の信号として説明する。図１９及び図２０の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、例えば、ＹＣｂＣｒ成分のうちのＹ成分を示し、０〜２５５の２５６階調で表される。また、画素の位置は、例えば、画像を任意の位置の縦又は横の１ライン方向に見た場合の位置である。図２０は、図１９に示す画像が拡大された場合を示す。

図１９及び図２０に示すように、例えば、画像が拡大されると、エッジ１９ａがエッジ２０ａに拡大され、エッジの勾配がなまっていた。このため、なまったエッジの勾配を急峻にする技術があれば有用であると考えられる。しかし、上記の従来技術には、なまったエッジの勾配を急峻にすることで、エッジを鮮鋭化する技術は存在しなかった。

例えば、図２０に示した画像にアンシャープマスクを施しても、さらにエッジを強調するだけで、エッジの勾配を急峻にすることはできなかった。また、例えば、上記のエッジの鮮鋭度を改善する技術でも、既に拡大された画像には適用できず、エッジの勾配を急峻にすることはできなかった。

なお、図１９には、アンシャープマスクによってエッジが強調された画像を示す。このエッジ強調済みの画像が拡大された場合には、図２０に示すように、オーバーシュートやアンダーシュートも拡大され、エッジの輪郭が不自然に強調された品質の低い画像となっていた。このような場合にも、上記の従来技術では、エッジを鮮鋭化することはできなかった。

開示の技術は、上記に鑑みてなされたものであって、エッジを鮮鋭化することができる画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。

本願の開示する画像処理装置は、一つの態様において、抽出部と、補正部とを備える。抽出部は、入力された入力画像に、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタを用いて平滑化し、平滑化された画像からハイパスフィルタを用いて高周波成分を抽出することで、エッジ成分を抽出する。補正部は、抽出部により抽出されたエッジ成分に基づいて、入力画像を補正する。

本願の開示する技術の一つの態様によれば、画像のエッジを鮮鋭化することができるという効果を奏する。

図１は、実施例１に係る画像処理装置の機能構成を示す図である。 図２は、入力画像の一例を示す図である。 図３は、抽出部の処理を説明するための図である。 図４は、抽出部の処理を説明するための図である。 図５は、抽出部の処理を説明するための図である。 図６は、補正部の処理を説明するための図である。 図７は、実施例１に係る画像処理装置の処理手順を示すフローチャートである。 図８は、実施例２に係る画像処理装置の機能構成を示す図である。 図９は、入力画像の一例を示す図である。 図１０は、第２の抽出部の処理を説明するための図である。 図１１は、第２の抽出部の処理を説明するための図である。 図１２は、算出部の処理を説明するための図である。 図１３は、算出部の処理を説明するための図である。 図１４は、補正部の処理を説明するための図である。 図１５は、補正部の処理を説明するための図である。 図１６は、実施例２に係る画像処理装置の処理手順を示すフローチャートである。 図１７は、クライアントサーバシステムへの適用例を説明するための図である。 図１８は、画像処理プログラムを実行するコンピュータを示す図である。 図１９は、従来技術の問題点について説明するための図である。 図２０は、従来技術の問題点について説明するための図である。

以下に、本願の開示する画像処理装置、画像処理プログラム及び画像処理方法の実施例を図面に基づいて詳細に説明する。本願の開示する画像処理装置は、例えば、グラフィックスＬＳＩ（Large Scale Integration）やグラフィックスメモリ、半導体チップなどに対応し、静止画を表示する場合、或いは動画を表示する場合のいずれにも適用される。また、画像処理装置は、デジタルカメラや携帯電話、スマートフォン、車載モニタ、パーソナルコンピュータなど、画像を表示し得る装置に幅広く適用される。なお、この実施例によりこの発明が限定されるものではない。各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

実施例１に係る画像処理装置の機能構成について説明する。図１は、実施例１に係る画像処理装置の機能構成を示す図である。図１に示すように、この画像処理装置１００は、受付部１１０と、抽出部１２０と、補正部１３０と、出力部１４０とを有する。

受付部１１０は、画像の入力を受け付ける。例えば、受付部１１０は、カメラにより撮影された画像やネットワークを介して接続される外部装置からダウンロードされた画像、放送等で受信したテレビの画像などを入力画像として受け付ける。

図２は、入力画像の一例を示す図である。図２では、画像を１次元の信号として説明する。図２の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、例えば、ＹＣｂＣｒ表色系により表現される画像のＹ成分を示し、０〜２５５の２５６階調で表される。また、画素の位置は、例えば、画像を任意の位置の縦又は横の１ライン方向に見た場合の位置である。例えば、受付部１１０は、図２に示す入力画像を処理対象として受け付ける。なお、ここでは、ＹＣｂＣｒ成分のうちのＹ成分を処理対象とするが、他の成分を処理対象としてもよく、また、他の表色系、例えばＲＧＢなどで表現される画像にも同様に適用することができる。

抽出部１２０は、入力された入力画像に、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタを用いて平滑化し、平滑化された画像からハイパスフィルタを用いて高周波成分を抽出することで、エッジ成分を抽出する。抽出部１２０は、バイラテラルフィルタ１２０ａと、ハイパスフィルタ１２０ｂとを有する。例えば、抽出部１２０は、受付部１１０により受け付けた入力画像にバイラテラルフィルタ１２０ａを適用し、平滑化画像を生成する。

ここで、バイラテラルフィルタ１２０ａについて説明する。バイラテラルフィルタ１２０ａは、エッジ保存型平滑化フィルタの一つである。バイラテラルフィルタ１２０ａは、空間方向のＬＰＦ（Low-pass filter）と画素値方向のＬＰＦとを組み合わせ、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタである。すなわち、バイラテラルフィルタ１２０ａは、平滑化対象画素とレベル差が小さい周辺画素については相対的に重みを大きく取り、レベル差が大きい周辺画素については相対的に重みを小さく取ることで、着目画素の値を算出する。このため、バイラテラルフィルタ１２０ａは、レベル差の小さなノイズやオーバーシュートなどを平滑化し、レベル差の大きなエッジの勾配を急峻化する性質を有する。特に、この急峻化効果は、空間方向のＬＰＦのフィルタサイズを大きくすることで、高めることができる。なお、ここでは抽出部１２０がバイラテラルフィルタ１２０ａを用いてエッジの勾配を急峻化する場合を説明したが、これに限定されるものではない。例えば、抽出部１２０は、エッジ保存型平滑化フィルタの一つであるイプシロンフィルタを用いてエッジの勾配を急峻化しても良い。

図３は、抽出部の処理を説明するための図である。図３の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、例えば、０〜２５５の２５６階調で表される。例えば、抽出部１２０は、図２に示した入力画像にバイラテラルフィルタ１２０ａを適用することで、図３に示す平滑化画像を生成する。この平滑化画像の特徴は、図２に示した入力画像と比べてエッジの幅が細くなるとともに、入力画像のテクスチャ（図２においてレベル値が波打った状態になっている部分）が消失していることである。

また、例えば、抽出部１２０は、バイラテラルフィルタ１２０ａによる平滑化画像からハイパスフィルタ１２０ｂを用いて高周波成分を抽出することで、エッジ成分を抽出する。例えば、抽出部１２０は、バイラテラルフィルタ１２０ａにより平滑化された平滑化画像にＬＰＦを適用し、ＬＰＦ画像を生成する。そして、抽出部１２０は、生成したＬＰＦ画像と平滑化画像との差分を算出することで、エッジ成分を抽出する。

図４及び図５は、抽出部の処理を説明するための図である。図４及び図５の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。図４のレベル値は、例えば、０〜２５５の２５６階調で表され、図５のレベル値は、−１２８〜１２８の２５６階調で表される。例えば、抽出部１２０は、図３に示した平滑化画像にＬＰＦを適用することで、図４に示すＬＰＦ画像を生成する。そして、抽出部１２０は、図３に示した平滑化画像から図４に示したＬＰＦ画像を減算することで、図５に示すエッジ成分を抽出する。なお、抽出部１２０が適用するＬＰＦのフィルタサイズは、例えば、５×５である。ただし、フィルタサイズは、この例示に限るものではなく、画像処理装置１００を利用する者が任意のサイズに設定して良い。また、例えば、フィルタサイズは、受付部１１０が拡大画像を受け付けた場合には、受け付けた拡大画像の拡大率に応じてサイズを変更するようにしても良い。

補正部１３０は、抽出部１２０により抽出されたエッジ成分に基づいて、入力画像を補正する。例えば、補正部１３０は、抽出部１２０により抽出されたエッジ成分のレベル値と、入力画像のレベル値とを加算することで、入力画像を補正する。

図６は、補正部の処理を説明するための図である。図６の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、例えば、０〜２５５の２５６階調で表される。例えば、補正部１３０は、図５に示したエッジ成分のレベル値と、図２に示した入力画像のレベル値とを加算することで、図６に示す補正画像を生成する。この補正画像の特徴は、図２に示した入力画像と比べてエッジの幅が細くなるとともに、入力画像のテクスチャが残っていることである。なお、ここでは、補正部１３０がエッジ成分のレベル値をそのまま加算する場合を説明したが、これに限定されるものではない。例えば、補正部１３０は、０〜１の間の任意の値を補正率として設定しておき、エッジ成分のレベル値に補正率を乗じた値を入力画像のレベル値に加算するようにしても良い。

出力部１４０は、補正部１３０により生成された補正画像を出力する。例えば、出力部１４０は、モニタやディスプレイ、タッチパネルなどの表示装置に補正画像を出力する。また、例えば、出力部１４０は、グラフィックスＬＳＩやグラフィックスメモリ、半導体チップなどの他の画像処理装置に補正画像を出力する。

次に、実施例１に係る画像処理装置１００の処理手順について説明する。図７は、実施例１に係る画像処理装置の処理手順を示すフローチャートである。図７に示す処理は、例えば、受付部１１０が画像の入力を受け付けたことを契機として実行される。

図７に示すように、受付部１１０が画像の入力を受け付けると（ステップＳ１０１，Ｙｅｓ）、抽出部１２０は、入力画像にバイラテラルフィルタ１２０ａを適用し、入力画像を平滑化する（ステップＳ１０２）。

抽出部１２０は、平滑化した画像からエッジ成分を抽出する（ステップＳ１０３）。つまり、抽出部１２０は、平滑化画像にＬＰＦを適用し、ＬＰＦ画像を生成する。そして、抽出部１２０は、生成したＬＰＦ画像と平滑化画像との差分を算出することで、エッジ成分を抽出する。

補正部１３０は、抽出部１２０により抽出されたエッジ成分に基づいて、入力画像を補正する（ステップＳ１０４）。例えば、補正部１３０は、抽出部１２０により抽出されたエッジ成分のレベル値と、入力画像のレベル値とを加算することで、入力画像を補正する。

次に、実施例１に係る画像処理装置１００の効果について説明する。画像処理装置１００は、入力された入力画像に、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタを用いて平滑化し、平滑化された画像からハイパスフィルタを用いて高周波成分を抽出することで、エッジ成分を抽出する。画像処理装置１００は、抽出したエッジ成分に基づいて、入力画像を補正する。このため、画像処理装置１００は、入力画像のエッジの勾配を急峻にするので、エッジを鮮鋭化することができる。例えば、画像処理装置１００は、ピンぼけの画像や拡大画像などのように、入力画像のエッジがなまっていても、エッジの勾配を急峻にすることで、エッジを鮮鋭化することができる。

実施例２に係る画像処理装置の機能構成について説明する。実施例２では、エッジ強調済みの画像が拡大された画像が画像処理装置に入力される場合を説明する。図８は、実施例２に係る画像処理装置の機能構成を示す図である。図８に示すように、この画像処理装置２００は、受付部２１０と、決定部２２０と、第１の抽出部２３０と、第２の抽出部２４０と、算出部２５０と、補正部２６０と、出力部２７０とを有する。

受付部２１０は、図１に示した受付部１１０と同様の機能を有する。また、受付部２１０は、入力画像として拡大された画像を受け付けた場合には、受け付けた拡大画像の拡大率を受け付ける。例えば、画像処理装置２００が適用されたデジタルカメラや携帯電話、スマートフォン、車載モニタ、パーソナルコンピュータなどの装置において画像が拡大された場合には、受付部２１０は、拡大画像とともに拡大画像の拡大率を受け付ける。

図９は、入力画像の一例を示す図である。図９には、エッジ強調済みの画像、すなわちエッジの外側近傍に、オーバーシュートまたはアンダーシュートがついた状態の画像が拡大された場合の画像を例示する。図９の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、例えば、０〜２５５の２５６階調で表される。例えば、受付部２１０は、図９に示すように、エッジ強調済みの画像が拡大された場合の画像を入力画像として受け付ける。また、受付部２１０は、図９に示した入力画像とともに入力画像の拡大率を受け付ける。なお、ここでは、エッジ強調済みの画像が拡大された場合の画像を受け付ける場合を説明するが、これに限定されるものではない。例えば、受付部２１０は、図２に示した入力画像を受け付けるようにしても良い。

決定部２２０は、入力画像の拡大率に応じてフィルタサイズを決定する。例えば、決定部２２０は、拡大率とフィルタサイズとを対応づけたテーブルを保持する。決定部２２０は、テーブルを参照することで、受付部２１０が受け付けた入力画像の拡大率に応じて、第１の抽出部２３０及び第２の抽出部２４０で適用されるフィルタサイズをそれぞれ決定する。具体的には、決定部２２０は、入力画像の拡大率が２倍であった場合には、第１の抽出部２３０で適用されるフィルタサイズを５×５に決定し、第２の抽出部２４０で適用されるフィルタサイズを７×７に決定する。なお、拡大率に応じて決定されるフィルタサイズは、この例示に限定されるものではなく、画像処理装置２００を利用する者が任意のサイズに設定して良い。

第１の抽出部２３０は、図１に示した抽出部１２０と同様の機能を有する。例えば、第１の抽出部２３０は、図９に示した入力画像にバイラテラルフィルタ２３０ａを適用することで、図３に示した平滑化画像を生成する。この平滑化画像の特徴は、図９に示した入力画像と比べてエッジの幅が細くなり、オーバーシュートやアンダーシュート、テクスチャが消失していることである。

また、第１の抽出部２３０は、バイラテラルフィルタ２３０ａによる平滑化画像からハイパスフィルタ２３０ｂを用いて高周波成分を抽出することで、エッジ成分を抽出する。例えば、第１の抽出部２３０は、バイラテラルフィルタ２３０ａを用いて平滑化した平滑化画像に、決定部２２０により決定されたフィルタサイズでＬＰＦを適用し、ＬＰＦ画像を生成する。そして、第１の抽出部２３０は、生成したＬＰＦ画像と平滑化画像との差分を算出することで、エッジ成分を抽出する。

例えば、第１の抽出部２３０は、図３に示した平滑化画像に、決定部２２０により決定されたフィルタサイズでＬＰＦを適用することで、図４に示すＬＰＦ画像を生成する。そして、第１の抽出部２３０は、図３に示した平滑化画像から図４に示したＬＰＦ画像を減算することで、図５に示すエッジ成分を抽出する。なお、第１の抽出部２３０は、抽出部の一例である。

第２の抽出部２４０は、入力画像からハイパスフィルタ２４０ａを用いて高周波成分を抽出する。例えば、第２の抽出部２４０は、受付部２１０により受け付けた入力画像に、決定部２２０により決定されたフィルタサイズでＬＰＦを適用し、ＬＰＦ画像を生成する。そして、第２の抽出部２４０は、生成したＬＰＦ画像と入力画像との差分を算出することで、高周波成分を抽出する。なお、第２の抽出部２４０は、強調用抽出部の一例である。

図１０及び図１１は、第２の抽出部の処理を説明するための図である。図１０及び図１１の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。図１０のレベル値は、例えば、０〜２５５の２５６階調で表され、図１１のレベル値は、−１２８〜１２８の２５６階調で表される。例えば、第２の抽出部２４０は、図９に示した入力画像に、決定部２２０により決定されたフィルタサイズでＬＰＦを適用することで、図１０に示すＬＰＦ画像を生成する。そして、第２の抽出部２４０は、図９に示した入力画像から図１０に示したＬＰＦ画像を減算することで、図１１に示す高周波成分を抽出する。

算出部２５０は、入力画像に含まれる各画素について、補正部２６０により補正される程度を示す補正率を算出する。例えば、算出部２５０は、第１の抽出部２３０により生成されたエッジ成分のレベル値の絶対値を取得し、取得した絶対値から低周波成分を抽出し、抽出した低周波成分のレベル値が高いほど高くなるように補正率を算出する。

図１２及び図１３は、算出部の処理を説明するための図である。図１２及び図１３の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、例えば、０〜２５５の２５６階調で表される。例えば、算出部２５０は、第１の抽出部２３０により抽出されたエッジ成分のレベル値の絶対値を取得し、取得した絶対値から低周波成分を抽出し、抽出した低周波成分のレベル値が高いほど高くなるように補正率を算出する。例えば、算出部２５０は、図５に示したエッジ成分のレベル値の絶対値を取得し、図１２に示す絶対値取得結果を生成する。算出部２５０は、生成した絶対値取得結果にＬＰＦを適用することで、図１３に示すＬＰＦ画像を生成する。そして、算出部２５０は、生成したＬＰＦ画像において最も高いレベル値を有する画素の補正率を１とし、最も低いレベル値を有する画素の補正率を０として、レベル値に応じた多段階の補正率を各画素に割り当てる。なお、各画素の位置に補正率を割り当てた情報は、補正マップとも称される。この補正マップの特徴は、エッジ部分の画素にはエッジ部分以外の画素と比べて大きい補正率が割り当てられ、エッジ部分以外の画素にはエッジ部分の画素と比べて小さい補正率が割り当てられることである。つまり、補正マップは、入力画像のエッジ部分を示す。また、補正率を割り当てる方法は、上記の方法に限定されるものではない。例えば、算出部２５０は、閾値以上のレベル値を有する画素に補正率１を割り当て、閾値未満のレベル値を有する画素に補正率０を割り当てるようにしても良い。

補正部２６０は、入力画像のエッジ部分と、第２の抽出部２４０により抽出された高周波成分のエッジ部分とを入れ替え、入れ替えた画像を、第１の抽出部２３０により抽出されたエッジ成分に基づいて補正する。

図１４及び図１５は、補正部の処理を説明するための図である。図１４及び図１５の縦軸は画素のレベル値を示し、横軸は画素の位置を示す。このレベル値は、例えば、０〜２５５の２５６階調で表される。例えば、補正部２６０は、図１１に示した高周波成分に含まれる各画素のレベル値に、各画素の位置に割り当てられた補正率を乗算する。そして、補正部２６０は、補正率を乗じた高周波成分のレベル値を、図９に示した入力画像のレベル値から減算することで、図１４に示す低周波成分を抽出する。ここで、エッジ部分の画素にはエッジ部分以外の画素と比べて大きい補正率が割り当てられているので、エッジ部分のオーバーシュートやアンダーシュートは除去される。一方、エッジ部分以外の画素にはエッジ部分の画素と比べて小さい補正率が割り当てられているので、エッジ部分以外のテクスチャは残る。

例えば、補正部２６０は、第１の抽出部２３０により生成されたエッジ成分、つまり図５に示したエッジ成分に含まれる各画素のレベル値に、各画素の位置に割り当てられた補正率を乗算する。そして、補正部２６０は、補正率を乗じたエッジ成分のレベル値を、図１４に示した低周波成分のレベル値に加算することで、図１５に示す補正画像を生成する。この補正画像の特徴は、図９に示した入力画像と比べてエッジの幅が細くなり、入力画像のテクスチャが残っていることである。この補正部２６０の処理は、下記の式（１）で表される。

Ｏ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−ａ１×ＨＰＦ１（Ｉ（ｘ，ｙ））＋ａ２×ＨＰＦ２（ＢＬＦ（Ｉ（ｘ，ｙ）））・・・（１）

ここで、（ｘ，ｙ）は、画像の水平方向をｘ軸とし、垂直方向をｙ軸とした２次元座標系における各画素の座標を示す。また、Ｏ（ｘ，ｙ）は、補正画像の座標（ｘ，ｙ）における画素のレベル値を示す。また、Ｉ（ｘ，ｙ）は、入力画像の座標（ｘ，ｙ）における画素のレベル値を示す。また、ＨＰＦ１（Ｌ）は、第２の抽出部２４０のハイパスフィルタ２４０ａをレベル値Ｌに適用した値を示す。つまり、ＨＰＦ１（Ｉ（ｘ，ｙ））は、第２の抽出部２４０により抽出された高周波成分に含まれる座標（ｘ，ｙ）における画素のレベル値を示す。また、ＢＬＦ（Ｌ）は、第１の抽出部２３０のバイラテラルフィルタ２３０ａをレベル値Ｌに適用した値を示す。また、ＨＰＦ２（Ｌ）は、第１の抽出部２３０のハイパスフィルタ２３０ｂをレベル値Ｌに適用した値を示す。つまり、ＨＰＦ２（ＢＬＦ（Ｉ（ｘ，ｙ）））は、第１の抽出部２３０により抽出されたエッジ成分に含まれる座標（ｘ，ｙ）における画素のレベル値を示す。また、ａ１及びａ２は、算出部２５０により算出された補正率を示す。つまり、補正部２６０は、入力画像に含まれる画素について式（１）を適用することで、補正画像を生成する。なお、式（１）については、この例示に限定されるものではない。例えば、補正率ａ２は、画像処理装置２００を利用する者が任意の値に設定して良い。特に、この補正率ａ２に大きい値を設定するほどエッジの勾配を急峻にすることができる。例えば、補正率ａ２は、１より大きい値を設定しても良い。

出力部２７０は、補正部２６０により生成された補正画像を出力する。例えば、出力部２７０は、モニタやディスプレイ、タッチパネルなどの表示装置に補正画像を出力する。また、例えば、出力部２７０は、グラフィックスＬＳＩやグラフィックスメモリ、半導体チップなどの他の画像処理装置に補正画像を出力する。

次に、実施例２に係る画像処理装置２００の処理手順について説明する。図１６は、実施例２に係る画像処理装置の処理手順を示すフローチャートである。図１６に示す処理は、例えば、受付部２１０が画像の入力を受け付けたことを契機として実行される。

図１６に示すように、受付部２１０が画像の入力を受け付けると（ステップＳ２０１，Ｙｅｓ）、決定部２２０は、入力画像の拡大率に応じてフィルタサイズを決定する（ステップＳ２０２）。第１の抽出部２３０は、入力画像にバイラテラルフィルタ２３０ａを適用し、入力画像を平滑化する（ステップＳ２０３）。

第１の抽出部２３０は、平滑化画像に基づいて、エッジ成分を抽出する（ステップＳ２０４）。つまり、第１の抽出部２３０は、平滑化画像に、決定部２２０により決定されたフィルタサイズでＬＰＦを適用し、ＬＰＦ画像を生成する。そして、第１の抽出部２３０は、生成したＬＰＦ画像と平滑化画像との差分を算出することで、エッジ成分を抽出する。

第２の抽出部２４０は、入力画像から高周波成分を抽出する（ステップＳ２０５）。つまり、第２の抽出部２４０は、受付部２１０により受け付けた入力画像に、決定部２２０により決定されたフィルタサイズでＬＰＦを適用し、ＬＰＦ画像を生成する。そして、第２の抽出部２４０は、生成したＬＰＦ画像と入力画像との差分を算出することで、高周波成分を抽出する。

算出部２５０は、入力画像に含まれる各画素について補正率を算出する（ステップＳ２０６）。例えば、算出部２５０は、第１の抽出部２３０により生成されたエッジ成分のレベル値の絶対値を取得し、取得した絶対値から低周波成分を抽出し、抽出した低周波成分のレベル値が高いほど高くなるように補正率を算出する。

補正部２６０は、入力画像を補正する（ステップＳ２０７）。つまり、補正部２６０は、入力画像のエッジ部分と、第２の抽出部２４０により抽出された高周波成分のエッジ部分とを入れ替え、入れ替えた画像を、第１の抽出部２３０により抽出されたエッジ成分に基づいて補正する。

なお、上記の処理手順のうち、フィルタサイズを決定する処理であるステップＳ２０２の処理は、必ずしも実行されなくても良い。つまり、ステップＳ２０１の処理を実行した後に、ステップＳ２０３の処理を実行するようにしても良い。また、補正率を算出する処理であるステップＳ２０６の処理は、必ずしも実行されなくても良い。つまり、ステップＳ２０５の処理を実行した後に、ステップＳ２０７の処理を実行するようにしても良い。

また、上記の処理手順は、必ずしも上述した順序で実行される必要はない。例えば、フィルタサイズを決定する処理であるステップＳ２０２の処理は、入力画像を平滑化する処理であるステップＳ２０３の処理の後に実行されても良い。

次に、実施例２に係る画像処理装置２００の効果について説明する。画像処理装置２００は、入力された入力画像に、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタを用いて平滑化し、平滑化された画像からハイパスフィルタを用いて高周波成分を抽出することで、エッジ成分を抽出する。画像処理装置２００は、入力画像からハイパスフィルタを用いて高周波成分を抽出する。画像処理装置２００は、入力画像のエッジ部分と、抽出した高周波成分のエッジ部分とを入れ替え、入れ替えた画像を、エッジ成分に基づいて補正する。このため、画像処理装置２００は、輪郭強調処理済みの画像が拡大された場合であっても、入力画像のエッジの勾配を急峻にするので、エッジを鮮鋭化することができる。例えば、画像処理装置２００は、輪郭強調処理済みの画像が拡大された場合であっても、拡大によってなまったエッジの勾配を急峻にするので、エッジを鮮鋭化することができる。また、例えば、画像処理装置２００は、輪郭強調処理済みの画像が拡大された場合であっても、拡大されたオーバーシュートやアンダーシュートを取り除くことで、不自然に強調されたエッジの輪郭を取り除くことができる。

また、画像処理装置２００は、入力画像の拡大率に応じてフィルタサイズを決定する。画像処理装置２００は、決定したフィルタサイズで平滑化画像から高周波成分を抽出する。画像処理装置２００は、決定したフィルタサイズで入力画像から高周波成分を抽出する。このため、画像処理装置２００は、入力画像が拡大された画像であっても、入力画像から高周波成分を適切に抽出することができる。

さて、これまで本発明の実施例について説明したが、上述した実施例以外にも、その他の実施例にて実施されても良い。そこで、以下では、その他の実施例について説明する。

上記の実施例１において説明した画像処理装置１００は、クライアントサーバシステムにも適用できる。図１７は、クライアントサーバシステムへの適用例を説明するための図である。図１７に示すクライアントサーバシステムには、サーバ装置２０と、クライアント端末３０ａ〜３０ｃとがネットワーク１０を介して接続される。このサーバ装置２０は、上記の実施例において説明した画像処理装置１００，２００と同様の機能を有する。なお、ここでは、クライアント端末３０ａ〜３０ｃを区別なく述べる場合にクライアント端末３０と総称する。このクライアントサーバシステムにおいてサーバ装置２０をクラウドとし、クライアント端末３０からクラウドであるサーバ装置２０へ画像を送信させる。そして、クライアント端末３０から送信された画像について画像処理装置１００，２００と同様の処理をサーバ装置２０に実行させ、出力画像をサーバ装置２０に保存させたり、クライアント端末３０へ応答させたりすることもできる。

また、実施例１において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。例えば、上述した画像処理装置１００の処理は、受付部１１０が画像を受け付けたことを契機として自動的に開始されるものと説明したが、利用者の命令によって手動的に開始されても良い。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、画像処理装置１００，２００の処理対象となる画像のレベル値は、ＲＧＢ値を用いることができる。

また、図１及び図８に示した画像処理装置１００，２００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、画像処理装置１００，２００の構成の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図８に示した算出部２５０と補正部２６０とを統合して構成するようにしても良い。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central Processing Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、或いはワイヤードロジックによるハードウェアとして実現され得る。

また、画像処理装置１００，２００は、画像処理装置１００，２００の各機能を既知の情報処理装置に搭載することによって実現することもできる。既知の情報処理装置は、例えば、パーソナルコンピュータ、ワークステーション、携帯電話、ＰＨＳ（Personal Handy-phone System）端末、移動体通信端末またはＰＤＡ（Personal Digital Assistant）などの装置に対応する。

図１８は、画像処理プログラムを実行するコンピュータを示す図である。図１８に示すように、コンピュータ３００は、ユーザからデータの入力を受け付ける入力装置３０１と、モニタ３０２と、記憶媒体からプログラム等を読み取る媒体読み取り装置３０３と、他の装置とデータの授受を行うインターフェース装置３０４とを有する。また、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０５と、各種情報を一時記憶するＲＡＭ（Random Access Memory）３０６と、ハードディスク装置３０７を有する。また、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置３０７は、図１及び図８に示した抽出部１２０、第１の抽出部２３０、第２の抽出部２４０、補正部１３０，２６０、決定部２２０及び算出部２５０の各処理部と同様の機能を有する各種プログラムを記憶する。

ＣＰＵ３０５が各種プログラムをハードディスク装置３０７から読み出してＲＡＭ３０６に展開して実行することにより、各種プログラムは、各種プロセスとして機能する。すなわち、各種プログラムは、抽出部１２０、第１の抽出部２３０、第２の抽出部２４０、補正部１３０，２６０、決定部２２０及び算出部２５０の各処理部と同様のプロセスとして機能する。

なお、上記の各種プログラムは、必ずしもハードディスク装置３０７に記憶されている必要はない。例えば、コンピュータが読み取り可能な記録媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしても良い。コンピュータが読み取り可能な記録媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続された装置にこのプログラムを記憶させておき、コンピュータ３００がこれらからプログラムを読み出して実行するようにしても良い。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）入力された入力画像に、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタを用いて平滑化し、平滑化された画像からハイパスフィルタを用いて高周波成分を抽出することで、エッジ成分を抽出する抽出部と、
前記抽出部により抽出されたエッジ成分に基づいて、前記入力画像を補正する補正部と
を備えることを特徴とする画像処理装置。

（付記２）前記入力画像はエッジが強調された画像であって、該入力画像からハイパスフィルタを用いて高周波成分を抽出する強調用抽出部をさらに備え、
前記補正部は、前記入力画像のエッジ部分と、前記強調用抽出部により抽出された高周波成分のエッジ部分とを入れ替え、入れ替えた画像を、前記エッジ成分に基づいて補正することを特徴とする付記１に記載の画像処理装置。

（付記３）前記入力画像の拡大率に応じてフィルタサイズを決定する決定部をさらに備え、
前記抽出部は、前記決定部により決定されたフィルタサイズで平滑化された画像から高周波成分を抽出し、
前記強調用抽出部は、前記決定部により決定されたフィルタサイズで前記入力画像から高周波成分を抽出することを特徴とする付記１又は２に記載の画像処理装置。

（付記４）コンピュータに、
入力された入力画像に、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタを用いて平滑化し、平滑化された画像からハイパスフィルタを用いて高周波成分を抽出することで、エッジ成分を抽出し、
前記エッジ成分を抽出する処理により抽出されたエッジ成分に基づいて、前記入力画像を補正する
処理を実行させることを特徴とする画像処理プログラム。

（付記５）前記入力画像はエッジが強調された画像であって、該入力画像からハイパスフィルタを用いて高周波成分を抽出する処理をさらに実行させ、
前記入力画像を補正する処理は、前記入力画像のエッジ部分と、前記強調用抽出部により抽出された高周波成分のエッジ部分とを入れ替え、入れ替えた画像を、前記エッジ成分に基づいて補正することを特徴とする付記４に記載の画像処理プログラム。

（付記６）前記入力画像の拡大率に応じてフィルタサイズを決定する処理をさらに実行させ、
前記エッジ成分を抽出する処理は、前記フィルタサイズを決定する処理により決定されたフィルタサイズで平滑化された画像から高周波成分を抽出し、
前記高周波成分を抽出する処理は、前記フィルタサイズを決定する処理により決定されたフィルタサイズで前記入力画像から高周波成分を抽出することを特徴とする付記４又は５に記載の画像処理プログラム。

（付記７）コンピュータが実行する画像処理方法であって、
入力された入力画像に、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタを用いて平滑化し、平滑化された画像からハイパスフィルタを用いて高周波成分を抽出することで、エッジ成分を抽出し、
前記エッジ成分を抽出する処理により抽出されたエッジ成分に基づいて、前記入力画像を補正する
ことを特徴とする画像処理方法。

（付記８）前記入力画像はエッジが強調された画像であって、該入力画像からハイパスフィルタを用いて高周波成分を抽出する処理をさらに実行させ、
前記入力画像を補正する処理は、前記入力画像のエッジ部分と、前記強調用抽出部により抽出された高周波成分のエッジ部分とを入れ替え、入れ替えた画像を、前記エッジ成分に基づいて補正することを特徴とする付記７に記載の画像処理方法。

（付記９）前記入力画像の拡大率に応じてフィルタサイズを決定する処理をさらに実行させ、
前記エッジ成分を抽出する処理は、前記フィルタサイズを決定する処理により決定されたフィルタサイズで平滑化された画像から高周波成分を抽出し、
前記高周波成分を抽出する処理は、前記フィルタサイズを決定する処理により決定されたフィルタサイズで前記入力画像から高周波成分を抽出することを特徴とする付記７又は８に記載の画像処理方法。

１００ 画像処理装置
１１０ 受付部
１２０ 抽出部
１３０ 補正部
１４０ 出力部
２００ 画像処理装置
２１０ 受付部
２２０ 決定部
２３０ 第１の抽出部
２４０ 第２の抽出部
２５０ 算出部
２６０ 補正部
２７０ 出力部
３００ コンピュータ
３０１ 入力装置
３０２ モニタ
３０３ 装置
３０４ インターフェース装置
３０５ ＣＰＵ
３０６ ＲＡＭ
３０７ ハードディスク装置
３０８ バス

Claims (4)

1. 入力された入力画像に、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタを用いて平滑化し、平滑化された画像からハイパスフィルタを用いて高周波成分を抽出することで、エッジ成分を抽出する抽出部と、
   前記抽出部により抽出されたエッジ成分に基づいて、前記入力画像を補正する補正部と、
   前記入力画像はエッジが強調された画像であって、該入力画像からハイパスフィルタを用いて高周波成分を抽出する強調用抽出部と、を備え、
   前記補正部は、前記入力画像のエッジ部分と、前記強調用抽出部により抽出された高周波成分のエッジ部分とを入れ替え、入れ替えた画像を、前記エッジ成分に基づいて補正することを特徴とする画像処理装置。
2. 前記入力画像の拡大率に応じてフィルタサイズを決定する決定部をさらに備え、
   前記抽出部は、前記決定部により決定されたフィルタサイズで平滑化された画像から高周波成分を抽出し、
   前記強調用抽出部は、前記決定部により決定されたフィルタサイズで前記入力画像から高周波成分を抽出することを特徴とする請求項１に記載の画像処理装置。
3. コンピュータに、
   入力された入力画像に、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタを用いて平滑化し、平滑化された画像からハイパスフィルタを用いて高周波成分を抽出することで、エッジ成分を抽出し、
   前記入力画像はエッジが強調された画像であって、該入力画像からハイパスフィルタを用いて高周波成分を抽出し、
   前記入力画像のエッジ部分と、前記入力画像からハイパスフィルタを用いて抽出された高周波成分のエッジ部分とを入れ替え、入れ替えた画像を、前記エッジ成分を抽出する処理により抽出されたエッジ成分に基づいて補正する
   処理を実行させることを特徴とする画像処理プログラム。
4. コンピュータが実行する画像処理方法であって、
   入力された入力画像に、着目画素と画素値の差の大きな画素について重み付けを小さくするフィルタを用いて平滑化し、平滑化された画像からハイパスフィルタを用いて高周波成分を抽出することで、エッジ成分を抽出し、
   前記入力画像はエッジが強調された画像であって、該入力画像からハイパスフィルタを用いて高周波成分を抽出し、
   前記入力画像のエッジ部分と、前記入力画像からハイパスフィルタを用いて抽出された高周波成分のエッジ部分とを入れ替え、入れ替えた画像を、前記エッジ成分を抽出する処理により抽出されたエッジ成分に基づいて補正する
   ことを特徴とする画像処理方法。

Images