JP5336945B2

JP5336945B2 - 画像処理装置

Info

Publication number: JP5336945B2
Application number: JP2009153373A
Authority: JP
Inventors: 雄祐加藤
Original assignee: Renesas Electronics Corp
Current assignee: Renesas Electronics Corp
Priority date: 2009-06-29
Filing date: 2009-06-29
Publication date: 2013-11-06
Anticipated expiration: 2029-06-29
Also published as: JP2011010163A; US8411985B2; KR20110001880A; US20100329584A1

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に画像処理パイプラインによって画像処理を行う技術に関する。

デジタルカメラやスキャナ等の画像処理装置では、画像処理パイプラインによって、撮影もしくはスキャン等によって取り込んだ画像に対する補正やノイズリダイレクション等の画像処理が行われている。
ここで、図１０に画像処理パイプラインによる画像処理の一例を示す。図に示す画像処理パイプラインは、リニアリティ補正処理回路９１、シェーディング補正処理回路９２及びノイズリダクション処理回路９３を有する。画像処理パイプラインには、画像処理を行う画像に含まれる画素の画素値が入力される。画像処理パイプラインに含まれる各処理回路９１、９２、９３は、入力された画素値に応じて画像処理を行い、画像処理によって算出した画素値を出力する。

リニアリティ補正処理回路９１は、画像に含まれる画素値のリニアリティ(線形性)を回復する画像補正処理を行う。リニアリティ補正処理回路９１の画像処理部９１１は、入力された入力画素値に、入力画素値に応じた係数を乗算する。なお、画像処理部９１１は、リニアリティ補正の度合いを示すリニアリティ補正処理指定パラメータに基づいて、乗算する係数を特定する。また、リニアリティ補正処理指定パラメータは、任意の値が予め定められている。そして、画像処理部９１１は、入力画素値に係数を乗算して算出した画素値をシェーディング補正処理回路９２に出力する。

シェーディング補正処理回路９２は、画像における濃度のむらをなくす画像補正処理を行う。シェーディング補正処理回路９２の画像処理部９２１は、入力された入力画素値に、画像に含まれる画素のＸ，Ｙ座標位置のそれぞれについて定められた係数を乗算する。なお、画像処理部９２１は、シェーディング補正の度合いを示すシェーディング補正処理指定パラメータに基づいて、乗算する係数を特定する。また、シェーディング補正処理指定パラメータは、任意の値が予め定められている。そして、画像処理部９２１は、入力画素値に係数を乗算して算出した画素値をノイズリダクション処理回路９３に出力する。

ノイズリダクション処理回路９３は、画像におけるノイズを低減する画像処理を行う。ノイズリダクション処理回路９３の画像処理部９３１は、入力される入力画素値の全てに対して同一の強さで、入力画素値からノイズを低減した画素値を算出する。なお、画像処理部９３１は、ノイズリダクション処理の度合いを示すノイズリダクション処理指定パラメータに基づいて、ノイズを低減する強さを特定する。また、ノイズリダクション処理指定パラメータは、任意の値が予め定められている。つまり、画像に含まれる全ての画素に対して同一の強さでノイズリダクション処理が行われる。

図１０に示したような画像処理パイプラインでは、リニアリティ補正処理とシェーディング補正処理によって、画像に含まれる画素毎に異なる強さによる画像処理が行われる。そのため、リニアリティ補正処理とシェーディング補正処理が行われて生成される画像には、ノイズが強められた画素と、ノイズが強められていない画素が混在する。ところが、上述したような画像処理パイプラインでは、画像に含まれる全ての画素に対して同一の強さでノイズリダクション処理を行っているため、ノイズリダクション処理によって生成される画像の画質が低下してしまうという問題がある。

具体的には、ノイズが強められた画素に合わせた強さによって、ノイズリダクション処理を行うと、ノイズが強められていない画素に必要以上の強さによって処理が行われ、ノイズが強められていない画素の画質が劣化してしまうという問題がある。また、ノイズが強められていない画素に合わせた強さによって、ノイズリダクション処理を行うと、ノイズが強められた画素に必要な強度によって処理を行うことができず、ノイズが強められた画素におけるノイズが残ってしまうという問題がある。

このようにノイズリダクション処理に限られず、画像処理パイプラインにおいては、前段において行われた画像処理内容に応じて、後段における画像処理を行っていないため、画像処理パイプラインにおける画像処理によって生成される画像の画質が低下してしまうという問題がある。

なお、特許文献１には、タイミング制御やハードウェア構成を簡素化でき、画像処理装置の開発期間の短縮化、低コスト化を図ることができるようにするために、画素データの属性を識別するためのタグ情報に基づいて、装置全体を制御するシーケンサからの指示がなくても、画素データの属性に対応した画像処理を識別して、画像データに施すことを可能とする技術が開示されている。しかし、特許文献１は、画像処理パイプラインにおける画像処理によって生成される画像の画質を向上させるための技術を開示したものではない。

また、特許文献２には、画像処理を済ませた処理済み画像を入力画像に戻す復元処理に必要な履歴情報を生成し、この履歴情報によって、処理済み画像を画像処理前の入力画像に戻すことができる技術が開示されている。しかし、特許文献２は、画像処理パイプラインについての技術を開示したものではない。

特開２００５−１２２２５７号公報特開２００６−１９６９９２号公報

背景技術として説明したように、画像処理パイプラインにおいては、前段において行われた画像処理内容に応じて、後段における画像処理を行っていないため、画像処理パイプラインにおける画像処理によって生成される画像の画質が低下してしまうという問題点があるが、特許文献１及び２に開示の技術を適用しても、上述した問題点を解決することはできない。

本発明の第１の態様にかかる画像処理装置は、第１及び第２の画像処理工程を含む画像処理をパイプライン方式によって行う画像処理装置であって、入力された画像データに対して前記第１の画像処理工程を行うと共に、前記第１の画像処理工程における処理内容を記録した履歴情報を生成して出力する第１の処理部と、前記出力された履歴情報に基づいて、前記第１の画像処理工程後の画像データに対して、前記第２の画像処理工程を行う第２の処理部と、を備えるものである。

これにより、前段において行われた画像処理内容に応じて、後段における画像処理を行うことができるため、画像処理パイプラインにおける画像処理によって生成される画像の画質を向上させることができる。

本発明の第２の態様にかかる画像処理方法は、第１及び第２の画像処理工程を含む画像処理をパイプライン方式によって行う画像処理方法であって、画像データに対して第１の画像処理工程を行い、前記第１の画像処理工程における処理内容を記録した履歴情報を生成して出力し、前記出力された履歴情報に基づいて、前記第１の画像処理工程後の画像データに対して、前記第２の画像処理工程を行うものである。

本発明の第３の態様にかかる画像処理プログラムは、パイプライン方式によって行う画像処理に含まれる第１及び第２の画像処理工程のうち、前記第２の画像処理工程をプロセッサに実行させる画像処理プログラムであって、画像データに対して行われた第１の画像処理工程における処理内容を記録した履歴情報を取得する処理と、前記取得した履歴情報に基づいて、前記第１の画像処理工程後の画像データに対して、前記第２の画像処理工程を行う処理とをプロセッサに実行させるものである。

上述した各態様により、画像処理パイプラインにおける画像処理によって生成される画像の画質を向上させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の実施の形態１にかかる画像処理装置の構成図である。本発明の実施の形態１にかかる画像処理装置における画像処理パイプラインを示す図である。本発明の実施の形態１にかかるリニアリティ補正処理を説明するための図である。本発明の実施の形態１にかかるノイズリダクション処理を示す図である。本発明の実施の形態２にかかる画像処理装置の構成図である。本発明の実施の形態２にかかる画像処理装置における画像処理パイプラインを示す図である。本発明の実施の形態２にかかるエッジ強調処理を示す図である。本発明の実施の形態３にかかる画像処理装置の構成図である。本発明の実施の形態３にかかる画像処理装置における画像処理パイプラインを示す図である。背景技術にかかる画像処理パイプラインを示す図である。

本発明の実施の形態１．
まず、図１を参照して本発明の実施の形態１にかかる画像処理装置について説明する。なお、本実施の形態１では、画像処理装置をデジタルカメラに適用した一例について説明する。

デジタルカメラは、画像処理装置１、レンズ２、センサ３、モニタ４及び画像記憶装置５を有する。
画像処理装置１は、リニアリティ補正処理回路１１、シェーディング補正処理回路１２、ノイズリダクション処理回路１３、ＣＰＵ(Central Processing Unit)１７、ＲＡＭ(Random Access Memory)１８、パラメータ記憶装置１９を有する。なお、リニアリティ補正処理回路１１、シェーディング補正処理回路１２及びノイズリダクション処理回路１３によって、画像処理パイプライン１０を構成する。また、各処理回路１１、１２、１３、ＣＰＵ１７、ＲＡＭ１８及びパラメータ記憶装置１９は、例えば、バスによって相互に接続されている。

リニアリティ補正処理回路１１は、センサ３の特性に応じて、画像に含まれる画素値のリニアリティを回復する画像補正処理を行う。リニアリティ補正処理回路１１は、画像処理部１１１及び履歴生成部１１２を含む。
画像処理部１１１は、入力された入力画素値に、入力画素値に応じた係数を乗算する。なお、画像処理部１１１は、ＣＰＵ１７から指定されたリニアリティ補正処理指定パラメータに基づいて、乗算する係数を特定する。リニアリティ補正処理指定パラメータは、リニアリティ補正の度合いを示すパラメータである。
履歴生成部１１２は、画素値に乗算した係数に基づいた情報を示す処理履歴として生成する。

シェーディング補正処理回路１２は、レンズ２の特性によって生じた画像における濃度のむらをなくす画像補正処理を行う。シェーディング補正処理回路１２は、画像処理部１２１及び履歴生成部１２２を含む。
画像処理部１２１は、入力された入力画素値に、画像に含まれる画素のＸ，Ｙ座標位置のそれぞれについて定められた係数を乗算する。なお、画像処理部１２１は、ＣＰＵ１７から指定されたシェーディング補正処理指定パラメータに基づいて、乗算する係数を特定する。シェーディング補正処理指定パラメータは、シェーディング補正の度合いを示すパラメータである。
履歴生成部１２２は、画素値に乗算した係数に基づいた情報を示す処理履歴として生成する。

ノイズリダクション処理回路１３は、画像におけるノイズを低減する画像処理を行う。ノイズリダクション処理回路１３は、画像処理部１３１及びパラメータ決定部１３２を含む。
画像処理部１３１は、入力される入力画素値のそれぞれに適した強さで、入力画素値からノイズを低減した画素値を算出する。なお、画像処理部１３１はパラメータ決定部１３２から入力されたパラメータに基づいて、ノイズを低減する強さを特定する。このパラメータは、ノイズリダクション処理指定パラメータが、前段において行われた画像処理内容に応じて調整されたものである。
パラメータ決定部１３２は、ＣＰＵ１７から指定されたノイズリダクション処理指定パラメータ及び入力された履歴情報に基づいて、入力画素値のそれぞれに適したパラメータを決定する。ノイズリダクション処理指定パラメータは、ノイズリダクション処理の度合いを示すパラメータである。

ＣＰＵ１７は、各処理回路１１、１２、１３の動作の開始や停止等の制御や、各処理回路１１、１２、１３に対して指定するパラメータをパラメータ記憶装置１９から取得して、取得したパラメータを各処理回路１１、１２、１３に対して指定する。
ＲＡＭ１８は、ＣＰＵ１７の動作や、各処理回路１１、１２、１３の制御に必要な情報が格納される。
パラメータ記憶装置１９は、各処理回路１１、１２、１３に指定するパラメータを格納する。パラメータ記憶装置１９は、例えば、フラッシュメモリやＨＤＤ(Hard Disk Drive)等の記憶装置である。パラメータ記憶装置１９には、動画用のパラメータや、静止画用のパラメータ等が格納されている。

レンズ２は、撮影する被写体からの光を集光してセンサ３に結像する光学レンズである。
センサ３は、レンズ２によって結像された光像を電気信号に変換する光電素子である。センサ３は、例えば、ＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の半導体素子から構成される。センサ３は、この変換によって、撮影した画像を示す情報を生成する。画像を示す情報は、この画像に含まれる画素のそれぞれにおける画素値や、画像に対してＸ，Ｙ座標をとった場合における画素のＸ，Ｙ座標位置を示す情報を含む。

モニタ４は、画像パイプライン１０によって画像処理が行われた画像を示す情報を表示する。モニタ４は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ(Electro Luminescence)又はＰＤＰ(Plasma Display Panel)等の表示装置である。
画像記憶装置５は、画像処理が行われた画像を示す情報が格納される。画像記憶装置５は、例えば、ＳＤメモリーカード、ＳＤＨＣ(SD High Capacity)メモリーカード又はＳＤＸＣ(SD eXtended Capacity)メモリーカード等の記憶装置である。

続いて、図１及び図２を参照して本発明の実施の形態１にかかる画像処理装置の動作について説明する。図２は、本発明の実施の形態１にかかる画像処理装置における画像パイプラインを示す図である。

まず、被写体が撮影されると、センサ３は、レンズ２によって結像された被写体の光像を電気信号に変換して、撮影した画像を示す情報を生成する。そして、センサ３は、この画像に含まれる画素値をリニアリティ補正処理回路１１に出力する。
また、ＣＰＵ１７は、撮影された画像に応じて、パラメータ記憶装置１９から動画用のパラメータ又は静止画用のパラメータのいずれかを取得して、取得したＲＡＭ１８に格納する。なお、動画用のパラメータ又は静止画用のパラメータは、任意の値を予め定めてパラメータ記憶装置１９に格納しておくことができる。

なお、パラメータ記憶装置１９からは、リニアリティ補正処理回路１１に対して指定するリニアリティ補正処理指定パラメータ、シェーディング補正処理回路１２に対して指定するシェーディング補正処理指定パラメータ及びノイズリダクション処理回路１３に対して指定するノイズリダクション処理指定パラメータがＲＡＭ１８に格納される。
そして、ＣＰＵ１７は、ＲＡＭ１８に格納された各パラメータを各処理回路１１、１２、１３に出力することによって、パラメータを指定する。

リニアリティ補正処理回路１１の画像処理部１１１は、ＣＰＵ１７から入力されたリニアリティ補正処理指定パラメータに基づいて、センサ３から入力された入力画素値に応じた係数を入力画素値に乗算する。そして、画像処理部１１１は、入力画素値と係数とを乗算して算出した出力画素値をシェーディング補正処理回路１１に出力する。
ここで、画像処理部１１１において行われる画像処理は、式（１）によって表すことができる。なお、式(１)における"ｉｎ(ｘ，ｙ)"は入力画素値を示し、"ｆ(ｖａｌ)"はリニアリティ補正処理指定パラメータによって決定されるリニアリティ補正処理の入出力応答関数を示し、"ｏｕｔ(ｘ，ｙ)"は出力画素値を示す。

また、リニアリティ補正処理指定パラメータによって決定されるリニアリティ補正処理の入出力応答関数"ｆ(ｖａｌ)"は、図３に例示する関数６１として表すことができる。例えば、センサ３が関数６２のようにリニアリティを失って画素値を算出する特性を有している場合、関数６２と正反対の特性を有する関数６１として表せるリニアリティ補正処理の入出力応答関数"ｆ(ｖａｌ)"が決定されるようなリニアリティ補正処理指定パラメータがリニアリティ補正処理回路１１に対して指定される。画像処理部１１１は、リニアリティ補正処理の入出力応答関数"ｆ(ｖａｌ)"に基づいて、入力画素値に応じた係数を決定し、決定した係数を入力画素値に乗算することによって、センサ３の特性によって失われた画素値のリニアリティを回復した関数６０として示すような画素値に補正することができる。

また、リニアリティ補正処理回路１１の履歴生成部１１２は、画素値に乗算した係数に基づいた情報を処理履歴として生成し、生成した処理履歴を出力画素値と関連付けてシェーディング補正処理回路１２に出力する。
ここで、履歴生成部１１２が生成する処理履歴は、式(２)によって表すことができる。ここで、"ＩＮＴ(ｖａｌ)"は、ｖａｌの小数部分を切り捨てて、整数に変換する関数である。

式(２)に示すように、出力画素値の対数の整数部と、入力画素値の対数の整数部との差の値を処理履歴とする。このようにすることで、処理履歴によって、リニアリティ補正処理１１において画素値を大きくした度合いを知ることができる。

次に、シェーディング補正処理回路１２の画像処理部１２１は、ＣＰＵ１７から入力されたシェーディング補正処理指定パラメータによって画素のＸ，Ｙ座標位置のそれぞれについて特定される係数を、リニアリティ補正処理回路１１から入力された入力画素値に乗算する。そして、画像処理部１２１は、入力画素値と係数とを乗算して算出した出力画素値をノイズリダクション処理回路１３に出力する。
ここで、画像処理部１３１において行われる画像処理は、式（３）によって表すことができる。なお、式(３)における"ｉｎ(ｘ，ｙ)"は入力画素値を示し、"ａ(ｘ，ｙ)"はシェーディング補正処理指定パラメータによって決定されるシェーディング補正処理の入出力応答関数を示し、"ｏｕｔ(ｘ，ｙ)"は出力画素値を示す。

なお、シェーディング補正処理指定パラメータによって決定されるシェーディング補正処理の入出力応答関数"ａ(ｘ，ｙ)"は、レンズ２の特性に基づいて、レンズ２の特性によって生じた画像における濃度のむらをなくすように画素のＸ，Ｙ座標位置のそれぞれについて予め定められた値である。画像処理部１２１は、シェーディング補正処理の入出力応答関数"ａ(ｘ，ｙ)"に基づいて、入力画素値によって示される画素のＸ，Ｙ座標位置に対応するシェーディング補正処理の入出力応答関数"ａ(ｘ，ｙ)"の値を入力画素値に乗算することによって、レンズ２の特性によって生じた画像における濃度のむらをなくすように画素値を補正することができる。よって、シェーディング補正処理回路１２には、入力画素値とともに、入力画素値によって示される画素のＸ，Ｙ座標位置を示す情報も入力されている。この情報は、例えば、センサ３及び各処理回路１１、１２、１３が、画素値と関連づけて後段の処理回路に出力することによって、各処理回路１１、１２、１３は取得可能である。

また、シェーディング補正処理回路１２の履歴生成部１２２は、画素値に乗算した係数に基づいた情報を処理履歴として生成し、生成した処理履歴を出力画素値と関連づけてノイズリダクション処理回路１３に出力する。
ここで、履歴生成部１２２が生成する処理履歴は、式(４)によって表すことができる。なお、式(４)における"前段の処理履歴(ｘ，ｙ)"は前段であるリニアリティ補正処理回路１１から出力された処理履歴を示す。

式(４)に示すように、シェーディング補正処理の入出力応答関数"ａ(ｘ，ｙ)"の対数の整数部と、リニアリティ補正処理回路１１から出力された処理履歴とを加算した値を処理履歴とする。このようにすることで、処理履歴によって、リニアリティ補正処理１１及びシェーディング補正処理回路１２において画素値を大きくした度合いを知ることができる。

次に、ノイズリダクション処理回路１３の画像処理部１３１は、パラメータ決定部１３２から入力されたパラメータに基づいて、シェーディング補正処理回路１２から入力された入力画素値に適した強さで、入力画素値からノイズを低減した画素値を算出するノイズリダクション処理を行う。そして、画像処理部１３１は、ノイズリダクション処理によって算出した出力画素値をモニタ４や画像記憶装置５に出力する。

ここで、画像処理部１３１において行われる画像処理は、式(５)によって表すことができる。なお、式(５)における"ｉｎ(ｘ，ｙ)"は入力画素値を示し、"ｓ＋係数×前段の処理履歴(ｘ，ｙ)"はノイズリダクション処理の強度であるノイズリダクション強度パラメータを示し、"ｓ"はノイズリダクション処理指定パラメータを示し、"前段の処理履歴(ｘ，ｙ)"は前段であるシェーディング補正処理回路１２から出力された処理履歴を示す。

つまり、パラメータ決定部１３２は、ＣＰＵ１７から入力されたノイズリダクション処理指定パラメータと、予め定められた"係数"とシェーディング補正処理回路１２から入力された処理履歴を乗算した値とを加算した値を算出して、算出した値をノイズリダクション強度パラメータとして画像処理部１３１に出力している。なお、式(５)における"係数"の値は、任意の値を予め定めておくことができ、ノイズリダクション処理回路１３が内部のレジスタ等の記憶装置に有しておくようにしてもよく、パラメータ記憶装置１９に格納しておいて、ＣＰＵ１７がパラメータ記憶装置１９から取得して、ノイズリダクション処理回路１３に入力するようにしてもよい。

ここで、画像処理部１３１におけるノイズリダクション処理の詳細を図４に例示する。画像処理部１３１は、図４に例示するように、加重平均フィルタによって、処理対象となる入力画素値７１と、入力画素値７１によって示される入力画素の周辺画素における画素値との加重平均値を出力画素値７２として算出する。よって、ノイズリダクション処理回路１３は、入力画素とともに、周辺画素における画素値の入力も受けてから、ノイズリダクション処理を行っている。なお、周辺画素における画素値の入力は、事前に受けておくようにしてもよく、入力画素値と同時に受けるようにしてもよく、どのように取得するようにしてもよい。

ノイズリダクション強度パラメータは、加重平均フィルタにおける入力画素値と周辺画素値の重みづけをするための値であり、値が大きくなるに従って、図４に例示するように、入力画素値に対する周辺画素値の重みを大きくする。これにより、ノイズリダクション強度パラメータの値が大きくなるに従って、ノイズリダクション処理の強さが大きくなる。つまり、ノイズリダクション強度パラメータは、ノイズリダクション処理指定パラメータと入力される処理履歴の値を加算した値であるため、入力される処理履歴の大きさに比例して、ノイズを低減する強さが大きくなる。

このように、リニアリティ補正処理回路１１及びシェーディング補正処理回路１２において画素値を大きくした度合いに応じて、ノイズリダクション処理の強さを調整することができる。言い換えると、リニアリティ補正処理回路１１及びシェーディング補正処理回路１２において画素値が大きくされてノイズが強められた画素に対しては、それに応じた強いノイズリダクション処理を行うことができ、ノイズが強められていない画素に対しては、それに応じた弱いノイズリダクション処理を行うことができる。これにより、ノイズが強められていない画素に必要以上の強さによって処理が行われ、ノイズが強められていない画素の画質が劣化してしまわないようにすることができ、ノイズが強められた画素に必要な強度によって処理を行うことができず、ノイズが強められた画素においてノイズが残ってしまわないようにすることができる。

次に、モニタ４は、ノイズリダクション処理回路１３から入力された画素値に基づいた画像を出力する。
また、画像記憶装置５は、ノイズリダクション処理回路１３から入力された画素値に基づいた画像を示す情報を記憶する。

以上に説明したように、本実施の形態１によれば、処理履歴によってノイズリダクション処理対象の画素に対して行われた画像処理内容を知ることができる。そのため、画像処理パイプラインにおけるノイズリダクション処理において、画像処理対象の画素に対して行われた画像処理内容に応じた強さによってノイズリダクション処理を行うことができるため、ノイズリダクション処理によって生成される画像の画質を向上させることができる。
つまり、本実施の形態１によれば、前段において行われた画像処理内容に応じて、後段における画像処理を行うことができるため、画像処理パイプラインにおける画像処理によって生成される画像の画質を向上させることができる。

本発明の実施の形態２．
続いて、図５を参照して本発明の実施の形態２にかかる画像処理装置について説明する。図５は、本発明の実施の形態２にかかる画像処理装置である。なお、本実施の形態２では、実施の形態１と同様に、画像処理装置をデジタルカメラに適用した一例について説明する。
本実施の形態２にかかる画像処理装置は、ノイズリダクション処理回路１３を有さず、エッジ強調処理回路１４を有する点が実施の形態１と異なる。なお、実施の形態１と同様の構成要素については説明を省略する。

エッジ強調処理回路１４は、画像におけるエッジを強調する画像処理を行う。エッジ強調処理回路１４は、画像処理部１４１及びパラメータ決定部１４２を含む。
画像処理部１４１は、入力された画素値のそれぞれに適した強さで、入力された入力画素値からエッジを強調した画素値を算出する。なお、画像処理部１４１は、パラメータ決定部１４２から入力されたパラメータに基づいて、エッジを強調する強さを特定する。
パラメータ決定部１４２は、ＣＰＵ１７から指定されたパラメータ及び入力された履歴情報に基づいて、入力された入力画素値のそれぞれに適したパラメータを決定する。

続いて、図５及び図６を参照して本発明の実施の形態２にかかる画像処理装置の動作について説明する。図６は、本発明の実施の形態２にかかる画像処理装置における画像パイプラインを示す図である。なお、実施の形態１と同様の処理については説明を省略する。

被写体が撮影されてから、シェーディング補正処理回路１２において画像処理が行われるまでの動作については、ＣＰＵ１７がパラメータ記憶装置１９からノイズリダクション処理指定パラメータを取得せず、エッジ強調処理指定パラメータを取得して、ＲＡＭ１８に格納し、ＲＡＭ１８に格納されたエッジ強調処理指定パラメータをエッジ強調処理回路１４に出力する点が異なるが、それ以外は実施の形態１と同様であるため説明を省略する。また、本実施の形態２では、シェーディング補正処理回路１２は、算出した出力画素値をエッジ強調処理回路１４に出力する。

次に、エッジ強調処理回路１４の画像処理部１４１は、パラメータ決定部１４２から出力されたパラメータに基づいて、シェーディング補正処理回路１２から入力された入力画素値に適した強さで、入力画素値からエッジを強調した画素値を算出するエッジ強調処理を行う。そして、画像処理部１４１は、エッジ強調処理によって算出した出力画素値をモニタ４や画像記憶装置５に出力する。
ここで、画像処理部１４１において行われる画像処理は、式(６)によって表すことができる。なお、式(６)における"ｉｎ(ｘ，ｙ)"は入力画素値を示し、"ｓ−係数×前段の処理履歴(ｘ，ｙ)"はエッジ強調処理の強度であるエッジ強調強度パラメータを示し、"ｓ"はエッジ強調処理指定パラメータを示し、"前段の処理履歴(ｘ，ｙ)"は前段であるシェーディング補正処理回路１２から出力された処理履歴を示す。

つまり、パラメータ決定部１４２は、ＣＰＵ１７から入力されたエッジ強調処理指定パラメータから、予め定められた"係数"とシェーディング補正処理回路１２から入力された処理履歴を乗算した値とを減算した値を算出して、算出した値をエッジ強調強度パラメータとして画像処理部１４１に出力している。なお、式(６)における"係数"の値は、任意の値を予め定めておくことができ、エッジ強調処理回路１４が内部のレジスタ等の記憶装置に有しておくようにしてもよく、パラメータ記憶装置１９に格納しておいて、ＣＰＵ１７がパラメータ記憶装置１９から取得して、エッジ強調処理回路１４に入力するようにしてもよい。

ここで、画像処理部１４１におけるエッジ強調処理の詳細を図７に例示する。画像処理部１４１は、図７に例示するように、エッジ検出フィルタによって、処理対象となる入力画素値８１と、入力画素値８１によって示される入力画素の周辺画素における画素値のそれぞれに重みを適用した画素値の総和を算出する。そして、算出した総和の絶対値が所定の閾値よりも大きいか否かを判定することにより、エッジを検出する。

閾値よりも大きい場合は、入力画素がエッジであると判定して、エッジを強調するために、算出した総和を入力画素値８１に加算した画素値を出力画素値８２として算出する。
閾値よりも小さい場合は、入力画素がエッジでないと判定して、入力画素値８１をそのまま出力画素値とする。
なお、ここでは、閾値が"１０"よりも小さいものとして説明している。また、閾値は、任意に定めてよく、エッジ強調処理回路１４が内部のレジスタ等の記憶装置に有しておくようにしてもよく、パラメータ記憶装置１９に格納しておいて、ＣＰＵ１７がパラメータ記憶装置１９から取得して、エッジ強調処理回路１４に入力するようにしてもよい。

また、エッジ強調強度パラメータは、エッジ強調フィルタにおける入力画素値と周辺画素の画素値の重みづけをするための値であり、値が大きくなるに従って、入力画素値及び周辺画素値の重みを大きくする。これにより、エッジ強度パラメータの値が大きくなるに従って、エッジ強調処理の強さが大きくなる。つまり、エッジ強調強度パラメータは、エッジ強調処理パラメータから入力される処理履歴の値を減算した値であるため、入力される処理履歴の大きさに比例して、エッジを強調する強さが小さくなる。

このように、リニアリティ補正処理回路１１及びシェーディング補正処理回路１２において画素値を大きくした度合いに応じて、エッジ強調処理の強さを調整することができる。言い換えると、リニアリティ補正処理回路１１及びシェーディング補正処理回路１２において画素値が大きくされてノイズが強められた画素に対しては、それに応じた弱いエッジ強調処理を行うことができ、ノイズが強められていない画素に対しては、それに応じた強いエッジ強調処理を行うことができる。これにより、ノイズが強められた画素とエッジとを区別できずに、ノイズを強調してしまうことがないようにすることができる。
なお、エッジ強調処理回路１４から画素値を入力された場合のモニタ４及び画像記憶装置５における動作については、実施の形態１と同様であるため説明を省略する。

以上に説明したように、本実施の形態２によれば、処理履歴によってエッジ強調処理対象の画素に対して行われた画像処理内容を知ることができる。そのため、画像処理パイプラインにおけるエッジ強調処理において、画像処理対象の画素に対して行われた画像処理内容に応じた強さによってエッジ強調処理を行うことができるため、エッジ強調処理によって生成される画像の画質を向上させることができる。
つまり、本実施の形態２によれば、実施の形態１と同様に、前段において行われた画像処理内容に応じて、後段における画像処理を行うことができるため、画像処理パイプラインにおける画像処理によって生成される画像の画質を向上させることができる。

本発明の実施の形態３．
続いて、図８を参照して本発明の実施の形態３にかかる画像処理装置について説明する。図８は、本発明の実施の形態３にかかる画像処理装置である。なお、本実施の形態３では、実施の形態１及び２と同様に、画像処理装置をデジタルカメラに適用した一例について説明する。
本実施の形態３にかかる画像処理装置は、ノイズリダクション処理回路１５及びエッジ強調処理回路１６を有する点が実施の形態１及び２と異なる。なお、実施の形態１及び２と同様の構成要素については説明を省略する。

ノイズリダクション処理回路１５の画像処理部１５１は、シェーディング補正処理回路１２から入力される入力画素値によって示される画素がエッジであるかどうかを判定して、エッジである場合には、ノイズリダクション処理を行わず、エッジでない場合には、ノイズリダクション処理を行う点が実施の形態１におけるノイズリダクション処理回路１３の画像処理部１３１と異なるが、それ以外の動作については実施の形態１と同様である。
このように、エッジである画素に対して、ノイズリダクション処理を行わないようにすることにより、エッジを潰してしまわないようにすることができる。
また、ノイズリダクション処理回路１５は、履歴生成部１５３を有する点が実施の形態１と異なる。履歴生成部１５３は、シェーディング補正処理回路１２から出力された処理履歴に、画像処理部１５１におけるエッジ検出結果を含めて生成した処理履歴をエッジ強調処理回路１６に出力する。

エッジ強調処理回路１６の画像処理部１６１は、ノイズリダクション処理回路１５から入力された処理履歴に含まれるエッジ検出結果に基づいて、エッジ強調処理を行う点が実施の形態２におけるエッジ強調処理回路１４の画像処理回路１４１と異なるが、それ以外の動作については実施の形態２と同様である。

続いて、図８及び図９を参照して本発明の実施の形態３にかかる画像処理装置の動作について説明する。図９は、本発明の実施の形態３にかかる画像処理装置における画像パイプラインを示す図である。なお、実施の形態１及び２と同様の処理については説明を省略する。

被写体が撮影されてから、ＣＰＵ１７がパラメータ記憶装置１９からノイズリダクション処理指定パラメータ及びエッジ強調処理指定パラメータを取得して、ＲＡＭ１８に格納するとともに、ＲＡＭ１８に格納されたノイズリダクション処理指定パラメータをノイズリダクション処理回路１５に出力し、エッジ強調処理指定パラメータをエッジ強調処理回路１６に出力する点が異なるが、それ以外は実施の形態１と同様であるため説明を省略する。

次に、ノイズリダクション処理回路１５の画像処理部１５１は、入力された入力画素値によって示される画素がエッジであるか否かを判定する。なお、エッジであるか否かの判定は、実施の形態２において図４として説明したようなエッジ検出フィルタによってエッジを検出することによって行うことができる。
エッジであると判定した場合、画像処理部１５１は、入力画素値をそのままエッジ強調処理回路１６に出力する出力画素値として、エッジ強調処理回路１６に出力する。
エッジでないと判定した場合、画像処理部１５１は、入力画素値に対して、実施の形態１と同様にノイズリダクション処理を行って、ノイズリダクション処理によって算出した出力画素値をエッジ強調処理回路１６に出力する。

また、画像処理部１５１は、入力画素値、つまり、出力画素値によって示される画素がエッジであるか否かを示すエッジ情報を履歴生成部１５３に出力する。
ノイズリダクション処理回路１５の履歴生成部１５３は、シェーディング補正処理回路１２から出力された処理履歴に、画像処理部１５１から出力されたエッジ情報を含めて生成した処理履歴を出力画素値と関連づけてエッジ強調処理回路１６に出力する。

次に、エッジ強調処理回路１６の画像処理部１６１は、ノイズリダクション処理回路１５から出力された処理履歴に含まれるエッジ情報に基づいて、ノイズリダクション処理回路１５から入力された入力画素値によって示される画素がエッジであるか否かを判定する。
エッジでないと判定した場合は、画像処理部１５１は、入力画素値をそのままモニタ４や画像記憶装置５に出力する出力画素値として、モニタ４や画像記憶装置５に出力する。
エッジであると判定した場合は、実施の形態２と同様に、入力画素値と、重みづけをした入力画素値と周辺画素の画素値の総和とを加算して算出した出力画素値をモニタ４や画像記憶装置５に出力する。
なお、エッジ強調処理回路１４から画素値を入力された場合のモニタ４及び画像記憶装置５における動作については、実施の形態１及び２と同様であるため説明を省略する。

このように、ノイズリダクション処理回路１５及びエッジ強調処理回路１６の両方において、エッジを検出する必要がある場合であっても、前段のノイズリダクション処理回路１５におけるエッジ検出結果を処理履歴に含めることにより、エッジ強調処理回路１６において、入力画素のそれぞれについて、画素値に基づいて計算を行い、エッジであるか否かを判定するエッジ検出処理を行う必要がなくなる。

以上に説明したように、本実施の形態３によれば、実施の形態１及び２と同様に、ノイズリダクション処理及びエッジ強調処理によって生成される画像の画質を向上させることができる。
さらに、本実施の形態３によれば、処理履歴による画像処理内容として、エッジ強調処理対象の画素におけるエッジ検出結果も知ることができるため、処理履歴を参照するのみで、エッジ強調処理対象の画素がエッジであるか否かを知ることができる。そのため、画像処理パイプラインにおけるエッジ強調処理回路において、画像処理対象の画素に対するエッジ検出処理を有する必要がなくなり、回路の削減や、消費電力の低減をすることができる。
つまり、本実施の形態３によれば、画像処理パイプラインにおいて、前段及び後段の画像処理工程が同様の処理結果を用いる場合に、後段において、この処理の一部又は全部を設けなくてもよいようにすることができるため、回路の削減や、消費電力の低減をすることができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、画像処理を行う回路の数や、各回路が行う画像処理の種類は、本実施の形態に例示したものに限られない。画像処理装置が、例えば、ガンマ補正やトーンカーブ補正等の画像補正処理を行う回路を含んでいてもよい。
また、ＣＰＵから各処理回路に対して指定するパラメータは、各処理回路が内部のレジスタ等の記憶装置に有しておくようにしておき、ＣＰＵから各処理回路に対してパラメータを入力しないようにしてもよい。

また、処理履歴によって処理内容を決定する処理は、本実施の形態に例示したようなノイズリダクション処理やエッジ強調処理のように、指定されるパラメータの値に応じた強さによって画像処理を行うインタフェースを有するものであれば、どのような画像処理に適用してもよい。よって、各処理回路において行われる画像処理内容や、生成する処理履歴は、式(１)〜式(６)において例示したものに限られない。
また、ノイズリダクション処理やエッジ強調処理等の画像処理において使用するフィルタは、本実施の形態に例示したフィルタに限られない。よって、フィルタによって指定されていた重みも任意に変更することができる。
また、本実施の形態においては、処理履歴の値として、画像処理における入力画素値、出力画素値又は乗算した係数の対数を整数に変換したものを使用したが、これに限られない。例えば、整数に変換しなくてもよく、入力画素値、出力画素値又は乗算した係数を対数とせずにそのまま使用して処理履歴の値としてもよい。

また、処理履歴は、画像処理毎に常に更新する必要はない。例えば、実施の形態１において、リニアリティ補正処理回路において処理履歴を生成して、シェーディング補正処理回路のおいては処理履歴を更新せずに、リニアリティ補正処理回路から入力された処理履歴をそのままノイズリダクション処理回路に出力するようにしてもよい。また、リニアリティ補正処理回路が処理履歴を直接ノイズリダクション処理回路に出力するようにしてもよい。つまり、前段のいくつかの画像処理のうちの任意の画像処理における画像処理内容のみに基づいて、後段の画像処理を行うようにしてもよい。

また、処理履歴は、画像に含まれる全ての画素に対して生成するようにせず、Ｘ，Ｙ座標位置における特定の間隔毎に生成するようにして、対応する処理履歴がない画素の処理履歴を近傍の画素の処理履歴から補間した値を用いるようにしてもよい。これにより、画像処理パイプラインにおいて入出力されるデータ量の増加を抑制することができる。

また、実施の形態２において、エッジであるか否かの判定を行わないようにし、入力される全ての入力画素値に対して、入力画素値と周辺画素の画素値に重み適用した画素値の総和を加算して出力画素値を算出するようにしてもよい。
また、実施の形態３において、ノイズリダクション処理回路におけるエッジ検出において算出した入力画素値と周辺画素の画素値に重み適用した画素値の総和も処理履歴に含めてエッジ強調処理回路に出力するようにして、エッジ強調処理回路ではエッジを強調する画素に対して、その画素値に処理履歴に含まれる総和を加算するだけで、エッジを強調できるようにしてもよい。

以上に説明した本発明にかかる画像処理装置は、上述の実施の形態のリニアリティ補正処理回路、シェーディング補正処理回路、ノイズリダクション処理回路やエッジ強調処理回路等の画像処理を行う各処理回路における機能を実現するプログラムを記憶した記憶媒体をシステムもしくは装置に供給し、ＣＰＵ、ＭＰＵ(Micro Processing Unit)又はＤＳＰ(Digital Signal Processor)等のプロセッサがこのプログラムを実行することによって、構成することが可能である。

また、このプログラムは様々な種類の記憶媒体に格納することが可能であり、通信媒体を介して伝達されることが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＤＶＤ(Digital Versatile Disc)、ＢＤ(Blu-ray(登録商標) Disc)、ＲＯＭ(Read Only Memory)カートリッジ、バッテリバックアップ付きＲＡＭ(Random Access Memory)、メモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジを含む。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体を含む。また、上述のプログラムは、インターネットを介して伝達されることも可能である。

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現されるだけではなく、このプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ(Operating System)もしくはアプリケーションソフトと共同して上述の実施の形態の機能が実現される場合も、発明の実施の形態に含まれる。
さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットにより行われて上述の実施の形態の機能が実現される場合も、発明の実施の形態に含まれる。

１画像処理装置
１０画像処理パイプライン
１１リニアリティ補正処理回路
１２シェーディング補正処理回路
１３、１５ノイズリダクション処理回路
１４、１６エッジ強調処理回路
２０レンズ
３０センサ
４１ＣＰＵ
４２ＲＡＭ
４３パラメータ記憶装置
５１モニタ
５２画像記憶装置
１１１、１２１、１３１、１４１、１５１、１６１画像処理部
１１２、１２２、１５３履歴生成部
１３２、１４２、１５２、１６２パラメータ決定部

Claims

第１及び第２の画像処理工程を含む画像処理をパイプライン方式によって行う画像処理装置であって、
入力された画像データに対して前記第１の画像処理工程を行うと共に、前記第１の画像処理工程における処理内容を記録した履歴情報を生成して出力する第１の処理部と、
前記出力された履歴情報に基づいて、前記第１の画像処理工程後の画像データに対して、前記第２の画像処理工程を行う第２の処理部と、
を備え、
前記第２の画像処理工程は、前記画像データにおけるエッジを強調するエッジ強調処理を含み、
前記履歴情報は、前記第１の画像処理工程において前記画像データにおける画素値を大きくした度合いを示す情報が含まれ、
前記第２の処理部は、前記画素値を大きくした度合いが大きいほど、エッジを強調する強さを小さくするように、前記出力された履歴情報に基づいた強さでエッジを強調する、
画像処理装置。
前記第２の画像処理工程は、前記画像データにおけるノイズを低減するノイズリダクション処理を含み、
前記第２の処理部は、前記出力された履歴情報に基づいた強さでノイズを低減する請求項１に記載の画像処理装置。
前記履歴情報は、前記第１の画像処理工程において前記画像データにおける画素値を大きくした度合いを示す情報が含まれ、
前記第２の処理部は、前記画素値を大きくした度合いが大きいほど、ノイズを低減する強さを大きくする請求項２に記載の画像処理装置。
前記第１の画像処理工程は、前記画像データにおけるエッジを検出し、当該検出結果に応じた画像処理を画像データに対して行う処理を含み、
前記履歴情報は、当該検出結果を示すエッジ情報を含み、
前記第２の処理部は、前記エッジ情報に基づいて、前記画像データにおけるエッジを強調するか否かを決定する請求項１に記載の画像処理装置。
前記画像処理装置は、前記第１の処理部を複数備え、
前記複数の第１の処理部夫々は、前段の第１の画像処理工程を行う第１の処理部から出力された履歴情報に基づいて、当該履歴情報にさらに自身が行う第１の画像処理工程における処理内容を記録した履歴情報を生成して出力し、
前記第２の処理部は、最後段の第１の画像処理工程を行う第１の処理部から出力された履歴情報に基づいて、前記第２の画像処理工程を行う請求項１乃至４のいずれかに１項に記載の画像処理装置。
前記画像データは、１画素あたりのデータである請求項１乃至５のいずれか１項に記載の画像処理装置。
前記第１及び第２の処理部は、それぞれ独立した回路によって構成されることを特徴とする請求項請求項１乃至６のいずれか１項に記載の画像処理装置。
前記画像処理装置は、前記第１の画像処理工程の処理内容を指定する第１の処理内容指定情報を前記第１の処理部に出力すると共に、前記第２の画像処理工程の処理内容を指定する第２の処理内容指定情報を前記第２の処理部に出力するＣＰＵをさらに備え、
前記第１の処理部は、前記第１の処理内容指定情報に基づいて、前記第１の画像処理工程を行い、
前記第２の処理部は、前記第２の処理内容指定情報に基づいて、前記第２の画像処理工程を行う請求項１乃至７のいずれか１項に記載の画像処理装置。
第１及び第２の画像処理工程を含む画像処理をパイプライン方式によって行う画像処理方法であって、
画像データに対して第１の画像処理工程を行い、
前記第１の画像処理工程における処理内容を記録した履歴情報を生成して出力し、
前記出力された履歴情報に基づいて、前記第１の画像処理工程後の画像データに対して、前記第２の画像処理工程を行うものであり、
前記第２の画像処理工程は、前記画像データにおけるエッジを強調するエッジ強調処理を含み、
前記履歴情報は、前記第１の画像処理工程において前記画像データにおける画素値を大きくした度合いを示す情報が含まれ、
前記第２の画像処理工程を行う場合には、前記画素値を大きくした度合いが大きいほど、エッジを強調する強さを小さくするように、前記出力された履歴情報に基づいた強さでエッジを強調する、
画像処理方法。
パイプライン方式によって行う画像処理に含まれる第１及び第２の画像処理工程のうち、前記第２の画像処理工程をプロセッサに実行させる画像処理プログラムであって、
画像データに対して行われた第１の画像処理工程における処理内容を記録した履歴情報を取得する処理と、
前記取得した履歴情報に基づいて、前記第１の画像処理工程後の画像データに対して、前記第２の画像処理工程を行う処理と
をプロセッサに実行させ、
前記第２の画像処理工程は、前記画像データにおけるエッジを強調するエッジ強調処理を含み、
前記履歴情報は、前記第１の画像処理工程において前記画像データにおける画素値を大きくした度合いを示す情報が含まれ、
前記第２の画像処理工程を行う処理では、前記画素値を大きくした度合いが大きいほど、エッジを強調する強さを小さくするように、前記取得した履歴情報に基づいた強さでエッジを強調する、
画像処理プログラム。