JP5497420B2 - 画像処理装置及び撮像装置 - Google Patents

Description

本発明は、劣化した画像を復元する画像処理装置や、当該画像処理装置を備えた撮像装置に関する。

画像形式の多様化に伴い、例えば画像の記録時または再生時などに、画像形式の変換が必要となることが多くなった。具体的に例えば、ＨＤ（High Definition、１２８０×７２０ピクセル）やＳＤ（Standard Definition、６４０×４８０ピクセル）の画像形式の画像を、ＦＨＤ（Full High Definition、１９２０×１０８０ピクセル）などのより高解像度の画像形式に変換したり、逆に低解像度の画像形式に変換したりする場合がある。

上記のように、低解像度の画像形式の画像を高解像度の画像形式に変換する場合、画像の画素数を増やすために、線形補間やバイキュービック補間などの種々の処理が必要となる。ただし、画像にこのような処理を施すと、画素数は増えるが高周波成分が劣化する（ぼける）ため、鮮鋭感が欠けた画像となる。そこで、この劣化を復元することで鮮鋭化する種々の画像処理装置が提案されている。

特許文献１では、一部の領域の画像に基づいて最適な劣化関数を推定し、この劣化関数に基づいて劣化画像を復元する画像処理装置が提案されている。また、特許文献２では、劣化画像の一部の領域である復元領域についてのみ復元処理を施す画像処理装置が提案されている。

特開２００１−１９７３５６号公報 特開２０００−５７３３９号公報

しかしながら、特許文献１の画像処理装置では、劣化関数を推定する際に複雑な処理が必要となるため、問題となる。また、画像の一部の領域から推定された劣化関数が、他の領域にも妥当するとは限らないため、局所的に不自然な画像が生成されることがあり、問題となる。この一例を、図１１に示す。図１１は、従来の復元方法により復元した画像の画素値を示すグラフである。図１１中の破線は復元後の画素値（輝度値）を示すものであり、実線は復元前の画素値を示すものである。また、図１１は、画素値が変化する画素の間隔が小さい高周波領域に適した復元方法を、画像全体に適用した場合を示すものである。

図１１に示すように、高周波領域の画素では復元後の画素値の差が強調されて、適切な鮮鋭化が行われている。しかしながら、画素値が変化する画素の間隔が大きい低周波領域の画素では、エッジ（画素値が急峻に変化する部分）において復元後の画素値がオーバーシュートまたはアンダーシュートして、大きなリンギングが生じている。これは、例えば復元前の画像に輪郭強調などの処理を施すことで、エッジに局所的な高周波領域ができる場合などに、特に大きくなる。このような画素値の変化が生じた画像は、エッジ近傍が白くギラついたり、黒く太くなったりして、不自然なものとなる。

一方、特許文献２の画像処理装置では、復元領域の境界を所定の方法で決定することで復元領域を設定し、復元領域にのみ復元処理を施すため、リンギングを抑制することは可能となる。しかしながら、復元領域の境界を設定するために複雑な処理が必要となり、問題となる。また、境界を精度よく設定できない場合、復元領域内で劣化関数が異なる部分が生じたり、復元すべき領域を復元領域として設定できなかったりすることが生じ得る。そのため、復元後の画像に不自然な部分が生じたり、部分的にぼけが復元されなかったりすることがあり、問題となる。

そこで、本発明は、入力される画像のぼけを精度よく復元することで鮮鋭かつ自然な画像を得る画像処理装置や、当該画像処理装置を備えた撮像装置を提供することを目的とする。

上記目的を達成するために、本発明における画像処理装置は、入力される画像の画素毎に、画像の劣化の状態を示す劣化成分を求める劣化成分導出部と、前記画像の画素毎に、劣化成分を復元することで鮮鋭化する鮮鋭化部と、を備えることを特徴とする。

なお、以下に示す実施の形態では、劣化成分及び劣化成分導出部の一例として、ぼけ関数及びぼけ関数演算部を挙げて説明している。

また、上記構成の画像処理装置において、前記画像の画素毎に、当該画素及び近接する画素の画素値の変化を検出する画素値変化検出部をさらに備え、前記劣化成分導出部が、前記画素値変化検出部で検出される画素値の変化の大きさに基づいて劣化成分を求めるものであり、画素値の変化が大きい画素ほど、前記劣化成分導出部によって求められる劣化成分が、劣化の程度が大きいことを示すものとなることとしても構わない。

このように構成すると、画素値の変化が大きい高周波領域の画素については鮮鋭化の効果を大きくし、画素値の変化が小さい低周波領域の画素については鮮鋭化の効果を小さくすることが可能となる。そのため、低周波領域を鮮鋭化することで生じるリンギングを抑制することが可能となる。なお、以下に示す実施の形態では、画素値変化検出部の一例として、画素値変化評価値算出部を挙げて説明している。

また、上記構成の画像処理装置において、前記画像から顔を検出する顔検出部と、前記劣化成分導出部で求められる劣化成分を調整する調整部と、をさらに備え、前記調整部が、前記顔検出部で検出された顔を示す画素について、前記劣化成分導出部で求められる劣化成分が示す劣化の程度が、小さくなるように調整することとしても構わない。

このように構成すると、輪郭が強調されると好ましくない顔について、鮮鋭化の効果を小さくすることが可能となる。そのため、ユーザにとって好ましくかつ自然な画像を生成することが可能となる。なお、以下に示す実施の形態では、調整部の一例として、評価値（画素値の変化の大きさを示す値）を調整することでぼけ関数（劣化成分）を調整する評価値調整部を挙げて説明している。

また、上記構成の画像処理装置において、前記劣化成分導出部で求められる劣化成分を調整する調整部をさらに備え、前記調整部が、前記画像の撮像時にフォーカスの調整を行った位置から近い画素について、前記劣化成分導出部で求められる劣化成分が示す劣化の程度が、大きくなるように調整することとしても構わない。

このように構成すると、画像の撮像時に鮮鋭化すべき位置として設定された位置の画素を、効果的に鮮鋭化することが可能となる。そのため、鮮鋭化すべきものを鮮鋭化した画像を生成することが可能となる。

さらに、上記構成の画像処理装置において、前記調整部が、前記画像の撮像時にフォーカスの調整を行った位置から遠い画素について、前記劣化成分導出部で求められる劣化成分が示す劣化の程度が、小さくなるように調整することとしても構わない。

このように構成すると、鮮鋭化すべきもの以外を無用に鮮鋭化することで、不自然な画像が生成されることを抑制することが可能となる。

また、上記構成の画像処理装置において、前記劣化成分導出部で求められる劣化成分を調整する調整部をさらに備え、前記調整部が、前記画像の撮像時に設定されていた撮像モードに応じた調整方法によって、前記劣化成分導出部で求められる劣化成分を調整することとしても構わない。

このように構成すると、撮像する場面に適する鮮鋭化を行った画像を生成することが可能となる。

さらに、上記構成の画像処理装置において、前記調整部が、前記画像の撮像時に設定されていた撮像モードに応じた調整方法が、前記画像の画素の画素値の変動の大きさに基づいて、前記画像の画素毎に前記劣化成分導出部で求められる劣化成分の調整の程度が設定されるものであることとしても構わない。

このように構成すると、精度よく劣化成分を調整することが可能となる。

また、本発明の撮像装置は、撮像により画像を生成する撮像部と、前記撮像部で生成される画像を鮮鋭化する上記のいずれかに記載の画像処理装置と、を備えることを特徴とする。

本発明の構成とすると、画像の画素毎に劣化成分を検出し、画素に応じた鮮鋭化を行うことが可能となる。そのため、高周波領域や低周波領域などのどのような領域の画素についても、効果的かつ精度よく劣化成分を復元することが可能となる。したがって、鮮鋭かつ自然な画像を得ることが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の一つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。 は、第１実施例の鮮鋭化処理部の構成例を示すブロック図である。 は、ぼけレベルの算出方法の一例を示すグラフである。 は、ぼけ関数の一例を示すグラフである。 は、評価値の算出方法の別例について示すグラフである。 は、第２実施例の鮮鋭化処理部の構成例を示すブロック図である。 は、第３実施例の鮮鋭化処理部の構成例を示すブロック図である。 は、第３実施例の鮮鋭化処理部の評価値調整部による評価値の調整方法例を示すグラフである。 は、第４実施例の鮮鋭化処理部の構成例を示すブロック図である。 は、第４実施例の鮮鋭化処理部の評価値調整部による評価値の調整方法例を示すグラフである。 は、従来の復元方法により復元した画像の画素値を示すグラフである。

本発明の実施の形態について、以下図面を参照して説明する。最初に、本発明の実施の一形態である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音、動画及び静止画の記録が可能なものである。

＜＜撮像装置＞＞
まず、本発明の実施の一形態である撮像装置の全体構成例について、図１を参照して説明する。図１は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。

図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、対象物の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部Ｓが構成され、この撮像部Ｓによって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部５と、入力される音を電気信号に変換する集音部６と、集音部６から出力されるアナログ信号である音響信号をデジタル信号に変換するＡＤＣ（Analog to Digital Converter）７と、ＡＤＣ７から出力される音響信号に対してノイズ除去などの各種音響処理を施して出力する音響処理部８と、画像処理部５から出力される画像信号と音響処理部８から出力される音響信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部５から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

画像処理部５は、入力される画像信号に鮮鋭化処理を施して出力する鮮鋭化処理部５０を備える。なお、鮮鋭化処理部５０の構成の詳細については、後述する。

また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号をモニタなどの表示装置（不図示）で表示可能な信号に変換する画像信号出力回路部１３と、伸長処理部１２で復号されて得られる音響信号をスピーカなどの再生装置（不図示）で再生可能な信号に変換する音響信号出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス２０と、を備える。なお、以下では説明の簡略化のため、各ブロックのやりとりにおいてバス１９，２０を省略する。

なお、動画と静止画の画像信号を生成可能な撮像装置１を一例として示したが、撮像装置１が、静止画の画像信号のみ生成可能な構成であっても構わない。この場合、集音部６やＡＤＣ７、音響処理部８、音響信号出力回路部１４などを備えない構成としても構わない。また、表示装置や再生装置は、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。

また、外部メモリ１０は画像信号や音響信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

次に、撮像装置１の全体動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ４に画像信号を出力する。

そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部５に入力される。画像処理部５では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部５が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部５に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。なお、これらの撮像に関する情報は、必要に応じて鮮鋭化処理部５０に入力される。

画像処理部５に備えられる鮮鋭化処理部５０は、入力される画像信号に鮮鋭化処理を施して出力する。なお、鮮鋭化処理部５０の動作（鮮鋭化処理）の詳細については後述する。

動画の画像信号を生成する場合、集音部６において集音を行う。集音部６で集音されてアナログの電気信号に変換される音響信号は、ＡＤＣ７に入力される。ＡＤＣ７は、入力される音響信号をデジタル信号に変換し、音響処理部８に入力する。音響処理部８は、入力されるデジタルの音響信号にノイズ除去や強度制御などの各種音響処理を施す。そして、画像処理部５から出力される画像信号と、音響処理部８から出力される音響信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。

一方、静止画の画像信号を生成する場合、画像処理部５から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。

外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号することで画像信号及び音響信号を生成し、出力する。そして、画像信号出力回路部１３が、伸長処理部１２から出力される画像信号を表示装置で表示可能な形式に変換して出力し、音響信号処理回路部１４が、伸長処理部１２から出力される音響信号を再生装置で再生可能な形式に変換して出力する。また、外部メモリ１０に記録された静止画の圧縮符号化信号も同様に処理される。即ち、伸長処理部１２が圧縮符号化信号を伸長及び復号して画像信号を生成し、画像信号出力回路部１３が当該画像信号を表示装置で再生可能な形式に変換して出力する。

なお、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部５から出力される画像信号を圧縮せずに画像信号出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮して外部メモリ１０に記録する動作と並行して、画像信号出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。

また、鮮鋭化処理部５０が画像処理部５に備えられ、画像信号の記録時に鮮鋭化処理を行う構成について例示したが、鮮鋭化処理部５０が備えられる場所や鮮鋭化処理のタイミングは、上述の限りではない。例えば、鮮鋭化処理部５０を伸長処理部１２の後段かつ画像信号出力回路部１３の前段に備え、再生時（外部メモリ１０から伸長処理部１２に読み出されて伸長された後、画像信号出力回路部１３に入力される前）や、編集時（外部メモリ１０から伸長処理部１２に読み出されて伸長された後、外部メモリ１０に再度記録するために圧縮処理部９に入力される前）に、画像信号に対して鮮鋭化処理を施しても構わない。さらに、図１では撮像機能、再生機能、編集機能を備える撮像装置１を例示して説明したが、いずれかの機能を備えない装置（例えば、撮像装置、再生装置、編集装置など）であっても、鮮鋭化処理部５０を適用することが可能である。

＜＜鮮鋭化処理部＞＞
次に、上述した鮮鋭化処理部５０の詳細について、４つの実施例を挙げるともに、それぞれについて図面を参照して説明する。また、以下では説明の具体化のために、鮮鋭化処理部５０で処理される画像信号を画像として表現する。特に、鮮鋭化処理部５０に入力される画像信号を「入力画像」とする。また、鮮鋭化処理部５０で鮮鋭化処理が施されて出力される画像信号を「出力画像」とする。

＜第１実施例＞
まず、鮮鋭化処理部の第１実施例について、図面を参照して説明する。図２は、第１実施例の鮮鋭化処理部の構成例を示すブロック図である。なお、本実施例は、後述する第２〜第４実施例の基本構成となり得るものである。

図２に示すように、鮮鋭化処理部５０ａは、入力画像の対象画素とそれに近接する画素の画素値の変化に基づいて評価値を算出する画素値変化評価値算出部５１と、入力画像または当該入力画像に基づいて生成された第ｋ鮮鋭化画像のいずれかを選択して出力する選択部５２と、選択部５２から出力される入力画像または第ｋ鮮鋭化画像と画素値変化評価値算出部５１で算出された評価値とに基づいて画像のぼけの状態（劣化過程）を表すぼけ関数（劣化成分、ＰＳＦ：Point Spread Functionともよぶ）を算出するとともに当該ぼけ関数を選択部５２から出力される入力画像または第ｋ鮮鋭化画像に適用するぼけ関数演算部５３と、ぼけ関数演算部５３の演算結果と入力画像との差分値を算出する差分値算出部５４と、差分値算出部５４で算出された差分値に基づいて選択部５２から出力される入力画像または第ｋ鮮鋭化画像を鮮鋭化して第１鮮鋭化画像（入力画像を鮮鋭化する場合）または第ｋ＋１鮮鋭化画像（第ｋ鮮鋭化画像を鮮鋭化する場合）を生成し出力する鮮鋭化部５５と、鮮鋭化部５５から出力された第ｋ鮮鋭化画像を一時的に保持して第ｋ＋１鮮鋭化画像の生成のために選択部５２に出力するフレームメモリ６０と、を備える。なお、ｋは自然数であり、鮮鋭化部５５は第ｋ鮮鋭化画像を順次生成して出力する（即ち、反復処理を行う）。

鮮鋭化部５５で順次生成される第ｋ鮮鋭化画像の中で、所定の条件を満たすものが出力画像として鮮鋭化処理部５０ａから出力される。選択部５２は、鮮鋭化部５５が第１鮮鋭化画像を生成する場合（即ち、反復処理の第１回目）に、入力画像を選択して出力する。また、選択部５２は、鮮鋭化部５５が第２鮮鋭化画像以降を生成する場合（即ち、反復処理の第２回目以降）に、鮮鋭化画像を選択して出力する。なお、フレームメモリ６０として、図１に示すメモリ１６を適用しても構わない。

次に、鮮鋭化画像５０ａが行う鮮鋭化処理について、図面を参照して説明する。鮮鋭化処理動作が行われると、最初に画素値変化評価値算出部５１が、入力画像の画素値に基づいて評価値を算出する。例えば、ある対象画素の評価値を算出するために、下記式（１）に示すような分散値Ｄを算出する。分散値Ｄは、対象画素とその周辺の画素（例えば、対象画素を中心とした５×５（水平方向×垂直方向、以下同様に表現する）領域の画素、ｎ＝２５）の画素値ｙ_iを用いて算出する。

上記のように算出される分散値Ｄを、評価値Ｅとする。評価値Ｅは、入力画像の対象画素及びその周辺の画素の画素値の変化（例えば、ばらつき）の大きさを示すものである。以下では説明の具体化のため、評価値Ｅが大きいほど画素値の変化が大きいことを示すものとする。

ぼけ関数演算部５３は、例えば下記式（２）に示すような正規分布に基づいたぼけ関数を算出する。下記式（２）中のσは、評価値Ｅに基づいて算出されるぼけレベルを示すものであり、ｒは、対象画素からの距離を示すものである。ぼけ関数ｆ（ｒ）は、中心（ｒ＝０）が対象画素に乗算されるフィルタ（例えば、フィルタサイズが５×５）のフィルタ係数を示すものであり、対象画素から距離ｒ（例えば、直線距離（水平方向の距離差の２乗と垂直方向の距離差の２乗とを合算した値の平方根）の画素に乗算するフィルタ係数を示すものである。

本実施例の鮮鋭化処理部５０ａでは、ぼけ関数ｆ（ｒ）の算出に利用するぼけレベルσを、評価値Ｅを用いて算出する。ぼけレベルσの算出方法の一例と、得られるぼけ関数ｆ（ｒ）について、図３及び図４を参照して説明する。図３は、ぼけレベルの算出方法の一例を示すグラフであり、図４は、ぼけ関数の一例を示すグラフである。

図３に示すように、評価値Ｅが大きいほどぼけレベルσも大きくなる。ただし、評価値Ｅが閾値Ｅ１以下の場合、ぼけレベルは下限値σ_Sで一定の値となる。また、評価値Ｅが閾値Ｅ２以上の場合、ぼけレベルは上限値σ_Lで一定の値となる。評価値Ｅが閾値Ｅ１より大きく閾値Ｅ２よりも小さい場合は、ぼけレベルσは評価値Ｅに応じた値となる。図３では、閾値Ｅ１から閾値Ｅ２の間のぼけレベルσが、下限値σ_Sから上限値σ_Lまで線形に増大するように示しているが、非線形としても構わない。ただし、ぼけレベルσは連続的に変化する値とすると、好ましい。

図４（ａ）に示すように、ぼけレベルσが小さい場合、ぼけ関数ｆ（ｒ）が、ｒ＝０から離れるにつれて急激に小さくなる急峻なグラフになる。一方、図４（ｂ）に示すように、ぼけレベルσが大きい場合、ぼけ関数ｆ（ｒ）が、ｒ＝０から離れるにつれて緩やかに小さくなるなだらかなグラフになる。この場合、図４（ｂ）に示すぼけ関数ｆ（ｒ）を適用させた画像の方が、図４（ａ）に示すぼけ関数ｆ（ｒ）を適用させた画像よりも、ぼけの程度（劣化の程度）が大きくなる。なお、詳細については後述するが、ぼけ関数ｆ（ｒ）は入力画像のぼけの状態を求めた（推定した）ものであり、鮮鋭化部５５において入力画像からぼけ関数ｆ（ｒ）を復元することにより、鮮鋭化が行なわれる。

ぼけ関数演算部５３は、ぼけ関数ｆ（ｒ）をフィルタ係数とするフィルタを、選択部５２から出力される入力画像または第ｋ鮮鋭化画像に適用する。具体的には、入力画像または第ｋ鮮鋭化画像の対象画像とその周辺の画素のそれぞれに、位置ｒに応じたぼけ関数ｆ（ｒ）（フィルタ係数）をそれぞれ乗算し合算して得られる画素値を、フィルタ適用後の画像の対象画素の画素値とする。なお、ぼけ関数ｆ（ｒ）は、フィルタ係数の合計が１となるように正規化されているものとする。

以下、入力画像をＹと表現する。また、選択部５２から出力される入力画像または第ｋ鮮鋭化画像をＲ_kと表現する。特に、説明の簡略化のため、選択部５２から出力される入力画像をＲ₀と表現する。また、ぼけ関数ｆ（ｒ）をフィルタ係数とするフィルタをＦ_PSFと表現し、入力画像Ｒ₀または第ｋ鮮鋭化画像Ｒ_kにフィルタＦ_PSFを適用して得られる画像をＲ_k×Ｆ_PSFと表現する。

差分値算出部５４は、ぼけ関数演算部５３で得られる画像Ｒ_k×Ｆ_PSFと入力画像Ｙとについて、対応する位置の画素毎に差分値を算出する。例えば、入力画像Ｙの画素値から、画像Ｒ_k×Ｆ_PSFの画素値をそれぞれ減算することで、差分値を算出する。以下、得られる差分値で構成される画像を、Ｙ−Ｒ_k×Ｆ_PSFと表現する。

鮮鋭化部５５は、差分値算出部５４で得られる画像Ｙ−Ｒ_k×Ｆ_PSFの画素値毎に調整係数αを乗算するとともに、選択部５２から出力される入力画像Ｒ₀または第ｋ鮮鋭化画像Ｒ_kに加算することで、第１鮮鋭化画像Ｒ₁または第ｋ＋１鮮鋭化画像Ｒ_k+1を生成する（下記式（３）参照）。

調整係数αは、例えば、入力画像のエッジやその近傍では大きくなり（鮮鋭化の効果が大きくなり）、ベタ（画素値の変化が小さい部分）では小さくなる（鮮鋭化の効果が小さくなる）ように、適応的に変化させる。このように構成すると、ぼけが目立つエッジやその近傍のぼけを効果的に低減することができるとともに、ぼけが目立たない画素値が一様な部分の画素値を不自然に変化させることを抑制することが可能となる。

鮮鋭化部５５は、所定の条件を満たした第ｋ鮮鋭化画像を、出力画像として出力する。所定の条件とは、例えば、所定の回数の反復処理を行った場合や、十分に鮮鋭化された第ｋ鮮鋭化画像が生成された場合である。

後者の場合、例えば第ｋ＋１鮮鋭化画像の生成の際に用いる差分（例えば、Ｙ−Ｒ_k×Ｆ_PSFを構成する差分値の平均や総和など）が所定の大きさよりも小さくなった場合に、十分に鮮鋭化されたと判断することができる。ぼけ関数演算部５３から出力される画像Ｒ_k×Ｆ_PSFは、鮮鋭化した画像Ｒ_kにフィルタＦ_PSF（ぼけ関数ｆ（ｒ））を適用することで、あえてぼけさせた画像となる。そのため、入力画像Ｙと、入力画像Ｙのぼけの状態（Ｆ_PSF）が与えられた鮮鋭化画像Ｒ_kが略等しくなれば、鮮鋭化画像Ｒ_kは、入力画像Ｙのぼけの状態（Ｆ_PSF）を十分に復元したものとなる。したがって、上記のような場合に、鮮鋭化部５５が、第ｋ鮮鋭化画像（または第ｋ＋１鮮鋭化画像）を十分に鮮鋭化されたものと判断し、出力画像として出力する。

以上のように構成すると、画素毎にぼけ関数ｆ（ｒ）を求め、画素に応じた鮮鋭化を行うことが可能となる。特に、高周波領域の画素については鮮鋭化の効果を大きくし、低周波領域の画素については鮮鋭化の効果を小さくする。そのため、どのような領域（高周波領域や低周波領域）でも効果的かつ精度よく鮮鋭化することが可能になるとともに、低周波領域を鮮鋭化することで生じるリンギング（図１１参照）を抑制することが可能となる。

なお、上記の実施例では、画素値変化評価値算出部５１が画素値の分散に基づいて評価値Ｅを算出する場合について例示したが、他の方法で評価値を算出することも可能である。評価値の算出方法の別例について、図面を参照して説明する。図５は、評価値の算出方法の別例について示すグラフである。

図５に示すように、本例の算出方法では、少なくとも一方向（例えば、水平方向、垂直方向、斜め方向）に隣接する画素（例えば、対象画素を中心とする５つの画素）の画素値の増減に基づいて、評価値を算出する。具体的に例えば、増減（符号）が切り替わる回数を評価値とする。

図５に示す例では、１番目（図中の左から、以下同じ）の画素の画素値よりも２番目の画素の画素値が小さく、２番目の画素の画素値よりも３番目の画素の画素値が大きく、３番目の画素の画素値よりも４番目の画素の画素値が小さく、４番目の画素の画素値よりも５番目の画素の画素値が小さい。この場合、符号の切り替わりは２回生じる。なお、複数方向について符号の切り替わり数を算出する場合、それぞれの符号の切り替わり数を合算（または平均）した結果を用いて、評価値を算出しても構わない。

また、図５に示す算出方法から得られる結果と、上述の分散値Ｄを用いた算出方法から得られる結果と、を総合して評価値を算出しても構わない。

＜第２実施例＞
次に、鮮鋭化処理部の第２実施例について、図面を参照して説明する。図６は、第２実施例の鮮鋭化処理部の構成例を示すブロック図であり、第１実施例の鮮鋭化処理部について示した図２に相当するものである。なお、図６に示す第２実施例の鮮鋭化処理部５０ｂについて、図２に示す第１実施例の鮮鋭化処理部５０ａと同様の構成となる部分については同様の名称及び番号を付し、その詳細な説明については省略する。また、第１実施例の鮮鋭化処理部５０ａについて述べた種々の構成の説明は、矛盾なき限り本実施例の鮮鋭化処理部５０ｂにも適用され得るものとする。

図６に示すように、本実施例の鮮鋭化処理部５０ｂは、画素値変化評価値算出部５１と、選択部５２と、ぼけ関数演算部５３と、差分値算出部５４と、鮮鋭化部５５と、入力画像から顔を検出して検出結果を出力する顔検出部５６と、顔検出部５６から出力される検出結果に基づいて画素値変化評価値算出部５１から出力される評価値を調整する評価値調整部５７ｂと、フレームメモリ６０と、を備える。

ただし、ぼけ関数演算部５３は、評価値調整部５７ｂから出力される調整後の評価値（以下、調整評価値とする）に基づいて、ぼけ関数ｆ（ｒ）を算出する。具体的に例えば、図３の横軸の「評価値」を「調整評価値」として読み替えてぼけレベルσを算出し、当該ぼけレベルσを上述した式（２）に適用することで、ぼけ関数ｆ（ｒ）を算出する。

顔検出部５６は、公知の種々の顔検出の技術を利用して顔の検出を行う。具体的に例えば、Adaboost（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20, 1995．）を利用して大量の教師サンプル（顔及び非顔のサンプル画像）から作成した重みテーブルと、画像と、を比較することで顔検出を行っても構わない。

評価値調整部５７ｂは、顔検出部５６によって検出された顔を示す領域（以下、顔領域とする）の画素か否かに基づいて、画素値変化評価値算出部５１で算出される評価値の調整を行う。特に、顔領域の画素に対して算出された評価値が小さくなるように、調整を行う。即ち、顔領域の画素について、鮮鋭化の効果が小さくなるように調整を行う。

具体的に例えば、顔領域の画素について、１以下の補正ゲイン（例えば、０．５）を第１実施例で述べた評価値Ｅに対して乗算して、評価値Ｅ以下となる調整評価値を算出する。一方、顔領域以外の画素について、１と略等しい補正ゲイン（例えば、１）を評価値Ｅに対して乗算して、評価値Ｅと略等しい調整評価値を算出する。

また例えば、顔領域の画素であれば、第１実施例で述べた評価値Ｅから０以上の補正値を減算して、評価値Ｅ以下となる調整評価値を算出する。一方、顔領域以外の画素であれば、評価値Ｅから０と略等しい補正値（例えば、０）を減算して、評価値Ｅと略等しい調整評価値を算出する。

このように構成すると、輪郭が強調されると好ましくない（例えば、シワ等が強調されたり、不自然となったりする）顔について、鮮鋭化の効果を小さくすることが可能となる。そのため、ユーザにとって好ましくかつ自然な出力画像を生成することが可能となる。

なお、評価値調整部５７ｂが評価値を調整することでぼけ関数ｆ（ｒ）を調整する場合について例示したが、ぼけ関数演算部５３が、上記と同様の調整をぼけレベルσを調整することで（例えば、図３に示すグラフを変形することで）実現しても構わない。

＜第３実施例＞
次に、鮮鋭化処理部の第３実施例について、図面を参照して説明する。図７は、第３実施例の鮮鋭化処理部の構成例を示すブロック図であり、第１実施例の鮮鋭化処理部について示した図２に相当するものである。なお、図７に示す第３実施例の鮮鋭化処理部５０ｃについて、図２に示す第１実施例の鮮鋭化処理部５０ａと同様の構成となる部分については同様の名称及び番号を付し、その詳細な説明については省略する。また、第１実施例の鮮鋭化処理部５０ａについて述べた種々の構成の説明は、矛盾なき限り本実施例の鮮鋭化処理部５０ｃにも適用され得るものとする。

図７に示すように、本実施例の鮮鋭化処理部５０ｃは、画素値変化評価値算出部５１と、選択部５２と、ぼけ関数演算部５３と、差分値算出部５４と、鮮鋭化部５５と、入力画像の撮像時のフォーカスの調整情報（以下、ＡＦ（Auto Focus）情報とする）に基づいて画素値変化評価値算出部５１から出力される評価値を調整する評価値調整部５７ｃと、フレームメモリ６０と、を備える。

ただし、ぼけ関数演算部５３は、評価値調整部５７ｃから出力される調整後の評価値（以下、調整評価値とする）に基づいて、ぼけ関数ｆ（ｒ）を算出する。具体的に例えば、図３の横軸の「評価値」を「調整評価値」として読み替えてぼけレベルσを算出し、当該ぼけレベルσを上述した式（２）に適用することで、ぼけ関数ｆ（ｒ）を算出する。

ＡＦ情報は、例えば撮像時に操作部１７を介してユーザによって指定されたり、プログラムなどによって自動的に設定されたりする、合焦中心の位置を示す情報である。合焦中心とは、ＣＰＵ１５が自動的にフォーカスを調製する際に基準とする領域（合焦領域）の中心位置である。例えばＣＰＵ１５は、レンズ部３の各種レンズを駆動させ、画像処理部５から合焦領域の高周波成分を取得し、この高周波成分が大きくなるように調整することでフォーカスを最適化する。

評価値調整部５７ｃは、ＡＦ情報によって示される合焦中心と対象画素との距離に基づいて、画素値変化評価値算出部５１で算出される評価値の調整を行う。特に、合焦中心から近い画素に対して算出される評価値が大きくなるように、合焦中心から遠い画素に対して算出される評価値が小さくなるように、調整を行う。即ち、合焦中心に近い画素の鮮鋭化の効果が大きく、合焦中心から遠い画素の鮮鋭化の効果が小さくなるように、調整を行う。

具体的な調整方法について、図８を参照して説明する。図８は、第３実施例の鮮鋭化処理部の評価値調整部による評価値の調整方法例を示すグラフである。図８（ａ）に示す例では、合焦中心に近い画素について、１以上の補正ゲインが第１実施例で述べた評価値Ｅに対して乗算されるため、評価値Ｅ以上となる調整評価値が算出される。一方、合焦中心から遠い画素について、１以下の補正ゲインが評価値Ｅに対して乗算されるため、評価値Ｅ以下となる調整評価値が算出される。

図８（ｂ）に示す例では、合焦中心に近い画素について、０以上の補正値が第１実施例で述べた評価値Ｅに加算されるため、評価値Ｅ以上となる調整評価値が算出される。一方、合焦中心から遠い画素について、０以下の補正値が評価値Ｅに対して加算されるため、評価値Ｅ以下となる調整評価値が算出される。

このように構成すると、入力画像の撮像時に鮮鋭化すべき位置として設定された位置の画素を、鮮鋭化することが可能となる。そのため、鮮鋭化すべきもの（例えば、入力画像中の主要な被写体）を鮮鋭化した出力画像を生成することが可能となる。また、鮮鋭化すべきもの以外を無用に鮮鋭化することで不自然な出力画像が生成されることを、抑制することが可能となる。

なお、評価値調整部５７ｃが評価値を調整することでぼけ関数ｆ（ｒ）を調整する場合について例示したが、ぼけ関数演算部５３が、上記と同様の調整をぼけレベルσを調整することで（例えば、図３に示すグラフを変形することで）実現しても構わない。

また、図８では、合焦中心からある距離以内またはある距離以上では、補正ゲインまたは補正値が一定となるように図示したが、一方または両方が一定にならないように構成しても構わない。また、合焦中心からの距離がある距離以上かつある距離以内では、補正ゲインまたは補正値が、合焦中心からの距離に応じて線形に変化するように図示したが、非線形に変化するように構成しても構わない。

また、本実施例の鮮鋭化処理部５０ｃが、記録時や編集時に鮮鋭化処理を行う場合に備えて、入力画像の一部（例えば、ヘッダ情報）にＡＦ情報を記録しても構わない。

＜第４実施例＞
次に、鮮鋭化処理部の第４実施例について、図面を参照して説明する。図９は、第４実施例の鮮鋭化処理部の構成例を示すブロック図であり、第１実施例の鮮鋭化処理部について示した図２に相当するものである。なお、図９に示す第４実施例の鮮鋭化処理部５０ｄについて、図２に示す第１実施例の鮮鋭化処理部５０ａと同様の構成となる部分については同様の名称及び番号を付し、その詳細な説明については省略する。また、第１実施例の鮮鋭化処理部５０ａについて述べた種々の構成の説明は、矛盾なき限り本実施例の鮮鋭化処理部５０ｄにも適用され得るものとする。

図９に示すように、本実施例の鮮鋭化処理部５０ｄは、画素値変化評価値算出部５１と、選択部５２と、ぼけ関数演算部５３と、差分値算出部５４と、鮮鋭化部５５と、入力画像から顔を検出して検出結果を出力する顔検出部５６と、入力画像からエッジを検出して検出結果を出力するエッジ検出部５８と、入力画像の撮像時に設定されていた撮像モードを示す情報（以下、撮像モード情報とする）と顔検出部５６やエッジ検出部５８から出力される検出結果とに基づいて画素値変化評価値算出部５１から出力される評価値を調整する評価値調整部５７ｄと、フレームメモリ６０と、を備える。なお、顔検出部５６は、第２実施例の鮮鋭化処理部５０ｂにおいて説明したものと同様として、詳細な説明については省略する。

ただし、ぼけ関数演算部５３は、評価値調整部５７ｄから出力される調整後の評価値（以下、調整評価値とする）に基づいて、ぼけ関数ｆ（ｒ）を算出する。具体的に例えば、図３の横軸の「評価値」を「調整評価値」として読み替えてぼけレベルσを算出し、当該ぼけレベルσを上述した式（２）に適用することで、ぼけ関数ｆ（ｒ）を算出する。

また、撮像モードは、例えば撮像する場面（風景中心で撮像する場面や、人中心で撮像する場面など）に適した撮像条件（シャッタ速度や露出など）に自動的に設定する各種のモードである。またこの撮像モードは、例えば撮像時に操作部１７を介してユーザによって指定されたり、プログラムなどによって自動的に設定されたりする。

また、エッジ検出値は、入力画像の対象画素とそれに近接する画素の画素値の変動の大きさを示す値である。例えば、対象画素とそれに近接する画素の領域に対して微分フィルタなどを適用することで、算出される。

評価値調整部５７ｄは、撮像モード情報によって示される撮像モードに応じて、評価値の調整方法を設定する。そして、設定した調整方法において、対象画素のエッジ検出値に基づいて、画素値変化評価値算出部５１が算出する評価値の調整を行う。

例えば、いずれの撮像モードによって設定される調整方法においても、エッジ検出値が大きい画素に対して算出される評価値が大きくなるように、またエッジ検出値が小さい画素に対して算出される評価値が小さくなるように、調整を行う。即ち、エッジ検出値が大きい画素の鮮鋭化の効果が大きく、エッジ検出値が小さい画素の鮮鋭化の効果が小さくなるように、調整を行う。また、等しいエッジ検出値で比較する場合、風景モードのときに設定される調整方法の方が、ポートレートモードのときに設定される調整方法よりも、評価値が大きくなる方向に調整されるようにする。即ち、ポートレートモードよりも風景モードの方が、全体として鮮鋭化の効果が大きくなるように調整されるようにする。

具体的な調整方法について、図１０を参照して説明する。図１０は、第４実施例の鮮鋭化処理部の評価値調整部による評価値の調整方法例を示すグラフである。

図１０（ａ）に示す例では、エッジ検出値が大きい画素について、１以上の補正ゲインが第１実施例で述べた評価値Ｅに対して乗算されるため、評価値Ｅ以上となる調整評価値が算出される。一方、エッジ検出値が小さい画素について、１以下の補正ゲインが評価値Ｅに対して乗算されるため、評価値Ｅ以下となる調整評価値が算出される。また、ある任意のエッジ検出値において、風景モードのときに設定される調整方法の補正ゲインが、ポートレートモードのときに設定される調整方法の補正ゲインよりも、大きいものとなる。

図１０（ｂ）に示す例では、エッジ検出値が大きい画素について、０以上の補正値が第１実施例で述べた評価値Ｅに対して加算されるため、評価値Ｅ以上となる調整評価値が算出される。一方、エッジ検出値が小さい画素について、０以下の補正値が評価値Ｅに対して乗算されるため、評価値Ｅ以下となる調整評価値が算出される。また、ある任意のエッジ検出値において、風景モードのときに設定される調整方法の補正値が、ポートレートモードのときに設定される調整方法の補正値よりも、大きいものとなる。

また、上述の図１０に示す調整方法は、顔検出部５６で検出された顔を示す領域以外の画素である場合に、そのまま適用される。これに対して、顔領域の画素である場合、第２実施例の鮮鋭化処理部５０ｂにおいて説明した調整方法が適用される。

このように構成すると、鮮鋭な画像が好まれることが多い風景画像に対しては鮮鋭化の効果を大きくし、ぼかした画像が好まれることが多いポートレート画像に対しては鮮鋭化の効果を小さくすることが可能となる。そのため、撮像する場面に適する鮮鋭化を行った出力画像を生成することが可能となる。

また、撮像モードによって設定される調整方法は、画素毎のエッジ検出値に基づいて評価値を調整するものである。そのため、精度よくぼけ関数ｆ（ｒ）を調整して鮮鋭化を行うことが可能となる。

なお、評価値調整部５７ｄが評価値を調整することでぼけ関数ｆ（ｒ）を調整する場合について例示したが、ぼけ関数演算部５３が、上記と同様の調整をぼけレベルσを調整することで（例えば、図３に示すグラフを変形することで）実現しても構わない。

また、顔領域の画素である場合に、図１０に示す調整方法を適用しないこととして説明したが、特定の撮像モード（例えば、風景モードなど）の場合には、図１０に示す調整方法を適用することとしても構わない。

また、図１０では、風景モードのときに設定される調整方法において、エッジ検出値がある値以下またはある値以上では、補正ゲインまたは補正値が一定となるように図示したが、一方または両方が一定にならないように構成しても構わない。また、エッジ検出値がある値以上かつある値以下では、補正ゲインまたは補正値が、エッジ検出値に応じて線形に変化するように図示したが、非線形に変化するように構成しても構わない。

また、図１０では、ポートレートモードのときに設定される調整方法において、エッジ検出値がある値以上では、補正ゲインが１または補正値が０となるように図示したが、１または０以外の値になるように構成しても構わないし、一定にならないように構成しても構わない。また、エッジ検出値がある値以下のときに、補正ゲインまたは補正値が一定となるように構成しても構わない。また、エッジ検出値がある値以下では、補正ゲインまたは補正値が、エッジ検出値に応じて線形に変化するように図示したが、非線形に変化するように構成しても構わない。

また、本実施例の鮮鋭化処理部５０ｄが、記録時や編集時に鮮鋭化処理を行う場合に備えて、入力画像の一部（例えば、ヘッダ情報）に撮像モード情報を記録しても構わない。

＜変形例＞
上述した各実施例の鮮鋭化処理部５０ａ〜５０ｄは、矛盾なき限り組み合わせて実施することができる。例えば、第２〜第４実施例の鮮鋭化処理部５０ｂ〜５０ｄの評価値調整部５７ｂ〜５７ｄがそれぞれ設定する補正ゲインまたは補正値を、重み付け加算することで総合的な補正ゲインまたは補正値を算出し、これを用いて評価値を調整しても構わない。

本発明の実施形態における撮像装置１について、画像処理部５や鮮鋭化処理部５０，５０ａ〜５０ｄなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１に示す撮像装置１や、図２、図６、図７及び図９に示す鮮鋭化処理部５０ａ〜５０ｄは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や鮮鋭化処理部５０ａ〜５０ｄの一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。

以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、入力される画像を鮮鋭化して出力する画像処理装置に関する。また、当該画像処理装置を備える撮像装置に関する。

５０，５０ａ〜５０ｄ 鮮鋭化処理部
５１ 画素値変化評価値算出部
５２ 選択部
５３ ぼけ関数演算部
５４ 差分値算出部
５５ 鮮鋭化部
５６ 顔検出部
５７ｂ〜５７ｄ 評価値調整部
５８ エッジ検出部
６０ フレームメモリ

Claims (5)

1. 入力される画像の画素毎に、画像の劣化の状態を示す劣化成分を求める劣化成分導出部と、
   前記画像の画素毎に、劣化成分を復元することで鮮鋭化する鮮鋭化部と、
   前記画像の画素毎に、当該画素及び近接する画素の画素値の変化を検出する画素値変化検出部と、を備え、
   前記劣化成分導出部は、前記画素値変化検出部で検出される画素値の変化の大きさに基づいて劣化成分を求めるものであり、
   画素値の変化の大きさが第１の閾値以上である場合、最大の劣化成分を導出し、
   画素値の変化の大きさが前記第１の閾値より小さい第２の閾値未満である場合、最小の劣化成分を導出し、
   画素値の変化の大きさが前記第２の閾値以上で第１の閾値未満である場合、画素値の変化の大きさに応じた劣化成分を導出することを特徴とする画像処理装置。
2. 前記画像から顔を検出する顔検出部と、
   前記劣化成分導出部で求められる劣化成分を調整する調整部と、をさらに備え、
   前記調整部が、前記顔検出部で検出された顔を示す画素について、前記劣化成分導出部で求められる劣化成分が示す劣化の程度が、小さくなるように調整することを特徴とする請求項１に記載の画像処理装置。
3. 前記劣化成分導出部で求められる劣化成分を調整する調整部をさらに備え、
   前記調整部が、前記画像の撮像時にフォーカスの調整を行った位置から近い画素について、前記劣化成分導出部で求められる劣化成分が示す劣化の程度が、大きくなるように調整することを特徴とする請求項１〜請求項２のいずれかに記載の画像処理装置。
4. 前記劣化成分導出部で求められる劣化成分を調整する調整部をさらに備え、
   前記調整部が、前記画像の撮像時に設定されていた撮像モードに応じた調整方法によって、前記劣化成分導出部で求められる劣化成分を調整することを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 撮像により画像を生成する撮像部と、
   前記撮像部で生成される画像を鮮鋭化する請求項１〜請求項４のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
   

Images