JP5968088B2 - 画像処理装置、画像処理方法、および、プログラム - Google Patents

Description

本発明は、撮像画像の画像処理に関するものであり、特に撮像光学系による撮像画像の劣化を低減する技術に関する。

デジタルカメラ等の撮像装置により被写体を撮像して得られた画像には、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このような「ぼけ成分」は、無収差で回折の影響がない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、広がりをもって像を結ぶことで発生する。

ここでいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）により表され、ピントのずれによるぼけとは異なる。

この点像分布関数をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり複素数で表される。光学伝達関数の絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）といい、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）という。ＭＴＦおよびＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。

撮像光学系の光学伝達関数は画像の振幅成分と位相成分に影響を与え、撮像光学系を介して取得された被写体の画像は、各点がコマ収差のように非対称にぼけた画像になる。さらに、画像が有する色成分（例えば、赤、青、緑など）ごとにＰＳＦが異なるため、色成分ごとに異なるぼけが発生し、色がにじんだような画像になる。

このような撮像光学系による画像劣化を画像処理にて高精細に補正するためには、収差の位相成分と振幅成分の劣化を補正することが必要である。

従来、振幅成分の劣化を補正する方法として、シャープネスに代表される画像中のエッジ部分を検出してエッジを強調するエッジ強調処理が知られており、位相成分の劣化を補正する方法として、画像の色成分ごとに像倍率を変更する幾何補正処理が知られている。

さらに、振幅成分と位相成分の劣化を両方とも補正する方法として、撮像光学系の光学伝達関数の情報を用いて画像の劣化を補正する画像回復処理が知られている（例えば、特許文献１を参照）。

以下に画像回復処理の概要を示す。

劣化した画像の信号レベルをｇ（ｘ，ｙ）、もとの画像の信号レベルをｆ（ｘ，ｙ）、信号レベルｇ（ｘ、ｙ）を取得するために用いた撮像系の点像分布関数をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は実空間における画像の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） （式１）
式１をフーリエ変換して周波数空間での表示形式に変換すると、式２のように表すことができる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）×Ｆ（ｕ，ｖ） （式２）
ここで、Ｈ（ｕ，ｖ）は点像分布関数ｈ（ｘ，ｙ）をフーリエ変換した光学伝達関数である。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれ信号レベルｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。（ｕ，ｖ）は２次元周波数空間での周波数（座標）を示す。

劣化画像から元の画像（元画像）を得るためには、式２の両辺をＨ（ｕ，ｖ）で除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） （式３）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間に戻すことで元画像の信号レベルｆ（ｘ，ｙ）を回復処理後の画像として得ることができる。

式３の両辺を逆フーリエ変換すると、式４で表される。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） （式４）
ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）として表しており、このＲ（ｘ，ｙ）が回復フィルタである。この回復フィルタは光学伝達関数に基づいているため、振幅成分および位相成分の劣化を補正することができる。

図１４に、撮像光学系によってぼけ成分が生じた画像の空間周波数に対する振幅成分を示す。図１４（ａ）は、撮像光学系によって劣化した画像の振幅成分であり、図１４（ｂ）はこの劣化を完全に回復した状態の画像の振幅成分である。理想的な画像回復処理は、図１４（ａ）に示す空間周波数に対する振幅成分の大きさを、図１４（ｂ）に示すように全ての空間周波数において１にすることである。しかしながら、実際には、画像にはノイズ成分が含まれているため、光学伝達関数（ＯＴＦ）の逆数をとって作成された回復フィルタを用いると、画像を構成するために必要とされる信号だけではなく、ノイズのパワースペクトルも持ち上げてしまう。つまり、結果的に、振幅成分を持ち上げる度合（以下、回復ゲインと呼ぶ）に応じてノイズも増幅されてしまう。

また、レンズの設計情報を基に想定した収差特性と、実際に撮像光学系で生じた収差特性とに相違が生じる可能性もあり、このような場合に、画像にリンギングなどの弊害が発生することがある。あるいは、ＲＧＢ（赤、緑、青）の色成分ごとに画像回復処理による回復度合が想定しているものと異なると、回復処理後の画像に偽色が発生してしまうことがある。このような回復処理に起因するアーティファクトに対処するため、回復ゲインを制限することで、ある程度はノイズ、リンギング、および、偽色などのアーティファクトの増幅や発生を抑制することが可能となる。

ここで、ノイズの増幅を抑えるための回復フィルタとして、例えば、下記の式５で表されるウィナーフィルタが知られている（例えば、特許文献２を参照）。

なお、Ｃは０もしくは正の値である。このウィナーフィルタを用いると、振幅成分が小さな周波数の信号ほど振幅成分が増幅されない。ノイズ成分は高周波成分に含まれることが多いため、結果的に、ノイズの増幅を抑えた回復フィルタとなる。

このとき式５から、｜Ｗ（ｕ，ｖ）｜≦１／｜Ｈ（ｕ，ｖ）｜という関係が理解できる。即ち回復フィルタを用いることで増幅できる周波数特性の最大値は１／｜Ｈ（ｕ，ｖ）｜であり、ＯＴＦの絶対値の逆数、所謂逆フィルタの特性と一致する。

一般的なカメラ等で撮影された画像に対して、例えば式５のウィナーフィルタを用いて画像回復処理を行う場合、式中のＣの値を制御することで回復処理の補正値を制御することができる。またウィナーフィルタに種々変形を施したものでも、画像回復処理の補正値を制御することが可能である。

特開２０１１−１２３５８９号公報 特開２０１１−１２４６９２号公報

上述したように、画像回復処理の回復ゲインを大きくすれば、撮像光学系に起因するぼけ成分の回復度合いが強くなるが、回復処理に起因するアーティファクトが発生しやすくなる。そこで、操作者（ユーザー）が実際に画像回復処理を施した画像を見ながら、アーティファクトによる影響を自身で確認しつつ、回復ゲインを任意に設定できるようにしたソフトウェアを提供することが望ましい。

しかしながら、撮像光学系の種類や個体差、焦点距離、絞り値、あるいは、像高など、様々な条件に応じて、画像のそれぞれの領域に生じるぼけ成分は異なる。そのため、これらの条件に応じて、振幅成分と位相成分の劣化の程度も異なり、適用可能な回復ゲインの最大値も異なる。

図１５は、同一画像内の像高の異なる領域において適用可能な回復ゲインを比較するための図である。図１５の太線は、ノイズやリンギングなどをアーティファクト、および、撮像素子の画素のサイズなどによる画像の分解能を考慮して設定された、画像回復による増幅後の振幅成分の最大値である回復上限を示す曲線である。細線はそれぞれが像高１の領域における振幅成分を示す曲線と、それよりも高い像高である像高２の領域における振幅成分を示す曲線である。この図１５から明らかなように、像高１における画像と像高２における画像とで、画質の劣化の程度が異なるため、適用可能な回復ゲインの範囲は異なる。ここでは異なる像高での違いを例にあげて説明を行ったが、これは、焦点距離や絞り値といった撮像条件の違いにおいても同様である。

ゆえに、操作者が回復ゲインに対応する回復調整値を所定範囲内で任意に選択できるようなユーザーインターフェースを用いた場合、操作者が選択した回復調整値に応じた回復ゲインを必ずしも適用できるとは限らない。そのため、すでに適用可能な回復ゲインの最大値を超えていた場合、操作者が回復調整値を高める操作をしたとしても、表示される画像には見た目の変化が何ら生じないことになり、操作者に操作上の違和感を与える可能性がある。また、操作者が回復調整値を高める操作を行っているにも関わらず、適用可能な回復ゲインの最大値に達しているという理由により、それ以上画像の鮮鋭度を高めるための処理を行わないことは、使い勝手が良くないものとなってしまう。

上記課題を解決するため、本発明にかかる画像処理装置は、画像を撮像する際に用いた撮像光学系によって生じる非対称な光束の広がりを補正するための第１の画像処理を画像に施す第１画像処理実行手段と、第１の画像処理による画像の補正の度合いであるゲインを設定するための調整値の入力を受け付ける入力手段と、第１の画像処理が施された画像を表示する表示手段と、入力手段で入力された調整値に応じて設定されたゲインと、実行可能なゲインの差分に応じて、第１の画像処理が施された画像に、第１の画像処理とは異なる鮮鋭度を高めるための第２の画像処理を施す第２画像処理実行手段と、を有することを特徴とする。

本発明によれば、操作者の意図するレベルの画像回復処理を画像に適用することができるとともに、画像回復処理による回復の上限を超えた場合であっても、操作者の指示に応じて鮮鋭度を高めた画像を見せることができるユーザーインターフェースを提供することが可能となる。

本発明の実施形態にかかる画像処理装置の概略構成を示すブロック図である。 本発明の実施形態にかかる画像処理装置が備える処理手段を模式的に示す図である。 本発明の実施形態にかかるユーザーインターフェースの一例を示す図である。 本発明の実施形態にかかるスライダーの目盛りの値と入力ゲインＧｉとの関係を示す図である。 本発明の第１実施形態にかかる画像補正処理のフローチャートである。 本発明の実施形態にかかる画像補正処理において、適用された画像回復処理の実行ゲインＧｅを求める像高領域を説明するための図である。 本発明の実施形態にかかる画像補正処理において、各像高領域内で実際に適用された画像回復処理の実効ゲインＧｅの例である。 本発明の実施形態にかかる画像補正処理おいて、回復フィルタの生成の一例を示す図である。 本発明の第１実施形態にかかる画像補正処理において、回復フィルタの一例を示す図である。 本発明の第１実施形態にかかる画像補正処理において、第２の画像処理の補正値を決定するため方法を説明する模式図である。 本発明の第１実施形態にかかる画像補正処理において、第２の画像処理としてのシャープネス処理を実行するために適用する補正フィルタの例である。 第２実施形態にかかる画像処理装置において、実行される画像補正処理のフローチャートである。 第２実施形態にかかる画像処理装置において、第２画像処理の補正値を決定するため方法を説明する模式図である。 撮像光学系によってぼけ成分が生じた画像の空間周波数に対する振幅成分を示す図である。 同一画像内の像高の異なる領域のそれぞれにおいて適用可能な回復ゲインの最大値を比較するための図である。

以下に、本発明の好ましい実施の形態を、図面を用いて詳細に説明する。

図１は、本発明の実施形態にかかわる画像処理装置の概略構成を示すブロック図である。図１に示される画像処理装置の構成は、後述する第１実施形態および第２実施形態に共通する構成である。

画像処理装置では、ＣＰＵ１００は、外部記憶装置１０３に記憶されたオペレーティングシステム（ＯＳ）や画像処理アプリケーションプログラムをメモリ１０２に展開し、実行することで、装置全体の動作が制御され、装置で実行される各種の処理が実現される。

外部記憶装置１０３としては、例えば、ハードディスク等が用いられる。メモリ１０２としては、ＲＡＭ等が用いられる。なお、ＯＳや画像処理アプリケーションプログラムは、外部記憶装置１０３に代えて、ＲＯＭ等の不揮発性メモリに記憶されていてもよい。

外部記憶装置１０３には画像データ、および、撮像光学系に起因する非対称な光束の広がりを補正するための画像回復処理に使用するレンズの光学伝達関数のデータであるＯＴＦデータが格納されている。ここでは、外部記憶装置１０３に格納されている画像は、デジタルカメラを用いて撮影された撮影画像であるものとする。ＣＰＵ１００は、外部記憶装置１０３から補正対象となる画像のデータを読み出して表示メモリ１０１に展開し、画像を表示装置１０５に表示する。表示装置１０５としては、液晶ディスプレイやＣＲＴ等が用いられる。

画像処理装置の操作者による操作は、キーボードやマウス等の入力装置１０４を介して、行われる。外部記憶装置１０３から読み出された撮影画像に対して補正を行うことにより生成される新しい画像の画像データは、外部記憶装置１０３に対して格納される。

（第１実施形態）
図２は本発明の第１の実施形態にかかる画像処理装置が備える処理手段を模式的に示す図である。図２に示される各種の処理手段はＣＰＵ１００が外部記憶装置１０３に記憶された所定のアプリケーションプログラム等をメモリ１０２に展開、実行し、画像処理装置が備える各部がＣＰＵ１００からの指令に基づいて所定の動作を行うことにより実現される。

画像処理装置は画像入力手段２００、付帯情報取得手段２０１、画像表示手段２０２、回復調整値操作手段２０３、画像回復実効ゲイン取得手段２０４、本発明の全処理の制御を行う画像処理制御手段２０５、回復フィルタ作成手段２０６、第１画像処理実行手段２０７、第２画像処理実行手段２０８、第２画像処理補正量決定手段２０９を備える。さらに第１画像処理として利用される画像回復処理を行うために事前に撮像光学系であるレンズごとに用意されるＯＴＦデータ２１０が外部記憶装置１０３に提供される。

画像入力手段２００は外部記憶装置１０３から画像データをメモリ１０２に読み込む。付帯情報取得手段２０１はメモリ１０２に展開された画像データを解析して、レンズ情報、絞り、撮影距離などの画像回復処理に必要な付帯情報を取得する。画像表示手段２０２は画像を画像用メモリ１０２に展開し、表示装置１０５に表示する。回復調整値操作手段２０３は表示装置１０５に画像と共に表示され、操作者に本発明の画像の回復度合いを示す回復調整値（以下、入力ゲインＧｉと呼ぶ）を設定させるユーザーインターフェースである。

図３に、このユーザーインターフェースの一例を示す。図３において、表示装置１０５の画面１０５ａの左側に画像回復処理の対象となる画像１０５ｂが表示され、右側に入力ゲインＧｉを設定するためのスライダー１０５ｃが表示される。スライダー１０５ｃの目盛りとして左端に１、右端に１００と表示されており、スライダー１０５ｃ上に表示されたマーク１０５ｄを左右に移動させることで、そのマーク１０５ｄが位置するスライダー１０５ｃ上の目盛りの値に応じた入力ゲインＧｉが設定される。この図３の例では、スライダー１０５ｃ上の目盛りの値として「４５」が選択されていることを示す。スライダー１０５ｃの左側には、マーク１０５ｄの位置に応じた回復ゲインによる画像回復処理がリアルタイムに実施された画像１０５ｂが表示されており、画像回復処理を行うことで画像１０５ｂがどのように変化するかが観察できるようになっている。

図４に、スライダー１０５ｃの目盛りの値と入力ゲインＧｉとの関係を示す。本実施形態では、スライダー１０５ｃで選択した値がそのまま入力ゲインＧｉとなっているわけではく、スライダー１０５ｃでは１から１００までの値を設定することができるのに対して、実際に設定される入力ゲインＧｉは１から１０までの値となる。

また、本実施形態では、スライダー１０５ｃの目盛りが１から５０までの間では、目盛りが１のときに入力ゲインＧｉが１となり、目盛りが５０のときに入力ゲインＧｉが２となるように、スライダー１０５ｃの目盛りに対する入力ゲインＧｉの値が直線的に変化する。また、スライダー１０５ｃの目盛りが５０から１００までの間では、目盛りが５０のときに入力ゲインＧｉが２となり、目盛りが１００のときに入力ゲインＧｉが１０となるように、スライダー１０５ｃの目盛りに対する入力ゲインＧｉの値が直線的に変化する。これは、利用頻度がもっとも高くなると思われる入力ゲインＧｉ（この例では、Ｇｉ＝２）が、スライダー１０５ｃの中間の目盛りに位置するようにしたためである。

なお、入力ゲインＧｉは、画像回復処理前の振幅成分（ＭＴＦ）に対する画像回復処理後の振幅成分の比率を示す値であり、入力ゲインＧｉが１のときは、画像回復処理によって振幅成分は回復しておらず、位相成分（ＰＴＦ）のみが回復したことを示す。

回復フィルタ作成手段２０６は付帯情報取得手段２０１より取得された撮影距離や絞り、レンズ種などの情報に基づいて、外部記憶装置１０３にレンズ毎にあらかじめ用意される離散的なＯＴＦデータ（２１０）群から対象とする必要なＯＴＦデータを選択する。そして、選択したＯＴＦデータを用いて、画像の画像回復処理に必要な回復フィルタを補間により生成する。画像回復実効ゲイン取得手段２０４は、実際に生成された回復フィルタを使用して第１画像処理実行手段２０７によって画像回復処理が行われた結果から、実際に適用された像高領域ごとの回復ゲイン（以下、実効ゲインＧｅと呼ぶ）を取得する。回復フィルタは、図６（ａ）に示すように画像を４分割した領域をさらに像高により小分割した図６（ｂ）に示すような領域ごとに設定される。この例では、画像を４分割した領域をさらに縦横それぞれ７個の領域に分割している。

この像高領域ごとの実効ゲインＧｅの例が図７に示す適用ゲイン表である。図７（ａ）は、各像高領域において実際に画像回復処理で適用可能な実効ゲインＧｅの上限の例を示す。この例では、右上の領域が最も像高が低い領域であり、左下の領域が最も像高が高い領域である。上述したように、像高が異なると振幅成分の劣化の程度が異なるため、実効ゲインＧｅの上限にも差が生じる。振幅成分の劣化の程度が大きい領域ほど実効ゲインＧｅの上限が大きくなり、振幅成分の劣化の程度が小さい領域ほど実効ゲインＧｅの上限が小さくなる。図７（ｂ）は、入力ゲインＧｉが７であるときの各像高領域における実効ゲインＧｅの例を示す。図７（ｂ）からわかるように、実効ゲインＧｅの上限が入力ゲインＧｉよりも小さい領域では実効ゲインＧｅは上限の値となり、実効ゲインＧｅの上限が入力ゲインＧｉ以上の領域では実効ゲインＧｅは入力ゲインＧｉの値と等しくなる。この図７に示す例では、入力ゲインＧｉが１０であるときは、全ての領域における実効ゲインＧｅが入力ゲインＧｉよりも小さくなる。

第２画像処理補正量決定手段２０９は、実効ゲインＧｅと回復調整値操作手段２０３で入力された入力ゲインＧｉの差分に応じて、画像回復処理以外の画像の鮮鋭度を高める補正処理（例えば、シャープネス処理）の補正量を決定し、この補正処理を実行する。

次に本実施形態にかかる画像処理装置を用いた画像処理の具体的なプロセスについて説明する。操作者（編集者）が入力装置１０４を通して画像処理アプリケーションを選択すると、ＣＰＵ１００は対応する画像処理アプリケーションプログラムを外部記憶装置１０３から読みだして実行する。これにより画像処理アプリケーション、この場合、画像回復処理のユーザーインターフェース画面１０５ａが表示装置１０５に表示される。

この画像処理アプリケーションは、入力された回復調整値に応じた第１の画像処理としての画像回復処理と、第２の画像処理としての鮮鋭化処理の２つをシームレスに行い、光学的かつ鑑賞にも良好な画像を得るものである。

次に、上述したユーザーインターフェース、シーケンスに基づく画像処理を実現する画像処理プログラムの処理フローについて説明する。

図５は、第１実施形態にかかる画像補正処理のフローチャートである。図５のフローチャートに示されるステップＳ３００〜Ｓ３８０を含めた全機能の処理は、本実施形態が具備する画像処理制御手段２０５が管理している。

最初にステップＳ５０１において、補正をしたい画像を指定して画像を読み込む。撮像素子のカラーフィルタのそれぞれの色に対応する色信号ごとに点像分布関数が異なるため、画像回復処理を適切に行うためには、色信号ごとに回復フィルタを生成する必要がある。そのため、このステップ５０１で読み込む画像は、現像処理を施す前のＲＡＷ画像である。

そして、ステップＳ５０２にて、この画像データに付属する撮影情報、レンズ情報、および、撮像素子の画素サイズ情報といった付帯情報を解析して、特にレンズ種や撮影距離などのデータを取得する。ステップＳ５０３において、この解析された付帯情報から、事前に用意されているＯＴＦデータ群の中から利用するＯＴＦデータを、色信号ごとに設定する。

ステップＳ５０４において、操作者がユーザーインターフェース画面１０５ａを見ながら操作したことによって設定された、その画像の回復度合いの回復調整値である入力ゲインＧｉを読み込む。

ステップＳ５０５において、ＯＴＦデータと入力した入力ゲインＧｉ、そして取得した付帯情報を使って回復フィルタを作成する。

図８は、回復フィルタの生成の一例を示す図であり、（ａ）は画像全面の４分の１の領域におけるＯＴＦデータの設定を示す図、（ｂ）は画像全面の回復フィルタの生成を示す図である。回復フィルタ作成手段２０６は画像の中心からその周辺までの像高を例えば１０分割し、この１０分割した像高に対応するＯＴＦデータを回転処理して、画像全面の４分の１領域について離散点８０２のＯＴＦデータを設定する。

続いて、回復フィルタ作成手段２０６は、その画像を生成した撮像素子のナイキスト周波数でＯＴＦデータを切り出し、その画像を生成する際に用いられた光学ローパスフィルタや開口劣化特性などの撮影条件に基づく補正を行う。

ＯＴＦデータは撮影された画像の各点における特性を示したものであるので、回復フィルタを生成するためには、補正後のＯＴＦデータの逆特性を求め、この逆特性データを逆フーリエ変換することで回復フィルタが得られる。補正後のＯＴＦデータは位相成分を含むため複素数データであるが、回復フィルタは図９（ａ）に示すような実数の二次元フィルタであり、図９（ａ）の破線に沿った一軸上では図９（ｂ）のような形状をしている。回復フィルタは一般的なエッジ強調フィルタなどとは異なり、タップ数が大きく、フィルタの係数が非対称に分布しているという特徴がある。

図８（ａ）に示すように、画像全面の４分の１の領域で回復フィルタを求めたら、この回復フィルタを図８（ｂ）に示すようにコピーして折り返すことで、画像全面の回復フィルタを生成することができる。

ステップＳ５０６において、作成された回復フィルタを第１画像処理実行手段２０７が画像回復処理として実際に画像に適用する。

適用処理完了後、ステップＳ５０７において、画像回復実効ゲイン取得手段２０４が像高ごとの適用された実効ゲインＧｅを取得し、実効ゲインＧｅの中で最も大きな値Ｇｍａｘを決定する。例えば、図７（ａ）ではＧｍａｘは９となる。

ここで、入力ゲインＧｉがこのＧｍａｘを超えた場合の、ユーザーインターフェースの動作について説明する。

例えば、操作者が表示装置１０５の画面１０５ａに表示されたスライダー１０５ｃ上に表示されたマーク１０５ｄを、左端の目盛り１から右端の目盛り１００まで操作することにより、入力ゲインＧｉを１から１０まで連続的に変化させたとする。図７（ａ）に示すようにＧｍａｘが９である場合は、入力ゲインＧｉが９に達するまではスライダー１０５ｃ上のマーク１０５ｄの移動に連動して、画像の少なくともいずれかの領域では回復ゲインが変化する。しかしながら、入力ゲインＧｉが９を超えてしまうと回復ゲインは変化せず、スライダー１０５ｃ上のマーク１０５ｄを移動させたとしてもスライダー１０５ｃの左側に表示されている画像の見た目の変化が生じない。つまり、操作者が画像の見た目を変化させようとしてスライダー１０５ｃ上のマーク１０５ｄを移動させているにも関わらず、表示されている画像１０５ｂの見た目が変化しないという状況が生じてしまう。そして、Ｇｍａｘの値が小さい場合ほど、マーク１０５ｄを移動させたとしても画像１０５ｂの見た目の変化が生じないスライダー１０５ｃ上の範囲が増えてしまう。

そこで、最大値Ｇｍａｘ以上の入力ゲインＧｉが指示された場合には、さらなる解像感向上のため、画像回復処理を施した画像に対して、さらに画像のコントラストや鮮鋭度の改善を行うためのシャープネス処理に代表される第２の画像処理を追加して行う。

図１０は画像回復結果からＧｍａｘが９であるときに、第２の画像処理に適用する補正量がどのようにして決定されるかを模式的に表した図である。

ステップＳ５０８において、第２画像処理補正量決定手段２０９は入力ゲインＧｉと最大値Ｇｍａｘの差分を計算し、入力ゲインＧｉより最大値Ｇｍａｘが小さいならば、操作者が所望する調整量として期待しているような補正量になっていないものと判断する。

ステップＳ５０９において、第２画像処理補正量決定手段２０９は、この差分に相当する値（この例においては、Ｇｉ−Ｇｍａｘ＝１）１を第２の画像処理に適用する補正量として決定する。

そして、ステップＳ５１０において、第２画像処理実行手段２０８がステップＳ５０９で求めた補正量に基づいて、画像全体に対して第２の画像処理を実行する。このような処理により、入力ゲインＧｉの増加に伴い、２つの画像処理をシームレスに切り替えることができる。

なお、実効ゲインＧｅの最大値であるＧｍａｘが入力ゲインＧｉ以上であれば、操作者が所望する回復度合いが得られたものとして、第２の画像処理は実行しない。

ステップＳ５１１にて、最大２つの画像の劣化を回復する処理を実行して得られた画像１０５ｂを表示装置１０５に出力する。

以下、本第実施形態で用いられている第２の画像処理として利用されるシャープネス処理について説明する。

補正対象の画像は、光学伝達関数に基づく画像回復処理が完了している。そのため、位相成分の劣化は補正され、振幅成分の劣化もアーティファクトの影響を考慮した分を除けば、改善されている。第２の画像処理として適用するシャープネス処理は、この画像回復処理が完了している画像のエッジを検出し、そのエッジ部分のデータを第２画像処理補正量決定手段２０９が決定した補正量に応じて、これを強調する処理である。たとえば、所定幅のエッジ部分の輝度を調整量に応じて増大させることで可能である。したがって、シャープネス処理を実行する前に、まず第２画像処理実行手段２０８が画像回復処理を施された画像に現像処理を行い、輝度信号および色差信号で構成された画像に変換する。

図１１はシャープネス処理を実行するために適用する補正フィルタの例である。

まず画像の輝度信号に対して図１１（ａ）に示すエッジ検出用のフィルタを適用し、予め設定した閾値以上の値が得られた画素をエッジ部として抽出する。ただし、このエッジ検出用のフィルタを適用した後の着目画素で得られた値が閾値を超えていたとしても、隣接する全ての画素で得られた値が閾値を超えていないのであれば、その着目画素はノイズである可能性が高いと判断し、エッジ部ではないものとする。この図１１（ａ）に示すフィルタのタップ数を増やせば、より幅の広いエッジ部も抽出することができる。

続いて、第２画像処理実行手段２０８は、エッジ部であると判定された画素に対して、図１１（ｂ）乃至図１１（ｄ）に例示するような３×３画素の補正フィルタを適用することで、着目画素の輝度信号の振幅成分を増幅する。図１１（ｂ）に示す補正フィルタよりも図１１（ｃ）に示す補正フィルタのほうが増幅率は高く、図１１（ｃ）に示す補正フィルタよりも図１１（ｄ）に示す補正フィルタのほうが増幅率は高い。このように、２画像処理補正量決定手段２０９が決定した補正量が大きいほど、輝度信号の振幅成分を増幅率の大きい補正フィルタを適用することで、エッジ部を強調する。なお、この図１１（ｂ）乃至図１１（ｄ）に示すフィルタはあくまで一例である。例えば、図１１（ｄ）に示す５×５画素の補正フィルタを用いることにより、２画素分の幅を有するエッジ部の振幅成分を増幅することができる。

第２の画像処理でのシャープネスにかける調整量は、振幅成分の強さに対しての調整量であってもよいし、あるいは抽出するエッジの大きさと振幅成分の強さの両方を調整するものであってもかまわない。

なお、本実施形態では、第２画像処理実行手段２０８はシャープネス処理を行うものであるとして説明を行ったが、コントラストを高めたり、エッジ部を強調したりするなど、画像をより鮮鋭化するための画像処理であれば、他の公知の方法であってもよい。

ここで、第１の画像処理である画像回復処理で用いられる回復フィルタと、第２の画像処理で用いられる補正フィルタは、ともに実数のフィルタであるという点で共通しているが、その特性には差がある。例えば、第１の画像処理である画像回復処理で用いられる回復フィルタは、ぼけによる位相成分の劣化を補正することができることに対して、第２の画像処理で用いられる補正フィルタには位相成分の劣化を補正する作用がないという点で、大きく異なる。

また、画像回復処理で用いられる回復フィルタは、撮像素子のカラーフィルタのそれぞれの色に対応する色信号ごとに設ける必要があるが、第２の画像処理で用いられる補正フィルタはこれに限定されない。さらに、画像回復処理で用いられる回復フィルタは、撮像光学系の光学伝達関数に関連して設定可能な回復ゲインに上限が存在するが、第２の画像処理で用いられる補正フィルタにはこのような上限は存在せず、振幅成分の増幅率を自由に拡大できる。

以上のように、本実施形態の画像処理装置によれば、操作者から画像回復処理の上限を超える入力ゲインの指示があった場合には、画像回復処理からそれとは異なるシャープネス等の補正処理に速やかに移行する。このように構成することで、操作者の意図するレベルの画像回復処理を画像に適用することができるとともに、画像回復処理による回復の上限を超えた場合であっても、操作者の意図するレベルまで鮮鋭度を高めた画像を見せることができる。

（第２実施形態）
第１実施形態では、操作者の指示に応じた入力ゲインＧｉと、実際に適用された画像回復処理での実効値Ｇｅの最大値であるＧｍａｘを比較し、入力ゲインＧｉのほうが大きい場合には、その差分に応じた補正量でシャープネス処理等の第２の画像処理を行っていた。

これに対し、第２実施形態では、画像回復処理の像高領域ごとに実効ゲインＧｅと入力ゲインＧｉを比較し、入力ゲインＧｉのほうが大きい場合には、像高領域ごとにその差分に応じた補正量でシャープネス処理等の第２の画像処理を行うものである。

第２実施形態にかかる画像処理装置は、図１および図２に示す第２実施形態にかかる画像処理装置と同じ構成を有しているが、第２画像処理実行手段２０８および第２画像処理補正量決定手段２０９による処理が異なる。

図１２は、第２実施形態にかかる画像補正処理のフローチャートである。図１２のステップＳ１２０１乃至ステップＳ１２０６の処理は、図５のステップＳ５０１乃至ステップＳ５０６の処理と等しいため、説明を省略する。

ステップＳ１２０７において、画像回復実効ゲイン取得手段２０４が像高領域ごとの適用された実効ゲインＧｅを取得する。

第１実施形態では、入力ゲインＧｉと実効ゲインＧｅの最大値Ｇｍａｘを超えた場合にのみ、第２の画像処理によるシャープネス処理が実行されていた。例えば、図５（ａ）に示す像高領域のうち、最も実効ゲインＧｅが小さいのは右上端の像高領域であり、その実効ゲインＧｅの値は２である。すなわち、第１の実施形態では、この右上端の像高領域は入力ゲインＧｉが２を越えた時点で見た目上の変化がなくなり、入力ゲインＧｉがＧｍａｘである９を越えると、再び第２の補正処理によって画像１０５ｂの見た目が変化していた。このように第１実施形態では、像高領域ごとに画像の見た目が変化しない入力ゲインＧｉの範囲が異なっており、実効ゲインＧｅの値が小さい像高領域ほど、この範囲が広くなっていた。そのため、実効ゲインＧｅの値が小さい像高領域では、操作者が画像１０５ｂの見た目を変化させようとしてスライダー１０５ｃ上のマーク１０５ｄを移動させているにも関わらず、表示されている画像１０５ｂの見た目が変化しないという状況が生じやすい。

そこで、本実施形態では、入力ゲインＧｉが実効ゲインＧｅを超えた像高領域については、入力ゲインＧｉが実効ゲインＧｅの最大値Ｇｍａｘを超えていなくとも、入力ゲインＧｉが実効ゲインＧｅの差分に応じた補正量で、第２の補正処理を行う。

ステップＳ１２０８において、第２画像処理補正量決定手段２０９は入力ゲインＧｉよりも実効ゲインＧｅが小さい像高領域が存在するか判断する。

ステップＳ１２０９において、第２画像処理補正量決定手段２０９は、入力ゲインＧｉよりも実効ゲインＧｅが小さい像高領域ごとに、この差分に相当する値を第２の画像処理に適用する補正量として決定する。

ステップＳ１２１０において、第２画像処理実行手段２０８がステップＳ１２０９で求めた補正量に基づいて、像高領域ごとに、画像回復処理を施した画像のコントラストや鮮鋭度の改善を行うためのシャープネス処理に代表される第２の画像処理を追加して行う。

図１３は像高領域ごとに、第２の画像処理に適用する補正量がどのようにして決定されるかを模式的に表した図である。この図からわかるように、実効ゲインＧｅの上限の値が異なる像高領域ごとに、画像回復処理から、シャープネス処理に移行する入力ゲインＧｉの値が異なる。

なお、適用可能な実効ゲイン値Ｇｅが小さい像高領域ほど、第２の画像処理による補正量が大きくなるが、このような像高領域はもともと劣化の少ない像高領域であるため、第２の画像処理の補正量が大きくとも、弊害はそれほど大きくはならない。

また、第１実施形態と異なり、スライダー１０５ｃ上のマーク１０５ｄを移動させているにも関わらず、表示されている画像１０５ｂの見た目が変化しない領域が存在するということが生じない。ただし、画像回復処理を完了した領域に対して鮮鋭度の改善を行う第２の画像処理を行うため、実効ゲイン値Ｇｅが小さい像高領域ほど、過補正となり不自然な画像となりやすい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１００ ＣＰＵ
１０１ 表示用メモリ
１０２ メモリ
１０３ 外部記憶装置
１０４ 入力装置
１０５ 表示装置
２００ 画像入力手段
２０１ 付帯情報取得手段
２０２ 画像表示装置
２０３ 回復調整値操作手段
２０４ 画像回復実行ゲイン取得手段
２０５ 画像処理制御手段
２０６ 回復フィルタ作成手段
２０７ 第１画像処理実行手段
２０８ 第２画像処理実効手段
２０９ 第２画像処理補正量決定手段
２１０ ＯＴＦデータ

Claims (10)

1. 画像を撮像する際に用いた撮像光学系によって生じる非対称な光束の広がりを補正するための第１の画像処理を前記画像に施す第１画像処理実行手段と、
   前記第１の画像処理による画像の補正の度合いであるゲインを設定するための調整値の入力を受け付ける入力手段と、
   前記第１の画像処理が施された画像を表示する表示手段と、
   前記入力手段で入力された調整値に応じて設定されたゲインと、実行可能なゲインの差分に応じて、前記第１の画像処理が施された画像に、前記第１の画像処理とは異なる鮮鋭度を高めるための第２の画像処理を施す第２画像処理実行手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の画像処理は、前記撮像光学系の光学伝達関数の位相成分および振幅成分を補正することで、前記光束の非対称の広がりを補正することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の画像処理は前記位相成分を補正しないことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像の領域に応じて、前記実行可能なゲインが異なることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第２画像処理実行手段は、前記入力手段で入力された調整値で設定されたゲインが、前記画像の領域に応じた前記実行可能なゲインのうち最も大きなゲインよりも大きい場合に、前記第１の画像処理が施された画像に前記第２の画像処理を施すことを特徴とする請求項４に記載の画像処理装置。
6. 前記第２画像処理実行手段は、前記画像のそれぞれの領域ごとに、前記入力手段で入力された調整値で設定されたゲインが、領域に応じた前記実行可能なゲインよりも大きい場合に、前記第１の画像処理が施された画像に前記第２の画像処理を施すことを特徴とする請求項４に記載の画像処理装置。
7. 前記第２画像処理実行手段は、前記入力手段で入力された調整値で設定されたゲインと前記実行可能なゲインの差分に応じた補正量で、前記第１の画像処理が施された画像に前記第２の画像処理を施すことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第２の画像処理は前記画像の鮮鋭度を高めるためのシャープネス処理であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 画像を撮像する際に用いた撮像光学系による画像の補正の度合いであるゲインを設定するための調整値の入力を受け付ける入力工程と、
   前記調整値に応じて、前記撮像光学系によって生じる非対称な光束の広がりを補正するための第１の画像処理を前記画像に施す第１画像処理実行工程と、
   前記入力工程で入力された調整値に応じて設定されたゲインと、実行可能なゲインの差分に応じて、前記第１の画像処理が施された画像に、前記第１の画像処理とは異なる鮮鋭度を高めるための第２の画像処理を施す第２画像処理実行工程と、
   前記第１の画像処理が施された画像、または、前記第１の画像処理および前記第２の画像処理が施された画像を表示する表示工程と、
   を有することを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images