JP6991957B2 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Description

本発明の実施形態は、画像処理装置、撮像装置及び画像処理方法に関する。

二つのカメラやステレオカメラ（複眼のカメラ）で撮像された画像から、被写体までの距離を取得する技術が知られている。また、近時、光学系を有する一つのカメラ（単眼のカメラ）で撮像された画像から、被写体までの距離を取得する技術が提案されている。

特開２０１７－１１７０７６号公報

一つのカメラで一度に撮像された画像から、被写体までの距離を取得する方法の一つとして、ぼけ情報を用いて距離を取得する方法が存在する。この方法では、例えば、撮像された画像から得られるぼけ情報と、予め用意された補正フィルタとを用いて距離を算出する。補正フィルタは、モデル化された点広がり関数（PSF: Point Spread Function）を用いて、距離毎に予め用意される。

しかしながら、モデル化された点広がり関数は、カメラが有する光学系の点広がり関数とは異なるため、予め用意された補正フィルタを用いて距離を算出した場合、算出される距離に誤差が生じる可能性がある。このため、距離の取得精度の向上のために、モデル化された点広がり関数ではなく、カメラが有する光学系の点広がり関数を用いて補正フィルタを用意することが望まれている。しかしながら、カメラが有する光学系の点広がり関数の計測は、環境光や表示系の影響を考慮して行う必要があるため、多くの手間を要するという不都合がある。

本発明が解決しようとする課題は、カメラが有する光学系の点広がり関数の計測を容易に実行可能な画像処理装置、撮像装置及び画像処理方法を提供することである。

実施形態によれば、画像処理装置は、取得部及び計測部を具備する。前記取得部は、撮像素子と前記撮像素子の撮像面に被写体像を結像させる光学系とを有した撮像処理装置によって撮像される、第１被写体の第１画像と、前記第１被写体とは異なる第２被写体の第２画像とを取得する。前記計測部は、前記第１画像及び前記第２画像に基づいて、前記光学系の点広がり関数を計測する。前記第１被写体及び前記第２被写体は共に、少なくとも一つの白色の画素を含む画像であり、前記第１被写体は、前記第２被写体よりも前記白色の画素を一つ多く含む画像である。

図１は、一実施形態に係る撮像装置の構成例を示す図である。 図２は、同実施形態に係る画像処理部のシステム構成例を示す図である。 図３は、同実施形態に係るフィルタの構成例を示す図である。 図４は、同実施形態に係るフィルタの透過率特性の例を示す図である。 図５は、同実施形態に係るフィルタが配置されたカラー開口の光線変化と、ぼけの形状とを説明するための図である。 図６は、同実施形態に係る画像処理プログラムの機能構成例を示す図である。 図７は、同実施形態に係る基準画像のぼけ関数の一例を示す図である。 図８は、同実施形態に係る対象画像のぼけ関数の一例を示す図である。 図９は、同実施形態に係るぼけ補正フィルタの一例を示す図である。 図１０は、同実施形態に係る点広がり関数の計測方法を説明するための図である。 図１１は、同実施形態に係る撮像部によって撮像される撮像画像の一例を示す図である。 図１２は、同実施形態に係る被写体画像に含まれる白色の画素の間隔を説明するための図である。 図１３は、同実施形態に係る液晶モニタに表示される被写体画像を撮像することによって得られる撮像画像の一例を示す図である。 図１４は、同実施形態に係る画像処理装置の構成例を示す図である。 図１５は、同実施形態に係るＰＳＦ計測部のシステム構成例を示す図である。 図１６は、同実施形態に係るＰＳＦ計測処理プログラムの機能構成例を示す図である。 図１７は、同実施形態に係る第１及び第２テストチャートの組の一例を示す図である。 図１８は、同実施形態に係る第１及び第２テストチャートの組の別の例を示す図である。 図１９は、同実施形態に係る液晶モニタに表示される第１被写体画像を撮像することによって得られる撮像画像の一例を示す図である。 図２０は、同実施形態に係る液晶モニタに表示される被写体画像を撮像することによって得られる第２撮像画像の一例を示す図である。 図２１は、同実施形態に係るＰＳＦ計測処理の手順の一例を示すフローチャートである。

以下、実施の形態について図面を参照して説明する。開示はあくまで一例にすぎず、以下の実施形態に記載した内容により発明が限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各部分のサイズ、形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、対応する要素には同じ参照数字を付して、詳細な説明を省略する場合もある。

以下では、まず、光学系を有する一つのカメラ（単眼のカメラ）で撮像された画像から、被写体までの距離を取得可能な撮像装置について説明する。
図１は、一実施形態に係る撮像装置の構成例を示す。なお、撮像装置は測距装置と称されても良い。撮像装置１は、画像を撮像し、撮像された画像を用いて撮像地点から被写体までの距離（奥行きとも称する）を取得する。

この撮像装置１は、画像を撮像する撮像部１１と、撮像された画像を処理する画像処理部１２とを備える。撮像装置１は、撮像部１１と画像処理部１２とを備える一つの装置として実現されても良いし、撮像部１１に相当する撮像処理装置と、画像処理部１２に相当する画像処理装置とのような複数の装置で構成されるシステムであっても良い。撮像部１１は、被写体の画像と当該被写体までの距離に関する情報とを一度の撮像で取得する機能を有する。撮像部１１は、この機能により、例えば、撮像時の被写体までの距離情報が符号化された画像（以下では「距離画像」と称する）を取得する。また、画像処理部１２は、例えば、コンピュータ、または各種電子機器に内蔵される組み込みシステムとして実現され得る。

撮像部１１は、図１に示すように、フィルタ２１と、レンズ２２と、イメージセンサ２３とを備える単眼カメラにより構成される。フィルタ２１は、互いに異なる波長帯域（色成分）の光を透過する複数のフィルタ領域を含む。フィルタ２１は、例えば、２色のカラーフィルタ領域である第１フィルタ領域２１１と、第２フィルタ領域２１２とで構成される。

イメージセンサ２３は、フィルタ２１とレンズ２２とを透過した光を受光し、受光した光を電気信号に変換（光電変換）する。イメージセンサ２３には、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）が用いられる。イメージセンサ２３は、少なくとも２種類の撮像素子を含み、ここでは例えば、赤色（Ｒ）の光を受光する撮像素子を含む第１センサ２３１と、緑色（Ｇ）の光を受光する撮像素子を含む第２センサ２３２と、青色（Ｂ）の光を受光する撮像素子を含む第３センサ２３３とを備える。各撮像素子は、対応する波長帯域の光を受光し、受光した光を電気信号に変換する。この電気信号をＡ／Ｄ変換することによりカラー画像を生成することができる。以下では、画像のＲ成分、Ｇ成分、Ｂ成分である色成分画像（波長成分画像とも称する）を、それぞれＲ画像、Ｇ画像、Ｂ画像とも称する。なお、赤色、緑色、青色の撮像素子毎の電気信号を用いて、Ｒ画像、Ｇ画像、Ｂ画像をそれぞれ生成することもできる。つまり、撮像部１１は、一度の撮像（ワンショット）で、カラー画像、Ｒ画像、Ｇ画像、及びＢ画像の少なくとも一つを生成することができる。

図２は、図１に示す画像処理部１２のシステム構成の一例を示す図である。
図２に示すように、画像処理部１２は、ＣＰＵ３１、ＲＡＭ３２、不揮発性メモリ３３、入出力部３４及び通信部３５を有し、また、ＣＰＵ３１、ＲＡＭ３２、不揮発性メモリ３３、入出力部３４及び通信部３５を相互に接続するバス３６を有する。

ＣＰＵ３１は、画像処理部１２内の様々なコンポーネントの動作を制御する。ＣＰＵ３１は、単一のプロセッサであっても良いし、複数のプロセッサで構成されていても良い。ＣＰＵ３１は、不揮発性メモリ３３からＲＡＭ３２にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）や様々なアプリケーションプログラムを含む。アプリケーションプログラムは、画像処理プログラム３２Ａを含む。この画像処理プログラム３２Ａは、被写体を撮像した少なくとも一つの画像を用いて、撮像地点から当該被写体までの距離を算出するための命令群を含む。また、ＲＡＭ３２は、主記憶装置として用いられる記憶メディアである。不揮発性メモリ３３は、補助記憶装置として用いられる記憶メディアである。

入出力部３４は、例えば、撮像部１１から画像を入力したり、ユーザからの指示を入力したり、表示画面を図示しない表示部へ出力したり、といった入出力を実行するモジュールである。ユーザからの指示は、キーボード、ポインティングデバイス、操作ボタン等の操作に伴って入力されても良いし、図示しない表示部がタッチスクリーンディスプレイである場合、タッチスクリーンディスプレイ上でのタッチ操作に伴って入力されても良い。

通信部３５は、有線通信または無線通信を実行するように構成されたデバイスである。通信部３５は、信号を送信する送信部と信号を受信する受信部とを含む。通信部３５は、ネットワークを介した外部機器との通信、周辺に存在する外部機器との通信等を実行する。この外部機器には撮像部１１（撮像処理装置）も含まれ得る。つまり、通信部３５は、撮像部１１から画像を受信しても良い。

ここで、図３を参照して、図１に示すフィルタ２１の構成の例について説明する。
フィルタ２１は、互いに異なる光の波長帯域（色成分）を透過する複数のフィルタ領域を有し、２以上のフィルタ領域は、撮像装置１の光学中心２１３に対して非点対称な形状である。フィルタ２１は、例えば、２色のカラーフィルタ領域である第１フィルタ領域２１１と第２フィルタ領域２１２とで構成される。フィルタ２１の中心は、撮像装置１（レンズ２２）の光学中心２１３と一致している。第１フィルタ領域２１１及び第２フィルタ領域２１２はそれぞれ、光学中心２１３に対して非点対称である形状を有している。また、例えば、二つのフィルタ領域２１１，２１２は重複せず、且つ二つのフィルタ領域２１１，２１２によってフィルタ２１の全領域を構成している。図３に示す例では、第１フィルタ領域２１１及び第２フィルタ領域２１２はそれぞれ、円形のフィルタ２１が光学中心２１３を通る線分で分割された半円の形状を有している。

第１フィルタ領域２１１は、例えばイエロー（Ｙ）のフィルタ領域であり、第２フィルタ領域２１２は、例えばシアン（Ｃ）のフィルタ領域である。なお、第１フィルタ領域２１１がマゼンタ（Ｍ）のフィルタ領域であって、第２フィルタ領域２１２がイエロー（Ｙ）のフィルタ領域であっても良い。さらに、第１フィルタ領域２１１がシアン（Ｃ）のフィルタ領域であって、第２フィルタ領域２１２がマゼンタ（Ｍ）のフィルタ領域であっても良い。

各カラーフィルタが透過する波長帯域は異なる。一つのフィルタ領域が透過する光の波長帯域の一部と、別の一つのカラーフィルタ領域が透過する光の波長帯域の一部は、例えば重複する。一つのカラーフィルタ領域が透過する光の波長帯域は、例えば別の一つのカラーフィルタ領域が透過する光の波長帯域を含んでも良い。

なお、第１フィルタ領域２１１と第２フィルタ領域２１２とは、任意の波長帯域の透過率を変更するフィルタ、任意方向の偏光光を通過させる偏光フィルタ、または任意の波長帯域の集光パワーを変更するマイクロレンズであっても良い。例えば、任意の波長帯域の透過率を変更するフィルタは、原色フィルタ（ＲＧＢ）、補色フィルタ（ＣＭＹ）、色補正フィルタ（ＣＣ－ＲＧＢ／ＣＭＹ）、赤外線・紫外線カットフィルタ、ＮＤフィルタ、または遮蔽板であっても良い。第１フィルタ領域２１１や第２フィルタ領域２１２がマイクロレンズである場合には、レンズ２２により光線の集光の分布に偏りが生じることでぼけの形状が変化する。

以下では、説明を分かり易くするために、図３に示すフィルタ２１において、第１フィルタ領域２１１がイエロー（Ｙ）のフィルタ領域であり、第２フィルタ領域２１２がシアン（Ｃ）のフィルタ領域である場合を主に例示する。
例えば、図３に示したフィルタ２１がカメラの開口部に配置されることにより、開口部が２色で２分割された構造開口であるカラー開口が構成される。このカラー開口を透過する光線に基づいて、イメージセンサ２３は画像を生成する。イメージセンサ２３に入射する光の光路上において、フィルタ２１とイメージセンサ２３との間にレンズ２２が配置されても良い。イメージセンサ２３に入射する光の光路上において、レンズ２２とイメージセンサ２３との間にフィルタ２１が配置されても良い。レンズ２２が複数設けられる場合、フィルタ２１は、二つのレンズ２２の間に配置されても良い。

第２センサ２３２に対応する波長帯域の光は、イエローの第１フィルタ領域２１１とシアンの第２フィルタ領域２１２の両方を透過する。第１センサ２３１に対応する波長帯域の光は、イエローの第１フィルタ領域２１１を透過し、シアンの第２フィルタ領域２１２を透過しない。第３センサ２３３に対応する波長帯域の光は、シアンの第２フィルタ領域２１２を透過し、イエローの第１フィルタ領域２１１を透過しない。

なお、ある波長帯域の光がフィルタまたはフィルタ領域を透過するとは、フィルタまたはフィルタ領域が高い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰（すなわち、光量の低下）が極めて小さいことを意味する。また、ある波長帯域の光がフィルタまたはフィルタ領域を透過しないとは、光がフィルタまたはフィルタ領域に遮蔽されることであり、例えば、フィルタまたはフィルタ領域が低い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰が極めて大きいことを意味する。例えば、フィルタまたはフィルタ領域は、ある波長帯の光を吸収することにより光を減衰させる。

図４は、第１フィルタ領域２１１及び第２フィルタ領域２１２の透過率特性の例を示す。なお、可視光の波長帯域のうち７００ｎｍより長い波長の光に対する透過率は図示を省略してあるが、その透過率は７００ｎｍの場合に近いものである。図４に示すイエローの第１フィルタ領域２１１の透過率特性２１４では、波長帯域が６２０ｎｍから７５０ｎｍ程度のＲ画像に対応する光と、波長帯域が４９５ｎｍから５７０ｎｍ程度のＧ画像に対応する光とが高い透過率で透過され、波長帯域が４５０ｎｍから４９５ｎｍ程度のＢ画像に対応する光がほとんど透過されていない。また、シアンの第２フィルタ領域２１２の透過率特性２１５では、Ｂ画像及びＧ画像に対応する波長帯域の光が高い透過率で透過され、Ｒ画像に対応する波長帯域の光がほとんど透過されていない。

したがって、Ｒ画像（第１センサ２３１）に対応する波長帯域の光はイエローの第１フィルタ領域２１１のみを透過し、Ｂ画像（第３センサ２３３）に対応する波長帯域の光はシアンの第２フィルタ領域２１２のみを透過する。Ｇ画像（第２センサ２３２）に対応する波長帯域の光は、第１フィルタ領域２１１と第２フィルタ領域２１２を透過する。

このようなＲ画像、Ｂ画像及び画像上のぼけの形状は被写体までの距離ｄに応じて、より詳細には、距離ｄと合焦距離ｄ_ｆとの差分に応じて変化する。合焦距離ｄ_ｆは、撮像位置から、画像上にぼけが発生しない（すなわち、ピントが合う）合焦位置までの距離である。また、各フィルタ領域２１１，２１２が光学中心２１３に対して非点対称な形状であるので、Ｒ画像上及びＢ画像上のぼけの形状は、被写体が合焦距離ｄ_ｆよりも手前にあるか、それとも奥にあるかによって異なり、また偏っている。Ｒ画像上及びＢ画像上のぼけの偏りの方向は、撮像位置から見て、被写体が合焦距離ｄ_ｆよりも手前にあるか、それとも奥にあるかによってそれぞれ反転する。

図５を参照して、フィルタ２１が配置されたカラー開口による光線変化と、ぼけの形状とについて説明する。
被写体２１０が合焦距離ｄ_ｆよりも奥にある場合（ｄ＞ｄ_ｆ）、イメージセンサ２３によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数（点広がり関数）は、Ｒ画像、Ｇ画像及びＢ画像でそれぞれ異なっている。例えば、Ｒ画像のぼけ関数２０１Ｒは左側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数２０１Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数２０１Ｂは右側に偏ったぼけの形状を示している。

また、被写体２１０が合焦距離ｄ_ｆにある場合（ｄ＝ｄ_ｆ）、イメージセンサ２３によって撮像された画像にほとんどぼけが発生しない。この画像のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像及びＢ画像でほぼ同じである。すなわち、Ｒ画像のぼけ関数２０２Ｒ、Ｇ画像のぼけ関数２０２Ｇ及びＢ画像のぼけ関数２０２Ｂは、偏りのないぼけの形状を示している。

また、被写体２１０が合焦距離ｄ_ｆよりも手前にある場合（ｄ＜ｄ_ｆ）、イメージセンサ２３によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像及びＢ画像でそれぞれ異なっている。すなわち、Ｒ画像のぼけ関数２０３Ｒは右側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数２０３Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数２０３Ｂは左側に偏ったぼけの形状を示している。

このように、被写体２１０が合焦距離ｄ_ｆよりも手前または奥にある場合、イエローの第１フィルタ領域２１１を透過した光線に基づくＲ画像のぼけ関数２０１Ｒ，２０３Ｒは非対称であり、またシアンの第２フィルタ領域２１２を透過した光線に基づくＢ画像のぼけ関数２０１Ｂ，２０３Ｂも非対称である。そして、そのＲ画像のぼけ関数２０１Ｒ，２０３Ｒは、Ｂ画像のぼけ関数２０１Ｂ，２０３Ｂとは異なっている。

撮像装置１の画像処理部１２（の画像処理プログラム３２Ａ）は、このような特性を利用して、雑像地点から被写体までの距離を算出する。
図６は、画像処理部１２のＣＰＵ３１によって実行される画像処理プログラム３２Ａの機能構成を例示する。画像処理プログラム３２Ａは、画像取得部４１及び距離算出部４２、等を備える。

画像取得部４１は、ぼけ関数が偏りのないぼけの形状を示すＧ画像を基準画像として取得する。また、画像取得部４１は、ぼけ関数が偏ったぼけの形状を示すＲ画像及びＢ画像の一方または両方を対象画像として取得する。対象画像と基準画像とは、１つの撮像装置により同時刻に撮像された画像である。

距離算出部４２は、複数のぼけ補正フィルタのうち、対象画像に付加すると、基準画像との相関がより高くなるぼけ補正フィルタを求めることで、被写体までの距離を算出する。複数のぼけ補正フィルタは、対象画像に対して、相互に異なるぼけを付加する関数である。ここで、距離算出部４２による距離算出処理の詳細について説明する。

距離算出部４２は、取得された対象画像と基準画像とをもとに、対象画像に異なるぼけを付加することで、対象画像のぼけ形状を補正した補正画像を生成する。ここでは、距離算出部４２は、被写体までの距離が任意の距離であると仮定して予め作成した複数のぼけ補正フィルタを用いて、対象画像のぼけ形状を補正した補正画像を生成し、補正画像と基準画像との相関がより高くなる距離を求めることで、被写体までの距離を算出するものとする。

撮像画像のぼけ関数は、撮像装置１の開口形状と、被写体の位置とピント位置との距離とにより決定する。図７は、基準画像のぼけ関数の一例を示す図である。図７に示すように、第２センサ２３２に対応する波長領域が透過する開口形状は点対称形である円形状であるため、ぼけ関数で示されるぼけの形状は、ピント位置の前後で変化はなく、被写体とピント位置との間の距離の大きさによってぼけの幅が変化する。このようなぼけの形状を示すぼけ関数は、被写体の位置とピント位置との間の距離の大きさによってぼけの幅が変化するガウス関数として表現できる。なお、ぼけ関数は、被写体の位置とピント位置との距離によってぼけの幅が変化するピルボックス関数として表現しても良い。

図８は、対象画像のぼけ関数の一例を示す図である。なお、各図の中心（ｘ_０，ｙ_０）＝（０，０）である。図８に示すように、対象画像（例えばＲ画像）のぼけ関数は、被写体がピント位置よりも遠方にあるｄ＞ｄ_ｆの場合、ｘ＞０において第１フィルタ領域２１１での光減衰によってぼけの幅が減衰する片側ガウス関数として表現できる。また、被写体がピント位置よりも近方にあるｄ＜ｄ_ｆの場合、ｘ＜０において第１フィルタ領域２１１での光減衰によってぼけの幅が減衰する片側ガウス関数として表現できる。

また、基準画像のぼけ関数と対象画像のぼけ関数とを解析することにより、対象画像のぼけ形状を基準画像のぼけ形状へ補正するための複数のぼけ補正フィルタを求めることができる。
図９は、ぼけ補正フィルタの一例を示す図である。なお、図９に示すぼけ補正フィルタは、図３に示したフィルタ２１を用いた場合のぼけ補正フィルタである。図９に示すように、ぼけ補正フィルタは、第１フィルタ領域２１１と第２フィルタ領域２１２の境界の線分の中心点を通り、この線分に直交する直線上（直線付近）に分布する。その分布は、想定する距離毎にピーク点（直線上の位置、高さ）とピーク点からの広がり方とが異なる図９に示すような山状の分布となる。対象画像のぼけ形状は、ぼけ補正フィルタを用いて、任意の距離を想定した様々なぼけ形状に補正することができる。つまり、任意の距離を想定した補正画像を生成することができる。

距離算出部４２は、生成した補正画像と基準画像とのぼけ形状が最も近似または一致する距離を撮像画像の各画素から求める。ぼけ形状の一致度は、各画素を中心とする任意サイズの矩形領域における補正画像と基準画像との相関を計算すれば良い。ぼけ形状の一致度の計算は、既存の類似度評価手法を用いれば良い。距離算出部４２は、補正画像と基準画像とで相関が最も高くなる距離を求めることで、各画素について被写体までの距離を算出する。

例えば、既存の類似度評価手法は、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）、Color Alignment Measure等を利用すれば良い。

このように、距離算出部４２は、フィルタ領域に応じた対象画像のぼけの形状を、距離を仮定したぼけ補正フィルタにより補正した補正画像を生成し、生成した補正画像と基準画像との相関がより高くなる距離を求めることで、被写体までの距離を算出する。

以上説明したように、撮像装置１は、撮像された画像上のぼけに基づいて、撮像地点から被写体までの距離を算出することができる。撮像装置１は、撮像地点から被写体までの距離を算出するために、対象画像のぼけ関数を基準画像のぼけ関数に補正するための複数のぼけ補正フィルタを、例えば不揮発性メモリ３３に予め格納している。これら複数のぼけ補正フィルタは、モデル化された点広がり関数を用いて予め求められ、撮像装置１に予め格納される。詳しくは、モデル化されたある点広がり関数を、被写体までの距離が所定の距離である場合に撮像された画像から得られるぼけ関数であると仮定した上で、当該所定の距離に対応したぼけ補正フィルタが求められる。これが繰り返し実行されることで、種々様々な距離に対応した複数のぼけ補正フィルタが求められ、撮像装置１に予め格納される。

しかしながら、モデル化された点広がり関数と、撮像された画像から得られるぼけ関数とは実際には異なるため、撮像地点から被写体までの距離が、モデル化された点広がり関数に基づいて求められたぼけ補正フィルタを用いて算出された場合、算出される距離に誤差が生じる可能性がある。このため、被写体までの距離の取得精度を向上させるために、モデル化された点広がり関数ではなく、撮像された画像から実際に得られるぼけ関数、換言すると、カメラが有する光学系の点広がり関数を用いてぼけ補正フィルタを求めることが望まれている。しかしながら、カメラが有する光学系の点広がり関数の計測は、環境光や表示系の影響を考慮して行う必要があるため、多くの手間を要するという不都合がある。

例えば、カメラが有する光学系の点広がり関数を計測する方法としては、暗室に点光源を設置し、当該設置した点光源をカメラで撮像して、当該点光源の点広がり関数を計測する方法がある。しかしながら、この方法の場合、点光源とカメラとの間に、ピンホールを有する黒色の紙を設置する等、マスク処理を行う必要があり、手間を要するという不都合がある。また、点広がり関数は、点光源からカメラまでの距離に応じて変化するため、種々様々な点光源を設置して、当該点光源を撮像する必要があるが、その度に点光源を移動させなければならないので、やはり手間を要するという不都合がある。

発明者は、上記した不都合を解消するために、分割型バックライトを備える液晶モニタを用いてカメラが有する光学系の点広がり関数を計測する方法を見出した。
具体的には、発明者は、画素ピッチが０．２ｍｍ以下の液晶モニタに、１画素だけ白色であり、その他の画素は黒色である画像を表示させ、当該画像をカメラで撮像して、当該白色の画素の点広がり関数を計測する方法を見出した。この方法では、１画素の大きさが０．２ｍｍ×０．２ｍｍと十分に小さいため、１個の白色画素を点光源とみなすことができ、点広がり関数を計測することができる。

以下では、図１０を参照しながら、この方法についてさらに詳しく説明する。この方法では、まず、図１０（ａ）に示すように、１画素だけ白色（画素値２５５）であり、その他の画素は黒色（画素値０）である１以上のテストチャートＴＣ_０を含んだ第１画像Ｉ_１を液晶モニタに表示させ、当該第１画像Ｉ_１を、第１距離だけ離れた位置からカメラで撮像する。これによれば、第１撮像画像が得られる。なお、図１０（ａ）では白色画素が等間隔で並んでいる場合を例示しているが、隣接する白色画素の間隔は等間隔でなくても良い。隣接する白色画素の間隔の詳細については後述する。

次に、図１０（ｂ）に示すように、全ての画素が黒色である第２画像Ｉ_２を液晶モニタに表示させ、当該第２画像Ｉ_２を、第１距離だけ離れた位置からカメラで撮像する。これによれば、第２撮像画像が得られる。その後、第１撮像画像と第２撮像画像との差分を求めることで、点光源とみなされる白色画素の点広がり関数を計測する。

この方法によれば、多数のテストチャートＴＣ_０を含んだ第１画像Ｉ_１を液晶モニタに表示させることで、一度に複数の点広がり関数を計測することができる。また、液晶モニタに表示する第１画像Ｉ_１を変えるだけで、点光源とみなされる白色画素の表示位置を変更することが可能であるため、点光源を移動させる手間（詳しくは、点光源とカメラとの距離方向と直交する左右方向に点光源を移動させる手間）を低減させることもできる。

図１１は、多数のテストチャートＴＣ_０を含んだ第１画像Ｉ_１を液晶モニタに表示させ、図１の撮像部１１に相当するカメラを用いて、当該第１画像Ｉ_１を撮像した場合に得られる第１撮像画像を例示する。図１１（ａ）は、被写体となる第１画像Ｉ_１（液晶モニタ）が上記した合焦距離ｄ_ｆよりも奥にある場合（ｄ＞ｄ_ｆ）の第１撮像画像を示し、図１１（ｂ）は、被写体が合焦距離ｄ_ｆにある場合（ｄ＝ｄ_ｆ）の第１撮像画像を示し、図１１（ｃ）は、被写体が合焦距離ｄ_ｆよりも手前にある場合（ｄ＜ｄ_ｆ）の第１撮像画像を示す。

撮像部１１に相当するカメラには、円形のフィルタ２１が配置されたカラー開口により光線が変化するため、図１１（ａ）及び図１１（ｃ）に示すように、ぼけの偏り方向は、撮像位置から見て、被写体が合焦距離ｄ_ｆよりも手前にあるか、それとも奥にあるかによってそれぞれ反転している。図１１（ａ）～図１１（ｃ）に示される各ぼけの形状が、カメラから各点光源（白色画素）までの距離に対応した点広がり関数に相当する。なお、図１１では説明の便宜上、多数の同じ形状のぼけを含む第１撮像画像を例示しているが、実際には、第１撮像画像に含まれる各ぼけの形状はカメラからの距離に応じて各々異なっている。

図１１に示すように多数のテストチャートＴＣ_０を含んだ第１画像Ｉ_１を液晶モニタに表示させる場合、各テストチャートＴＣ_０に含まれる白色画素の間隔が狭すぎると、第１撮像画像上において、あるテストチャートＴＣ_０に含まれる白色画素に対応したぼけの形状と、このテストチャートＴＣ_０と隣接する別のテストチャートＴＣ_０に含まれる白色画素に対応したぼけの形状とが重なってしまう可能性がある。これによれば、点広がり関数を計測することができない可能性がある。このため、第１画像Ｉ_１上において、隣接する白色画素の間隔ｄ_Ｍは、以下に示す最小値ｄ_Ｍｍｉｎよりも大きい方が好ましい。

第１撮像画像上におけるぼけの形状（ぼけの大きさ）は、カメラから、被写体となる白色画素までの距離ｄに応じて変化する。具体的には、図１１（ａ）～図１１（ｃ）に示すように、カメラから白色画素までの距離ｄが合焦距離ｄ_ｆに近づくほど、第１撮像画像上におけるぼけの大きさは小さくなり、上記した距離ｄが合焦距離ｄ_ｆから離れるほど、第１撮像画像上におけるぼけの大きさは大きくなる。

第１撮像画像上におけるぼけの大きさは、以下に示す（１）式のように定式化することができる。（１）式のｂはぼけの大きさ（半径）を表し、ａ（＝ｆ／Ｆ、ｆ：焦点距離、Ｆ：Ｆ値）はカメラのレンズの開口径を表し、ｐ_ｃはカメラのイメージセンサの画素ピッチを表し、ｄ_ｆは合焦距離を表し、ｄはカメラから白色画素までの距離を表しているものとする。

隣接する２つの白色画素に対応した２つのぼけの形状が重ならないようにするには、図１２（ａ）に示すように、第１撮像画像上において隣接する２つの白色画素の間隔ｄ_ｃが２ｂよりも大きければ良い。

ここで、図１２（ｂ）に示すように、第１画像Ｉ_１上において隣接する２つの白色画素の間隔をｄ_Ｍとし、当該第１画像Ｉ_１を表示する液晶モニタの画素ピッチをｐ_Ｍとすると、図１２（ｃ）に示すように、第１撮像画像と、第１画像Ｉ_１と、カメラの各種パラメータとから、以下の（２）式に示す相似の関係式が導出される。
ｆ：ｄ＝ｄ_ｃ×ｐ_ｃ：ｄ_Ｍ×ｐ_Ｍ ・・・（２）
上記（２）式を変形すると、以下の（３）式を得ることができる。

上記したように、隣接する２つの白色画素に対応した２つのぼけの形状が重ならないようにするには、第１撮像画像上において隣接する２つの白色画素の間隔ｄ_ｃが２ｂよりも大きければ良いので、第１画像Ｉ_１上において隣接する２つの白色画素の間隔の最小値ｄ_Ｍｍｉｎは、上記（１）式及び上記（３）式に基づいて、以下の（４）式のように導出することができる。

以上説明したように、液晶モニタには、隣接する２つの白色画素の間隔が上記したｄ_Ｍｍｉｎよりも大きくなるように配置された多数のテストチャートＴＣ_０を含んだ第１画像Ｉ_１を表示させることができ、これによれば、一度に複数の点広がり関数を計測することができる。

しかしながら、この計測方法の場合、液晶モニタに備えられているバックライトの影響（換言すると、表示系の影響）を除去できず、真に正確な点広がり関数を計測することができないという不都合があることが判明した。

以下では、この不都合について詳しく説明する。図１０（ａ）に示した第１画像Ｉ_１、すなわち、任意の領域ｘに１個の白色画素を含む第１画像Ｉ_１をｇ_１（ｘ）と表し、当該１個の白色画素を表示するために点灯される液晶モニタのバックライトによる影響をｈ（ｘ）と表し、第１画像Ｉ_１を撮像する際の周囲の環境による影響（以下では、周囲の映り込みによる影響と称する）をｋ（ｘ）と表すものとする。この場合、第１撮像画像は、以下の（５）式のように表すことができる。
第１撮像画像＝ｆ＊ｇ_１（ｘ）＋ｈ（ｘ）＋ｋ（ｘ） ・・・（５）

上記（５）式に示されるように、第１撮像画像は、第１画像Ｉ_１に対して、第１距離に対応した点広がり関数が畳み込まれ、その畳み込み結果（換言すると、被写体から発せられる光による影響）にバックライトによる影響や周囲の映り込みによる影響が付加されることで生成される。図１３は第１撮像画像ＣＩ_０を模式的に示した図であり、図１３の白色部分は白色画素ＰＸ_Ｗを表し、図１３の黒色部分は黒色画素ＰＸ_Ｂを表し、図１３の斜線部分はバックライトによる影響ｈ（ｘ）を表している。

第２撮像画像は、図１０（ｂ）に示した全ての画素が黒色の第２画像Ｉ_２を撮像することで得られる。第２画像Ｉ_２は、点光源とみなされる白色画素を含んでいないため、第２撮像画像には、被写体から発せられる光による影響は付加されない。また、一般的に、黒色画素だけを表示する際には、液晶モニタのバックライトは消灯（減光）されるため、第２撮像画像には、液晶モニタのバックライトによる影響も付加されない。つまり、第２撮像画像には、周囲の映り込みによる影響だけが付加される。第２画像Ｉ_２を撮像する際の周囲の環境が、第１画像Ｉ_１を撮像する際と同様であるとすると、第１撮像画像と第２撮像画像との差分は、以下の（６）式のように表すことができる。
第１撮像画像－第２撮像画像
＝｛ｆ＊ｇ_１（ｘ）＋ｈ（ｘ）＋ｋ（ｘ）｝－ｋ（ｘ）
＝ｆ＊ｇ_１（ｘ）＋ｈ（ｘ）
＝ｆ（ｘ）＋ｈ（ｘ） ・・・（６）

上記（６）式を参照すれば明らかなように、分割型バックライトを備える液晶モニタを用いて点広がり関数を計測する方法では、液晶モニタのバックライトによる影響ｈ（ｘ）（図１３の斜線部分に相当）を除去することができないという不都合があることが判明した。以下では、このような不都合を解消し得る点広がり関数の計測方法について説明する。

図１４は、本実施形態に係る画像処理装置の構成例を示す。この画像処理装置５０は、画像を撮像する撮像部５１と、撮像された画像を処理して、点広がり関数を計測するＰＳＦ計測部５２とを備える。画像処理装置５０は、撮像部５１とＰＳＦ計測部５２とを備える一つの装置として実現されても良いし、撮像部５１に相当する撮像処理装置と、ＰＳＦ計測部５２に相当するＰＳＦ計測処理装置とのような複数の装置で構成されるシステムであっても良い。また、画像処理装置５０は、図１に示した撮像装置１に組み込まれて実現されても良い。この場合、撮像部５１は、図１の撮像部１１に相当するため、撮像装置１にはＰＳＦ計測部５２だけが組み込まれれば良い。

撮像部５１は、フィルタとレンズとイメージセンサとを備え、イメージセンサは、少なくとも１種類の撮像素子と当該撮像素子の撮像面に被写体像を結像させる光学系とを含む。ＰＳＦ計測部５２は、撮像部５１により撮像された画像に基づいて、撮像部５１が有する光学系のある距離に対応した点広がり関数を計測する機能を有する。ＰＳＦ計測部５２は、例えば、コンピュータ、または各種電子機器（例えば撮像装置１）に内蔵される組み込みシステムとして実現され得る。

図１５は、図１４に示すＰＳＦ計測部５２のシステム構成の一例を示す図である。
図１５に示すように、ＰＳＦ計測部５２は、ＣＰＵ６１、ＲＡＭ６２、不揮発性メモリ６３、入出力部６４及び通信部６５を有し、また、ＣＰＵ６１、ＲＡＭ６２、不揮発性メモリ６３、入出力部６４及び通信部６５を相互に接続するバス６６を有する。

ＣＰＵ６１は、ＰＳＦ計測部５２内の様々なコンポーネントの動作を制御する。ＣＰＵ６１は、単一のプロセッサであっても良いし、複数のプロセッサで構成されていても良い。ＣＰＵ６１は、不揮発性メモリ６３からＲＡＭ６２にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）やアプリケーションプログラムを含む。アプリケーションプログラムは、ＰＳＦ計測処理プログラム６２Ａを含む。このＰＳＦ計測処理プログラムは、撮像部５１によって撮像された画像を用いて、撮像部５１が有する光学系のある距離に対応した点広がり関数を計測するための命令群を含む。また、ＲＡＭ６２は、主記憶装置として用いられる記憶メディアである。不揮発性メモリ６３は、補助記憶装置として用いられる記憶メディアである。不揮発性メモリ６３には、例えば、後述する複数種類の被写体画像が格納される。

入出力部６４は、例えば、撮像部５１から画像を入力したり、ユーザからの指示を入力したり、表示画面を図示しない表示部へ出力したり、といった入出力を実行するモジュールである。ユーザからの指示は、キーボード、ポインティングデバイス、操作ボタン等の操作に伴って入力されても良いし、図示しない表示部がタッチスクリーンディスプレイである場合、タッチスクリーンディスプレイ上でのタッチ操作に伴って入力されても良い。

通信部６５は、有線通信または無線通信を実行するように構成されたデバイスである。通信部６５は、信号を送信する送信部と信号を受信する受信部とを含む。通信部６５は、ネットワークを介した外部機器との通信、周辺に存在する外部機器（例えば、液晶モニタ）との通信等を実行する。この外部機器には撮像部５１（撮像処理装置）も含まれ得る。つまり、通信部６５は、撮像部５１から画像を受信しても良い。

図１６は、ＰＳＦ計測部５２のＣＰＵ６１によって実行されるＰＳＦ計測処理プログラム６２Ａの機能構成を例示する。ＰＳＦ計測処理プログラム６２Ａは、画像表示指示部７１、画像取得部７２、ＰＳＦ算出部７３及びＰＳＦ出力部７４、等を備える。
画像表示指示部７１は、複数種類の被写体画像を表示するよう液晶モニタに指示する機能を有する。すなわち、画像表示指示部７１は、不揮発性メモリ６３に予め格納される複数種類の被写体画像を順に読み出し、通信部６５を介して、当該読み出した被写体画像を、当該被写体画像を表示させるための表示指令と共に、液晶モニタへと出力する。

なお、不揮発性メモリ６３には、少なくとも２種類の被写体画像、すなわち、第１被写体画像と第２被写体画像とが予め格納される。
ここで、第１被写体画像と第２被写体画像とについて説明する。第１及び第２被写体画像は共に、１以上の白色画素と複数の黒色画素とによって構成される１以上のテストチャートを含む。第１被写体画像は１以上の第１テストチャートを含み、第２被写体画像は１以上の第２テストチャートを含む。第１テストチャートはｎ＋１個の白色画素と複数の黒色画素とを含む。第２テストチャートはｎ個の白色画素と複数の黒色画素とを含む。つまり、第１及び第２テストチャートは、白色画素の個数の差が１であるという関係を有する。

図１７を参照して、第１及び第２テストチャートの組の具体例を示す。
図１７は上記したｎが１の場合のテストチャートを示し、図１７（ａ）は第１テストチャートの一例を示し、図１７（ｂ）は図１７（ａ）に対応した第２テストチャートの一例を示す。図１７（ａ）に示す第１テストチャートＴＣ_１は、縦横５×４の長方形の構成を有し、２個の白色画素と１８個の黒色画素とを含む。図１７（ｂ）に示す第２テストチャートＴＣ_２は、第１テストチャートＴＣ_１同様、縦横５×４の長方形の構成を有し、１個の白色画素と１９個の黒色画素とを含む。図１７に示す第１及び第２テストチャートＴＣ_１，ＴＣ_２は、白色画素の個数が最も少ない第１及び第２テストチャートの組に相当する。

さらに、図１８を参照して、第１及び第２テストチャートの組の別の具体例を示す。
図１８は上記したｎが４の場合のテストチャートを示し、図１８（ａ）は第１テストチャートの一例を示し、図１８（ｂ）は図１８（ａ）に対応した第２テストチャートの一例を示す。図１８（ａ）に示す第１テストチャートＴＣ_１は、縦横５×５の正方形の構成を有し、十字状に並ぶ５個の白色画素と、十字状に並んだ白色画素の周囲に位置する２０個の黒色画素とを含む。図１８（ｂ）に示す第２テストチャートＴＣ_２は、第１テストチャートＴＣ_１同様、縦横５×５の正方形の構成を有し、図１８（ａ）の十字状に並ぶ５個の白色画素のうちの中央の画素が黒色画素に置き換わっている点以外は、図１８（ａ）の第１テストチャートＴＣ_１と同様である。図１８に示す第１及び第２テストチャートＴＣ_１，ＴＣ_２の組は、図１７に示す第１及び第２テストチャートＴＣ_１，ＴＣ_２の組に比べて、白色画素の個数が多いため、撮像部５１（カメラ）の露光時間の観点から、短時間での撮像が可能になる。

なお、ここでは、第１及び第２テストチャートＴＣ_１，ＴＣ_２の組として、図１７及び図１８に示す構成を例示したが、これに限定されず、第１及び第２テストチャートＴＣ_１，ＴＣ_２は共に１以上の白色画素を含み、且つ、第１及び第２テストチャートＴＣ_１，ＴＣ_２間での白色画素の個数の差が１であるという関係を有していれば、任意の構成が適用可能である。また、第１及び第２テストチャートＴＣ_１，ＴＣ_２の組を複数用意しておき、画像表示指示部７１は、撮像部５１からの距離に応じて、第１及び第２テストチャートＴＣ_１，ＴＣ_２の組を好適な組に切り替えるとしても良い。

画像取得部７２は、画像表示指示部７１によって液晶モニタへ第１被写体画像と共に表示指令が出力されると、液晶モニタに表示される第１被写体画像を撮像することを撮像部５１に指示する（撮像指令を出力する）機能を有する。当該指示は第１被写体画像の撮像をユーザに促す旨の通知であっても良い。なお、この機能は画像表示指示部７１が有するとしても良い。画像取得部７２は、撮像部５１により撮像された第１被写体画像を示す第１撮像画像を取得する。

画像取得部７２は、画像表示指示部７１によって液晶モニタへ第２被写体画像と共に表示指令が出力されると、液晶モニタに表示される第２被写体画像を撮像することを撮像部５１に指示する機能を有する。当該指示は第２被写体画像の撮像をユーザに促す旨の通知であっても良い。なお、この機能は画像表示指示部７１が有するとしても良い。画像取得部７２は、撮像部５１により撮像された第２被写体画像を示す第２撮像画像を取得する。

第１及び第２被写体画像は同一の環境にて撮像される。すなわち、第１及び第２被写体画像は、撮像部５１からの距離や周囲の映り込みによる環境が同一の環境にて撮像される。

ＰＳＦ算出部７３は、第１撮像画像と第２撮像画像との差分を求めることにより、第１テストチャートＴＣ_１には含まれているが、第２テストチャートＴＣ_２には含まれていない１個の白色画素の点広がり関数を算出する機能を有する。これによれば、撮像部５１が有する光学系のある距離に対応した真に正確な点広がり関数が算出される。

ここで、真に正確な点広がり関数が算出される原理について説明する。
以下では、第１テストチャートＴＣ_１を含む被写体画像、すなわち、任意の領域ｘにｎ＋１個の白色画素を含む第１被写体画像をｇ_ｎ＋１（ｘ）と表し、第１テストチャートＴＣ_１に含まれるｎ＋１個の白色画素を表示するために点灯される液晶モニタのバックライトによる影響をｈ_ｎ＋１（ｘ）と表すものとする。また、第１被写体画像を撮像する際の周囲の映り込みによる影響をｋ（ｘ）と表した場合、第１撮像画像は、以下の（７）式のように表すことができる。
第１撮像画像＝ｆ＊ｇ_ｎ＋１（ｘ）＋ｈ_ｎ＋１（ｘ）＋ｋ（ｘ） ・・・（７）

上記（７）式に示されるように、第１撮像画像は、第１被写体画像に対して、撮像部５１から第１被写体画像（液晶モニタ）までの距離に対応した点広がり関数が畳み込まれ、その畳み込み結果にバックライトによる影響や周囲の映り込みによる影響が付加されることで生成される。図１９は第１撮像画像ＣＩ_１を模式的に示した図であり、図１９の白色部分は白色画素ＰＸ_Ｗを表し、図１９の黒色部分は黒色画素ＰＸ_Ｂを表し、図１９の斜線部分はバックライトによる影響ｈ_ｎ＋１（ｘ）を表している。

同様に、第２テストチャートＴＣ_２を含む第２被写体画像、すなわち、任意の領域ｘにｎ個の白色画素を含む第２被写体画像をｇ_ｎ（ｘ）と表し、第２テストチャートＴＣ_２に含まれるｎ個の白色画素を表示するために点灯される液晶モニタのバックライトによる影響をｈ_ｎ（ｘ）と表すものとする。また、第２被写体画像を撮像する際の周囲の環境は、上記したように第１被写体画像を撮像する際の環境と同一であるため、第２被写体画像に畳み込まれる点広がり関数や周囲の映り込みによる影響は上記（７）式と同一になる。これによれば、第２撮像画像は、以下の（８）式のように表すことができる。
第２撮像画像＝ｆ＊ｇ_ｎ（ｘ）＋ｈ_ｎ（ｘ）＋ｋ（ｘ） ・・・（８）

図２０は第２撮像画像ＣＩ_２を模式的に示した図であり、図２０の白色部分は白色画素ＰＸ_Ｗを表し、図２０の黒色部分は黒色画素ＰＸ_Ｂを表し、図２０の斜線部分はバックライトによる影響ｈ_ｎ（ｘ）を表している。なお、図１９及び図２０は、第１及び第２被写体画像が合焦距離ｄ_ｆにある場合に撮像された第１及び第２撮像画像ＣＩ_１，ＣＩ_２を例示している。第１及び第２被写体画像が合焦距離ｄ_ｆよりも手前にある場合や奥にある場合、第１及び第２撮像画像ＣＩ_１，ＣＩ_２に含まれる各部分ＰＸ_Ｗ，ＰＸ_Ｂ，ｈ（ｘ）が占める各領域は合焦距離ｄ_ｆから離れるほど大きく変化する。

上記（７）式及び上記（８）式によれば、第１撮像画像と第２撮像画像との差分は、以下の（９）式のように表すことができる。
第１撮像画像－第２撮像画像
＝｛ｆ＊ｇ_ｎ＋１（ｘ）＋ｈ_ｎ＋１（ｘ）＋ｋ（ｘ）｝－｛ｆ＊ｇ_ｎ（ｘ）＋ｈ_ｎ（ｘ）＋ｋ（ｘ）｝
＝｛ｆ＊ｇ_ｎ＋１（ｘ）＋ｈ_ｎ＋１（ｘ）｝－｛ｆ＊ｇ_ｎ（ｘ）＋ｈ_ｎ（ｘ）｝
・・・（９）

第１及び第２テストチャートＴＣ_１，ＴＣ_２は共に１以上の白色画素を含んでいるため、どちらのテストチャートを表示するにあたってもバックライトは点灯され、且つ、第１テストチャートＴＣ_１，ＴＣ_２に含まれる白色画素の個数の差は１個であるため、ｎ＋１個の白色画素を表示するために点灯されるバックライトによる影響と、ｎ個の白色画素を表示するために点灯されるバックライトによる影響とはほぼ同一とみなすことが可能である。このため、上記（９）式は、以下の（１０）式のように変形することができる。
｛ｆ＊ｇ_ｎ＋１（ｘ）＋ｈ_ｎ＋１（ｘ）｝－｛ｆ＊ｇ_ｎ（ｘ）＋ｈ_ｎ（ｘ）｝
＝ｆ＊｛ｇ_ｎ＋１（ｘ）－ｇ_ｎ（ｘ）｝
＝ｆ＊ｇ_１（ｘ）
＝ｆ（ｘ） ・・・（１０）

つまり、上記（９）式及び上記（１０）式に示されるように、第１テストチャートＴＣ_１を含む第１被写体画像が撮像されることによって得られる第１撮像画像と、第２テストチャートＴＣ_２を含む第２被写体画像が撮像されることによって得られる第２撮像画像との差分を求めることにより、ＰＳＦ算出部７３は、第１テストチャートＴＣ_１には含まれているが、第２テストチャートＴＣ_２には含まれていない１個の白色画素のある距離に対応した真に正確な点広がり関数を算出することができる。

ＰＳＦ出力部７４は、ＰＳＦ算出部７３によって算出される点広がり関数を示すＰＳＦ情報を、各種電子機器（例えば画像処理部１２（画像処理装置））へ出力する。これによれば、ＰＳＦ計測部５２が撮像装置１に組み込まれている場合、ＰＳＦ計測部５２は撮像部１１が有する光学系の点広がり関数を計測できるため、撮像装置１では、撮像部１１が有する光学系の点広がり関数を示すＰＳＦ情報に基づいたぼけ補正フィルタの生成が可能となる。すなわち、実測値に基づいたぼけ補正フィルタを予め用意することが可能となるため、撮像装置１による距離の取得精度を向上させることができる。

なお、ＰＳＦ情報は、ＰＳＦ算出部７３によって算出された点広がり関数の実測値そのものを示すとしても良いし、例えば、ＰＳＦ算出部７３によって算出された点広がり関数の実測値がガウシアン関数やゼルニケ多項式によりモデル化されたものを示すとしても良い。

図２１は、ＰＳＦ計測部５２によって実行されるＰＳＦ計測処理の手順の一例を示すフローチャートである。
まず、画像表示指示部７１は、不揮発性メモリ６３に格納される第１被写体画像を読み出し、当該第１被写体画像を表示指令と共に液晶モニタへと出力する（ステップＳ１）。これによれば、液晶モニタには第１被写体画像が表示される。

続いて、画像表示指示部７１は、液晶モニタに表示される第１被写体画像を撮像するよう撮像部５１に指示する。当該指示に伴い第１被写体画像が撮像されると、画像取得部７２は、当該第１被写体画像を示す第１撮像画像ＣＩ_１を取得する（ステップＳ２）。

次に、画像表示指示部７１は、不揮発性メモリ６３に格納される第２被写体画像を読み出し、当該第２被写体画像を表示指令と共に液晶モニタへと出力する（ステップＳ３）。これによれば、液晶モニタには第２被写体画像が表示される。
続いて、画像表示指示部７１は、液晶モニタに表示される第２被写体画像を撮像するよう撮像部５１に指示する。当該指示に伴い第２被写体画像が撮像されると、画像取得部７２は、当該第２被写体画像を示す第２撮像画像ＣＩ_２を取得する（ステップＳ４）。

そして、ＰＳＦ算出部７３は、画像取得部７２によって取得された第１撮像画像ＣＩ_１及び第２撮像画像ＣＩ_２に基づいて、計測対象となる各白色画素までの距離に対応した点広がり関数を各々算出する（ステップＳ５）。
しかる後、ＰＳＦ出力部７４は、算出された各点広がり関数を示すＰＳＦ情報を各種電子機器へ出力し（ステップＳ６）、ＰＳＦ計測処理を終了させる。

なお、本実施形態に係る画像処理装置５０は、被写体と撮像部５１との距離方向に移動可能な移動機構と、当該移動機構を制御するための制御部とをさらに備えていても良い。これによれば、撮像部５１から被写体までの距離ｄを容易に調整することが可能となる。

以上説明した一実施形態によれば、画像処理装置５０は、光学系を有する撮像部５１とＰＳＦ計測部５２とを備える。ＰＳＦ計測部５２は、第１テストチャートＴＣ_１を含む第１被写体画像と、第２テストチャートＴＣ_２を含む第２被写体画像とを液晶モニタに順に表示させ、撮像部５１が当該第１被写体画像を撮像することで得られる第１撮像画像ＣＩ_１と、撮像部５１が当該第１被写体画像を撮像することで得られる第２撮像画像ＣＩ_２とに基づいて、撮像部５１が有する光学系の点広がり関数を計測する。
これによれば、カメラ（撮像部５１）が有する光学系の点広がり関数の計測を容易に実行することが可能である。
また、カメラが有する光学系の点広がり関数の計測を容易に実行することが可能になることで、カメラのレンズの光学性能の評価やカメラのレンズ収差の補正を容易に行うことが可能になるといった副次的な効果を得ることもできる。
より詳しくは、カメラが有する光学系の点広がり関数の計測を容易に実行することが可能になることで、カメラのレンズの光学性能の評価として、カメラのピント位置では結像性能を容易に評価することが可能となり、カメラのピント位置以外ではぼけの劣化具合を容易に評価することが可能となる。
また、カメラが有する光学系の点広がり関数の計測を容易に実行することが可能になることで、単色収差や色収差等を容易に補正することが可能となり、ひいては、レンズ収差により劣化した画像を本来の画質に復元することも可能となる。

また、ＰＳＦ計測部５２が撮像装置１に組み込まれることで、撮像部１１が有する光学系の点広がり関数の計測が可能となり、これによれば、当該計測の結果に基づいたぼけ補正フィルタを求めることが可能となるので、画像処理部１２による撮像地点から被写体までの距離の取得精度を向上させることが可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…撮像装置、１１…撮像部、１２…画像処理部、２１…フィルタ、２２…レンズ、２３…イメージセンサ、３２Ａ…画像処理プログラム、４１…画像取得部、４２…距離算出部、５０…画像処理装置、５１…撮像部、５２…ＰＳＦ計測部、６２Ａ…ＰＳＦ計測処理プログラム、７１…画像表示指示部、７２…画像取得部、７３…ＰＳＦ算出部、７４…ＰＳＦ出力部。

Claims (14)

1. 撮像素子と前記撮像素子の撮像面に被写体像を結像させる光学系とを有した撮像処理装置によって撮像される、第１被写体の第１画像と、前記第１被写体とは異なる第２被写体の第２画像とを取得する取得部と、
   前記第１画像及び前記第２画像に基づいて、前記光学系の点広がり関数を計測する計測部と
   を具備し、
   前記第１被写体及び前記第２被写体は共に、
   少なくとも一つの白色の画素を含む画像であり、
   前記第１被写体は、
   前記第２被写体よりも前記白色の画素を一つ多く含む画像である、画像処理装置。
2. 前記第１被写体及び前記第２被写体は共に、
   分割型バックライトを備える液晶モニタに表示される画像である、請求項１に記載の画像処理装置。
3. 前記第１被写体は、
   隣接して並ぶ２つの白色の画素を含む画像であり、
   前記第２被写体は、
   前記隣接して並ぶ２つの白色の画素のうちの一つが黒色の画素に置き換わった画像である、請求項１または請求項２に記載の画像処理装置。
4. 前記第１被写体は、
   十字状に隣接して並ぶ複数の白色の画素を含む画像であり、
   前記第２被写体は、
   前記十字状に隣接して並ぶ複数の白色の画素のうちの中央の画素が黒色の画素に置き換わった画像である、請求項１または請求項２に記載の画像処理装置。
5. 前記計測部は、
   前記第１画像と前記第２画像との差分に基づいて前記光学系の点広がり関数を計測する、請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
6. 前記取得部は、
   前記撮像処理装置により第３被写体がさらに撮像されることによって得られる、ぼけ関数が偏りのない形状を示す第１色画像と、前記ぼけ関数が偏りのある形状を示す第２色画像とを取得する、請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. 前記第２色画像に対して、前記計測された点広がり関数に基づいた複数の異なるぼけを付加して、複数の補正画像を生成し、前記第１色画像と、前記複数の補正画像との相関に応じて、前記第３被写体までの距離を算出する距離算出部
   をさらに具備する、請求項６に記載の画像処理装置。
8. 撮像素子と前記撮像素子の撮像面に被写体像を結像させる光学系を有した撮像処理装置によって撮像される、第１被写体の第１画像と、前記第１被写体とは異なる第２被写体の第２画像とを取得することと、
   前記第１画像及び前記第２画像に基づいて、前記光学系の点広がり関数を計測することと
   を具備し、
   前記第１被写体及び前記第２被写体は共に、
   少なくとも一つの白色の画素を含む画像であり、
   前記第１被写体は、
   前記第２被写体よりも前記白色の画素を一つ多く含む画像である、画像処理方法。
9. 前記第１被写体及び前記第２被写体は共に、
   分割型バックライトを備える液晶モニタに表示される画像である、請求項８に記載の画像処理方法。
10. 前記第１被写体は、
    隣接して並ぶ２つの白色の画素を含む画像であり、
    前記第２被写体は、
    前記隣接して並ぶ２つの白色の画素のうちの一つが黒色の画素に置き換わった画像である、請求項８または請求項９に記載の画像処理方法。
11. 前記第１被写体は、
    十字状に隣接して並ぶ複数の白色の画素を含む画像であり、
    前記第２被写体は、
    前記十字状に隣接して並ぶ複数の白色の画素のうちの中央の画素が黒色の画素に置き換わった画像である、請求項８または請求項９に記載の画像処理方法。
12. 前記第１画像と前記第２画像との差分に基づいて前記光学系の点広がり関数を計測すること
    をさらに具備する、請求項８乃至請求項１１のいずれか１項に記載の画像処理方法。
13. 前記撮像処理装置により第３被写体がさらに撮像されることによって得られる、ぼけ関数が偏りのない形状を示す第１色画像と、前記ぼけ関数が偏りのある形状を示す第２色画像とを取得すること
    をさらに具備する、請求項８乃至請求項１２のいずれか１項に記載の画像処理方法。
14. 前記第２色画像に対して、前記計測された点広がり関数に基づいた複数の異なるぼけを付加して、複数の補正画像を生成し、前記第１色画像と、前記複数の補正画像との相関に応じて、前記第３被写体までの距離を算出すること
    をさらに具備する、請求項１３に記載の画像処理方法。

Images