JP6524373B1 - 光学撮像装置および撮像画像補正方法 - Google Patents

Abstract

評価用ターゲット（４）が斜め撮像されても、撮像部（５）のオフナディア角に基づいて評価用ターゲット（４）の位置を調整してＰＳＦを再構成する。

Description

この発明は、撮像画像の高解像度化補正を行う光学撮像装置および撮像画像補正方法に関する。

リモートセンシングにおいて、光学撮像装置は、プラットフォームに搭載されており、プラットフォームの移動に伴って検出対象を撮像する。
光学撮像装置における光学系の特性は、プラットフォームに生じた振動が光学撮像装置に伝わることで変化し、プラットフォームが移動した場所の環境に応じて変化することもある。このような光学系の特性変化は、撮像画像の品質に影響を与える。
そこで、光学撮像装置は、高品質の撮像画像を得るため、画像を撮像したときの光学系の特性を評価して、評価した特性に応じて撮像画像を補正している。

光学系の特性の評価指標の一つに点像広がり関数（以下、ＰＳＦと記載する）がある。
ＰＳＦは、光学系によって無限小の被写体を結像させたときに発生するボケの強度分布を表しており、撮像画像の高解像度化補正に利用されている。
例えば、非特許文献１には、リモートセンシングに利用される光学撮像装置において、光学系の特性をＰＳＦで評価する方法が記載されている。

上記評価方法では、複数の評価用ターゲットを地上に配置し、プラットフォームに搭載された光学撮像装置が高空から評価用ターゲットを撮像する。光学撮像装置の撮像部は、撮像光軸に直交する方向に存在する評価用ターゲットを撮像（以下、直下視撮像と記載する）する。撮像部の結像面において、複数の評価用ターゲットは、複数の点像として得られる。このとき、複数の点像の画素値分布を再配置することで、撮像部の空間分解能よりも高い分解能となるＰＳＦの値が得られる。これらの処理をＰＳＦの再構成という。

Ｓｔｅｐｈｅｎ Ｓｃｈｉｌｌｅｒ ａｎｄ Ｊｏｈｎ Ｓｉｌｎｙ，" Ｉｎ−Ｆｌｉｇｈｔ Ｐｅｒｆｏｒｍａｎｃｅ Ａｓｓｅｓｓｍｅｎｔ ｏｆ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｔｈｅ Ｓｐｅｃｕｌａｒ Ａｒｒａｙ Ｒａｄｉｏｍｅｔｒｉｃ Ｃａｌｉｂｒａｔｉｏｎ （ＳＰＡＲＣ） Ｍｅｔｈｏｄ "、１１ｔｈ Ａｎｎｕａｌ Ｊｏｉｎｔ Ａｇｅｎｃｙ Ｃｏｍｍｅｒｃｉａｌ Ｉｍａｇｅｒｙ Ｅｖａｌｕａｔｉｏｎ （ＪＡＣＩＥ） Ｗｏｒｋｓｈｏｐ （２０１２）．

しかしながら、非特許文献１に記載されるＰＳＦ評価方法では、撮像光軸に対して斜め方向に存在する評価用ターゲットを撮像部で撮像（以下、斜め撮像と記載する）すると、オフナディア角の変化に伴う位相ずれによって点像の間隔に１ピクセル未満の変化が生じる。このため、ＰＳＦの再構成に利用可能な点像の数が減少し、点像の間隔が点像自体の幅よりも小さくなるという課題があった。
例えば、評価用ターゲット同士のそれぞれの幅の比が整数倍になり、ＰＳＦの再構成が不可能になる。０．１ピクセルずつの１ピクセル以下の位相ずれを持つ１０個の点像が、位相ずれで０．５ピクセル変化することで、ＰＳＦの再構成に有効な点像が２個になる。

この発明は上記課題を解決するもので、直下視撮像によるＰＳＦ測定と斜め撮像によるＰＳＦ測定との両方を可能として、より効率的なＰＳＦ測定を行うことができる光学撮像装置および撮像画像補正方法を得ることを目的とする。

この発明に係る光学撮像装置は、撮像部、入力部、第１の計算部、調整部、再構成部、補正部および出力部を備えている。撮像部は、対象物を撮像する。入力部は、撮像部のオフナディア角の入力を受け付ける。第１の計算部は、入力部によって受け付けられたオフナディア角に基づいて、ＰＳＦの再構成に必要な評価用ターゲットの間隔を計算し、計算した間隔としたときの評価用ターゲットの位置の移動量を計算する。調整部は、第１の計算部によって計算された移動量で評価用ターゲットの位置を調整する。再構成部は、撮像部によって撮像された位置調整後の評価用ターゲットの撮像画像から点像の空間位相を計算し、点像からＰＳＦを再構成する。補正部は、再構成部によって再構成されたＰＳＦを用いて、撮像部によって撮像された撮像画像の高解像度化補正を行う。出力部は、補正部によって補正された撮像画像を出力する。

この発明によれば、評価用ターゲットが斜め撮像されても、撮像部のオフナディア角に基づいて評価用ターゲットの位置を調整してＰＳＦを再構成するので、直下視撮像によるＰＳＦ測定と斜め撮像によるＰＳＦ測定との両方が可能となる。これにより、直下視撮像による評価用ターゲットの撮像が困難な場合であっても、斜め撮像で評価用ターゲットの撮像が可能となり、より効率的なＰＳＦ測定を行うことができる。

この発明の実施の形態１に係る光学撮像装置の構成を示すブロック図である。 図２Ａは、実施の形態１に係る光学撮像装置の機能を実現するハードウェア構成を示すブロック図である。図２Ｂは、実施の形態１に係る光学撮像装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。 実施の形態１に係る撮像画像補正方法を示すフローチャートである。 図４Ａは、評価用ターゲットの直下視撮像を示す図である。図４Ｂは、評価用ターゲットの斜め撮像を示す図である。図４Ｃは、評価用ターゲットの位置調整を示す図である。 撮像部の光学検出器の結像面上に結像される点像を示す図である。 ＰＳＦの再構成の概要を示す図である。 この発明の実施の形態２に係る光学撮像装置の構成を示すブロック図である。

以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る光学撮像装置１００の構成を示すブロック図である。光学撮像装置１００は、撮像画像を鮮鋭化する補正（以下、高解像度化補正と記載する）を行う撮像装置であり、オフナディア角取得部１、ターゲット位置計算部２、ターゲット位置調整部３、撮像部５、ＰＳＦ再構成部６、撮像画像データベース７、撮像画像補正部８および補正画像出力部９を備える。

オフナディア角取得部１は、撮像部５のオフナディア角を取得する取得部である。
撮像部５のオフナディア角とは、例えば、撮像部５が鉛直下を向いており、評価用ターゲット４が地上面に平行に配置されている場合、撮像部５と評価用ターゲット４とを結ぶ直線と撮像光軸とがなす角である。
撮像部５のオフナディア角は、撮像部５における検出器の向きを制御する装置あるいは撮像部５の姿勢を制御する装置によって求められる。オフナディア角取得部１は、これらの装置と通信してオフナディア角を取得してもよい。

ターゲット位置計算部２は、撮像部５のオフナディア角に基づいて、ＰＳＦの再構成に必要な評価用ターゲット４の間隔を計算し、計算した間隔としたときの評価用ターゲット４の位置の移動量を計算する第１の計算部である。ターゲット位置計算部２によって計算された評価用ターゲット４の移動量は、ターゲット位置調整部３およびＰＳＦ再構成部６に出力される。

ターゲット位置調整部３は、ターゲット位置計算部２によって計算された移動量で評価用ターゲット４の位置を調整する調整部である。
例えば、ターゲット位置調整部３は、評価用ターゲット４が配置されている台座の位置を移動させる駆動装置を制御して、評価用ターゲット４の位置を調整する。

評価用ターゲット４は、撮像画像から得られたＰＳＦを評価するための撮像ターゲットであり、例えば、ミラーである。前述したように、評価用ターゲット４は、台座とともに位置の移動が可能である。
なお、図１に示した評価用ターゲット４は、３つの評価用ターゲット４−１〜４−３で構成されている。撮像画像において、評価用ターゲット４−１〜４−３は、微小な大きさを有する点群とみなされる。

撮像部５は、対象物を撮像する撮像部であり、オフナディア角を変化させながら対象物の撮影が可能である。例えば、撮像部５は、レンズと光学検出器を備えたカメラによって実現することができる。

ＰＳＦ再構成部６は、撮像部５によって撮像された位置調整後の評価用ターゲット４の撮像画像から点像の空間位相を計算し、点像からＰＳＦを再構成する再構成部である。
ＰＳＦ再構成部６は、撮像により得られた点像の空間位相ずれを計算し、空間位相ずれに従って点像の画素値分布を再配置することで、撮像部５よりも高い分解能となるＰＳＦを再構成する。なお、ＰＳＦの再構成の詳細は、図６を用いて後述する。

撮像画像データベース７は、撮像部５によって撮像された撮像画像を記憶するデータベースである。撮像画像補正部８は、要求に応じた撮像画像を撮像画像データベース７から読み出して取得することができる。

撮像画像補正部８は、ＰＳＦ再構成部６によって再構成されたＰＳＦを用いて撮像画像の高解像度化補正を行う補正部である。
例えば、撮像画像補正部８は、再構成されたＰＳＦを用いて、撮像画像データベース７から読み出した撮像画像を鮮鋭化する処理を行う。

補正画像出力部９は、撮像画像補正部８によって補正された補正画像を出力する出力部である。例えば、補正画像出力部９は、補正画像をディスプレイに表示出力してもよく、外部装置に通信出力してもよい。

図２Ａは、光学撮像装置１００の機能を実現するハードウェア構成を示すブロック図である。図２Ｂは、光学撮像装置１００の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図２Ａおよび図２Ｂにおいて、通信装置２００は、カメラ２０１の検出器を制御する装置またはカメラ２０１の姿勢を制御する装置と通信する装置である。図１に示すオフナディア角取得部１は、通信装置２００に指示して上記装置と通信させて、上記装置からオフナディア角を取得する。

カメラ２０１は、図１に示した撮像部５であって、カメラ２０１が有する検出器の向きまたはカメラ２０１の姿勢を変更する駆動部を有している。上記駆動部は、通信装置２００と通信が可能な制御装置から与えられた制御信号に応じて、カメラ２０１が有する検出器の向きまたはカメラ２０１の姿勢を変更することができる。
ディスプレイ２０２は、補正画像出力部９から出力された補正画像を表示する出力装置である。

撮像画像データベース７は、図２Ａに示す処理回路２０３が備えるメモリまたは図２Ｂに示すメモリ２０５に記憶してもよい。
また、撮像画像データベース７は、光学撮像装置１００と通信してデータの読み出しが可能な外部記憶装置に設けられてもよい。
すなわち、光学撮像装置１００は、撮像画像データベース７を備えない構成であってもよい。

光学撮像装置１００における、オフナディア角取得部１、ターゲット位置計算部２、ターゲット位置調整部３、ＰＳＦ再構成部６、撮像画像補正部８および補正画像出力部９のそれぞれの機能は、処理回路により実現される。
すなわち、光学撮像装置１００は、図３に示すステップＳＴ１からステップＳＴ６までの処理を実行する処理回路を備える。
処理回路は、専用のハードウェアであっても、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

処理回路が図２Ａに示す専用のハードウェアである場合、処理回路２０３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。
オフナディア角取得部１、ターゲット位置計算部２、ターゲット位置調整部３、ＰＳＦ再構成部６、撮像画像補正部８および補正画像出力部９のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。

処理回路が図２Ｂに示すプロセッサ２０４である場合、オフナディア角取得部１、ターゲット位置計算部２、ターゲット位置調整部３、ＰＳＦ再構成部６、撮像画像データベース７、撮像画像補正部８および補正画像出力部９のそれぞれの機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアの組み合わせによって実現される。
ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２０５に記憶される。

プロセッサ２０４は、メモリ２０５に記憶されたプログラムを読み出して実行することにより、オフナディア角取得部１、ターゲット位置計算部２、ターゲット位置調整部３、ＰＳＦ再構成部６、撮像画像補正部８および補正画像出力部９のそれぞれの機能を実現する。すなわち、光学撮像装置１００は、プロセッサ２０４によって実行されるときに、図３に示すステップＳＴ１からステップＳＴ６までの処理が結果的に実行されるプログラムを記憶するためのメモリ２０５を備える。これらのプログラムは、オフナディア角取得部１、ターゲット位置計算部２、ターゲット位置調整部３、ＰＳＦ再構成部６、撮像画像補正部８および補正画像出力部９のそれぞれの手順または方法をコンピュータに実行させるものである。

メモリ２０５には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ−ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

オフナディア角取得部１、ターゲット位置計算部２、ターゲット位置調整部３、ＰＳＦ再構成部６、撮像画像補正部８および補正画像出力部９のそれぞれの機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。例えば、オフナディア角取得部１、ターゲット位置計算部２およびターゲット位置調整部３については、専用のハードウェアとしての処理回路でその機能を実現し、ＰＳＦ再構成部６、撮像画像補正部８および補正画像出力部９については、プロセッサ２０４がメモリ２０５に記憶されたプログラムを読み出して実行することによってその機能を実現してもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能のそれぞれを実現することができる。

次に動作について説明する。
図３は、実施の形態１に係る撮像画像補正方法を示すフローチャートである。
まず、オフナディア角取得部１は、撮像部５が評価用ターゲットを斜め撮像したときのオフナディア角を取得する（ステップＳＴ１）。
オフナディア角取得部１によって取得された撮像部５のオフナディア角は、ターゲット位置計算部２に出力される。

ターゲット位置計算部２は、オフナディア角取得部１から入力した撮像部５のオフナディア角に基づいて、評価用ターゲット４の位置移動量を計算する（ステップＳＴ２）。
例えば、ターゲット位置計算部２は、オフナディア角に基づいて、斜め撮像によって得られた点像の間隔を計算し、さらに、撮像部５よりも高い分解能となるＰＳＦの再構成に必要な点像の間隔を確保可能な評価用ターゲット４の位置移動量を計算する。

図４Ａは、評価用ターゲット４の直下視撮像を示す図である。直下視撮像では、撮像画像における評価用ターゲット４の間隔ｄ_{ｐｉｘｅｌ}がｎ＋δ（ピクセル）となるように、実空間における評価用ターゲット４の間隔ｄ_{ｇｒｏｕｎｄ}がＧＳＤ×ｄ_{ｐｉｘｅｌ}（ｍ）で配置される。ここで、ｎは自然数であり、評価用ターゲット４の間隔ｄ_{ｐｉｘｅｌ}が、点像の幅よりも十分に大きな値となるように設定される。δは１ピクセル未満の位相ずれであり、撮像画像における評価用ターゲット４が等間隔配置であれば、評価用ターゲット４の数ｍの逆数に相当する。ＧＳＤは、撮像部５の空間分解能（ｍ）である。

なお、図４Ａから図４Ｃまででは、説明の簡単のために、評価用ターゲット４の配置を１次元で表している。ただし、ＰＳＦは２次元分布として評価する必要があるので、使用する評価用ターゲット群の配列も２次元とする。

図４Ｂは、評価用ターゲット４の斜め撮像の例を示す図である。オフナディア角φで斜め撮像した場合、撮像画像における評価用ターゲット４の間隔ｄ’_{ｐｉｘｅｌ}は、図４Ａに示した直下視撮像に比べてｃｏｓ^２φに比例して小さくなる。例えば、直下視撮像で得られた撮像画像における評価用ターゲット４の間隔ｄ_{ｐｉｘｅｌ}を１０．２（ピクセル）とし、評価用ターゲット４のそれぞれに対応する点像に対して、０．０、０．２、０．４、０．６、０．８（ピクセル）といったサブピクセルピッチでの空間位相ずれを与える。

これらの評価用ターゲット４を斜め撮像して得られた撮像画像における評価用ターゲット４の間隔ｄ’_{ｐｉｘｅｌ}が９．５（ピクセル）に変化したとすると、評価用ターゲット４のそれぞれに対応する点像の空間位相ずれは、０．０、０．５、０．０、０．５、０．０と変化し、高分解能なＰＳＦの再構成に利用可能な点像の数が５から２に減少し、ＰＳＦの測定精度が低下する。

斜め撮像で得られた撮像画像における評価用ターゲット４の間隔ｄ’_{ｐｉｘｅｌ}の変化に対して評価用ターゲット４の位置を調整し、ｄ’_{ｐｉｘｅｌ}＝９．６（ピクセル）とする。これにより、点像のサブピクセルピッチの空間位相ずれは、０．０、０．６、１．２→０．２、１．８→０．８、２．４→０．４（ピクセル）となって、ＰＳＦの再構成に利用可能な点像の数が直下視撮像の場合と同数の５となる。

評価用ターゲット４の位置調整方法は、例えば、下記の（１）〜（３）が挙げられる。
（１）地平面と鉛直方向に評価用ターゲット４の位置を移動させる。
（２）地平面と水平方向に評価用ターゲット４の位置を移動させる。
（３）複数の評価用ターゲット４のうち、一つの評価用ターゲット４を中心とした円軌道上に他の評価用ターゲット４の位置を移動させる。

図４Ｃは、評価用ターゲット４の位置調整を示す図であり、（１）の方法で評価用ターゲット４の位置を移動させる場合を示している。
例えば、地平面に対する角度がθとなるように、評価用ターゲット４が並んだ台座面を地平面と鉛直方向に移動させる。
移動後の評価用ターゲット４を撮像部５が斜め撮像して得られる撮像画像における評価用ターゲット４の間隔ｄ”_{ｐｉｘｅｌ}（ピクセル）は、下記式（１）で表される。
下記式（１）において、ｄ”_{ｇｒｏｕｎｄ}は、実空間における移動後の評価用ターゲット４の間隔である。
ｄ”_{ｐｉｘｅｌ}
＝ｄ”_{ｇｒｏｕｎｄ}／（ＧＳＤ／ｃｏｓφ）
＝ｄ_{ｐｉｘｅｌ}・ｃｏｓφ・ｃｏｓ（φ−θ）／ｃｏｓ（θ） （１）

ターゲット位置計算部２は、上記式（１）に従って計算した補正角θと実空間における移動後の評価用ターゲット４の間隔ｄ_{ｇｒｏｕｎｄ}（ｍ）とを用いて、下記式（２）に従い、鉛直方向の評価用ターゲット４の移動量Δｄ_ｉ（ｍ）を計算する。ここで、ｍは、評価用ターゲット４の数であり、補正角θを定義するときに中心とする評価用ターゲット４から近い順にｉ＝０，１，・・・，ｍ−１とする。
Δｄ_ｉ＝ｉ・ｄ_{ｇｒｏｕｎｄ}・ｃｏｓ（θ）
（ｉ＝０，１，・・・，ｍ−１） （２）

ターゲット位置調整部３は、ターゲット位置計算部２によって計算された位置移動量に応じて評価用ターゲット４の位置を調整する（ステップＳＴ３）。
ＰＳＦ再構成部６は、位置調整後の評価用ターゲット４の撮像画像を用いて、ＰＳＦを再構成する（ステップＳＴ４）。

図５は、撮像部５の光学検出器５ａの結像面上に結像される点像を示す図である。
撮像部５は、図５に示すように、同一の平面上に並んだ複数の光学検出器５ａを有しており、それぞれの光学検出器５ａが画素に相当する。
評価用ターゲット４を撮像部５で撮像することで、評価用ターゲット４と同数の点像が光学検出器５ａの結像面上に結像される。点像には、光学検出器５ａのピッチ未満の空間位相ずれが与えられている。

例えば、図５において、点像ａは画素中央に位置しているが、点像ｂおよび点像ｃは、画素中央から右寄りに位置している。このように空間位相のずれ量は点像ごとに異なる。
これにより、評価用ターゲット４を撮像部５で撮像することで、１（ピクセル）未満の空間位相ずれを生じた点像が得られる。

図６は、ＰＳＦの再構成の概要を示す図である。図６に示すように、ＰＳＦ再構成部６は、評価用ターゲット４の撮像により得られた点像の画素値分布が、１つの点像の画素値分布と等しくなるように点像を並び替える。
例えば、Ｎ×Ｎ個でＭ×Ｍ（ピクセル）の点像を用いたＰＳＦの再構成を１次元で考える。点像Ｐ_ｋ（ｋ＝０〜Ｎ−１）のそれぞれの画素値をＰ_ｋ（０），Ｐ_ｋ（１），・・・，Ｐ_ｋ（Ｍ−１）と仮定する。

点像のそれぞれに１（ピクセル）の空間位相ずれδが生じているとき、ＰＳＦ再構成部６は、δ（ピクセル）の間隔で点像Ｐ_ｋを並び替える。これにより、点像Ｐ_ｋのそれぞれの画素値は、図６に示すように、Ｐ_０（０），Ｐ_１（０），・・・，Ｐ_ｋ（ｘ），Ｐ_ｋ＋１（ｘ），Ｐ_ｋ＋２（ｘ），・・・，Ｐ_Ｎ−２（Ｍ−１），Ｐ_Ｎ−１（Ｍ−１）となり、高分解能な点像が得られる。
ＰＳＦ再構成部６は、このようにして得られた高分解能な点像に対して画素値の合計が１となるように規格化して、再構成後のＰＳＦを得る。

撮像画像補正部８は、撮像画像データベース７から読み出した任意の撮像画像に対し、ＰＳＦ再構成部６によって再構成されたＰＳＦを用いた逆畳み込みを行うことで、撮像画像の高解像度化補正を行う（ステップＳＴ５）。これにより、撮像画像の鮮鋭さが強調される。なお、撮像画像補正部８は、撮像画像データベース７に記憶された撮像画像の他、撮像部５によって新たに撮像された撮像画像を補正してもよい。

例えば、撮像画像補正部８は、下記式（３）を用いて撮像画像を高解像度化補正する。
下記式（３）において、ｇは、再構成されたＰＳＦと同等の画素ピッチを有した画像に相当するまでアップサンプリングされた撮像画像を表しており、ｇ’は、補正後の画像を表している。Ｆ［ｆ］は、関数ｆのフーリエ変換を表している。
下記式（３）の右辺全体は、撮像画像ｇを、空間周波数領域において直交座標（ｘ’，ｙ’）に対応するＰＳＦで除算し、さらに、逆フーリエ変換によって、実空間に対応するデータに戻した画像の座標（ｘ’，ｙ’）における値を表している。
ｇ’（ｘ’，ｙ’）
＝Ｆ^−１［Ｆ［ｇ］／Ｆ［ＰＳＦ（ｘ’，ｙ’）］］（ｘ’，ｙ’） （３）

再構成した１つのＰＳＦを用いて逆畳み込みを行う場合、全ての座標（ｘ’，ｙ’）において同一のＰＳＦが用いられる。
ＰＳＦ再構成部６は、結像面上に結像された複数の点像のそれぞれに対応するＰＳＦを再構成し、再構成した複数のＰＳＦのうち、任意の座標（ｘ’，ｙ’）に対応するＰＳＦを用いて逆畳み込みを行うことで、より効果的な補正が可能となる。

補正画像出力部９は、撮像画像補正部８によって補正された画像を出力する（ステップＳＴ６）。例えば、補正画像出力部９は、補正画像を画像データ形式で出力して記憶装置に記憶してもよく、ディスプレイ２０２に出力して表示させてもよい。

以上のように、実施の形態１に係る光学撮像装置１００において、評価用ターゲット４が斜め撮像されても、撮像部５のオフナディア角に基づいて評価用ターゲット４の位置を調整してＰＳＦを再構成するので、直下視撮像によるＰＳＦ測定と斜め撮像によるＰＳＦ測定との両方が可能となる。これにより、直下視撮像による評価用ターゲット４の撮像が困難な場合であっても、斜め撮像で評価用ターゲット４の撮像が可能となり、より効率的なＰＳＦ測定を行うことができる。

実施の形態２．
図７は、この発明の実施の形態２に係る光学撮像装置１００Ａの構成を示すブロック図である。図７において、図１と同一の構成要素には同一の符号を付して説明を省略する。
光学撮像装置１００Ａは、オフナディア角取得部１、ターゲット位置計算部２、ターゲット位置調整部３、撮像部５、ＰＳＦ再構成部６、撮像画像データベース７、撮像画像補正部８Ａ、補正画像出力部９、収差解析部１０およびＰＳＦ生成部１１を備える。

収差解析部１０は、ＰＳＦ再構成部６によって再構成されたＰＳＦから波面収差係数を解析する解析部である。
ＰＳＦ生成部１１は、収差解析部１０によって解析された波面収差係数を用いてＰＳＦを計算する第２の計算部である。
撮像画像補正部８Ａは、ＰＳＦ生成部１１によって生成されたＰＳＦを用いて撮像画像の高解像度化補正を行う補正部である。

実施の形態１と同様に、光学撮像装置１００Ａにおける、オフナディア角取得部１、ターゲット位置計算部２、ターゲット位置調整部３、撮像部５、ＰＳＦ再構成部６、撮像画像補正部８Ａ、補正画像出力部９、収差解析部１０およびＰＳＦ生成部１１のそれぞれの機能は、処理回路により実現される。
オフナディア角取得部１、ターゲット位置計算部２、ターゲット位置調整部３、撮像部５、ＰＳＦ再構成部６、撮像画像補正部８Ａ、補正画像出力部９、収差解析部１０およびＰＳＦ生成部１１のそれぞれの機能について、一部または全てを専用のハードウェアで実現してもよく、一部または全てをソフトウェアまたはファームウェアで実現してもよい。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせによって上記機能のそれぞれを実現することができる。

次に動作について説明する。
収差解析部１０は、ＰＳＦ再構成部６によって再構成されたＰＳＦを入力すると、入力したＰＳＦに対して、収差係数またはＺｅｒｎｉｋｅ係数といった波面収差Ｗを記述する波面収差係数を推定する。そして、収差解析部１０は、推定した波面収差係数を用いて、ＰＳＦを補間する。

例えば、波面収差係数としてザイデル収差係数を推定し、波面収差Ｗを、ザイデル収差係数の５収差のみで表すと仮定した場合、収差解析部１０は、下記式（４）を用いて波面収差Ｗを算出する。下記式（４）は、結像面における点像の像高ｘ_０、瞳面の半径座標ρおよび角度座標θ（ｘ＝ρｃｏｓθ、ｙ＝ρｓｉｎθ）を用いて波面収差Ｗを表したものである。下記式（４）において、Ｓ_Ｉは球面収差係数、Ｓ_ＩＩはコマ収差係数、Ｓ_ＩＩＩは非点収差係数であり、Ｓ_ＩＩＩ＋Ｓ_ＩＶはデフォーカス、Ｓ_Ｖはディストーションである。
Ｗ（ｘ_０，ρ，θ）
＝Ｓ_Ｉρ^４／８＋Ｓ_ＩＩｘ_０ρ^３ｃｏｓθ／２＋Ｓ_ＩＩＩｘ_０ ^２ρ^２ｃｏｓ^２θ／２＋（Ｓ_ＩＩＩ＋Ｓ_ＩＶ）ｘ_０ ^２ρ^２／４＋Ｓ_Ｖｘ_０ ^３ρｃｏｓθ／２ （４）

収差解析部１０は、上記式（４）で得られた収差係数を変化させながら、波面収差Ｗ（ｘ_０，ρ，θ）を用いてＰＳＦを計算し、計算したＰＳＦとＰＳＦ再構成部６によって再構成されたＰＳＦとを比較する。収差解析部１０は、両者の誤差が最小になる収差係数を解とする。収差係数は、光学系に対して唯一に定まるので、ｘ_０を変化させることで、任意の像高におけるＰＳＦの生成が可能である。

なお、波面収差Ｗの解析でザイデル収差係数の５収差のみを考慮する場合、回転対称な光学系が前提となる。この前提が成り立たない場合、収差解析部１０は、例えば、像面上の複数の点像を利用して再構成された複数のＰＳＦを入力し、これらのＰＳＦのそれぞれに対してＺｅｒｎｉｋｅ係数を推定して、Ｚｅｒｎｉｋｅ係数から像面上の任意の位置に対するＺｅｒｎｉｋｅ係数を補間してＰＳＦを生成すればよい。

ＰＳＦ生成部１１は、収差解析部１０によって解析された波面収差係数に基づいて、像面上の任意の位置に対する波面収差を補間し、下記式（５）に従って、補間した波面収差を用いてＰＳＦを生成する。下記式（５）において、Ｆ［ｆ］は、関数ｆのフーリエ変換を表しており、ｘ’，ｙ’は像面の直交座標を表している。
ｔ_０（ｘ，ｙ）は、（ｘ^２＋ｙ^２）^１／２≦開口半径である場合に１の値となり、それ以外で０の値となる関数を表しており、λは、光の波長を表している。
ＰＳＦ（ｘ’，ｙ’）
＝｜Ｆ［ｔ_０（ｘ，ｙ）・ｅ^{２πｉＷ（ｘ，ｙ）／λ}］｜^２ （５）

以上のように、実施の形態２に係る光学撮像装置１００Ａは、収差解析部１０とＰＳＦ生成部１１を備える。収差解析部１０は、ＰＳＦ再構成部６によって再構成されたＰＳＦから波面収差係数を解析する。ＰＳＦ生成部１１は、収差解析部１０によって解析された波面収差係数を用いてＰＳＦを生成する。撮像画像補正部８Ａは、ＰＳＦ生成部１１によって生成されたＰＳＦを用いて、撮像部５によって撮像された撮像画像の高解像度化補正を行う。これらの構成要素を有することで、撮像画像上の任意の位置に対応するＰＳＦを計算することができ、計算したＰＳＦを用いて撮像画像の逆畳み込みが可能となる。
これにより、実施の形態１に係る光学撮像装置１００よりも画質の高い補正画像を得ることができる。

なお、本発明は上記実施の形態に限定されるものではなく、本発明の範囲内において、実施の形態のそれぞれの自由な組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。

この発明に係る光学撮像装置は、直下視撮像によるＰＳＦ測定と斜め撮像によるＰＳＦ測定との両方を可能として、より効率的なＰＳＦ測定を行うことができるので、リモートセンシングに利用することができる。

１ オフナディア角取得部、２ ターゲット位置計算部、３ ターゲット位置調整部、４，４−１〜４−３ 評価用ターゲット、５ 撮像部、５ａ 光学検出器、６ ＰＳＦ再構成部、７ 撮像画像データベース、８，８Ａ 撮像画像補正部、９ 補正画像出力部、１０ 収差解析部、１１ ＰＳＦ生成部、１００，１００Ａ 光学撮像装置、２００ 通信装置、２０１ カメラ、２０２ ディスプレイ、２０３ 処理回路、２０４ プロセッサ、２０５ メモリ。

Claims (4)

1. 対象物を撮像する撮像部と、
   前記撮像部のオフナディア角を取得する取得部と、
   前記取得部によって取得されたオフナディア角に基づいて、点像広がり関数の再構成に必要な評価用ターゲットの間隔を計算し、計算した間隔としたときの評価用ターゲットの位置の移動量を計算する第１の計算部と、
   前記第１の計算部によって計算された移動量で評価用ターゲットの位置を調整する調整部と、
   前記撮像部によって撮像された位置調整後の評価用ターゲットの撮像画像から点像の空間位相を計算し、点像から点像広がり関数を再構成する再構成部と、
   前記再構成部によって再構成された点像広がり関数を用いて、前記撮像部によって撮像された撮像画像の高解像度化補正を行う補正部と、
   前記補正部によって補正された撮像画像を出力する出力部と
   を備えたことを特徴とする光学撮像装置。
2. 前記再構成部によって再構成された点像広がり関数から波面収差係数を解析する解析部と、
   前記解析部によって解析された波面収差係数を用いて点像広がり関数を計算する第２の計算部とを備え、
   前記補正部は、前記第２の計算部によって生成された点像広がり関数を用いて、前記撮像部によって撮像された撮像画像の高解像度化補正を行うこと
   を特徴とする請求項１記載の光学撮像装置。
3. 対象物を撮像する撮像部を備えた光学撮像装置の撮像画像補正方法であって、
   取得部が、前記撮像部のオフナディア角を取得するステップと、
   第１の計算部が、前記取得部によって取得されたオフナディア角に基づいて、点像広がり関数の再構成に必要な評価用ターゲットの間隔を計算し、計算した間隔としたときの評価用ターゲットの位置の移動量を計算するステップと、
   調整部が、前記第１の計算部によって計算された移動量で評価用ターゲットの位置を調整するステップと、
   再構成部が、前記撮像部によって撮像された位置調整後の評価用ターゲットの撮像画像から点像の空間位相を計算し、点像から点像広がり関数を再構成するステップと、
   補正部が、前記再構成部によって再構成された点像広がり関数を用いて、前記撮像部によって撮像された撮像画像の高解像度化補正を行うステップと、
   出力部が、前記補正部によって補正された撮像画像を出力するステップと
   を備えたことを特徴とする撮像画像補正方法。
4. 解析部が、前記再構成部によって再構成された点像広がり関数から波面収差係数を解析するステップと、
   第２の計算部が、前記解析部によって解析された波面収差係数を用いて点像広がり関数を計算するステップとを備え、
   前記補正部は、前記第２の計算部によって生成された点像広がり関数を用いて、前記撮像部によって撮像された撮像画像の高解像度化補正を行うこと
   を特徴とする請求項３記載の撮像画像補正方法。

Images