JPWO2017146060A1 - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

所望の画質の撮像画像を取得することができる画像処理装置、撮像装置及び画像処理方法を提供する。画像処理装置として機能する画像処理部（３５）は、レンズ（１６）を含むレンズユニット（１２）及び撮像素子（２６）を有する撮像部を用いた被写体の撮像により撮像素子（２６）から取得される画像データに対し、レンズユニット（１２）の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部５１と、点像復元処理が寄与する所定の空間周波数における変調伝達関数であって、撮像条件により変動する変調伝達関数が閾値より低下すると、点像復元処理部（５１）による点像復元処理を行うと判別する判別部（５３）と、を備え、点像復元処理部（５１）は、判別部（５３）が点像復元処理を行うと判別した場合のみ点像復元処理を行う。

Description

本発明は画像処理装置、撮像装置及び画像処理方法に係り、特に撮像光学系の点拡がり関数に基づいて撮像光学系を介して撮像された画像の復元処理を行う技術に関する。

撮像光学系を介して撮像される被写体像には、撮像光学系に起因する収差及び回折等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。撮像光学系の点光源に対する応答を表す関数は、点拡がり関数（ＰＳＦ：Point Spread Function）と呼ばれ、撮像画像の解像度劣化（ボケ）を左右する特性として知られている。

点拡がり現象のために画質が劣化した撮像画像に対し、ＰＳＦに基づく点像復元処理を行うことにより、劣化した撮像画像の画質を復元（回復）することが可能である。この点像復元処理は、撮像光学系（レンズ及び絞り）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタを用いた画像処理によって撮像画像の点拡がりをキャンセルし、又は低減する処理である。

従来この種の点像復元処理を行う撮像装置として、特許文献１に記載のものがある。

特許文献１には、撮像装置により得られた撮像画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差を高精度に補正した場合でも、絞り値（Ｆナンバー）に依存した回折現象により劣化し、また、収差は撮像光学系の結像性能を向上することで改善が可能であるが、回折は避けられない物理現象であるため、回折による画像の劣化を補正することは重要な課題である旨記載されている。

また、特許文献１には、Ｆ１６以上のＦナンバーでは絞りによって収差は低減され、回折の影響が支配的となる旨記載されている。

そこで、特許文献１に記載の撮像装置は、絞り値が所定値以上（小絞り）の場合に発生する回折（いわゆる小絞りボケ）のみを点像復元処理の対象とし、撮像画像を撮像した際の絞り値が所定値以上の場合、その絞り値に応じた一つの復元フィルタを用いて撮像画像の点像復元処理を行うようにしている。

また、小絞りボケは、絞り値と光の波長に依存し、像高（画像の位置）に依存しないため、一つの画像内について一つの復元フィルタを用いて低減することができ、これによりデータ量及び演算量の削減を可能にしている。

特開２０１４−１５０４２３号公報

特許文献１に記載の撮像装置は、小絞りボケのみを点像復元処理の対象とするため、撮像光学系の球面収差、特に瞳の外縁付近を通過する光線の持つ大きな球面収差に起因する画質の劣化を回復させることができない。従って、特許文献１に記載の撮像装置に適用される撮像光学系は、球面収差に起因する画質の劣化が少ないものを使用する必要があり、撮像光学系が高価になるという問題がある。

本発明はこのような事情に鑑みてなされたもので、所望の画質の撮像画像を取得することができる画像処理装置、撮像装置及び画像処理方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により撮像素子から取得される画像データに対し、撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部と、点像復元処理が寄与する所定の空間周波数における変調伝達関数であって、撮像条件により変動する変調伝達関数が閾値より低下すると、点像復元処理部による点像復元処理を行うと判別する判別部と、を備え、点像復元処理部は、判別部が点像復元処理を行うと判別した場合のみ点像復元処理を行う。

点像復元処理が寄与する所定の空間周波数における変調伝達関数は、撮像条件により変動するが、判別部は、撮像条件により変動する変調伝達関数が閾値より低下すると、点像復元処理を行うと判別する。そして、点像復元処理部は、判別部が点像復元処理を行うと判別した場合のみ点像復元処理を行うため、劣化した撮像画像を所望の画質の撮像画像に復元（回復）させることができる。また、点像復元処理部は、判別部が点像復元処理を行うと判別した場合のみ点像復元処理を行うため（即ち、変調伝達関数が閾値以上の場合には、所望の画質の撮像画像が取得されているとして点像復元処理を行わないため）、点像復元処理に使用する復元フィルタ等のデータ量及び点像復元処理の演算コストを削減することができる。

本発明の他の態様に係る画像処理装置において、所定の空間周波数は、撮像素子によるサンプリング周波数をｆｓとすると、０．２５ｆｓから０．３ｆｓの範囲内の空間周波数であることが好ましい。点像復元処理により、０．２５ｆｓから０．３ｆｓの範囲内の空間周波数における変調伝達関数が高くなると、他の空間周波数領域における変調伝達関数が高くなる場合に比べて撮像画像の画質が向上するからである。

本発明の更に他の態様に係る画像処理装置において、空間周波数が０の場合の変調伝達関数を１００％とした場合に、閾値は、１０％から５０％の範囲内の値であることが好ましい。

本発明の更に他の態様に係る画像処理装置において、撮像条件は、撮像光学系を構成する絞りの絞り値である。撮像光学系の球面収差は、絞りの絞り値により変化し、その結果、変調伝達関数も絞り値により変化する。また、絞り値が所定値以上（小絞り）になると、小絞りボケが発生して変調伝達関数が低下する。従って、絞りの絞り値は、変調伝達関数を変動させる撮像条件の一つである。

本発明の更に他の態様に係る画像処理装置において、判別部は、撮像条件により変動する変調伝達関数が閾値より低下するか否かを、絞りの絞り値に基づいて判別することが好ましい。判別部は、変調伝達関数を変動させるパラメータの一つである絞りの絞り値により、変調伝達関数が閾値より低下するか否かを間接的に判別している。

本発明の更に他の態様に係る画像処理装置において、判別部は、撮像条件により変動する変調伝達関数が閾値より低下するか否かを、復元フィルタによる所定の空間周波数におけるフィルタゲインに基づいて判別することが好ましい。一般に変調伝達関数が低下する程、復元フィルタによるフィルタゲインは大きくなる。そこで、判別部は、復元フィルタによるフィルタゲインに基づいて変調伝達関数が閾値より低下するか否かを間接的に判別している。

本発明の更に他の態様に係る画像処理装置において、撮像条件は、被写体を照明する光源の種類又は光源の波長である。撮像光学系の球面収差は、波長により変動し、その結果、変調伝達関数も波長により変動するため、被写体を照明する光源の種類等は、変調伝達関数を変動させる撮像条件の一つである。

本発明の更に他の態様に係る画像処理装置において、判別部は、撮像条件により変動する変調伝達関数として、被写体を照明する光源の種類又は光源の波長に対応する変調伝達関数を使用することが好ましい。光源の波長（光源の種類に特定される光源の波長）は、変調伝達関数を変動させるパラメータの一つだからである。

本発明の更に他の態様に係る画像処理装置において、判別部は、撮像条件により変動する変調伝達関数が閾値より低下するか否かを、撮像素子の撮像画面上の所定の領域における変調伝達関数に基づいて判別することが好ましい。変調伝達関数は、一般に撮像画面上で一律ではないため、撮像画面上の所定の領域における変調伝達関数を採用することが好ましい。

本発明の更に他の態様に係る画像処理装置において、所定の領域における変調伝達関数は、撮像画面における像高が５０％以上の領域の変調伝達関数であることが好ましい。変調伝達関数は、一般に像高が５０％未満の領域（中心領域）よりも像高が５０％以上の領域（周辺領域）の方が低くなるため、低くなる領域の変調伝達関数を採用することが好ましい。劣化した撮像画像（少なくとも変調伝達関数が低くなる領域の画像）の画質を点像復元処理により回復させるためである。

本発明の更に他の態様に係る画像処理装置において、所定の領域における変調伝達関数は、撮像画面の画面全体の変調伝達関数であることが好ましい。

本発明の更に他の態様に係る画像処理装置において、所定の領域における変調伝達関数は、撮像画面の任意の複数点の変調伝達関数であることが好ましい。撮像画面の任意の複数点の変調伝達関数としては、例えば、撮像画面の画面全体を複数の領域に分割した各分割領域の中心位置の変調伝達関数とすることができる。

本発明の更に他の態様に係る画像処理装置において、撮像光学系は、撮像光学系を構成する絞りが少なくとも開放絞りの場合に変調伝達関数が閾値よりも低いことが好ましい。撮像光学系として、絞りが開放絞りの場合の変調伝達関数が閾値よりも低下するものを採用することにより、絞りが開放絞りの場合でも変調伝達関数が閾値よりも高くなるように光学設計した撮像光学系に比べて光学設計の自由度が高く、かつ安価なものにすることができる。

本発明の更に他の態様に係る撮像装置は、上述したいずれかに記載の画像処理装置と、撮像部とを備える。

本発明の更に他の態様に係る撮像装置は、産業用カメラとして使用されることが好ましい。

本発明の更に他の態様に係る画像処理方法は、撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により撮像素子から取得される画像データに対し、撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行うステップと、点像復元が寄与する所定の空間周波数における変調伝達関数であって、撮像条件により変動する変調伝達関数が閾値より低下すると、点像復元処理を行うと判別するステップと、を含み、点像復元処理を行うステップは、判別するステップが点像復元処理を行うと判別した場合のみ復元フィルタを用いた点像復元処理を行う。

本発明の更に他の態様に係る画像処理方法において、所定の空間周波数は、撮像素子によるサンプリング周波数をｆｓとすると、０．２５ｆｓから０．３ｆｓの範囲内の空間周波数であることが好ましい。

本発明の更に他の態様に係る画像処理方法において、空間周波数が０の場合の変調伝達関数を１００％とした場合に、閾値は、１０％から５０％の範囲内の値であることが好ましい。

本発明の更に他の態様に係る画像処理方法において、撮像条件は、撮像光学系を構成する絞りの絞り値であることが好ましい。

本発明の更に他の態様に係る画像処理方法において、判別するステップは、撮像条件により変動する変調伝達関数が閾値より低下するか否かを、絞りの絞り値に基づいて判別することが好ましい。

本発明の更に他の態様に係る画像処理方法において、判別するステップは、撮像条件により変動する変調伝達関数が閾値より低下するか否かを、復元フィルタによる所定の空間周波数におけるフィルタゲインに基づいて判別することが好ましい。

本発明によれば、撮像条件により変動する変調伝達関数が閾値より低下する場合のみ点像復元処理を行うため、劣化した撮像画像を所望の画質の撮像画像に復元（回復）させることができ、また、変調伝達関数が閾値以上の場合には、所望の画質の撮像画像が取得されているとして点像復元処理を行わないため、点像復元処理に使用する復元フィルタ等のデータ量及び点像復元処理の演算コストを削減することができる。

コンピュータに接続される撮像装置の機能構成例を示すブロック図 図１に示したカメラコントローラの構成例を示すブロック図 図２に示したカメラコントローラ内の画像処理部の第１の実施形態を示すブロック図 球面収差とＦ値との組み合わせ毎に算出したＭＴＦの一例を示す図表 点像復元処理後のＭＴＦと復元処理前のＭＴＦとの比に対応するフィルタゲインを示す図表 図４に対応する図表であって、点像復元処理後のＭＴＦを示す図表 球面収差とＦ値との組み合わせ毎に算出したＭＴＦを示す他の例を示す図表 図２に示したカメラコントローラ内の画像処理部の第２の実施形態を示すブロック図 画像処理方法の第１の実施形態を示すフローチャート 画像処理方法の第２の実施形態を示すフローチャート 画像処理方法の第３の実施形態を示すフローチャート

以下、添付図面に従って本発明に係る画像処理装置、撮像装置及び画像処理方法の実施形態について説明する。以下の実施形態では、一例として、マシンビジョンシステムに使用される撮像装置に本発明を適用する場合について説明する。

図１は、コンピュータ（ＰＣ：Personal Computer）に接続される撮像装置１０の機能構成例を示すブロック図である。

産業用カメラは、被写界深度を広くとりつつ、なるべく絞りの絞り値（Ｆ値）を小さくする事で、対象範囲のピントが合った画像を高速で取り込むことが求められており、一般的なカメラレンズのような小絞りボケが発生するようなＦ値を使用する機会は少ない。

図１に示す撮像装置１０は、マシンビジョンシステムに使用される産業用カメラであり、主として撮像部を構成するレンズユニット１２及び撮像素子２６と、カメラコントローラ２８と、入出力インターフェース３２と、照明装置４０とから構成されている。

レンズユニット１２は、レンズ１６及び絞り１８から構成される撮像光学系と、この撮像光学系を制御する光学系操作部２０とを具備する。光学系操作部２０は、レンズ１６のフォーカス位置を調整する手動操作部、及びカメラコントローラ２８から加えられる制御信号により絞り１８を駆動する絞り駆動部を含む。

マシンビジョンシステムに使用される撮像装置のレンズは、解像度、明るさなどのレンズ性能が面内均一であることが重要である。それを実現するための設計手段として、絞りの絞り値（Ｆ値）を制限することがあるが、レンズスペックとしてレンズの明るさも求められている。

その一方、マシンビジョンシステムに使用される撮像装置は、被写界深度の必要性から実用上使用する絞りの範囲を、中域の絞り（開放絞りのＦ値よりも大きく、小絞りボケが発生する小絞りのＦ値よりも小さいＦ値の範囲の絞り）を使用するのが一般的である。

従って、この撮像装置１０のレンズ１６は、所定の撮像条件下（実用上使用する絞りのＦ値を含む）において、製品の検査、計測、又は位置決め等に要求される所望の画質の撮像画像が撮像できるように重点化してレンズ設計されたものである。このレンズ１６を使用して撮像された撮像画像は、所定の撮像条件以外の撮像条件では、画質が劣化し、所望の画質を満たさなくなる（劣化した撮像画像となる）が、劣化した撮像画像は、後述する点像復元処理により復元（回復）させることができる。また、本例のレンズ１６の焦点距離（ｆ）は、ｆ＝16ｍｍである。

絞り１８は、複数枚の絞り羽根からなり、Ｆ1.4（開放Ｆ値）からＦ22まで１ＡＶ（Aperture value）刻みで１０段階に絞り制御される。

撮像素子２６は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のイメージセンサにより構成されている。尚、撮像素子２６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。また、本例の撮像素子２６のサンプリング周波数（ｆｓ）は、９０本／ｍｍである。

照明装置４０は、撮像装置１０による撮像領域の被写体を照明するもので、例えば、水銀ランプ、赤外線光源、及び赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＲＧＢ光源等の複数の光源を備え、発光する光源の種類が選択されることにより、所望の波長の照明光により被写体を照明する。本例では、照明装置４０は、水銀ランプを点灯することによりｅ線のスペクトル（波長λ＝546.070ｎｍ）をピーク波長とする光、又は赤外線光源を点灯することによりｅ線の２倍の波長（1092.14ｎｍ）をピーク波長とする赤外光を適宜選択して発光することができる。また、ＲＧＢ光源から１つの光源を選択し、又は適宜組み合わせて点灯することにより所望のピーク波長を有する光を発光することも可能である。

カメラコントローラ２８は、詳細については後述するが、図２に示すように撮像装置１０の各部を統括的に制御するデバイス制御部３４としての機能と、撮像素子２６から送られてくる画像データの画像処理を行う画像処理部（画像処理装置）３５としての機能とを有する。

カメラコントローラ２８により画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。カメラコントローラ２８から出力される画像データのフォーマットは特に限定されず、動画の場合にはＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６４等のフォーマットとし、静止画の場合には、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）等のフォーマットとし得る。また、画像処理部３５による画像処理が行われない生データ（ＲＡＷデータ）を出力し得る。更に、カメラコントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮像日時、機種、画素数、Ｆ値、光源の種類等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、その画像ファイルを出力してもよい。

コンピュータ６０は、各種製品の検査等を行うマシンビジョンシステムの一部を構成する部分であり、撮像装置１０の入出力インターフェース３２及びコンピュータ入出力部６２を介して撮像装置１０に接続され、撮像装置１０から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、撮像装置１０からの画像データを画像処理し、撮像された製品の検査等を行い、また、ネットワークを介して接続された産業用ロボット等の各種装置（図示せず）との通信を制御する。

コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容及び検査結果等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４にデータやコマンドを入力可能である。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される撮像装置１０を制御可能である。

各コントローラ（カメラコントローラ２８、コンピュータコントローラ６４）は、制御処理に必要な回路類を有し、例えば、中央処理装置（ＣＰＵ（Central Processing Unit）等）やメモリ等を具備する。

［画像処理装置］
＜画像処理部の第１の実施形態＞
図３は、図２に示したカメラコントローラ２８内の画像処理部３５の第１の実施形態を示すブロック図である。

図３に示す画像処理部３５は、主として点像復元処理部５１と、判別部５３と、切替部（切替スイッチ）５４とから構成されている。尚、画像処理部３５は、点像復元処理部５１の他に、オフセット処理、階調補正処理、及び輪郭強調処理等の各種の処理部を備えているが、図３では省略されている。

撮像素子２６（図１）から読み出され、デジタル信号に変換された画像データは、切替スイッチ５４の第１の入力５４Ａ、及び点像復元処理部５１（復元フィルタ処理部５１Ａ）に加えられる。

点像復元処理部５１は、主として復元フィルタ処理部５１Ａ、復元フィルタ記憶部５１Ｂ及び復元フィルタ選択部５１Ｃから構成されている。

復元フィルタ処理部５１Ａの一方の入力には、復元処理前の画像データであって、レンズ１６の球面収差等により画質が劣化した撮像画像の画像データが加えられ、他方の入力には、復元フィルタ記憶部５１Ｂに記憶されている複数の復元フィルタから復元フィルタ選択部５１Ｃにより適宜選択された復元フィルタが加えられている。

復元フィルタ処理部５１Ａは、入力する画像データに対して、復元フィルタ選択部５１Ｃから加えられる復元フィルタを用いた点像復元処理を行い、点像復元処理された画像データを算出する。即ち、復元フィルタ処理部５１Ａは、入力する画像データのうちの処理対象画素を中心とする所定のカーネルサイズ（復元フィルタと同じカーネルサイズであって、例えば、７×７等）の画像データと、復元フィルタとの畳み込み演算を行い、点像復元処理した画像データを算出する。

復元フィルタ処理部５１Ａにより点像復元処理された画像データは、切替スイッチ５４の第２の入力５４Ｂに加えられる。

判別部５３は、入力する画像データに対して、点像復元処理部５１による点像復元処理を行う必要があるか否かを判別する部分であり、点像復元処理を行う必要がある判別すると、切替スイッチ５４の可動切片５４Ｃを第２の入力５４Ｂに切り替える切替信号（例えば、ハイレベル信号）を出力し、点像復元処理部５１による点像復元処理を行う必要があるか否かを判別する部分であり、点像復元処理を行う必要がない判別すると、切替スイッチ５４の可動切片５４Ｃを第１の入力５４Ａに切り替える切替信号（例えば、ローレベル信号）を出力する。尚、判別部５３の詳細については後述する。

［復元フィルタ］
次に、復元フィルタ記憶部５１Ｂに記憶される復元フィルタについて説明する。

一般に、撮像光学系（レンズ１６、絞り１８）の点光源に対する応答を表す点拡がり関数（ＰＳＦ）によるボケ画像の復元には、コンボリュージョン型のウィナー(Wiener)フィルタを利用することができる。ＰＳＦ(x,y)をフーリエ変換した光学伝達関数(ＯＴＦ：Optical Transfer Function)と信号対雑音比（ＳＮＲ：Signal to Noise Ratio）の情報を参照して、以下の式によって復元フィルタの周波数特性ｄ（ω_ｘ，ω_ｙ）を算出することができる。

ここでＨ（ω_ｘ，ω_ｙ）は、ＯＴＦを表し、Ｈ^＊（ω_ｘ，ω_ｙ）はその複素共役を表す。また、ＳＮＲ（ω_ｘ，ω_ｙ）は信号対雑音比を表す。

復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のウィナー周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数を適宜算出することができる。

尚、ＰＳＦは、Ｆ値、照明光の波長（ピーク波長）、像高及び焦点距離等の撮像条件により変動するため、復元フィルタは、撮像条件に応じて変動するＰＳＦを使用して算出する必要がある。また、ＯＴＦの代わりに、ＯＴＦの振幅成分を示す変調伝達関数（ＭＴＦ：Modulation Transfer Function）を使用して復元フィルタを算出するようにしてもよい。

復元フィルタ記憶部５１Ｂには、複数の撮像条件に対応するＰＳＦに応じて算出された複数の復元フィルタが、撮像条件に関連付けて記憶されている。本例の復元フィルタ記憶部５１Ｂは、絞り１８のＦ値と、照明装置４０の光源の種類又は光源の波長（ピーク波長）とに対応する復元フィルタを記憶しているが、これに限らず、更に像高に対応する復元フィルタを生成し、記憶するようにしてもよい。

復元フィルタ選択部５１Ｃには、カメラコントローラ２８（図１）から絞り１８の現在の絞り値（Ｆ値）を示す情報（Ｆ値情報）と、照明装置４０により使用される複数の光源のうちの撮像時に使用される光源の種類を示す情報（光源情報）とが加えられており、復元フィルタ選択部５１Ｃは、カメラコントローラ２８から入力するＦ値情報及び光源情報に基づいてこれらの情報に対応する復元フィルタを復元フィルタ記憶部５１Ｂから読み出し、読み出した復元フィルタを復元フィルタ処理部５１Ａに出力する。尚、光源情報は、撮像時に使用される光源の種類を示す情報に限らず、撮像時に使用される光源の波長（ピーク波長）を示す情報であってもよい。

判別部５３には、カメラコントローラ２８からＦ値情報及び光源情報が加えられており、判別部５３は、Ｆ値情報及び光源情報に基づいて入力する画像データに対して、点像復元処理部５１による点像復元処理を行う必要があるか否かを判別し、前述したように判別結果に対応する切替信号を切替スイッチ５４に出力する。

次に、撮像された画像データに対して点像復元処理を行う必要があるか否かの具体的な判別方法について説明する。

撮像画像の解像度劣化（ボケ）は、レンズの点拡がり関数（ＰＳＦ）により左右され、また、ＰＳＦは、主としてレンズの球面収差に依存する。

撮像光学系の波面収差を近似する多項式して、極座標を使用したゼルニケ多項式が利用されており、ゼルニケ多項式（フリンジゼルニケ多項式）の９項は、球面収差を表す。

いま、焦点距離ｆが16ｍｍのレンズを使用し、ｅ線のスペクトル（波長λ＝546.070ｎｍ）をピーク波長とする水銀ランプを照明光源とし、球面収差が異なる種々のレンズについて、フリンジゼルニケ多項式の９項により表される球面収差及びＦ値毎にＭＴＦを算出した。

但し、撮像素子２６によるサンプリング周波数（ｆｓ）は、９０本／ｍｍであり、ＭＴＦは、０．２５ｆｓから０．３ｆｓの範囲内の所定の空間周波数（本例では、０．２５ｆｓ）における値である。尚、０．２５ｆｓから０．３ｆｓの範囲内の空間周波数でのＭＴＦを評価の対象とした理由は、この範囲内の空間周波数におけるＭＴＦが画質を評価するのに好適であり、点像復元処理が画質に寄与する空間周波数領域だからである。

図４は、球面収差とＦ値との組み合わせ毎に算出したＭＴＦの一例を示す図表である。

図４には、球面収差が０λ、０．２λ、…、５λの１０種類のレンズと、Ｆ1.4〜Ｆ22の１０段階のＦ値との組み合わせ毎のＭＴＦが示されている。

ここで、図４に示すＭＴＦは、光軸上の所定の空間周波数（０．２５ｆｓ）における値であり、また、撮像素子２６の撮像画面上の所定の領域におけるＭＴＦであるが、それ以外の領域であってもよい。

所定の領域のＭＴＦは、撮像画面における像高が５０％（撮像画面の中心から撮像画面の四隅までの距離を１００％とした場合の５０％）以上の領域のＭＴＦとすることができる。一般にＭＴＦは、像高が高くなるほど低くなり、低くなる領域のＭＴＦを採用することが好ましいからである。

更に、所定の領域のＭＴＦの他の例としては、撮像画面の画面全体のＭＴＦを採用してもよく、また撮像画面の任意の複数点のＭＴＦを採用してもよい。

更にまた、所定の領域のＭＴＦとしては、所定の領域のＭＴＦの代表値（例えば、平均値、中央値、又は最頻値等）が使用される。

図４に示すようにＦ1.4は開放Ｆ値であり、Ｆ値が開放Ｆ値から大きくなる（絞り開口が小さくなる）にしたがってＭＴＦは大きくなり、Ｆ値がＦ5.6以上になると、ＭＴＦは徐々に小さくなる。Ｆ値がＦ5.6以上になると、ＭＴＦが徐々に小さくなるのは、球面収差よりも小絞りボケが支配的になるからである。尚、Ｆ22では、ＭＴＦが低すぎて正しく計算できなかったため、ＭＴＦを０とした。

マシンビジョンシステムに使用される撮像装置１０は、被写界深度の必要性から実用上使用する絞りの範囲を中域の絞りとしており、レンズ１６は、中域の絞りでは点像復元処理を行わなくても製品の検査等に要求される所望の画質の撮像画像が撮像できるように重点化してレンズ設計されている。

その一方、レンズスペックとしてレンズの明るさも求められているため、例えば、開放絞りでも製品の検査等に要求される所望の画質の撮像画像を取得できるようにする必要があり、この場合には点像復元処理により劣化した撮像画像を回復させる。

尚、本例のレンズ１６は、球面収差が２λとなるようにレンズ設計されたものであるが、これに限定されない。また、球面収差が大きいレンズほど、レンズ設計が容易であり、レンズも安価なものとなる。

判別部５３は、撮像条件（Ｆ値、光源の波長）により変動するＭＴＦであって、撮像素子２６の撮像画面上の所定の領域におけるＭＴＦが閾値より低下すると、点像復元処理を行うと判別する。

本例では、空間周波数が０の場合のＭＴＦを１００％とした場合に、閾値は５０％とするが、閾値はこの値に限らず、例えば、１０％から５０％の範囲内の値を採用することができる。

判別部５３は、図４に示すように球面収差が２λのレンズ１６であって、照明装置４０から発光される照明光がｅ線のスペクトルをピーク波長とする光の場合、絞り１８のＦ値がＦ1.4（開放Ｆ値）、Ｆ1.8、Ｆ11及びＦ16の場合にＭＴＦが５０％未満になるため、点像復元処理を行うと判別する。

即ち、判別部５３は、撮像条件（Ｆ値、光源の波長）により変動するＭＴＦが閾値５０％よりも低くなるか否かを、ＭＴＦと閾値とを比較する代わりに、Ｆ値に置き換えて判別することができ、本例ではＦ値がＦ2.0〜Ｆ8の場合（絞りが中域）の場合は、点像復元処理を行わないと判別し、それ以外のＦ値の範囲は点像復元処理を行うと判別する。尚、本例では、Ｆ22は、製品の検査等には使用しないＦ値とする。

また、図５は、図６に示した点像復元処理後（補正後）のＭＴＦと、図４に示した復元処理前のＭＴＦとの比に対応するフィルタゲインを示す図表である。

図４と図５との比較からも明らかなように、ＭＴＦが低下する程、目標のＭＴＦに近づけるべくフィルタゲインは大きな値をとる。

従って、判別部５３は、撮像条件により変動するＭＴＦが閾値５０％よりも低くなるか否かを、ＭＴＦと閾値とを比較する代わりに、フィルタゲインに置き換えて判別することができる。即ち、判別部５３は、図５に示すようにフィルタゲインが２以上かつ５以下の場合、ＭＴＦが閾値５０％よりも低くなるため、点像復元処理を行うと判別する。

尚、図６は、フィルタゲインを説明する便宜上、全てのレンズ及びＦ値について点像復元処理後のＭＴＦを示しているが、実際には点像復元処理部５１は、判別部５３により点像復元処理すべきと判別された撮像条件の場合のみ点像復元処理を行えばよいため、復元フィルタ記憶部５１Ｂは、点像復元処理すべき撮像条件のみその撮像条件に対応する復元フィルタを記憶していればよく、これにより記憶すべき復元フィルタのデータ量を削減することができる。また、点像復元処理部５１は、判別部５３により点像復元処理すべきと判別された撮像条件の場合のみ点像復元処理を行えばよいため、撮像条件にかかわらず全ての画像に対して点像復元処理を行う場合に比べて演算コストを低減することができる。

図７は、球面収差とＦ値との組み合わせ毎に算出したＭＴＦを示す他の例を示す図表である。尚、図７に示すＭＴＦは、図４に示した一例とは光源の種類のみが異なり、照明光の光源として、図４に示したｅ線の２倍の波長（1092.14ｎｍ）をピーク波長とする赤外線光源を使用した場合に関して示している。

光源の波長が異なると、レンズでの屈折率が異なり、その結果、ＭＴＦも異なる。図４に示したＭＴＦと図７に示したＭＴＦとの比較からも明らかなように、撮像時の光源としてｅ線の２倍の波長を有する赤外光を使用すると、水銀ランプを光源とするｅ線をピーク波長とする光を使用する場合に比べてＭＴＦが低下する。

球面収差が２λとなるようにレンズ設計された本例のレンズ１６の場合、ｅ線をピーク波長とする光源を使用し、Ｆ値をＦ２に絞ると、ＭＴＦは閾値５０％以上になるが、ｅ線の２倍の波長を有する赤外光を発光する赤外線光源を使用すると、Ｆ値をＦ２に絞ってもＭＴＦは閾値５０％以上にならず、Ｆ2.8以上に絞る必要がある。

従って、判別部５３は、撮像条件により変動するＭＴＦとして、撮像時に使用する絞り１８のＦ値と、照明装置４０から発光される照明光の光源の種類（又は光源の波長）とにより特定されるＭＴＦを使用し、そのＭＴＦが閾値５０％よりも低くなるか否かにより、点像復元処理を行うか否かを判別する。尚、ＭＴＦで判断する代わりに、Ｆ値又はフィルタゲインで判別するようにしてもよい。

＜画像処理部の第２の実施形態＞
図８は、図２に示したカメラコントローラ２８内の画像処理部３５の第２の実施形態を示すブロック図である。尚、図３に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図８に示す第２の実施形態の画像処理部３５は、主として点像復元処理部５２と、判別部５３と、切替スイッチ５４とから構成されている。

点像復元処理部５２は、第１の実施形態の画像処理部３５の点像復元処理部５１と比較して、点像復元処理部５１の復元フィルタ記憶部５１Ｂ及び復元フィルタ選択部５１Ｃの代わりに、点拡がり関数記憶部５２Ｂ及び復元フィルタ生成部５２Ｃを備えている点で相違する。

点拡がり関数記憶部５２Ｂは、点像復元処理部５１の復元フィルタ記憶部５１ＢがＦ値等の撮像条件に応じた複数の復元フィルタを記憶しているのに対し、複数の復元フィルタを生成するための元になる、撮像光学系（レンズ１６、絞り１８）の点光源に対する応答を表す点拡がり関数（ＰＳＦ）を記憶している。尚、復元フィルタ記憶部５１Ｂは、点像復元処理すべき撮像条件のみその撮像条件に対応するＰＳＦを記憶していればよく、これにより記憶すべきＰＳＦのデータ量を削減することができる。

復元フィルタ生成部５２Ｃには、カメラコントローラ２８（図１）から絞り１８の現在のＦ値を示すＦ値情報と、照明装置４０により使用される複数の光源のうちの撮像時に使用される光源の種類を示す光源情報とが加えられており、復元フィルタ生成部５２Ｃは、カメラコントローラ２８から入力するＦ値情報及び光源情報に基づいてこれらの情報に対応するＰＳＦを点拡がり関数記憶部５２Ｂから読み出し、読み出したＰＳＦに基づいて復元フィルタを生成する。

即ち、復元フィルタ生成部５２Ｃは、読み出したＰＳＦをフーリエ変換したＯＴＦと予め設定されたＳＮＲとに基づいて、例えば［数１］式に示したように復元フィルタの周波数特性ｄ（ωｘ，ωｙ）を求め、これを逆フーリエ変換してコンボリュージョン型のウィナーフィルタ（復元フィルタ）を生成する。

このようにして作成された復元フィルタは、復元フィルタ処理部５２Ａに加えられ、ここで画像データと復元フィルタとの畳み込み演算が行われる。

尚、点拡がり関数記憶部５２Ｂは、ＰＳＦを記憶しているが、ＰＳＦの代わりにＰＳＦをフーリエ変換したＯＴＦ、又はＯＴＦの振幅成分を示すＭＴＦを記憶するようにしてもよい。

［画像処理方法］
＜画像処理方法の第１の実施形態＞
次に、本発明に係る画像処理方法の第１の実施形態について、図９に示したフローチャートにしたがって説明する。

図９において、画像処理部３５の判別部５３（図３、図８）は、カメラコントローラ２８から撮像条件（絞り１８の現在のＦ値を示すＦ値情報、及び照明装置４０の複数の光源のうちの撮像時に使用される光源の種類を示す光源情報）を取得する（ステップＳ１０）。

続いて、判別部５３は、取得した撮像条件に対応する撮像光学系（レンズ１６、絞り１８）のＭＴＦであって、所定の空間周波数（例えば、撮像素子２６によるサンプリング周波数（ｆｓ）の４分の１の空間周波数（０．２５ｆｓ））におけるＭＴＦを取得する（ステップＳ１２）。例えば、判別部５３は、図４及び図７に示した撮像時に使用する光源の種類（波長λ＝546.070ｎｍ、λ＝1092.14ｎｍ）毎、及び本例のレンズ１６の球面収差（２λ）に対応するＦ値毎のＭＴＦを記憶する記憶部を有し、この記憶部から現在の撮像条件に対応するＭＴＦを読み出すことによりＭＴＦを取得する。

判別部５３は、上記のようにして取得したＭＴＦが閾値（５０％）より低いか否かを判別し、低い場合（「Yes」の場合）には、点像復元処理部５１又は５２（図３、図８）による点像復元処理を行うと判別し、ステップＳ１６に遷移させる（ステップＳ１４）。即ち、判別部５３は、点像復元処理を行うと判別すると、点像復元処理部５１又は５２を動作可能にし、かつ切替スイッチ５４の可動切片５４Ｃを第２の入力５４Ｂに切り替える切替信号を出力する。

ステップＳ１６において、点像復元処理部５１又は５２は、判別部５３が点像復元処理を行うと判別した場合のみ点像復元処理を行い、点像復元処理した画像データを切替スイッチ５４の第２の入力５４Ｂに出力する。これにより、点像復元処理された画像データは、切替スイッチ５４を介して出力される。

一方、判別部５３は、取得したＭＴＦが閾値（５０％）以上の場合（「No」の場合）には、点像復元処理部５１又は５２による点像復元処理を行わないと判別し、本処理を終了させる（ステップＳ１４）。この場合、判別部５３は、切替スイッチ５４の可動切片５４Ｃを第１の入力５４Ａに切り替える切替信号を出力し、第１の入力５４Ａに入力する点像復元処理されていない未処理の画像データを切替スイッチ５４を介して出力させる。また、判別部５３は、点像復元処理を行わないと判別すると、点像復元処理部５１又は５２を動作不能にし、演算コストを作成させることが好ましい。

＜画像処理方法の第２の実施形態＞
図１０は、本発明に係る画像処理方法の第２の実施形態を示すフローチャートである。尚、図１０において、図９に示した第１の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。

第１の実施形態は、点像復元処理を行うか否かをＭＴＦの大きさに基づいて判別するようにしたが、図１０に示す第２の実施形態は、点像復元処理を行うか否かを、ＭＴＦの代わりにステップＳ１０で取得したＦ値に基づいて判別する点で相違する。

即ち、第２の実施形態の判別部５３は、ステップＳ１０で取得したＦ値が、Ｆ2以上かつＦ8以下（Ｆ2≦Ｆ値≦Ｆ8）か否かを判別し、Ｆ2≦Ｆ値≦Ｆ8の場合（「Yes」の場合）には、点像復元処理を行わないと判別し、本処理を終了させる（ステップＳ２０）。

一方、判別部５３は、ステップＳ１０で取得したＦ値が、Ｆ2未満又はＦ8を越えている場合（「No」の場合）、点像復元処理を行うと判別し、ステップＳ１６に遷移させる（ステップＳ２０）。

尚、ステップＳ２０において判別されるＦ値の範囲（Ｆ2≦Ｆ値≦Ｆ8）は、光源の種類が水銀ランプ（波長λ＝546.070ｎｍ）に対応するもの（図４の２λの球面収差に対応するＦ値参照）であるが、光源の種類が赤外線光源（波長λ＝1092.14ｎｍ）の場合には、ステップＳ２０において判別されるＦ値の範囲は、Ｆ2.8≦Ｆ値≦Ｆ8となる（図７の２λの球面収差に対応するＦ値参照）。

＜画像処理方法の第３の実施形態＞
図１１は、本発明に係る画像処理方法の第３の実施形態を示すフローチャートである。尚、図１１において、図９に示した第１の実施形態と共通するステップには同一のステップ番号を付し、その詳細な説明は省略する。

図１１において、第３の実施形態の判別部５３は、ステップＳ１０で取得した撮像条件に対応する復元フィルタのフィルタゲイン（即ち、復元フィルタによる点像復元処理後の所定の空間周波数におけるＭＴＦと復元処理前の所定の空間周波数におけるＭＴＦとの比）を取得する（ステップＳ２２、図６の２λの球面収差に対応するフィルタゲイン参照）。

続いて、判別部５３は、ステップＳ２２で取得したフィルタゲインが、２以上かつ５以下（２≦フィルタゲイン≦５）か否かを判別し、２≦フィルタゲイン≦５の場合（「Yes」の場合）には、点像復元処理を行うと判別し、ステップＳ１６に遷移させる（ステップＳ２４）。２≦フィルタゲイン≦５の場合、２λの球面収差に対応するＭＴＦは、閾値（５０％）未満になり（図４参照）、画像データが製品の検査等に要求される所望の画質を満たさなくなるからである。

一方、判別部５３は、ステップＳ２２で取得したフィルタゲインが、２未満又は５を越えている場合（「No」の場合）には、点像復元処理を行わないと判別し、本処理を終了させる（ステップＳ２４）。フィルタゲインが２未満の場合、２λの球面収差に対応するＭＴＦは、閾値（５０％）以上になり（図４参照）、画像データが所望の画質を満たすため、点像復元処理を行う必要がない。また、フィルタゲインが５を越える場合、復元強度が強く過補正になるおそれがあるため、本例では点像復元処理を行わないが、復元強度を弱くした復元フィルタを使用して点像復元処理を行うようにしてもよい。但し、製品の検査等を行う場合の撮像条件として、フィルタゲインが５を越える撮像条件は使用しないことが好ましい。

［その他］
本実施形態では、マシンビジョンシステムに使用される撮像装置１０について説明したが、撮像装置１０の用途はマシンビジョン用途に限定されない。また、一般のデジタルカメラやデジタルビデオカメラ、監視カメラ等にも適用可能であり、更に小絞りボケが発生しないＦ値の範囲で使用頻度が多いカメラで効果を得やすい。

また、本実施形態では、撮像装置１０のカメラコントローラ２８内の画像処理部３５（図２、図３、図８）が、本発明に係る画像処理装置として機能するが、これに限らず、撮像装置１０からコンピュータ６０にＲＡＷデータが送信される場合、コンピュータ６０の画像処理部（画像処理装置）が、カメラコントローラ２８内の画像処理部３５と同様の機能を果たすようにコンピュータ６０の画像処理部を構成するようにしてもよい。この場合、コンピュータ６０がカメラコントローラ２８を介して撮像条件を制御しない場合は、カメラコントローラ２８は、ＲＡＷデータとともに、Ｆ値等の撮像条件をコンピュータ６０の画像処理部に送信する必要がある。

更に、本実施形態の点像復元処理は、復元フィルタとしてコンボリュージョン型のウィナーフィルタを使用しているが、これに限らず、例えば、［数１］式に示した空間周波数領域の復元フィルタを使用してもよい。この場合、入力する画像データをフーリエ変換し、フーリエ変換した空間周波数領域の画像データと空間周波数領域の復元フィルタとを乗算し、乗算結果を逆フーリエ変換する必要がある。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置
１２ レンズユニット
１６ レンズ
１８ 絞り
２０ 光学系操作部
２６ 撮像素子
２８ カメラコントローラ
３２ 入出力インターフェース
３４ デバイス制御部
３５ 画像処理部
４０ 照明装置
５１、５２ 点像復元処理部
５１Ａ、５２Ａ 復元フィルタ処理部
５１Ｂ 復元フィルタ記憶部
５１Ｃ 復元フィルタ選択部
５２Ｂ 点拡がり関数記憶部
５２Ｃ 復元フィルタ生成部
５３ 判別部
５４ 切替スイッチ
５４Ａ 第１の入力
５４Ｂ 第２の入力
５４Ｃ 可動切片
６０ コンピュータ
６２ コンピュータ入出力部
６４ コンピュータコントローラ
６６ ディスプレイ
Ｓ１０〜Ｓ２４ ステップ
ｆ 焦点距離
λ 波長

本発明の更に他の態様に係る画像処理方法は、撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により撮像素子から取得される画像データに対し、撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行うステップと、点像復元処理が寄与する所定の空間周波数における変調伝達関数であって、撮像条件により変動する変調伝達関数が閾値より低下すると、点像復元処理を行うと判別するステップと、を含み、点像復元処理を行うステップは、判別するステップが点像復元処理を行うと判別した場合のみ復元フィルタを用いた点像復元処理を行う。

判別部５３は、入力する画像データに対して、点像復元処理部５１による点像復元処理を行う必要があるか否かを判別する部分であり、点像復元処理を行う必要がある判別すると、切替スイッチ５４の可動切片５４Ｃを第２の入力５４Ｂに切り替える切替信号（例えば、ハイレベル信号）を出力し、点像復元処理を行う必要がない判別すると、切替スイッチ５４の可動切片５４Ｃを第１の入力５４Ａに切り替える切替信号（例えば、ローレベル信号）を出力する。尚、判別部５３の詳細については後述する。

撮像光学系の波面収差を近似する多項式して、極座標を使用したゼルニケ多項式が利用されており、ゼルニケ多項式（フリッツゼルニケ多項式）の９項は、球面収差を表す。

いま、焦点距離ｆが16ｍｍのレンズを使用し、ｅ線のスペクトル（波長λ＝546.070ｎｍ）をピーク波長とする水銀ランプを照明光源とし、球面収差が異なる種々のレンズについて、フリッツゼルニケ多項式の９項により表される球面収差及びＦ値毎にＭＴＦを算出した。

即ち、判別部５３は、撮像条件（Ｆ値、光源の波長）により変動するＭＴＦが閾値５０％よりも低くなるか否かを、ＭＴＦと閾値とを比較する代わりに、Ｆ値に置き換えて判別することができ、本例ではＦ値がＦ2.0〜Ｆ8（絞りが中域）の場合は、点像復元処理を行わないと判別し、それ以外のＦ値の範囲は点像復元処理を行うと判別する。尚、本例では、Ｆ22は、製品の検査等には使用しないＦ値とする。

即ち、復元フィルタ生成部５２Ｃは、読み出したＰＳＦをフーリエ変換したＯＴＦと予め設定されたＳＮＲとに基づいて、例えば［数１］式に示したように復元フィルタの周波数特性ｄ（ω _ｘ ，ω _ｙ ）を求め、これを逆フーリエ変換してコンボリュージョン型のウィナーフィルタ（復元フィルタ）を生成する。

一方、判別部５３は、取得したＭＴＦが閾値（５０％）以上の場合（「No」の場合）には、点像復元処理部５１又は５２による点像復元処理を行わないと判別し、本処理を終了させる（ステップＳ１４）。この場合、判別部５３は、切替スイッチ５４の可動切片５４Ｃを第１の入力５４Ａに切り替える切替信号を出力し、第１の入力５４Ａに入力する点像復元処理されていない未処理の画像データを切替スイッチ５４を介して出力させる。また、判別部５３は、点像復元処理を行わないと判別すると、点像復元処理部５１又は５２を動作不能にし、演算コストを削減させることが好ましい。

Claims (21)

1. 撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により前記撮像素子から取得される画像データに対し、前記撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行う点像復元処理部と、
   点像復元処理が寄与する所定の空間周波数における変調伝達関数であって、撮像条件により変動する前記変調伝達関数が閾値より低下すると、前記点像復元処理部による点像復元処理を行うと判別する判別部と、を備え、
   前記点像復元処理部は、前記判別部が点像復元処理を行うと判別した場合のみ前記点像復元処理を行う画像処理装置。
2. 前記所定の空間周波数は、前記撮像素子によるサンプリング周波数をｆｓとすると、０．２５ｆｓから０．３ｆｓの範囲内の空間周波数である請求項１に記載の画像処理装置。
3. 空間周波数が０の場合の変調伝達関数を１００％とした場合に、前記閾値は、１０％から５０％の範囲内の値である請求項１又は２に記載の画像処理装置。
4. 前記撮像条件は、前記撮像光学系を構成する絞りの絞り値である請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記判別部は、前記撮像条件により変動する前記変調伝達関数が前記閾値より低下するか否かを、前記絞りの絞り値に基づいて判別する請求項４に記載の画像処理装置。
6. 前記判別部は、前記撮像条件により変動する前記変調伝達関数が前記閾値より低下するか否かを、前記復元フィルタによる前記所定の空間周波数におけるフィルタゲインに基づいて判別する請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記撮像条件は、前記被写体を照明する光源の種類又は前記光源の波長である請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記判別部は、前記撮像条件により変動する前記変調伝達関数として、前記被写体を照明する光源の種類又は前記光源の波長に対応する前記変調伝達関数を使用する請求項７に記載の画像処理装置。
9. 前記判別部は、前記撮像条件により変動する前記変調伝達関数が前記閾値より低下するか否かを、前記撮像素子の撮像画面上の所定の領域における前記変調伝達関数に基づいて判別する請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記所定の領域における前記変調伝達関数は、前記撮像画面における像高が５０％以上の領域の変調伝達関数である請求項９に記載の画像処理装置。
11. 前記所定の領域における前記変調伝達関数は、前記撮像画面の画面全体の変調伝達関数である請求項９に記載の画像処理装置。
12. 前記所定の領域における前記変調伝達関数は、前記撮像画面の任意の複数点の変調伝達関数である請求項９に記載の画像処理装置。
13. 前記撮像光学系は、前記撮像光学系を構成する絞りが少なくとも開放絞りの場合に前記変調伝達関数が前記閾値よりも低い請求項１から１２のいずれか１項に記載の画像処理装置。
14. 請求項１から１３のいずれか１項に記載の画像処理装置と、前記撮像部とを備える撮像装置。
15. 請求項１４に記載の撮像装置は、産業用カメラとして使用される撮像装置。
16. 撮像光学系及び撮像素子を有する撮像部を用いた被写体の撮像により前記撮像素子から取得される画像データに対し、前記撮像光学系の点拡がり関数に基づく復元フィルタを用いた点像復元処理を行うステップと、
    点像復元が寄与する所定の空間周波数における変調伝達関数であって、撮像条件により変動する前記変調伝達関数が閾値より低下すると、前記点像復元処理を行うと判別するステップと、を含み、
    前記点像復元処理を行うステップは、前記判別するステップが前記点像復元処理を行うと判別した場合のみ前記復元フィルタを用いた点像復元処理を行う画像処理方法。
17. 前記所定の空間周波数は、前記撮像素子によるサンプリング周波数をｆｓとすると、０．２５ｆｓから０．３ｆｓの範囲内の空間周波数である請求項１６に記載の画像処理方法。
18. 空間周波数が０の場合の変調伝達関数を１００％とした場合に、前記閾値は、１０％から５０％の範囲内の値である請求項１６又は１７に記載の画像処理方法。
19. 前記撮像条件は、前記撮像光学系を構成する絞りの絞り値である請求項１６から１８のいずれか１項に記載の画像処理方法。
20. 前記判別するステップは、前記撮像条件により変動する前記変調伝達関数が前記閾値より低下するか否かを、前記絞りの絞り値に基づいて判別する請求項１９に記載の画像処理方法。
21. 前記判別するステップは、前記撮像条件により変動する前記変調伝達関数が前記閾値より低下するか否かを、前記復元フィルタによる前記所定の空間周波数におけるフィルタゲインに基づいて判別する請求項１６から１９のいずれか１項に記載の画像処理方法。