JP6247425B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに係り、特に可視光画像及び近赤外光画像に対して点拡がり関数に基づく点像復元処理を行う技術に関する。

光学系を介して撮像される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は、点拡がり関数（ＰＳＦ：Point Spread Function）と呼ばれ、撮像画像の解像度劣化（ボケ）を左右する特性として知られている。

点拡がり現象のために画質劣化した撮像画像に対し、ＰＳＦに基づく点像復元処理を行うことにより、劣化した撮像画像の画質を回復（復元）することが可能である。この点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた点像復元フィルタを用いた画像処理によって撮像画像の点拡がりをキャンセルし、又は低減する処理である。

ところで、日中の可視光画像の撮像と夜間の近赤外光画像の撮像とを行うことができるデイナイト機能を搭載するカメラとして監視カメラなどがあるが、デイナイト機能を有する監視カメラでは、日中はレンズの撮像光路に赤外カットフィルタを挿入し、可視光のみに感度をもった撮像(カラー撮影)を行い、一方、夜間は赤外カットフィルタを撮像光路から退避させ、かつ近赤外光を補助光として発光（点灯）し、可視光から近赤外光までの波長帯域に感度をもった撮像（白黒撮像）を行う。

上記のデイナイト機能を搭載した監視カメラにより撮像された可視光画像及び近赤外光画像に対して点像復元処理を適用する場合、可視光と近赤外光とではレンズの収差が異なるため、同一の点像復元フィルタを用いると、可視光画像及び近赤外光画像のうちの少なくとも一方の画像の点像復元処理を良好に行うことができないという問題がある。

特許文献１には、指紋認証、静脈認証及び虹彩認証の複数の認証を行う生体認証装置が記載されている。この生体認証装置は、光波面変調素子を有する被写界深度拡張光学系を使用し、かつ指紋認証時の指紋撮像には可視光や指紋を浮き立たせるのに適した紫外光を照射し、静脈認証時の静脈撮像には皮膚を透過しながらも血管を浮き立たせるのに適した赤外光を照射し、虹彩認証時の虹彩撮像には可視光や赤外光を照射する。そして、光波面変調素子により、光像が分散した分散画像（ボケ画像）と、光波面変調素子に起因する分散に対応した変換係数とのコンボリューション（畳み込み演算）により、分散画像を分散のない画像に復元する。この復元処理において、撮像対象（指紋、静脈又は虹彩）に照射する光の波長によって光波面変調素子に起因する分散に対応した変換係数を可変にしている。

特許文献２には、可視光カメラ撮影モードの場合は、赤外カットフィルタを光学系に挿入して撮像を行い、暗中撮影モード及び生体認証モードの場合は、赤外カットフィルタを光学系から退避させて撮像を行い、また、生体認証モードの場合は、近接撮影用の画像再生を行うための第１の逆関数を選択して、第１の逆関数にもとづく画像フィルタリング処理を行い、可視光カメラ撮影モード及び暗中撮影モードの場合は、遠方撮影用の画像再生を行うための第２の逆関数を選択して、第２の逆関数にもとづく画像フィルタリング処理を行う撮像装置が記載されている。

特許文献３には、ローパスフィルタや赤外カットフィルタ等の光学素子を光学系に入れてもよいが、ローパスフィルタ等の光学伝達関数（ＯＴＦ：Optical Transfer Function)の特性に影響を与える素子を用いる場合、点像復元フィルタを作成するときに考慮が必要になる旨の記載がある。

特開２００８−１１３７０４号公報 特開２０１１−１２８２３８号公報 特開２０１４−０６４３０４号公報

デイナイト機能を搭載した監視カメラにより撮像された可視光画像及び近赤外光画像に対して点像復元処理を適用する場合、可視光と近赤外光とではレンズの収差が異なるため、可視光画像の点像復元処理に使用する可視光用の点像復元フィルタと、近赤外光画像の点像復元処理に使用する近赤外光用の点像復元フィルタとを切り替えることが好ましい。

特許文献１には、光波面変調素子を有する被写界深度拡張光学系を使用して撮像された、可視光画像及び近赤外光画像の分散画像をそれぞれ復元する際に、照射される光の波長によって光波面変調素子に起因する分散に対応した変換係数を変える記載があるものの、可視光画像及び近赤外光画像を点像復元処理する際の復元強度に関する記載がない。

ここで、復元強度とは、撮像により劣化した画像を、劣化のない元画像に復元させる強度をいい、復元強度が強い程、元画像に近づく点像復元処理が行われる。尚、劣化した画像に対して復元強度が強い点像復元処理が行われる場合、劣化した画像の信号対雑音比(Ｓ／Ｎ比：signal-to-noise ratio)が低いと、アーティファクトが発生する過補正となり、却って画質が劣化するという弊害が生じることがある。一方、復元強度が弱い点像復元処理が行われる場合、上記のような弊害を回避することができるものの、十分な点像復元が行われず、ぼけが残るという問題がある。

特許文献２に記載の発明は、生体認証モード（近接撮像が行われるモード）と、可視光カメラ撮影モード及び暗中撮影モード（遠方撮像が行われるモード）とで、第１の逆関数に基づく画像フィルタリング処理と、第２の逆関数に基づく画像フィルタリング処理とを切り替えており、可視光画像の撮像が行われる可視光カメラ撮影モードと、近赤外光画像の撮像が行われる暗中撮影モード及び生体認証モードとで、第１の逆関数に基づく画像フィルタリング処理と、第２の逆関数に基づく画像フィルタリング処理とを切り替えるものではない。尚、被写体距離に応じて画像フィルタリング処理に使用する逆関数（点像復元フィルタ）を選択する技術は、公知の技術である。また、特許文献２には、第１の逆関数又は第２の逆関数に基づくフィルタリング処理（点像復元処理）の復元強度に関する記載がない。

特許文献３には、光学系のＯＴＦの特性に影響を与える素子（赤外カットフィルタ等）が光学系に入っている場合、点像復元フィルタを作成するときに考慮が必要である記載があるものの、赤外カットフィルタが光学系に出し入れされる記載がなく、赤外カットフィルタが光学系に挿入された場合と、赤外カットフィルタを光学系から退避させた場合とで別々の点像復元フィルタを生成する記載がなく、更に点像復元処理の復元強度に関する記載もない。

本発明はこのような事情に鑑みてなされたもので、可視光画像の点像復元処理と近赤外光画像に対する点像復元処理とをそれぞれ良好に行うことができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る画像処理装置は、光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す第１の画像データと、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む第２の画像データとを取得する画像取得部と、取得した第１の画像データに対し、光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いた第１の点像復元処理を行う第１の点像復元処理部と、取得した第２の画像データに対し、光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた第２の点像復元処理を行う第２の点像復元処理部であって、近赤外光が照射されて撮像された第２の画像データに対する第２の点像復元処理による復元強度を、第１の点像復元処理部により行われる第１の点像復元処理による復元強度よりも強くする第２の点像復元処理部と、を備える。

本発明の一の態様によれば、可視光画像を示す第１の画像データ及び近赤外光画像を含む第２の画像データを、それぞれ光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタ（可視光用の第１の点像復元フィルタ）と、光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタ（近赤外光用の第２の点像復元フィルタ）とを使用して点像復元処理を行うようにしたため、第１の画像データ及び第２の画像データの点像復元処理をそれぞれ良好に行うことができ、特に近赤外光が照射されて撮像された第２の画像データに対する第２の点像復元処理による復元強度を、第１の点像復元処理部により行われる復元強度よりも強くしている。近赤外光が照射されて撮像された第２の画像データは、近赤外光の照射によりＳ／Ｎ比が高くなっているため、第２の画像データに対する第２の点像復元処理による復元強度を強くしても過補正にならず、かつ撮像により劣化した近赤外光画像を良好な画質の近赤外光画像に復元することができる。

本発明の他の態様に係る画像処理装置は、赤外カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データと、赤外カットフィルタが撮像光路から退避された光学系を用いて撮像された第２の画像データとを取得する画像取得部と、取得した第１の画像データに対し、光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いた第１の点像復元処理を行う第１の点像復元処理部と、取得した第２の画像データに対し、光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた第２の点像復元処理を行う第２の点像復元処理部であって、近赤外光が照射されて撮像された第２の画像データに対する第２の点像復元処理による復元強度を、第１の点像復元処理部により行われる第１の点像復元処理による復元強度よりも強くする第２の点像復元処理部と、を備える。

本発明の更に他の態様に係る画像処理装置において、第２の点像復元処理部は、近赤外光が照射されずに撮像された第２の画像データに対する第２の点像復元処理による復元強度を、第１の点像復元処理部により行われる第１の画像データに対する第１の点像復元処理による復元強度よりも弱くすることが好ましい。

近赤外光が照射されずに撮像された第２の画像データは、Ｓ／Ｎ比が低くなっているため、第２の画像データに対する第２の点像復元処理による復元強度を強くすると、過補正になり、却って画質を低下させる原因になる。そこで、本発明の更に他の態様によれば、近赤外光が照射されずに撮像された第２の画像データの場合、第２の画像データに対する第２の点像復元処理による復元強度を弱くし、過補正による画質の劣化を防止するようにしている。

本発明の更に他の態様に係る画像処理装置において、取得した第２の画像データが、近赤外光発光部から近赤外光が照射されずに撮像され、かつ可視光と近赤外光とが混在した光源下で撮像された第２の画像データか否かを判別する判別部を備え、第２の点像復元処理部は、取得した第２の画像データが、判別部により近赤外光が照射されずに撮像され、かつ可視光成分と近赤外光成分とを含む第２の画像データであると判別されると、第２の点像復元処理による復元強度を、近赤外光が照射されずに撮像され、かつ可視光成分を含まない第２の画像データに対する第２の点像復元処理による復元強度よりも強くすることが好ましい。

日中から夜間への切り替わり時（薄暮の状態）又は夜間から日中への切り替わり時（黎明の状態）では、可視光と近赤外光とが混在する時間が存在する。このような薄暮又は黎明の状態で、近赤外光発光部から近赤外光が照射されずに撮像された第２の画像データには、可視光成分と近赤外光成分とが含まれる。そして、可視光成分と近赤外光成分とが含まれる第２の画像データは、夜間のように近赤外光が照射されずに撮像され、かつ可視光成分を含まない第２の画像データ（近赤外光成分のみの画像データ）に比べて明るいため、Ｓ／Ｎ比が大きい。そこで、可視光成分と近赤外光成分とが含まれる第２の画像データに対する第２の点像復元処理による復元強度を、近赤外光成分のみの第２の画像データに対する第２の点像復元処理による復元強度よりも強くする。この場合、可視光成分と近赤外光成分とが含まれる第２の画像データは、第２の画像データに対する第２の点像復元処理による復元強度を強くしても過補正にならず、かつ撮像により劣化した近赤外光画像を良好な画質の近赤外光画像に復元することができる。

本発明の更に他の態様に係る画像処理装置において、第２の点像復元処理部は、第２の点像復元処理による第２の画像データの復元率を調整する復元率制御部を有し、復元率制御部は、近赤外光が照射されて撮像された第２の画像データの復元率を、第１の点像復元処理による第１の画像データの復元率よりも大きくすることが好ましい。近赤外光が照射されて撮像された第２の画像データは、近赤外光の照射によりＳ／Ｎ比が高くなっているため、第２の画像データに対する第２の点像復元処理による復元強度を強くしても過補正にならず、かつ撮像により劣化した近赤外光画像を良好な画質の近赤外光画像に復元することができるからである。尚、復元率制御部により第２の点像復元処理による第２の画像データの復元率を調整することができ、近赤外光が照射されて撮像された第２の画像データの復元率を、第１の点像復元処理による第１の画像データの復元率よりも大きくする際に、所望の大きさの復元率にすることができる。

本発明の更に他の態様に係る画像処理装置において、第２の点像復元処理部は、第２の点像復元処理による前記第２の画像データの復元率を調整する復元率制御部を有し、復元率制御部は、近赤外光が照射されずに撮像された第２の画像データの復元率を、第１の点像復元処理による第１の画像データの復元率よりも小さくすることが好ましい。

近赤外光が照射されずに撮像された第２の画像データは、Ｓ／Ｎ比が低くなっているため、第２の画像データに対する第２の点像復元処理による復元強度を強くすると、過補正になり、却って画質を低下させる原因になる。そこで、近赤外光が照射されずに撮像された第２の画像データの場合、近赤外光が照射されずに撮像された第２の画像データの復元率を、第１の点像復元処理による第１の画像データの復元率よりも小さくし、過補正による画質の劣化を防止するようにしている。

本発明の更に他の態様に係る画像処理装置において、第１の画像データは、第１の色データと、輝度データを得るための寄与率が第１の色データよりも低い２色以上の第２の色データとからなり、第１の点像復元処理部は、第１の画像データから生成された輝度データに対し、輝度データに対応する第１の点像復元フィルタを用いた第１の点像復元処理を行うことが好ましい。第１の点像復元処理部は、第１の画像データから生成された輝度データ（視覚的な効果が大きい輝度データ）に対し、輝度データに対応する第１の点像復元フィルタを用いた第１の点像復元処理を行うため、第１の色データ及び２色以上の第２の色データの色データ毎に点像復元処理を行う場合に比べて、点像復元処理の演算負荷を軽減することができる。

本発明の更に他の態様に係る画像処理装置において、第１の画像データは、第１の色データと、輝度データを得るための寄与率が第１の色データよりも低い２色以上の第２の色データとからなり、第１の点像復元処理部は、第１の色データ及び２色以上の各第２の色データに対し、第１の色データ及び２色以上の各第２の色データにそれぞれ対応する第１の点像復元フィルタを用いた第１の点像復元処理を行うことが好ましい。第１の点像復元処理部は、第１の色データ及び２色以上の各第２の色データに対し、第１の色データ及び２色以上の各第２の色データにそれぞれ対応する第１の点像復元フィルタを用いた第１の点像復元処理を行うため、精度の高い点像復元処理が可能となり、倍率色収差の補正も行うことができる。

本発明の更に他の態様に係る撮像装置は、上記の画像処理装置と、赤外カットフィルタが撮像光路に挿入され、又は撮像光路から退避可能な光学系と、を備え、画像取得部は、赤外カットフィルタが撮像光路に挿入された光学系を用いて被写体を撮像し、被写体の可視光画像を示す第１の画像データを取得し、赤外カットフィルタが撮像光路から退避された光学系を用いて被写体を撮像し、被写体の近赤外光画像を示す第２の画像データを取得する撮像部であり、撮像部は、光学系による被写体のフォーカス位置を調整するフォーカス調整部を有し、フォーカス調整部は、赤外カットフィルタが撮像光路に挿入された光学系を用いて撮像される被写体に対して、フォーカス位置が調整されている。撮像装置が、例えば定点に固定される監視カメラの場合、赤外カットフィルタが撮像光路に挿入された光学系を用いて撮像（可視光撮像）される被写体に対して、フォーカス調整部によりフォーカス位置を調整することが好ましい。焦点の合った画質の高い可視光画像を撮像するためである。この場合、赤外カットフィルタが撮像光路から退避された光学系を用いて撮像（赤外撮像）される被写体のフォーカス位置は、赤外カットフィルタの退避や波長の違い（色収差）により、フォーカス調整部により調整されたフォーカス位置からずれる（デフォーカス状態になる）。このようにデフォーカス状態で撮像される近赤外光画像は、可視光画像よりもぼける。そこで、近赤外光画像のシャープネス改善効果を高めるために、近赤外光画像を示す第２の画像データに対する第２の点像復元処理による復元強度を強くしている。

本発明の更に他の態様に係る撮像装置において、近赤外光画像の撮像時に近赤外光を補助光として発光する近赤外光発光部を更に備えることが好ましい。

本発明の更に他の態様に係る画像処理方法は、光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す第１の画像データと、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む第２の画像データとを取得するステップと、取得した第１の画像データに対し、光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いた第１の点像復元処理を行うステップと、取得した第２の画像データに対し、光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた第２の点像復元処理を行うステップであって、近赤外光が照射されて撮像された第２の画像データに対する第２の点像復元処理による復元強度を、第１の点像復元処理による復元強度よりも強くするステップと、を含む。

本発明の更に他の態様に係る画像処理方法において、第２の点像復元処理を行うステップは、近赤外光が照射されずに撮像された第２の画像データに対する第２の点像復元処理による復元強度を、第１の画像データに対する第１の点像復元処理による復元強度よりも弱くすることが好ましい。

本発明の更に他の態様に係る画像処理プログラムは、光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す第１の画像データと、光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む第２の画像データとを取得するステップと、取得した第１の画像データに対し、光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いた第１の点像復元処理を行うステップと、取得した第２の画像データに対し、光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた第２の点像復元処理を行うステップであって、近赤外光が照射されて撮像された第２の画像データに対する第２の点像復元処理による復元強度を、第１の点像復元処理による復元強度よりも強くするステップと、をコンピュータに実行させる。

本発明の更に他の態様に係る画像処理プログラムにおいて、第２の点像復元処理を行うステップは、近赤外光が照射されずに撮像された第２の画像データに対する第２の点像復元処理による復元強度を、第１の画像データに対する第１の点像復元処理による復元強度よりも弱くすることが好ましい。これらの画像処理プログラムを記録したコンピュータ読み取り可能な非一時的有形媒体（a non-transitory computer-readable tangible medium）も本発明の態様に含まれる。

本発明によれば、可視光画像を示す第１の画像データ及び近赤外光画像を含む第２の画像データを、それぞれ可視光用の第１の点像復元フィルタと、近赤外光用の第２の点像復元フィルタとを使用して点像復元処理を行うようにしたため、第１の画像データ及び第２の画像データの点像復元処理をそれぞれ良好に行うことができ、特に近赤外光が照射されて撮像された第２の画像データに対する第２の点像復元処理による復元強度を、第１の点像復元処理部により行われる復元強度よりも強くすることにより、劣化した近赤外光画像を良好な画質の近赤外光画像に復元することができる。

撮像装置の機能構成例を示すブロック図であり、日中の可視光画像（動画）を撮像する場合を示す図である。 撮像装置の機能構成例を示すブロック図であり、薄暮及び夜間の近赤外光画像（動画）を撮像する場合を示す図である。 ８５０ｎｍタイプの近赤外ＬＥＤと９４０ｎｍタイプの近赤外ＬＥＤの分光特性を示すグラフである。 ベイヤー配列の基本配列パターンを示す図と、ＲＧＢの各カラーフィルタの分光透過率特性を示す図である。 カメラコントローラの構成例を示すブロック図である。 定点に固定された撮像装置の撮像部と、撮像部の焦点調整後に実写されたテストチャートの可視光画像を示す図である。 カメラコントローラ内の画像処理部の第１の実施形態を示すブロック図である。 第１の実施形態の点像復元処理部を示すブロック図である。 画像処理方法の第１の実施形態を示すフローチャートである。 画像処理方法の第２の実施形態を示すフローチャートである。 第２の実施形態の点像復元処理部を示すブロック図である。 第３の実施形態の点像復元処理部を示すブロック図である。 カメラコントローラ内の画像処理部の第２の実施形態を示すブロック図である。 ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 ＥＤｏＦ光学系の一例を示す図である。 ＥＤｏＦ光学系を介して取得された画像の復元例を示す図である。

以下、添付図面に従って本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムの実施形態について説明する。以下の実施形態では、一例として、コンピュータ（ＰＣ：Personal Computer）に接続可能な監視カメラとして使用される撮像装置に本発明を適用する場合について説明する。

図１及び図２は、それぞれコンピュータに接続される撮像装置１０の機能構成例を示すブロック図である。尚、図１は、撮像装置１０により日中の可視光画像（動画）を撮像する場合に関して示しており、図２は、撮像装置１０により薄暮及び夜間の近赤外光画像（動画）を撮像する場合に関して示している。

図１及び図２に示す撮像装置１０は、デイナイト機能が搭載された監視カメラであり、可視光画像を撮像する可視光画像撮像モードと、近赤外光画像を撮像する近赤外光画像撮像モードとを有している。

図１及び図２に示すように、撮像装置１０は、主として撮像部を構成するレンズユニット１２、近赤外光発光部１５、フィルタ装置２４及び撮像素子（画像取得部）２６と、カメラコントローラ２８と、入出力インターフェース３２とから構成されている。

レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８と、を具備する。光学系操作部１８は、レンズ１６のフォーカス位置を調整する手動操作部、及びカメラコントローラ２８から加えられる制御信号により絞り１７を駆動する絞り駆動部を含む。

近赤外光発光部１５は、近赤外光発光ダイオード（近赤外ＬＥＤ（ＬＥＤ：Light Emitting Diode））を備え、図２に示すように近赤外光画像撮像モード時にカメラコントローラ２８から加えられる点灯指示により近赤外光を補助光として連続して発光（照射）する。近赤外ＬＥＤには、図３に示すように８５０ｎｍタイプの分光特性を有するものと、９４０ｎｍタイプの分光特性を有するものとがあり、いずれも近赤外光発光部１５の光源として使用可能である。

フィルタ装置２４は、赤外カットフィルタ２０を備えたスライド板を光軸と直交する方向に移動させ、又は赤外カットフィルタ２０を備えたターレットを回転させることにより、赤外カットフィルタ２０を撮像光路に挿入又は退避させるもので、カメラコントローラ２８から加えられる指令により可視光画像撮像モード時に赤外カットフィルタ２０を撮像光路に挿入し（図１）、近赤外光画像撮像モード時に赤外カットフィルタ２０を撮像光路から退避させる（図２）。

撮像素子２６は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、撮像素子２６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

撮像素子２６は、マトリクス状に配置された複数の画素を有し、各画素は、マイクロレンズと、赤（Ｒ）、緑（Ｇ）又は青（Ｂ）のカラーフィルタと、光電変換部（フォトダイオード等）とを含んで構成される。ＲＧＢのカラーフィルタは、所定のパターンのフィルタ配列（ベイヤー配列、Ｘ−Ｔｒａｎｓ（登録商標）配列等）を有し、図４（Ａ）は、ベイヤー配列の基本配列パターンを示している。

図４（Ｂ）は、ＲＧＢの各カラーフィルタの分光透過率特性を示している。図４（Ｂ）に示すようにＲＧＢの各カラーフィルタを有する画素（以下、Ｒ画素、Ｇ画素及びＢ画素という）は、８５０ｎｍタイプ又は９４０ｎｍタイプの分光特性を有する近赤外ＬＥＤの近赤外光（図３参照）に対し、ほぼ同じ感度をもっている。従って、近赤外光画像撮像モードにおいて、撮像素子２６のＲ画素、Ｇ画素及びＢ画素は、それぞれ近赤外光画素（ＩＲ(infrared)画素）として機能する。

即ち、可視光画像撮像モードでの撮像時には、撮像素子２６からは、可視光画像を示す第１の画像データであって、ＲＧＢのカラーフィルタのフィルタ配列に対応するモザイクデータ（赤（Ｒ）、緑（Ｇ）、青（Ｂ）のモザイク状の色データ（ＲＧＢデータ））が出力され、近赤外光画像撮像モードでの撮像時には、撮像素子２６からは、近赤外光画像を示す第２の画像データであって、１画面分の白黒画像を示す近赤外光画像データ（ＩＲデータ）が出力される。

カメラコントローラ２８は、詳細については後述するが、撮像装置１０の各部を統括的に制御するデバイス制御部３４としての機能と、撮像素子２６から送られてくる画像データ（可視光画像撮像モード時に撮像された可視光画像を示す第１の画像データ、又は近赤外光画像撮像モード時に撮像された近赤外光画像を含む第２の画像データ）の画像処理を行う画像処理部（画像処理装置）３５としての機能とを有する。

カメラコントローラ２８において、画像処理された画像データは、撮像装置１０に設けられた記憶部（図示せず）に記憶され、及び／又は入出力インターフェース３２を介してコンピュータ６０等に送られる。カメラコントローラ２８から出力される画像データのフォーマットは特に限定されず、動画の場合にはＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６４等のフォーマットとし、静止画の場合には、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）等のフォーマットとしうる。また、画像処理部３５による画像処理が行われない生データ（ＲＡＷデータ）を出力しうる。更に、カメラコントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮像日時、機種、画素数、絞り値等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、その画像ファイルを出力してもよい。

コンピュータ６０は、撮像装置１０の入出力インターフェース３２及びコンピュータ入出力部６２を介して撮像装置１０に接続され、撮像装置１０から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、撮像装置１０からの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４にデータやコマンドを入力可能である。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（撮像装置１０、サーバ８０）を制御可能である。

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。

各コントローラ（カメラコントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば、中央処理装置（ＣＰＵ（Central Processing Unit）等）やメモリ等を具備する。また、撮像装置１０、コンピュータ６０及びサーバ８０間の通信は、有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成してもよく、また、コンピュータ６０及び／又はサーバ８０が省略されてもよい。更に、撮像装置１０にサーバ８０との通信機能を持たせ、撮像装置１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。更にまた、撮像装置１０からコンピュータ６０又はサーバ８０にＲＡＷデータを送信し、コンピュータ６０又はサーバ８０の画像処理部（画像処理装置）が、カメラコントローラ２８内の画像処理部３５（図５）として機能し、入力するＲＡＷデータの画像処理を行うようにしてもよい。

本例の撮像装置１０は、デイナイト機能が搭載された監視カメラであり、定点に固定されて使用される。このとき、撮像装置１０の設置時に、光学系操作部１８によりレンズ１６のフォーカス位置を調整し、被写体に焦点を合わせるフォーカス調整を行い、また、必要に応じてズーム倍率の調整（ズーム調整）も行われる。

図６（Ａ）は、定点に固定された撮像装置１０の撮像部（レンズユニット１２、フィルタ装置２４及び撮像素子２６）を示す図であり、図６（Ｂ）は、撮像部の焦点調整後に実写されたテストチャート１９の画像（可視光画像）を示す図である。

図６（Ａ）において、フォーカスリング１３を回転させるフォーカスレバー１１（フォーカス調整部）及びズームリング２３を回転させるズームレバー２１は、レンズユニット１２の光学系操作部１８（図１）に相当する。

フォーカス調整及びズーム調整は、可視光画像撮像モード時に行われる。即ち、赤外カットフィルタ２０を撮像光路に挿入し、かつ蛍光灯などの可視光の人工光源３１又は太陽光による照明下で撮像を行い、撮像された画像を見ながらフォーカス調整及びズーム調整が行われる。

即ち、図６（Ａ）に示すようにフォーカス位置５１が、撮像素子２６の受光面上の位置と一致するように、実写されたテストチャート１９の画像（図６（Ｂ））を見ながらフォーカスレバー１１によりフォーカスリング１３を回転させ、レンズ１６のフォーカス位置を調整する。

このようにレンズユニット１２がフォーカス調整されると、近赤外光画像撮像モード時に撮像される近赤外画像は、赤外カットフィルタ２０の退避や可視光と近赤外光の波長の違いにより、近赤外光画像のフォーカス位置が撮像素子２６の受光面上の位置からずれる。即ち、近赤外光画像撮像モード時に撮像される近赤外画像は、像面位置がシフトし、デフォーカス状態になりやすく、可視光画像に比べてボケやすい。

［画像処理装置］
＜画像処理装置の第１の実施形態＞
図７は、図５に示したカメラコントローラ２８内の画像処理部３５の第１の実施形態を示すブロック図である。

図７に示す第１の実施形態の画像処理部３５は、オフセット補正処理部４１、ゲイン補正処理部４２、デモザイク処理部４３、ガンマ補正処理部を含む第１の階調補正処理部４５、第２の階調補正処理部４６、輝度及び色差変換処理部４７、及び点像復元処理部４８から構成されている。

オフセット補正処理部４１は、撮像素子２６から取得される画像処理前のＲＡＷデータ（モザイク状のＲＧＢデータ、又はＩＲデータ）を点順次で入力する。尚、ＲＡＷデータは、例えば、ＲＧＢ毎に１２ビット（０〜４０９５）のビット長を有するデータ（１画素当たり２バイトのデータ）である。また、本例のＲＡＷデータは、連続されて撮像された動画データである。

オフセット補正処理部４１は、入力するＲＡＷデータに含まれる暗電流成分を補正する処理部であり、撮像素子２６上の遮光画素から得られるオプティカルブラックの信号値を、ＲＡＷデータから減算することによりＲＡＷデータのオフセット補正を行う。

オフセット補正されたＲＡＷデータは、ゲイン補正処理部４２に加えられる。ゲイン補正処理部４２は、ＲＡＷデータがＲＧＢデータの場合、ホワイトバランス（ＷＢ：White Balance）を調整するＷＢ補正処理部として機能し、ＲＧＢの色毎に設定されたＷＢゲインを、それぞれＲＧＢデータに乗算し、ＲＧＢデータのホワイトバランス補正を行う。ＷＢゲインは、例えば、ＲＧＢデータに基づいて光源種が自動的に判定され、あるいは手動による光源種が選択されるとし、判定又は選択された光源種に適したＷＢゲインが設定されるが、ＷＢゲインの設定方法は、これに限らず、他の公知の方法により設定することができる。

また、ゲイン補正処理部４２は、ＲＡＷデータがＩＲデータの場合、近赤外光に対するＲ画素、Ｇ画素及びＢ画素の感度差を補正する感度補正処理部として機能し、Ｒ画素、Ｇ画素及びＢ画素から出力される各ＩＲデータの積算平均値を１：１：１にするゲインを、それぞれＲ画素、Ｇ画素及びＢ画素に対応するＩＲデータに乗算し、ＩＲデータを補正する。尚、Ｒ画素、Ｇ画素及びＢ画素において、近赤外光に対する感度差がない場合には、ゲイン補正処理部４２による感度差の補正は不要である。

デモザイク処理部４３は、単板式の撮像素子２６のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出するデモザイク処理（「同時化処理」ともいう）を行う部分であり、例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する。即ち、デモザイク処理部４３は、モザイクデータ（点順次のＲＧＢデータ）から同時化されたＲＧＢ３面の画像データを生成する。尚、ＩＲデータに対しては、デモザイク処理部４３によるデモザイク処理は行われない。

デモザイク処理されたＲＧＢデータは、第１の階調補正処理部４５に加えられる。第１の階調補正処理部４５は、ＲＧＢデータに対して、非線形な階調補正を行う部分であり、例えば、入力するＲＧＢデータを対数化処理によるガンマ補正処理を行い、ディスプレイ装置により画像が自然に再現されるようにＲＧＢデータに対して非線形な処理を行う。

本例では、第１の階調補正処理部４５は、１２ビット（０〜４０９５）のＲＧＢデータに対し、ガンマ特性に対応するガンマ補正を行い、８ビット（０〜２５５）のＲＧＢの色データ（１バイトのデータ）を生成する。第１の階調補正処理部４５は、例えば、ＲＧＢ毎のルックアップテーブルにより構成することができ、ＲＧＢデータの色毎にそれぞれ対応するガンマ補正を行うことが好ましい。尚、第１の階調補正処理部４５は、入力データに対して、トーンカーブに沿った非線形な階調補正を行うものを含む。

第１の階調補正処理部４５により階調補正されたＲＧＢデータは、輝度及び色差変換処理部４７に加えられる。輝度及び色差変換処理部４７は、第１の色データ（Ｇデータ）と、輝度データを得るための寄与率が第１の色データ（Ｇデータ）よりも低い２色以上の第２の色データ（Ｒデータ、Ｂデータ）を、輝度成分を示す輝度データＹと、色差データＣｒ、Ｃｂとに変換する処理部であり、次式により算出することができる。

［数１］
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ
Ｃｂ＝−０.１６８７３６Ｒ−０.３３１２６４Ｇ＋０.５Ｂ
Ｃｒ＝−０.５Ｒ−０.４１８６８８Ｇ−０.０８１３１２Ｂ
尚、ＲＧＢデータから輝度データＹ、色差データＣｒ、Ｃｂへの変換式は、上記［数１］式に限定されない。

輝度及び色差変換処理部４７によりＲＧＢデータから変換された輝度データＹは、点像復元処理部４８に加えられる。

一方、近赤外光画像撮像モード時にゲイン補正処理部４２により感度補正されたＩＲデータは、第２の階調補正処理部４６に加えられ、ここで第１の階調補正処理部４５による階調補正処理と同様な階調補正が行われる。即ち、第２の階調補正処理部４６は、ＩＲ用のルックアップテーブルにより構成することができ、入力する１２ビットのＩＲデータに対し、ガンマ特性に対応するガンマ補正を行い、８ビットのＩＲデータを生成する。尚、第１の階調補正処理部４５と第２の階調補正処理部４６とは、それぞれ階調補正するためのルックアップテーブルが異なるが、その他は共通するため、処理回路の共通化が可能である。

第２の階調補正処理部４６により階調補正されたＩＲデータは、点像復元処理部４８に加えられる。

点像復元処理部４８には、撮像モード（可視光画像撮像モード又は近赤外光画像撮像モード）に応じて輝度データＹ又はＩＲデータが入力され、点像復元処理部４８は、入力する輝度データＹ又はＩＲデータに対して点像復元処理を行う。

［点像復元処理部］
＜点像復元処理部の第１の実施形態＞
次に、図７に示した点像復元処理部４８の第１の実施形態について説明する。

図８は、第１の実施形態の点像復元処理部４８を示すブロック図である。第１の実施形態の点像復元処理部４８は、主として第１の点像復元フィルタ処理部１１０、第２の点像復元フィルタ処理部１２０、乗算器１１２、１２２、切替えスイッチ１３０、及び加算器１４０から構成された点像復元処理部１００と、復元率制御部１５０と、判別部１６０を備えている。

輝度データＹ（第１の画像データ）に対し、第１の点像復元処理を行う第１の点像復元処理部は、第１の点像復元フィルタ処理部１１０、乗算器１１２及び加算器１４０により構成されている。

第１の点像復元フィルタ処理部１１０は、光学系（レンズ１６等）の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを、撮像モードに応じて入力する輝度データＹに適用し、点像復元処理された輝度データＹの増減分データ（第１の増減分データ）を生成する。

乗算器１１２は、第１の点像復元フィルタ処理部１１０により生成された第１の増減分データに対して第１のゲインαの乗算を行い、第１の増減分データのゲインコントロール（点像復元処理による第１の復元率の調整）を行う。乗算器１１２によりゲインコントロールされた第１の増減分データは、切替えスイッチ１３０の一方の入力端子に出力される。

一方、ＩＲデータ（第２の画像データ）に対し、第２の点像復元処理を行う第２の点像復元処理部は、第２の点像復元フィルタ処理部１２０、乗算器１２２及び加算器１４０により構成される。

第２の点像復元フィルタ処理部１２０は、光学系（レンズ１６等）の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを、撮像モードに応じて入力するＩＲデータに適用し、点像復元処理されたＩＲデータの増減分データ（第２の増減分データ）を生成する。

乗算器１２２は、第２の点像復元フィルタ処理部１２０により生成された第２の増減分データに対して第２のゲインβの乗算を行い、第２の増減分データのゲインコントロール（点像復元処理による第２の復元率の調整）を行う。乗算器１２２によりゲインコントロールされた第２の増減分データは、切替えスイッチ１３０の一方の入力端子に出力される。

切替えスイッチ１３０には、カメラコントローラ２８から可視光画像撮像モードか近赤外光画像撮像モードかを示す撮像モード情報が加えられており、切替えスイッチ１３０は、撮像モード情報に応じて２入力端子のうちのいずれか一方の入力端子に加えられる増減分データを選択し、選択した増減分データを加算器１４０に出力する。即ち、切替えスイッチ１３０は、可視光画像撮像モード時には乗算器１１２から入力する第１の増減分データを加算器１４０に出力し、近赤外光画像撮像モード時には乗算器１２２から入力する第２の増減分データを加算器１４０に出力する。

加算器１４０の他の入力には、撮像モードに応じて輝度データＹ又はＩＲデータが加えられており、加算器１４０は、入力する輝度データＹ又はＩＲデータと、切替えスイッチ１３０から加えられる増減分データとを加算する。これにより、加算器１４０からは点像復元処理された輝度データＹ又はＩＲデータが出力される。

次に、乗算器１１２及び１２２にそれぞれ加えられる第１のゲインα及び第２のゲインβについて説明する。

復元率制御部１５０は、それぞれ第１のゲインα及び第２のゲインβを所望のゲイン値に設定することにより、輝度データＹに対する点像復元処理による復元強度（復元率）を制御するもので、以下に説明する判別部１６０による判別結果に応じて第１のゲインαと第２のゲインβのゲイン値（大きさ）を設定し、設定した第１のゲインαと第２のゲインβとをそれぞれ乗算器１１２及び１２２に出力する。

判別部１６０は、近赤外光画像撮像モード時に近赤外光発光部１５から近赤外光が発光（照射）されたか否かを判別し、また、近赤外光画像撮像モード時に可視光と近赤外光とが混在した光源下で撮像されたか否かを判別する。

近赤外光画像撮像モード時には、通常、近赤外光発光部１５を点灯し、近赤外光発光部１５から近赤外光を補助光として発光するが、例えば、薄暮又は黎明の時間帯や、夜間であっても人工光源が存在する場合には、近赤外光を被写体に照射しないことがありうる。判別部１６０は、赤外カットフィルタ２０を撮像光路から退避させる近赤外光画像撮像モード時に近赤外光発光部１５から近赤外光が発光されたか否かを判別する。

また、判別部１６０は、近赤外光画像撮像モード時の被写体の明るさに基づいて可視光と近赤外光とが混在した光源下での撮像か否かを判別する。

カメラコントローラ２８は、絞り１７の制御及びシャッタースピード（撮像素子２６での電荷蓄積時間）の制御による自動露出制御を行う際に、被写体の明るさ（ＥＶ値（exposure value））を検出する。また、カメラコントローラ２８は、検出したＥＶ値が可視光画像の撮像に適さない値以下になると、可視光画像撮像モードから近赤外光画像撮像モードに切り替える。

判別部１６０は、近赤外光画像撮像モード時の被写体の明るさとして、カメラコントローラ２８が検出したＥＶ値を使用し、可視光と近赤外光とが混在した光源下での撮像か否かを判別することができる。

＜復元強度設定の第１の実施形態＞
復元率制御部１５０は、判別部１６０により近赤外光画像撮像モード時に近赤外光発光部１５から近赤外光が被写体に照射されていると判別されると、第１のゲインαに対して第２のゲインβが大きくなるように第２のゲインβを設定する。このように設定された第２のゲインβを、以下「第２のゲインβ１」という。

上記のように復元率制御部１５０により第１のゲインαに対して第２のゲインβ１が大きくなるように設定されるため、輝度データＹに対する点像復元処理による復元強度（復元率）よりもＩＲデータに対する点像復元処理による復元強度を強く（復元率を大きく）することができる。

ところで、点像復元処理による復元強度を強くすると、アーティファクトが発生する過補正となりやすく、復元強度を弱くすると、過補正となる弊害を回避することができるものの、十分な点像復元が行われず、ぼけが残る。

「復元強度設定の第１の実施形態」において、輝度データＹに対する点像復元処理による復元強度よりもＩＲデータに対する点像復元処理による復元強度を強くする理由は、近赤外光が被写体に照射されているため、ＩＲデータのＳ／Ｎ比が高く、復元強度を強くしても過補正となる弊害が少なく、一方、図６を用いて説明したようにＩＲデータは、輝度データＹに比べて赤外カットフィルタ２０の退避や波長の違い（色収差）により、可視光画像（輝度データＹ）に対してフォーカス調整されたフォーカス位置からずれて（デフォーカス状態で）撮像され、輝度データＹよりもぼけているからである。そこで、ＩＲデータのシャープネス改善効果を高めるために、輝度データＹに対する点像復元処理による復元強度よりもＩＲデータに対する点像復元処理による復元強度を強くしている。

＜復元強度設定の第２の実施形態＞
復元率制御部１５０は、判別部１６０により近赤外光画像撮像モード時に近赤外光が被写体に照射されていないと判別されると、第１のゲインαに対して第２のゲインβが小さくなるように第２のゲインβを設定する。このように設定された第２のゲインβを、以下「第２のゲインβ２」という。

上記のように復元率制御部１５０により第１のゲインαに対して第２のゲインβ２が小さくなるように設定されるため、輝度データＹに対する点像復元処理による復元強度よりもＩＲデータに対する点像復元処理による復元強度を弱く（復元率を小さく）することができる。

「復元強度設定の第２の実施形態」において、輝度データＹに対する点像復元処理による復元強度よりもＩＲデータに対する点像復元処理による復元強度を弱くする理由は、近赤外光が被写体に照射されていないため、ＩＲデータのＳ／Ｎ比が低く、復元強度を強くすると、アーティファクトが発生する過補正となりやすいからである。そこで、過補正となる弊害を回避するために、輝度データＹに対する点像復元処理による復元強度よりもＩＲデータに対する点像復元処理による復元強度を弱くしている。

＜復元強度設定の第３の実施形態＞
復元率制御部１５０は、判別部１６０により近赤外光画像撮像モード時に、近赤外光が被写体に照射されていないと判別され、かつ可視光と近赤外光とが混在した光源下で撮像されていると判別されると、「復元強度設定の第２の実施形態」における第２のゲインβ２に対して第２のゲインβが大きくなるように第２のゲインβを設定する。このように設定された第２のゲインβを、以下「第２のゲインβ３」という。

薄暮又は黎明の状態（可視光と近赤外光とが混在した光源下）で撮像されたＩＲデータは、夜間のように近赤外光が照射されずに撮像され、かつ可視光成分を含まないＩＲデータ（近赤外光成分のみのＩＲデータ）に比べて明るいため、Ｓ／Ｎ比が大きい。そこで、可視光成分と近赤外光成分とが含まれるＩＲデータに対する点像復元処理による復元強度（第２のゲインβ３）を、近赤外光成分のみのＩＲデータに対する点像復元処理による復元強度（第２のゲインβ２）よりも強くする。この場合、可視光成分と近赤外光成分とが含まれるＩＲデータは、ＩＲデータに対する点像復元処理による復元強度を強くしても（第２のゲインβ３を大きくしても）過補正にならず、かつ撮像により劣化したＩＲデータを良好な画質のＩＲデータに復元することができる。

また、復元率制御部１５０は、「復元強度設定の第１の実施形態」における第２のゲインβ１に対して、「復元強度設定の第３の実施形態」における第２のゲインβ３が小さくなるように第２のゲインβ３を設定する。これは、近赤外光発光部１５から近赤外光が被写体に照射されているときに取得されるＩＲデータのＳ／Ｎ比に比べて、薄暮又は黎明の状態において、近赤外光発光部１５から近赤外光が被写体に照射されていないときに取得されるＩＲデータのＳ／Ｎ比は小さく、ＩＲデータに対する点像復元処理による復元強度を強くし過ぎると、過補正になりやすいからである。

一方、輝度データＹに対する点像復元処理による復元強度（第１のゲインα）は、例えば、点像復元処理による目標の復元強度であり、固定値（例えば、第１のゲインα＝１）とすることができるが、撮像設定条件（例えばレンズの種類、絞り値、ズーム倍率、被写体距離等）に応じて変更してもよい。

また、ＩＲデータに対する点像復元処理による復元強度（第２のゲインβ）は、判別部１６０による判定結果に基づいて「復元強度設定の第１の実施形態」から「復元強度設定の第３の実施形態」に示した第２のゲインβ１、β２、又はβ３に設定されるが、これらの第２のゲインβ１、β２、又はβ３は、それぞれ固定値としてもよいし、第１のゲインαが変更される場合には、それに対応して第２のゲインβ１、β２、又はβ３も変更してもよい。

［画像処理方法の第１の実施形態］
図９は本発明に係る画像処理方法の第１の実施形態を示すフローチャートである。

図９において、カメラコントローラ２８は、被写体の光量（例えば、ＥＶ値）を検出し、検出した光量が閾値Ｔｈ以上か否かを判別する（ステップＳ１０）。検出した光量が閾値Ｔｈ以上の場合（「Yes」の場合）には、ステップＳ１２に遷移させ、日中の撮像モードである可視光画像撮像モードに切り替える。

ステップＳ１２では、赤外カットフィルタ２０を撮像光路に挿入し、ステップＳ１４により可視光波長帯域に感度をもった可視光のみによる撮像（可視光画像の撮像）を行う。撮像された可視光画像の輝度データＹは、第１の点像復元フィルタによる点像復元処理が行われる（ステップＳ１６）。即ち、第１の点像復元フィルタ処理部１１０、乗算器１１２、及び加算器１４０に基づく第１の点像復元フィルタによる点像復元処理であって、第１のゲインαの復元強度（復元率）の点像復元処理が行われる（ステップＳ１６）。

一方、ステップＳ１０において、検出した光量が閾値Ｔｈ未満の場合（「No」の場合）には、ステップＳ１８に遷移させ、夜間の撮像モードである近赤外光画像撮像モードに切り替える。即ち、カメラコントローラ２８は、赤外カットフィルタ２０を退避させ、かつ近赤外光発光部１５を点灯させ、近赤外光を被写体に照射する（ステップＳ１８）。

続いて、可視光波長帯域及び近赤外光波長帯域に感度をもった近赤外光による撮像（近赤外光画像撮像モード）を行う（ステップＳ２０）。

近赤外光画像撮像モードにて撮像されたＩＲデータは、第２の点像復元フィルタによる点像復元処理が行われる（ステップＳ２２）。即ち、第２の点像復元フィルタ処理部１２０、乗算器１２２、及び加算器１４０に基づく第２の点像復元フィルタによる点像復元処理であって、第２のゲインβの復元強度（復元率）の点像復元処理が行われる。尚、第２のゲインβは、「復元強度設定の第１の実施形態」において設定される第２のゲインβ１であり、第１のゲインαよりも大きいゲインである。

続いて、夜間の撮像を終了させるか否かを判別し（ステップＳ２４）、撮像を終了させない場合（「No」の場合）には、ステップＳ２０に遷移させ、ステップＳ２０からステップＳ２４までの処理を繰り返し、一方、撮像を終了させる場合（「Yes」の場合）には、本撮像動作を終了させる。

尚、夜間の撮像を終了させずに、光量が日中に対応する値（例えば、閾値Ｔｈと近赤外光の照射による増加分の光量との和）に達すると、再び可視光画像撮像モードに切り替え、ステップＳ１０からステップＳ１６の処理を行うようにしてもよい。

［画像処理方法の第２の実施形態］
図１０は本発明に係る画像処理方法の第２の実施形態を示すフローチャートである。図９に示した処理と共通の処理を行うステップには同一のステップ番号を付し、その詳細な説明は省略する。

図１０に示す画像処理方法は、夜間（近赤外光）の撮像時に近赤外光発光部１５から近赤外光が被写体に照射されているか否かに応じてＩＲデータに対する復元強度を変更する点で、図９に示した画像処理方法の第１の実施形態と相違する。

即ち、ステップＳ３０では、赤外カットフィルタ２０が退避した状態での撮像（近赤外光による撮像）が行われるが、近赤外光による撮像には、近赤外光発光部１５が点灯され、近赤外光が被写体に照射された状態での撮像と、近赤外光発光部１５が消灯され、近赤外光発光部１５から近赤外光が被写体に照射されていない状態での撮像とが含まれる。

ステップＳ３２は、ステップＳ３０における近赤外光による撮像時に近赤外光発光部１５が点灯された否かが判別され、点灯されたと判別されると（「Yes」の場合）、ステップＳ２２に遷移させ、点灯されていないと判別されると（「No」の場合）、ステップＳ３４に遷移させる。

ステップＳ２２では、ステップＳ３０での撮像時に取得したＩＲデータに対して、図９に示したステップＳ２２と同様に第２の点像復元フィルタによる点像復元処理であって、第２のゲインβ１の復元強度（復元率）の点像復元処理が行われる。尚、第２のゲインβ１は、輝度データＹに対する第１のゲインαよりも大きいゲインである。

一方、ステップＳ３４では、ステップＳ３０での撮像時に取得したＩＲデータに対して、第２の点像復元フィルタによる点像復元処理であって、第２のゲインβ２の復元強度（復元率）の点像復元処理が行われる。尚、第２のゲインβ２は、輝度データＹに対する第１のゲインαよりも小さいゲインである。

このように輝度データＹに対する点像復元処理による復元強度（第１のゲインα）よりもＩＲデータに対する点像復元処理による復元強度（第２のゲインβ２）を弱くする理由は、近赤外光発光部１５から近赤外光が被写体に照射されていないため、ＩＲデータのＳ／Ｎ比が低く、復元強度を強くすると、アーティファクトが発生する過補正となりやすいからである。

＜点像復元処理部の第２の実施形態＞
次に、図７に示した点像復元処理部４８の第２の実施形態について説明する。

図１１は、第２の実施形態の点像復元処理部４８を示すブロック図である。第２の実施形態の点像復元処理部４８は、主として点像復元フィルタ処理部２００、第１の点拡がり関数記憶部２１０、第２の点拡がり関数記憶部２２０、及び点像復元フィルタ生成部２３０から構成されている。

点像復元フィルタ処理部２００は、撮像モードに応じて輝度データＹ又はＩＲデータを入力し、入力した画像データ（輝度データＹ又はＩＲデータ）に対して、点像復元フィルタ生成部２３０により生成された第１の点像復元フィルタＦ_１及び第２の点像復元フィルタＦ_２のうちのいずれかの点像復元フィルタを用いた点像復元処理を行い、点像復元処理された画像データを算出する。即ち、点像復元フィルタ処理部２００は、入力する画像データのうちの処理対象画素を中心とする所定のカーネルサイズ（点像復元フィルタと同じカーネルサイズであって、例えば、７×７、９×９等）の画像データと、第１の点像復元フィルタＦ_１及び第２の点像復元フィルタＦ_２のうちのいずれかの点像復元フィルタとの逆畳み込み演算（デコンボリューション演算）を行い、点像復元処理した画像データを算出する。

第１の点拡がり関数記憶部２１０は、光学系（レンズ１６等）の可視光に対する第１の点拡がり関数（第１のＰＳＦ）を記憶する記憶部である。

第２の点拡がり関数記憶部２２０は、光学系（レンズ１６等）の近赤外光に対する第２の点拡がり関数（第２のＰＳＦ）を記憶する記憶部である。

第１のＰＳＦ及び第２のＰＳＦは、それぞれ可視光のみの光源及び近赤外光のみの光源による照明条件下で点像を撮像し、これらの撮像時に得られる点像の画像データに基づいて測定されるもので、予め製品出荷前に計測され、第１の点拡がり関数記憶部２１０及び第２の点拡がり関数記憶部２２０に記憶されている。

点像復元フィルタ生成部２３０は、第１の点拡がり関数記憶部２１０又は第２の点拡がり関数記憶部２２０から第１のＰＳＦ又は第２のＰＳＦを読み出し、読み出したＰＳＦに基づいて第１の点像復元フィルタＦ_１及び第２の点像復元フィルタＦ_２のうちのいずれかの点像復元フィルタを生成する。

一般に、ＰＳＦによるボケ画像の復元には、コンボリュージョン型のウィナー(Wiener)フィルタを利用することができる。ＰＳＦ(x,y)をフーリエ変換した光学伝達関数(ＯＴＦ：Optical Transfer Function)と信号対雑音比（ＳＮＲ：Signal to Noise Ratio）の情報を参照して、以下の式によって点像復元フィルタの周波数特性ｄ（ω_ｘ，ω_ｙ）を算出することができる。

ここでＨ（ω_ｘ，ω_ｙ）はＯＴＦを表し、Ｈ^＊（ω_ｘ，ω_ｙ）はその複素共役を表す。また、ＳＮＲ（ω_ｘ，ω_ｙ）は信号対雑音比を表す。

点像復元フィルタのフィルタ係数の設計は、フィルタの周波数特性が、所望のWiener周波数特性に最も近くなるように係数値を選択する最適化問題であり、任意の公知の手法によってフィルタ係数が適宜算出される。

上記［数２］式のＯＴＦの代わりに、ＯＴＦの振幅成分を示す変調伝達関数（ＭＴＦ：Modulation Transfer Function）を使用し、点像復元フィルタを算出するようにしてもよい。

点像復元フィルタ生成部２３０には、カメラコントローラ２８から撮像モード情報が加えられており、点像復元フィルタ生成部２３０は、撮像モード情報が可視光画像撮像モードを示す場合には、第１の点拡がり関数記憶部２１０から第１のＰＳＦを読み出し、読み出した第１のＰＳＦに基づいて第１の点像復元フィルタＦ_１を生成する。

同様に点像復元フィルタ生成部２３０は、撮像モード情報が近赤外光画像撮像モードを示す場合には、第２の点拡がり関数記憶部２２０から第２のＰＳＦを読み出し、読み出した第２のＰＳＦに基づいて第２の点像復元フィルタＦ_２を生成する。

但し、点像復元フィルタ生成部２３０は、第１の点像復元フィルタＦ_１を使用して輝度データＹを点像復元処理（第１の点像復元処理）する際の復元強度よりも、第２の点像復元フィルタＦ_２を使用してＩＲデータを点像復元処理（第２の点像復元処理）する際の復元強度が強くなるように、第１の点像復元フィルタＦ_１と第２の点像復元フィルタＦ_２とを生成する。

復元強度の異なる点像復元フィルタの生成方法の一例としては、前述したウィナーフィルタを表す［数２］式中の１／ＳＮＲ（ω_ｘ，ω_ｙ）の値を適宜調整し、点像復元フィルタ生成することが考えられる。

［数２］式中の１／ＳＮＲ（ω_ｘ，ω_ｙ）を正確に求めることは困難であるため、適当な定数Γで近似している（１／ＳＮＲ（ω_ｘ，ω_ｙ）≒Γ）。この定数Γの大きさを変化させると、復元強度が異なる点像復元フィルタを生成することができ、定数Γを小さくすると、復元強度を強くする点像復元フィルタを生成することができる。

即ち、点像復元フィルタ生成部２３０は、第２の点拡がり関数記憶部２２０から第２のＰＳＦを読み出し、読み出した第２のＰＳＦに基づいて第２の点像復元フィルタＦ_２を生成する場合であって、近赤外光発光部１５から近赤外光が被写体に照射された状態で撮像されたＩＲデータに対する第２の点像復元フィルタＦ_２を生成する場合には、ウィナーフィルタを表す［数２］式中の１／ＳＮＲ（ω_ｘ，ω_ｙ）を近似する定数Γを、輝度データＹに対する第１の点像復元フィルタＦ_１を生成するときの定数Γよりも小さい値を使用して第２の点像復元フィルタＦ_２を生成する。これにより、近赤外光が被写体に照射された状態で撮像されたＩＲデータに対する第２の点像復元処理による復元強度を、輝度データＹに対する第１の点像復元処理による復元強度よりも強くすることができる。

尚、近赤外光発光部１５から近赤外光が被写体に照射されない状態で撮像されたＩＲデータに対する第２の点像復元フィルタＦ_２を生成する場合には、定数Γを輝度データＹに対する第１の点像復元フィルタＦ_１を生成するときの定数Γよりも大きい値を使用して第２の点像復元フィルタＦ_２を生成し、これにより、近赤外光が被写体に照射されない状態で撮像されたＩＲデータに対する第２の点像復元処理による復元強度を、輝度データＹに対する第１の点像復元処理による復元強度よりも弱くする。

上記のようにして点像復元フィルタ生成部２３０により生成された第１の点像復元フィルタＦ_１又は第２の点像復元フィルタＦ_２は、点像復元フィルタ処理部２００に出力される。

可視光画像撮像モードの場合、点像復元フィルタ処理部２００には、輝度データＹが入力するとともに、点像復元フィルタ生成部２３０からは第１の点像復元フィルタＦ_１が入力し、点像復元フィルタ処理部２００は、輝度データＹと第１の点像復元フィルタＦ_１とのデコンボリューション演算を行い、点像復元処理した輝度データＹを算出する。

一方、近赤外光画像撮像モードの場合、点像復元フィルタ処理部２００には、ＩＲデータが入力するとともに、点像復元フィルタ生成部２３０からは第２の点像復元フィルタＦ_２が入力し、点像復元フィルタ処理部２００は、ＩＲデータと第２の点像復元フィルタＦ_２とのデコンボリューション演算を行い、点像復元処理したＩＲデータを算出する。

尚、ＰＳＦは、絞り値（Ｆ値）、ズーム倍率、被写体距離、画角（像高）等の撮像条件により変化するため、第１の点拡がり関数記憶部２１０及び第２の点拡がり関数記憶部２２０は、撮像条件に応じた複数の第１のＰＳＦ及び第２のＰＳＦを記憶しておくことが好ましく、点像復元フィルタ生成部２３０は、撮像条件に対応する第１のＰＳＦ又は第２のＰＳＦを読み出し、読み出した第１のＰＳＦ又は第２のＰＳＦに基づいて第１の点像復元フィルタＦ_１又は第２の点像復元フィルタＦ_２を生成することが好ましい。

＜点像復元処理部の第３の実施形態＞
次に、図７に示した点像復元処理部４８の第３の実施形態について説明する。

図１２は、第３の実施形態の点像復元処理部４８を示すブロック図である。尚、図１１に示した第２の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１２に示す第３の実施形態の点像復元処理部４８は、図１１に示した第１の点拡がり関数記憶部２１０及び第２の点拡がり関数記憶部２２０の代わりに第１の点像復元フィルタ記憶部２４０及び第２の点像復元フィルタ記憶部２５０を有し、図１１に示した点像復元フィルタ生成部２３０の代わりに点像復元フィルタ選択部２６０を有する点で相違する。

即ち、第３の実施形態は、予め第１のＰＳＦ及び第２のＰＳＦに基づいて第１の点像復元フィルタＦ_１及び第２の点像復元フィルタＦ_２を生成し、生成した第１の点像復元フィルタＦ_１及び第２の点像復元フィルタＦ_２を、それぞれ第１の点像復元フィルタ記憶部２４０及び第２の点像復元フィルタ記憶部２５０に記憶させている。

尚、第１の点像復元フィルタＦ_１及び第２の点像復元フィルタＦ_２は、図１１に示した点像復元フィルタ生成部２３０により生成した方法と同様にして生成されている。例えば、近赤外光発光部１５から近赤外光が被写体に照射された状態で撮像されたＩＲデータに対する第２の点像復元フィルタＦ_２は、輝度データＹに対する第１の点像復元フィルタＦ_１を使用した第１の点像復元処理による復元強度よりも、ＩＲデータに対する第２の点像復元フィルタＦ_２を使用した第２の点像復元処理による復元強度が強くなるように生成されている。

点像復元フィルタ選択部２６０には、カメラコントローラ２８から撮像モード情報が加えられており、点像復元フィルタ選択部２６０は、撮像モード情報が可視光画像撮像モードを示す場合には、第１の点像復元フィルタ記憶部２４０に記憶されている第１の点像復元フィルタＦ_１を選択し、選択した第１の点像復元フィルタＦ_１を点像復元フィルタ処理部２００に出力する。

同様に点像復元フィルタ選択部２６０は、撮像モード情報が近赤外光画像撮像モードを示す場合には、第２の点像復元フィルタ記憶部２５０に記憶されている第２の点像復元フィルタＦ_２を選択し、選択した第２の点像復元フィルタＦ_２を点像復元フィルタ処理部２００に出力する。

＜画像処理装置の第２の実施形態＞
図１３は、図５に示したカメラコントローラ２８内の画像処理部３５の第２の実施形態を示すブロック図である。尚、図７に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１３に示す第２の実施形態の画像処理部３５は、第１の実施形態の画像処理部３５が可視光画像の輝度データＹに対して点像復元処理を行うのに対し、可視光画像を示す第１の色データ（Ｇデータ）と、輝度データを得るための寄与率が第１の色データ（Ｇデータ）よりも低い２色以上の第２の色データ（Ｒデータ、Ｂデータ）に対し、各ＲＧＢデータに対応する第１の点像復元フィルタを用いた点像復元処理を行う点で相違する。

即ち、図１３に示す点像復元処理部１４８には、可視光画像撮像モード時には、第１の階調補正処理部４５から階調補正されたＲＧＢ３面のＲＧＢデータが加えられ、近赤外光画像撮像モード時は、第２の階調補正処理部４６から階調補正されたＩＲデータが加えられる。

点像復元処理部１４８は、光学系（レンズ１６等）の可視光（Ｒ光）に対する第１の点拡がり関数に基づく第１の点像復元フィルタＦ_１Ｒ、光学系のＧ光に対する第１の点拡がり関数に基づく第１の点像復元フィルタＦ_１Ｇ、及び光学系のＢ光に対する第１の点拡がり関数に基づく第１の点像復元フィルタＦ_１Ｂを用いて、各ＲＧＢデータに対して点像復元処理を行う。

また、点像復元処理部１４８は、ＩＲデータに対しては、図７に示した第１の実施形態の点像復元処理部４８がＩＲデータに対して行う点像復元処理と同様の点像復元処理を行う。

第２の実施形態の点像復元処理部１４８によれば、可視光画像を示すＲＧＢデータに対し、色毎に対応する第１の点像復元フィルタＦ_１Ｒ、Ｆ_１Ｇ及びＦ_１Ｂを用いて点像復元処理を行うため、より精度の高い点像復元処理を行うことができ、倍率色収差の補正も可能である。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における点像復元処理は、特定の撮像条件（例えば、絞り値、Ｆ値、焦点距離、像高等）に応じた点拡がり（点像ボケ）を、本来の被写体像に復元する画像処理であるが、本発明を適用可能な画像処理は、上述の実施形態における点像復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Extended Depth of Field(Focus)）を有する光学系（レンズ等）によって撮像取得された画像データに対する点像復元処理に対しても、本発明に係る点像復元処理を適用することが可能である。

ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮像取得されるボケ画像の画像データに対して点像復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データに復元することができる。この場合、ＥＤｏＦ光学系の伝達関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ（Phase Transfer Function)等）に基づく点像復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する点像復元フィルタを用いた復元処理が行われる。

図１４は、ＥＤｏＦ光学系を備える撮像モジュール３００の一形態を示すブロック図である。本例の撮像モジュール（撮像装置１０に搭載されるカメラヘッド）３００は、ＥＤｏＦ光学系（レンズユニット）３１０と、撮像素子３２０と、ＡＤ変換部３３０と、を含む。

図１５は、ＥＤｏＦ光学系３１０の一例を示す図である。本例のＥＤｏＦ光学系３１０は、単焦点の固定されたレンズ３１２と、瞳位置に配置される光学フィルタ３１４とを有する。光学フィルタ３１４は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系３１０（レンズ３１２）をＥＤｏＦ化する。このように、レンズ３１２及び光学フィルタ３１４は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

尚、ＥＤｏＦ光学系３１０は必要に応じて他の構成要素を含み、例えば光学フィルタ３１４の近傍には絞り（図示省略）が配設されている。また、光学フィルタ３１４は、１枚でもよいし、複数枚を組合せたものでもよい。また、光学フィルタ３１４は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系３１０（レンズ３１２）のＥＤｏＦ化は、他の手段によって実現されてもよい。例えば、光学フィルタ３１４を設ける代わりに、本例の光学フィルタ３１４と同等の機能を有するようにレンズ設計されたレンズ３１２によってＥＤｏＦ光学系３１０のＥＤｏＦ化を実現してもよい。

即ち、撮像素子３２０の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系３１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系３１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ３１４（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずにレンズ３１２自体によって形成可能なケースに対しても、本発明は応用可能である。

図１４及び図１５に示すＥＤｏＦ光学系３１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能である。尚、ＥＤｏＦ光学系３１０の光路内、又はＥＤｏＦ光学系３１０と撮像素子３２０との間には、図１に示した撮像装置１０と同様に赤外カットフィルタを出し入れする機構（図示せず）が設けられている。

ＥＤｏＦ化されたＥＤｏＦ光学系３１０を通過後の光学像は、図１４に示す撮像素子３２０に結像され、ここで電気信号に変換される。

撮像素子３２０としては、図１に示した撮像素子２６と同様のものが適用できる。ＡＤ（Analog-to-Digital）変換部３３０は、撮像素子３２０から画素毎に出力されるアナログのＲＧＢ信号をデジタルのＲＧＢ信号に変換する。ＡＤ変換部３３０によりデジタルの画像信号に変換されたデジタル画像信号は、ＲＡＷデータとして出力される。

撮像モジュール３００から出力されるＲＡＷデータに対し、図７及び図１３に示した画像処理部（画像処理装置）３５を適用することにより、広範囲でピントが合った状態の高解像度の可視光画像及び近赤外光画像を示す画像データを生成することができる。

即ち、図１６の符号１３１１に示すように、ＥＤｏＦ光学系３１０を通過後の点像（光学像）は、大きな点像（ボケ画像）として撮像素子３２０に結像されるが、画像処理部（画像処理装置）３５の点像復元処理部４８又は点像復元処理部１４８による点像復元処理により、図１６の符号１３１２に示すように小さな点像（高解像度の画像）に復元される。

また、本発明を適用可能な態様は、監視カメラ又はデジタルカメラには限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。

［その他］
上述の各実施形態では、画像処理部（画像処理装置）３５が、撮像装置１０（カメラコントローラ２８）に設けられる態様について説明したが、コンピュータ６０やサーバ８０等の他の装置に画像処理部（画像処理装置）３５が設けられてもよい。

例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる画像処理部（画像処理装置）３５によってこの画像データの点像復元処理が行われてもよい。また、サーバ８０が画像処理部（画像処理装置）３５を備える場合、例えば、撮像装置１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の画像処理部（画像処理装置）３５においてこの画像データに対して点像復元処理が行われ、点像復元処理後の画像データが送信元に送信又は提供されるようにしてもよい。

また、上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の各装置及び処理部（カメラコントローラ２８、デバイス制御部３４、画像処理部３５）における画像処理方法（画像処理手順）をコンピュータに実行させる画像処理プログラム、その画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはその画像処理プログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

また、図１及び図２に示した撮像装置１０のフィルタ装置２４は、赤外カットフィルタ２０を退避させたとき、ダミーガラスを撮像光路に挿入するようにしてもよい。ダミーガラスとしては、赤外カットフィルタ２０と同じ屈折率及び厚みを有することが好ましい。これによれば、赤外カットフィルタ２０からダミーガラスに切り替えても焦点位置が変動しないようにすることができる。

更に、撮像装置１０において、フィルタ装置２４を設けずに可視光画像の撮像用の画素と近赤外光画像の撮像用の画素とを有する撮像素子を用いるようにしてもよい。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…レンズユニット（光学系）、１５…近赤外光発光部、１６、３１２…レンズ、１８…光学系操作部、２０…赤外カットフィルタ、２４…フィルタ装置、２６、３２０…撮像素子、２８…カメラコントローラ、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、４１…オフセット補正処理部、４２…ゲイン補正処理部、４３…デモザイク処理部、４５…第１の階調補正処理部、４６…第２の階調補正処理部、４７…輝度及び色差変換処理部、４８、１００、１４８…点像復元処理部、１１０…第１の点像復元フィルタ処理部、１１２、１２２…乗算器、１２０…第２の点像復元フィルタ処理部、１３０…切替えスイッチ、１４０…加算器、１５０…復元率制御部、１６０…判別部、２００…点像復元フィルタ処理部、２１０…第１の点拡がり関数記憶部、２２０…第２の点拡がり関数記憶部、２３０…点像復元フィルタ生成部、２４０…第１の点像復元フィルタ記憶部、２５０…第２の点像復元フィルタ記憶部、２６０…点像復元フィルタ選択部、３００…撮像モジュール、３１０…ＥＤｏＦ光学系、３１４…光学フィルタ

Claims (15)

1. 光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す第１の画像データと、前記光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む第２の画像データとを取得する画像取得部と、
   前記取得した前記第１の画像データに対し、前記光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いた第１の点像復元処理を行う第１の点像復元処理部と、
   前記取得した前記第２の画像データに対し、前記光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた第２の点像復元処理を行う第２の点像復元処理部であって、近赤外光が照射されて撮像された前記第２の画像データに対する前記第２の点像復元処理による復元強度を、前記第１の点像復元処理部により行われる前記第１の点像復元処理による復元強度よりも強くする前記第２の点像復元処理部と、
   を備えた画像処理装置。
2. 赤外カットフィルタが撮像光路に挿入された光学系を用いて撮像された第１の画像データと、前記赤外カットフィルタが撮像光路から退避された前記光学系を用いて撮像された第２の画像データとを取得する画像取得部と、
   前記取得した前記第１の画像データに対し、前記光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いた第１の点像復元処理を行う第１の点像復元処理部と、
   前記取得した前記第２の画像データに対し、前記光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた第２の点像復元処理を行う第２の点像復元処理部であって、近赤外光が照射されて撮像された前記第２の画像データに対する前記第２の点像復元処理による復元強度を、前記第１の点像復元処理部により行われる前記第１の点像復元処理による復元強度よりも強くする前記第２の点像復元処理部と、
   を備えた画像処理装置。
3. 前記第２の点像復元処理部は、近赤外光が照射されずに撮像された前記第２の画像データに対する前記第２の点像復元処理による復元強度を、前記第１の点像復元処理部により行われる前記第１の画像データに対する前記第１の点像復元処理による復元強度よりも弱くする請求項１又は２に記載の画像処理装置。
4. 前記取得した前記第２の画像データが、近赤外光発光部から近赤外光が照射されずに撮像され、かつ可視光と近赤外光とが混在した光源下で撮像された前記第２の画像データか否かを判別する判別部を備え、
   前記第２の点像復元処理部は、前記取得した前記第２の画像データが、前記判別部により近赤外光が照射されずに撮像され、かつ可視光成分と近赤外光成分とを含む前記第２の画像データであると判別されると、前記第２の点像復元処理による復元強度を、近赤外光が照射されずに撮像され、かつ可視光成分を含まない前記第２の画像データに対する前記第２の点像復元処理による復元強度よりも強くする請求項３に記載の画像処理装置。
5. 前記第２の点像復元処理部は、前記第２の点像復元処理による前記第２の画像データの復元率を調整する復元率制御部を有し、
   前記復元率制御部は、近赤外光が照射されて撮像された前記第２の画像データの復元率を、前記第１の点像復元処理による前記第１の画像データの復元率よりも大きくする請求項１又は２に記載の画像処理装置。
6. 前記第２の点像復元処理部は、前記第２の点像復元処理による前記第２の画像データの復元率を調整する復元率制御部を有し、
   前記復元率制御部は、近赤外光が照射されずに撮像された前記第２の画像データの復元率を、前記第１の点像復元処理による前記第１の画像データの復元率よりも小さくする請求項１又は２に記載の画像処理装置。
7. 前記第１の画像データは、第１の色データと、輝度データを得るための寄与率が前記第１の色データよりも低い２色以上の第２の色データとからなり、
   前記第１の点像復元処理部は、前記第１の画像データから生成された輝度データに対し、前記輝度データに対応する前記第１の点像復元フィルタを用いた第１の点像復元処理を行う請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記第１の画像データは、第１の色データと、輝度データを得るための寄与率が前記第１の色データよりも低い２色以上の第２の色データとからなり、
   前記第１の点像復元処理部は、前記第１の色データ及び前記２色以上の各第２の色データに対し、前記第１の色データ及び前記２色以上の各第２の色データにそれぞれ対応する前記第１の点像復元フィルタを用いた第１の点像復元処理を行う請求項１から６のいずれか１項に記載の画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置と、
   赤外カットフィルタが撮像光路に挿入され、又は撮像光路から退避可能な前記光学系と、を備え、
   前記画像取得部は、前記赤外カットフィルタが撮像光路に挿入された前記光学系を用いて被写体を撮像し、該被写体の可視光画像を示す第１の画像データを取得し、前記赤外カットフィルタが撮像光路から退避された前記光学系を用いて被写体を撮像し、該被写体の近赤外光画像を示す第２の画像データを取得する撮像部であり、
   前記撮像部は、前記光学系による被写体のフォーカス位置を調整するフォーカス調整部を有し、前記フォーカス調整部は、前記赤外カットフィルタが撮像光路に挿入された前記光学系を用いて撮像される被写体に対して、前記フォーカス位置が調整されている撮像装置。
10. 近赤外光画像の撮像時に近赤外光を補助光として発光する近赤外光発光部を更に備えた請求項９に記載の撮像装置。
11. 光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す第１の画像データと、前記光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む第２の画像データとを取得するステップと、
    前記取得した前記第１の画像データに対し、前記光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いた第１の点像復元処理を行うステップと、
    前記取得した前記第２の画像データに対し、前記光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた第２の点像復元処理を行うステップであって、近赤外光が照射されて撮像された前記第２の画像データに対する前記第２の点像復元処理による復元強度を、前記第１の点像復元処理による復元強度よりも強くするステップと、
    を含む画像処理方法。
12. 前記第２の点像復元処理を行うステップは、近赤外光が照射されずに撮像された前記第２の画像データに対する前記第２の点像復元処理による復元強度を、前記第１の画像データに対する前記第１の点像復元処理による復元強度よりも弱くする請求項１１に記載の画像処理方法。
13. 光学系を用いて可視光波長帯域に感度をもって撮像された可視光画像を示す第１の画像データと、前記光学系を用いて可視光波長帯域及び近赤外光波長帯域に感度をもって撮像された近赤外光画像を含む第２の画像データとを取得するステップと、
    前記取得した前記第１の画像データに対し、前記光学系の可視光に対する第１の点拡がり関数に基づく第１の点像復元フィルタを用いた第１の点像復元処理を行うステップと、
    前記取得した前記第２の画像データに対し、前記光学系の近赤外光に対する第２の点拡がり関数に基づく第２の点像復元フィルタを用いた第２の点像復元処理を行うステップであって、近赤外光が照射されて撮像された前記第２の画像データに対する前記第２の点像復元処理による復元強度を、前記第１の点像復元処理による復元強度よりも強くするステップと、
    をコンピュータに実行させる画像処理プログラム。
14. 前記第２の点像復元処理を行うステップは、近赤外光が照射されずに撮像された前記第２の画像データに対する前記第２の点像復元処理による復元強度を、前記第１の画像データに対する前記第１の点像復元処理による復元強度よりも弱くする請求項１３に記載の画像処理プログラム。
15. 請求項１３または１４に記載の画像処理プログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。