JP6234201B2 - 撮像装置、画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、デジタルカメラやデジタルビデオカメラなどの撮像装置に関する。

昼間では赤外カットフィルタを使用した可視光撮影を行い、夜間では可視光撮影が困難であるため、赤外カットフィルタを退避させて赤外光撮影（近赤外光撮影を含む）を行う監視カメラは知られている。一般に、撮影光学系は、４００〜７００ｎｍ程度の可視光領域において諸収差を補正しているが、それ以上の長波長を含む光線では、軸上色収差や倍率色収差などによって光学性能が劣化し、良好な画像を得ることが困難になる。なお、近赤外光は８００ｎｍ〜２５００ｎｍの波長を有する光であり、赤外光は２５００ｎｍ〜２５０００ｎｍの波長を有する光である。

特許文献１は、カラー画像素子によって取り込んだ画像情報をレンズによるボケを解消するフィルタリング処理を行う際に、特定受光部からのデータのみにフィルタリング処理を行って処理を迅速にする撮像装置を提案している。また、特許文献２は、被写体の分光パラメータをＧＵＩによって設定し、それによって分光スペクトルを算出し、その情報に基づいて画像回復フィルタを作成して回復処理を行う撮像装置を提案している。特許文献３は、画像回復処理について開示している。

特開２０１１−１３０２４２号公報 特開２０１１−１１８５５５号公報 特開２０１３−１７２２１３号公報

しかしながら、特許文献１の撮像装置は、センサの特定波長に対する処理を行っているだけあるため、可視光撮影と赤外光撮影のそれぞれに対して収差補正を行うことができない。また、特許文献２の撮像装置も可視光撮影と赤外光撮影のそれぞれに対して良好な画像を得ることができない。

本発明は、使用波長を切り替えて撮像を行う場合に切り替えの前後で良好な画像を取得することが可能な撮像装置、画像処理装置、画像処理方法およびプログラムを提供することを例示的な目的とする。

本発明の画像処理装置は、撮影光学系を介して画像を撮像する際に所定の波長領域の光を制限する波長フィルタが前記撮影光学系の光路に挿入されていたか否かを示す情報を取得し、前記波長フィルタが前記撮影光学系の光路に挿入されていた場合に第１の画像回復フィルタを選択し、前記波長フィルタが前記撮影光学系の光路から退避していた場合に第２の画像回復フィルタを選択する制御手段と、前記制御手段により選択された前記第１の画像回復フィルタまたは前記第２の画像回復フィルタを用いて、前記画像を処理する画像処理手段と、を有することを特徴とする。

本発明によれば、使用波長を切り替えて撮像を行う場合に切り替えの前後で良好な画像を取得することができる。

本発明の撮像装置のブロック図である。（実施例１、２） 図１に示す撮像素子の分光透過率の一例を示すグラフである。（実施例１） 図１に示す波長フィルタとしての赤外カットフィルタの分光透過率を示すグラフである。（実施例１、２） 図１に示す撮影光学系の構成例を示す図である。（実施例１、２） 図４に示す撮影光学系の望遠端における収差図である。（実施例１、２） 図１に示す画像処理部による画像回復処理のフローチャートである。（実施例１） 図１に示す撮像素子の分光透過率の一例を示すグラフである。（実施例２） 図１に示す画像処理部による画像回復処理のフローチャートである。（実施例２） 本発明の撮像装置のブロック図である。（実施例３） 図９に示す撮像装置の撮影と画像処理のフローチャートである。（実施例３）

以下、添付図面を参照して、本発明の実施例について説明する。

図１は、実施例１の撮像装置のブロック図である。撮像装置は、デジタルスチルカメラ、デジタルビデオカメラなどであるが、本実施例ではデジタルビデオカメラとして構成されている。本実施例の撮像装置は、レンズ一体型カメラであるが、レンズ交換型カメラであってもよい。

１０１は撮影光学系であり、被写体の光学像を撮像素子１０３上に形成する。撮影光学系１０１の光路（または撮影光学系１０１と撮像素子１０３の間）には、波長フィルタ１０２が波長フィルタ切り換え機構１１０によって挿入および退避可能（抜去可能）に構成されている。波長フィルタ切り替え機構１１０による波長フィルタ１０２の挿抜動作はシステムコントローラー１０９によって制御される。また、実際に波長フィルタ１０２が撮影光学系１０１の光路に挿入されたかどうかは不図示の検出器によって検出され、検出器による検出結果はシステムコントローラー１０９に通知される。

本実施例の波長フィルタ１０２は、赤外光線を制限する赤外カットフィルタであるが、他の可視領域以外の所定の波長領域の光を制限する光学フィルタであってもよい。本実施例では、可視光撮影が可能な昼間などでは、波長フィルタ１０２が挿入され、夜間には波長フィルタ１０２が退避されて近赤外撮影が行われる。

撮像素子１０３は、撮影光学系１０１が形成した被写体の光学像を光電変換する。１０４は、撮像素子１０３からのアナログ電気信号をデジタル信号に変換するＡ／Ｄ変換器である。

図２は、実施例１の撮像素子１０３の分光透過率の一例であり、横軸は波長（ｎｍ）、縦軸は透過率（％）である。Ｂはブルーチャンネル（以下、「Ｂｃｈ」）、Ｇはグリーンチャンネル（以下、「Ｇｃｈ」）、Ｒはレッドチャンネル（以下、「Ｒｃｈ」）に相当する。Ｂｃｈは波長４００ｎｍ〜５３０ｎｍ付近の範囲に可視光の高い透過率特性を有する。Ｇｃｈは波長４８０〜６２０ｎｍの範囲に可視光の高い透過率特性を有する。Ｒｃｈは波長５５０ｎｍの以上の範囲に高い透過率特性を有する。

図２に示すように、Ｂｃｈ、Ｇｃｈは、赤外領域の波長において透過率のピークを持つので、赤外光が入射すると色再現が悪化したり、画質が劣化したりする。Ｒｃｈにおいても、色再現性を高めるためには必要以上の長波長の光線が入ることは望ましくない。

図３は、赤外光を遮断する赤外カットフィルタの波長透過率の一例であり、横軸は波長（ｎｍ）、縦軸は透過率（％）である。この赤外カットフィルタを波長フィルタ１０２として撮影光学系１０１の光軸に挿入することによって撮像素子に赤外光線が到達しないようにしている。赤外カットフィルタは、波長７２０ｎｍ以上の長波長の光線をほぼ遮断し、通常撮影における赤外光による画像劣化を防止している。

図４は、撮影光学系の、代表的な構成を示す。Iは第１レンズ群、IIは第２レンズ群、IIIは第３レンズ群IVは第４レンズ群である。広角端から望遠端までの変倍に際しては、第２レンズ群IIは、矢印に示すように、像側に移動して、第４レンズ群IVは変倍に伴う像面の移動を補正するために移動する。第１レンズ群Iと第３レンズ群IIIは、変倍時には固定である。近距離物体に対しては第４レンズ群IVが物体側に移動することで、フォーカシングが行わる。

図５は、図４に示す撮影光学系の望遠端における球面（及び軸上色）収差と倍率色収差の一例を示す。ｄはｄ線、ｇはｇ線、ｃはＣ線、ＩＲは波長９４０ｎｍの赤外光を表す。ｇ線からＣ線の可視光領域において撮影光学系の収差は良好に補正されているが、赤外領域の光に対しては大きな色収差が発生する。可視光から赤外領域までの波長範囲全域で、光学的に良好に収差を補正するためには、光学系の変倍比等の仕様を下げて望遠側の焦点距離を短くするしかないので、望ましくない。

本実施例は、光学伝達関数（ＯＴＦ）または点像強度分布関数（ＰＳＦ）の情報を用いた画像回復によって撮影光学系１０１に発生する収差による画像劣化を低減して高画質の画像を取得する。一般的な画像回復は、特許文献３の段落００２１〜３８、図３〜図６などに説明されている。

図１に戻り、画像処理部１０５は、Ａ／Ｄ変換器１０４から入力されたデジタル撮像信号に対して各種処理を行う。画像処理部１０５は、カラー入力画像を生成する画像生成部１０５ａと、入力画像に対して画像回復処理を行う画像回復部１０５ｂを有する。

画像処理部１０５は、状態検知部１０７から撮影光学系１０１の状態（以下、「撮像状態」という）の情報を得る。撮像状態とは、例えば、撮影光学系１０１の焦点距離（ズーム位置）、像高、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（被写体距離）を含む。なお、状態検知部１０７は、システムコントローラー１０９から撮像状態の情報を得てもよいし、撮影光学系１０１を制御する撮影光学系制御部１０６から得てもよい。システムコントローラー１０９は、撮像光学系のＯＴＦまたはＳＴＦの情報を、像高、焦点距離、Ｆ値および被写体距離を含む撮影状態ごとに記憶する記憶手段を有する。画像処理部１０５は、撮影状態に対応するＯＴＦまたはＳＴＦの情報を記憶手段から取得して、これを使用して画像回復処理を施す。

画像回復処理に際して、システムコントローラー１０９は撮影光学系１０１の状態に応じた画像回復フィルタ１１２を画像回復フィルタ選択部１１１に指示して選択させる。選択された画像回復フィルタ１１２によって入力画像に対する画像回復処理が行われる。

可視光撮影を行うか赤外光撮影を行うかの情報は、波長フィルタ情報入力部１０８からユーザーによって入力され、システムコントローラー１０９に送信される。

可視光撮影では、波長フィルタ１０２が挿入されて撮影が行われる。波長フィルタ情報入力部１０８からの波長フィルタの挿抜情報はシステムコントローラー１０９に送信される。システムコントローラー１０９は、この情報に基づいて画像回復フィルタ選択部１１１を介して、赤外光をカットした分光に対する撮影光学系１０１の収差に対応したフィルタＡ（第１の画像回復フィルタ）１１２ａを選択する。これによって画像処理部１０５の画像回復部１０５ｂが回復処理を行う。

一方、夜間など十分な可視光強度が得られない状況では、システムコントローラー１０９は、波長フィルタ切り替え機構１１０に指示を出して、波長フィルタ１０２を撮影光学系１０１の光路外に退避させる。

撮影光学系１０１により、赤外領域の波長が支配的な光を利用した撮影が行われ、撮像素子１０３の撮像面に光学像が形成される。赤外領域と可視光領域では撮影光学系１０１のピント位置が異なるので、それに応じた位置に撮影光学系１０１の不図示のフォーカスレンズは、コントラスト方式のオートフォーカス（ＡＦ）で移動される。システムコントローラー１０９は、画像回復フィルタ選択部１１１を介して、赤外光を含む分光に対する撮影光学系１０１の収差に対応したフィルタＢ（第２の画像回復フィルタ）１１２ｂを選択し、これによって画像処理部１０５が回復処理を行う。

図５の収差図に示すように、可視光領域と赤外領域では収差が大きく異なり、ＯＴＦも大きく異なるために、異なる画像回復フィルタを使用する必要がある。実施例１は、波長フィルタ１０２が挿入された可視光撮影用のフィルタＡ１１２ａと、波長フィルタ１０２が退避された赤外光撮影に対応したフィルタＢ１１２ｂとを切り替えて使用している。これにより、撮影時の波長領域を適切に考慮した画像回復が行われ、可視領域外の波長の光に対しても画像回復によって良好な画像を得ることができる。

図６は、実施例１の画像処理部１０５による画像回復処理のフローチャートであり、「Ｓ」はステップ（工程）を表す。画像処理部１０５、システムコントローラー１０９及び画像回復フィルタ選択部１１１は、マイクロコンピュータを構成してもよい。図６に示すフローチャートは、コンピュータに各ステップの機能を実現させるためのコンピュータプログラムとして具現化が可能である。これらは他のフローチャートにも当てはまる。このコンピュータは、本実施例のように撮像装置に設けられてもよいが、パーソナルコンピュータや専用の画像処理装置として構成されてもよい。

Ｓ１では、画像処理部１０５は、撮像素子１０３が生成した撮影画像（入力画像）を取得する。Ｓ２では、画像処理部１０５は、状態検知部１０７から撮像状態の情報を取得する。Ｓ３では、システムコントローラー１０９は、波長フィルタ切り替え機構１１０から波長フィルタ１０２の挿抜情報を取得する。Ｓ１〜Ｓ３の順番は限定されない。

Ｓ４では、システムコントローラー１０９は、波長フィルタ１０２の挿抜情報に基づいて、波長フィルタ１０２が撮影光学系１０１の光路上に位置するか退避しているかを判断する。

システムコントローラー１０９は、画像回復フィルタ選択部１１１を介して、波長フィルタ１０２が光軸上に位置する場合にはフィルタＡ１１２ａを選択し（Ｓ５）、波長フィルタ１０２が光路外に退避した場合にはフィルタＢ１１２ｂを選択する（Ｓ８）。

Ｓ６では、Ｓ１で取得した入力画像に対して、フィルタＡまたはＢとＳ２で使用した撮影情報にて回復処理を行い、回復画像を取得する。このように、波長フィルタ１０２が光路内にある状態と退避した状態で、画像回復フィルタを切り替えることによって、可視光撮影においても赤外光撮影においても良好な画質を得ることができる。

Ｓ７では、画像処理部１０５は画像回復処理以外の必要な処理を行い、出力画像を得て記録媒体１１３に記録される。「その他の必要な処理」としては、補正処理を受けた画像がモザイク画像であれば、色補間処理（デモザイキング処理）、エッジ強調処理、シェーディング補正（周辺光量補正）、歪曲収差補正等を含む。その他の処理の各処理は、上記フローの任意の位置に挿入可能である。図６に示すフローの順序も変更可能である。また、本実施例では、位相成分のみを回復しているが振幅成分にも変化を与えてもよい。

実施例２の撮像装置の構成は図１に示すものと同じである。図７は、実施例２の撮像素子１０３の分光透過率の一例であり、横軸は波長（ｎｍ）、縦軸は透過率（％）である。実施例２において、赤外領域において、ＲＧＢ各チャンネルの分光透過率はほぼ同等であり、赤外カットフィルタの退避時に、撮像素子１０３のＲＧＢ各チャンネルから得られる画像に対する透過率はほぼ同等である。そこで、各チャンネルの色情報を無視してモノクロ画像として扱う。この場合、デモザイキング処理が不要になるので、解像度的には有利になる。

図８は、実施例２の画像処理部１０５による画像回復処理のフローチャートである。図６と同様のステップには同様の参照符号を付している。Ｓ１〜Ｓ８は図６と同じであり、ＲＧＢ各チャンネルに対して異なる透過率に対応した画像が得られるために、最終的にはカラーの出力画像が得られる。このとき、ＲＧＢ各チャンネルに対して異なる回復フィルタが選択され、Ｓ６では各チャンネルに対して異なる回復処理が実行される。

一方、赤外光撮影では、通常のカラー情報を得ることは困難である。波長フィルタ１０２が退避された場合は、Ｓ８でフィルタＢ１１２ｂが選択されるが、本実施例では、撮像素子１０３の赤外領域におけるＲＧＢ各チャンネルの透過率を略一致させることによって、各チャンネルに対して一つの画像回復フィルタを共通に使用している。これにより、画像回復フィルタのデータ量を削減し、必要なメモリ容量を低減している。

Ｓ６では、ＲＧＢ各チャンネルに対して同じ画像回復フィルタが適用されて画像回復を行い、回復画像を取得する。この画像はモノクロ画像である。このため、Ｓ９では、モノクロ処理を施し、デモザイキング処理は行われない。デモザイキング処理以外の処理はＳ７と同様に行われる。

このように、波長フィルタ１０２が退避した状態では、ＲＧＢが一つのチャンネルとして処理されるため、３色で処理される場合よりも、高い空間周波数でサンプリングすることができ、解像力の高い画像を得ることができる。本実施例も、画像回復により、赤外領域で発生する撮影光学系１０１の収差による画像劣化を補正することによって、高画質な画像を得ることができる。

図９は、実施例３の撮像装置のブロック図であり、図１と同一の部材には同一の参照符号を付している。実施例３の撮像装置は、波長フィルタ情報入力部１０８を有さず、被写体輝度判別部１１４、照明制御部１１５、照明光を射出する照明部（照明手段）１１６を有する点で実施例１、２と相違する。

本実施例では、ユーザーが波長フィルタ１０２を切り替えるのではなく、システムコントローラー１０９が撮影画像の輝度に基づいて波長フィルタ１０２を切り替える。また、本実施例のシステムコントローラー１０９は、可視光の輝度が低いときは、赤外領域の波長を持つ照明を被写体に投射して撮影に十分な輝度を確保している。

被写体輝度判別部１１４は、撮像素子１０３からの出力によって被写体の輝度が閾値以下かどうかを判別する。照明制御部１１５は、被写体の可視光における光量が十分でなく、撮影が困難な際に照明部１１６を制御して被写体を照明する。照明部１１６は、被写体の輝度が不足しているときに被写体を照明し、本実施例では赤外の波長領域の光源である。本実施例では、被写体が不審者等である場合に、被写体に撮像装置の存在を認識されて破壊等によって撮影が妨害されることに対する対策として、光源の波長範囲を赤外光としている。

図１０は、本実施例における撮影と画像処理のフローチャートである。

まず、被写体輝度判別部１１４が、波長フィルタ１０２を挿入した状態で撮像素子１０３によって撮像された被写体画像をＡ／Ｄ変換器１０４から取得し（Ｓ２１）、被写体の輝度が、可視光撮影が困難な閾値以下であるかどうかを判断する（Ｓ２２）。輝度が閾値以下である場合、システムコントローラー１０９は、照明指示信号を照明制御部１１５に送信し（Ｓ２３）、照明制御部１１５によって照明部１１６が点灯されて、被写体が照明される。次に、システムコントローラー１０９は、波長フィルタ切り替え機構１１０を介して波長フィルタ１０２を退避させて（Ｓ２４）撮影を行う（Ｓ２５）。

一方、輝度が閾値よりも高い場合、照明部１１６は点灯されず、波長フィルタ１０２も退避されず、システムコントローラー１０９によってそのまま撮影が行われる（Ｓ２５）。Ｓ２５でＳ１と同様の撮影画像が得られているので、その後は、図６または図８に示すＳ２移行が行われる。

以上、本発明の実施例について説明したが、本発明は、その要旨の範囲内で種々の変形及び変更が可能である。

本発明によれば、可視領域の波長と可視領域外の波長との間で使用波長を切り替えて撮像を行う場合に切り替えの前後で良好な画像を取得することができるが、特に、可視領域の波長と可視領域外の波長との間で使用波長を切り替える場合にその効果が大きい。

本発明は、デジタルビデオカメラや監視カメラなどの撮像装置の用途に適用可能である。

１０１…撮影光学系、１０２…波長フィルタ、１０５…画像処理部（画像処理手段）、１０９…システムコントローラー（制御手段）、１１２ａ…フィルタＡ（第１の画像回復フィルタ）、１１２ｂ…フィルタＢ（第２の画像回復フィルタ）

Claims (14)

1. 撮影光学系を介して画像を撮像する際に所定の波長領域の光を制限する波長フィルタが前記撮影光学系の光路に挿入されていたか否かを示す情報を取得し、前記波長フィルタが前記撮影光学系の光路に挿入されていた場合に第１の画像回復フィルタを選択し、前記波長フィルタが前記撮影光学系の光路から退避していた場合に第２の画像回復フィルタを選択する制御手段と、
   前記制御手段により選択された前記第１の画像回復フィルタまたは前記第２の画像回復フィルタを用いて、前記画像を処理する画像処理手段と、
   を有することを特徴とする画像処理装置。
2. 撮影光学系が形成した被写体の光学像を光電変換する撮像素子と、
   前記撮像素子を用いて画像を撮像する際に、所定の波長領域の光を制限する波長フィルタが前記撮影光学系の光路に挿入されていたか否かを示す情報を取得し、前記波長フィルタが前記撮影光学系の光路に挿入されていた場合に第１の画像回復フィルタを選択し、前記波長フィルタが前記撮影光学系の光路から退避していた場合に第２の画像回復フィルタを選択する制御手段と、
   前記制御手段により選択された前記第１の画像回復フィルタまたは前記第２の画像回復フィルタを用いて、前記画像を処理する画像処理手段と、
   を有することを特徴とする撮像装置。
3. 前記所定の波長領域は可視領域外の波長領域であることを特徴とする請求項２に記載の撮像装置。
4. 前記波長フィルタは赤外光を制限する赤外カットフィルタであることを特徴とする請求項３に記載の撮像装置。
5. 前記撮影光学系を更に有することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記画像処理手段は、前記撮影光学系を介して前記画像を撮像する際に前記波長フィルタが前記撮影光学系の光路に挿入されていた場合と前記波長フィルタが前記撮影光学系の光路から退避されていた場合において、同じデモザイキング処理を施すことを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
7. 前記画像処理手段は、前記撮影光学系を介して前記画像を撮像する際に前記波長フィルタが前記撮影光学系の光路から退避されていた場合は、前記撮像素子のＲＧＢの各チャンネルに対して同じ第２の画像回復フィルタを用いて前記画像を処理することを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
8. 前記波長フィルタが前記撮影光学系の光路に挿入されている状態において撮像された前記画像の輝度が閾値以下である場合は、前記制御手段は、前記波長フィルタを前記撮影光学系の光路から退避させて撮像することを特徴とする請求項２乃至７のいずれか１項に記載の撮像装置。
9. 前記所定の波長領域の照明光を射出する照明手段を更に有し、
   前記波長フィルタが前記撮影光学系の光路に挿入されている状態において撮像された前記画像の輝度が閾値以下である場合は、前記制御手段は、前記照明手段を点灯させて撮像することを特徴とする請求項８に記載の撮像装置。
10. 前記撮影光学系の光学伝達関数または点像強度分布関数の情報を、像高、焦点距離、Ｆ値および被写体距離の少なくとも一つを含む撮影状態ごとに記憶する記憶手段を更に有し、
    前記画像処理手段は、前記撮影状態に対応する前記撮影光学系の前記光学伝達関数または前記点像強度分布関数の情報を前記記憶手段から取得して前記処理を施すことを特徴とする請求項２に記載の撮像装置。
11. 前記第１の画像回復フィルタは、前記撮像素子のＲＧＢの各チャンネルに対して互いに異なるフィルタであり、
    前記画像処理手段は、前記第１の画像回復フィルタまたは前記第２の画像回復フィルタを用いて処理された画像に対してデモザイキング処理を施すことを特徴とする請求項２乃至１０のいずれか１項に記載の撮像装置。
12. 前記第２の画像回復フィルタは、前記撮像素子のＲＧＢの各チャンネルに対して共通のフィルタであり、
    前記画像処理手段は、前記第２の画像回復フィルタを用いて処理された画像に対してモノクロ処理を施すことを特徴とする請求項２乃至１１のいずれか１項に記載の撮像装置。
13. 撮影光学系を介して撮像された画像を取得するステップと、
    前記画像の撮像に際して、所定の波長領域の光を制限する波長フィルタが前記撮影光学系の光路に挿入されていたか否かを示す情報を取得するステップと、
    前記波長フィルタが前記撮影光学系の光路に挿入されていた場合に第１の画像回復フィルタを選択し、前記波長フィルタが前記撮影光学系の光路から退避していた場合に第２の画像回復フィルタを選択するステップと、
    選択された前記第１の画像回復フィルタまたは前記第２の画像回復フィルタを用いて前記画像を処理するステップと、
    を有することを特徴とする画像処理方法。
14. コンピュータに、
    撮影光学系を介して撮像された画像を取得するステップと、
    前記画像の撮像に際して、所定の波長領域の光を制限する波長フィルタが前記撮影光学系の光路に挿入されていたか否かを示す情報を取得するステップと、
    前記波長フィルタが前記撮影光学系の光路に挿入されていた場合に第１の画像回復フィルタを選択し、前記波長フィルタが前記撮影光学系の光路から退避していた場合に第２の画像回復フィルタを選択するステップと、
    選択された前記第１の画像回復フィルタまたは前記第２の画像回復フィルタを用いて、前記画像を処理するステップと、
    を実行させるためのプログラム。