JP7790940B2 - 撮像装置及びそれを制御する制御方法およびプログラム、光学装置 - Google Patents

Description

本発明は、マルチスペクトルカメラとして、撮像装置に対して交換可能な光学装置を用いて、同時に複数の画像を取得するための撮像装置とその制御方法およびプログラム、光学装置に関するものである。

従来、分光スペクトルにおける複数の異なるスペクトル成分をキャプチャ可能な所謂マルチスペクトルカメラ（マルチバンドカメラともいう）が知られている。マルチスペクトルカメラとしては、スペクトル成分ごとに得られた画像に基づく食品検査などで利用されている。

マルチスペクトルカメラにおけるキャプチャ方式としては、例えば、撮像素子の前面（被写体側）に、撮像素子の撮像領域に合わせて部分領域（タイル）ごとに異なるフィルタを配置したタイル型マルチスペクトルカメラが知られている。この方式を採用することで、一回の撮像により撮像素子から同時にタイル状からなる複数のバンド画像（タイル画像）を取得することが可能である。例えば、特許文献１では、互いに異なる複数のバンドに分光可能で、かつレンズアレイ及びバンドパスフィルタアレイを交換可能な光学装置と、それを備える撮像システムについて提案されている。

ここで、デジタルカメラを用いて取得された画像には、レンズ等の光学装置に起因する像の歪みやバンドごとに像の大きさの違いが生じる。一般的に、このレンズ等に起因する像の歪みを歪曲収差と称し、像の大きさの違いを倍率色収差と称する。これらの収差は、マルチスペクトルカメラを使用した際にも生じ得る。例えば、特許文献２では、バンド画像ごとに歪曲収差および倍率色収差を補正するための技術について提案されている。

特開２０２０－６４１６４号公報 特開２０１９－０２０９５１号公報

しかしながら、特許文献１で提案された技術では、同じバンドパスフィルタであっても、バンドパスフィルタアレイ上のフィルタ位置によって像の歪みや大きさに違いが生じる虞がある。

また上述の特許文献２で提案された技術では、カメラに対して交換可能な光学装置におけるレンズアレイ及びバンドパスフィルタアレイに応じた像の歪みや大きさを軽減する方法については開示されていない。そのため、カメラに対して交換可能な光学装置（交換レンズやアダプタ装置）の光学特に応じた像の歪みが正しく補正できない虞がある。

そこで、本発明の目的は、マルチスペクトルカメラとして、撮像装置に対して交換可能な光学装置を用いたカメラシステムにおいて、収差による画質低下を抑制することである。

上記目的を達成するための撮像装置は、撮像手段を備え、レンズ装置および光学装置を接続できる撮像装置であって、前記レンズ装置に関するレンズ情報を取得するレンズ情報取得手段と、前記光学装置に関するアレイ情報を取得するアレイ情報取得手段と、前記レンズ情報および前記アレイ情報に基づいて収差補正情報を取得する補正情報取得手段と、前記光学装置の所定のフィルタを介して入射した被写体の光束を、前記撮像手段を用いて撮像することで出力された画像信号からタイル状に複数の画像を切り出す画像生成手段と、前記収差補正情報に基づいて前記複数の画像の収差を補正する補正手段と、を有し、前記所定のフィルタは、被写体の光束を複数のスペクトル成分に分光する複数の領域を備え、前記複数の画像は、前記所定のフィルタの前記複数の領域に対応する画像であることを特徴とする。

本発明によれば、マルチスペクトルカメラとして、撮像装置に対して交換可能な光学装置を用いたカメラシステムにおいて、収差による画質低下を抑制することができる。

本発明を実施した撮像装置の第１実施形態である撮像装置１の構成例を示すブロック図である。 本発明の第１実施形態に係る撮像システムを例示的に説明する図である。 本発明の第１実施形態に係る収差補正処理を示すフローチャートである。 本発明の第１実施形態に係るタイル画像の切り出しと収差補正方法を例示的に説明する図である。 本発明の第２実施形態に係る濃度補正処理を示すフローチャートである。

（第１実施形態）
（撮像装置１の基本構成）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図１は、本発明を実施した撮像装置の第１実施形態である撮像装置１の構成例を示すブロック図である。

なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。

また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

図１に図示するように、本実施形態の撮像装置１は、不図示のマウント部を介して、光学装置２およびレンズ装置３を着脱可能な所謂レンズ交換式の撮像装置であるが、これに限定されるものではない。例えば、撮像装置１が光学装置２およびレンズ装置３を備える構成であってもよい。また、光学装置２とレンズ装置３とが一体的に設けられている構成であってもよい。以降の撮像装置１の基本構成に関しては、光学装置２およびレンズ装置３が撮像装置１に装着された状態を前提として説明する。なお、光学装置２およびレンズ装置３の詳細については後述する。

撮像装置１は、撮像部１１０、マイクロコンピュータ１２０、操作部１３０、表示部１４０、記憶部１５０、揮発性メモリ１６０、不揮発性メモリ１７０、補正情報取得部１８０、画像処理部１９０を備える。

撮像部１１０は、レンズ装置３を通過した光が光学装置２で分光されることで形成された光学像を受光する、ＣＣＤやＣＭＯＳ等の電荷蓄積型の固体撮像素子である。レンズ装置３を介して得られた被写体の光束を光電変換（撮像）することで取得した電荷の情報はＡ／Ｄ変換され、デジタルデータである画像信号が生成される。

揮発性メモリ１６０は、例えばＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳＳ ＭＥＭＯＲＹ）などで構成され、一時的にデータを保持するために使用する。揮発性メモリ１６０は、マイクロコンピュータ１２０による種々の制御や、画像処理部１９０による画像処理などのメモリとして使用される。

不揮発性メモリ１７０は、例えばＲＯＭ（ＲＥＡＤ ＯＮＬＹ ＭＥＭＯＲＹ）などで構成され、マイクロコンピュータ１２０が動作するための各種プログラムや、画像処理部１９０で使用する補正情報などが格納される。

マイクロコンピュータ１２０は、不揮発性メモリ１７０に格納されたプログラムに従い、揮発性メモリ１６０をワークメモリとして用いて、撮像装置１全体の制御や、画像処理のシーケンス制御など、撮像装置１の統括的な制御が可能な制御手段である。またマイクロコンピュータ１２０は、レンズ装置３に関するレンズ情報や光学装置２に関するアレイ情報を光学装置２から受信することができる。すなわち、マイクロコンピュータ１２０は、本発明に係るレンズ情報取得手段およびアレイ情報取得手段である。

補正情報取得部１８０は、画像信号に対する収差補正や濃度補正で必要となる補正情報を取得する。この補正情報は、マイクロコンピュータ１２０により、レンズ情報及びアレイ情報の組合せごとに事前に算出しておき、レンズ情報及びアレイ情報と紐付けてデータテーブルとして記憶する。このデータテーブルは不揮発性メモリ１７０に記憶しておくことが望ましい。補正情報取得部１８０では、取得したレンズ情報及びアレイ情報をデータテーブルに照らし合わせることで、収差補正や濃度補正で必要となる補正情報を取得することができる。

画像処理部１９０は、撮像部１１０が出力した画像信号に対してタイル状の複数の画像（以下、単にタイル画像と称す）の切り出しや収差補正、濃度補正などの処理を行う画像処理手段である。画像処理部１９０は特定の画像処理を施すための専用の回路ブロックで構成しても良いし、またマイクロコンピュータ１２０がプログラムに従って画像処理しても構わない。

操作部１３０は、ユーザが手動操作可能なボタンやスイッチやダイヤル類、タッチパネルなどで構成された操作手段である。撮像装置１において、ユーザからの操作は、操作部で受け付け、マイクロコンピュータ１２０が操作内容に応じて各部を制御することで実現する。

表示部１４０は、画像やＧＵＩ（ＧＲＡＰＨＩＣＡＬ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ）を構成するＧＵＩ画面などを表示する。マイクロコンピュータ１２０は、プログラムに従って表示制御信号を生成し、表示部に表示するための映像信号を生成して表示部１４０に出力するように撮像装置１の各部を制御する。なお、撮像装置１自体が備える構成としては表示部１４０に表示させるための映像信号を出力するためのインターフェースまでとし、表示部１４０は外付けのモニタで構成しても構わない。記憶部１５０は、画像処理部１９０が出力した画像データを記憶する。この記憶部１５０は撮像装置１が内蔵していても、取り外し可能でもどちらでも構わない。以上が本発明の第１実施形態に係る撮像装置１の詳細である。

（光学装置２の構成および撮像システムの詳細）
以下、図２を参照して、本発明の第１実施形態に係る光学装置２および撮像システムについて説明する。図２は、本発明の第１実施形態に係る撮像システムを例示的に説明する図であって、図２（ａ）は、光学装置２を用いた撮像システムにおいて形成される被写体の光束の遷移と、各装置間での情報の送受を例示的に説明する図である。また、図２（ｂ）は、光学装置２が備えるフィルタアレイ２１２の構成を例示的に説明する図である。

図２（ａ）に図示するように、本実施形態に係る撮像システムは、像側から順に配置された撮像装置１、光学装置２、レンズ装置３を有する。レンズ装置３は、撮像システムの画角（撮像画角）を変換する役割を果たす光学装置であって、処理部３１０は、レンズ装置３に関するレンズ情報を保持する処理手段である。ここで、上述したレンズ情報としては、レンズ種類や個体を識別するための識別子（ＩＤ）や、収差情報といったレンズ固有の情報、撮影時のズーム位置といった撮影情報などが含まれる。

撮影レンズ３２０は、被写体の光束を光学装置２および撮像装置１側へと導く光学手段である。なお、図２（ａ）では図示は省略するが、撮影レンズ３２０は、ズームレンズ、フォーカスレンズ、シフトレンズなどの種々のレンズ群を備えている。

光学装置２は、レンズ装置３から入射した被写体の光束を複数のスペクトル成分に分光する役割を果たす。光学装置２は、夫々が物体の像を形成する複数のレンズ部を有するレンズアレイ２１１と、各レンズ部の光軸上に配置される複数のフィルタを有するフィルタアレイ２１２を備える。

フィルタアレイ２１２は、レンズ装置３及び光学装置２の光軸ＡＸ０に垂直な第１の方向に配列された３つ以上のフィルタを含んでいる。本実施形態では、図２（ｂ）に図示するように、フィルタアレイ２１２は、Ｘ方向及びＹ方向に配列された９個のフィルタＦ１１～Ｆ３３を備えている。フィルタアレイ２１２を互いに異なる透過特性を有する複数のフィルタで構成することにより、同一の被写体に対して互いに異なる複数のスペクトル成分に分光された被写体の光束に基づく画像を同時に取得することが可能になる。

また、本実施形態の光学装置２は、レンズアレイ２１１とフィルタアレイ２１２を含む部分をアクセサリ装置２１０として、光学装置２に着脱可能である。具体的に、光学装置２は、側面部に不図示の開口部を備え、当該開口部にアクセサリ装置２１０を挿抜可能な構成を採用する。この構成により、撮像対象の被写体や撮影目的に応じて、透過特性が異なるフィルタアレイ２１２を適宜交換することができる。なお、光学装置２は、フィルタアレイ２１２に合わせてレンズアレイ２１１も交換可能であるため、レンズ数を増減させることでバンド数や解像度を調整することができる。

第１処理部２１３は、光学装置２に関するアレイ情報を保持する処理手段である。アレイ情報としては例えばアクセサリ装置の種類や個体を識別するための識別子（ＩＤ）、又はレンズアレイ２１１の光学特性及びフィルタアレイ２１２の透過特性やフィルタ配置に関する情報である。なお、光学装置２は、アクセサリ装置２１０の種類を識別し、上述したアレイ情報は適宜変更されるのとする。

第２処理部２２０は、レンズ装置３から受信したレンズ情報と、第１処理部２１３から取得したアレイ情報を撮像装置１に送信する処理手段である。前述したように、光学装置２と撮像装置１との間は、不図示のマウント部を介して互いに結合可能であり、各マウント部に設けられた電気接点などの通信手段を介した通信で種々の情報のやり取りを行う。この構成により、撮像装置１は、レンズ装置３及び光学装置２の装着有無の検出や種類を認識することができる。なお、撮像システムに係る統括的な制御は撮像装置１側で行われるため、光学装置２と撮像装置１の間の通信は撮像装置側の通信規約に従って行われることが望ましい。

図２（ｃ）は、フィルタアレイ２１２を介して透過した被写体の光束を受光する撮像部１１０の各領域を例示的に説明する図である。図２（ｃ）に図示するように、撮像装置１は、フィルタアレイ２１２を透過した光を撮像部１１０（撮像素子）で受光する。フィルタアレイ２１２の各フィルタを透過した光は、フィルタ配列に対応した撮像素子上の各部分領域（以下、タイルと称す）で受光する。そして撮像部１１０（撮像素子）は、各フィルタに対応するスペクトル成分の強度値（以下、スペクトル強度と称する）が付加された画像信号（スペクトルデータ）を出力する。図２（ｃ）には、撮像部（撮像素子）１１０上における、互いに直交するＸ方向及びＹ方向に配列された９個のタイルＴ１１～Ｔ３３を示している。例えば、フィルタアレイ２１２のフィルタＦ１１を透過した光は、タイルＴ１１で受光する。

スペクトルデータとしては、具体的には、紫外又は可視又は赤外域の分光スペクトルデータ、ラマン分光スペクトルデータ、ＮＭＲスペクトルデータ、質量スペクトルデータ、液体クロマトグラム、ガスクロマトグラム、音の周波数スペクトルデータなどである。特に、スペクトルデータは、紫外又は可視又は赤外域の分光スペクトルデータ、ラマン分光スペクトルデータ、質量スペクトルデータのいずれか１つを含むことが好ましい。スペクトルデータが紫外又は可視又は赤外域の分光スペクトルデータ、ラマン分光スペクトルデータである場合には、スペクトル成分を波長や波数に変換することができる。また、スペクトルデータが質量スペクトルデータである場合には、スペクトル成分は質量電荷比や質量数に変換することができる。以上が本発明の第１実施形態に係る光学装置２および撮像システムの詳細である。

（収差補正処理の詳細）
図２（ａ）で図示した撮像システムを用いて取得された画像信号には、レンズ等に起因する像の歪み（歪曲収差）やタイル画像ごとに像の大きさの違い（倍率色収差）が生じる。以下、この歪曲収差及び倍率色収差を低減するための画像処理方法を説明する。図３は、本発明の第１実施形態に係る収差補正処理を示すフローチャートである。以下、図３を参照して、本実施形態に係る画像処理方法について説明する。なお、図３では、ステップを省略してＳと示す。

Ｓ３０１でマイクロコンピュータ１２０は、ユーザによる操作部１３０に含まれる電源スイッチの操作に応じて撮像装置１の電源をオンする。

次に、Ｓ３０２でマイクロコンピュータ１２０は、現在装着されているレンズ装置３からレンズ情報を取得する。なお、前述したように、レンズ情報として、装着されているレンズ種類を識別するための識別子（ＩＤ）などを、光学装置２を介してレンズ装置３から受信する。Ｓ３０２の処理を実行する前に、前述した不図示のマウント部に設けられた電気接点を介して、撮像装置１に対する光学装置２およびレンズ装置３の装着有無や種類などの判定がマイクロコンピュータ１２０により行われる。

次に、Ｓ３０３でマイクロコンピュータ１２０は、光学装置２からアレイ情報を取得する。なお、前述したように、アレイ情報として、レンズアレイ２１１及びフィルタアレイ２１２の種類を識別するための識別子（ＩＤ）などを受信する。

次に、Ｓ３０４でマイクロコンピュータ１２０は、撮像部１１０を用いて被写体を撮像することで画像信号を取得する。

次に、Ｓ３０５でマイクロコンピュータは、Ｓ３０４の処理で被写体を撮像した際の、レンズ装置３の焦点距離に関する情報（ズーム情報）などを、光学装置２を介してレンズ装置３から取得する。

次に、Ｓ３０６でマイクロコンピュータ１２０は、先に取得したレンズ情報及びアレイ情報に基づいて、種々の収差補正で使用する情報を取得する。一般的に、収差補正を行う場合は、補正後の理想格子の画素の座標と、それに対応する補正前の画素の座標の変換式が必要である。例えば、補正後の理想格子の画素Ｐの座標を（ｘ、ｙ）、それに対応する補正前の画素Ｐ’の座標を（ｘ’、ｙ’）、変換係数をＡ０～Ａ９及びＢ０～Ｂ９とする。この場合の、変換式の一例を以下の式（１）とする。なお、変換係数Ａ０～Ａ９及びＢ０～Ｂ９は、レンズ種類やズーム位置によって異なるだけでなく、レンズアレイ２１１やフィルタアレイ２１２によっても異なる係数である。特に、フィルタアレイ２１２は、バンドパスフィルタの帯域やフィルタ配置によっても変化する。そのため、マイクロコンピュータ１２０は、先に取得したレンズ情報及びアレイ情報の組合せごとに変換係数Ａ０～Ａ９及びＢ０～Ｂ９を事前に算出し、レンズ情報及びアレイ情報と紐づけて収差補正情報テーブルとして用意する。この収差補正情報テーブルは、撮像装置１の不揮発性メモリ１７０に保存しておくことが望ましいが、光学装置２の第１処理部２１３やレンズ装置３の処理部３１０で保持する構成であってもよい。そして、Ｓ３０６の処理では、レンズ識別子及びアレイ識別子を収差補正情報テーブルに照らし合わせることで、収差補正で必要な変換係数Ａ０～Ａ９及びＢ０～Ｂ９をタイル画像ごとに取得する。

なお、変換係数Ａ０～Ａ９及びＢ０～Ｂ９を事前に取得する場合は、所定のチャート紙のような既知の被写体を撮像した結果に基づいて算出するのが一般的である。この場合、所定のチャート紙を撮像して得られた全てのタイル画像に対して、被写体の位置及び形状及び倍率が全てのタイル画像間で略同一となるように、タイル画像ごとに変換係数Ａ０～Ａ９及びＢ０～Ｂ９を算出する。これにより、歪曲収差及び倍率色収差及び位置ずれをまとめて補正することができるようになる。

次に、Ｓ３０７でマイクロコンピュータ１２０は、画像信号からタイル画像を切り出す。以下、Ｓ３０７およびＳ３０８の処理の詳細について図４を参照して説明する。図４は、本発明の第１実施形態に係るタイル画像の切り出しと収差補正方法を例示的に説明する図である。図４（ａ）は元の画像信号、図４（ｂ）は収差補正前の各タイル画像、図４（ｃ）は収差補正後の各タイル画像、図４（ｄ）は各タイル画像の変換係数をそれぞれ示している。

図４（ａ）で示す元の画像信号は、図２（ｃ）で図示した撮像素子上のＸ方向及びＹ方向に配列された９個のタイルを介して受光された被写体の光束に基づく画像信号を示している。Ｓ３０７の処理では、図４（ａ）で図示する元画像から、図４（ｂ）に示すように、タイルの数に合わせてタイル画像を切り出す処理に相当する。

次に、Ｓ３０８でマイクロコンピュータ１２０は、Ｓ３０６で得た収差補正情報に基づいてタイル画像ごとに収差を補正する。具体的に、Ｓ３０８でマイクロコンピュータ１２０は、図４（ｄ）で示すような、Ｓ３０６で取得したタイル画像ごとの各変換係数と変換式（１）に基づく座標変換と、変換後のスペクトル強度を決定するための補間処理を全画素に対して行う。そして、マイクロコンピュータ１２０は、上述の処理を全てのタイル画像に適用することで、図４（ｃ）に図示するように、収差補正後の全タイル画像が生成される。すなわち、マイクロコンピュータ１２０は、本発明に係る画像生成手段である。なお、Ｓ３０８の処理の後に、収差補正後の複数個のタイル画像を再構成して、一つのマルチバンド画像を生成してもよい。

最後に、Ｓ３０９でマイクロコンピュータ１２０は、ユーザの操作等により電源オフが指示されたか否かを判定し、Ｓ３０９で電源オフが指示された場合は収差補正処理を終了する。なお、Ｓ３０９で電源オフが指示されていないと判定された場合、Ｓ３０４～Ｓ３０９の処理を繰り返す。なお、動画像を取得する場合はＳ３０４～Ｓ３０９の処理を繰り返すが、静止画像を取得する場合は、Ｓ３０４の前に静止画像の撮像指示がされたか否かを判定する処理を別途設け、当該処理の判定結果に応じてＳ３０４～Ｓ３０９の処理を繰り返せばよい。以上が、本実施形態に係る収差補正処理の詳細である。

以上説明したように、本実施形態に係る撮像装置１は、レンズ情報およびアレイ情報に基づいて、複数のタイル画像（マルチバンド画像）のそれぞれに対する収差補正情報を取得し、当該収差補正情報に基づく収差補正をまとめて行うことができる。この構成により、例えば、異なる複数のスペクトル成分への分光が可能な複数のフィルタアレイを介して取得された複数の画像ごとに収差補正を実行することなく、収差補正に必要な時間を短縮することができる。

（第２実施形態）
次に、本発明の第２実施形態に係る撮像装置１の構成例について説明する。なお、撮像装置１、光学装置２およびレンズ装置３の構成は、前述した第１実施形態と同一であるため、説明は省略し、前述した第１実施形態と異なる構成についてのみ説明する。

光学装置２を介して得られるタイル画像間では、被写体の分光特性が波長によらず均一と仮定しても、レンズ装置３の光学特性や光学装置２のフィルタアレイの透過特性、撮像素子の感度特性などに起因する明るさの濃度ムラ（スペクトル強度のムラ）が生じる。図５は、本発明の第２実施形態に係る濃度補正処理を示すフローチャートである。以下、図５を参照して、この濃度ムラの影響を低減するための画像処理方法について説明する。

Ｓ５０１でマイクロコンピュータ１２０は、ユーザによる操作部１３０に含まれる電源スイッチの操作に応じて撮像装置１の電源をオンする。次に、Ｓ５０２でマイクロコンピュータ１２０は、光学装置２からアレイ情報を取得する。次に、Ｓ５０３でマイクロコンピュータ１２０は、撮像部１１０を用いて被写体を撮像することで画像信号を取得する。なお、Ｓ５０１～Ｓ５０３の処理は、前述した第１実施形態におけるＳ３０１、Ｓ３０３およびＳ３０４の処理と同一である。

次に、Ｓ４０４でマイクロコンピュータ１２０は、先に取得したアレイ情報に基づいて、画像信号に適用する濃度補正に係る情報を取得する。前述したように、レンズ装置３の光学特性や光学装置２が備えるレンズアレイ２１１やフィルタアレイ２１２の透過特性、撮像部１１０の感度特性などに起因して、タイル画像ごとに明るさが異なる（濃度ムラが生じる）場合がある。同じタイミングで取得された複数タイル画像ごとに明るさが異なることで、当該複数のタイル画像を種々の処理に用いる際（例えば、ＡＩ処理における教師データとして使用する場合など）に、正しい処理結果が得られない虞がある。

そこで、本実施形態では、Ｓ４０４の処理において、前述したアレイ情報と撮像装置１の組合せごとにタイル画像間の濃度比を事前に算出しておき、アレイ情報及び撮像装置とを紐づけた情報として濃度補正情報テーブルを事前に用意する。そして、マイクロコンピュータ１２０は、アレイ識別子を濃度補正情報テーブルに照らし合わせることで、濃度補正で必要なタイル画像間の濃度比を取得する。

この構成により、本発明の撮像装置１は、被写体を撮像するごとに、濃度補正情報テーブルに基づいてタイル画像内の各画素の明るさ（スペクトル強度）を補正し、タイル画像間の明るさの差（濃度ムラ）を低減することができる。なお、濃度補正情報テーブルは、撮像装置１の不揮発性メモリ１７０に保存しておくことが望ましいが、光学装置２の第１処理部２１３で保持する構成であってもよい。

なお、タイル画像間の濃度比を事前に算出する際には、ホワイトバランスチャートのような全面が白色の被写体を撮像した結果に基づいて算出するのが一般的である。このホワイトバランスチャートを用いてタイル画像間の濃度比を算出する方法としては、ホワイトバランスチャートを撮像して生成した全タイル画像に対して、タイル画像ごとにスペクトル強度の平均値を算出する。この際、シェーディングの影響を軽減するため、各タイル画像の中央部分のスペクトル強度の平均値を算出することが望ましい。このスペクトル強度の平均値を、タイル画像の濃度とする。なお、スペクトル強度を各画像の輝度とし、各画像の中央部分の平均値をタイル画像の濃度とする構成であってもよい。そして、基準となるタイル画像を選択し、基準タイル画像とそれ以外のタイル画像との濃度比をそれぞれ算出することで、タイル画像間の濃度比を生成する。

後述する表１に、濃度補正情報であるタイル画像間の濃度比（明るさの比率）の一例を示す。表１は、レンズアレイ及びフィルタアレイが４×３のアレイ構造（１２個のタイル分割）の場合を例示的に示し、中央波長が４７５ｎｍから１０２５ｎｍまで５０ｎｍ刻みになるようにバンドパスフィルタが構成されているものとする。なお、表１に示す例では、中央波長９７５ｎｍのバンドパスフィルタに対応するタイル画像を基準（濃度比１）としており、それ以外のタイル画像との濃度比を算出している。

図５に戻り、Ｓ５０５でマイクロコンピュータ１２０は、画像信号からタイル画像を切り出す。タイル画像の切り出し方法は、前述した第１実施形態におけるＳ３０７と略同一なので説明は省略する。

次に、Ｓ５０６でマイクロコンピュータ１２０は、Ｓ５０４で取得した濃度比に関する情報に基づいてタイル画像間の濃度ムラを補正する。タイル画像ｔの座標（ｘ、ｙ）の位置にある画素のスペクトル強度をＩｔ（ｘ、ｙ）、濃度補正後のスペクトル強度をＩ’ｔ（ｘ、ｙ）、基準タイル画像ｓとタイル画像ｔの濃度比をＲｓｔとしたとき、補正式の一例を式（２）に示す。Ｓ５０６の処理では、この補正式に基づくスペクトル強度の補正をタイル画像内の全画素に対して行うことで、濃度補正後のタイル画像を生成する。さらに、全てのタイル画像に対して、上記のスペクトル強度の補正を行うことで、濃度補正後の全タイル画像を生成する。

なお、Ｓ５０６の処理の後に、収差補正後の複数個のタイル画像を再構成して、一つのマルチバンド画像を生成してもよい。最後に、Ｓ５０７でマイクロコンピュータ１２０は、ユーザの操作等により電源オフが指示されたか否かを判定し、電源オフが指示されている場合は濃度補正処理を終了する。なお、Ｓ５０７で電源オフが指示されていないと判定された場合、Ｓ５０３～Ｓ５０７の処理を繰り返し、この際の処理手順は前述した第１実施形態における収差補正処理と略同一なので説明は省略する。以上が、本実施形態に係る濃度補正処理の詳細である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。上記実施の形態では、撮像装置の各機能部で処理することで、収差補正や濃度補正を実現する場合を例に説明したが、これに限定されない。例えば、撮像装置の一部機能を、撮像装置とネットワーク等で接続された別の画像処理装置で処理するようにしてもよい。

また、前述した実施形態では、光学装置２が備えるレンズアレイ２１１およびフィルタアレイ２１２として、３×３の計９つの領域に分けられたものを想定して説明したが、これに限定されるものではない。例えば、４×４、４×３の領域など、領域の数や設定方法に限定としては、他の構成を採用してもよく、切り分けた領域毎に収差補正や濃度補正に関するテーブルを算出する構成であればよい。

また、前述した実施形態では、光学装置２やレンズ装置３からレンズ情報やアレイ情報を取得する方法について説明したが、これに限定されるものではない。例えば、撮像装置１と接続可能な他の外部機器（ＰＣやスマートフォンなど）から、レンズ情報やアレイ情報を取得し、当該情報に基づいて収差補正や濃度補正に関するテーブルを算出する構成であってもよい。すなわち、撮像装置１に直接的に接続された機器以外から任意の情報を取得する構成であって、当該情報に基づいて収差補正や濃度補正に関するテーブルを算出する構成であってもよい。

また、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラを想定して説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやウェアラブル端末、セキュリティーカメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。

また、前述した実施形態では、本発明を実施する撮像装置の一例としてレンズ装置３を着脱可能な所謂交換レンズタイプのデジタルカメラを想定して説明したが、所謂レンズ一体型のデジタルカメラであってもよい。この場合、撮像装置の本体側、あるいは、レンズ側における光路中に、光学装置２と略同一の構成を備えた部材を挿入可能な構成であればよい。

また、前述した実施形態では、マイクロコンピュータ１２０を中心として撮像システムを構成する各部が互いに連携して動作することで、装置全体としての動作を制御する構成であったが、これに限定されるものではない。例えば、前述した各図に図示したフローに従った（コンピュータ）プログラムを予め撮像装置１の不揮発性メモリ１７０のＲＯＭ領域などに記憶しておく。そして、当該プログラムを、マイクロコンピュータ１２０が実行することで、撮像システム全体に係る動作を制御するような構成であってもよい。また、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。また、プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記録媒体でもあってもよい。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１ 撮像装置
２ 光学装置
３ レンズ装置
１１０ 撮像部（撮像素子）
１２０ マイクロコンピュータ
１８０ 補正情報取得部
１９０ 画像処理部
２１０ アクセサリ装置
２１２ フィルタアレイ

Claims (19)

1. 撮像手段を備え、レンズ装置および光学装置を接続できる撮像装置であって、
   前記レンズ装置が具備するレンズの種類や個体を識別するための識別子や、同レンズに関する収差情報や、撮影時のズーム位置に関する情報を含むレンズ情報を取得するレンズ情報取得手段と、
   前記光学装置が具備するフィルタアレイの透過特性やフィルタ配置などを識別するためのアレイ情報を取得するアレイ情報取得手段と、
   前記レンズ情報および前記アレイ情報に基づいて、収差補正後の理想格子の画素の座標を、それに対応した補正前の画素の座標に変換する変換式における変換係数を収差補正情報として取得する補正情報取得手段と、
   前記光学装置が具備する前記フィルタアレイを介して入射した被写体の光束を、前記撮像手段を用いて撮像することで出力された画像信号からタイル状に複数の画像を切り出す画像生成手段と、
   前記収差補正情報に基づいて前記複数の画像の収差を補正する補正手段と、
   を有し、
   前記フィルタアレイは、被写体の光束を複数のスペクトル成分に分光する複数の領域を備え、
   前記複数の画像は、前記フィルタアレイの前記複数の領域に対応する画像であることを特徴とする撮像装置。
2. 前記アレイ情報は、前記フィルタアレイの種類に関する情報を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記アレイ情報は、前記フィルタアレイに関する透過特性および前記複数の領域の配置に関する情報を含むことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記フィルタアレイは、前記光学装置に挿抜可能であることを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記フィルタアレイは、前記光学装置に設けられていることを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
6. 前記光学装置は、複数のレンズ部を備えたレンズアレイを備え、
   前記複数の画像は、前記レンズアレイの前記複数のレンズ部に対応する画像であることを特徴する請求項１乃至５の何れか１項に記載の撮像装置。
7. 前記アレイ情報は、前記レンズアレイの種類に関する情報を含むことを特徴とする請求項６に記載の撮像装置。
8. 前記アレイ情報は、前記レンズアレイに関する光学特性および前記複数のレンズ部の配置に関する情報を含むことを特徴とする請求項６又は７に記載の撮像装置。
9. 前記レンズアレイは、前記光学装置に挿抜可能であることを特徴とする請求項６乃至８の何れか１項に記載の撮像装置。
10. 前記レンズアレイは、前記光学装置に設けられていることを特徴とする請求項６乃至８の何れか１項に記載の撮像装置。
11. 前記レンズ情報は、前記レンズ装置の種類に関する情報を含むことを特徴とする請求項１乃至１０の何れか１項に記載の撮像装置。
12. 前記レンズ情報は、ズーム位置に関する情報を含むことを特徴とする請求項１１に記載の撮像装置。
13. 前記収差補正情報は、所定の被写体を撮像することで取得した前記複数の画像に対して、被写体の位置及び形状及び倍率が前記複数の画像間で略同一となるように算出された情報であることを特徴とする請求項１乃至１２の何れか１項に記載の撮像装置。
14. 前記収差補正情報は、前記複数の画像ごとの画素の位置を補正するための情報であることを特徴とする請求項１３に記載の撮像装置。
15. 請求項１乃至１４の何れか１項に記載の撮像装置に接続可能な光学装置。
16. 前記光学装置は、前記撮像装置に設けられたマウント部に対して着脱可能であることを特徴とする請求項１５に記載の光学装置。
17. レンズ装置および撮像装置と接続できる光学装置であって、
    前記レンズ装置が具備するレンズの種類や個体を識別するための識別子や、同レンズに関する収差情報や、撮影時のズーム位置に関する情報などを含むレンズ情報を取得するレンズ情報取得手段と、
    前記光学装置が具備するフィルタアレイの透過特性やフィルタ配置を識別するためのアレイ情報を取得するアレイ情報取得手段と、
    前記レンズ情報と前記アレイ情報に基づいて、収差補正後の理想格子の画素の座標を、それに対応した補正前の画素の座標に変換する変換式における変換係数を収差補正情報として取得する補正情報取得手段と、
    前記収差補正情報を前記撮像装置に送信する通信手段と、
    を有し、
    前記フィルタアレイは、被写体の光束を複数のスペクトル成分に分光する複数の領域を備えていることを特徴とする光学装置。
18. 撮像手段を備え、レンズ装置および光学装置を接続できる撮像装置の制御方法であって
    前記レンズ装置が具備するレンズの種類や個体を識別するための識別子や、同レンズに関する収差情報や、撮影時のズーム位置に関する情報などを含むレンズ情報を取得するレンズ情報取得工程と、
    前記光学装置が具備するフィルタアレイの透過特性やフィルタ配置を識別するためのアレイ情報を取得するアレイ情報取得工程と、
    前記レンズ情報および前記アレイ情報に基づいて、収差補正後の理想格子の画素の座標を、それに対応した補正前の画素の座標に変換する変換式における変換係数を収差補正情報として取得する補正情報取得工程と、
    前記光学装置が具備する前記フィルタアレイを介して入射した被写体の光束を、前記撮像手段を用いて撮像することで出力された画像信号からタイル状に複数の画像を切り出す画像生成工程と、
    前記収差補正情報に基づいて前記複数の画像の収差を補正する補正工程と、
    を有し、
    前記フィルタアレイは、被写体の光束を複数のスペクトル成分に分光する複数の領域を備えていることを特徴とする撮像装置の制御方法。
19. 請求項１８に記載の撮像装置の制御方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。