WO2023145188A1

WO2023145188A1 - 撮像装置、処理装置、処理方法、プログラム、及び光学フィルタ

Info

Publication number: WO2023145188A1
Application number: PCT/JP2022/041530
Authority: WO
Inventors: 高志椚瀬; 和佳岡田; 慶延岸根; 睦川中子; 友也平川
Original assignee: 富士フイルム株式会社
Priority date: 2022-01-31
Filing date: 2022-11-08
Publication date: 2023-08-03

Abstract

撮像装置は、複数の第１透過波長帯域を有する第１光学フィルタを有する光学系と、光学系を透過した光を受光するイメージセンサと、イメージセンサから出力された第１画像データに対して演算処理を実行することにより、第１透過波長帯域毎の第２画像データを出力する第１プロセッサとを備える。第１光学フィルタは、イメージセンサの特定画素から分光感度帯域毎に出力される第１出力値が、第１透過波長帯域毎の透過率が同じである場合に特定画素から分光感度帯域毎に出力される第２出力値の最大値未満で第２出力値の最小値以上となる光学特性を有する。光学特性は、例えば、第１透過波長帯域毎の透過率、幅、又は透過率分布が異なる。

Description

撮像装置、処理装置、処理方法、プログラム、及び光学フィルタ

　本開示の技術は、撮像装置、処理装置、処理方法、プログラム、及び光学フィルタに関する。

　特開２０１７－１１８２８４号公報には、撮像センサと、光学系と、フィルタと、信号処理デバイスとを備える撮像装置が開示されている。撮像センサは、各画素に受光素子が配置された撮像センサである。光学系は、撮像センサ上に像を結ぶレンズを有する。フィルタは、複数種類のフィルタ部が所定配列で撮像センサの画素の配置に対応して配置され、かつ、各種類のフィルタ部は、可視光帯域の長波長側に隣接する第１の波長帯域の可視光帯域から離れた一部分である第２の波長帯域に透過特性を有するとともに可視光帯域における波長に応じた分光透過特性が互いに異なる。信号処理デバイスは、撮像センサから出力される信号を処理して可視画像信号および赤外画像信号を出力可能である。撮像装置は、フィルタの第２の波長帯域の透過率がフィルタの可視光帯域の透過率より低くなっている。

　特開２０１７－０４６１００号公報には、撮像部と、第１光学フィルタと、可視光信号生成部と、赤外光信号生成部と、制御部と、光学フィルタ制御部とを備える撮像装置が開示されている。撮像部は、被写体からの入射光を結像して光学像を生成するレンズ、並びに、可視光及び赤外光を同時に受光可能であり、レンズを介して入射された光信号を電気信号に変換する撮像素子を有する。第１光学フィルタは、可視光のみを透過し、入射光の光路上の第１の位置と光路上の位置以外の第２の位置との間で移動可能である。可視光信号生成部は、電気信号に含まれる可視光成分の信号のみを算出する。赤外光信号生成部は、電気信号に含まれる赤外光成分の信号のみを算出する。制御部は、可視光信号生成部及び赤外光信号生成部で算出された信号に基づいて、所定の制御信号を出力する。光学フィルタ制御部は、所定の制御信号に基づいて、第１光学フィルタを第１の位置又は第２の位置に配置する。

　特開２００４－１４７２８７号公報３には、被写体を撮影する際、撮影波長領域を複数バンドに分割し、分割された各バンドに対応した被写体のスペクトル画像を撮影するマルチバンド画像の撮影の際、本撮影に先立って行われる予備撮影により得られる撮影データから各バンド間の感度バランスを検出し、検出された各バンド間の感度バランスに基づいて撮影条件を決定し、決定された撮影条件により本撮影を行うマルチバンド画像撮影方法が開示されている。

　本開示の技術に係る一つの実施形態は、例えば、第１光学フィルタが有する第１透過波長帯域毎の透過率が同じである場合に比して、イメージセンサから出力された第１画像データから得られる第１透過波長帯域毎の第２画像データの誤差を少なくすることができる撮像装置、処理装置、処理方法、及びプログラムを提供する。

　本開示の技術に係る第１の態様は、複数の第１透過波長帯域を有する第１光学フィルタを有する光学系と、光学系を透過した光を受光するイメージセンサと、光に基づいてイメージセンサから出力された第１画像データに対して演算処理を実行することにより、第１透過波長帯域毎の第２画像データを出力する第１プロセッサと、を備え、第１光学フィルタは、イメージセンサの複数の画素のうちの少なくとも一つの特定画素から分光感度帯域毎に出力される第１出力値が、第１透過波長帯域毎の透過率が同じである場合に特定画素から分光感度帯域毎に出力される第２出力値の最大値未満で第２出力値の最小値以上となる光学特性を有し、光学特性は、第１透過波長帯域毎の透過率が異なる第１光学特性、第１透過波長帯域毎の幅が異なる第２光学特性、及び第１透過波長帯域毎の透過率分布が異なる第３光学特性のうちの少なくとも１つを含む撮像装置である。

　本開示の技術に係る第２の態様は、第１の態様に係る撮像装置において、演算処理は、混信除去行列を用いることにより、第１画像データを第１透過波長帯域毎の第２画像データに分離する処理であり、光学特性は、混信除去行列の条件数が、第１透過波長帯域毎の透過率が同じである場合の条件数よりも小さくなる特性、及び／又は、混信除去行列の最大特異値が、第１透過波長帯域毎の透過率が同じである場合の最大特異値よりも小さくなる特性である撮像装置である。

　本開示の技術に係る第３の態様は、第１の態様又は第２の態様に係る撮像装置において、光学特性は、第２出力値に基づいて設定された特性である撮像装置である。

　本開示の技術に係る第４の態様は、第１の態様から第３の態様の何れか一つの態様に係る撮像装置において、光学特性は、第１光学特性を含み、第１光学フィルタは、ガラス層と、ガラス層に積層された第１コーティング層と、を有し、第１コーティング層は、複数の第１透過波長帯域を有し、ガラス層及び／又は第１コーティング層は、第１透過波長帯域毎に異なる透過率を有する撮像装置である。

　本開示の技術に係る第５の態様は、第１の態様から第４の態様の何れか一つの態様に係る撮像装置において、光学特性は、第１光学特性を含み、第１光学フィルタは、複数の第１透過波長帯域を有する第１フィルタ部材と、第１透過波長帯域毎に異なる透過率を有する第２フィルタ部材と、を有する撮像装置である。

　本開示の技術に係る第６の態様は、第１の態様から第５の態様の何れか一つの態様に係る撮像装置において、光学特性は、第１光学特性を含み、光学系は、レンズを有し、第１光学フィルタは、レンズに形成された第２コーティング層を含む撮像装置である。

　本開示の技術に係る第７の態様は、第１の態様から第６の態様の何れか一つの態様に係る撮像装置において、光学系は、複数の第１透過波長帯域と異なる第２透過波長帯域を有する第２光学フィルタと、第１光学フィルタに対応する第１偏光子と、第２光学フィルタに対応する第２偏光子と、を有し、イメージセンサは、各画素に対応する第３偏光子を有する撮像装置である。

　本開示の技術に係る第８の態様は、第７の態様に係る撮像装置において、複数の画素のうちそれぞれ隣接する４つの画素には、互いに異なる透過軸を有する４種類の第３偏光子がそれぞれ割り当てられており、４つの画素は、それぞれ特定画素であり、第１出力値は、４つの画素から分光感度帯域毎に出力される出力値の和に基づく値である撮像装置である。

　本開示の技術に係る第９の態様は、第１の態様から第８の態様の何れか一つの態様に係る撮像装置において、特定画素は、複数の画素のうちのイメージセンサの受光面の特定領域に位置する画素である撮像装置である。

　本開示の技術に係る第１０の態様は、第１の態様から第９の態様の何れか一つの態様に係る撮像装置における光学特性を導出する導出処理を実行する第２プロセッサを備える処理装置であって、導出処理は、第２出力値に基づいて光学特性を導出する処理である処理装置である。

　本開示の技術に係る第１１の態様は、第１の態様から第９の態様の何れか一つの態様に係る撮像装置における光学特性を導出する導出処理を実行することを含む処理方法であって、導出処理は、第２出力値に基づいて光学特性を導出する処理である処理方法。

　本開示の技術に係る第１２の態様は、第１の態様から第９の態様の何れか一つの態様に係る撮像装置における光学特性を導出する導出処理をコンピュータに実行させるためのプログラムであって、導出処理は、第２出力値に基づいて光学特性を導出する処理であるプログラムである。

　本開示の技術に係る第１３の態様は、複数の第１透過波長帯域を有し、イメージセンサで受光される光を透過する光学フィルタであって、イメージセンサの複数の画素のうちの少なくとも一つの特定画素から分光感度帯域毎に出力される第１出力値が、第１透過波長帯域毎の透過率が同じである場合に特定画素から分光感度帯域毎に出力される第２出力値の最大値未満で第２出力値の最小値以上となる光学特性を有し、光学特性は、第１透過波長帯域毎の透過率が異なる第１光学特性、第１透過波長帯域毎の幅が異なる第２光学特性、及び第１透過波長帯域毎の透過率分布が異なる第３光学特性のうちの少なくとも１つを含む光学フィルタである。

撮像装置におけるハードウェア構成の一例を示すブロック図である。光電変換素子の構成の一例を示す説明図である。マルチＢＰフィルタの構成及び光学特性の一例を示す説明図である。撮像装置におけるプロセッサの機能的な構成の一例を示すブロック図である。撮像装置におけるプロセッサの第１動作の一例を示す説明図である。撮像装置におけるプロセッサの第２動作の一例を示す説明図である。処理装置におけるプロセッサの機能的な構成の一例を示すブロック図である。処理装置におけるプロセッサの第１動作の一例を示す説明図である。処理装置におけるプロセッサの第２動作の一例を示す説明図である。処理装置におけるプロセッサの第３動作の一例を示す説明図である。撮像装置におけるマルチスペクトル画像生成処理の流れの一例を示すフローチャートである。処理装置における混信除去行列導出処理の流れの一例を示すフローチャートである。マルチＢＰフィルタの構成及び光学特性の第１変形例を示す説明図である。マルチＢＰフィルタの構成及び光学特性の第２変形例を示す説明図である。マルチＢＰフィルタの構成及び光学特性の第３変形例を示す説明図である。マルチＢＰフィルタの構成及び光学特性の第４変形例を示す説明図である。マルチＢＰフィルタの構成及び光学特性の第５変形例を示す説明図である。マルチＢＰフィルタの構成及び光学特性の第６変形例を示す説明図である。撮像装置における輝度値導出部の動作の変形例を示す説明図である。撮像装置におけるプロセッサの機能的な構成の変形例を示すブロック図である。撮像装置におけるハードウェア構成の変形例を示すブロック図である。

　以下、添付図面に従って本開示の技術に係る撮像制御装置、撮像装置、撮像制御方法、及びプログラムの実施形態の一例について説明する。

　先ず、以下の説明で使用される文言について説明する。

Ｉ／Ｆとは、“Interface”の略称を指す。ＢＰとは、“Band Pass”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＮＶＭとは、“Non-Volatile Memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。

　本明細書の説明において、「同じ」とは、完全な同じの他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの同じを指す。本明細書の説明において、「中央」とは、完全な中央の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの中央を指す。本明細書の説明において、「直交」とは、完全な直交の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの直交を指す。本明細書の説明において、「直線」とは、完全な直線の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの直線を指す。本明細書の説明において、「最大」とは、完全な最大の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの最大を指す。本明細書の説明において、「最小」とは、完全な最小の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの最小を指す。

　一例として図１に示すように、撮像装置１０は、マルチスペクトル画像９０を出力可能なマルチスペクトルカメラであり、光学系１２、イメージセンサ１４、制御ドライバ１６、入出力Ｉ／Ｆ１８、コンピュータ２０、及びディスプレイ２２を備える。撮像装置１０は、本開示の技術に係る「撮像装置」の一例であり、光学系１２は、本開示の技術に係る「光学系」の一例であり、イメージセンサ１４は、本開示の技術に係る「イメージセンサ」の一例である。

　本実施形態では、一例として、マルチスペクトル画像９０として、３つの透過波長帯域に分光された光に基づいて生成されたマルチスペクトル画像を例に挙げて説明する。３つの透過波長帯域は、あくまでも一例に過ぎず、４つ以上の透過波長帯域であってもよい。すなわち、撮像装置１０は、３つの透過波長帯域に分光された光を撮像可能なマルチスペクトルカメラよりも高い波長分解能で被写体を撮像可能なマルチスペクトルカメラであってもよい。

　また、マルチスペクトル画像９０には、可視光帯域の光が撮像されることで得られた画像が含まれていてもよく、人間の眼では知覚できない透過波長帯域（例えば、近赤外帯域及び／又は紫外帯域等）の光が可視化された画像が含まれていてもよい。

　光学系１２は、第１レンズ２４、瞳分割フィルタ２６、及び第２レンズ２８を有する。第１レンズ２４、瞳分割フィルタ２６、及び第２レンズ２８は、被写体４側からイメージセンサ１４側にかけて、光学系１２の光軸ＯＡに沿って第１レンズ２４、瞳分割フィルタ２６、及び第２レンズ２８の順に配置されている。第１レンズ２４は、光源２から発せられた光が被写体４で反射することで得られた光（以下、「被写体光」と称する）を瞳分割フィルタ２６に透過させる。第２レンズ２８は、瞳分割フィルタ２６を透過した被写体光をイメージセンサ１４に設けられた光電変換素子３８の受光面３８Ａ上に結像させる。被写体光は、本開示の技術に係る「光」の一例である。

　瞳分割フィルタ２６は、分光フィルタ３０及び偏光フィルタ３２を有する。分光フィルタ３０は、一例として、Ｂフィルタ３４Ａ、Ｇフィルタ３４Ｂ、及びマルチＢＰフィルタ３４Ｃを有する。図１では、便宜上、Ｂフィルタ３４Ａ、Ｇフィルタ３４Ｂ、及びマルチＢＰフィルタ３４Ｃが光軸ＯＡと直交する方向に沿って直線状に配列された状態で示されているが、Ｂフィルタ３４Ａ、Ｇフィルタ３４Ｂ、及びマルチＢＰフィルタ３４Ｃは、光軸ＯＡ周りの方向に沿って配列されている。

　Ｂフィルタ３４Ａは、被写体光のうちの青色の波長帯域の光を透過させる青色帯域フィルタである。Ｇフィルタ３４Ｂは、被写体光のうちの緑色の波長帯域の光を透過させる緑色帯域フィルタである。マルチＢＰフィルタ３４Ｃは、複数の透過波長帯域を有するバンドパスフィルタである。マルチＢＰフィルタ３４Ｃは、複数の透過波長帯域の一例として、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３を有する。

　マルチＢＰフィルタ３４Ｃでは、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３をそれぞれ任意の帯域に設定することが可能である。ただし、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３は、それぞれ青色の波長帯域及び緑色の波長帯域と異なる帯域であることが望ましい。

　以下、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３を区別して説明する必要がない場合、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３をそれぞれ「透過波長帯域」と称する。また、Ｂフィルタ３４Ａ、Ｇフィルタ３４Ｂ、及びマルチＢＰフィルタ３４Ｃを区別して説明する必要がない場合、Ｂフィルタ３４Ａ、Ｇフィルタ３４Ｂ、及びマルチＢＰフィルタ３４Ｃをそれぞれ「フィルタ３４」と称する。

　一例として図１中には、マルチＢＰフィルタ３４Ｃの透過波長帯域毎の透過率（以下、「分光透過率」とも称する）を表すグラフが示されている。グラフの横軸は波長を示しており、グラフの縦軸は透過率を示している。図１中のグラフで示されるように、マルチＢＰフィルタ３４Ｃは、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３毎の透過率が異なる光学特性を有する。

　一例として、第２透過波長帯域λ_２の透過率である第２透過率Ｔ_２は、第１透過波長帯域λ_１の透過率である第１透過率Ｔ_１よりも低く、第３透過波長帯域λ_３の透過率である第３透過率Ｔ_３は、第２透過率Ｔ_２よりも低い。第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３毎に透過率が異なる理由については後に詳述する。なお、一例として、各透過波長帯域の幅Ｗは同じである。

　マルチＢＰフィルタ３４Ｃは、本開示の技術に係る「光学フィルタ」及び「第１光学フィルタ」の一例である。Ｂフィルタ３４Ａ及びＧフィルタ３４Ｂは、本開示の技術に係る「第２光学フィルタ」の一例である。マルチＢＰフィルタ３４Ｃが有する複数の透過波長帯域は、本開示の技術に係る「複数の第１透過波長帯域」の一例である。Ｂフィルタ３４Ａが有する透過波長帯域（すなわち、青色波長帯域）、及びＧフィルタ３４Ｂが有する透過波長帯域（すなわち、緑色波長帯域）は、本開示の技術に係る「第２透過波長帯域」の一例である。マルチＢＰフィルタ３４Ｃが有する光学特性（一例として、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３毎の透過率が異なるという光学特性）は、本開示の技術に係る「光学特性」及び「第１光学特性」の一例である。

　なお、図１に示す例では、マルチＢＰフィルタ３４Ｃは、３つの透過波長帯域を有するが、２つ以上の透過波長帯域を有していれば、マルチＢＰフィルタ３４Ｃが有する透過波長帯域の数はいくつでもよい。

　偏光フィルタ３２は、第１偏光子３６Ａ、第２偏光子３６Ｂ、及び第３偏光子３６Ｃを有する。第１偏光子３６Ａは、透過軸が方位角０°に設定された偏光子である。第２偏光子３６Ｂは、透過軸が方位角４５°に設定された偏光子である。第３偏光子３６Ｃは、透過軸が方位角９０°に設定された偏光子である。第１偏光子３６Ａは、Ｂフィルタ３４Ａと対応しており、Ｂフィルタ３４Ａに重ね合わされている。第２偏光子３６Ｂは、Ｇフィルタ３４Ｂと対応しており、Ｇフィルタ３４Ｂに重ね合わされている。第３偏光子３６Ｃは、マルチＢＰフィルタ３４Ｃと対応しており、マルチＢＰフィルタ３４Ｃに重ね合わされている。

　以下、第１偏光子３６Ａ、第２偏光子３６Ｂ、及び第３偏光子３６Ｃを区別して説明する必要がない場合には、第１偏光子３６Ａ、第２偏光子３６Ｂ、及び第３偏光子３６Ｃをそれぞれ「偏光子３６」と称する。

　Ｂフィルタ３４Ａに対応する第１偏光子３６Ａ、及びＧフィルタ３４Ｂに対応する第２偏光子３６Ｂは、本開示の技術に係る「第２偏光子」の一例である。マルチＢＰフィルタ３４Ｃに対応する第３偏光子３６Ｃは、本開示の技術に係る「第１偏光子」の一例である。

　イメージセンサ１４は、光電変換素子３８及び信号処理回路４０を備えている。イメージセンサ１４は、一例として、ＣＭＯＳイメージセンサである。本実施形態では、イメージセンサ１４としてＣＭＯＳイメージセンサが例示されているが、本開示の技術はこれに限定されず、例えば、イメージセンサ１４がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。

　一例として図１中には、光電変換素子３８の模式的な構成が示されている。また、一例として図２には、光電変換素子３８の一部の構成が具体的に示されている。光電変換素子３８は、画素層４２、偏光フィルタ層４３、及び分光フィルタ層４６を有する。

　画素層４２は、複数の画素４８を有する。複数の画素４８は、マトリクス状に配置されており、光電変換素子３８の受光面３８Ａを形成している。各画素４８は、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。

　フォトダイオードは、例えば、近赤外光に感度を有するインジウム・ガリウム・ヒ素フォトダイオードである。本実施形態では、フォトダイオードとしてインジウム・ガリウム・ヒ素フォトダイオードが例示されているが、本開示の技術はこれに限定されず、例えば、フォトダイオードがシリコンフォトダイオード等の他種類のダイオードであっても本開示の技術は成立する。

　以下、マルチスペクトル画像９０を形成する画素と区別するために、光電変換素子３８に設けられた画素４８を「物理画素４８」と称する。また、マルチスペクトル画像９０を形成する画素を「画像画素」と称する。

　光電変換素子３８は、複数の物理画素４８から出力された電気信号を撮像画像データ５０として信号処理回路４０に対して出力する。信号処理回路４０は、光電変換素子３８から入力されたアナログの撮像画像データ５０をデジタル化する。

　複数の物理画素４８は、複数の画素ブロック５２を形成している。各画素ブロック５２は、４つの物理画素４８によって形成されている。図１では、便宜上、各画素ブロック５２を形成する４つの物理画素４８が光軸ＯＡと直交する方向に沿って直線状に配列された状態で示されているが、一例として図２に示すように、４つの物理画素４８は、光電変換素子３８の縦方向及び横方向にそれぞれ隣接して配置されている。物理画素４８は、本開示の技術に係る「画素」の一例である。

　偏光フィルタ層４３は、第１偏光子５４Ａ、第２偏光子５４Ｂ、第３偏光子５４Ｃ、及び第４偏光子５４Ｄを有する。第１偏光子５４Ａは、透過軸が方位角９０°に設定された偏光子である。第２偏光子５４Ｂは、透過軸が方位角１３５°に設定された偏光子である。第３偏光子５４Ｃは、透過軸が方位角０°に設定された偏光子である。第４偏光子５４Ｄは、透過軸が方位角４５°に設定された偏光子である。第１偏光子５４Ａ、第２偏光子５４Ｂ、第３偏光子５４Ｃ、及び第４偏光子５４Ｄは、４つの物理画素４８とそれぞれ対応しており、４つの物理画素４８にそれぞれ重ね合わされている。

　以下、第１偏光子５４Ａ、第２偏光子５４Ｂ、第３偏光子５４Ｃ、及び第４偏光子５４Ｄを区別して説明する必要がない場合には、第１偏光子５４Ａ、第２偏光子５４Ｂ、第３偏光子５４Ｃ、及び第４偏光子５４Ｄをそれぞれ「偏光子５４」と称する。各物理画素４８に対応する偏光子５４は、本開示の技術に係る「第３偏光子」の一例である。

　分光フィルタ層４６は、Ｂフィルタ５６Ａ、Ｇフィルタ５６Ｂ、及びＲフィルタ５６Ｃを有する。Ｂフィルタ５６Ａは、複数の波長帯域の光のうちの青色の波長帯域の光を最も多く透過させる青色帯域フィルタである。Ｇフィルタ５６Ｂは、複数の波長帯域の光のうちの緑色の波長帯域の光を最も多く透過させる緑色帯域フィルタである。Ｒフィルタ５６Ｃは、複数の波長帯域の光のうちの赤色の波長帯域の光を最も多く透過させる赤色帯域フィルタである。Ｂフィルタ５６Ａ、Ｇフィルタ５６Ｂ、及びＲフィルタ５６Ｃは、各画素ブロック５２に割り当てられている。

　図１では、便宜上、Ｂフィルタ５６Ａ、Ｇフィルタ５６Ｂ、及びＲフィルタ５６Ｃが光軸ＯＡと直交する方向に沿って直線状に配列された状態で示されているが、一例として図２に示すように、Ｂフィルタ５６Ａ、Ｇフィルタ５６Ｂ、及びＲフィルタ５６Ｃは既定のパターン配列でマトリクス状に配置されている。図２に示す例では、Ｂフィルタ５６Ａ、Ｇフィルタ５６Ｂ、及びＲフィルタ５６Ｃは、既定のパターン配列の一例として、ベイヤ配列でマトリクス状に配置されている。なお、既定のパターン配列は、ベイヤ配列以外に、ＲＧＢストライプ配列、Ｒ／Ｇ市松配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等でもよい。

　以下、Ｂフィルタ５６Ａ、Ｇフィルタ５６Ｂ、及びＲフィルタ５６Ｃを区別して説明する必要がない場合には、Ｂフィルタ５６Ａ、Ｇフィルタ５６Ｂ、及びＲフィルタ５６Ｃをそれぞれ「フィルタ５６」と称する。

　一例として図１に示すように、入出力Ｉ／Ｆ１８には、信号処理回路４０、制御ドライバ１６、ディスプレイ２２、及びコンピュータ２０が接続されている。

　コンピュータ２０は、プロセッサ６０、ＮＶＭ６２、及びＲＡＭ６４を有する。プロセッサ６０は、撮像装置１０の全体を制御する。プロセッサ６０は、例えば、ＣＰＵ及びＧＰＵを含む演算処理装置であり、ＧＰＵは、ＣＰＵの制御下で動作し、画像に関する処理の実行を担う。ここでは、プロセッサ６０の一例としてＣＰＵ及びＧＰＵを含む演算処理装置を挙げているが、これはあくまでも一例に過ぎず、プロセッサ６０は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。プロセッサ６０、ＮＶＭ６２、及びＲＡＭ６４は、バス６６を介して接続されており、バス６６は、入出力Ｉ／Ｆ１８に接続されている。プロセッサ６０は、本開示の技術に係る「第１プロセッサ」の一例である。

　ＮＶＭ６２は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えば、ＮＶＭ６２は、フラッシュメモリ（例えば、ＥＥＰＲＯＭ）である。但し、これは、あくまでも一例に過ぎず、フラッシュメモリと共に、ＨＤＤ等をＮＶＭ６２として適用してもよい。ＲＡＭ６４は、各種情報を一時的に記憶し、ワークメモリとして用いられる。

　プロセッサ６０は、ＮＶＭ６２から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ６４で実行する。プロセッサ６０は、ＲＡＭ６４で実行するプログラムに従って、制御ドライバ１６及び信号処理回路４０を制御する。制御ドライバ１６は、プロセッサ６０の制御下で光電変換素子３８を制御する。ディスプレイ２２は、例えば液晶表示器であり、マルチスペクトル画像９０を含む各種画像を表示する。

　一例として図３に示すように、マルチＢＰフィルタ３４Ｃは、ガラス層６８及び一対のコーティング層７０及び７２を有する。ガラス層は、本開示の技術に係る「ガラス層」の一例である。一対のコーティング層７０及び７２は、本開示の技術に係る「第１コーティング層」の一例である。ガラス層６８は、第１面６８Ａと、第１面６８Ａと反対側の第２面６８Ｂとを有する。コーティング層７０は、第１面６８Ａに積層されており、コーティング層７２は、第２面６８Ｂに積層されている。

　マルチＢＰフィルタ３４Ｃが有する３つの透過波長帯域は、一対のコーティング層７０及び７２によって実現されている。すなわち、一対のコーティング層７０及び７２は、３つの透過波長帯域（一例として、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３）を有する。また、一対のコーティング層７０及び７２は、３つの透過波長帯域毎に異なる透過率（一例として、第１透過率Ｔ_１、第２透過率Ｔ_２、及び第３透過率Ｔ_３）を有する。

　図２に示す例では、マルチＢＰフィルタ３４Ｃが有する３つの透過波長帯域は、一対のコーティング層７０及び７２によって実現されているが、一対のコーティング層７０及び７２のうちのコーティング層７０又はコーティング層７２のみによって実現されてもよい。また、マルチＢＰフィルタ３４Ｃは、一対のコーティング層７０及び７２を有するが、一対のコーティング層７０及び７２のうちのコーティング層７０又はコーティング層７２のみを有していてもよい。

　なお、マルチＢＰフィルタ３４Ｃでは、一対のコーティング層７０及び７２によって第２透過率Ｔ２及び第３透過率Ｔ３がそれぞれ第１透過率Ｔ１よりも下げられた分の透過率が、反射率になることにより逆光の原因となる可能性がある。したがって、複数の透過波長帯域を有するマルチＢＰフィルタ３４Ｃは、例えば、逆光が問題にならない条件下で使用されてもよい。

　一例として図４に示すように、ＮＶＭ６２には、マルチスペクトル画像生成プログラム８０が記憶されている。プロセッサ６０は、ＮＶＭ６２からマルチスペクトル画像生成プログラム８０を読み出し、読み出したマルチスペクトル画像生成プログラム８０をＲＡＭ６４上で実行する。プロセッサ６０は、ＲＡＭ６４上で実行するマルチスペクトル画像生成プログラム８０に従って、マルチスペクトル画像９０を生成するためのマルチスペクトル画像生成処理を実行する。

　マルチスペクトル画像生成処理は、プロセッサ６０がマルチスペクトル画像生成プログラム８０に従って、出力値取得部８２、混信除去処理部８４、及びマルチスペクトル画像取得部８６として動作することで実現される。

　一例として図５に示すように、出力値取得部８２は、イメージセンサ１４から出力された撮像画像データ５０がプロセッサ６０に入力された場合、撮像画像データ５０に基づいて、各物理画素４８の出力値Ｙを取得する。イメージセンサ１４から出力された撮像画像データ５０は、本開示の技術に係る「第１画像データ」の一例である。各物理画素４４の出力値Ｙは、撮像画像データ５０によって示される撮像画像に含まれる各画素の輝度値に対応する。

　ここで、各物理画素４４の出力値Ｙは、混信（すなわち、クロストーク）が含まれた値である。すなわち、各物理画素４４には、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３の各透過波長帯域λの光が入射するため、出力値Ｙは、第１透過波長帯域λ_１の光量に応じた値、第２透過波長帯域λ_２の光量に応じた値、及び第３透過波長帯域λ_３の光量に応じた値が混合した値となる。

　マルチスペクトル画像９０を得るためには、プロセッサ６０が、物理画素４４毎に、出力値Ｙから各透過波長帯域λに対応した値を分離して抽出する処理、すなわち、混信を除去する処理である混信除去処理を出力値Ｙに対して行う必要がある。そこで、本実施形態では、マルチスペクトル画像９０を取得するために、混信除去処理部８４は、出力値取得部８２によって取得された各物理画素４８の出力値Ｙに対して混信除去処理を実行する。

　ここで、混信除去処理について説明する。各物理画素４８の出力値Ｙは、赤色、緑色、及び青色の各輝度値を出力値Ｙの成分として含む。各物理画素４８の出力値Ｙは、式（１）によって表される。ただし、Ｙ_Ｒは、出力値Ｙのうちの赤色の輝度値であり、Ｙ_Ｇは、出力値Ｙのうちの緑色の輝度値であり、Ｙ_Ｂは、出力値Ｙのうちの青色の輝度値である。

　マルチスペクトル画像９０を形成する各画像画素の画素値Ｘは、第１透過波長帯域λ_１の光の輝度値、第２透過波長帯域λ_２の光の輝度値、及び第３透過波長帯域λ_３の光の輝度値を画素値Ｘの成分として含む。各画像画素の画素値Ｘは、式（２）によって表される。ただし、輝度値Ｘ_λ１は、画素値Ｘのうちの第１透過波長帯域λ_１の光の輝度値であり、輝度値Ｘ_λ２は、画素値Ｘのうちの第２透過波長帯域λ_２の光の輝度値であり、輝度値Ｘ_λ３は、画素値Ｘのうちの第３透過波長帯域λ_３の光の輝度値である。

　混信行列をＡとした場合、各物理画素４８の出力値Ｙは、式（３）によって表される。

　混信行列Ａ（図示省略）は、被写体光のスペクトル、第１レンズ２４の分光透過率、第２レンズ２８の分光透過率、マルチＢＰフィルタ３４Ｃの分光透過率、及びイメージセンサ１４の分光感度に基づいて規定される行列である。

　被写体光のスペクトルは、被写体光のうちの第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３の各光の輝度値を指す。第１レンズ２４の分光透過率は、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３の各光が第１レンズ２４を透過する場合の各光の透過率を指す。第２レンズ２８の分光透過率は、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３の各光が第２レンズ２８を透過する場合の各光の透過率を指す。マルチＢＰフィルタ３４Ｃの分光透過率は、マルチＢＰフィルタ３４Ｃの透過波長帯域（一例として、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３）毎の透過率を指す。マルチＢＰフィルタ３４Ｃの分光透過率は、本開示の技術に係る「第１透過長帯域毎の透過率」の一例である。イメージセンサ１４の分光感度帯域は、赤色、緑色、及び青色の各光の波長帯域に設定されている。イメージセンサ１４の分光感度は、分光感度帯域毎の感度を指す。

　混信行列Ａの一般逆行列である混信除去行列をＡ^＋とした場合、各画像画素の画素値Ｘは、式（４）によって表される。

　混信除去行列Ａ^＋も、混信行列Ａと同様に、被写体光のスペクトル、第１レンズ２４の分光透過率、第２レンズ２８の分光透過率、マルチＢＰフィルタ３４Ｃの分光透過率、及びイメージセンサ１４の分光感度に基づいて規定される行列である。混信除去行列Ａ^＋は、後述するように、処理装置１００による混信除去行列生成処理によって生成される。混信除去行列生成処理によって生成された混信除去行列Ａ^＋は、ＮＶＭ６２に記憶される。

　混信除去処理部８４は、ＮＶＭ６２に記憶されている混信除去行列Ａ^＋と、出力値取得部８２によって取得された各物理画素４８の出力値Ｙとを取得し、取得した混信除去行列Ａ^＋と各物理画素４８の出力値Ｙとに基づいて、式（４）により、各画像画素の画素値Ｘを出力する。

　ここで、上述の通り、各画像画素の画素値Ｘは、第１透過波長帯域λ_１の光の輝度値Ｘ_λ１、第２透過波長帯域λ_２の光の輝度値Ｘ_λ２、及び第３透過波長帯域λ_３の光の輝度値Ｘ_λ３を画素値Ｘの成分として含む。第１透過波長帯域λ_１の光の輝度値Ｘ_λ１は、撮像画像データ５０のうちの第１画像データによって示される。第２透過波長帯域λ_２の光の輝度値Ｘ_λ２は、撮像画像データ５０のうちの第２画像データによって示される。第３透過波長帯域λ_３の光の輝度値Ｘ_λ３は、撮像画像データ５０のうちの第３画像データによって示される。

　このように、混信除去処理部８４によって混信除去処理が実行されることにより、撮像画像データ５０が、第１透過波長帯域λ_１の光の輝度値Ｘ_λ１を示す画像データである第１画像データと、第２透過波長帯域λ_２の光の輝度値Ｘ_λ２を示す画像データである第２画像データと、第３透過波長帯域λ_３の光の輝度値Ｘ_λ３を示す画像データである第３画像データとに分離される。すなわち、撮像画像データ５０が、マルチＢＰフィルタ３４Ｃの透過波長帯域毎の画像データに分離される。混信除去処理は、本開示の技術に係る「演算処理」の一例である。第１画像データ、第２画像データ、及び第３の画像データは、本開示の技術に係る「第２画像データ」の一例である。

　一例として図６に示すように、マルチスペクトル画像取得部８６は、混信除去処理部８４によって混信除去処理が実行されることにより生成された第１画像データ、第２画像データ、及び第３画像データを合成することにより、マルチスペクトル画像データを取得する。マルチスペクトル画像データは、マルチスペクトル画像９０を示す画像データである。マルチスペクトル画像データは、例えば、ディスプレイ２２に出力される。ディスプレイ２２は、マルチスペクトル画像データに基づいてマルチスペクトル画像９０を表示する。

　このように、各物理画素４８の出力値Ｙに対して混信除去行列Ａ^＋を用いた混信除去処理が実行されることにより、マルチスペクトル画像９０が得られる。ただし、各物理画素４８に作用するノイズ等の影響により各物理画素４８の出力値Ｙには誤差が生じる。各物理画素４８の出力値Ｙに生じる誤差は、混信除去処理によって拡大される。各物理画素４８の出力値Ｙに生じる誤差が混信除去処理によって拡大されると、マルチスペクトル画像９０に誤差が生じる。マルチスペクトル画像９０の誤差とは、各物理画素４８の出力値Ｙに誤差が生じていない理想的な条件下で得られたマルチスペクトル画像９０を基準とした誤差である。

　一例として図７に示すように、処理装置１００は、混信除去行列Ａ^＋を導出するための混信除去行列導出処理を実行する装置である。処理装置１００は、例えば、パーソナルコンピュータ等の情報処理装置によって実現される。処理装置１００では、マルチスペクトル画像９０に生じる誤差を少なくするために、次の要領で混信除去行列Ａ^＋が決定される。以下、処理装置１００の構成について説明する。

　処理装置１００は、コンピュータ１１０を備える。コンピュータ１１０は、プロセッサ１２０、ＮＶＭ１２２、及びＲＡＭ１２４を有する。プロセッサ１２０、ＮＶＭ１２２、及びＲＡＭ１２４は、撮像装置１０に備えられたプロセッサ６０、ＮＶＭ６２、及びＲＡＭ６４（いずれも図１参照）と同様のハードウェア資源によって実現される。コンピュータ１１０は、本開示の技術に係る「コンピュータ」の一例である。プロセッサ１２０は、本開示の技術に係る「第２プロセッサ」の一例である。

　ＮＶＭ１２２には、混信除去行列導出プログラム１３０が記憶されている。プロセッサ１２０は、ＮＶＭ１２２から混信除去行列導出プログラム１３０を読み出し、読み出した混信除去行列導出プログラム１３０をＲＡＭ１２４上で実行する。混信除去行列導出プログラム１３０は、本開示の技術に係る「プログラム」の一例である。プロセッサ１２０は、ＲＡＭ１２４上で実行する混信除去行列導出プログラム１３０に従って、混信除去行列Ａ^＋を導出するための混信除去行列導出処理を実行する。

　混信除去行列導出処理は、プロセッサ１２０が混信除去行列導出プログラム１３０に従って、輝度値導出部１３２、輝度値判定部１３４、分光透過率修正部１３６、及び混信除去行列決定部１３８として動作することで実現される。

　一例として図８に示すように、輝度値導出部１３２は、被写体光のスペクトル、第１レンズ２４の分光透過率、第２レンズ２８の分光透過率、マルチＢＰフィルタ３４Ｃの分光透過率、及びイメージセンサ１４の分光感度を取得する。被写体光のスペクトル、第１レンズ２４の分光透過率、第２レンズ２８の分光透過率、マルチＢＰフィルタ３４Ｃの分光透過率、及びイメージセンサ１４の分光感度は、例えば、ユーザによって処理装置１００に対して付与された値である。

　一例として図８に示す例では、マルチＢＰフィルタ３４Ｃの分光透過率が同じに設定されている。マルチＢＰフィルタ３４Ｃの分光透過率は異なっていてもよいが、以下、マルチＢＰフィルタ３４Ｃの分光透過率が同じに設定された例を説明する。

　輝度値導出部１３２は、取得した被写体光のスペクトル、第１レンズ２４の分光透過率、第２レンズ２８の分光透過率、マルチＢＰフィルタ３４Ｃの分光透過率、及びイメージセンサ１４の分光感度に基づいて、複数の物理画素４８のうちの少なくとも一つの物理画素４８Ａ（以下、「特定物理画素４８Ａ」と称する）から分光感度帯域毎に出力される輝度値を導出する。

　図８に示す例では、複数の物理画素４８のうちの受光面３８Ａの中央部に位置する一の物理画素４８が特定物理画素４８Ａに選定されている。特定物理画素４８Ａは、本開示の技術に係る「特定画素」の一例である。受光面の中央部は、本開示の技術に係る「受光面の特定領域」の一例である。特定物理画素４８Ａから分光感度帯域毎に出力される輝度値は、赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）の各光の輝度値（以下、「特定物理画素４８ＡのＲＧＢ輝度値」と称する）を指す。

　一例として図９に示すように、輝度値判定部１３４は、輝度値導出部１３２によって導出された特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっているか否かを判定する。一例として図９には、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の特定物理画素４８ＡのＲＧＢ輝度値が示されている。

　既定の範囲は、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の特定物理画素４８ＡのＲＧＢ輝度値の最大値未満でＲＧＢ輝度値の最小値以上となる範囲で設定される。一例として、既定の範囲は、各物理画素４８の出力値Ｙが混信除去処理されることによって得られるマルチスペクトル画像９０の誤差が許容値に収まる範囲に設定される。許容値は、ユーザによって任意に設定される値である。

　図９に示す例では、例えば、特定物理画素４８ＡのＲＧＢ輝度値のうちの青色（Ｂ）の光の輝度値は、既定の範囲に収まっているが、特定物理画素４８ＡのＲＧＢ輝度値のうちの緑色（Ｇ）及び赤色（Ｒ）の各光の輝度値が既定の範囲から外れている。図９に示す例の場合、輝度値判定部１３４は、輝度値導出部１３２によって導出された特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっていないと判定する。

　分光透過率修正部１３６は、輝度値導出部１３２によって導出された特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっていないと輝度値判定部１３４によって判定された場合、マルチＢＰフィルタ３４Ｃの分光透過率を、特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まる分光透過率に修正する。

　例えば、分光透過率修正部１３６は、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の特定物理画素４８ＡのＲＧＢ輝度値の各輝度値の比率に基づいて、特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まる分光透過率を導出し、導出した分光透過率にマルチＢＰフィルタ３４Ｃの分光透過率を修正する。

　図９に示す例の場合、特定物理画素４８ＡのＲＧＢ輝度値のうちの緑色（Ｇ）及び赤色（Ｒ）の各光の輝度値が既定の範囲から外れているので、分光透過率修正部１３６は、緑色（Ｇ）の輝度値に対応する第２透過率Ｔ２、及び赤色（Ｒ）の輝度値に対応する第３透過率Ｔ３を下げる修正を行う。この場合に、分光透過率修正部１３６は、例えば、緑色（Ｇ）の輝度値が青色（Ｂ）の輝度値よりも高いことに対応して、第２透過率Ｔ２を第１透過率Ｔ１よりも低くする修正を行う。また、分光透過率修正部１３６は、例えば、赤色（Ｒ）の輝度値が緑色（Ｇ）の輝度値よりも高いことに対応して、第３透過率Ｔ３を第２透過率Ｔ２よりも低くする修正を行う。

　なお、分光透過率修正部１３６は、輝度値導出部１３２によって導出された特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっていると輝度値判定部１３４によって判定されるまで、第２透過率Ｔ２及び／又は第３透過率Ｔ３を段階的に下げることによりマルチＢＰフィルタ３４Ｃの分光透過率を修正してもよい。

　このように、マルチＢＰフィルタ３４Ｃの分光透過率を修正することは、混信除去行列Ａ^＋の条件数を下げることに相当する。混信除去行列Ａ^＋の条件数とは、各物理画素４８の出力値Ｙが混信除去処理されることによって得られるマルチスペクトル画像９０の相対誤差の拡大率を指す。混信除去行列Ａ^＋の条件数を、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の条件数よりも小さくすることにより、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合に比して、マルチスペクトル画像９０の誤差が少なくなる。なお、マルチＢＰフィルタ３４Ｃの分光透過率を、混信除去行列Ａ^＋の条件数が最小となる分光透過率に修正することが理想的である。

　また、分光透過率修正部１３６は、マルチＢＰフィルタ３４Ｃの分光透過率を、混信除去行列Ａ^＋の最大特異値が最小となる分光透過率に修正してもよい。混信除去行列Ａ^＋の最大特異値とは、各物理画素４８の出力値Ｙが混信除去処理されることによって得られるマルチスペクトル画像９０の絶対誤差の拡大率を指す。混信除去行列Ａ^＋の最大特異値を、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の最大特異値よりも小さくすることにより、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合に比して、マルチスペクトル画像９０の誤差が少なくなる。なお、マルチＢＰフィルタ３４Ｃの分光透過率を、混信除去行列Ａ^＋の最大特異値が最小となる分光透過率に修正することが理想的である。

　一例として、分光透過率修正部１３６は、マルチＢＰフィルタ３４Ｃの分光透過率を、混信除去行列Ａ^＋の条件数が、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の条件数よりも小さくなる分光透過率、及び／又は、混信除去行列Ａ^＋の最大特異値が、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の最大特異値よりも小さくなる分光透過率に修正する。

　分光透過率修正部１３６によって修正されたマルチＢＰフィルタ３４Ｃの分光透過率は、いわゆる設計値であり、上述のマルチＢＰフィルタ３４Ｃの分光透過率に反映される。すなわち、マルチＢＰフィルタ３４Ｃは、分光透過率修正部１３６によって修正された分光透過率を有するフィルタに製造される。このようにして製造されたマルチＢＰフィルタ３４Ｃは、混信除去行列Ａ^＋の条件数が、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の条件数よりも小さくなる特性、及び／又は、混信除去行列Ａ^＋の最大特異値が、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の最大特異値よりも小さくなる特性を有する。

　分光透過率修正部１３６によってマルチＢＰフィルタ３４Ｃの分光透過率を修正する処理（すなわち、特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まる分光透過率を導出する処理）は、本開示の技術に係る「導出処理」の一例である。特定物理画素４８ＡのＲＧＢ輝度値は、本開示の技術に係る「第１出力値」の一例である。マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の特定物理画素４８ＡのＲＧＢ輝度値は、本開示の技術に係る「第２出力値」の一例である。

　なお、マルチＢＰフィルタ３４Ｃとして、分光透過率を可変なフィルタが用いられ、マルチＢＰフィルタ３４Ｃの分光透過率が、分光透過率修正部１３６によって修正された分光透過率に変更されてもよい。

　一例として図１０には、分光透過率修正部１３６によってマルチＢＰフィルタ３４Ｃの分光透過率が修正されることにより、特定物理画素４８ＡのＲＧＢ輝度値がいずれも既定の範囲に収まっている例が示されている。図１０に示す例の場合、輝度値判定部１３４は、輝度値導出部１３２によって導出された特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっていると判定する。

　混信除去行列決定部１３８は、輝度値導出部１３２によって導出された特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっていると輝度値判定部１３４によって判定された場合、混信除去行列Ａ^＋を決定する。すなわち、混信除去行列決定部１３８は、被写体光のスペクトル、第１レンズ２４の分光透過率、第２レンズ２８の分光透過率、及びイメージセンサ１４の分光感度に加えて、輝度値判定部１３４によって特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっていると判定された場合のマルチＢＰフィルタ３４Ｃの分光透過率（すなわち、分光透過率修正部１３６によって修正された分光透過率）を用いて、混信除去行列Ａ^＋を規定する。混信除去行列決定部１３８によって決定された混信除去行列Ａ^＋は、撮像装置１０のＮＶＭ６２に記憶される。

　次に、本実施形態に係る撮像装置１０の作用について図１１を参照しながら説明する。図１１には、本実施形態に係るマルチスペクトル画像生成処理の流れの一例が示されている。

　図１１に示すマルチスペクトル画像生成処理では、先ず、ステップＳＴ１０で、出力値取得部８２は、イメージセンサ１４から出力された撮像画像データ５０に基づいて、各物理画素４８の出力値Ｙを取得する（図５参照）。ステップＳＴ１０の処理が実行された後、マルチスペクトル画像生成処理は、ステップＳＴ１２へ移行する。

　ステップＳＴ１２で、混信除去処理部８４は、ＮＶＭ６２に記憶されている混信除去行列Ａ^＋と、ステップＳＴ１０で取得された各物理画素４８の出力値Ｙとを取得し、取得した混信除去行列Ａ^＋と各物理画素４８の出力値Ｙとに基づいて、各画像画素の画素値Ｘを出力する（図５参照）。ステップＳＴ１２で混信除去処理が実行されることにより、撮像画像データ５０が、第１透過波長帯域λ_１の光の輝度値Ｘ_λ１を示す画像データである第１画像データと、第２透過波長帯域λ_２の光の輝度値Ｘ_λ２を示す画像データである第２画像データと、第３透過波長帯域λ_３の光の輝度値Ｘ_λ３を示す画像データである第３画像データとに分離される。ステップＳＴ１２の処理が実行された後、マルチスペクトル画像生成処理は、ステップＳＴ１４へ移行する。

　ステップＳＴ１４で、マルチスペクトル画像取得部８６は、ステップＳＴ１２で混信除去処理が実行されることにより生成された第１画像データ、第２画像データ、及び第３画像データに基づいて、マルチスペクトル画像９０を取得する（図６参照）。ステップＳＴ１４の処理が実行された後、マルチスペクトル画像生成処理は、ステップＳＴ１６へ移行する。

　ステップＳＴ１６で、プロセッサ６０は、マルチスペクトル画像生成処理を終了する条件（すなわち、終了条件）が成立したか否かを判定する。終了条件の一例としては、ユーザがマルチスペクトル画像生成処理を終了させる指示を撮像装置１０に対して付与したという条件等が挙げられる。ステップＳＴ１６において、終了条件が成立していない場合には、判定が否定されて、マルチスペクトル画像生成処理は、ステップＳＴ１０へ移行する。ステップＳＴ１６において、終了条件が成立した場合には、判定が肯定されて、マルチスペクトル画像生成処理は終了する。

　次に、本実施形態に係る処理装置１００の作用について図１２を参照しながら説明する。図１２には、本実施形態に係る混信除去行列導出処理の流れの一例が示されている。

　図１２に示す混信除去行列導出処理では、先ず、ステップＳＴ２０で、輝度値導出部１３２は、被写体光のスペクトル、第１レンズ２４の分光透過率、第２レンズ２８の分光透過率、マルチＢＰフィルタ３４Ｃの分光透過率、及びイメージセンサ１４の分光感度に基づいて、特定物理画素４８ＡのＲＧＢ輝度値を導出する（図８参照）。ステップＳＴ２０の処理が実行された後、混信除去行列導出処理は、ステップＳＴ２２へ移行する。

　ステップＳＴ２２で、輝度値判定部１３４は、ステップＳＴ２０で導出された特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっているか否かを判定する（図９参照）。ステップＳＴ２２において、特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっていない場合には、判定が否定されて、混信除去行列導出処理は、ステップＳＴ２４へ移行する。ステップＳＴ２２において、特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっている場合には、判定が肯定されて、混信除去行列導出処理は、ステップＳＴ２６へ移行する。

　ステップＳＴ２４で、分光透過率修正部１３６は、マルチＢＰフィルタ３４Ｃの分光透過率を、特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まる分光透過率に修正する（図９参照）。ステップＳＴ２４の処理が実行された後、混信除去行列導出処理は、ステップＳＴ２８へ移行する。

　ステップＳＴ２６で、混信除去行列決定部１３８は、混信除去行列Ａ^＋を決定する（図１０参照）。具体的には、混信除去行列決定部１３８は、被写体光のスペクトル、第１レンズ２４の分光透過率、第２レンズ２８の分光透過率、及びイメージセンサ１４の分光感度に加えて、ステップＳＴ２２で特定物理画素４８ＡのＲＧＢ輝度値が既定の範囲に収まっていると判定された場合のマルチＢＰフィルタ３４Ｃの分光透過率（すなわち、ステップＳＴ２４で修正された分光透過率）を用いて、混信除去行列Ａ^＋を規定する。ステップＳＴ２６の処理が実行された後、混信除去行列導出処理は、ステップＳＴ２８へ移行する。

　ステップＳＴ２８で、プロセッサ１２０は、混信除去行列導出処理を終了する条件（すなわち、終了条件）が成立したか否かを判定する。終了条件の一例としては、ユーザが混信除去行列導出処理を終了させる指示を処理装置１００に対して付与したという条件等が挙げられる。ステップＳＴ２８において、終了条件が成立していない場合には、判定が否定されて、混信除去行列導出処理は、ステップＳＴ２０へ移行する。ステップＳＴ２８において、終了条件が成立した場合には、判定が肯定されて、混信除去行列導出処理は終了する。なお、処理装置１００の作用として説明した処理装置１００による処理方法は、本開示の技術に係る「処理方法」の一例である。

　以上説明したように、本実施形態に係る撮像装置１０では、イメージセンサ１４から出力された撮像画像データ５０に対して混信除去処理が実行されることにより、撮像画像データ５０がマルチＢＰフィルタ３４Ｃの透過波長帯域毎の画像データに分離される（図５参照）。したがって、分離された画像データに基づいて、複数の透過波長帯域の光の輝度値を含むマルチスペクトル画像９０を取得することができる。

　マルチＢＰフィルタ３４Ｃは、特定物理画素４８ＡのＲＧＢ輝度値が、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の特定物理画素４８ＡのＲＧＢ輝度値の最大値未満でＲＧＢ輝度値の最小値以上となる光学特性を有する（図１０参照）。したがって、イメージセンサから出力された撮像画像データ５０から得られる透過波長帯域毎の画像データ（すなわち、第１画像データ、第２画像データ、及び第３画像データ）の誤差を少なくすることができる。すなわち、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合に比して、マルチスペクトル画像９０の誤差を少なくすることができる。

　マルチＢＰフィルタ３４Ｃの光学特性は、透過波長帯域毎の幅が同じで透過波長帯域毎の透過率が異なる光学特性を含む（図１０参照）。したがって、例えば、透過波長帯域毎の幅が同じで透過波長帯域毎の透過率も同じである場合に比して、混信除去行列Ａ^＋の条件数及び／又は最大特異値を小さくすることができる。

　マルチＢＰフィルタ３４Ｃの光学特性は、混信除去行列Ａ^＋の条件数が、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の条件数よりも小さくなる特性、及び／又は、混信除去行列Ａ^＋の最大特異値が、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の最大特異値よりも小さくなる特性である（図８及び図９参照）。したがって、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合に比して、マルチスペクトル画像９０の相対誤差の拡大率、及び／又はマルチスペクトル画像９０の絶対誤差の拡大率を小さくすることができる。

　マルチＢＰフィルタ３４Ｃの光学特性は、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の特定物理画素４８ＡのＲＧＢ輝度値に基づいて設定された特性である（図８及び図９参照）。したがって、マルチＢＰフィルタ３４Ｃの分光透過率が同じである場合の特定物理画素４８ＡのＲＧＢ輝度値に応じて、特定物理画素４８ＡのＲＧＢ輝度値を既定の範囲に収めることができる。

　マルチＢＰフィルタ３４Ｃは、ガラス層６８と、一対のコーティング層７０及び７２とを有する（図３参照）。一対のコーティング層７０及び７２は、複数の透過波長帯域を有し、かつ、透過波長帯域毎に異なる透過率を有する。したがって、透過波長帯域毎に異なる透過率を有するマルチＢＰフィルタ３４Ｃを実現することができる。

　光学系１２は、マルチＢＰフィルタ３４Ｃと異なる透過波長帯域を有するＢフィルタ３４Ａ及びＧフィルタ３４Ｂを有する。また、光学系１２は、Ｂフィルタ３４Ａに対応する第１偏光子３６Ａと、Ｇフィルタ３４Ｂに対応する第２偏光子３６Ｂと、マルチＢＰフィルタ３４Ｃに対応する第３偏光子３６Ｃとを有する。イメージセンサ１４は、各物理画素４８に対応する第３偏光子３６Ｃを有する。したがって、各物理画素４８で光の偏光方向に応じた輝度値を得ることができる。

　特定物理画素４８Ａは、複数の画素４８のうちの受光面３８Ａの中央部に位置する画素である。したがって、例えば、受光面３８Ａの中央部から外れた位置に配置された物理画素４８のＲＧＢ輝度値を取得する場合に比して、誤差の少ないＲＧＢ輝度値を取得することができる。

　なお、上記実施形態では、マルチＢＰフィルタ３４Ｃは、透過波長帯域毎の幅が同じで透過波長帯域毎の透過率が異なる光学特性を有する。しかしながら、一例として図１３に示すように、マルチＢＰフィルタ３４Ｃは、透過波長帯域毎の透過率が同じで透過波長帯域毎の幅が異なる光学特性を有していてもよい。図１３に示す例では、透過波長帯域毎の透過率は透過率Ｔで同じであるが、第１帯域幅Ｗ_１は、第２帯域幅Ｗ_２よりも広く、第２帯域幅Ｗ_２は、第３帯域幅Ｗ_３よりも広い。図１３に示す例によっても、例えば、透過波長帯域毎の透過率が同じで透過波長帯域毎の幅も同じである場合に比して、混信除去行列Ａ^＋の条件数及び／又は最大特異値を小さくすることができる。なお、透過波長帯域毎の幅は、図１３に示す例以外でもよい。

　ここで、マルチＢＰフィルタ３４Ｃが透過波長帯域毎の幅が異なる光学特性を有する場合には、次のデメリットが考えられる。すなわち、透過波長帯域毎の幅を狭めるに従って、マルチＢＰフィルタ３４Ｃへの光の入射角に応じた波長のシフト量が増加したり、マルチＢＰフィルタ３４Ｃの製造誤差の影響が増加したりする可能性が考えられる。また、透過波長帯域毎の幅を拡げるに従って、マルチスペクトル画像９０の波長精度が低下する可能性が考えられる。さらに、隣り合う透過波長帯域の間を確保するために各透過波長帯域の幅に制約が生じる場合がある。したがって、透過波長帯域毎の幅が異なる光学特性は、例えば、透過波長帯域毎の透過率が異なる場合に比して、透過波長帯域毎の幅の差が小さくても条件数及び／又は最大特異値の下げ幅が大きい場合に適用されてもよい。透過波長帯域毎の幅が異なる光学特性は、本開示の技術に係る「第２光学特性」の一例である。

　一例として図１４に示すように、マルチＢＰフィルタ３４Ｃは、透過波長帯域毎の透過率分布が異なる光学特性を有していてもよい。図１４に示す例では、マルチＢＰフィルタ３４Ｃは、第１透過波長帯域λ_１では台形状の透過率分布を有し、第２透過波長帯域λ_２では矩形状の透過率分布を有し、第３透過波長帯域λ_３では波長が増加するに従って透過率が下がる透過率分布を有する。図１４に示す例によっても、例えば、透過波長帯域毎の透過率が同じで透過波長帯域毎の幅も同じである場合に比して、混信除去行列Ａ^＋の条件数及び／又は最大特異値を小さくすることができる。なお、透過波長帯域毎の透過率分布は、図１４に示す例以外でもよい。

　ここで、マルチＢＰフィルタ３４Ｃが透過波長帯域毎の透過率分布が異なる光学特性を有する場合には、次のデメリットが考えられる。すなわち、各透過波長帯域では波長に応じて透過率が変わる。したがって、透過波長帯域毎の透過率分布が異なる光学特性は、例えば、透過波長帯域毎の透過率分布に合う特殊な被写体光を生じさせる光源及び／又は被写体に対して適用されてもよい。透過波長帯域毎の透過率分布が異なる光学特性は、本開示の技術に係る「第３光学特性」の一例である。

　マルチＢＰフィルタ３４Ｃの光学特性は、透過波長帯域毎の透過率が異なる光学特性、透過波長帯域毎の幅が異なる光学特性、及び透過波長帯域毎の透過率分布が異なる光学特性の少なくとも１つを含んでいてもよい。マルチＢＰフィルタ３４Ｃの光学特性が、透過波長帯域毎の幅が異なる光学特性及び透過波長帯域毎の透過率分布が異なる光学特性の両方を含む場合、透過波長帯域毎の幅は、透過率の最小値の幅でもよく、透過率の最大値の幅でもよく、透過率の平均値の幅でもよい。

　上記実施形態では、マルチＢＰフィルタ３４Ｃは、透過波長帯域毎の透過率が異なる光学特性を実現するために、ガラス層６８及び一対のコーティング層７０及び７２を有する。しかしながら、一例として図１５に示すように、マルチＢＰフィルタ３４Ｃは、透過波長帯域毎の透過率が異なる光学特性を実現するために、第１フィルタ部材１４０及び第２フィルタ部材１４２を有していてもよい。

　第１フィルタ部材１４０は、複数の透過波長帯域（一例として、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３）を有する。第１フィルタ部材１４０は、透過波長帯域毎の透過率が同じである光学特性を有する。第２フィルタ部材１４２は、透過率を調整する調整フィルタであり、透過波長帯域毎に異なる透過率を有する。そして、図１５に示す例では、第１フィルタ部材１４０及び第２フィルタ部材１４２によって、透過波長帯域毎に異なる透過率を有するマルチＢＰフィルタ３４Ｃが実現されている。

　図１５に示す例では、例えば、マルチＢＰフィルタ３４Ｃがガラス層６８及び一対のコーティング層７０及び７２を有する場合に比して、マルチＢＰフィルタ３４Ｃの設計及び／又は製造を容易に行うことができる。また、調整フィルタである第２フィルタ部材１４２を用いることにより、例えば、マルチＢＰフィルタ３４Ｃがガラス層６８及び一対のコーティング層７０及び７２を有する場合に比して、マルチＢＰフィルタ３４Ｃで迷光が生じることを抑制することができる。第１フィルタ部材１４０は、本開示の技術に係る「第１フィルタ部材」の一例である。第２フィルタ部材１４２は、本開示の技術に係る「第２フィルタ部材」の一例である。

　一例として図１６に示すように、第１フィルタ部材１４０は、複数の透過波長帯域を有し、かつ透過波長帯域毎に異なる透過率を有する光学特性を有していてもよい。また、第２フィルタ部材１４２は、波長が増加するに従って透過率が減少する光学特性を有していてもよい。さらに、第１フィルタ部材１４０の光学特性は、光源２（図１参照）として基準となる波長帯域の光を発する基準光源が用いられた場合に混信除去行列Ａ^＋の条件数を最小にする光学特性に設定されてもよい。一方、第２フィルタ部材１４２は、光源として基準光源とは異なる波長帯域の光を発する他の光源が用いられた場合に第１フィルタ部材１４０と組み合わされることにより混信除去行列Ａ^＋の条件数を最小にする光学特性に設定されてもよい。

　図１６に示す例では、光源が基準光源である場合には、第２フィルタ部材１４２を使用しなくて済む。また、光源が基準光源とは異なる他の光源である場合には、第２フィルタ部材１４２が使用されることにより、マルチＢＰフィルタ３４Ｃによって複数の透過波長帯域の光を得ることができる。

　一例として図１７に示すように、マルチＢＰフィルタ３４Ｃは、ガラス層６８及びコーティング層７０を有していてもよい。コーティング層７０は、ガラス層６８の第１面６８Ａに積層されている。ガラス層６８は、透過波長帯域毎に異なる透過率を有する。具体的には、ガラス層６８は、第１波長帯域λ_１、第２波長帯域λ_２、及び第３波長帯域λ_３に対応して、波長が増加するに従って透過率が段階的に減少する光学特性を有する。ガラス層６８の光学特性は、例えば、ガラス層６８に添加される吸収剤等によって実現される。

　コーティング層７０は、複数の透過波長帯域を有し、かつ透過波長帯域毎の透過率が一定である光学特性を有する。そして、図１７に示す例では、ガラス層６８及びコーティング層７０によって、透過波長帯域毎に異なる透過率を有するマルチＢＰフィルタ３４Ｃが実現されている。図１７に示す例では、例えば、マルチＢＰフィルタ３４Ｃがガラス層６８及び一対のコーティング層７０及び７２を有する場合（図３参照）に比して、マルチＢＰフィルタ３４Ｃの設計及び／又は製造を容易に行うことができる。ガラス層６８は、本開示の技術に係る「ガラス層」の一例である。コーティング層７０は、本開示の技術に係る「第１コーティング層」の一例である。

　一例として図１８に示すように、マルチＢＰフィルタ３４Ｃは、レンズ１４４及びコーティング層１４６を有していてもよい。コーティング層１４６は、レンズ１４４の表面に積層されている。そして、図１８に示す例では、レンズ１４４及びコーティング層１４６によって、透過波長帯域毎に異なる透過率を有するマルチＢＰフィルタ３４Ｃが実現されている。図１８に示す例では、マルチＢＰフィルタ３４Ｃが第１フィルタ部材１４０及び第２フィルタ部材１４２を有する場合（図１５及び図１６参照）よりも小型化することができる。レンズ１４４は、本開示の技術に係る「レンズ」の一例である。コーティング層１４６は、本開示の技術に係る「第２コーティング層」の一例である。

　上記実施形態では、輝度値導出部１３２は、複数の物理画素４８のうちの受光面３８Ａの中央部に位置する特定物理画素４８ＡのＲＧＢ輝度値を導出する（図８参照）。しかしながら、輝度値導出部１３２は、複数の物理画素４８のうちの受光面３８Ａの中央部から外れた位置の物理画素４８を特定物理画素４８Ａとして選定し、選定した特定物理画素４８ＡのＲＧＢ輝度値を導出してもよい。また、例えば、輝度値導出部１３２は、隣接する複数の特定物理画素４８Ａを選定し、選定した複数の特定物理画素４８Ａから分光感度帯域毎に出力された輝度値の平均値をＲＧＢ輝度値として導出してもよい。

　一例として図１９に示すように、輝度値導出部１３２は、互いに異なる透過軸を有する４種類の偏光子５４（すなわち、第１偏光子５４Ａ、第２偏光子５４Ｂ、第３偏光子５４Ｃ、及び第４偏光子５４Ｄ）がそれぞれ割り当てられた４つの物理画素４８（すなわち、二次元方向に隣接する４つの物理画素４８）を特定物理画素４８Ａとして選定してもよい。そして、輝度値導出部１３２は、４つの特定物理画素４８Ａから分光感度帯域毎に出力された輝度値の和をＲＧＢ輝度値として導出してもよい。

　ここで、各偏光子５４を透過した光は、各偏光子５４の透過軸の角度に応じて偏光されている。各特定物理画素４８Ａから分光感度帯域毎に出力される輝度値は、各特定物理画素４８Ａに入射する光の偏光方向に依存する。しかしながら、二次元方向に隣接する４つの特定物理画素４８Ａから分光感度帯域毎に出力された輝度値の和は一定となる。すなわち、各特定物理画素４８Ａに入射する光の偏光方向の角度をθとし、各特定物理画素４８Ａに入射する光の強度をＩとすると、４つの特定物理画素４８Ａから分光感度帯域毎に出力された輝度値の和は、式（５）によって示されるように、θに依存せずに一定値２Ｉになる。

　図１９に示す例では、各特定物理画素４８Ａに入射する光の偏光方向の角度θに依存せずに、特定物理画素４８ＡのＲＧＢ輝度値を得ることができる。なお、輝度値導出部１３２は、４つの特定物理画素４８Ａから分光感度帯域毎に出力された輝度値の和をＲＧＢ輝度値とせずに、輝度値の和に基づいて導出された値をＲＧＢ輝度値としてもよい。

　上記実施形態では、マルチスペクトル画像生成処理が撮像装置１０によって実行され（図４参照）、混信除去行列導出処理が処理装置１００によって実行される（図７参照）。しかしながら、一例として図２０に示すように、撮像装置１０は、混信除去行列導出処理を含むマルチスペクトル画像生成処理を実行してもよい。

　図２０に示す例では、上記実施形態に対して、プロセッサ６０が次のように動作する。すなわち、出力値取得部８２は、イメージセンサ１４から出力された撮像画像データ５０に基づいて特定物理画素４８Ａの出力値Ｙを取得し、輝度値導出部１３２は、特定物理画素４８Ａの出力値Ｙに含まれるＲＧＢ輝度値を取得する。輝度値判定部１３４及び分光透過率修正部１３６は、上記実施形態と同様である。マルチＢＰフィルタ３４Ｃには、分光透過率を可変なフィルタが用いられ、マルチＢＰフィルタ３４Ｃの分光透過率は、分光透過率修正部１３６によって修正された分光透過率に設定される。混信除去行列決定部１３８、混信除去処理部８４、及びマルチスペクトル画像取得部８６も、上記実施形態と同様である。

　図２０に示す例でも、混信除去処理部８４によって混信除去処理が実行されることにより、撮像画像データ５０が、第１透過波長帯域λ_１の光の輝度値Ｘ_λ１を示す画像データである第１画像データと、第２透過波長帯域λ_２の光の輝度値Ｘ_λ２を示す画像データである第２画像データと、第３透過波長帯域λ_３の光の輝度値Ｘ_λ３を示す画像データである第３画像データとに分離される。すなわち、撮像画像データ５０が、マルチＢＰフィルタ３４Ｃの透過波長帯域毎の画像データに分離される。したがって、分離された画像データに基づいて、複数の透過波長帯域の光の輝度値を含むマルチスペクトル画像９０を取得することができる。

　上記実施形態では、光学系１２は、複数のフィルタ３４及び複数の偏光子３６を有する瞳分割フィルタ２６を備え、イメージセンサ１４は、複数の偏光子５４を有する（図１参照）。しかしながら、一例として図２１に示すように、光学系１２は、瞳分割フィルタ２６の代わりにマルチＢＰフィルタ３４Ｃを備え、イメージセンサ１４は、複数の偏光子５４を有しない構成でもよい。図２１に示す例でも、プロセッサ６０によってマルチスペクトル画像生成処理が実行されることにより、複数の透過波長帯域の光の輝度値を含むマルチスペクトル画像９０を取得することができる。

　上記実施形態では、撮像装置１０に備えられたディスプレイ２２にマルチスペクトル画像９０が表示される（図１参照）。しかしながら、例えば、撮像装置１０に通信可能に接続された外部装置に対して撮像装置１０からマルチスペクトル画像データが送信され、外部装置のディスプレイにマルチスペクトル画像９０が表示されてもよい。また、撮像装置１０で混信除去処理が実行されることにより生成された第１画像データ、第２画像データ、及び第３画像データが撮像装置１０から外部装置に対して送信されてもよい。そして、外部装置によって第１画像データ、第２画像データ、及び第３画像データが合成されることによりマルチスペクトル画像データが生成されてもよい。

　上記実施形態では、撮像装置１０について、プロセッサ６０を例示したが、プロセッサ６０に代えて、又は、プロセッサ６０と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。

　また、上記実施形態では、ＮＶＭ６２にマルチスペクトル画像生成プログラム８０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、マルチスペクトル画像生成プログラム８０がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的なコンピュータ読取可能な記憶媒体（以下、単に「非一時的記憶媒体」と称する）に記憶されていてもよい。非一時的記憶媒体に記憶されているマルチスペクトル画像生成プログラム８０は、撮像装置１０のコンピュータ２０にインストールされ、プロセッサ６０は、マルチスペクトル画像生成プログラム８０に従ってマルチスペクトル画像生成処理を実行する。

　また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置にマルチスペクトル画像生成プログラム８０を記憶させておき、撮像装置１０の要求に応じてマルチスペクトル画像生成プログラム８０がダウンロードされ、コンピュータ２０にインストールされてもよい。

　また、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ６２にマルチスペクトル画像生成プログラム８０の全てを記憶させておく必要はなく、マルチスペクトル画像生成プログラム８０の一部を記憶させておいてもよい。

　また、撮像装置１０には、コンピュータ２０が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ２０が撮像装置１０の外部に設けられるようにしてもよい。

　また、上記実施形態では、プロセッサ６０、ＮＶＭ６２、及びＲＡＭ６４を含むコンピュータ２０が例示されているが、本開示の技術はこれに限定されず、コンピュータ２０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ２０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

　また、上記実施形態では、処理装置１００について、プロセッサ１２０を例示したが、プロセッサ１２０に代えて、又は、プロセッサ１２０と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。

　また、上記実施形態では、ＮＶＭ１２２に混信除去行列導出プログラム１３０が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、混信除去行列導出プログラム１３０がＳＳＤ又はＵＳＢメモリなどの非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている混信除去行列導出プログラム１３０は、処理装置１００のコンピュータ１１０にインストールされ、プロセッサ１２０は、混信除去行列導出プログラム１３０に従って混信除去行列導出処理を実行する。

　また、ネットワークを介して処理装置１００に接続される他のコンピュータ又はサーバ装置等の記憶装置に混信除去行列導出プログラム１３０を記憶させておき、処理装置１００の要求に応じて混信除去行列導出プログラム１３０がダウンロードされ、コンピュータ１１０にインストールされてもよい。

　また、処理装置１００に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ１２２に混信除去行列導出プログラム１３０の全てを記憶させておく必要はなく、混信除去行列導出プログラム１３０の一部を記憶させておいてもよい。

　また、処理装置１００には、コンピュータ１１０が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ１１０が処理装置１００の外部に設けられるようにしてもよい。

　また、上記実施形態では、プロセッサ１２０、ＮＶＭ１２２、及びＲＡＭ１２４を含むコンピュータ１１０が例示されているが、本開示の技術はこれに限定されず、コンピュータ１１０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ１１０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

　また、上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。

　各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の視線検出処理はあくまでも一例である。したがって、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims

　複数の第１透過波長帯域を有する第１光学フィルタを有する光学系と、
　前記光学系を透過した光を受光するイメージセンサと、
　前記光に基づいて前記イメージセンサから出力された第１画像データに対して演算処理を実行することにより、前記第１透過波長帯域毎の第２画像データを出力する第１プロセッサと、
　を備え、
　前記第１光学フィルタは、前記イメージセンサの複数の画素のうちの少なくとも一つの特定画素から分光感度帯域毎に出力される第１出力値が、前記第１透過波長帯域毎の透過率が同じである場合に前記特定画素から前記分光感度帯域毎に出力される第２出力値の最大値未満で前記第２出力値の最小値以上となる光学特性を有し、
　前記光学特性は、前記第１透過波長帯域毎の透過率が異なる第１光学特性、前記第１透過波長帯域毎の幅が異なる第２光学特性、及び前記第１透過波長帯域毎の透過率分布が異なる第３光学特性のうちの少なくとも１つを含む
　撮像装置。
　前記演算処理は、混信除去行列を用いることにより、前記第１画像データを前記第１透過波長帯域毎の前記第２画像データに分離する処理であり、
　前記光学特性は、前記混信除去行列の条件数が、前記第１透過波長帯域毎の透過率が同じである場合の前記条件数よりも小さくなる特性、及び／又は、前記混信除去行列の最大特異値が、前記第１透過波長帯域毎の透過率が同じである場合の前記最大特異値よりも小さくなる特性である
　請求項１に記載の撮像装置。
　前記光学特性は、前記第２出力値に基づいて設定された特性である
　請求項１又は請求項２に記載の撮像装置。
　前記光学特性は、前記第１光学特性を含み、
　前記第１光学フィルタは、
　ガラス層と、
　前記ガラス層に積層された第１コーティング層と、
　を有し、
　前記第１コーティング層は、前記複数の第１透過波長帯域を有し、
　前記ガラス層及び／又は前記第１コーティング層は、前記第１透過波長帯域毎に異なる透過率を有する
　請求項１から請求項３の何れか一項に記載の撮像装置。
　前記光学特性は、前記第１光学特性を含み、
　前記第１光学フィルタは、
　前記複数の第１透過波長帯域を有する第１フィルタ部材と、
　前記第１透過波長帯域毎に異なる透過率を有する第２フィルタ部材と、
　を有する
　請求項１から請求項４の何れか一項に記載の撮像装置。
　前記光学特性は、前記第１光学特性を含み、
　前記光学系は、レンズを有し、
　前記第１光学フィルタは、前記レンズに形成された第２コーティング層を含む
　請求項１から請求項５の何れか一項に記載の撮像装置。
　前記光学系は、
　前記複数の第１透過波長帯域と異なる第２透過波長帯域を有する第２光学フィルタと、
　前記第１光学フィルタに対応する第１偏光子と、
　前記第２光学フィルタに対応する第２偏光子と、
　を有し、
　前記イメージセンサは、各前記画素に対応する第３偏光子を有する
　請求項１から請求項６の何れか一項に記載の撮像装置。
　前記複数の画素のうちそれぞれ隣接する４つの画素には、互いに異なる透過軸を有する４種類の前記第３偏光子がそれぞれ割り当てられており、
　前記４つの画素は、それぞれ前記特定画素であり、
　前記第１出力値は、前記４つの画素から前記分光感度帯域毎に出力される出力値の和に基づく値である
　請求項７に記載の撮像装置。
　前記特定画素は、前記複数の画素のうちの前記イメージセンサの受光面の特定領域に位置する画素である
　請求項１から請求項８の何れか一項に記載の撮像装置。
　請求項１から請求項９の何れか一項に記載の撮像装置における前記光学特性を導出する導出処理を実行する第２プロセッサを備える処理装置であって、
　前記導出処理は、前記第２出力値に基づいて前記光学特性を導出する処理である
　処理装置。
　請求項１から請求項９の何れか一項に記載の撮像装置における前記光学特性を導出する導出処理を実行することを含む処理方法であって、
　前記導出処理は、前記第２出力値に基づいて前記光学特性を導出する処理である
　処理方法。
　請求項１から請求項９の何れか一項に記載の撮像装置における前記光学特性を導出する導出処理をコンピュータに実行させるためのプログラムであって、
　前記導出処理は、前記第２出力値に基づいて前記光学特性を導出する処理である
　プログラム。
　複数の第１透過波長帯域を有し、イメージセンサで受光される光を透過する光学フィルタであって、
　前記イメージセンサの複数の画素のうちの少なくとも一つの特定画素から分光感度帯域毎に出力される第１出力値が、前記第１透過波長帯域毎の透過率が同じである場合に前記特定画素から前記分光感度帯域毎に出力される第２出力値の最大値未満で前記第２出力値の最小値以上となる光学特性を有し、
　前記光学特性は、前記第１透過波長帯域毎の透過率が異なる第１光学特性、前記第１透過波長帯域毎の幅が異なる第２光学特性、及び前記第１透過波長帯域毎の透過率分布が異なる第３光学特性のうちの少なくとも１つを含む
　光学フィルタ。