WO2023188512A1

WO2023188512A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2023188512A1
Application number: PCT/JP2022/041772
Authority: WO
Inventors: 和佳岡田; 慶延岸根; 睦川中子; 高志椚瀬; 友也平川
Original assignee: 富士フイルム株式会社
Priority date: 2022-03-30
Filing date: 2022-11-09
Publication date: 2023-10-05

Abstract

情報処理装置は、プロセッサを備える。プロセッサは、センサからの出力データに対して、マルチスペクトル画像データに関連する第１処理及び第２処理を行い、第１処理は、第２処理よりも出力データに対して情報の量を低減する低減処理を含む。

Description

情報処理装置、情報処理方法、及びプログラム

　本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。

　特開２０１２－０４４５１９号公報には、互いに異なる分光感度特性を有する４以上の色のカラーセンサを構成する画素を備えるデジタルカメラが開示されている。デジタルカメラは、第１の信号読み出し時間で第１の情報量の画像信号を読み出す第１の信号読み出しモードと、第１の読み出し時間よりも短い第２の読み出し時間で第１の情報量よりも少ない第２の情報量の画像信号を読み出す第２の信号読み出しモードとのいずれかで動作可能なマルチスペクトル撮像素子を備える。マルチスペクトル撮像素子は、第１の信号読み出しモード時には４以上の色のカラーセンサを構成する画素から読み出される４以上の色全部に対応する色数の画像信号を出力する一方、第２の信号読み出しモード時には、第１の信号読み出しモード時よりも少ない色数の画像信号であって、第１の信号読み出しモードで読み出される画像信号によって再現可能な色域よりも狭められた色域を形成する画像信号を出力する。

　特開２０２１－１３６５０１号公報には、撮像手段と、演算手段と、画像生成手段と、制御手段とを備える撮像装置が開示されている。撮像手段は、複数の異なる方向の偏光情報を検出する偏光画素を備える。演算手段は、偏光画素から出力される映像信号に対する、第１の偏光演算又は第１の偏光演算よりも演算負荷の小さい第２の偏光演算により、偏光画素の偏光情報を求める。画像生成手段は、演算手段により求められた偏光情報を用いて偏光処理画像を生成する。制御手段は、所定のタイミング、モード又は所定の状態を検出した結果に応じて、演算手段で行う第１の偏光演算と第２の偏光演算とを切り替える。

　特表２００８－５２５１５８号公報には、ハイパースペクトルまたはマルチスペクトルイメージングにおいて使用するショックデータを取得する装置が開示されている。装置は、検出器と、フィルタまたはフィルタを備えない波長セレクタと、電源と、画像取得ハードウェアとのうちの少なくとも１つを備えている。

　本開示の技術に係る一つの実施形態は、出力データに対して情報の量が低減されずに第１処理が行われる場合に比して、プロセッサの負荷を軽減することができる情報処理装置、情報処理方法、及びプログラムを提供する。

　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサは、センサからの出力データに対して、マルチスペクトル画像データに関連する第１処理及び第２処理を行い、第１処理は、第２処理よりも出力データに対して情報の量を低減する低減処理を含む情報処理装置である。

　本開示の技術に係る第２の態様は、第１の態様に係る情報処理装置において、低減処理は、出力データに対して情報を間引く間引き処理を含む情報処理装置である。

　本開示の技術に係る第３の態様は、第１の態様又は第２の態様に係る情報処理装置において、センサは、第１イメージセンサであり、出力データは、第１イメージセンサから出力された撮像データである情報処理装置である。

　本開示の技術に係る第４の態様は、第３の態様に係る情報処理装置において、撮像データは、第１イメージセンサから電気信号を低減せずに出力されたデータである情報処理装置である。

　本開示の技術に係る第５の態様は、第３の態様又は第４の態様に係る情報処理装置において、情報は、撮像データに含まれる偏光情報を含む情報処理装置である。

　本開示の技術に係る第６の態様は、第３の態様から第５の態様の何れか一つの態様に係る情報処理装置において、情報は、撮像データに含まれる波長情報を含む情報処理装置である。

　本開示の技術に係る第７の態様は、第１の態様から第６の態様の何れか一つの態様に係る情報処理装置において、低減処理は、第１行列を用いた演算処理を含み、演算処理は、第１行列の条件数に基づいて行われる情報処理装置である。

　本開示の技術に係る第８の態様は、第７の態様に係る情報処理装置において、プロセッサは、出力データとマルチスペクトル画像データとの関係を示す第２行列から情報に対応する成分を削除することにより第３行列を生成し、第１行列は、第３行列の逆行列に基づいて生成される情報処理装置である。

　本開示の技術に係る第９の態様は、第１の態様から第８の態様の何れか一つの態様に係る情報処理装置において、第１処理は、出力データに基づいて表示用画像データを生成する表示処理であり、第２処理は、出力データに基づいて保存用画像データを生成する保存処理である情報処理装置である。

　本開示の技術に係る第１０の態様は、第９の態様に係る情報処理装置において、表示処理及び保存処理は、並列して行われる情報処理装置である。

　本開示の技術に係る第１１の態様は、第９の態様に係る情報処理装置において、表示処理及び保存処理は、選択的に行われる情報処理装置である。

　本開示の技術に係る第１２の態様は、第１の態様から第１１の態様の何れか一つの態様に係る情報処理装置において、第１処理及び／又は第２処理は、出力データに基づいてマルチスペクトル画像データを生成する処理である情報処理装置である。

　本開示の技術に係る第１３の態様は、第１の態様から第１２の態様の何れか一つの態様に係る情報処理装置において、センサは、第２イメージセンサであり、プロセッサは、第２イメージセンサからの読み出し処理である第３処理及び第４処理を選択的に行い、第３処理は、第４処理よりも第２イメージセンサに対して画素の間引き量が多い情報処理装置である。

　本開示の技術に係る第１４の態様は、第１３の態様に係る情報処理装置において、第２イメージセンサは、複数の第１画素ブロックを有し、各第１画素ブロックは、複数の第１画素によって形成され、複数の第１画素には、複数の種類の偏光子が割り当てられており、第３処理は、各第１画素ブロックで、複数の第１画素から各偏光子に対応する第１画素を選択する処理を含む情報処理装置である。

　本開示の技術に係る第１５の態様は、第１３の態様に係る情報処理装置において、第２イメージセンサは、複数の第２画素ブロックを有し、各第２画素ブロックは、複数の第２画素によって形成され、複数の第２画素には、複数の種類の偏光子が割り当てられており、第３処理は、隣接する第２画素ブロックで異なる種類の偏光子に対応する第２画素を複数の第２画素から選択する処理を含む情報処理装置である。

　本開示の技術に係る第１６の態様は、第１３の態様に係る情報処理装置において、第２イメージセンサは、複数の第３画素ブロックを有し、各第３画素ブロックは、複数の第３画素によって形成され、複数の第３画素には、複数の種類の偏光子が割り当てられており、第３処理は、複数の第３画素ブロックによって形成される複数行の画素ラインから行間隔を空けて画素ラインを選択する処理を含む情報処理装置である。

　本開示の技術に係る第１７の態様は、第１３の態様に係る情報処理装置において、第２イメージセンサは、複数の第４画素ブロックを有し、各第４画素ブロックは、複数の第４画素によって形成され、複数の第４画素には、複数の種類の偏光子が割り当てられており、第３処理は、複数の第４画素ブロックから間隔を空けて第４画素ブロックを選択する処理を含む情報処理装置である。

　本開示の技術に係る第１８の態様は、センサからの出力データに対して、マルチスペクトル画像データに関連する第１処理及び第２処理を行うことを備え、第１処理は、第２処理よりも出力データに対して情報の量を低減する低減処理を含む情報処理方法である。

　本開示の技術に係る第１９の態様は、特定処理をコンピュータに実行させるためのプログラムであって、特定処理は、センサからの出力データに対して、マルチスペクトル画像データに関連する第１処理及び第２処理を行うことを備え、第１処理は、第２処理よりも出力データに対して情報の量を低減する低減処理を含むプログラムである。

実施形態に係る撮像装置の一例を示す斜視図である。実施形態に係るレンズ装置及び撮像装置ボディの一例を示す分解側面図である。実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。実施形態に係る光電変換素子の一例を示す分解斜視図である。実施形態に係る画像処理を実現するための機能的な構成の一例を示すブロック図である。実施形態に係る第２出力値取得部及び第２混信除去処理部の動作の一例を示すブロック図である。実施形態に係る第２混信除去処理部及び第２画像データ生成部の動作の一例を示すブロック図である。実施形態に係る混信除去行列生成処理を実現するための機能的な構成の一例を示すブロック図である。実施形態に係る波長設定部、偏光成分削除部、逆行列導出部、波長成分削除部、条件数導出部、及び混信除去行列決定部の動作の一例を示すブロック図である。実施形態に係る第１出力値取得部及び第１混信除去処理部の動作の一例を示すブロック図である。実施形態に係る第１混信除去処理部及び第２画像データ生成部の動作の一例を示すブロック図である。実施形態に係る表示処理の流れの一例を示すフローチャートである。実施形態に係る保存処理の流れの一例を示すフローチャートである。実施形態に係る混信除去行列生成処理の流れの一例を示すフローチャートである。実施形態に係る表示処理の変形例を示す説明図である。実施形態に係る読み出し処理の第１変形例を示す説明図である。実施形態に係る読み出し処理の第２変形例を示す説明図である。実施形態に係る読み出し処理の第３変形例を示す説明図である。実施形態に係る読み出し処理の第４変形例を示す説明図である。実施形態に係る読み出し処理の第５変形例を示す説明図である。実施形態に係る読み出し処理の第６変形例を示す説明図である。実施形態に係る読み出し処理の第７変形例を示す説明図である。

　以下、添付図面に従って本開示の技術に係る情報処理装置、情報処理方法、及びプログラムの実施形態の一例について説明する。

　先ず、以下の説明で使用される文言について説明する。

　Ｉ／Ｆとは、“Interface”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＮＶＭとは、“Non-Volatile Memory”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＬｉＤＡＲとは、“Light Detection and Ranging”の略称を指す。ＴＰＵとは、“Tensor processing unit”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。

　本明細書の説明において、「同じ」とは、完全な同じの他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの同じを指す。本明細書の説明において、「直交」とは、完全な直交の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの直交を指す。本明細書の説明において、「直線」とは、完全な直線の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの直線を指す。

　一例として図１に示すように、撮像装置１０は、マルチスペクトル画像を出力可能なマルチスペクトルカメラであり、レンズ装置１２と、撮像装置ボディ１４とを備える。撮像装置１０は、本開示の技術に係る「情報処理装置」の一例である。

　一例として図２に示すように、レンズ装置１２は、第１マウント１６を有し、撮像装置ボディ１４は、第２マウント１８を有する。第１マウント１６及び第２マウント１８は、それぞれＣマウントであり、円環状に形成されている。第１マウント１６は、レンズ装置１２の光軸ＯＡと同軸上に設けられている。第１マウント１６の外周面には、ネジ２０が形成されており、第２マウント１８の内側には、ネジ穴２２が形成されている。

　ネジ２０がネジ穴２２に螺合されることにより、第１マウント１６が第２マウント１８に取り付けられる。レンズ装置１２は、第１マウント１６が第２マウント１８に取り付けられることにより、撮像装置ボディ１４に取り付けられる。なお、第１マウント１６の内側にネジ穴２２が形成され、第２マウント１８の外周面にネジ２０が形成されてもよい。

　一例として図３に示すように、レンズ装置１２は、光学系２４を備える。撮像装置ボディ１４は、イメージセンサ２６、制御ドライバ２８、入出力Ｉ／Ｆ３０、コンピュータ３２、受付装置３４、及びディスプレイ３６を備える。

　光学系２４は、第１レンズ３８、瞳分割フィルタ４０、及び第２レンズ４２を有する。第１レンズ３８、瞳分割フィルタ４０、及び第２レンズ４２は、被写体４側からイメージセンサ２６側にかけて、光軸ＯＡに沿って第１レンズ３８、瞳分割フィルタ４０、及び第２レンズ４２の順に配置されている。第１レンズ３８は、光源２から発せられた光が被写体４で反射することで得られた光（以下、「被写体光」と称する）を瞳分割フィルタ４０に透過させる。第２レンズ４２は、瞳分割フィルタ４０を透過した被写体光をイメージセンサ２６に設けられた光電変換素子４８の受光面４８Ａ上に結像させる。

　瞳分割フィルタ４０は、フィルタ４４Ａ、フィルタ４４Ｂ、フィルタ４４Ｃ、偏光子４６Ａ、偏光子４６Ｂ、及び偏光子４６Ｃを有する。図３では、便宜上、フィルタ４４Ａ、フィルタ４４Ｂ、及びフィルタ４４Ｃが光軸ＯＡと直交する方向に沿って直線状に配列された状態で示されているが、フィルタ４４Ａ、フィルタ４４Ｂ、及びフィルタ４４Ｃは、光軸ＯＡ周りの方向に沿って配列されている。

　フィルタ４４Ａは、第１透過波長帯域λ_１を有し、フィルタ４４Ｂは、第２透過波長帯域λ_２を有し、フィルタ４４Ｃは、第３透過波長帯域λ_３を有する。第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３は、互いに異なる波長帯域である。第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３は、それぞれ任意の帯域に設定されてもよい。以下、フィルタ４４Ａ、フィルタ４４Ｂ、及びフィルタ４４Ｃを区別して説明する必要が無い場合には、フィルタ４４Ａ、フィルタ４４Ｂ、及びフィルタ４４Ｃを「フィルタ４４」と称する。また、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３を区別して説明する必要が無い場合には、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３を「透過波長帯域λ」と称する。

　偏光子４６Ａ、偏光子４６Ｂ、及び偏光子４６Ｃは、フィルタ４４Ａ、フィルタ４４Ｂ、及びフィルタ４４Ｃとそれぞれ重ね合わされている。偏光子４６Ａは、透過軸の角度が０°に設定された偏光子である。偏光子４６Ｂは、透過軸の角度が６０°に設定された偏光子である。偏光子４６Ｃは、透過軸の角度が１２０°に設定された偏光子である。以下、偏光子４６Ａ、偏光子４６Ｂ、及び偏光子４６Ｃを区別して説明する必要がない場合には、偏光子４６Ａ、偏光子４６Ｂ、及び偏光子４６Ｃをそれぞれ「偏光子４６」と称する。

　なお、図３に示される例では、フィルタ４４の個数が３個であるが、フィルタ４４の個数は何個でもよい。また、図３に示される例では、偏光子４６の個数が３個であるが、偏光子４６の個数は何個でもよい。

　一例として図３に示すように、イメージセンサ２６は、光電変換素子４８及び信号処理回路５０を備えている。イメージセンサ２６は、一例として、ＣＭＯＳイメージセンサである。本実施形態では、イメージセンサ２６としてＣＭＯＳイメージセンサが例示されているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２６がＣＣＤイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。イメージセンサ２６は、本開示の技術に係る「センサ」及び「第１イメージセンサ」の一例である。

　一例として図３中には、光電変換素子４８の模式的な構成が示されている。また、一例として図４には、光電変換素子４８の一部の構成が具体的に示されている。光電変換素子４８は、画素層５２、偏光フィルタ層５４、及び分光フィルタ層５６を有する。

　画素層５２は、複数の画素５８を有する。複数の画素５８は、マトリクス状に配置されており、光電変換素子４８の受光面４８Ａを形成している。各画素５８は、フォトダイオード（図示省略）を有する物理的な画素であり、受光した光を光電変換し、受光量に応じた電気信号を出力する。

　以下、マルチスペクトル画像を形成する画素と区別するために、光電変換素子４８に設けられた画素５８を「物理画素５８」と称する。また、マルチスペクトル画像を形成する画素を「画像画素」と称する。物理画素５８は、本開示の技術に係る「画素」の一例である。

　光電変換素子４８は、複数の物理画素５８から出力された電気信号を撮像データ１２０として信号処理回路５０に対して出力する。信号処理回路５０は、光電変換素子４８から入力されたアナログの撮像データ１２０をデジタル化する。撮像データ１２０は、一例として、光電変換素子４８の全物理画素５８から出力されたデータである。

　全物理画素５８とは、電気信号を出力可能な全ての物理画素５８を指す。具体的には、全物理画素５８とは、受光面４８Ａの全領域に含まれる複数の物理画素５８のうちの無効画素を除く残りの物理画素５８、又は、受光面４８Ａのうちの有効領域に含まれる複数の物理画素５８である。すなわち、撮像データ１２０は、電気信号を出力可能な全ての物理画素５８に対して物理画素５８の間引き処理が行われずに出力されたデータであって、光電変換素子４８から電気信号を低減せずに出力されたデータである。撮像データ１２０は、本開示の技術に係る「出力データ」及び「撮像データ」の一例である。

　複数の物理画素５８は、複数の画素ブロック６０を形成している。各画素ブロック６０は、縦横２個ずつの合計４個の物理画素５８によって形成されている。図３では、便宜上、各画素ブロック６０を形成する４個の物理画素５８が光軸ＯＡと直交する方向に沿って直線状に配列された状態で示されているが、一例として図４に示すように、４個の物理画素５８は、光電変換素子４８の縦方向及び横方向にそれぞれ隣接して配置されている。

　偏光フィルタ層５４は、偏光子６２Ａ、偏光子６２Ｂ、偏光子６２Ｃ、及び偏光子６２Ｄを有する。偏光子６２Ａは、透過軸の角度θ_１（以下、「第１偏光角度θ_１」と称する）が０°に設定された偏光子である。偏光子６２Ｂは、透過軸の角度θ_２（以下、「第２偏光角度θ_２」と称する）が４５°に設定された偏光子である。偏光子６２Ｃは、透過軸の角度θ_３（以下、「第３偏光角度θ_３」と称する）が９０°に設定された偏光子である。偏光子６２Ｄは、透過軸の角度θ_４（以下、「第４偏光角度θ_４」と称する）が１３５°に設定された偏光子である。

　以下、偏光子６２Ａ、偏光子６２Ｂ、偏光子６２Ｃ、及び偏光子６２Ｄを区別して説明する必要が無い場合には、偏光子６２Ａ、偏光子６２Ｂ、偏光子６２Ｃ、及び偏光子６２Ｄを「偏光子６２」と称する。また、第１偏光角度θ_１、第２偏光角度θ_２、第３偏光角度θ_３、及び第４偏光角度θ_４を区別して説明する必要が無い場合には、第１偏光角度θ_１、第２偏光角度θ_２、第３偏光角度θ_３、及び第４偏光角度θ_４を「偏光角度θ」と称する。

　分光フィルタ層５６は、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃを有する。Ｂフィルタ６４Ａは、複数の波長帯域の光のうちの青色の波長帯域の光を最も多く透過させる青色帯域フィルタである。Ｇフィルタ６４Ｂは、複数の波長帯域の光のうちの緑色の波長帯域の光を最も多く透過させる緑色帯域フィルタである。Ｒフィルタ６４Ｃは、複数の波長帯域の光のうちの赤色の波長帯域の光を最も多く透過させる赤色帯域フィルタである。Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃは、各画素ブロック６０に割り当てられている。

　図３では、便宜上、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃが光軸ＯＡと直交する方向に沿って直線状に配列された状態で示されているが、一例として図４に示すように、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃは既定のパターン配列でマトリクス状に配置されている。図４に示す例では、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃは、既定のパターン配列の一例として、ベイヤ配列でマトリクス状に配置されている。なお、既定のパターン配列は、ベイヤ配列以外に、ＲＧＢストライプ配列、Ｒ／Ｇ市松配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、又はハニカム配列等でもよい。

　以下、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃを区別して説明する必要がない場合には、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃをそれぞれ「フィルタ６４」と称する。

　一例として図３に示すように、入出力Ｉ／Ｆ３０には、信号処理回路５０、制御ドライバ２８、コンピュータ３２、受付装置３４、及びディスプレイ３６が接続されている。

　コンピュータ３２は、プロセッサ７０、ＮＶＭ７２、及びＲＡＭ７４を有する。プロセッサ７０は、本開示の技術に係る「プロセッサ」の一例である。プロセッサ７０は、撮像装置１０の全体を制御する。プロセッサ７０は、例えば、ＣＰＵ及びＧＰＵを含む演算処理装置であり、ＧＰＵは、ＣＰＵの制御下で動作し、画像に関する処理の実行を担う。ここでは、プロセッサ７０の一例としてＣＰＵ及びＧＰＵを含む演算処理装置を挙げているが、これはあくまでも一例に過ぎず、プロセッサ７０は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。プロセッサ７０、ＮＶＭ７２、及びＲＡＭ７４は、バス７６を介して接続されており、バス７６は、入出力Ｉ／Ｆ３０に接続されている。

　ＮＶＭ７２は、非一時的記憶媒体であり、各種パラメータ及び各種プログラムを記憶している。例えば、ＮＶＭ７２は、フラッシュメモリ（例えば、ＥＥＰＲＯＭ）である。但し、これは、あくまでも一例に過ぎず、フラッシュメモリと共に、ＨＤＤ等をＮＶＭ７２として適用してもよい。ＲＡＭ７４は、各種情報を一時的に記憶し、ワークメモリとして用いられる。

　プロセッサ７０は、ＮＶＭ７２から必要なプログラムを読み出し、読み出したプログラムをＲＡＭ７４で実行する。プロセッサ７０は、ＲＡＭ７４で実行するプログラムに従って、制御ドライバ２８及び信号処理回路５０を制御する。制御ドライバ２８は、プロセッサ７０の制御下で光電変換素子４８を制御する。

　受付装置３４は、例えば、レリーズボタン、タッチパネル、及びハードキー（いずれも図示省略）等を有しており、ユーザ等からの指示を受け付ける。ディスプレイ３６は、例えば液晶表示器であり、マルチスペクトル画像を含む各種画像を表示する。

　一例として図５に示すように、ＮＶＭ７２には、画像処理プログラム８０が記憶されている。画像処理プログラム８０は、本開示の技術に係る「プログラム」の一例である。プロセッサ７０は、ＮＶＭ７２から画像処理プログラム８０を読み出し、読み出した画像処理プログラム８０をＲＡＭ７４上で実行する。プロセッサ７０は、ＲＡＭ７４上で実行する画像処理プログラム８０に従って、画像処理を実行する。画像処理は、本開示の技術に係る「特定処理」の一例である。画像処理は、表示処理と、保存処理とを有する。

　表示処理及び保存処理は、撮像データ１２０に対して行われる処理である。具体的には、表示処理は、撮像データ１２０に基づいて既定のフレームレートで表示用画像データ１２２（すなわち、ライブビュー画像データ）を生成する処理である。既定のフレームレートは、例えば、３０ｆｐｓ又は６０ｆｐｓである。保存処理は、ユーザ等からの撮像指示が受付装置３４（図３参照）によって受け付けられた場合に、撮像データ１２０に基づいて保存用画像データ１２４（すなわち、本露光画像データ）を生成する処理である。表示用画像データ１２２は、本開示の技術に係る「表示用画像データ」の一例であり、保存用画像データ１２４は、本開示の技術に係る「保存用画像データ」の一例である。

　表示用画像データ１２２及び保存用画像データ１２４は、いずれもマルチスペクトル画像データであり、表示処理及び保存処理は、いずれもマルチスペクトル画像データに関連する処理である。ユーザ等からの撮像指示が受付装置３４によって受け付けられた場合に、保存処理は、表示処理と並列して行われる。例えば、表示処理及び保存処理は、同じフレームに対して行われる。表示処理は、本開示の技術に係る「第１処理」の一例であり、保存処理は、本開示の技術に係る「第２処理」の一例である。

　表示処理は、プロセッサ７０が画像処理プログラム８０に従って、第１出力値取得部８２、第１混信除去処理部８４、及び第１画像データ生成部８６として動作することで実現される。

　保存処理は、プロセッサ７０が画像処理プログラム８０に従って、第２出力値取得部９２、第２混信除去処理部９４、及び第２画像データ生成部９６として動作することで実現される。

　先ず、表示処理を説明する前に、保存処理を説明する。

　一例として図６に示すように、保存処理では、第２出力値取得部９２は、イメージセンサ２６からプロセッサ７０に入力された撮像データ１２０に基づいて、全物理画素５８の出力値Ｙをそれぞれ取得する。各物理画素５８の出力値Ｙは、撮像データ１２０によって示される撮像画像に含まれる各画素の輝度値に対応する。

　ここで、各物理画素５８の出力値Ｙは、混信（すなわち、クロストーク）が含まれた値である。すなわち、各物理画素５８には、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３の各透過波長帯域λの光が入射するため、出力値Ｙは、第１透過波長帯域λ_１の光量に応じた値、第２透過波長帯域λ_２の光量に応じた値、及び第３透過波長帯域λ_３の光量に応じた値が混合した値となる。

　保存用のマルチスペクトル画像である保存用画像１３４（図７参照）を取得するためには、プロセッサ７０が、物理画素５８毎に、出力値Ｙから各透過波長帯域λに対応した値を分離して抽出する処理、すなわち、混信を除去する処理である混信除去処理を出力値Ｙに対して行う必要がある。そこで、本実施形態では、第２混信除去処理部９４は、第２出力値取得部９２によって取得された全物理画素５８の出力値Ｙに対して混信除去処理をそれぞれ実行する。

　ここで、保存用画像１３４を得るための混信除去処理について説明する。各物理画素５８の出力値Ｙは、赤色、緑色、及び青色の各輝度値を出力値Ｙの成分として含む。各物理画素５８の出力値Ｙは、式（１）によって表される。ただし、Ｙ_Ｒは、出力値Ｙのうちの赤色の輝度値であり、Ｙ_Ｇは、出力値Ｙのうちの緑色の輝度値であり、Ｙ_Ｂは、出力値Ｙのうちの青色の輝度値である。

　保存用画像１３４を形成する各画像画素の画素値Ｘは、第１透過波長帯域λ_１の光の輝度値、第２透過波長帯域λ_２の光の輝度値、及び第３透過波長帯域λ_３の光の輝度値を画素値Ｘの成分として含む。各画像画素の画素値Ｘは、式（２）によって表される。ただし、輝度値Ｘ_λ１は、画素値Ｘのうちの第１透過波長帯域λ_１の光の輝度値であり、輝度値Ｘ_λ２は、画素値Ｘのうちの第２透過波長帯域λ_２の光の輝度値であり、輝度値Ｘ_λ３は、画素値Ｘのうちの第３透過波長帯域λ_３の光の輝度値である。

　混信行列をＡとした場合、各物理画素５８の出力値Ｙは、式（３）によって表される。

　混信行列Ａは、被写体光のスペクトル、第１レンズ３８の分光透過率、第２レンズ４２の分光透過率、複数のフィルタ４４の分光透過率、及びイメージセンサ２６の分光感度に基づいて規定される行列である。

　混信行列Ａの一般逆行列である混信除去行列をＡ^＋とした場合、各画像画素の画素値Ｘは、式（４）によって表される。

　混信除去行列Ａ^＋も、混信行列Ａと同様に、被写体光のスペクトル、第１レンズ３８の分光透過率、第２レンズ４２の分光透過率、複数のフィルタ４４の分光透過率、及びイメージセンサ２６の分光感度に基づいて規定される行列である。混信除去行列Ａ^＋は、ユーザ等によって設定され、ＮＶＭ７２に予め記憶される。

　第２混信除去処理部９４は、ＮＶＭ７２に記憶されている混信除去行列Ａ^＋と、第２出力値取得部９２によって取得された全物理画素５８の出力値Ｙとを取得し、取得した混信除去行列Ａ^＋と全物理画素５８の出力値Ｙとに基づいて、式（４）により、各画像画素の画素値Ｘを出力する。

　ここで、上述の通り、各画像画素の画素値Ｘは、第１透過波長帯域λ_１の光の輝度値Ｘ_λ１、第２透過波長帯域λ_２の光の輝度値Ｘ_λ２、及び第３透過波長帯域λ_３の光の輝度値Ｘ_λ３を画素値Ｘの成分として含む。第１透過波長帯域λ_１の光の輝度値Ｘ_λ１は、撮像データ１２０のうちの第１画像データによって示される。第２透過波長帯域λ_２の光の輝度値Ｘ_λ２は、撮像データ１２０のうちの第２画像データによって示される。第３透過波長帯域λ_３の光の輝度値Ｘ_λ３は、撮像データ１２０のうちの第３画像データによって示される。

　このように、第２混信除去処理部９４によって混信除去処理が行われることにより、撮像データ１２０が、第１透過波長帯域λ_１の光の輝度値Ｘ_λ１を示す画像データである第１画像データと、第２透過波長帯域λ_２の光の輝度値Ｘ_λ２を示す画像データである第２画像データと、第３透過波長帯域λ_３の光の輝度値Ｘ_λ３を示す画像データである第３画像データとに分離される。すなわち、撮像データ１２０が、複数のフィルタ４４の透過波長帯域毎の画像データに分離される。

　一例として図７に示すように、第２画像データ生成部９６は、第２混信除去処理部９４によって混信除去処理が行われることにより生成された第１画像データ、第２画像データ、及び第３画像データを合成することにより、保存用画像データ１２４を生成する。保存用画像データ１２４は、マルチスペクトル画像である保存用画像１３４を示す画像データである。保存用画像データ１２４は、ＮＶＭ７２に記憶される。

　このように、保存処理では、全物理画素５８の出力値Ｙに対して混信除去行列Ａ^＋を用いた混信除去処理が行われることにより、マルチスペクトル画像が得られる。

　ここで、保存処理と並列して行われる表示処理においても、保存処理と同様の処理を行うことにより、マルチスペクトル画像を得ることが考えられる。すなわち、表示処理において、全物理画素５８の出力値Ｙに対して混信除去処理が行われることにより、マルチスペクトル画像を得ることが考えられる。しかしながら、保存処理と並列して行われる表示処理においても、全物理画素５８の出力値Ｙに対して混信除去処理が行われると、プロセッサ７０の負担が増加する。

　そこで、プロセッサ７０の負担の増加を抑えるために、全物理画素５８に対して間引き処理、すなわち、全物理画素５８の数よりも少ない数の物理画素５８から読み出し処理を行うことが考えらえる。しかしながら、全物理画素５８に対して間引き処理を行う場合、表示処理と並列して行われる保存処理では、全物理画素５８の出力値Ｙに対して混信除去処理が行われることにより得られたマルチスペクトル画像よりも解像度の低いマルチスペクトル画像が得られることになる。したがって、保存処理においてマルチスペクトル画像の解像度が低下することを回避するためには、表示処理とは別に保存処理を行う必要性が生じる。

　本実施形態では、上記事情に鑑み、プロセッサ７０の負担の増加を抑えつつ、表示処理を保存処理と並列して行えるようにするために、表示処理が次の要領で行われる。

　先ず、表示処理で用いられる混信除去行列Ｂ^＋について説明する。

　一例として図８に示すように、ＮＶＭ７２には、混信除去行列生成プログラム１００が記憶されている。プロセッサ７０は、ＮＶＭ７２から混信除去行列生成プログラム１００を読み出し、読み出した混信除去行列生成プログラム１００をＲＡＭ７４上で実行する。プロセッサ７０は、ＲＡＭ７４上で実行する混信除去行列生成プログラム１００に従って、混信除去行列Ｂ^＋を生成するための混信除去行列生成処理を実行する。

　混信除去行列生成処理は、プロセッサ７０が混信除去行列生成プログラム１００に従って、波長設定部１０２、偏光成分削除部１０４、逆行列導出部１０６、波長成分削除部１０８、条件数導出部１１０、及び混信除去行列決定部１１２として動作することで実現される。

　一例として図９に示すように、ユーザ等は、複数の波長から表示用画像１３２（図１１参照）を生成するために使用する波長を選択する指示（以下、「波長選択指示」と称する）を受付装置３４に対して付与する。受付装置３４は、波長選択指示を受け付けた場合、波長選択指示を示す波長選択指示信号をプロセッサ７０に対して出力する。

　波長設定部１０２は、プロセッサ７０に入力された波長選択指示信号に基づいて、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３から、表示用画像１３２を生成するために使用する透過波長帯域λを設定する。

　ＮＶＭ７２には、ユーザ等によって取得された混信行列Ａが予め記憶される。混信行列Ａは、一例として、上述の４種類の偏光子６２及び３種類のフィルタ４４（図３参照）に対応して、行数が４個で列数が３個の行列である。つまり、混信行列Ａは、成分ａ_１１～ａ_１３、成分ａ_２１～ａ_２３、成分ａ_３１～ａ_３３、及び成分ａ_４１～ａ_４３を有する。混信行列の行方向は、偏光子６２の偏光角度θを示しており、混信行列の列方向は、フィルタ４４の透過波長帯域λを示している。

　混信行列Ａにおいて、１行目は、偏光子６２Ａの偏光角度θ_１に関する成分を示し、２行目は、偏光子６２Ｂの偏光角度θ_２に関する成分を示し、３行目は、偏光子６２Ｃの偏光角度θ_３に関する成分を示し、４行目は、偏光子６２Ｄの偏光角度θ_４に関する成分を示す。また、混信行列Ａにおいて、１列目は、フィルタ４４Ａの第１透過波長帯域λ_１に関する成分を示し、２列目は、フィルタ４４Ｂの第２透過波長帯域λ_２に関する成分を示し、３列目は、フィルタ４４Ｃの第３透過波長帯域λ_３に関する成分を示す。

　偏光成分削除部１０４は、ＮＶＭ７２に記憶されている混信行列Ａに基づいて、第１の混信行列Ａ_１、第２の混信行列Ａ_２、第３の混信行列Ａ_３、及び第４の混信行列Ａ_４を生成する。第１の混信行列Ａ_１は、偏光子６２Ａの偏光角度θ_１に関する成分を混信行列Ａから削除した行列である。第２の混信行列Ａ_２は、偏光子６２Ｂの偏光角度θ_２に関する成分を混信行列Ａから削除した行列である第３の混信行列Ａ_３は、偏光子６２Ｃの偏光角度θ_３に関する成分を混信行列Ａから削除した行列である。第４の混信行列Ａ_４は、偏光子６２Ｄの偏光角度θ_４に関する成分を混信行列Ａから削除した行列である。

　逆行列導出部１０６は、第１の混信行列Ａ_１の逆行列である第１の逆行列Ａ_１ ^＋と、第２の混信行列Ａ_２の逆行列である第２の逆行列Ａ_２ ^＋と、第３の混信行列Ａ_３の逆行列である第３の逆行列Ａ_３ ^＋と、第４の混信行列Ａ_４の逆行列である第４の逆行列Ａ_４ ^＋とを導出する。第１の逆行列Ａ_１ ^＋～第４の逆行列Ａ_４ ^＋は、いずれも行数が３個で列数が３個の行列である。つまり、逆行列Ａ_１ ^＋は、成分ｂ_１１～ｂ_１３、成分ｂ_２１～ｂ_２３、及び成分ｂ_３１～ｂ_３３を有する。逆行列Ａ_２ ^＋は、成分ｃ_１１～ｃ_１３、成分ｃ_２１～ｃ_２３、及び成分ｃ_３１～ｃ_３３を有する。逆行列Ａ_３ ^＋は、成分ｄ_１１～ｄ_１３、成分ｄ_２１～ｄ_２３、及び成分ｄ_３１～ｄ_３３を有する。逆行列Ａ_４ ^＋は、成分ｅ_１１～ｅ_１３、成分ｅ_２１～ｅ_２３、及び成分ｅ_３１～ｅ_３３を有する。混信行列の行方向は、フィルタ４４の透過波長帯域λを示しており、混信行列の列方向は、偏光子６２の偏光角度θを示している。

　波長成分削除部１０８は、波長設定部１０２によって設定された透過波長帯域λを除く残りの透過波長帯域λに関する成分を、第１の逆行列Ａ_１ ^＋、第２の逆行列Ａ_２ ^＋、第３の逆行列Ａ_３ ^＋、及び第４の逆行列Ａ_４ ^＋からそれぞれ削除する。図９に示す例では、第２透過波長帯域λ_２及び第３透過波長帯域λ_３が表示用画像１３２を生成するために使用される透過波長帯域として波長設定部１０２によって設定されている。第１の逆行列Ａ_１ ^＋、第２の逆行列Ａ_２ ^＋、第３の逆行列Ａ_３ ^＋、及び第４の逆行列Ａ_４ ^＋からは、第１透過波長帯域λ_１に関する成分（すなわち、１行目の成分）が削除されている。

　第１の逆行列Ａ_１ ^＋から第１透過波長帯域λ_１に関する成分が削除されることにより、第１の混信除去行列Ｂ_１ ^＋が生成される。第２の逆行列Ａ_２ ^＋から第１透過波長帯域λ_１に関する成分が削除されることにより、第２の混信除去行列Ｂ_２ ^＋が生成される。第３の逆行列Ａ_３ ^＋から第１透過波長帯域λ_１に関する成分が削除されることにより、第３の混信除去行列Ｂ_３ ^＋が生成される。第４の逆行列Ａ_４ ^＋から第１透過波長帯域λ_１に関する成分が削除されることにより、第４の混信除去行列Ｂ_４ ^＋が生成される。第１の混信除去行列Ｂ_１ ^＋～第４の混信除去行列Ｂ_４ ^＋は、いずれも行数が２個で列数が３個の行列である。

　条件数導出部１１０は、第１の混信除去行列Ｂ_１ ^＋の条件数と、第２の混信除去行列Ｂ_２ ^＋の条件数と、第３の混信除去行列Ｂ_３ ^＋の条件数と、第４の混信除去行列Ｂ_４ ^＋の条件数とを導出する。

　なお、各条件数は、撮像装置ボディ１４に対するレンズ装置１２の取付角度が変化することに伴って、瞳分割フィルタ４０の各偏光子４６とイメージセンサ２６の各偏光子６２との相対角度が変化することにより変動する。撮像装置ボディ１４に対するレンズ装置１２の取付角度は、ネジ２０及び／又はネジ穴２２の製造誤差に起因して撮像装置１０毎にばらつく場合がある。

　混信除去行列決定部１１２は、第１の混信除去行列Ｂ_１ ^＋、第２の混信除去行列Ｂ_２ ^＋、第３の混信除去行列Ｂ_３ ^＋、及び第４の混信除去行列Ｂ_４ ^＋から、条件数が最も小さい混信除去行列を抽出する。そして、混信除去行列決定部１１２は、抽出した混信除去行列を、表示用画像１３２を生成するために使用する混信除去行列Ｂ^＋として決定する。混信除去行列Ｂ^＋は、ＮＶＭ７２に記憶される。

　混信除去行列Ｂ^＋は、混信行列Ａから混信除去行列Ｂ^＋が生成される過程で、偏光子６２の偏光角度θに関する成分と、フィルタ４４の透過波長帯域λに関する成分とが削除されることにより、混信除去行列Ａ^＋よりも成分（すなわち、行数）が少なくなっている。

　混信除去行列Ｂ^＋は、本開示の技術に係る「第１行列」の一例である。条件数は、本開示の技術に係る「条件数」の一例である。混信行列Ａは、本開示の技術に係る「第２行列」の一例である。第１の混信行列Ａ_１、第２の混信行列Ａ_２、第３の混信行列Ａ_３、及び第４の混信行列Ａ_４は、本開示の技術に係る「第３行列」の一例である。

　なお、図９に示す例では、第１の逆行列Ａ_１ ^＋、第２の逆行列Ａ_２ ^＋、第３の逆行列Ａ_３ ^＋、及び第４の逆行列Ａ_４ ^＋から、第１透過波長帯域λ_１に関する成分（すなわち、１行目の成分）が削除されるが、これは、あくまでも一例に過ぎない。例えば、第１の逆行列Ａ_１ ^＋、第２の逆行列Ａ_２ ^＋、第３の逆行列Ａ_３ ^＋、及び第４の逆行列Ａ_４ ^＋から、第２透過波長帯域λ_２に関する成分（すなわち、２行目の成分）が削除されてもよく、第３透過波長帯域λ_３に関する成分（すなわち、３行目の成分）が削除されてもよい。また、第１の逆行列Ａ_１ ^＋、第２の逆行列Ａ_２ ^＋、第３の逆行列Ａ_３ ^＋、及び第４の逆行列Ａ_４ ^＋から、透過波長帯域λに関する成分が削除されなくてもよい。

　続いて、混信除去行列生成処理によって生成された混信除去行列Ｂ^＋を用いた表示処理について説明する。

　一例として図１０に示すように、表示処理では、第１出力値取得部８２は、イメージセンサ２６からプロセッサ７０に入力された撮像データ１２０に基づいて、全物理画素５８の出力値Ｙをそれぞれ取得する。

　第１混信除去処理部８４は、表示用のマルチスペクトル画像である表示用画像１３２（図１１参照）を取得するために、第１出力値取得部８２によって取得された全物理画素５８の出力値Ｙに対して混信除去処理をそれぞれ実行する。具体的には、第１混信除去処理部８４は、ＮＶＭ７２に記憶されている混信除去行列Ｂ^＋と、第１出力値取得部８２によって取得された全物理画素５８の出力値Ｙとを取得し、取得した混信除去行列Ｂ^＋と全物理画素５８の出力値Ｙとに基づいて、式（５）により、各画像画素の画素値Ｘを出力する。

　このように、第１混信除去処理部８４によって混信除去処理が行われることにより、撮像データ１２０が、ユーザ等による波長選択指示（図９参照）に基づいて設定された透過波長帯域λに対応する画像データに分離される。図１０に示す例では、波長設定部１０２（図９参照）によって第２透過波長帯域λ_２及び第３透過波長帯域λ_３が設定されたことに応じて、撮像データ１２０が、第２画像データと第３画像データとに分離されている。第２画像データは、波長設定部１０２によって設定された第２透過波長帯域λ_２の光の輝度値Ｘ_λ２を示す画像データである。第３画像データは、同じく波長設定部１０２によって設定された第３透過波長帯域λ_３の光の輝度値Ｘ_λ３を示す画像データである。表示処理における混信除去処理は、本開示の技術に係る「低減処理」、「間引き処理」、及び「演算処理」の一例である。

　表示処理では、保存処理で用いられる混信除去行列Ａ^＋よりも成分が少ない混信除去行列Ｂ^＋が用いられることにより、保存処理よりも撮像データ１２０に対して処理する情報の量が低減される。すなわち、表示処理のうちの混信除去処理では、撮像データ１２０に含まれる情報から、偏光情報と波長情報とが間引かれる。偏光情報は、偏光成分削除部１０４（図９参照）によって削除された偏光角度θに関する成分に対応する情報である。波長情報は、波長成分削除部１０８（図９参照）によって削除された透過波長帯域λに関する成分に対応する情報である。そして、このように、撮像データ１２０に含まれる情報から偏光情報と波長情報とが間引かれることにより、表示処理のうちの混信除去処理では、保存処理よりも撮像データ１２０に対して処理する情報の量が低減される。偏光情報は、本開示の技術に係る「情報」及び「偏光情報」の一例である。波長情報は、本開示の技術に係る「情報」及び「波長情報」の一例である。

　一例として図１１に示すように、第１画像データ生成部８６は、第１混信除去処理部８４によって混信除去処理が行われることにより生成された画像データを合成することにより、マルチスペクトル画像データである表示用画像データ１２２を生成する。図１１に示す例では、第２画像データ及び第３画像データが合成されることにより、表示用画像データ１２２が生成されている。表示用画像データ１２２は、マルチスペクトル画像である表示用画像１３２を示す画像データである。表示用画像データ１２２は、ディスプレイ３６に対して出力され、ディスプレイ３６には、表示用画像１３２が表示される。

　なお、図１０及び図１１に示す例では、第２透過波長帯域λ_２及び第３透過波長帯域λ_３が表示用画像１３２の生成のために使用される透過波長帯域λとして設定されたことに応じて、撮像データ１２０が、第２画像データと第３画像データとに分離される。しかしながら、第１透過波長帯域λ_１及び第２透過波長帯域λ_２が表示用画像１３２の生成のために使用される透過波長帯域λとして設定されたことに応じて、撮像データ１２０が、第１画像データと第２画像データとに分離されてもよい。また、第１透過波長帯域λ_１及び第３透過波長帯域λ_３が表示用画像１３２の生成のために使用される透過波長帯域λとして設定されたことに応じて、撮像データ１２０が、第１画像データと第３画像データとに分離されてもよい。

　次に、本実施形態に係る撮像装置１０の作用について図１２から図１４を参照しながら説明する。

　はじめに、図１２を参照しながら、撮像装置１０のプロセッサ７０によって行われる画像処理のうちの表示処理の流れの一例について説明する。

　図１２に示す表示処理では、先ず、ステップＳＴ１０で、第１出力値取得部８２は、イメージセンサ２６からプロセッサ７０に入力された撮像データ１２０に基づいて、全物理画素５８の出力値Ｙをそれぞれ取得する（図１０参照）。ステップＳＴ１０の処理が実行された後、表示処理は、ステップＳＴ１２へ移行する。

　ステップＳＴ１２で、第１混信除去処理部８４は、ステップＳＴ１０で取得された全物理画素５８の出力値Ｙに対して、混信除去行列Ｂ^＋を用いた混信除去処理をそれぞれ実行する（図１０参照）。これにより、撮像データ１２０が、ユーザ等による波長選択指示（図９参照）に基づいて設定された透過波長帯域λに対応する画像データに分離される。ステップＳＴ１２の処理が実行された後、表示処理は、ステップＳＴ１４へ移行する。

　ステップＳＴ１４で、第１画像データ生成部８６は、ステップＳＴ１２で混信除去処理が行われることにより生成された画像データを合成することにより、マルチスペクトル画像データである表示用画像データ１２２を生成する（図１１参照）。表示用画像データ１２２は、ディスプレイ３６に対して出力される。これにより、表示用画像データ１２２によって示される表示用画像１３２がディスプレイ３６に表示される。ステップＳＴ１４の処理が実行された後、表示処理は終了する。

　次に、図１３を参照しながら、撮像装置１０のプロセッサ７０によって行われる画像処理のうちの保存処理の流れの一例について説明する。

　図１３に示す保存処理では、先ず、ステップＳＴ２０で、第２出力値取得部９２は、イメージセンサ２６からプロセッサ７０に入力された撮像データ１２０に基づいて、全物理画素５８の出力値Ｙをそれぞれ取得する（図６参照）。ステップＳＴ２０の処理が実行された後、保存処理は、ステップＳＴ２２へ移行する。

　ステップＳＴ２２で、第２混信除去処理部９４は、ステップＳＴ２０で取得された全物理画素５８の出力値Ｙに対して、混信除去行列Ａ^＋を用いた混信除去処理をそれぞれ実行する（図６参照）。これにより、撮像データ１２０が、複数の透過波長帯域λに対応する画像データに分離される。ステップＳＴ２２の処理が実行された後、保存処理は、ステップＳＴ２４へ移行する。

　ステップＳＴ２４で、第２画像データ生成部９６は、ステップＳＴ２２で混信除去処理が行われることにより生成された画像データを合成することにより、マルチスペクトル画像データである保存用画像データ１２４を生成する（図７参照）。保存用画像データ１２４は、ＮＶＭ７２に記憶される。ステップＳＴ２４の処理が実行された後、保存処理は終了する。

　次に、図１４を参照しながら、表示処理で用いられる混信除去行列Ｂ^＋を生成するための混信除去行列生成処理の流れの一例について説明する。

　図１４に示す混信除去行列生成処理では、先ず、ステップＳＴ３０で、波長設定部１０２は、プロセッサ７０に入力された波長選択指示信号に基づいて、第１透過波長帯域λ_１、第２透過波長帯域λ_２、及び第３透過波長帯域λ_３から、表示用画像１３２を生成するために使用する透過波長帯域λを設定する（図９参照）。ステップＳＴ３０の処理が実行された後、混信除去行列生成処理は、ステップＳＴ３２へ移行する。

　ステップＳＴ３２で、偏光成分削除部１０４は、ＮＶＭ７２に記憶されている混信行列Ａから、偏光子６２Ａの偏光角度θ_１に関する成分を削除することで第１の混信行列Ａ_１を生成する（図９参照）。また、偏光成分削除部１０４は、ＮＶＭ７２に記憶されている混信行列Ａから、偏光子６２Ｂの偏光角度θ_２に関する成分を削除することで第２の混信行列Ａ_２を生成する（図９参照）。また、偏光成分削除部１０４は、ＮＶＭ７２に記憶されている混信行列Ａから、偏光子６２Ｃの偏光角度θ_３に関する成分を削除することで第３の混信行列Ａ_３を生成する（図９参照）。さらに、偏光成分削除部１０４は、ＮＶＭ７２に記憶されている混信行列Ａから、偏光子６２Ｄの偏光角度θ_４に関する成分を削除することで第４の混信行列Ａ_４を生成する（図９参照）。ステップＳＴ３２の処理が実行された後、混信除去行列生成処理は、ステップＳＴ３４へ移行する。

　ステップＳＴ３４で、逆行列導出部１０６は、ステップＳＴ３２で生成された第１の混信行列Ａ_１、第２の混信行列Ａ_２、第３の混信行列Ａ_３、及び第４の混信行列Ａ_４に対して、逆行列である第１の逆行列Ａ_１ ^＋、第２の逆行列Ａ_２ ^＋、第３の逆行列Ａ_３ ^＋、及び第４の逆行列Ａ_４ ^＋を導出する（図９参照）。ステップＳＴ３４の処理が実行された後、混信除去行列生成処理は、ステップＳＴ３６へ移行する。

　ステップＳＴ３６で、波長成分削除部１０８は、ステップＳＴ３０で設定された透過波長帯域λを除く残りの透過波長帯域λに関する成分を、ステップＳＴ３４で導出された第１の逆行列Ａ_１ ^＋、第２の逆行列Ａ_２ ^＋、第３の逆行列Ａ_３ ^＋、及び第４の逆行列Ａ_４ ^＋からそれぞれ削除する（図９参照）。これにより、第１の逆行列Ａ_１ ^＋、第２の逆行列Ａ_２ ^＋、第３の逆行列Ａ_３ ^＋、及び第４の逆行列Ａ_４ ^＋から、第１の混信除去行列Ｂ_１ ^＋、第２の混信除去行列Ｂ_２ ^＋、第３の混信除去行列Ｂ_３ ^＋、及び第４の混信除去行列Ｂ_４ ^＋が生成される。ステップＳＴ３６の処理が実行された後、混信除去行列生成処理は、ステップＳＴ３８へ移行する。

　ステップＳＴ３８で、条件数導出部１１０は、第１の混信除去行列Ｂ_１ ^＋の条件数と、第２の混信除去行列Ｂ_２ ^＋の条件数と、第３の混信除去行列Ｂ_３ ^＋の条件数と、第４の混信除去行列Ｂ_４ ^＋の条件数とを導出する（図９参照）。ステップＳＴ３８の処理が実行された後、混信除去行列生成処理は、ステップＳＴ４０へ移行する。

　ステップＳＴ４０で、混信除去行列決定部１１２は、ステップＳＴ３６で得られた第１の混信除去行列Ｂ_１ ^＋、第２の混信除去行列Ｂ_２ ^＋、第３の混信除去行列Ｂ_３ ^＋、及び第４の混信除去行列Ｂ_４ ^＋から、ステップＳＴ３８で導出された条件数が最も小さい混信除去行列を混信除去行列Ｂ^＋として決定する。混信除去行列Ｂ^＋は、ＮＶＭ７２に記憶される。ステップＳＴ４０の処理が実行された後、混信除去行列生成処理は終了する。

　なお、上述の撮像装置１０の作用として説明した撮像制御方法は、本開示の技術に係る「情報処理方法」の一例である。

　以上説明したように、本実施形態に係る撮像装置１０では、プロセッサ７０は、イメージセンサ２６からの撮像データ１２０に対して、マルチスペクトル画像データに関連する表示処理及び保存処理を行う。表示処理は、保存処理よりも撮像データ１２０に対して情報の量を低減する混信除去処理を含む。したがって、例えば撮像データ１２０に対して情報の量が低減されずに表示処理が行われる場合に比して、プロセッサ７０の負荷を軽減することができる。

　表示処理における混信除去処理は、撮像データ１２０に対して情報を間引く間引き処理を含む。したがって、表示処理における混信除去処理では、保存処理における混信除去処理よりも撮像データ１２０に対して処理する情報の量を低減することができる。

　撮像データ１２０に対して間引かれる情報は、撮像データ１２０に含まれる偏光情報を含む。したがって、表示処理における混信除去処理で用いられる混信除去行列Ｂ^＋の行数を、保存処理における混信除去処理で用いられる混信除去行列Ａ^＋の行数よりも少なくすることができる。

　撮像データ１２０に対して間引かれる情報は、撮像データ１２０に含まれる波長情報を含む。したがって、このことによっても、表示処理における混信除去処理で用いられる混信除去行列Ｂ^＋の行数を、保存処理における混信除去処理で用いられる混信除去行列Ａ^＋の行数よりも少なくすることができる。

　表示処理における混信除去処理は、混信除去行列Ｂ^＋の条件数に基づいて行われる。したがって、混信除去行列Ｂ^＋の条件数に関係なく混信除去処理が行われる場合に比して、精度の高い画素値Ｘを得ることができる。

　プロセッサ７０は、撮像データ１２０とマルチスペクトル画像データとの関係を示す混信行列Ａから偏光情報に対応する成分を削除することにより、第１の混信行列Ａ_１～第４の混信行列Ａ_４を生成し、混信除去行列Ｂ^＋は、第１の混信行列Ａ_１～第４の混信行列Ａ_４の逆行列である第１の逆行列Ａ_１ ^＋～第４の逆行列Ａ_４ ^＋に基づいて生成される。したがって、混信行列Ａから偏光情報に対応する成分が削除されずに混信除去行列Ｂ^＋が生成される場合に比して、混信除去行列Ｂ^＋の行数を減らすことができる。

　撮像データ１２０は、イメージセンサ２６の全物理画素５８から出力されたデータである。したがって、表示処理と保存処理とを並列して行うことができる。

　表示処理及び保存処理は、並列して行われる。したがって、同じフレームから表示用画像１３２と保存用画像１３４とを得ることができる。

　表示処理及び保存処理は、撮像データ１２０に基づいてマルチスペクトル画像データを生成する処理である。したがって、マルチスペクトル画像である表示用画像１３２と保存用画像１３４とを得ることができる。

　なお、上記実施形態では、表示処理において、保存処理で用いられる混信除去行列Ａ^＋よりも成分が少ない混信除去行列Ｂ^＋が用いられることにより、撮像データ１２０に含まれる情報から、偏光成分削除部１０４（図９参照）によって削除された偏光角度θに関する成分に対応する偏光情報と、波長成分削除部１０８（図９参照）によって削除された透過波長帯域λに関する成分に対応する波長情報とが間引かれる。そして、これにより、表示処理では、保存処理よりも撮像データ１２０に対して処理する情報の量が低減される。

　しかしながら、表示処理は次のように行われてもよい。図１５に示す例では、表示処理において、保存処理で用いられる混信除去行列Ａ^＋を用いて全物理画素５８の出力値Ｙに対して混信除去処理が行われる。これにより、第１透過波長帯域λ_１に対応する第１画像１４０、第２透過波長帯域λ_２に対応する第２画像１４２、及び第３透過波長帯域λ_３に対応する第３画像１４４が得られる。続いて、第１画像１４０、第２画像１４２、及び第３画像１４４に対して画像画素が間引かれる。例えば、画像画素は、等間隔に間引かれる。そして、取り出された画像画素によって形成された第１画像１４０、第２画像１４２、及び第３画像１４４が合成されることにより、マルチスペクトル画像が生成される。

　図１５に示す例では、表示処理において、第１画像１４０、第２画像１４２、及び第３画像１４４に対して画像画素が間引かれることにより、保存処理よりも撮像データ１２０に対して処理する情報の量を低減することができる。また、表示処理及び保存処理で共通の混信除去行列Ａ^＋を用いることができるので、表示処理及び保存処理で混信除去処理を共通化することができる。

　また、特に図示しないが、表示処理では、保存処理で用いられる混信除去行列Ａ^＋よりも成分が少ない混信除去行列Ｂ^＋を用いて全物理画素５８の出力値Ｙに対して混信除去処理が行われ、混信除去処理で得られた第１画像１４０、第２画像１４２、及び第３画像１４４に対して画像画素が間引かれてもよい。そして、取り出された画像画素によって形成された第１画像１４０、第２画像１４２、及び第３画像１４４が合成されることにより、マルチスペクトル画像が生成されてもよい。このような例においても、表示処理では、保存処理よりも撮像データ１２０に対して処理する情報の量を低減することができる。

　また、上記実施形態では、ユーザ等からの撮像指示が受付装置３４によって受け付けられた場合、表示処理及び保存処理が並列して行われる。しかしながら、撮像指示が受付装置３４によって受け付けられていない場合には表示処理が繰り返し実行され、撮像指示が受付装置３４によって受け付けられた場合に、表示処理が行われずに、保存処理が行われてもよい。すなわち、表示処理及び保存処理は、選択的に行われてもよい。具体的には、表示処理及び保存処理は、異なるフレームに対して行われてもよい。この場合にも、例えば撮像データ１２０に対して情報の量が低減されずに表示処理が行われる場合に比して、プロセッサ７０の負荷を軽減することができる。

　また、上記実施形態では、表示処理及び保存処理において、全物理画素５８の出力値Ｙがそれぞれ取得される。すなわち、表示処理及び保存処理では、全物理画素５８に対して読み出し処理がそれぞれ行われる。しかしながら、例えば、表示処理及び保存処理が選択的に行われる場合に、表示処理では、一例として図１６から図２２に示すように、イメージセンサ２６の光電変換素子４８に対して物理画素５８が間引かれてもよい。

　図１６に示される例では、複数の物理画素５８は、複数の画素ブロック６０を形成している。各画素ブロック６０は、縦横３個ずつの合計９個の物理画素５８によって形成されている。各画素ブロック６０において、９個の物理画素５８には、３種類の偏光子６２（すなわち、偏光子６２Ａ、偏光子６２Ｂ、及び偏光子６２Ｃ）が割り当てられている。偏光子６２Ａは、第１偏光角度θ_１が０°に設定された偏光子であり、偏光子６２Ｂは、第２偏光角度θ_２が６０°に設定された偏光子であり、偏光子６２Ｃは、第３偏光角度θ_３が１２０°に設定された偏光子である。

　各行の偏光子６２は、光電変換素子４８の横方向に偏光子６２Ａ、偏光子６２Ｂ、及び偏光子６２Ｃの順に並ぶように配置されている。また、複数の偏光子６２は、各行の先頭の偏光子６２が行毎に偏光子６２Ａ、偏光子６２Ｃ、及び偏光子６２Ｂの順に代わるように配置されている。これにより、複数の偏光子６２Ａは、光電変換素子４８の斜め方向に連なって配置されている。同様に、複数の偏光子６２Ｂは、光電変換素子４８の斜め方向に連なって配置されており、複数の偏光子６２Ｃも、光電変換素子４８の斜め方向に連なって配置されている。なお、図１６に示される例では、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃ（図４参照）の配置は、図４と同様である。

　そして、表示処理では、複数の物理画素５８から各画素ブロック６０の同じ位置に配置された３個の物理画素５８（すなわち、物理画素５８Ａ、物理画素５８Ｂ、及び物理画素５８Ｃ）がそれぞれ選択される。具体的には、各画素ブロック６０で、９個の物理画素５８から、偏光子６２Ａに対応する物理画素５８Ａと、偏光子６２Ｂに対応する物理画素５８Ｂと、偏光子６２Ｃに対応する物理画素５８Ｃが１つずつ選択される。物理画素５８Ａは、物理画素５８Ｂ及び物理画素５８Ｃに対して光電変換素子４８の縦方向及び横方向に隣接する。そして、表示処理では、選択された物理画素５８（すなわち、間引かれた物理画素５８を除く物理画素５８）の出力値Ｙが読み出される。画素ブロック６０は、本開示の技術に係る「第１画素ブロック」の一例である。物理画素５８は、本開示の技術に係る「第１画素」の一例である。

　図１７に示される例では、図１６に示される例に対して、各画素ブロック６０で９個の物理画素５８から選択される３個の物理画素５８が異なる。すなわち、図１７に示される例では、物理画素５８Ａに対して離れた位置に配置された物理画素５８Ｂ及び物理画素５８Ｃが選択される。これにより、光電変換素子４８の斜め方向に連なる物理画素５８Ａ、物理画素５８Ｂ、及び物理画素５８Ｃが選択される。そして、表示処理では、選択された物理画素５８（すなわち、間引かれた物理画素５８を除く物理画素５８）の出力値Ｙが読み出される。画素ブロック６０は、本開示の技術に係る「第１画素ブロック」の一例である。物理画素５８は、本開示の技術に係る「第１画素」の一例である。

　図１８に示される例では、図１６に示される例に対して、選択される物理画素５８が異なる。すなわち、図１８に示される例では、隣接する画素ブロック６０で異なる種類の偏光子６２に対応する物理画素５８が選択される。具体的には、画素ブロック６０が光電変換素子４８の横方向にずれるに従って、選択される物理画素５８が光電変換素子４８の縦方向にずれ、かつ、画素ブロック６０が光電変換素子４８の縦方向にずれるに従って、選択される物理画素５８が光電変換素子４８の横方向にずれるように、各画素ブロック６０から物理画素５８が選択される。そして、表示処理では、選択された物理画素５８（すなわち、間引かれた物理画素５８を除く物理画素５８）の出力値Ｙが読み出される。画素ブロック６０は、本開示の技術に係る「第２画素ブロック」の一例である。物理画素５８は、本開示の技術に係る「第２画素」の一例である。

　図１９に示される例では、図１６に示される例に対して、選択される物理画素５８が異なる。すなわち、図１９に示される例では、複数の画素ブロック６０によって複数行の画素ライン１５０が形成されており、複数行の画素ライン１５０から１行ずつ行間隔を空けて画素ライン１５０が選択される。そして、表示処理では、選択された画素ライン１５０（すなわち、間引かれた画素ライン１５０を除く画素ライン１５０）に含まれる物理画素５８の出力値Ｙが読み出される。画素ブロック６０は、本開示の技術に係る「第３画素ブロック」の一例である。画素ライン１５０は、本開示の技術に係る「画素ライン」の一例である。物理画素５８は、本開示の技術に係る「第３画素」の一例である。

　図２０に示される例では、図１６に示される例に対して、偏光子６２Ａ、偏光子６２Ｂ、及び偏光子６２Ｃの配置が異なる。すなわち、図２０に示される例では、各行の偏光子６２は、光電変換素子４８の横方向に偏光子６２Ａ、偏光子６２Ｂ、及び偏光子６２Ｃの順に並ぶように配置されている。各行の先頭の偏光子６２は偏光子６２Ａで同じである。これにより、複数の偏光子６２Ａは、光電変換素子４８の縦方向に連なって配置されている。同様に、複数の偏光子６２Ｂは、光電変換素子４８の縦方向に連なって配置されており、複数の偏光子６２Ｃも、光電変換素子４８の縦方向に連なって配置されている。

　また、図２０に示される例では、図１６に示される例に対して、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃの配置が異なる。すなわち、図２０に示される例では、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃが行毎に設けられており、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃが光電変換素子４８の縦方向にＢフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃの順に並ぶように配置されている。

　さらに、図２０に示される例では、図１６に示される例に対して、選択される物理画素５８が異なる。すなわち、図２０に示される例では、複数の画素ブロック６０から、光電変換素子４８の縦方向及び横方向に１つの画素ブロック６０分の間隔を空けて画素ブロック６０が選択される。そして、表示処理では、選択された画素ブロック６０（すなわち、間引かれた画素ブロック６０を除く画素ブロック６０）に含まれる物理画素５８の出力値Ｙが読み出される。画素ブロック６０は、本開示の技術に係る「第４画素ブロック」の一例である。物理画素５８は、本開示の技術に係る「第４画素」の一例である。

　図２１に示される例では、図１６に示される例に対して、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃの配置が異なる。すなわち、図２１に示される例では、各行のフィルタ６４は、光電変換素子４８の横方向にＢフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃの順に並ぶように配置されている。また、複数のフィルタ４４は、各行の先頭のフィルタ６４が行毎にＢフィルタ６４Ａ、Ｒフィルタ６４Ｃ、及びＧフィルタ６４Ｂの順に代わるように配置されている。

　また、図２１に示される例では、図２０に示される例と同様に、複数の画素ブロック６０から、光電変換素子４８の縦方向及び横方向に１つの画素ブロック６０分の間隔を空けて画素ブロック６０が選択される。そして、表示処理では、選択された画素ブロック６０（すなわち、間引かれた画素ブロック６０を除く画素ブロック６０）に含まれる物理画素５８の出力値Ｙが読み出される。画素ブロック６０は、本開示の技術に係る「第４画素ブロック」の一例である。物理画素５８は、本開示の技術に係る「第４画素」の一例である。

　図２２に示される例では、縦横２個ずつの合計４個の物理画素５８によって、偏光サブブロックが形成されている。各偏光サブブロックにおいて、４個の物理画素５８には、３種類の偏光子６２（すなわち、偏光子６２Ａ、偏光子６２Ｂ、及び偏光子６２Ｃ）が割り当てられている。また、縦横２個ずつの合計４個の偏光サブブロックによって、フィルタブロックが形成されている。さらに、縦横２個ずつの合計４個のフィルタブロックによって画素ブロック６０が形成されている。４個のフィルタブロックには、Ｂフィルタ６４Ａ、Ｇフィルタ６４Ｂ、及びＲフィルタ６４Ｃが割り当てられている。

　また、図２２に示される例では、複数の画素ブロック６０から、光電変換素子４８の縦方向及び横方向に１つの画素ブロック６０分の間隔を空けて画素ブロック６０が選択される。そして、表示処理では、選択された画素ブロック６０（すなわち、間引かれた画素ブロック６０を除く画素ブロック６０）に含まれる物理画素５８の出力値Ｙが読み出される。画素ブロック６０は、本開示の技術に係る「第４画素ブロック」の一例である。物理画素５８は、本開示の技術に係る「第４画素」の一例である。

　図１６から図２２に示される例では、表示処理は、保存処理よりもイメージセンサ２６に対して物理画素５８の間引き量が多いので、例えば表示処理と保存処理とで物理画素５８の間引き量が同じ場合に比して、表示処理におけるプロセッサ７０の負荷を軽減することができる。

　図１６から図２２に示される例において、イメージセンサ２６は、本開示の技術に係る「第２イメージセンサ」の一例であり、表示処理は、本開示の技術に係る「第３処理」の一例であり、保存処理は、本開示の技術に係る「第４処理」の一例である。

　また、上記実施形態において、表示処理及び保存処理は、共通のプロセッサ７０によって行われるが、プロセッサ７０は、表示処理用のプロセッサと、保存処理用のプロセッサとを有していてもよい。

　また、上記実施形態に係る技術は、撮像装置１０以外の種類の装置（以下、「その他の装置」と称する）に対して適用されてもよい。また、上記実施形態に係る技術がその他の装置に対して適用される場合に、その他の装置は、イメージセンサ２６以外のセンサ（例えば、ＬｉＤＡＲ又は距離センサ等）を備えていてもよい。また、その他の装置では、表示処理及び保存処理は、イメージセンサ２６以外のセンサから出力された出力データに対して行われてもよい。さらに、その他の装置では、表示処理及び保存処理以外の第１処理及び第２処理が行われてもよい。

　また、第１処理及び第２処理のいずれか一方は、マルチスペクトル画像データを生成する処理でなくてもよい。

　また、上記実施形態では、撮像データ１２０に対して間引かれる情報は、偏光情報及び波長情報であるが、偏光情報及び波長情報以外の情報でもよい。

　また、上記実施形態では、撮像データ１２０に対して情報が間引かれることにより、表示処理では、保存処理よりも撮像データ１２０に対して処理される情報の量が低減されるが、間引き処理以外の処理により、表示処理において保存処理よりも撮像データ１２０に対して処理される情報の量が低減されてもよい。

　また、上記実施形態では、混信除去行列Ｂ^＋は、撮像装置１０で生成されるが、撮像装置１０以外の外部の装置で生成されてもよい。

　また、上記実施形態では、一例として、マルチスペクトル画像として、３つの透過波長帯域λに分光された光に基づいて生成されるマルチスペクトル画像を例に挙げて説明したが、３つの透過波長帯域λは、あくまでも一例に過ぎず、４つ以上の透過波長帯域λであってもよい。すなわち、撮像装置１０は、３つの透過波長帯域λに分光された光を撮像可能なマルチスペクトルカメラよりも高い波長分解能で被写体を撮像可能なマルチスペクトルカメラであってもよい。

　また、上記複数の変形例のうち組み合わせ可能な変形例は、適宜、組み合わされてもよい。

　また、上記実施形態では、プロセッサ７０を例示したが、プロセッサ７０に代えて、又は、プロセッサ７０と共に、他の少なくとも１つのＣＰＵ、少なくとも１つのＧＰＵ、及び／又は、少なくとも１つのＴＰＵを用いるようにしてもよい。

　また、上記実施形態では、ＮＶＭ７２に画像処理プログラム８０及び混信除去行列生成プログラム１００が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像処理プログラム８０及び／又は混信除去行列生成プログラム１００がＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的なコンピュータ読取可能な記憶媒体（以下、単に「非一時的記憶媒体」と称する）に記憶されていてもよい。非一時的記憶媒体に記憶されている画像処理プログラム８０及び／又は混信除去行列生成プログラム１００は、撮像装置１０のコンピュータ３２にインストールされてもよい。

　また、ネットワークを介して撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置に画像処理プログラム８０及び／又は混信除去行列生成プログラム１００を記憶させておき、撮像装置１０の要求に応じて画像処理プログラム８０及び／又は混信除去行列生成プログラム１００がダウンロードされ、コンピュータ３２にインストールされてもよい。

　また、撮像装置１０に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ７２に画像処理プログラム８０及び／又は混信除去行列生成プログラム１００の全てを記憶させておく必要はなく、画像処理プログラム８０及び／又は混信除去行列生成プログラム１００の一部を記憶させておいてもよい。

　また、撮像装置１０には、コンピュータ３２が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ３２が撮像装置１０の外部に設けられるようにしてもよい。

　また、上記実施形態では、プロセッサ７０、ＮＶＭ７２、及びＲＡＭ７４を含むコンピュータ３２が例示されているが、本開示の技術はこれに限定されず、コンピュータ３２に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ３２に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

　また、上記実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。

　各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の視線検出処理はあくまでも一例である。したがって、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３個の以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims

　プロセッサを備え、
　前記プロセッサは、センサからの出力データに対して、マルチスペクトル画像データに関連する第１処理及び第２処理を行い、
　前記第１処理は、前記第２処理よりも前記出力データに対して情報の量を低減する低減処理を含む
　情報処理装置。
　前記低減処理は、前記出力データに対して前記情報を間引く間引き処理を含む
　請求項１に記載の情報処理装置。
　前記センサは、第１イメージセンサであり、
　前記出力データは、前記第１イメージセンサから出力された撮像データである
　請求項１又は請求項２に記載の情報処理装置。
　前記撮像データは、前記第１イメージセンサから電気信号を低減せずに出力されたデータである
　請求項３に記載の情報処理装置。
　前記情報は、前記撮像データに含まれる偏光情報を含む
　請求項３又は請求項４に記載の情報処理装置。
　前記情報は、前記撮像データに含まれる波長情報を含む
　請求項３から請求項５の何れか一項に記載の情報処理装置。
　前記低減処理は、第１行列を用いた演算処理を含み、
　前記演算処理は、前記第１行列の条件数に基づいて行われる
　請求項１から請求項６の何れか一項に記載の情報処理装置。
　前記プロセッサは、前記出力データと前記マルチスペクトル画像データとの関係を示す第２行列から前記情報に対応する成分を削除することにより第３行列を生成し、
　前記第１行列は、前記第３行列の逆行列に基づいて生成される
　請求項７に記載の情報処理装置。
　前記第１処理は、前記出力データに基づいて表示用画像データを生成する表示処理であり、
　前記第２処理は、前記出力データに基づいて保存用画像データを生成する保存処理である
　請求項１から請求項８の何れか一項に記載の情報処理装置。
　前記表示処理及び前記保存処理は、並列して行われる
　請求項９に記載の情報処理装置。
　前記表示処理及び前記保存処理は、選択的に行われる
　請求項９に記載の情報処理装置。
　前記第１処理及び／又は前記第２処理は、前記出力データに基づいて前記マルチスペクトル画像データを生成する処理である
　請求項１から請求項１１の何れか一項に記載の情報処理装置。
　前記センサは、第２イメージセンサであり、
　前記プロセッサは、前記第２イメージセンサからの読み出し処理である第３処理及び第４処理を選択的に行い、
　前記第３処理は、前記第４処理よりも前記第２イメージセンサに対して画素の間引き量が多い
　請求項１から請求項１２の何れか一項に記載の情報処理装置。
　前記第２イメージセンサは、複数の第１画素ブロックを有し、
　各前記第１画素ブロックは、複数の第１画素によって形成され、
　前記複数の第１画素には、複数の種類の偏光子が割り当てられており、
　前記第３処理は、各前記第１画素ブロックで、前記複数の第１画素から各前記偏光子に対応する第１画素を選択する処理を含む
　請求項１３に記載の情報処理装置。
　前記第２イメージセンサは、複数の第２画素ブロックを有し、
　各前記第２画素ブロックは、複数の第２画素によって形成され、
　前記複数の第２画素には、複数の種類の偏光子が割り当てられており、
　前記第３処理は、隣接する前記第２画素ブロックで異なる種類の前記偏光子に対応する第２画素を前記複数の第２画素から選択する処理を含む
　請求項１３に記載の情報処理装置。
　前記第２イメージセンサは、複数の第３画素ブロックを有し、
　各前記第３画素ブロックは、複数の第３画素によって形成され、
　前記複数の第３画素には、複数の種類の偏光子が割り当てられており、
　前記第３処理は、前記複数の第３画素ブロックによって形成される複数行の画素ラインから行間隔を空けて画素ラインを選択する処理を含む
　請求項１３に記載の情報処理装置。
　前記第２イメージセンサは、複数の第４画素ブロックを有し、
　各前記第４画素ブロックは、複数の第４画素によって形成され、
　前記複数の第４画素には、複数の種類の偏光子が割り当てられており、
　前記第３処理は、前記複数の第４画素ブロックから間隔を空けて第４画素ブロックを選択する処理を含む
　請求項１３に記載の情報処理装置。
　センサからの出力データに対して、マルチスペクトル画像データに関連する第１処理及び第２処理を行うことを備え、
　前記第１処理は、前記第２処理よりも前記出力データに対して情報の量を低減する低減処理を含む
　情報処理方法。
　特定処理をコンピュータに実行させるためのプログラムであって、
　前記特定処理は、センサからの出力データに対して、マルチスペクトル画像データに関連する第１処理及び第２処理を行うことを備え、
　前記第１処理は、前記第２処理よりも前記出力データに対して情報の量を低減する低減処理を含む
　プログラム。