JP2024020922A - 復元画像の評価方法および撮像システム、 - Google Patents

Abstract

【課題】スペクトル情報が圧縮された画像から復元画像を生成する場合の復元精度を簡易に評価する方法が求められている。
【解決手段】復元画像の評価方法は、光応答特性が互いに異なる複数の受光領域を有する撮像装置によって生成される、複数の波長バンドにそれぞれ対応する複数のマスク画像を取得することと、前記撮像装置によって取得される画像から、前記複数の波長バンドにそれぞれ対応する複数の復元画像を生成するために用いられる復元テーブルを、前記複数のマスク画像に基づいて生成することと、前記複数のマスク画像のうち、ある波長バンドに対応するマスク画像から、前記復元テーブルを用いて前記ある波長バンドに対応する復元画像を生成する場合の復元精度に関する評価情報を生成することと、を含む。
【選択図】図８

Description

本開示は、復元画像の評価方法および撮像システムに関する。

圧縮センシングは、観測対象のデータ分布が、周波数空間のようなある空間においてスパース（疎）であると仮定することにより、観測されたデータよりも多くのデータを復元する技術である。圧縮センシングは、例えば、少数の観測データからより多くの情報を含む画像を復元する撮像装置に適用され得る。圧縮センシングが適用された撮像装置は、対象物のスペクトル情報が圧縮された画像から、演算によって復元画像を生成する。その結果、例えば画像の高解像化、多波長化、撮像時間の短縮、または高感度化などの種々の効果を得ることが可能になる。

特許文献１は、各々が狭帯域である複数の波長バンドの画像を取得するハイパースペクトルカメラに圧縮センシング技術を適用した例を開示している。特許文献１に開示された技術によれば、高解像度かつ多波長の画像を生成するハイパースペクトルカメラを実現することができる。

米国特許第９５９９５１１号明細書

スペクトル情報が圧縮された画像から復元画像を生成する場合の復元精度を簡易に評価する方法が求められている。

本開示の一態様に係る復元画像の評価方法は、光応答特性が互いに異なる複数の受光領域を有する撮像装置によって生成される、複数の波長バンドにそれぞれ対応する複数のマスク画像を取得することと、前記撮像装置によって取得される画像から、前記複数の波長バンドにそれぞれ対応する複数の復元画像を生成するために用いられる復元テーブルを、前記複数のマスク画像に基づいて生成することと、前記複数のマスク画像のうち、ある波長バンドに対応するマスク画像から、前記復元テーブルを用いて前記ある波長バンドに対応する復元画像を生成する場合の復元精度に関する評価情報を生成することと、を含む。

本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ‐Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

スペクトル情報が圧縮された画像から復元画像を生成する場合の復元精度を簡易に評価することができる。

図１Ａは、撮像システムの構成例を模式的に示す図である。 図１Ｂは、撮像システムの他の構成例を模式的に示す図である。 図１Ｃは、撮像システムのさらに他の構成例を模式的に示す図である。 図１Ｄは、撮像システムのさらに他の構成例を模式的に示す図である。 図２Ａは、フィルタアレイの例を模式的に示す図である。 図２Ｂは、対象波長域に含まれる複数の波長バンドＷ_１、Ｗ_２、・・・、Ｗ_Ｎのそれぞれの光の透過率の空間分布の一例を示す図である。 図２Ｃは、図２Ａに示すフィルタアレイに含まれる領域Ａ１の分光透過率の例を示す図である。 図２Ｄは、図２Ａに示すフィルタアレイに含まれる領域Ａ２の分光透過率の例を示す図である。 図３Ａは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ_１、Ｗ_２、・・・、Ｗ_Ｎとの関係の例を説明するための図である。 図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ_１、Ｗ_２、・・・、Ｗ_Ｎとの関係の他の例を説明するための図である。 図４Ａは、フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図４Ｂは、図４Ａに示す分光透過率を、波長バンドＷ_１、Ｗ_２、・・・、Ｗ_Ｎごとに平均化した結果を示す図である。 図５は、圧縮画像から復元画像を生成する場合の復元精度を評価するための撮像システムの構成例を模式的に示す図である。 図６は、本実施形態において処理回路が実行するキャリブレーションの動作の例を概略的に示すフローチャートである。 図７Ａは、ある波長バンドに対応するマスク画像を模式的に示す図である。 図７Ｂは、図７Ａに示すマスク画像から復元テーブルを用いて生成された複数の復元画像を模式的に示す図である。 図７Ｃは、図７Ｂに示す複数の復元画像の平均輝度を波長バンドについてプロットしたグラフである。 図８は、本実施形態において処理回路が実行する復元精度の評価動作の例を概略的に示すフローチャートである。 図９Ａは、表示装置の表示ＵＩに表示される評価情報の例を模式的に示す図である。 図９Ｂは、表示装置の表示ＵＩに表示される評価情報の他の例を模式的に示す図である。

本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。

本開示において、「光」とは、可視光（波長が約４００ｎｍ～約７００ｎｍ）だけでなく、紫外線（波長が約１０ｎｍ～約４００ｎｍ）および赤外線（波長が約７００ｎｍ～約１ｍｍ）を含む電磁波を意味する。

以下、本開示の例示的な実施形態を説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。

本開示の実施形態を説明する前に、スパース性に基づいて復元された画像は復元誤差を有する可能性があることを説明する。

スパース性とは、観測対象を特徴づける要素が、周波数空間のようなある空間においては疎ら（スパース）に存在しているという性質である。スパース性は、自然界において広く見られる。スパース性を利用することにより、必要な情報を効率的に観測することが可能になる。スパース性を利用したセンシング技術は、圧縮センシング技術と呼ばれる。圧縮センシング技術を利用することにより、高効率なデバイスおよびシステムの構築が可能である。

圧縮センシング技術の具体的な応用例として、例えば、特許文献１に開示されているような波長分解能を向上させたハイパースペクトルカメラが提案されている。当該ハイパースペクトルカメラは、例えば、空間および／または波長について不規則な光透過特性を有する光学フィルタを備える。そのような光学フィルタを「符号化マスク」とも称する。符号化マスクは、イメージセンサに入射する光の光路上に配置され、対象物から入射する光を、領域によって異なる光透過特性で透過させる。符号化マスクによるこの過程を「符号化」と称する。符号化マスクを介して取得された対象物の画像には、対象物のスペクトル情報が圧縮されている。当該画像を「圧縮画像」と称する。符号化マスクの光透過性を示すマスク情報は、復元テーブルとして予め記憶装置に記憶されている。

撮像装置の処理装置は、圧縮画像および復元テーブルに基づいて復元処理を行う。復元処理により、より高解像度の画像情報、またはより多くの波長の画像情報などの、圧縮画像よりも多くの情報を有する復元画像が生成される。復元テーブルは、例えば、符号化マスクの光応答特性の空間分布を示すデータであり得る。そのような復元テーブルに基づく復元処理により、１つの圧縮画像から、対象波長域に含まれる複数の波長バンドにそれぞれ対応する複数の復元画像を生成することができる。

特許文献１に開示されているような圧縮センシング技術を利用したハイパースペクトルカメラでは、復元テーブルを取得するためのキャリブレーションの工程、圧縮画像の撮影の工程、および圧縮画像から復元画像を生成するための復元演算の工程が実行される。

圧縮センシング技術では、圧縮画像から、復元テーブルを用いた復元演算によって復元画像が生成される。復元画像は、例えばハイパースペクトルカメラの製造工程における不具合が原因で、復元誤差を有する可能性がある。ハイパースペクトルカメラの出荷前に、圧縮画像から復元画像を生成する場合の復元精度を評価することにより、復元誤差が大きい粗悪品を除外することができる。

従来の方法では、以下の手順（１）～（３）で復元精度が評価されていた。
（１）色見本のような既知のスペクトル情報を有する対象物が用意される。
（２）ハイパースペクトルカメラによって当該対象物を撮像することにより、複数の波長バンドにそれぞれ対応する複数の復元画像が生成される。
（３）複数の復元画像から得られる対象物のスペクトル情報と、対象物の既知のスペクトル情報とを比較して、復元精度が評価される。

この方法では、ハイパースペクトルカメラごとに色見本を撮影し、復元精度を評価することが手間であるという課題があった。

本発明者は、上記の課題を検討した結果、ある波長バンドに対応するマスク画像を圧縮画像として、当該マスク画像から復元演算によって生成された復元画像に基づいて、復元精度を評価する方法に想到した。ある波長バンドに対応するマスク画像は、既知のスペクトル情報を有する。したがって、色見本のような既知のスペクトル情報を有する対象物を別途用意する必要がなく、復元精度を簡易に評価することが可能になる。以下に、本開示の実施形態による復元画像の評価方法および撮像システムを説明する。

第１の項目に係る方法は、光応答特性が互いに異なる複数の受光領域を有する撮像装置によって生成される、複数の波長バンドにそれぞれ対応する複数のマスク画像を取得することと、前記撮像装置によって取得される画像から、前記複数の波長バンドにそれぞれ対応する複数の復元画像を生成するために用いられる復元テーブルを、前記複数のマスク画像に基づいて生成することと、前記複数のマスク画像のうち、ある波長バンドに対応するマスク画像から、前記復元テーブルを用いて前記ある波長バンドに対応する復元画像を生成する場合の復元精度に関する評価情報を生成することと、を含む。

この方法では、スペクトル情報が圧縮された画像から復元画像を生成する場合の復元精度を簡易に評価することができる。

第２の項目に係る方法は、第１の項目に係る方法において、前記複数のマスク画像を取得することは、前記撮像装置によって前記複数の波長バンドの各々の光の像を取得することにより、前記複数の波長バンドの各々に対応するマスク画像を生成することを含む。

この方法では、複数のマスク画像を取得することが可能になる。

第３の項目に係る方法は、第１または第２の項目に係る方法において、前記評価情報を生成することが、前記復元テーブルを用いて、前記ある波長バンドに対応するマスク画像から、前記複数の波長バンドにそれぞれ対応する前記複数の復元画像を生成することをさらに含む。前記評価情報は、前記複数の復元画像の各々に含まれる複数の画素の画素値に基づいて生成される。

この方法では、評価情報を、複数の復元画像を用いて生成することができる。

第４の項目に係る方法は、第３の項目に係る方法において、前記複数の波長バンドがＮ個の波長バンドを含み、前記複数の復元画像が、前記Ｎ個の波長バンドにそれぞれ対応するＮ個の復元画像を含む。前記Ｎ個の復元画像のうち、第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に対応する復元画像の平均画素値をＢｉとしたとき、前記第ｉの波長バンドに対応する復元画像の復元精度は、Ｂｉ／ΣＢｊ（ｊ＝１～Ｎ、ただしｊ＝ｉを除く）に基づいて評価される。

この方法では、第ｉの波長バンドに対応する復元画像の復元精度を、信号雑音比Ｓ／Ｎに基づいて評価することができる。

第５の項目に係る方法は、第１または第２の項目に係る方法において、前記評価情報は、少なくとも、前記ある波長バンドに対応する復元画像に含まれる複数の画像の画素値に基づいて生成される。

この方法では、評価情報を、ある波長バンドに対応する復元画像に含まれる複数の画像の画素値に基づいて生成してもよいし、それに加えて他の復元画像に含まれる複数の画像の画素値に基づいて生成してもよい。

第６の項目に係る方法は、第１から第５の項目のいずれかに係る方法において、前記撮像装置が複数のフィルタを備え、前記複数のフィルタの光透過特性が互いに異なる。前記複数の受光領域の前記光応答特性は、それぞれ、前記複数のフィルタの前記光透過特性に基づいて決定される。

この方法では、光透過特性が互いに異なる複数のフィルタによって光を符号化することができる。

第７の項目に係る撮像システムは、光応答特性が互いに異なる複数の受光領域を有する撮像装置と、処理回路と、を備える。前記処理回路は、前記撮像装置によって生成される、複数の波長バンドにそれぞれ対応する複数のマスク画像を取得し、前記撮像装置によって取得される画像から、前記複数の波長バンドにそれぞれ対応する複数の復元画像を生成するために用いられる復元テーブルを、前記複数のマスク画像に基づいて生成し、前記複数のマスク画像のうち、ある波長バンドに対応するマスク画像から、前記復元テーブルを用いて前記ある波長バンドに対応する復元画像を生成する場合の復元精度に関する評価情報を生成する。

この撮像システムでは、スペクトル情報が圧縮された画像から復元画像を生成する場合の復元精度を簡易に評価することができる。

第８の項目に係る撮像システムは、第７の項目に係る撮像システムにおいて、レーザ光を出射する光源と、前記レーザ光からある波長バンドの光を抽出するモノクロメータと、抽出された前記光を空間的に均一にして出射する積分球とをさらに備える。前記処理回路は、前記光源に前記レーザ光を出射させ、前記モノクロメータに、前記レーザ光からある波長バンドの光を抽出させ、前記撮像装置に、前記積分球から出射された光の像を取得させる動作を前記複数の波長について繰り返すことにより、前記複数のマスク画像を取得する。

この撮像システムでは、レーザ光源、モノクロメータ、および積分球を用いて、複数のマスク画像を取得することができる。

（実施形態）
以下では、まず、圧縮画像から復元画像を生成する撮像システム、および当該撮像システムを利用した検査システムを説明する。次に、圧縮画像から復元画像を生成する場合の復元精度を評価する方法を説明する。

［１．撮像システム］
図１Ａは、撮像システムの構成例を模式的に示す図である。図１Ａに示すシステムは、撮像装置１００と、画像処理装置２００とを備える。撮像装置１００は、特許文献１に開示された撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０から入射する光の光路上に配置される。図１Ａの例におけるフィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置されている。

図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１０のデータを生成する。画像処理装置２００は、イメージセンサ１６０が生成した圧縮画像１０のデータに基づいて、所定の対象波長域に含まれる複数の波長バンドのそれぞれについての画像データを生成する。この生成される複数の波長バンドの画像データを、「ハイパースペクトル（ＨＳ）データキューブ」または「ハイパースペクトル画像データ」と称することがある。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドの画像データを、復元画像２０Ｗ_１、２０Ｗ_２、・・・、２０Ｗ_Ｎと称し、これらを「ハイパースペクトル画像２０」または「ハイパースペクトルデータキューブ２０」と総称することがある。本明細書において、画像を示すデータまたは信号、すなわち、各画素の画素値を表すデータまたは信号の集合を、単に「画像」とも称する。

本実施形態におけるフィルタアレイ１１０は、行および列状に配列された透光性を有する複数のフィルタのアレイである。複数のフィルタは、分光透過率、すなわち光透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を「符号化」と称し、フィルタアレイ１１０を「符号化素子」または「符号化マスク」とも称する。

図１Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。

光学系１４０は、少なくとも１つのレンズを含む。図１Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１１０を介して、イメージセンサ１６０の撮像面上に像を形成する。

フィルタアレイ１１０は、イメージセンサ１６０から離れて配置されていてもよい。図１Ｂから図１Ｄは、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている撮像装置１００の構成例を示す図である。図１Ｂの例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図１Ｃの例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図１Ｄの例では、撮像装置１００が２つの光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。

イメージセンサ１６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出装置である。イメージセンサ１６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、ハイパースペクトル画像２０の再構成の精度を向上させることができる。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、または遠赤外の波長範囲であってもよい。

画像処理装置２００は、１つ以上のプロセッサと、メモリ等の１つ以上の記憶媒体とを備えるコンピュータであり得る。画像処理装置２００は、イメージセンサ１６０によって取得された圧縮画像１０に基づいて、複数の復元画像２０Ｗ_１、２０Ｗ_２、・・・２０Ｗ_Ｎのデータを生成する。

図２Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元的に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。

図２Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれるフィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。

図２Ｂは、対象波長域に含まれる複数の波長バンドＷ_１、Ｗ_２、・・・、Ｗ_Ｎのそれぞれの光の透過率の空間分布の一例を示す図である。図２Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。

図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。

図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ_１、Ｗ_２、・・・、Ｗ_Ｎとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外などの波長域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、赤外線および紫外線を含む放射全般を「光」と称する。

図３Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ_１、Ｗ_２、・・・、Ｗ_Ｎとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドの決め方は任意である。

図４Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図４Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１からＰ５、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ_２、および波長バンドＷ_Ｎ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、複数の波長バンドＷ_１からＷ_Ｎのうち、少なくとも２つの複数の波長域において極大値を有するように設計され得る。図４Ａの例では、極大値Ｐ１、Ｐ３、Ｐ４およびＰ５は０．５以上である。

このように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。

図４Ｂは、一例として、図４Ａに示す分光透過率を、波長バンドＷ_１、Ｗ_２、・・・、Ｗ_Ｎごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、Ｐ３およびＰ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３およびＰ５をとる２つの波長域において、透過率が０．８を超えている。

図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。

全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ_１からＷ_Ｎの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。

このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、画像処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。

フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、金属を含む微細構造、またはメタサーフェスを用いて構成され得る。多層膜としては、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造は、プラズモン効果による分光を利用して作製され得る。メタサーフェスは、入射光の波長よりも小さいサイズで誘電体材料を微細加工することによって作製され得る。当該構造では、入射光に対する屈折率が空間的に変調される。あるいは、フィルタアレイ１１０を用いずに、イメージセンサ１６０に含まれる複数の画素を直接加工することにより、入射光を符号化してもよい。

上記のことから、撮像装置１００は、光応答特性が互いに異なる複数の受光領域を有すると言うことができる。撮像装置１００が、複数のフィルタを含むフィルタアレイ１１０を備え、当該複数のフィルタが互いに不規則に異なる光透過特性を有する場合、複数の受光領域は、フィルタアレイ１１０が近傍または直上に配置されたイメージセンサ１６０によって実現され得る。この場合、複数の受光領域の光応答特性は、それぞれ、フィルタアレイ１１０に含まれる複数のフィルタの光透過特性に基づいて決定される。

あるいは、撮像装置１００がフィルタアレイ１１０を備えない場合、複数の受光領域は、例えば、光応答特性が互いに不規則に異なるように複数の画素が直接加工されたイメージセンサ１６０によって実現され得る。この場合、複数の受光領域の光応答特性は、それぞれ、イメージセンサ１６０に含まれる複数の画素の光応答特性に基づいて決定される。

上記の多層膜、有機材料、回折格子構造、金属を含む微細構造、またはメタサーフェスは、２次元平面内において分光透過率が位置に応じて異なるように変調された構成であれば、入射光の符号化が可能である、したがって、上記の多層膜、有機材料、回折格子構造、金属を含む微細構造、またはメタサーフェスは、複数のフィルタがアレイ状に配置された構成である必要はない。

次に、画像処理装置２００による信号処理の例を説明する。画像処理装置２００は、イメージセンサ１６０から出力された圧縮画像１０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長のハイパースペクトル画像２０を再構成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、「バンド数」と称する。用途によっては、バンド数は１００を超えていてもよい。

求めたいデータはハイパースペクトル画像２０のデータであり、そのデータをｆとする。バンド数をＮとすると、ｆは、各バンドの画像データｆ_１、ｆ_２、・・・、ｆ_Ｎを統合したデータである。ここで、図３Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｍとし、ｙ方向の画素数をｎとすると、画像データｆ_１、ｆ_２、・・・、ｆ_Ｎの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。この３次元データを、「ハイパースペクトル画像データ」または「ハイパースペクトルデータキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。

ここで、ｆ_１、ｆ_２、・・・、ｆ_Ｎの各々は、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、厳密にはｎ×ｍ×Ｎ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換されて表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ_１、ｆ_２、・・・、ｆ_Ｎを波長バンドごとに異なる符号化情報（以下、「マスク情報」とも称する。）で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。

ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、画像処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。

ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。式（２）における括弧内の関数を評価関数と呼ぶ。画像処理装置２００は、再帰的な反復演算によって解を収束させ、評価関数を最小にするｆを、最終的な解ｆ’として算出することができる。

式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。

なお、図１Ｂおよび図１Ｃの構成においては、フィルタアレイ１１０によって符号化された像は、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の画素値への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２０を再構成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。

以上の処理により、イメージセンサ１６０によって取得された圧縮画像１０から、ハイパースペクトル画像２０を復元することができる。ハイパースペクトル画像２０の復元方法の詳細は、特許文献１に開示されている。特許文献１の開示内容の全体を本明細書に援用する。

［２．圧縮画像から復元画像を生成する場合の復元精度の評価］
次に、圧縮画像から復元画像を生成する場合の復元精度を評価するための撮像システムおよび動作の例を説明する。

［２．１．復元精度を評価するための撮像システム］
図５は、圧縮画像から復元画像を生成する場合の復元精度を評価するための撮像システムの構成例を模式的に示す図である。図５に示す撮像システムは、光源５１０と、モノクロメータ５２０と、積分球５３０と、撮像装置１００と、画像処理装置２００と、表示装置３００とを備える。矢印付きの線は信号の送受信を表す。

以下に、図５に示す撮像システムの各構成要素を説明する。

光源５１０は、対象波長域内の複数の波長バンドの成分をすべて含む光を出射する。対象波長域が可視光域の少なくとも一部であれば、当該光は、例えば白色光であり得る。光源５１０から出射される光は、例えばレーザ光であり得るが、レーザ光に限られない。光源５１０から出射される光は、例えば、ＬＥＤによる光であってもよいし、電球による光であってもよい。モノクロメータ５２０は、光源５１０から出射されたレーザ光から、ある波長バンドの光を抽出する。積分球５３０は開口を有し、抽出された単色光を空間的に均一にして開口から出射する。撮像装置１００は、積分球５３０から出射された光の像を取得する。

図５に示す太い曲線は、光源５１０およびモノクロメータ５２０を互いに接続する光ファイバ、およびモノクロメータ５２０および積分球５３０を互いに接続する光ファイバを表す。光源５１０およびモノクロメータ５２０を互いに接続する光ファイバは、光源５１０から出射されたレーザ光を、モノクロメータ５２０に導く。モノクロメータ５２０および積分球５３０を互いに接続する光ファイバは、モノクロメータ５２０から出射された光を積分球５３０に導く。光ファイバの代わりにミラーを用いてもよい。

画像処理装置２００は、制御回路２１０ａおよび信号処理回路２１０ｂを含む処理回路２１０と、記憶装置２２０とを備える。制御回路２１０ａは、光源５１０、モノクロメータ５２０、撮像装置１００、画像処理装置２００、および表示装置３００の動作を制御する。信号処理回路２１０ｂは、メモリ２１２と、画像復元モジュール２１４と、精度評価モジュール２１６とを備える。メモリ２１２は、後述するキャリブレーションにおいて取得される画像データを記憶する。画像復元モジュール２１４は、撮像装置１００によって生成された圧縮画像から、復元演算によって複数の復元画像を生成する。精度評価モジュール２１６は、圧縮画像から復元画像を生成する場合の復元精度を評価し、それによって得られる評価情報を示す信号を出力する。評価情報を示す信号は、表示装置３００に送られる。

信号処理回路２１０ｂは、メモリ２１２と、１つ以上のプロセッサとを含む。信号処理回路２１０ｂは、画像復元モジュール２１４として機能するプロセッサと、精度評価モジュール２１６として機能するプロセッサとを別々に含んでいてもよい。あるいは、信号処理回路２１０ｂは、画像復元モジュール２１４および精度評価モジュール２１６の両方の機能を有する１つのプロセッサを含んでいてもよい。信号処理回路２１０ｂは、記憶装置２２０に格納されたコンピュータプログラムを実行することによって画像復元モジュール２１４および精度評価モジュール２１６の機能を実現してもよい。図５に示す例において、制御回路２１０ａおよび信号処理回路２１０ｂは別々の回路として示されているが、１つの回路であってもよい。

記憶装置２２０は、１つ以上の記憶媒体を含む。各記憶媒体は、例えば、半導体メモリ、磁気記憶媒体、または光学記憶媒体などの任意の記憶媒体であり得る。記憶装置２２０は、後述するキャリブレーションによって取得される復元テーブルを記憶する。復元テーブルは、符号化マスクとして機能するフィルタアレイ１１０の光透過特性を示す符号化情報の一例である。復元テーブルは、例えば、式（２）における行列Ｈを示すテーブル形式のデータであり得る。

表示装置３００は、入力ユーザインターフェース（ＵＩ）３１０および表示Ｕ３２０を表示する。入力Ｕ３１０は、ユーザが情報を入力するために用いられる。ユーザが入力Ｕ３１０に入力した情報は、制御回路２１０ａによって受け取られる。表示ＵＩ３２０は、上記の評価情報を表示すために用いられる。

入力Ｕ３１０および表示Ｕ３２０は、グラフィカルユーザインターフェース（ＧＵＩ）として表示される。入力Ｕ３１０および表示Ｕ３２０に示される情報は、表示装置３００に表示されると言うこともできる。入力Ｕ３１０および表示Ｕ３２０は、タッチスクリーンのように入力および出力の両方が可能なデバイスによって実現されていてもよい。その場合、タッチスクリーンが表示装置３００として機能してもよい。入力ＵＩ３１０としてキーボードおよび／またはマウスを用いる場合、入力Ｕ３１０は、表示装置３００とは独立した装置である。

［２．２．復元テーブルを取得するためのキャリブレーションの動作］
次に、図６を参照して、本実施形態において処理回路２１０が実行するキャリブレーションの動作の例を説明する。図６は、本実施形態において処理回路２１０が実行するキャリブレーションの動作の例を概略的に示すフローチャートである。処理回路２１０に含まれる制御回路２１０ａまたは信号処理回路２１０ｂは、図６に示すステップＳ１０１～Ｓ１０８の動作を実行する。信号処理回路２１０ｂは、制御回路２１０ａからの制御信号を受けて動作を実行する。本明細書において、制御回路２１０ａまたは信号処理回路２１０ｂが実行する動作は、処理回路２１０が実行する動作として扱われる。

＜ステップＳ１０１＞
ユーザは、図５に示す入力ＵＩ３１０を介して複数の波長バンドを設定する。制御回路２１０ａは、入力ＵＩ３１０から、複数の波長バンドの情報を取得する。

ユーザは、さらに、入力ＵＩ３１０を介して撮像装置１００のゲインおよび露光時間などの撮像条件を設定してもよい。制御回路２１０ａは、入力ＵＩ３１０から、当該撮像条件の情報を取得する。

＜ステップＳ１０２＞
制御回路２１０ａは、光源５１０に、対象波長域に含まれる複数の波長バンドの成分を含むレーザ光を出射させる。当該レーザ光は、例えば白色レーザ光である。

＜ステップＳ１０３＞
制御回路２１０ａは、モノクロメータ５２０に、レーザ光から、ある波長バンドの光を抽出させる。この波長バンドは、入力された複数の波長バンドの１つである。

＜ステップＳ１０４＞
制御回路２１０ａは、撮像装置１００に、積分球５３０から出射された光の像を取得させる。この撮像動作は、入力された撮像条件または予め設定された撮像条件で行われる。

＜ステップＳ１０５＞
信号処理回路２１０ｂは、撮像装置１００からの信号に基づいて生成される上記のある波長バンドに対応するマスク画像をメモリ２１２に記憶する。

＜ステップＳ１０６＞
制御回路２１０ａは、すべての波長バンドを調べたか否かを判定する。判定がＹｅｓの場合、信号処理回路２１０ｂは、ステップＳ１０７の動作を実行する。判定がＮｏの場合、制御回路２１０ａは、ステップＳ１０３の動作を再び実行する。ステップＳ１０３において、制御回路２１０ａは、モノクロメータ５２０に、レーザ光から、まだ調べていない波長バンドの光を抽出させる。この抽出は、波長が短い順または長い順に行ってもよい。このように、制御回路２１０ａは、ステップＳ１０３～Ｓ１０５の動作を入力された複数の波長について繰り返し実行して、複数のマスク画像を取得する。

＜ステップＳ１０７＞
信号処理回路２１０ｂは、複数の波長バンドにそれぞれ対応する複数のマスク画像のデータに基づいて復元テーブルを生成する。復元テーブルは、奥行きが波長バンドを表し、縦横が各マスク画像に含まれる複数の画素の画素値を表す３次元行列である。各マスク画像に含まれる複数の画素の画素値は、例えば、飽和値によって０以上１以下に規格化されてもよい。

＜ステップＳ１０８＞
信号処理回路２１０ｂは、記憶装置２２０に復元テーブルを記憶させる。

本実施形態における、復元テーブルを取得するためのキャリブレーションの動作は、以下の動作（Ａ）および（Ｂ）を含む。
（Ａ）撮像装置１００によって生成される、複数の波長バンドにそれぞれ対応する複数のマスク画像を取得する。
（Ｂ）撮像装置１００によって取得される画像から、複数の波長バンドにそれぞれ対応する複数の復元画像を生成するために用いられる復元テーブルを、複数のマスク画像に基づいて生成する。

動作（Ａ）は、撮像装置１００によって複数の波長バンドの各々の光の像を取得することにより、複数の波長バンドの各々に対応するマスク画像を生成することを含む。

［２．３．圧縮画像から復元画像を生成する場合の復元精度を評価する方法］
次に、図７Ａから図７Ｃを参照して、圧縮画像から復元画像を生成する場合の復元精度を評価する方法の例を説明する。この方法では、ある波長バンドに対応するマスク画像を圧縮画像として、当該マスク画像から、上記の復元テーブルを用いて復元画像が生成される。当該マスク画像は、上記のある波長バンドの光のスペクトル情報を反映する。したがって、対象波長域に含まれる複数の波長バンドにそれぞれ対応する複数の復元画像のうち、上記のある波長バンドに対応する復元画像の平均輝度は、残りの各復元画像の平均輝度よりも高くなる。複数の復元画像のそのような輝度特性を利用して、圧縮画像から復元画像を生成する場合の復元精度を評価することができる。復元画像の平均輝度は、復元画像に含まれる複数の画素の平均画素値によって算出される。

図７Ａは、ある波長バンドに対応するマスク画像を模式的に示す図である。複数の波長バンドは、波長が短い方から順に番号づけされており、ある波長バンドは４番目の波長バンドであるとする。図７Ｂは、図７Ａに示すマスク画像から復元テーブルを用いて生成された複数の復元画像を模式的に示す図である。図７Ｃは、図７Ｂに示す複数の復元画像の平均輝度を波長バンドについてプロットしたグラフである。図７Ｃに示すグラフを、上記のある波長バンドについての復元スペクトルと定義する。

図７Ａに示す例において、マスク画像に含まれる複数の画素は、不規則な画素値を有する。画素値が高いほど明るくなり、画素値が低いほど暗くなる。図７Ｂに示す例において、４番目の波長バンドに対応する復元画像が最も明るい。４番目の波長バンドの両隣である３番目および５番目の波長バンドの各々に対応する復元画像は、４番目の波長バンドの復元画像ほどではないもののある程度明るい。残りの復元画像の輝度は暗い。

３番目および５番目の波長バンドの各々に対応する復元画像がある程度明るい理由としては、例えばフィルタアレイ１１０の光学特性および撮像装置１００に発生するノイズが原因で、復元画像に誤差が生じることが考えられる。さらに、他の理由として、４番目の波長バンドに対応するマスク画像を取得する際の単色光が、３番目の波長バンドおよび５番目の波長バンドの光を少量ながら含む可能性があることが考えられる。そのような単色光が原因で、４番目の波長バンドに対応するマスク画像から複数の復元画像を生成する場合、３番目および５番目の波長バンドの各々に対応する復元画像は若干の輝度を有し得る。

図７Ｃに示す例では、復元スペクトルにおいて、復元画像の平均輝度は、４番目の波長バンドで最も高くなり、波長バンドが４番目の波長バンドから離れるにつれて急激に減少する。復元画像の平均輝度は、３番目から５番目以外の波長バンドではほぼゼロである。ただし、撮像装置１００に発生するノイズなどが原因となり、ゼロとならない場合もある。

上記のことから、複数の波長バンドがＮ個の波長バンドを含み、複数の復元画像が、Ｎ個の波長バンドにそれぞれ対応するＮ個の復元画像を含む場合、ｉ番目の波長バンドについての復元精度を、以下の式（３）における評価値ＥＶ_ｉに基づいて評価することができる。ｉは、１以上Ｎ以下の整数である。

式（３）における評価値ＥＶ_ｉは、ｉ番目の波長バンドについての信号雑音比Ｓ／Ｎを表す。信号を表す分子は、ｉ番目の波長バンドに対応する復元画像の平均輝度Ｂｉであり、ノイズを表す分母は、残りの復元画像の平均輝度の合計である。Ｂ_ｉが分子にあるので、評価値ＥＶ_ｉが所定の閾値よりも高い場合、ｉ番目の波長バンドでの復元画像の復元精度は高いと評価することができる。

あるいは、ｉ番目の波長バンドについての復元精度を、以下の式（４）における評価値ＥＶ_ｉに基づいて評価してもよい。

式（４）における評価値ＥＶ_ｉにおいて、分母は、ｉ番目の波長バンドに対応する復元画像の平均輝度Ｂｉであり、分子は、すべての復元画像の平均輝度の合計である。式（４）における評価値ＥＶ_ｉは１以上である。Ｂ_ｉが分母にあるので、評価値ＥＶ_ｉが所定の閾値よりも低い場合、ｉ番目の波長バンドでの復元画像の復元精度は高いと評価することができる。復元精度が高いほど、式（４）における評価値ＥＶ_ｉは１に近づく。

あるいは、ｉ番目の波長バンドについての復元精度を、以下の式（５）における評価値ＥＶ_ｉに基づいて評価してもよい。

式（５）における評価値ＥＶ_ｉにおいて、分母は、ｉ番目の波長バンドに対応する復元画像の平均輝度Ｂｉであり、分子は、ｉ－１番目、ｉ番目、およびｉ＋１番目の波長バンドに対応する復元画像を除外した残りの復元画像の平均輝度の合計である。図７Ｃに示すように、実際の復元画像の平均輝度は、ｉ番目の波長バンドにおいて最も高くなり、その両隣のｉ－１番目およびｉ＋１番目の波長バンドにおいてある程度高くなり、それ以外の波長バンドにおいてほぼゼロである場合が多い。式（５）における評価値ＥＶ_ｉでは、実際の復元画像を考慮して、分子から上位３つの平均輝度が除外されている。ｉ＝１の場合、Ｂ_１およびＢ_２が除外され、ｉ＝Ｎの場合、Ｂ_Ｎ－１およびＢ_Ｎが除外される。Ｂ_ｉが分母にあるので、評価値ＥＶ_ｉが所定の閾値よりも低い場合、ｉ番目の波長バンドでの復元精度は高いと評価することができる。復元精度が高いほど、式（５）における評価値ＥＶ_ｉはゼロに近づく。

あるいは、ｉ番目の波長バンドについての復元精度を、以下の式（６）における評価値ＥＶ_ｉに基づいて評価してもよい。

式（６）における評価値ＥＶ_ｉは、ｉ番目の波長バンドに対応する復元画像に含まれる複数の画素の画素値の分散である。評価値ＥＶ_ｉにおいて、Ｋは、ｉ番目の波長バンドに対応する復元画像の全画素数を表し、ｂ_ｎは、当該復元画像におけるＫ個の画素を番号づけした場合の、ｎ番目の画素の画素値を表す。撮像装置１００にノイズが多く発生する場合、復元画像の画素値がばらつく傾向にある。分散が低いほど復元画像は均一な画素値を有するので、評価値ＥＶ_ｉが所定の閾値よりも低い場合、ｉ番目の波長バンドでの復元精度は高いと評価することができる。式（６）における評価値ＥＶ_ｉでは、ｉ番目の波長バンドに対応する復元画像のみが用いられ、残りの復元画像は必要ない。

評価値ＥＶ_ｉについては、上記の例の他に、式（３）～式（５）における分子および分母を入れ替えた評価値を用いてもよいし、式（３）～式（６）以外の評価値を用いてもよい。

以上のように、本実施形態における、圧縮画像から復元画像を生成する場合の復元精度を評価する方法では、ある波長バンドに対応するマスク画像を圧縮画像として、当該マスク画像から生成された当該ある波長バンドに対応する復元画像に基づいて復元精度が評価される。色見本のようなスペクトルが既知の対象物を別途撮影する必要がないので、復元精度を簡易に評価することができる。

［２．４．圧縮画像から復元画像を生成する場合の復元精度を評価する動作］
次に、図８を参照して、本実施形態において処理回路２１０が実行する復元精度の評価動作の例を説明する。この例では、ある波長バンドについての復元精度が、式（３）における評価値ＥＶ_ｉによって評価されるが、他の評価値ＥＶ_ｉによって評価されてもよい。図８は、本実施形態において処理回路２１０が実行する復元精度の評価動作の例を概略的に示すフローチャートである。処理回路２１０に含まれる信号処理回路２１０ｂは、図８に示すステップＳ２０１～Ｓ２０８の動作を実行する。

＜ステップＳ２０１＞
信号処理回路２１０ｂは、記憶装置２２０から復元テーブルを取得する。

＜ステップＳ２０２＞
信号処理回路２１０ｂは、画像復元モジュール２１４において、メモリ２１２に記憶されたある波長バンドに対応するマスク画像を圧縮画像として、当該マスク画像から、復元テーブルを用いて複数の波長バンドにそれぞれ対応する複数の復元画像を生成する。複数の復元画像は、当該ある波長バンドに対応する復元画像と、残りの復元画像とを含む。例えば式（６）における評価値ＥＶ_ｉによって復元精度を評価するのであれば、複数の復元画像のうち、残りの復元画像を生成する必要はない。

＜ステップＳ２０３＞
信号処理回路２１０ｂは、精度評価モジュール２１６において、複数の復元画像の各々の平均輝度を算出する。

＜ステップＳ２０４＞
信号処理回路２１０ｂは、精度評価モジュール２１６において、上記のある波長バンドについてのＳ／Ｎを算出する。

＜ステップＳ２０５＞
信号処理回路２１０ｂは、すべての波長バンドを調べたか否かを判定する。判定がＹｅｓの場合、信号処理回路２１０ｂは、ステップＳ２０６の動作を実行する。判定がＮｏの場合、信号処理回路２１０ｂは、ステップＳ２０２の動作を再び実行する。ステップＳ２０２において、信号処理回路２１０ｂは、まだ調べていない波長バンドに対応するマスク画像を圧縮画像として、当該マスク画像から、復元テーブルを用いて複数の波長バンドにそれぞれ対応する複数の復元画像を生成する。このように、信号処理回路２１０ｂは、ステップＳ２０２～Ｓ２０４の動作を複数の波長バンドについて繰り返し実行する。

＜ステップＳ２０６＞
信号処理回路２１０ｂは、すべての波長バンドについてのＳ／Ｎの平均値を算出する。

＜ステップＳ２０７＞
信号処理回路２１０ｂは、すべての波長バンドについての復元精度に関する評価情報を生成する。当該評価情報は、例えば、すべての波長バンドの各々についてのＳ／Ｎが所定の閾値を超えているか否かの判定結果を含み得る。当該評価情報は、例えば、すべての波長バンドについてのＳ／Ｎの平均値を含み得る。当該評価情報は、例えば、すべての波長バンドについてのＳ／Ｎの平均値に基づく、撮像装置１００が正常に動作しているか否かの判定結果を含み得る。撮像装置１００が正常に動作しているとは、撮像装置１００が原因で生じる復元誤差が許容範囲内であることを意味する。

すべての波長バンドは、ステップＳ２０２～Ｓ２０４におけるある波長バンドを含むので、信号処理回路２１０ｂは、ある波長バンドについての復元精度に関する評価情報を生成すると言うこともできる。ある波長バンドについての復元精度に関する評価情報は、より具体的には、ある波長バンドに対応するマスク画像から、復元テーブルを用いて当該ある波長バンドに対応する復元画像を生成する場合の復元精度に関する評価情報である。

＜ステップＳ２０８＞
信号処理回路２１０ｂは、表示装置３００に評価情報を表示させる。

図８に示す例では、すべての波長バンドについての復元精度が評価されているが、すべての波長バンドではなく、一部の波長バンドについての復元精度が評価されてもよい。

本実施形態における復元精度の評価動作は、以下の動作（Ｃ）を含む。
（Ｃ）複数のマスク画像のうち、ある波長バンドに対応するマスク画像から、復元テーブルを用いてある波長バンドに対応する復元画像を生成する場合の復元精度に関する評価情報を生成する。

当該評価情報は、例えば、式（３）～式（５）における評価値ＥＶ_ｉのように、複数の復元画像の各々に含まれる複数の画素の画素値に基づいて生成され得る。あるいは、当該評価情報は、例えば、式（６）における評価値ＥＶ_ｉのように、上記のある波長バンドに対応する復元画像に含まれる複数の画素の画素値に基づいて生成され得る。これら２つの例示のように、当該評価情報は、少なくとも、上記のある波長バンドに対応する復元画像に含まれる複数の画素の画素値に基づいて生成され得る。前述の動作（Ａ）および（Ｂ）と動作（Ｃ）とは別々の動作として実行してもよいし、一連の動作として実行してもよい。

［２．５．評価情報の表示例］
次に、図９Ａおよび図９Ｂを参照して、評価情報を表示装置３００に表示する例を説明する。図９Ａおよび図９Ｂは、表示装置３００の表示ＵＩ３２０に表示される評価情報の例を模式的に示す図である。

図９Ａに示す例では、表示ＵＩ３２０がウィンドウ形式で表示されている。ウィンドウの上にある「カメラＩＤ」は、撮像装置１００の管理番号を表す。ウィンドウの中央にある表は、複数の波長バンドについての復元精度を表す。表のうち、１列目はバンド番号を表し、２列目はＳ／Ｎを表し、３列目は復元精度の合否判定の結果を表す。合否判定はＳ／Ｎが所定の閾値よりも高いか否かによって行われる。Ｓ／Ｎが所定の閾値よりも高ければ合格「〇」であり、そうでなければ不合格「×」である。ウィンドウの左下にある「平均Ｓ／Ｎ」は、複数のバンドについてのＳ／Ｎの平均値を表す。ウィンドウの右下にある「判定」は、平均Ｓ／Ｎの合否判定の結果を表す。Ｓ／Ｎが所定の閾値よりも高ければ合格であり、そうでなければ不合格である。

図９Ａに示す例において、所定の閾値は０．３である。第１の波長バンドについてのＳ／Ｎは０．３以下であり不合格であるが、残りの波長バンドについてのＳ／Ｎは０．３を超えており合格である。一方で、平均Ｓ／Ｎは０．３を超えており合格である。したがって、フィルタアレイ１１０およびイメージセンサ１６０に問題はなく、撮像装置１００は正常に動作していると判定される。

図９Ｂに示す例では、図９Ａに示す例とは異なり、複数の波長バンドについての復元精度が、表ではなくグラフとして、ウィンドウの左に表されている。さらに、「平均Ｓ／Ｎ」がウィンドウの右上にあり、「判定」がウィンドウの右下にある。グラフにおける破線は、所定の閾値を表す。

図９Ａおよび図９Ｂに示す例では、すべての複数のバンドについてのＳ／Ｎの判定結果が表示されている。したがって、どの波長バンドについての符号化マスクの光透過特性を調整すれば復元精度を改善できるかが容易にわかる。すべての複数のバンドではなく、一部の波長バンドについてのＳ／Ｎの判定結果を表示してもよい。

図９Ａおよび図９Ｂに示す例では、複数のバンドについてのＳ／Ｎの平均値により、撮像装置１００の復元精度が評価されるが、この例に限られない。波長が短い順または長い順に番号づけした複数の波長バンドのうち、両端の波長バンドについてのＳ／Ｎは低い傾向にある。したがって、両端の波長バンドについてのＳ／Ｎを除外した残りの波長バンドについてのＳ／Ｎの平均値により、撮像装置１００の動作を評価してもよい。あるいは、一部の波長バンドついてのＳ／Ｎに基づいて、撮像装置１００の動作を評価してもよい。

本開示の技術は、例えば、多波長または高解像度の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、生体・医療・美容向けセンシング、食品の異物・残留農薬検査システム、リモートセンシングシステムおよび車載センシングシステムにも応用できる。

１０ 圧縮画像
２０ ハイパースペクトル画像
２０Ｗ_１、２０Ｗ_２、・・・、２０Ｗ_Ｎ 復元画像
７０ 対象物
１００ 撮像装置
１１０ フィルタアレイ
１４０、１４０Ａ、１４０Ｂ 光学系
１６０ イメージセンサ
２００ 画像処理装置
２１０ 処理回路
２１０ａ 制御回路
２１０ｂ 信号処理回路
２１２ メモリ
２１４ 画像復元モジュール
２１６ 精度評価モジュール
２２０ 記憶装置
３００ 表示装置
３１０ 入力ＵＩ
３２０ 表示ＵＩ
４００ コンベア
５１０ 光源
５２０ モノクロメータ
５３０ 積分球
１０００ 検査システム

Claims (8)

1. 光応答特性が互いに異なる複数の受光領域を有する撮像装置によって生成される、複数の波長バンドにそれぞれ対応する複数のマスク画像を取得することと、
   前記撮像装置によって取得される画像から、前記複数の波長バンドにそれぞれ対応する複数の復元画像を生成するために用いられる復元テーブルを、前記複数のマスク画像に基づいて生成することと、
   前記複数のマスク画像のうち、ある波長バンドに対応するマスク画像から、前記復元テーブルを用いて前記ある波長バンドに対応する復元画像を生成する場合の復元精度に関する評価情報を生成することと、を含む、
   方法。
2. 前記複数のマスク画像を取得することは、前記撮像装置によって前記複数の波長バンドの各々の光の像を取得することにより、前記複数の波長バンドの各々に対応するマスク画像を生成することを含む、
   請求項１に記載の方法。
3. 前記評価情報を生成することは、前記復元テーブルを用いて、前記ある波長バンドに対応するマスク画像から、前記複数の波長バンドにそれぞれ対応する前記複数の復元画像を生成することをさらに含み、
   前記評価情報は、前記複数の復元画像の各々に含まれる複数の画素の画素値に基づいて生成される、
   請求項１または２に記載の方法。
4. 前記複数の波長バンドはＮ個の波長バンドを含み、
   前記複数の復元画像は、前記Ｎ個の波長バンドにそれぞれ対応するＮ個の復元画像を含み、
   前記Ｎ個の復元画像のうち、第ｉの波長バンド（ｉは１以上Ｎ以下の整数）に対応する復元画像の平均画素値をＢｉとしたとき、前記第ｉの波長バンドに対応する復元画像の復元精度は、Ｂｉ／ΣＢｊ（ｊ＝１～Ｎ、ただしｊ＝ｉを除く）に基づいて評価される、請求項３に記載の方法。
5. 前記評価情報は、少なくとも、前記ある波長バンドに対応する復元画像に含まれる複数の画像の画素値に基づいて生成される、
   請求項１または２に記載の方法。
6. 前記撮像装置は、光透過特性が互いに異なる複数のフィルタを備え、
   前記複数の受光領域の前記光応答特性は、それぞれ、前記複数のフィルタの前記光透過特性に基づいて決定される、
   請求項１または２に記載の方法。
7. 光応答特性が互いに異なる複数の受光領域を有する撮像装置と、
   処理回路と、
   を備え、
   前記処理回路は、
   前記撮像装置によって生成される、複数の波長バンドにそれぞれ対応する複数のマスク画像を取得し、
   前記撮像装置によって取得される画像から、前記複数の波長バンドにそれぞれ対応する複数の復元画像を生成するために用いられる復元テーブルを、前記複数のマスク画像に基づいて生成し、
   前記複数のマスク画像のうち、ある波長バンドに対応するマスク画像から、前記復元テーブルを用いて前記ある波長バンドに対応する復元画像を生成する場合の復元精度に関する評価情報を生成する、
   撮像システム。
8. レーザ光を出射する光源と、
   前記レーザ光からある波長バンドの光を抽出するモノクロメータと、
   抽出された前記光を空間的に均一にして出射する積分球と
   をさらに備え、
   前記処理回路は、前記光源に前記レーザ光を出射させ、前記モノクロメータに、前記レーザ光からある波長バンドの光を抽出させ、前記撮像装置に、前記積分球から出射された光の像を取得させる動作を前記複数の波長について繰り返すことにより、前記複数のマスク画像を取得する、
   請求項７に記載の撮像システム。