JP7429931B2 - イメージセンサのスペクトルデータを処理する装置及びその方法 - Google Patents

Description

本開示は、イメージセンサのスペクトルデータを処理する装置及びその方法に関する。

超分光イメージング（hyperspectral imaging）技術は、分光分析法とイメージ処理技術とが組み合わされたものであり、測定対象に係わる空間（spatial）情報と分光（spectral）情報とを同時に取得する技術である。超分光イメージング装置は、超分光イメージセンサによって取得されたデータを介し、対象体の状態、構成、特徴、変異などを把握し、物質を識別し、製品欠陥程度などを測定することができる。ただし、超分光イメージングシステムは、イメージセンサのピクセルサイズが小さくなることによって生じるピクセル間のクロストーク（crosstalk）の影響により、イメージセンサの解像度（例えば、空間解像度または分光解像度）が低くなってしまう。従って、イメージセンサにおいて、高解像度のイメージデータを取得するために、クロストークの影響を補正する多様なイメージプロセッシング方法が試みられている。

本発明が解決しようとする課題は、イメージセンサのスペクトルデータを処理する装置及びその方法を提供するところにある。本開示がなすべき技術的課題は、前述のような技術的課題に限定されるものではなく、以下の実施形態から他の技術的課題が類推されうる。

一態様による、イメージセンサのスペクトルデータを処理する方法は、前記イメージセンサによって対象体から取得された光のスペクトルデータのチャネルに対応するスペクトル応答（spectrum response signal）信号を取得する段階と、前記取得されたスペクトル応答信号に対応する基底セット（basis set）を決定する段階と、前記決定された基底セットに基づき、前記チャネルの前記スペクトル応答信号に係わる基底変換を行う段階と、疑似逆行列（pseudo inverse）を利用し、前記基底変換されたスペクトル応答信号から再構成されたスペクトルデータを生成する段階と、を含む。

また、前記基底セットを決定する段階は、主成分分析（ＰＣＡ：principal component analysis）アルゴリズムを利用し、各チャネルのスペクトル応答信号に係わる主成分（principal component）を取得することにより、前記基底セットを決定する。

また、前記基底セットは、前記チャネルの個数以下の基底を含む。

また、前記方法は、前記取得されたスペクトル応答信号に対応する基底において、臨界値より小さい特異値（singular value）を有する少なくとも１つの基底を決定する段階と、前記決定された少なくとも１つの基底に係わる特異値を所定特異値で代替する段階と、をさらに含み、前記基底セットは、前記所定特異値で代替された基底を含む。

また、前記所定特異値は、前記臨界値、または前記臨界値以上の他基底の特異値のうち最も小さい値でもある。

また、前記方法は、前記生成された再構成されたスペクトルデータに基づき、超分光イメージを生成する段階をさらに含む。

また、前記超分光イメージは、カラーマッチング関数を利用し、前記再構成されたスペクトルデータからカラー変換されたＲＧＢイメージを含む。

また、前記イメージセンサは、少なくとも３以上のチャネルのスペクトルデータを取得する。

他の態様による、イメージセンサのスペクトルデータを処理する装置は、対象体に光を照射する光源と、前記対象体から取得された光のスペクトルデータのチャネルに対応するスペクトル応答信号を取得するイメージセンサと、前記取得されたスペクトル応答信号に対応する基底セットを決定し、前記決定された基底セットに基づき、前記チャネルの前記スペクトル応答信号に係わる基底変換を行い、疑似逆行列を利用し、前記基底変換されたスペクトル応答信号から再構成されたスペクトルデータを生成するプロセッサと、を含む。

また、前記基底セットは、主成分分析（ＰＣＡ）アルゴリズムを利用し、各チャネルのスペクトル応答信号に係わる主成分を取得することによって決定される。

また、前記基底セットは、前記チャネルの個数以下の基底を含む。

また、前記プロセッサは、前記取得されたスペクトル応答信号に対応する基底において、臨界値より小さい特異値を有する少なくとも１つの基底を決定し、前記決定された少なくとも１つの基底に係わる特異値を所定特異値で代替し、前記基底セットは、前記所定特異値で代替された基底を含む。

また、前記所定特異値は、前記臨界値、または前記臨界値以上の他基底の特異値のうち最も小さい値でもある。

また、前記プロセッサは、前記生成された再構成されたスペクトルデータに基づき、超分光イメージを生成する。

また、前記超分光イメージは、カラーマッチング関数を利用し、前記再構成されたスペクトルデータからカラー変換されたＲＧＢイメージを含む。

また、前記イメージセンサは、少なくとも３以上のチャネルのスペクトルデータを取得するマルチスペクトルイメージセンサでもある。

さらに他の態様によれば、コンピュータで読み取り可能な非一時的記録媒体は、前述の方法を実行する命令語を含む１以上のプログラムが記録された記録媒体を含むものでもある。

一実施形態によるイメージング装置の一例を示すブロック図である。 一実施形態によるイメージ装置の概念図である。 図２の光源の概念図である。 図２のイメージセンサの概念図である。 図２のイメージセンサの一例を示す概念図である。 一実施形態によるイメージング装置が動作する過程について説明するための概要図である。 一実施形態による、イメージセンサのスペクトルデータを処理して再構成スペクトルデータを生成する方法のフローチャートである。 一実施形態による、イメージセンサのスペクトルデータを処理して再構成スペクトルデータを生成する方法のフローチャートである。 一実施形態による、再構成スペクトルデータの適用シミュレーション結果について説明するための図面である。 一実施形態による、基底の個数が再構成スペクトルデータの性能に及ぼす影響について説明するための図面である。 一実施形態による、基底の特異値による影響について説明するための図面である。 一部実施形態による、再構成スペクトルデータのＲＧＢ変換について説明するための図面である。

本実施形態で使用される用語は、本実施形態における機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それは、当技術分野における当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合は、任意に選定された用語もあり、その場合、当該実施形態の説明部分において、詳細にその意味を記載する。従って、本実施形態で使用される用語は、単なる用語の名称ではなく、その用語が有する意味と、本実施形態の全般にわたる内容とを基に定義されなければならないのである。

本実施形態に係わる説明において、ある部分が他部分と連結されているとするとき、それは、直接連結されている場合だけではなく、その中間に、他の構成要素を挟んで電気的に連結されている場合も含む。単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含むものでもあるということを意味する。

本実施形態で使用される「構成される」または「含む」というような用語は、明細書上に記載されたさまざまな構成要素、またはさまざまな段階を必ずしもいずれも含むものであると解釈されるものではなく、そのうちの一部構成要素または一部段階は、含まれず、または、さらなる構成要素または段階をさらに含むものでもあると解釈されなければならない。

また、本明細書で使用される「第１」または「第２」というように、序数を含む用語は、多様な構成要素についての説明にも使用されるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的にも使用される。

以下の実施形態に係わる説明は、権利範囲を制限するものであると解釈されるものではなく、当該技術分野の当業者が容易に類推することができるところは、本実施形態の権利範囲に属すると解釈されなければならないのである。以下において添付された図面を参照しながら、単に例示のための実施形態について詳細に説明する。

図１は、一部実施形態によるイメージング装置の一例を示すブロック図である。

図１を参考すれば、イメージング装置１０は、対象体の特性が分析したり、該対象体自体を識別したりする装置であるならば、制限なしに該当しうる。例えば、イメージング装置１０は、超分光イメージングまたは多分光イメージング（hyperspectral imagingまたはmultispectral imaging）技術を利用するイメージングシステムに該当しうるが、必ずしもそれに制限されるものではない。なお、該対象体は、人、事物、地形、植物などを含むものでもあるが、イメージング装置１０が利用される分野により、制限なしに変更されうる。

図１を参照すれば、イメージング装置１０は、少なくとも１つの光源１１０、少なくとも１つのイメージセンサ１２０、及び少なくとも１つのプロセッサ１３０を含むものでもある。ただし、図１に図示されたイメージング装置１０には、本実施形態と係わる構成要素だけが図示されている。従って、イメージング装置１０には、図１に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれるものでもあるということは、当業者に自明であろう。例えば、イメージング装置１０は、光源、メモリというようなハードウェア構成要素をさらに含むものでもある。

さらに、図１に図示された構成要素のうち一部のみを含んでも、本開示の目的を達成することができる場合には、図１に図示された構成要素のうち一部のみを含む装置も、イメージング装置１０に該当しうる。例えば、イメージング装置１０は、少なくとも１つのイメージセンサ１２０だけ、及び少なくとも１つのプロセッサ１３０だけを含み、少なくとも１つの光源１１０は、イメージング装置１０の外部にも配される。

該メモリは、イメージング装置１０内で処理される各種データを保存するハードウェアであり、例えば、該メモリは、イメージング装置１０で処理されたデータ、及び処理されるデータを保存することができる。また、該メモリは、イメージング装置１０によって駆動されるアプリケーション、ドライバなどを保存することができる。

該メモリは、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）のようなＲＡＭ（Random Access Memory）；ＲＯＭ（Read-Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）、ブルーレイ、または他の光学ディスクストレージ；ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）；またはフラッシュメモリを含み、または、イメージング装置１０にアクセスされうる外部の他ストレージデバイスを含むものでもある。

少なくとも１つの光源１１０は、光を対象体に照射するための装置を意味しうる。少なくとも１つの光源１１０は、複数の互いに異なる波長帯域の光を対象体に照射することができる。例えば、少なくとも１つの光源１１０は、第１波長帯域の光、及び第１波長帯域（例えば、４００ｎｍないし７００ｎｍの範囲）と異なる第２波長帯域（例えば、２５０ｎｍないし４００ｎｍの範囲）の光を選択的に対象体に照射することができる。ただし、該波長帯域は、多様にも設定される。

少なくとも１つの光源１１０は、可視光帯域のブロードな（broad）光を照射するＬＥＤ（Light Emitting Diode）または蛍光灯でもあり、短波長の高強度の光を照射するレーザダイオードでもある。ただし、それらに必ずしも制限されるものではない。少なくとも１つの光源１１０は、対象体に係わる情報を取得するのに適する波長帯域の光を放出することができる。

また、少なくとも１つの光源１１０は、複数の互いに異なる波長帯域の光を選択的に対象体に照射することができる単一の光源でもある。ただし、それに制限されるものではなく、少なくとも１つの光源１１０は、それぞれが、１つの波長帯域の光を照射する複数の光源を含むものでもある。また、少なくとも１つの光源１１０は、複数の互いに異なる波長帯域の光を、選択的に対象体に照射することができる光源を複数個含むものでもある。

少なくとも１つのイメージセンサ１２０は、対象体から、散乱（scattering）、放出（emission）または反射（reflection）されるか、あるいは対象体によって吸収（absorption）される光から、スペクトルデータを取得するための装置を意味しうる。ただし、それに必ずしも制限されるものではなく、イメージセンサ１２０は、対象体を介して伝達（transmission）されたり屈折（refraction）されたりする光から、スペクトルデータを取得することもできる。一例において、光源１１０によって生成された光または自然光が、対象体に照射されれば、該対象体は、光を吸収、散乱、放出または反射させることができ、イメージセンサ１２０は、該対象体が、吸収、散乱、放出または反射させる光のスペクトルデータを測定することができる。該対象体を構成する物質の種類により、スペクトルデータが異なりうるので、測定されたスペクトルデータが分析すれば、対象体を構成する物質の種類を推定できる。

イメージセンサ１２０によって取得されたスペクトルデータは、波長別に区分された複数チャネルのスペクトルデータ（または、スペクトル信号）を含みうる。ここで、それぞれの波長の帯域幅、チャネルの個数は、多様にも設定される。例えば、イメージセンサ１２０は、少なくとも３以上のチャネルのスペクトルデータを取得するマルチスペクトルイメージセンサでありうる。

一部実施形態によれば、イメージセンサ１２０によって取得されるスペクトルデータは、ラマン（Raman）スペクトル、可視（visible）スペクトル、蛍光スペクトル、マイクロ波スペクトル、赤外線スペクトル、Ｘ線スペクトルのような多様なスペクトルのうち少なくとも一つを含むものでもある。ただし、それに必ずしも制限されるものではない。ここで、該ラマンスペクトルは、レーザダイオードのような光源を利用し、短波長の高強度の光を対象体に照射した後、光源の波長帯域と異なる波長帯域でもって対象体から散乱または放出される光を測定したときに取得されるスペクトルを意味しうる。

なお、図１においては、単一のイメージセンサ１２０だけがイメージング装置１０に含まれるように図示されているが、イメージング装置１０は、２個以上のイメージセンサを含みうる。イメージング装置１０が２以上のイメージセンサを含む場合、各イメージセンサによって取得されるスペクトルデータの類型は、互いに異なりうる。

イメージセンサ１２０は、格子（grating）及びフィルタアレイ（filter array）のうち少なくとも一つを利用し、スペクトルデータを取得することができる。該格子は、光の屈折、反射または回折を利用し、分光を行う素子に該当し、該フィルタアレイは、特定の波長や波長範囲を選択的に透過または遮断するフィルタを利用して分光を行う素子にも該当する。

イメージセンサ１２０は、例えば、３００ｎｍないし７００ｎｍの範囲の波長帯域の光を測定することにより、対象体に係わる可視イメージまたは超分光イメージを取得することができる。ただし、それに必ずしも制限されるものではなく、少なくとも１つのイメージセンサ１２０は、対象体に係わる情報を取得するのに適する任意の波長帯域の光を測定することができる。

イメージセンサ１２０は、対象体の色相または形状のような外観に係わる可視イメージを取得することができるフォトダイオードアレイ、ＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを含むものでもある。また、イメージセンサ１２０は、対象体から放出される蛍光に係わる情報を含む超分光イメージまたは多分光イメージを取得することができる。対象体内の所定の指標物質は、光源１１０から光が照射されることにより、蛍光を放出することができ、所定の指標物質の含量を示すパラメータは、超分光イメージからも取得される。一方、以下の説明においては、超分光イメージングについて例示的に説明するが、それに制限されるものではなく、本実施形態は、多分光、極超分光のイメージング技術についても適用される。

少なくとも１つのプロセッサ１３０は、イメージング装置１０を制御するための全般的な機能を遂行する役割を行う。例えば、少なくとも１つのプロセッサ１３０は、少なくとも１つの光源１１０、及び少なくとも１つのイメージセンサ１２０の動作を制御することができる。一方、少なくとも１つのプロセッサ１３０は、多数の論理ゲートのアレイによっても具現され、汎用的なマイクロプロセッサと、該マイクロプロセッサで実行されうるプログラムが保存されたメモリとの組み合わせによっても具現される。

少なくとも１つのプロセッサ１３０は、少なくとも１つのイメージセンサ１２０から取得される可視イメージに基づき、対象体に係わる第１情報を取得し、取得された第１情報、及びイメージセンサ１２０から取得された超分光イメージに基づき、対象体に係わる第２情報を取得することができる。そのように、プロセッサ１３０は、超分光イメージの分析を介して取得された情報のみを利用して第２情報を取得せず、可視イメージの分析を介して取得された情報を総合的に考慮し、第２情報を取得するが、該対象体に係わる第２情報の正確度が増大されうる。

例えば、該第１情報は、対象体の外観に係わる情報を含み、該第２情報は、対象体の物質パラメータに係わる情報を含むものでもある。ただし、それに必ずしも制限されるものではない。

図２は、一実施形態によるイメージ装置の概念図である。図３は、図２の光源の概念図である。図４は、図２のイメージセンサの概念図である。図５は、図２のイメージセンサの一例を示す概念図である。

図２ないし図５を参照すれば、光源１１０、イメージセンサ１２０及びプロセッサ１３０を含むイメージング装置１０が提供され、イメージング装置１０は、対象体ＯＢＪのイメージングを行うことができる。

光源１１０は、対象体ＯＢＪと対向しうる。光源１１０は、対象体ＯＢＪに検査光ＩＬａ，ＩＬｂを照射することができる。図３に図示されているように、光源１１０は、第１光源アレイ１１０１、第２光源アレイ１１０２及び透過窓１１０３を含むものでもある。第１光源アレイ１１０１と第２光源アレイ１１０２は、透過窓１１０３を挟み、互いに離隔されうる。第１光源アレイ１１０１及び第２光源アレイ１１０２のそれぞれは、一方向に沿って配列される複数の光源１１００を含むものでもある。例えば、複数の光源１１００は、透過窓１１０３に沿っても配列される。第１光源アレイ１１０１及び第２光源アレイ１１０２のそれぞれの複数光源１１００が２列を形成するように図示されたが、それは、限定的なものではない。例えば、複数光源１１００は、ＬＥＤを含むものでもある。

検査光ＩＬａ，ＩＬｂに曝露される対象体ＯＢＪは、蛍光ＯＬを放出しうる。蛍光ＯＬは、透過窓１１０３を通過し、イメージング装置１０内部にも提供される。透過窓１１０３は、透明な材質を含むものでもある。例えば、透過窓１１０３は、透明プラスチックまたはガラスでもある。一例において、透過窓１１０３は、低温に対する耐久性が高い材質を含むものでもある。蛍光ＯＬは、イメージセンサ１２０にも提供される。例えば、蛍光ＯＬの光路は、蛍光ＯＬがイメージセンサ１２０に提供されるように、光経路調節要素１１４０によっても調節される。イメージセンサ１２０は、超分光カメラを含むものでもある。

一例において、イメージセンサ１２０は、図４に図示されているように、分散要素２３０を含むものでもある。イメージセンサ２００ａは、スリット要素２１０、コリメーティングレンズ２２０、分散要素２３０、集光レンズ２４０及びセンサ２５０を含むものでもある。スリット要素２１０は、蛍光ＯＬの要求される部分を抽出するためにも使用される。一例において、スリット要素２１０を通過した蛍光ＯＬは、発散しうる。コリメーティングレンズ２２０は、蛍光ＯＬが、平行光または収斂光になるように、蛍光ＯＬの大きさを調節することができる。例えば、コリメーティングレンズ２２０は、凸状レンズを含むものでもある。分散要素２３０は、コリメーティングレンズ２２０から提供される蛍光ＯＬを分光させることができる。分散要素２３０が格子であるように図示されているが、それは、限定的なものではない。他の例示的な実施形態において、分散要素２３０は、プリズムでもある。分光された蛍光ＯＬは、集光レンズ２４０を経て、センサ２５０にも提供される。例えば、集光レンズ２４０は、凸状レンズを含むものでもある。分光された蛍光ＯＬは、波長により、センサ２５０の互いに異なる位置にも提供される。センサ２５０は、分散要素２３０から提供される分光された蛍光ＯＬを測定することができる。センサ２５０は、蛍光ＯＬのスペクトル信号を生成することができる。センサ２５０は、スペクトル信号をプロセッサ１３０に提供することができる。

一例において、図５に図示されているように、スペクトルフィルタ２３２を含むイメージセンサ２００ｂが提供されうる。イメージセンサ２００ｂは、スリット要素２１０、コリメーティングレンズ２２０、スペクトルフィルタ２３２、集光レンズ２４０及びセンサ２５０を含むものでもある。スリット要素２１０、コリメーティングレンズ２２０、集光レンズ２４０及びセンサ２５０は、図４を参照して説明されたところと実質的に同一でもある。スペクトルフィルタ２３２は、互いに異なる波長帯域の光をそれぞれ通過させるフィルタの集合でもある。スペクトルフィルタ２３２は、コリメーティングレンズ２２０から提供される蛍光ＯＬが、空間的に互いに異なる波長を有するように、フィルタリングすることができる。すなわち、スペクトルフィルタ２３２の互いに異なる領域を通過した蛍光の部分は、互いに異なる波長を有しうる。スペクトルフィルタ２３２によって分光された蛍光ＯＬは、集光レンズを経て、センサ２５０にも提供される。センサ２５０は、蛍光ＯＬにつき、スペクトル信号を生成することができる。センサ２５０は、スペクトル信号をプロセッサ１３０に提供することができる。

プロセッサ１３０は、スペクトル信号に基づき、対象体ＯＢＪの超分光イメージを生成することができる。プロセッサ１３０は、対象体ＯＢＪの超分光イメージを利用し、対象体ＯＢＪの状態を判別することもできる。

図６は、一実施形態によるイメージング装置が動作する過程について説明するための概要図である。

図６を参照すれば、イメージセンサ１２０は、フィルタアレイを利用し、対象体に係わるスペクトルデータ（または、スペクトル信号）を取得することができる。

イメージセンサ１２０によって取得されるスペクトルデータは、例えば、Ｎ＋１個の波長λ_１０，…，λ_１Nにおける光の強度に係わる情報を含むものでもある。イメージング装置１０のプロセッサ１３０は、取得されたスペクトルデータに対するイメージプロセッシング６２０を行うことができる。ここで、イメージプロセッシング６２０は、対象体に係わる超分光イメージ６３０を取得するためのイメージデータを処理することを意味しうる。さらには、イメージプロセッシング６２０は、入力スペクトルデータから、再構成（reconstructed）スペクトルデータを生成するためのスペクトル復元（spectrum reconstruction）プロセスを含むものでもある。

イメージセンサ１２０は、複数のピクセルを含むものでもある。複数のピクセルのそれぞれは、複数の波長帯域にそれぞれ対応するピクセルであるか、または複数の波長帯域にそれぞれ対応する複数のサブピクセルを含むものでもある。例えば、第１サブピクセルは、第１波長帯域の光を測定することができ、第２サブピクセルは、第１波長帯域と異なる第２波長帯域の光を測定することができる。

イメージセンサ１２０の解像度（例えば、空間（spatial）解像度または分光（spectral）解像度）を高めるためには、ピクセルサイズを小さく具現することが望ましいのである。しかしながら、イメージセンサ１２０のピクセルサイズが小さくなることにより、隣接ピクセル間においては、クロストーク（crosstalk）の影響が生じてしまう。そのために、適切な解像度のイメージングのためには、そのようなクロストークの影響を補正しなければならないのである。特に、超分光イメージングのためのイメージセンサ１２０においては、空間解像度と分光解像度とが反比例する関係にある。それにより、イメージセンサ１２０において、適切な空間解像度と分光解像度とを有する超分光イメージングを行うためには、クロストークの影響を補正するための方法が必須でもある。

図７は、一実施形態による、イメージセンサのスペクトルデータを処理して再構成スペクトルデータを生成する方法のフローチャートである。図７のスペクトルデータ処理方法は、前述のイメージング装置１０によって実行される方法である。

７０１段階において、プロセッサ１３０は、イメージセンサ１２０によって取得されたスペクトルデータの各チャネルに対応するスペクトル応答信号（spectrum response signalまたはspectrum response function）を取得する。

イメージセンサ１２０によって取得されたスペクトルデータは、波長別に区分された複数のチャネルのスペクトルデータ（または、スペクトル信号）を含むものでもあり、該スペクトルデータは、各チャネルに対応するスペクトル特性を示すスペクトル応答信号を含むものでもある。

具体的には、各チャネルのスペクトル応答信号は、以下のような数式１によっても表される。

数式１を参照すれば、ｆ（λ）、Ｉ（λ）、Ｄは、それぞれフィルタのスペクトル、入射する光のスペクトル、検出された光の強度に該当する。また、スペクトルデータのチャネルは、Ｌ個である。

各チャネルのスペクトル応答信号に係わる数式１を、行列形態で表せば、下記数式２のようにも表される。

７０２段階において、プロセッサ１３０は、スペクトル応答信号に対応する基底セット（basis set）を決定する。このとき、プロセッサ１３０は、主成分分析（ＰＣＡ：principal component analysis）アルゴリズムを利用することができる。具体的には、プロセッサ１３０は、主成分分析（ＰＣＡ）を利用し、各チャネルのスペクトル応答信号に係わる主成分（principal component）を取得し、取得された主成分に基づき、チャネルに係わる基底セットを決定することができる。

決定された基底セットには、スペクトルのチャネル個数と同等個数の基底が含まれるものでもある。他の例として、決定された基底セットには、スペクトルのチャネル個数より少ない個数の基底が含まれうる。基底の個数が多くなれば、分光解像度が高くなってしまうが、ノイズに敏感になるのである。一方、基底個数を少なくなれば、相対的にノイズに鈍感である代わりに、分光解像度が低くなってしまう。従って、イメージング装置の特性により、基底セットに含まれる基底個数を最適化させることにより、再構成スペクトルデータの性能が調整されうる。

７０３段階において、プロセッサ１３０は、決定された基底セットに基づき、チャネルのスペクトル応答信号に係わる基底変換を行う。各チャネルに対するスペクトル応答信号に係わる基底変換が行われることにより、各チャネルのスペクトル応答信号は、直交（orthogonal）特性を有することにもなる。それにより、各チャネル間のクロストーク影響が低減されうるので、その後に行われる疑似逆行列（pseudo inverse）を利用したスペクトル復元における誤差が低減されうる。

７０４段階において、プロセッサ１３０は、疑似逆行列を利用し、基底変換されたスペクトル応答信号から再構成されたスペクトルデータを生成する。すなわち、プロセッサ１３０は、イメージセンサ１２０によって取得されたスペクトルデータに対する基底変換、及び疑似逆行列を利用することにより、入力スペクトルデータから、クロストークの影響が補正された再構成スペクトルデータ（reconstructed spectrum data）を生成することができる。

図８は、一実施形態による、イメージセンサのスペクトルデータを処理して再構成スペクトルデータを生成する方法のフローチャートである。図８の方法は、図７の７０２段階ないし７０４段階にも適用される。

８０１段階において、プロセッサ１３０は、主成分分析（ＰＣＡ）アルゴリズムを利用し、各チャネルのスペクトル応答信号に係わる主成分を取得し、取得された主成分に基づき、チャネルのスペクトル応答信号に対応する基底（basis）を取得する。

８０２段階において、プロセッサ１３０は、取得された基底において、有意味（または、最適）な基底だけ選択して基底変換を行うために、以下のようなプロセッシング方式を遂行することができる。

具体的には、有意味な基底だけ選択するために、行列Ｆは、数式３のように、特異値分解（ＳＶＤ：singular value decomposition）によっても表される。

数式３を参照すれば、Σは、次元（dimension）の対角行列（diagonal matrix）であり、Ｕ，Ｖ^Ｔは、それぞれＮ×Ｎ，Ｌ×Ｌサイズのユニタリ行列（unitary matrix）であり、特異値分解（ＳＶＤ）は、任意の行列Ｆにつき、常時に可能である。

唯一の（unique）特異値分解（ＳＶＤ）を決定するために、普通行列Σの対角成分は、大きさが小さくなる順に配列され、該対角成分の値は、特異値（singular value）と定義することができる。

ユニタリ行列（Ｕ，Ｖ）に変換された基底において、スペクトル応答信号は、以下の数式４のように表現されうる。

なお、小さい特異値は、逆行列を取るとき、ノイズを増幅させうる。従って、小さい特異値を排除するために、所定サイズ以上を有するいくつかの特異値だけを利用することがさらに望ましいのである。それにより、ノイズを誘発しうる小さい特異値を除去するための切断行列（truncation matrix）が利用されうる。

下記数式５のような従来の主成分分析（ＰＣＡ）方式は、小さい特異値をいずれも０で代替し、それに該当する固有ベクトル（singular eigenvector）を除去する次元縮小（dimensional reduction）方式である。

しかしながら、本実施形態においては、従来の主成分分析（ＰＣＡ）（すなわち、数式５）を変形した数式６の切断行列を利用し、特異値を０と見なす代わりに、以前の最も小さい値で同一に代替し、次元縮小を行わない方式を活用する。それにより、従来の方式（すなわち、数式５）対比で、本実施形態の方式は、次元縮小によって損失される情報を最小化させることができる。

プロセッサ１３０は、前述のようなプロセッシング方式を遂行することにより、８０１段階で取得された基底において、既設定の臨界値以上を有すると判断されたいくつかの基底、及び当該基底の特異値を決定し、基底セットを決定することができる。

他の例として、プロセッサ１３０は、特異値が臨界値以下である基底が存在する場合、当該基底の特異値を臨界値で代替するか、あるいは臨界値以上の特異値のうち最低値で代替し、基底セットを決定することもできる。

すなわち、プロセッサ１３０は、取得されたスペクトル応答信号に対応する基底において、臨界値より小さい特異値を有する少なくとも１つの基底を決定し、決定された少なくとも１つの基底に係わる特異値を、所定特異値で代替することができる。従って、該基底セットは、所定特異値で代替された基底を含むものでもある。該所定特異値は、臨界値、または臨界値以上の他基底の特異値のうち最も小さい値でもある。

８０３段階において、プロセッサ１３０は、決定された基底セットに基づき、チャネルのスペクトル応答信号に係わる基底変換を行い、疑似逆行列を利用し、基底変換されたスペクトル応答信号から再構成されたスペクトルデータを生成する。すなわち、プロセッサ１３０は、イメージセンサ１２０によって取得されたスペクトルデータに対する基底変換、及び疑似逆行列を利用することにより、入力スペクトルデータからクロストークの影響が補正された再構成スペクトルデータを生成することができる。

プロセッサ１３０は、数式７のような疑似逆行列を利用し、入射する光のスペクトルＩ（λ）を取得することができる。

８０４段階において、プロセッサ１３０は、再構成スペクトルデータＤに基づき、超分光イメージデータを生成することができる。例えば、再構成スペクトルデータＤは、ＣＩＥ色空間（color space）のＸＹＺカラーマッチング関数（color matching function）である数式８を利用し、ＸＹＺ色空間の値にも変換される。

また、ＸＹＺ色空間の値は、数式９を利用し、ＲＧＢ色空間の値にも変換される。

プロセッサ１３０は、再構成スペクトルデータを、所定の色空間値に変換することにより、超分光イメージを構成するイメージピクセルデータを取得することができる。

すなわち、プロセッサ１３０は、イメージセンサ１２０によって取得された入力スペクトルデータの代わりに、再構成スペクトルデータに基づき、クロストークの影響が減少した超分光イメージデータを生成することにより、改善された解像度（例えば、空間解像度または分光解像度）を有するイメージングプロセッシングを行うことができる。

図９は、一実施形態による、再構成スペクトルデータの適用シミュレーション結果について説明するための図面である。

図９を参照すれば、本実施形態による、再構成されたスペクトルデータに係わるシミュレーション結果と、再構成方式が適用されていないスペクトルデータに係わるシミュレーション結果を比較するためのグラフが図示されている。

グラフ９０１，９０２、９０３は、マクベス（Macbeth）カラーチャート（color chart）のブルーパッチ（blue patch）、グリーンパッチ（green patch）及びレッドパッチ（red patch）を、蛍光灯照明下で測定した後、本実施形態による再構成されたスペクトルデータに係わるグラフである。測定されたスペクトルは、１５個のフィルタを透過した信号を、それぞれフィルタの中心波長について表現したものである。

グラフ９１１，９１２，９１３は、マクベスカラーチャートのブルーパッチ、グリーンパッチ及びレッドパッチを、蛍光灯照明下で測定したスペクトルデータに係わるグラフである。すなわち、グラフ９１１，９１２，９１３は、本実施形態による再構成方式が適用されていないスペクトルデータに基づくものである。同様に、測定されたスペクトルは、１５個のフィルタを透過した信号を、それぞれフィルタの中心波長について表現したのである。

グラフ９０１，９０２、９０３とグラフ９１１，９１２，９１３とを比較すれば、本実施形態による再構成スペクトルデータに基づくグラフは、レファレンススペクトル（ref：reference spectrum）に近いように測定されているので、クロストークの影響が低減されたということが分かる。

図１０は、一実施形態による、基底の個数が再構成スペクトルデータの性能に及ぼす影響について説明するための図面である。

図１０を参考すれば、グラフ１００１ないし１００６の図面参照番号順に、さらに多くの基底個数を利用して再構成されたスペクトルデータのシミュレーション結果を示す。グラフ１００１ないし１００６によれば、基底個数が多くなるほど、分光解像度が高くなりうるが、ノイズには、敏感になりうるという点が図示されている。一方、基底個数が少なくなるほど、ノイズには、鈍感になるが、分光解像度が低くなってしまうという点が図示されている。従って、イメージング装置の特性により、基底セットに含まれる基底個数を最適化させることにより、再構成スペクトルデータの性能が調整されうる。

図１１は、一実施形態による、基底の特異値による影響について説明するための図面である。

図１１を参考すれば、グラフ１１０１，１１０２，１１０３，１１０４それぞれは、総数１４個の基底において、最大サイズ、５番目サイズ、９番目サイズ、１３番目サイズを有する基底の特異値でもって臨界値を設定し、スペクトル再構成を行った結果を示すグラフである。

本来の特異値を維持している基底の個数が多いほど、分光解像度が高く維持されうるが、代わりに、ノイズに敏感になりうる。反対に、元来の特異値を維持している基底の個数が少なくなるほど、分光解像度が低くなりうるが、代わりに、ノイズによる歪曲が減りうる。

図１２は、一実施形態による、再構成スペクトルデータのＲＧＢ変換について説明するための図面である。

図１２を参考すれば、原本イメージ１２００につき、本実施形態による、再構成スペクトルデータからカラー変換されたＲＧＢイメージ１２０１と、再構成なしに、Ｒ，Ｇ，Ｂ波長に該当するチャネルを用いて表現されたＲＧＢイメージ１２０２と、が図示されている。比較すれば、本実施形態による、再構成スペクトルデータからカラー変換されたＲＧＢイメージ１２０１がＲＧＢ１２０２に比べ、さらに向上されたカラー表現が可能であるという点を知ることができる。

なお、前述の方法は、その方法を実行する命令語を含む１以上のプログラムが記録されたコンピュータで読み取り可能な非一時的（non-transitory）記録媒体にも記録される。該コンピュータで読み取り可能な可能記録媒体の例には、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）のような光記録媒体（optical media）；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）；及びＲＯＭ、ＲＡＭ、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置；が含まれる。該プログラム命令語の例には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行されうる高級言語コードを含む。

以上、本実施形態について詳細に説明したが、本開示の権利範囲は、それらに限定されるものではなく、請求の範囲で定義している本開示の基本概念を利用した当業者のさまざまな変形及び改良形態も、本開示の権利範囲に属するものである。

１０ イメージング装置
１１０，１１００ 光源
１２０，２００ａ，２００ｂ イメージセンサ
１３０ プロセッサ
２１０ スリット要素
２２０ コリメーティングレンズ
２３０ 分散要素
２３２ スペクトルフィルタ
２４０ 集光レンズ
２５０ センサ
１１４０ 経路調整要素
ＯＢＪ 対象体

Claims (13)

1. イメージセンサのスペクトルデータを処理する方法において、
   前記イメージセンサによって対象体から取得された光のスペクトルデータの波長別に区分されたチャネルに対応するスペクトル応答信号を取得する段階と、
   前記取得されたスペクトル応答信号に対応し、前記チャネルの個数以下の基底を含む基底セットを決定する段階と、
   前記決定された基底セットに基づき、前記チャネルの前記スペクトル応答信号に係わる基底変換を行う段階と、
   疑似逆行列を利用し、前記基底変換されたスペクトル応答信号から再構成されたスペクトルデータを生成する段階と、を含み、
   前記基底セットを決定する段階は、
   前記取得されたスペクトル応答信号に対応する基底のうち、臨界値より小さい特異値を有する少なくとも１つの基底を決定する段階と、
   前記決定された少なくとも１つの基底に係わる特異値を所定特異値で代替する段階と、をさらに含み、
   前記臨界値は、前記取得されたスペクトル応答信号に対応する基底のうちいずれか１つに対応し、
   前記基底セットは、前記所定特異値で代替された基底を含む、方法。
2. 前記基底セットを決定する段階は、
   主成分分析（ＰＣＡ）アルゴリズムを利用し、各チャネルのスペクトル応答信号に係わる主成分を取得することにより、前記基底セットを決定する、請求項１に記載の方法。
3. 前記所定特異値は、
   前記臨界値、または前記臨界値以上の他基底の特異値のうち最も小さい値である、請求項１に記載の方法。
4. 前記生成された再構成されたスペクトルデータに基づき、超分光イメージを生成する段階をさらに含む、請求項１に記載の方法。
5. 前記超分光イメージは、
   カラーマッチング関数を利用し、前記再構成されたスペクトルデータからカラー変換されたＲＧＢイメージを含む、請求項４に記載の方法。
6. 前記イメージセンサは、少なくとも３以上のチャネルのスペクトルデータを取得する、請求項１に記載の方法。
7. イメージセンサのスペクトルデータを処理する装置において、
   対象体に光を照射する光源と、
   前記対象体から取得された光のスペクトルデータの波長別に区分されたチャネルに対応するスペクトル応答信号を取得するイメージセンサと、
   前記取得されたスペクトル応答信号に対応し、前記チャネルの個数以下の基底を含む基底セットを決定し、前記決定された基底セットに基づき、前記チャネルの前記スペクトル応答信号に係わる基底変換を行い、疑似逆行列を利用し、前記基底変換されたスペクトル応答信号から再構成されたスペクトルデータを生成するプロセッサと、を含み、
   前記プロセッサは、
   前記取得されたスペクトル応答信号に対応する基底のうち、臨界値より小さい特異値を有する少なくとも１つの基底を決定し、
   前記決定された少なくとも１つの基底に係わる特異値を所定特異値で代替し、
   前記臨界値は、前記取得されたスペクトル応答信号に対応する基底のうちいずれか１つに対応し、
   前記基底セットは、前記所定特異値で代替された基底を含む、装置。
8. 前記基底セットは、
   主成分分析（ＰＣＡ）アルゴリズムを利用し、各チャネルのスペクトル応答信号に係わる主成分を取得することによって決定される、請求項７に記載の装置。
9. 前記所定特異値は、
   前記臨界値、または前記臨界値以上の他基底の特異値のうち最も小さい値である、請求項７に記載の装置。
10. 前記プロセッサは、
    前記生成された再構成されたスペクトルデータに基づき、超分光イメージを生成する、請求項７に記載の装置。
11. 前記超分光イメージは、
    カラーマッチング関数を利用し、前記再構成されたスペクトルデータからカラー変換されたＲＧＢイメージを含む、請求項１０に記載の装置。
12. 前記イメージセンサは、少なくとも３以上のチャネルのスペクトルデータを取得するマルチスペクトルイメージセンサである、請求項７に記載の装置。
13. 請求項１ないし６のうちいずれか１項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な、非一時的な記録媒体。