JP7623397B2 - 顕微鏡システムのためのおよび変換関数を決定するためのシステム、方法およびコンピュータプログラム - Google Patents

Description

本例は、顕微鏡システムのためのおよび変換関数を決定するためのシステム、方法およびコンピュータプログラム、ならびに対応する顕微鏡システムに関する。

外科医は、疑わしい組織（例えば病変など）を区別するために、組織（例えば脳組織など）の色を使用することがよくある。しかしながら、多くの場合、組織の微妙な色の違いは、長年の経験と訓練された眼力とを備えた外科医にしか見えず、その習得は困難である。マルチスペクトル反射率撮像では、非常に小さなスペクトル差の測定を用いて、非常に小さい色差、あるいは視認不能な色差さえも捕捉することができる。ただし、マルチスペクトル撮像の既知の概念については、最新の顕微鏡の複数のセンサに加えて、追加のハードウェアが必要になる場合がある。

異なるタイプの組織間の微妙な違いが見えるカラー画像を提供するための改善された概念の要望が存在し得る。

この要望は、独立請求項の主題によって解決される。

本開示の実施形態は、主に蛍光撮像を実行するために使用される撮像センサからの撮像センサデータと、主に反射撮像のために使用される撮像センサからの撮像センサデータと、を組み合わせることによって、マルチスペクトル撮像を行うことができるという、発見に基づいている。したがって、本開示の実施形態は、顕微鏡システムのためのシステムを提供する。本システムは、１つまたは複数のプロセッサと、１つまたは複数のストレージデバイスと、を含む。本システムは、顕微鏡システムの顕微鏡の第１の撮像センサからの第１の撮像センサデータと、顕微鏡の第２の撮像センサからの第２の撮像センサデータと、を取得するように構成されている。第１の撮像センサデータは、第１の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第２の撮像センサデータは、第２の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第１の複数の相互に分離された波長帯域または第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像のために使用される波長帯域である。本システムは、第１の撮像センサデータに基づきかつ第２の撮像センサデータに基づく合成カラー画像を生成するように構成されている。この合成カラー画像は、複数のカラーチャネルに基づくものである。この合成カラー画像は、撮像センサデータと合成カラー画像との間で実行される変換を定義する変換関数を使用して生成されており、それにより、この合成カラー画像は、第１および第２の複数の相互に分離された波長帯域の各波長帯域で感知された光に基づくセンサデータを使用して生成されている。

本開示の実施形態は、第１および第２の撮像センサを有するシステムおよび顕微鏡を含む顕微鏡システムをさらに提供する。第１および第２の撮像センサの一方は、顕微鏡システムの蛍光撮像機能を提供するように適合化された撮像センサである。

撮像センサデータの２つのセットの使用を通じて、より正確な変換関数をカラー画像の構築のために使用することができ、したがって、これは、異なるタイプの組織間の微妙な違いを示すことができる。同時に、蛍光撮像センサを反射率撮像のために再利用することは、顕微鏡システムに付加的なセンサを含ませる必要性を生じさせないアプローチの使用を可能にさせることができる。

さまざまな実施形態では、変換は、波長帯域で感知された光に基づく撮像センサデータと合成カラー画像のカラーチャネルとの間で実行される変換を各々定義する変換係数のセットに基づいている。例えば、変換係数のセットは、波長帯域の１つで測定された光の強度とカラーチャネルとの間で１対１の変換を提供する。

例えば、変換係数のセットは、波長帯域およびカラーチャネルの各組み合わせについて１つの変換係数を含むことができる。したがって、１対１の変換は、例えば行列の乗法を使用して適用されてもよい。換言すれば、変換係数のセットは、第１および第２の複数の相互に分離された波長帯域の各波長帯域の撮像センサデータと、合成カラー画像のカラーチャネルの各々と、の間の変換を提供することができる。

例えば、合成カラー画像は、３つのカラーチャネル（例えば、赤、緑および青）を含むことができる。これらのカラーチャネルの各々は、第１および第２の複数の相互に分離された波長帯域の各波長帯域の撮像センサデータの変換に基づいて生成されてよい。変換は、変換関数を使用して実行されてよい。これらのカラーチャネルの各々の波長帯域の各々の撮像センサデータを使用することにより、微妙な色の違いでさえも合成色画像に含まれる場合がある。

さまざまな実施形態では、変換関数は、変換行列によって実装されてよい。システムは、変換行列を使用して、第１および第２の複数の相互に分離された波長帯域の各波長帯域の撮像センサデータを変換するように構成されてよい。変換行列は、変換関数の計算による効率的な実装を提供する。

さまざまな実施形態では、システムは、ディスプレイに合成カラー画像を表示させるために、システムのインターフェースを使用して顕微鏡システムのディスプレイに表示信号を提供するように構成されている。したがって、合成カラー画像は、顕微鏡システムのユーザーに、例えば外科医に示されてよい。

本開示の実施形態は、変換関数を決定するためのシステムをさらに提供する。本システムは、１つまたは複数のプロセッサと、１つまたは複数のストレージデバイスと、を含む。本システムは、顕微鏡の第１の撮像センサからの基準対象物の第１の撮像センサデータと、顕微鏡の第２の撮像センサからの基準対象物の第２の撮像センサデータと、を取得するように構成されている。第１の撮像センサデータは、第１の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第２の撮像センサデータは、第２の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第１の複数の相互に分離された波長帯域または第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像に使用される波長帯域である。本システムは、基準対象物の合成基準画像を取得するように構成されている。この合成基準画像は、複数のカラーチャネルを含む。本システムは、第１および第２の複数の相互に分離された波長帯域の各波長帯域の撮像センサデータと、合成基準画像の各カラーチャネルと、の間の近似変換を提供する変換係数のセットを決定することによって変換関数を決定するように構成されている。この変換関数は、変換係数のセットに基づいている。撮像センサデータの２つのセットの使用を通じて、より正確な変換関数をカラー画像の構築のために使用することができ、したがって、これは、異なるタイプの組織間の微妙な違いを示すことができる。

いくつかの実施形態では、システムは、合成基準画像と、変換係数のセットに基づいて生成された変換画像と、の間の不一致が、少なくとも１つの他の変換係数のセットよりも低くなる変換係数のセットを識別するように構成されている。換言すれば、システムは、合成基準画像と変換画像との間の不一致を低減する変換係数を反復的に探索するように構成されてよい。

例えば、基準画像の合成基準画像は、基準対象物の複数の部分の複数のカラーを定めることができる。これらの複数のカラーは、予め定められた第１のサブセットカラーと、第２のサブセットカラーと、を含むことができる。システムは、合成基準画像と、変換係数のセットに基づいて生成された変換画像と、の間の不一致が、予め定められた第１のサブセットカラーについての少なくとも１つの他の変換係数のセットよりも低くなる変換係数のセットを識別するように構成されてよい。換言すれば、特に関心がもたれる可能性のある第１のサブセットカラーについての不一致を低減させる変換係数が識別されてもよい。例えば、予め定められた第１のサブセットカラーは、外科用設定における有機組織の色として存在するカラーであってよい。第１のサブセットカラーにおける、他の色よりも向上した鮮鋭さは、より有益になる可能性がある。

さまざまな実施形態では、システムは、少なくとも１つの他の変換係数のセットと比較して、合成基準画像間の不一致を表す不一致値を低減する変換係数のセットを識別するように構成されている。この不一致値は、複数のカラーの色について計算されてよい。予め定められた第１のサブセットカラーの色についての不一致は、不一致値上で、第２のサブセットカラーの色についての不一致よりも高い影響力を有することができる。したがって、第１のサブセットカラーは、変換係数の決定において、他の色よりも高い重み付けを受容することができる。

本開示の実施形態は、顕微鏡システムのための方法をさらに提供する。本方法は、顕微鏡システムの顕微鏡の第１の撮像センサからの第１の撮像センサデータと、顕微鏡の第２の撮像センサからの第２の撮像センサデータと、を取得するステップを含む。第１の撮像センサデータは、第１の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第２の撮像センサデータは、第２の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第１の複数の相互に分離された波長帯域または第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像のために使用される波長帯域である。本方法は、第１の撮像センサデータに基づきかつ第２の撮像センサデータに基づく合成カラー画像を生成するステップを含む。合成カラー画像は、複数のカラーチャネルに基づく。合成カラー画像は、撮像センサデータと合成カラー画像との間で実行される変換を定義する変換関数を使用して生成され、それにより、合成カラー画像は、第１および第２の複数の相互に分離された波長帯域の各波長帯域で感知された光に基づくセンサデータを使用して生成される。

本開示の実施形態は、変換関数を決定するための方法さらに提供する。本方法は、顕微鏡の第１の撮像センサからの基準対象物の第１の撮像センサデータと、顕微鏡の第２の撮像センサからの基準対象物の第２の撮像センサデータと、を取得するステップを含む。第１の撮像センサデータは、第１の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第２の撮像センサデータは、第２の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第１の複数の相互に分離された波長帯域または第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像のために使用される波長帯域である。本方法は、基準対象物の合成基準画像を取得するステップを含む。合成基準画像は、複数のカラーチャネルを含む。本方法は、第１および第２の複数の相互に分離された波長帯域の各波長帯域の撮像センサデータと、合成基準画像の各カラーチャネルと、の間の近似変換を提供する変換係数のセットを決定することによって変換関数を決定するステップを含む。変換関数は、変換係数のセットに基づいている。

本開示の実施形態は、コンピュータプログラムがプロセッサ上で実行されるときに、少なくとも１つの方法を実行するためのプログラムコードを有する、コンピュータプログラムをさらに提供する。

以下では、例示的にのみ、添付の図面を参照しながら装置および／または方法のいくつかの例を説明する。

顕微鏡システムのためのシステムを示す概略図である。 本システムを含んだ顕微鏡システムを示す概略図である。 顕微鏡システムのための方法を示すフローチャートである。 変換関数を決定するためのシステムを示す概略図である。 変換関数を決定するための方法を示すフローチャートである。 画像フレーム内に存在する異なるカラーを示す概略図である。 異なる周波数帯域で感知された異なるカラーの強度を示す概略図である。 異なる周波数帯域で感知された異なるカラーの強度を示す概略図である。 例示的な変換行列を示す図である。 顕微鏡および照光システムを示す概略図である。 例示的なカラーテーブルを示す概略図である。 例示的な方程式系を示す図である。 顕微鏡とコンピュータシステムとを含んだ顕微鏡システムを示す概略図である。

ここで、いくつかの例が示されている添付の図面を参照して、さまざまな例をより完全に説明する。これらの図面では、線、層および／または領域の厚さは、明確化のために誇張されている場合がある。

図１ａおよび図１ｂは、顕微鏡システム１００のためのシステム１１０および該システム１１０を含んだ顕微鏡システム１００の概略図を示す。このシステム１１０は、１つまたは複数のプロセッサ１１４と、１つまたは複数のストレージデバイス１１６と、を含む。任意選択的に、システムは、インターフェース１１２をさらに含む。１つまたは複数のプロセッサは、インターフェースに結合され、１つまたは複数のストレージデバイスに結合される。一般に、システムの機能は、１つまたは複数のプロセッサによって、例えば任意選択的なインターフェースまたは１つまたは複数のストレージデバイスに関連して提供される。例えば、システムは、インターフェースを介して撮像センサデータを取得し、かつ／または１つまたは複数のストレージデバイスを使用して変換関数の変換係数を記憶するように構成されてよい。

システムは、顕微鏡システムの顕微鏡１２０の第１の撮像センサ１２２からの第１の撮像センサデータと、顕微鏡の第２の撮像センサ１２４からの第２の撮像センサデータと、を取得するように構成されている。第１の撮像センサデータは、第１の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第２の撮像センサデータは、第２の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第１の複数の相互に分離された波長帯域または第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像のために使用される波長帯域である。システムは、第１の撮像センサデータに基づきかつ第２の撮像センサデータに基づく合成カラー画像を生成するように構成されている。この合成カラー画像は、複数のカラーチャネルに基づいている。合成カラー画像は、撮像センサデータと合成カラー画像との間で実行される変換を定義する変換関数を使用して生成され、それにより、合成カラー画像は、第１および第２の複数の相互に分離された波長帯域の各波長帯域で感知された光に基づくセンサデータを使用して生成される。

図１ｂは、顕微鏡１２０およびシステム１１０を含む顕微鏡システムのブロック図を示す。図１ｂに示されている顕微鏡システムは、外科医によって手術部位で使用されてよい外科用顕微鏡システムである。この図１ｂに示されている外科用顕微鏡システムは、（回転）スタンドを有するベースユニット１０５（システム１１０を含む）、補助ディスプレイ１４０ａ、照光システム１３０、顕微鏡１２０を適所に保持し、ベースユニット１０５および顕微鏡１２０に結合された（ロボット式または手動式）アーム１６０、ならびに顕微鏡１２０に取り付けられたステアリングハンドル１５０などの複数の任意選択的なコンポーネントを含む。第１および第２の撮像センサ１２２；１２４に加えて、顕微鏡１２０は、任意選択的な接眼ディスプレイ１４０ｂおよび任意選択的な補助ディスプレイを含むことができる。本出願の文脈において、実際の顕微鏡（光学部品を含む）の一部ではないが、ディスプレイや照光システムなど顕微鏡に関連して使用されるシステムの部分をカバーするために、「（手術用）顕微鏡システム」という用語が使用される。第１および第２の撮像センサの一方は、顕微鏡システムの蛍光撮像機能を提供するように適合化された撮像センサである。

本開示のさまざまな実施形態は、顕微鏡システムのためのシステム、方法およびコンピュータプログラムに関する。一般に、顕微鏡は、肉眼（単独）によって検査されるには小さすぎる対象物の検査に適した光学機器である。例えば、顕微鏡は、対象物の光学倍率を提供することができる。最新の顕微鏡では、光学倍率は、多くの場合、カメラまたは図１ａの顕微鏡１２０の第１および第２の撮像センサ１２２；１２４などの撮像センサのために提供される。顕微鏡１２０は、サンプル上の視野を拡大するために使用される１つまたは複数の光学的拡大コンポーネントをさらに含むことができる。

顕微鏡にはさまざまなタイプがある。顕微鏡システムが医学的または生物学的分野で使用される場合、顕微鏡を通して視認される対象物は、例えばシャーレ内に配置されるかまたは患者の身体の一部内に存在する有機組織のサンプルであってよい。例えば、顕微鏡システム１００は、例えばシャーレ内の有機組織のサンプルを検査するために使用される顕微鏡など実験室で使用するための顕微鏡システムであってもよい。代替的に、顕微鏡１２０は、例えば手術手順の間に使用される顕微鏡など外科用顕微鏡システム１００の一部であってもよい。そのようなシステムは、例えば、図１ｂに示されている。複数の実施形態が顕微鏡システムに関連して説明されているが、それらもより一般的な手法で任意の光学デバイスに適用されてよい。

システムは、顕微鏡の第１および第２の撮像センサ１２２；１２４から第１および第２の撮像センサデータを取得するように構成されている。例えば、第１および第２の撮像センサ１２２；１２４は、ＡＰＳ（Active Pixel Sensor）またはＣＣＤ（Charge-Coupled-Device）ベースの撮像センサを含み得るか、またはそれらであってよい。例えば、ＡＰＳベースの撮像センサでは、ピクセルの光検出器とアクティブアンプとを使用して各ピクセルで光が記録される。ＡＰＳベースの撮像センサは、多くの場合、ＣＭＯＳ（相補型金属酸化物半導体）またはＳ－ＣＭＯＳ（科学的ＣＭＯＳ）技術に基づいている。ＣＣＤベースの撮像センサでは、入射光子が、半導体－酸化膜界面で電子電荷に変換され、これらの電子電荷は、その後、撮像実行のために、撮像センサモジュールの制御回路によって撮像センサモジュール内の容量性ビン間で移動される。第１および第２の撮像センサデータは、（例えばインターフェース１１２を介して）撮像センサから各撮像センサデータを受信することによって、（例えばインターフェース１１２を介して）各撮像センサのメモリから各撮像センサデータを読み出すことによって、あるいは例えば、撮像センサデータが、各撮像センサによって、または別のシステムもしくはプロセッサによってストレージデバイス１１６に書き込まれた後で、システム１１０のストレージデバイス１１６から各撮像センサデータを読み出すことによって、取得されてよい。

第１の撮像センサデータは第１の撮像センサから取得され、第２の撮像センサデータは第２の撮像センサから取得される。換言すれば、第１の撮像センサデータおよび第２の撮像センサデータは、異なるセンサから取得される。したがって、第１の撮像センサは、第２の撮像センサとは異なる。

さまざまな実施形態では、既に指摘したように、撮像センサの一方が蛍光撮像のために使用される典型的なセンサであってよい。例えば、蛍光撮像が使用されない場合、各撮像センサは、例えば合成カラー画像の色精度を向上させるべく付加的なセンサデータを提供するために使用されてよい。実施形態は、蛍光顕微鏡検査用に装備された外科用顕微鏡が、２つの撮像システムを有している事実、すなわち、視覚的（反射率）画像を生成するための既知の応答帯域（例えば第１の複数の相互に分離された波長帯域）を備えた一方の撮像システム（これは従来のＲＧＢカメラであり得る）と、特に定義された波長帯域（例えば、フルオレセイン、ＰＰＩＸ（プロトポルフィリンＩＸ）、ＩＣＧ（インドシアニングリーン）それぞれについて約５６０ｎｍ、６３０ｎｍ、８００ｎｍの第２の複数の相互に分離された波長帯域）を備えた蛍光撮像システムとも有している事実を利用することができる。例えば、第２の撮像センサは、顕微鏡システムの蛍光撮像機能を提供するように適合化されてよい。例えば、システムは、顕微鏡１２０の第１の動作状態では、反射率撮像のために第１の光学撮像センサを使用し、顕微鏡１２０の第２の動作状態では、蛍光撮像のために第２の光学撮像センサを使用するように構成されてよく、システムは、合成カラー画像を生成することで、反射率撮像の実行のために第１および第２の撮像センサを使用するように構成されてよい。換言すれば、合成カラー画像は、反射率画像であってもよく、すなわち、蛍光撮像に基づくものでなくてもよい。したがって、第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像のために使用される波長帯域（すなわち、蛍光撮像に使用される放出波長帯域）であってよい。したがって、第１の複数の相互に分離された波長帯域の波長帯域は、反射率撮像のために使用される波長帯域、すなわち可視カラースペクトル全体にわたる波長帯域であってよい。しかしながら、いくつかの実施形態では、第１の複数の相互に分離された波長帯域は、蛍光撮像に使用されている波長帯域を除外することができる。したがって、第１の複数の相互に分離された波長帯域および第２の複数の相互に分離された波長帯域の波長帯域は、相互に重ならなくてすむ。換言すれば、波長帯域は、第１の複数の相互に分離された波長帯域または第２の複数の相互に分離された波長帯域のいずれかによってカバーされてよい。さまざまな実施形態では、第１および第２の複数の相互に分離された波長帯域の両方が正確に３つの（連続した）波長帯域を含む。

一般に、顕微鏡システムは、顕微鏡を通して視認されるサンプルを照明するように構成された照光システム（すなわち照明システム）を含むことができる。実施形態では、照光システムは、照明システムを使用して実行される反射率撮像および蛍光撮像を支援するために使用されてよい。反射率画像である合成カラー画像を生成するために、サンプルは、第１および第２の複数の相互に独立した波長帯域の各々で照明されてよい。したがって、システムは、（例えば第２の動作状態において）サンプルが第１および第２の複数の相互に独立した波長帯域の各々で照明されるように照光システムを制御するように構成されてよい。蛍光撮像が（反射率撮像に加えて）実行される場合、システムは、サンプルが第１の複数の相互に分離された波長帯域の各々で照明されるように（そして第２の複数の相互に分離された波長帯域の波長帯域では照明されないように）、ならびに（第１の複数の相互に分離された波長帯域にまだ含まれていない場合）、サンプルのために使用される蛍光物質の１つまたは複数の励起波長帯域で照明されるように、照光システムを制御するように構成されてもよい。顕微鏡システムでは、放出波長帯域からの光は、照明光から（論理的に）除去されてよく、蛍光カメラにだけ向けられてもよい。システムが顕微鏡検査のために使用されない場合、ＮＩＲＩＣＧ（近赤外線インドシアニングリーン）帯域を含めた蛍光放出帯域または各蛍光放出帯域の反射率撮像からの付加的情報は、より正確な再構成カラー画像の提供のために使用することができる。したがって、照光システムは、放出波長帯域で部位／サンプルを照明するためにシステム１１０によって動作されてよい。

一般に、照光システムによる照明の放出および撮像センサによって感知される波長帯域の両方は、センサまたは照光システムの光路内に取り付けられているフィルタ（例えば、図６のフィルタ６２０～６４０参照）によって定義されてよい。例えば、第１の撮像センサの光路内に取り付けられたフィルタは、第１の複数の相互に分離された波長帯域外の波長帯域の光をフィルタで除去するように適合化されたバンドパスフィルタであってよく、例えば、それにより、第１の複数の相互に分離された波長帯域内の波長を有する光（のみ）が、第１の撮像センサに入射する。したがって、第２の撮像センサの光路内に取り付けられたフィルタは、第２の複数の相互に分離された波長帯域外の波長帯域の光をフィルタで除去するように適合化されたバンドパスフィルタであってよく、例えば、それにより、第２の複数の相互に分離された波長帯域内の波長を有する光（のみ）が、第２の撮像センサに入射する。照光システムの光路内に取り付けられたフィルタは、第１および第２の複数の相互に分離された波長帯域の全ての光を通過させるように適合化されてよい。

さまざまな実施形態において、図１ａおよび／または図１ｂに示されているように、ビームスプリッタ１２６は、サンプルによって反射または放出された光を第１および第２の撮像センサに向けるために使用されている。例えば、ビームスプリッタは、所与の波長の光が第１の撮像センサまたは第２の撮像センサのいずれかに向けられるように光を分割するように構成されたポリクロイックミラーであってよい。例えば、ポリクロイックミラーは、第１の複数の相互に分離された波長帯域内の波長を有する光（のみ）を第１の撮像センサに向け、第２の複数の相互に分離された波長帯域内の波長を有する光（のみ）を第２の撮像センサに向けるように適合化されてよい。

システムは、第１および第２の撮像センサデータに基づいて合成カラー画像を生成するように構成されている。換言すれば、システムは、２つの撮像センサによって提供される撮像センサデータに基づいてカラー画像を生成するように構成されている。したがって、合成カラー画像は、２つの異なる撮像センサによって提供される撮像センサに基づいて生成されたカラー画像である。例えば、合成カラー画像は、２つの撮像センサからの撮像センサデータを使用することによって生成されるマルチスペクトルカラー画像であってもよく、各センサの撮像センサデータは、複数の相互に分離された波長帯域の光を表す。その結果、合成されたカラー画像は、複数の相互に分離された波長帯域で感知された光に基づいて生成されたマルチスペクトルカラー画像であり、複数の相互に分離された波長帯域は、２つの異なる撮像センサに感知される（例えば、一方は反射率撮像のために使用され、もう一方は反射率および蛍光撮像のために使用される）。例えば、合成カラー画像は、合成カラー画像の色精度を向上させるために、第１および第２の撮像センサデータに基づいて生成されてよい。

合成カラー画像は、撮像センサデータと合成カラー画像との間で実行される変換を定義する変換関数を使用して生成される。他のアプローチとは対照的に、変換関数は、第１および第２の複数の相互に分離された波長帯域の各波長帯域で感知された光に基づくセンサデータを使用して合成カラー画像が生成されるように構成されている。換言すれば、第１および第２の複数の相互に分離された波長帯域の全てで感知された光は、例えば、向上された色精度を有する合成カラー画像を取得すべく合成カラー画像を生成するために組み合わされてよい。一般に、変換関数は、一方の第１および第２の撮像センサデータと、他方の合成カラー画像と、の間の変換のために使用される命令のセットと見なしてよい。

一般に、第１および第２の撮像センサデータは、それぞれ、各撮像センサの複数のセンサピクセルによって生成される複数のピクセルを含むことができる（例えばデモザイク後）。各撮像センサデータは、複数のピクセルの各ピクセルについて、複数の変調された波長帯域で感知された光を波長帯域によって表す複数の数値を含むことができる。例えば、光が第１および／または第２の撮像センサによって３つの相互に分離された波長帯域で感知される場合、第１および／または第２の撮像センサデータは、３つの相互に分離された波長帯域で感知された光を表すピクセルごとに３つの数値を（それぞれ）含むことができる。第１および第２の撮像センサデータの複数のピクセルは、予め定められた関係であってよい。理想的には、２つの撮像センサの複数のピクセルは、第１の撮像センサデータの各ピクセルが第２の撮像センサデータの対応するピクセルとしてサンプル上の同じ点を表すように生成されてよい。

複数のピクセルの各ピクセルについて、システムは、第１の撮像センサデータのピクセルの数値および第２の撮像センサデータの対応するピクセルの数値を変換関数に入力し、合成カラー画像の複数のカラーチャネル内のピクセルを表す数値を計算するように構成されてよい。例えば、第１および第２の複数の相互に分離された波長帯域の両方が３つの波長帯域を含む場合（全部で６つの波長帯域、したがって、６つの波長帯域内の光を表す全部で６つの数値について）、ならびに合成されたカラー画像が３つのカラーチャネル（例えば赤、緑および青）に基づいている場合、変換関数は、撮像センサデータと合成カラー画像のチャネルとの間で実行される全部で１８（６×３）の変換を指定することができる。これらの変換は、第１および第２の撮像センサデータの個々のピクセルの数値で乗算することができる乗算係数として定義されてよい。したがって、変換関数は、ある波長帯域で感知された光に基づく撮像センサデータと、合成カラー画像のカラーチャネル（例えば３つのカラーチャネルの１つ）と、の間（すなわち、ピクセルの複数の数値の１つとの間）で実行される変換を各々定義する変換係数のセットに基づいてよい。上記の例では、変換係数のセットは、１８個の変換係数を含むことができる。換言すれば、変換係数のセットは、波長帯域（すなわち波長帯域で感知された光を表すピクセルの数値）とカラーチャネル（すなわちピクセルについてのカラーチャネルの数値）との各組み合わせに対して１つの変換係数を含むことができる。例えば、変換係数のセットは、第１および第２の複数の相互に分離された波長帯域の各波長帯域の撮像センサデータと合成カラー画像の各カラーチャネルとの間の変換を提供することができる。変換関数、したがって変換係数のセットは、第１および第２の撮像センサデータの各ピクセルに（別個に）適用されてよい。

性能を改善するために、変換関数は、第１および第２の撮像センサデータを含むベクトルで乗算できる行列として定義されてよい。換言すれば、変換関数は、変換行列によって実装されてよい。変換行列のエントリは、変換係数のセットによって定義されてよい。システムは、変換行列を使用して、第１および第２の複数の相互に分離された波長帯域の各波長帯域の撮像センサデータを変換するように構成されてよい。例えば、図５ｄには、変換行列の例が示されている。

既に指摘したように、合成カラー画像は、３つのカラーチャネル、例えば赤チャネル、青チャネルおよび緑チャネル（ＲＧＢ）を含むことができる。ＲＧＢは、カラー画像、例えばディスプレイ上に表示されるカラー画像を表すために頻繁に使用されるチャネルモデルである。合成カラー画像の各カラーチャネルは、第１および第２の複数の相互に分離された波長帯域の各波長帯域の撮像センサデータの変換に基づいて生成されてよい。換言すれば、第１および第２の複数の相互に分離された波長帯域の各々の数値は、各カラーチャネルの数値を計算するために使用されてよい。変換は、例えば上記に示されているように変換関数を使用して実行されてよい。

さまざまな実施形態では、システムは、ディスプレイに合成カラー画像を表示させるために、システム１１０のインターフェース１１２を使用して顕微鏡システムのディスプレイ１４０に表示信号を提供するように構成されている。換言すれば、合成カラー画像は、顕微鏡システムのディスプレイ上、例えば顕微鏡システムの接眼ディスプレイ上または顕微鏡システムの補助ディスプレイ上に表示させてよい。

インターフェース１１２は、モジュール内、モジュール間、または異なるエンティティのモジュール間で特定されたコードに従ったデジタル（ビット）値であってよい情報を受信および／または送信するための１つまたは複数の入力側および／または出力側に対応することができる。例えば、インターフェース１１２は、情報を受信および／または送信するように構成されたインターフェース回路を含むことができる。実施形態では、１つまたは複数のプロセッサ１１４が、１つまたは複数の処理ユニット、１つまたは複数の処理デバイス、プロセッサなどの処理のための任意の手段、コンピュータ、または相応に適合化されたソフトウェアを用いて動作するプログラマブルハードウェアコンポーネントを使用して実装されてよい。換言すれば、１つまたは複数のプロセッサ１１４の説明された機能は、同様に、ソフトウェアで実装されてよく、このソフトウェアは、次いで、１つまたは複数のプログラマブルハードウェアコンポーネント上で実行される。そのようなハードウェアコンポーネントは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラなどを含むことができる。少なくともいくつかの実施形態では、１つまたは複数のストレージデバイス１１６は、例えば、磁気的または光学的記憶媒体、例えばハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、またはネットワークストレージなどのコンピュータ可読記憶媒体のグループの少なくとも１つの要素を含むことができる。

システムおよび顕微鏡システムのさらなる詳細および態様は、提案された概念または上記もしくは下記で説明される１つまたは複数の例に関連して言及されている（例えば、図２～図８）。システムおよび顕微鏡システムのシステムは、提案された概念の１つまたは複数の態様、または上記もしくは下記で説明される１つまたは複数の例に対応する１つまたは複数の付加的な任意選択的機能を含むことができる。

図２は、顕微鏡システムのための対応する方法の一実施形態のフローチャートを示す。本方法は、顕微鏡システムの顕微鏡の第１の撮像センサからの第１の撮像センサデータと、顕微鏡の第２の撮像センサからの第２の撮像センサデータと、を取得するステップ２１０を含む。第１の撮像センサデータは、第１の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第２の撮像センサデータは、第２の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第１の複数の相互に分離された波長帯域または第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像のために使用される波長帯域である。本方法は、第１の撮像センサデータに基づきかつ第２の撮像センサデータに基づく合成カラー画像を生成するステップ２２０を含む。合成カラー画像は、複数のカラーチャネルに基づく。合成カラー画像は、撮像センサデータと合成カラー画像との間で実行される変換を定義する変換関数を使用して生成され、それにより、合成カラー画像は、第１および第２の複数の相互に分離された波長帯域の各波長帯域で感知された光に基づくセンサデータを使用して生成される。

上記で示されているように、図１ａおよび／または図１ｂのシステム１１０および顕微鏡システム１００に関連して説明された特徴は、同様に図２の方法に適用されてもよい。

本方法のさらなる詳細および態様は、提案された概念または上記もしくは下記で説明される１つまたは複数の例に関連して言及されている（例えば、図１ａ～図１ｂ、図３～図８）。本方法は、提案された概念の１つまたは複数の態様、または上記もしくは下記で説明される１つまたは複数の例に対応する１つまたは複数の付加的な任意選択的機能を含むことができる。

図１ａ～図２は、合成カラー画像の生成における変換関数の適用に関するものであるが、以下の図３および図４は、変換関数の生成に関するものである。したがって、図１ａ～図２で使用される変換関数は、図３または図４で提示されるシステム、方法および／またはコンピュータプログラムを使用して生成されてよい。

図３は、変換関数を決定するためのシステムの概略図を示す。システム３１０は、１つまたは複数のプロセッサ３１４と、１つまたは複数のストレージデバイス３１６と、を含む。任意選択的に、システムは、インターフェース３１２をさらに含む。１つまたは複数のプロセッサは、インターフェースに結合され、１つまたは複数のストレージデバイスに結合される。一般に、システムの機能は、１つまたは複数のプロセッサによって、例えば任意選択的なインターフェースまたは１つまたは複数のストレージデバイスに関連して提供される。例えば、システムは、インターフェースを介して撮像センサデータを取得し、かつ／または１つまたは複数のストレージデバイスを使用して変換関数の変換係数および／または合成基準画像を記憶するように構成されてよい。

システムは、顕微鏡１２０の第１の撮像センサ１２２からの基準対象物３００の第１の撮像センサデータと、顕微鏡の第２の撮像センサ１２４からの基準対象物の第２の撮像センサデータと、を取得するように構成されている。第１の撮像センサデータは、第１の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含み、第２の撮像センサデータは、第２の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第１の複数の相互に分離された波長帯域または第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像のために使用される波長帯域である。システムは、基準対象物の合成基準画像を取得するように構成されている。合成基準画像は、複数のカラーチャネルを含む。システムは、第１および第２の複数の相互に分離された波長帯域の各波長帯域の撮像センサデータと、合成基準画像の各カラーチャネルと、の間の近似変換（すなわち、生成された合成カラー画像と合成基準画像との間の不一致が、別の変換係数のセットを使用してもたらされる不一致よりも小さいか、または閾値よりも小さくなる変換）を提供する変換係数のセットを決定することによって変換関数を決定するように構成されている。この変換関数は、変換係数のセットに基づいている。

例えば、図３のシステムは、図１ａおよび／または図１ｂのシステム１１０と同様に例えば同じシステムによって実装されてよい。したがって、システム１１０および／またはシステム３１０は、それぞれの他のシステム３１０；１１０の機能性を提供するように構成されてよい。したがって、顕微鏡１２０は、図１ａおよび／または図１ｂの顕微鏡システム１００の顕微鏡１２０であってよい。したがって、第１および第２の撮像センサデータはまた、図１ａおよび／または図１ｂの第１および第２の撮像センサデータと同様に実装されてもよい。さらに、変換関数は、図１ａ～図２の変換関数と同様に実装されてよい。

本開示のいくつかの実施形態は、変換関数を決定するためのシステム、方法およびコンピュータプログラムに関する。図１ａ～図２に関連して既に指摘したように、変換関数は、撮像センサデータと、撮像センサデータに基づく合成カラー画像と、の間で実行される変換を定義する。一般に、変換関数は、一方の第１および第２の撮像センサデータと、他方の合成カラー画像と、の間の変換のために使用される命令のセットと見なしてよい。図３および図４に関連して示される実施形態は、合成基準画像を使用し、２つの撮像センサによって提供される撮像センサデータを使用して、そのような変換関数を生成するためのアプローチを提供する。

一般に、合成基準画像は、図１ａおよび／または図１ｂに関連して導入された合成カラー画像と同様に実施されてもよく、それはカラー画像であり、複数のカラーチャネルに基づいている（例えば、３つのカラーチャネル－赤、緑、青）。合成基準画像は、個々のピクセルのカラーチャネルを表す数値が基準値、すなわち、基準対象物を示す第１および第２の撮像センサデータに適用されるときに決定される変換関数が提供される数値を定義する値であるという点で、合成カラー画像とは異なってもよい。換言すれば、第１および第２の撮像センサデータは基準対象物を示し、基準合成画像は、第１および第２の撮像センサデータに適用される変換関数の所望の結果である合成カラー画像を示す。好適には、合成基準画像は、個々のピクセルのカラーチャネルを表す対応する予め定められた数値を有する複数の予め定められたカラーを含む。例えば、基準対象物は、カラーチャートまたはカラーテーブル、すなわち合成基準画像の複数のチャネルにおいて各々が所定の表現を有する複数のカラーを示すテーブルであってよい。基準対象物のカラーは、合成基準画像から既知であるので、システムは、撮像センサデータに適用される変換関数の所望の結果として合成基準画像を使用することができる。したがって、システムは、合成カラー画像と合成基準画像との間の差が減少するように、撮像センサデータと合成カラー画像との間で実行される変換を定義する変換係数のセットを識別するように構成されてよい。他のシステムとは対照的に、変換係数のセットは、両方の撮像センサの撮像センサデータについて識別され、したがって、例えば、合成カラー画像と合成基準画像との間の差が他の変換係数のセットと比較して減少するような、例えば、第１の撮像センサデータと合成カラー画像との間の変換を提供するための変換係数の第１のサブセットおよび第１の撮像センサデータと合成カラー画像との間の変換を提供するための変換係数の第２のサブセットが、２倍を超える変換係数となる可能性を有している。換言すれば、システムは、合成基準画像と、変換係数のセットに基づいて生成される変換画像（すなわち合成カラー画像）と、の間の不一致（すなわち差分）が、少なくとも１つの他の変換係数のセットよりも低くなる変換係数のセットを識別するように構成されてよい。例えば、システムは、第１および第２の撮像センサデータと合成基準画像とを使用して方程式のセットを定義し、第１および第２の撮像センサデータと合成基準画像との間の変換を提供する潜在的な変換係数のセットについての方程式のセットを解くことによって、変換係数のセットを決定するように構成されてよい。これは、複数の異なるカラーについて、例えば、基準対象物の複数のカラーについて実行されてよい。

例えば、基準対象物は、複数の予め定められたカラー（例えばカラーテーブル）を含むことができ、合成カラー画像は、複数の予め定められたカラーを表す複数の部分を含むことができる。換言すれば、基準画像の合成基準画像は、基準対象物の複数の部分の複数のカラー、例えばカラーテーブルの複数の予め定められたカラーを定義することができる。システムは、複数の（予め定められた）カラーに対する変換係数のセットを決定するように構成されてよく、すなわち複数のカラーの各々について、合成基準画像の複数のチャネルによって表されるようなものとして（予め定められたカラーを）表現する部分の第１および第２の撮像センサデータと、予め定められたカラーと、の間の近似変換を提供する変換係数のセットを識別することによって、複数の（予め定められた）カラーに対する変換係数のセットを決定するように構成されてよい。

外科用顕微鏡としての適用では、いくつかのカラーが外科医にとってより有用な場合がある。例えば、いくつかのカラーは病的な組織を示している可能性があるが、病的な組織の色と健康な組織の色との違いが小さい場合もある。いくつかの実施形態では、これらのカラーは、変換係数のセットの決定において優先度を伴って扱われてよい。例えば、複数の（予め定められた）カラーは、予め定められた第１のサブセットカラーおよび第２のサブセットカラーを含むことができる。例えば、予め定められた第１のサブセットカラーは、顕微鏡の特定の用途にとって重要であるものとして予め定められたカラーであってよい。第２のサブセットカラーは、他のカラー、すなわち顕微鏡の特定の用途にとって重要でないカラーであってよい。例えば、予め定められた第１のサブセットカラーは、外科用設定における有機組織の色として存在するカラー、例えば、健康な組織または病的な組織を示す色であってよい。第２サブセットカラーの色は、健康な組織または病的な組織の識別において関連性の薄い色であってよい。したがって、システムは、合成基準画像と、変換係数のセットに基づいて生成された変換画像と、の間の不一致が、予め定められた第１のサブセットカラーについての少なくとも１つの他の変換係数のセットよりも低くなる変換係数のセットを識別するように構成されてよい。いくつかの実施形態では、第２のサブセットカラーは、変換係数のセットの識別において考慮されない場合がある。しかしながら、いくつかの他の実施形態では、予め定められた第１のサブセットカラーよりも低い優先度または重み付けを伴わせるものではあるが、第２のサブセットカラーが考慮される場合がある。換言すれば、システムは、少なくとも１つの他の変換係数のセットと比較して、合成基準画像間の不一致を表す不一致値を低減する変換係数のセットを識別するように構成されてよい。この不一致値は、複数のカラーの色について計算されてよい。予め定められた第１のサブセットカラーの色についての不一致は、不一致値上で、第２のサブセットカラーの色についての不一致よりも高い影響力を有することができる。換言すれば、予め定められた第１のサブセットカラーの色についての不一致は、変換係数のセットの識別において、予め定められた第２のサブセットの色についての不一致よりも高い重み付けを受容することができる。

本開示の実施形態は、システム３１０（および任意選択的に、システムが別個に実施される場合にはシステム１１０）と、第１および第２の撮像センサの１２２，１２４を有する顕微鏡１２０と、を含む顕微鏡システム１００（これは図１ａおよび／または図１ｂの顕微鏡システムと同様に実施されてよい）をさらに提供する。第１および第２の撮像センサの一方は、顕微鏡システムの蛍光撮像機能を提供するように適合化された撮像センサであってよい。

インターフェース３１２は、モジュール内、モジュール間、または異なるエンティティのモジュール間で特定されたコードに従ったデジタル（ビット）値であってよい情報を受信および／または送信するための１つまたは複数の入力側および／または出力側に対応することができる。例えば、インターフェース３１２は、情報を受信および／または送信するように構成されたインターフェース回路を含むことができる。実施形態では、１つまたは複数のプロセッサ３１４が、１つまたは複数の処理ユニット、１つまたは複数の処理デバイス、プロセッサなどの処理のための任意の手段、コンピュータ、または相応に適合化されたソフトウェアを用いて動作するプログラマブルハードウェアコンポーネントを使用して実装されてよい。換言すれば、１つまたは複数のプロセッサ３１４の説明された機能は、同様に、ソフトウェアで実装されてよく、このソフトウェアは、次いで、１つまたは複数のプログラマブルハードウェアコンポーネント上で実行される。そのようなハードウェアコンポーネントは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラなどを含むことができる。少なくともいくつかの実施形態では、１つまたは複数のストレージデバイス３１６は、例えば、磁気的または光学的記憶媒体、例えばハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、またはネットワークストレージなどのコンピュータ可読記憶媒体のグループの少なくとも１つの要素を含むことができる。

システムおよび顕微鏡システムのさらなる詳細および態様は、提案された概念または上記もしくは下記で説明される１つまたは複数の例に関連して言及されている（例えば、図１ａ～図２、図４～図８）。システムおよび顕微鏡システムのシステムは、提案された概念の１つまたは複数の態様、または上記もしくは下記で説明される１つまたは複数の例に対応する１つまたは複数の付加的な任意選択的機能を含むことができる。

図４は、変換関数を決定するための方法の一実施形態のフローチャートを示す。本方法は、顕微鏡の第１の撮像センサからの基準対象物の第１の撮像センサデータと、顕微鏡の第２の撮像センサからの基準対象物の第２の撮像センサデータと、を取得するステップ４１０を含む。第１の撮像センサデータは、第１の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第２の撮像センサデータは、第２の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含む。第１の複数の相互に分離された波長帯域または第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像のために使用される波長帯域である。本方法は、基準対象物の合成基準画像を取得するステップ４２０を含み、合成基準画像は、複数のカラーチャネルを含む。本方法は、第１および第２の複数の相互に分離された波長帯域の各波長帯域の撮像センサデータと、合成基準画像の各カラーチャネルと、の間の近似変換を提供する変換係数のセットを決定することによって変換関数を決定するステップ４３０を含む。変換関数は、変換係数のセットに基づいている。

上記で示されているように、図３のシステム３１０に関連して説明された特徴は、同様に図４の方法に適用されてもよい。

本方法のさらなる詳細および態様は、提案された概念または上記もしくは下記で説明される１つまたは複数の例に関連して言及されている（例えば、図１ａ～図３、図５ａ～図８）。本方法は、提案された概念の１つまたは複数の態様、または上記もしくは下記で説明される１つまたは複数の例に対応する１つまたは複数の付加的な任意選択的機能を含むことができる。

本開示のさまざまな実施形態は、マルチスペクトル反射率撮像のための顕微鏡システムの蛍光カメラの使用に基づいている。

既に指摘したように、外科医は、病変に関して疑わしい組織を区別するために、組織（脳組織）の色を使用することがよくある。しかしながら、組織の微妙な色の違いは、長年の経験と訓練された眼力とを備えた外科医にしか見えない場合があり、その習得は困難である。

マルチスペクトル反射率撮像では、非常に小さなスペクトル差の測定を用いて、非常に小さい色差、あるいは視認不能な色差さえも捕捉することができる。ただし、従来のマルチスペクトル撮像については、典型的には３Ｄおよび蛍光カメラを備えた最新の顕微鏡の複数のセンサに加えて、追加のハードウェアが必要になる場合がある。

本開示の実施形態は、蛍光モードが起動されていない場合、マルチスペクトル反射率撮像のために外科用顕微鏡システムの既存の蛍光センサを使用することができる。このことは、付加的なコスト、サイズおよび複雑さを伴わせることなく、ソフトウェアを用いた機能の使用を可能にさせる。

さまざまな実施形態は、正確なカラー組織撮像を生成するためにマルチスペクトル撮像を使用することができる。このことは、３つを超えるスペクトル帯域、例えば６つのスペクトル帯域（例えば、第１および第２の撮像センサデータ各々からの３つのスペクトル帯域）を測定し、次いで、ＲＧＢ値の計算のためにスペクトル情報をデジタル的に再結合すること（すなわち結合されたカラー画像）によって実行することができる。これにより、カラー捕捉がより正確になる場合がある。

反射率および蛍光撮像のために複数のセンサを使用する撮像システムについては、蛍光帯域を反射率モードで使用することによって、マルチスペクトル反射率撮像を実行することができる。このことは、蛍光帯域での照明の提供によって有効化することができる。

診断上の重要性を伴う微妙な色差は、デジタル的に増幅させてよく、そのため、訓練されてない外科医でさえ容易に視認できる場合がある。

図５ａは、画像フレームに存在する異なる色の概略図を示す。図５ａでは、各領域が特定の色を有している有機組織（例えば、脳組織が示されている）の３つの領域５１０～５３０があり、ここで、領域５１０は青みがかった色を有し、領域５２０は緑がかった色を有し、領域５３０は赤みがかった色を有する。

図５ｂおよび図５ｃは、２つのセンサ（インデックスの１および２）によって感知され、異なる周波数帯域１～６で感知された異なる領域５１０～５３０の異なるカラーの強度の概略図を示し、各センサは、３つの波長帯域（Ａ～Ｃ）の光を感知し、それによって、撮像センサデータＳ_Ａ１、Ｓ_Ａ２、Ｓ_Ｂ１、Ｓ_Ｂ２、Ｓ_Ｃ１およびＳ_Ｃ２を生成する。図５ｃで視認できるように、センサは、図５ｂに示すよりも狭い周波数帯域で光を感知し、周波数帯域を相互に分離された周波数帯域にすることができる。異なるセンサは、異なる背景パターンを用いて強調されている。

相互に分離された周波数帯域で生成されたセンサデータは、例えば、変換係数のセットを含む変換行列を介して、ＲＧＢ画像を生成するために使用されてよい。図５ｄは、１８個の変換係数Ｆ_１１～Ｆ_３６（行と列とを示すインデックス）を含む、３行６列のサイズの例示的な変換行列を示す。この変換行列は、（３行１列の行列としての）合成カラー画像のＲＧＢ値を取得するために、センサデータＳ_Ａ１、Ｓ_Ａ２、Ｓ_Ｂ１、Ｓ_Ｂ２、Ｓ_Ｃ１およびＳ_Ｃ２を含む（６行１列の）行列と乗算される。

図６は、顕微鏡および照光システムの概略図を示す。既に指摘したように、２つの撮像センサのセンサデータ、すなわち反射率撮像のために使用される第１の撮像センサ（例えばＣＣＤセンサ）１２２のセンサデータと、主に蛍光撮像のために使用される第２の撮像センサ（例えばＣＣＤセンサ）１２４のセンサデータと、が使用される。第１の撮像センサは、カラー反射率画像を提供するように構成されてよく、第２の撮像センサは、蛍光画像を（第１の動作モードで）提供し、さらに反射率画像を（例えば３つの帯域で第２の動作モードにおいて）提供する。両方の撮像センサは、ミラー６３０；６４０と組み合わされて、これらは、各撮像センサによって感知される周波数帯域外の光をフィルタリングすることができる。ポリクロイックミラー６５０は、光を異なる波長帯域に分割し、各波長帯域をセンサに向けるために使用される。照光システム６１０は、撮像センサによって撮像される対象物を照明するために（照光システムによって放出された光をフィルタリングするフィルタ６２０と組み合わせて）使用される。図６は、さらに、異なる波長帯域の光を（異なる線スタイルで）示し、ここでは、可視光６６０は第１の撮像センサに入射し、放出波長帯域の光は第２の撮像センサに入射し、放出波長帯域の光は、照光システムによって放出６７０されるか、または（例えば可視光６６０による）蛍光励起波長帯域で励起される対象物の蛍光材料６８０によって放出されるかのいずれかである。

図７ａおよび図７ｂでは、変換関数を生成するための概念が示されている。図３および図４に関連して述べられたてきたように、変換関数は、カラーテーブルのカラーサンプルの「既知の」ＲＧＢ値を有する基準カラーテーブルを使用することによって決定されてよい。図７ａは、カラーフィールド１～２０を含む例示的なカラーテーブルの概略図を示す。このカラーテーブルは、２つの撮像センサによって記録されてよく、対応するセンサデータは、個々の相互に分離された波長帯域について決定されてよい。既知のＲＧＢ値および個々の波長帯域のセンサデータは、方程式系に入力されてよく、方程式系は、得られたカラーと既知のＲＧＢ値との間の差が、異なるカラーサンプルについて低減または最小化されるように解かれてもよい。図７ｂは、サンプルの番号の列、異なる波長帯域のセンサデータの列および既知のＲＧＢ値の列を有する、例示的な方程式系の図である。

概念のさらなる詳細および態様は、提案された概念または上記もしくは下記で説明される１つまたは複数の例に関連して言及されている（例えば、図１ａ～図４、図８）。概念は、提案された概念の１つまたは複数の態様、または上記もしくは下記で説明される１つまたは複数の例に対応する１つまたは複数の付加的な任意選択的機能を含むことができる。

いくつかの実施形態は、図１から図７ｂのうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図１から図７ｂのうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１から図７ｂのうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図８は、顕微鏡とコンピュータシステムとを含んだ顕微鏡システムの概略図を示す。図８は本明細書に記載された方法を実施するように構成されたシステム８００の概略図を示している。システム８００は、顕微鏡８１０とコンピュータシステム８２０とを含んでいる。顕微鏡８１０は、撮像するように構成されており、かつコンピュータシステム８２０に接続されている。コンピュータシステム８２０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム８２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム８２０と顕微鏡８１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム８２０は、顕微鏡８１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム８２０は、顕微鏡８１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡８１０の従属部品の一部であってもよい。

コンピュータシステム８２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等のさまざまな場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム８２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム８２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム８２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム８２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム８２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザーがコンピュータシステム８２０に情報を入力することおよびコンピュータシステム８２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発念の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

１００ 顕微鏡システム
１０５ ベースユニット
１１０ システム
１１２ インターフェース
１１４ １つまたは複数のプロセッサ
１１６ １つまたは複数のストレージデバイス
１２０ 顕微鏡
１２２ 第１の撮像センサ
１２４ 第２の撮像センサ
１２６ ビームスプリッタ／ポリクロイックミラー
１３０ 照光システム
１４０ａ／ｂ ディスプレイ
１５０ ステアリングハンドル
１６０ アーム
２１０ 第１および第２の撮像センサデータを取得する
２２０ 合成カラー画像を生成する
３００ 基準対象物
３１０ システム
３１２ インターフェース
３１４ １つまたは複数のプロセッサ
３１６ １つまたは複数のストレージデバイス
４１０ 第１および第２の撮像センサデータを取得する
４２０ 合成基準画像を取得する
４３０ 変換関数を決定する
５１０～５３０ 異なる色を有する領域
６１０ 照光システム
６２０～６４０ フィルタ
６５０ ポリクロイックミラー
６６０ 可視光
６７０ 照光システムによって放出され対象物によって反射された光
６８０ 対象物によって放出された光
８００ システム
８１０ 顕微鏡
８２０ コンピュータシステム

Claims (5)

1. 変換関数を決定するためのシステム（３１０）であって、
   前記システムは、１つまたは複数のプロセッサ（３１４）と、１つまたは複数のストレージデバイス（３１６）と、を含み、
   前記システムは、顕微鏡（１２０）の第１の撮像センサ（１２２）からの基準対象物（３００）の第１の撮像センサデータと、前記顕微鏡の第２の撮像センサ（１２４）からの前記基準対象物の第２の撮像センサデータと、を取得するように構成され、前記第１の撮像センサデータは、第１の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含み、前記第２の撮像センサデータは、第２の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含み、前記第１の複数の相互に分離された波長帯域は、反射撮像のために使用される波長帯域であり、前記第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像のために使用される波長帯域であり、
   前記システムは、前記基準対象物の合成基準画像を取得するように構成され、前記合成基準画像は、複数のカラーチャネルを含み、
   前記システムは、前記第１および第２の複数の相互に分離された波長帯域の各波長帯域の前記撮像センサデータと、前記合成基準画像の各カラーチャネルと、の間の近似変換を提供する変換係数のセットを決定することによって前記変換関数を決定するように構成され、前記変換関数は、前記変換係数のセットに基づき、
   前記システムは、前記合成基準画像と、前記変換係数のセットに基づいて生成された変換画像と、の間の不一致が、少なくとも１つの他の変換係数のセットよりも低くなる変換係数のセットを識別するように構成されており、
   前記合成基準画像は、前記基準対象物の複数の部分の複数のカラーを定義し、前記複数のカラーは、予め定められた第１のサブセットカラーと、第２のサブセットカラーと、を含み、前記システムは、前記合成基準画像と、前記変換係数のセットに基づいて生成された変換画像と、の間の不一致が、前記予め定められた第１のサブセットカラーについての少なくとも１つの他の変換係数のセットよりも低くなる変換係数のセットを識別するように構成されている、
   システム。
2. 前記予め定められた第１のサブセットカラーは、外科用設定における有機組織の色として存在するカラーである、
   請求項１記載のシステム。
3. 前記システムは、少なくとも１つの他の変換係数のセットと比較して、前記合成基準画像間の不一致を表す不一致値を低減する変換係数のセットを識別するように構成されており、前記不一致値は、前記複数のカラーの色について計算されており、前記予め定められた第１のサブセットカラーの色についての不一致は、前記不一致値上で、前記第２のサブセットカラーの色についての不一致よりも高い影響力を有する、
   請求項１または２記載のシステム。
4. 変換関数を決定するための方法であって、前記方法は、
   顕微鏡の第１の撮像センサからの基準対象物の第１の撮像センサデータと、前記顕微鏡の第２の撮像センサからの前記基準対象物の第２の撮像センサデータと、を取得するステップ（４１０）であって、前記第１の撮像センサデータは、第１の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含み、前記第２の撮像センサデータは、第２の複数の相互に分離された波長帯域で感知された光に基づくセンサデータを含み、前記第１の複数の相互に分離された波長帯域は、反射撮像のために使用される波長帯域であり、前記第２の複数の相互に分離された波長帯域の波長帯域は、蛍光撮像のために使用される波長帯域であるステップ（４１０）と、
   前記基準対象物の合成基準画像を取得するステップ（４２０）であって、前記合成基準画像は、複数のカラーチャネルを含むステップ（４２０）と、
   前記第１および第２の複数の相互に分離された波長帯域の各波長帯域の前記撮像センサデータと、前記合成基準画像の各カラーチャネルと、の間の近似変換を提供する変換係数のセットを決定することによって変換関数を決定するステップ（４３０）であって、前記変換関数は、前記変換係数のセットに基づくものであるステップ（４３０）と、
   を含み、
   前記方法は、前記合成基準画像と、前記変換係数のセットに基づいて生成された変換画像と、の間の不一致が、少なくとも１つの他の変換係数のセットよりも低くなる変換係数のセットを識別するステップを含み、
   前記合成基準画像は、前記基準対象物の複数の部分の複数のカラーを定義し、前記複数のカラーは、予め定められた第１のサブセットカラーと、第２のサブセットカラーと、を含み、前記方法は、前記合成基準画像と、前記変換係数のセットに基づいて生成された変換画像と、の間の不一致が、前記予め定められた第１のサブセットカラーについての少なくとも１つの他の変換係数のセットよりも低くなる変換係数のセットを識別するステップを含む、
   方法。
5. コンピュータプログラムであって、前記コンピュータプログラムは、プロセッサ上で実行されるときに、請求項４記載の少なくとも１つの方法を実行するためのプログラムコードを有する、コンピュータプログラム。

Images