JP6884356B2 - 観察装置、観察システム、データ処理装置及びプログラム - Google Patents

Description

本発明は、観察装置、観察システム、データ処理装置及びプログラムに関する。

例えば、手術中や処置等の医療行為中などにおいて、組織表面や臓器表面の生体表面に体液が流出又は付着した場合等に、生体表面における体液の分布や流出源（又は付着源）を判別したいという等の要請があった。

特開２００６−１０２３６０号公報

しかしながら、例えば、可視光（肉眼など）では判別し難い体液の場合などには、その体液の分布や流出源などを判別することが難しかった。

本発明の第一実施態様によれば、生物の組織を観察する観察装置であって、第１波長の第１赤外光を前記組織に照射して得られる第１のデータと、水に対する光学特性値が前記第１赤外光と異なる第２波長の第２赤外光を前記組織に照射して得られる第２のデータとを生成する生成部と、前記第１のデータと前記第２のデータとを比較して前記組織の表面における体液の存在を示す体液データを生成する比較演算部とを備える、観察装置が提供される。

本発明の第二実施態様によれば、生物の組織を観察する観察装置であって、組織から得られる第１の光学特性値に基づく第１のデータと、第１の光学特性値と異なる第２の光学特性値に基づく第２のデータと、を比較して組織における水分を主成分とする体液の存在を示す体液データを生成するデータ生成部を備える、観察装置が提供される。

本発明の第三実施態様によれば、生物の組織を観察する観察装置に用いられるプログラムであって、第１波長の第１赤外光を前記組織に照射して得られる第１のデータと、水に対する光学特性値が前記第１赤外光と異なる第２波長の第２赤外光を前記組織に照射して得られる第２のデータと、を生成するステップと、前記第１のデータと前記第２のデータとを比較して、前記組織の表面における体液の存在を示す体液データを生成するステップとをコンピュータに実行させるためのプログラムが提供される。

本発明の第四実施態様によれば、生物の組織に関するデータを処理するデータ処理装置であって、第１波長の第１赤外光を前記組織に照射して得られる第１のデータと、水に対する光学特性値が前記第１赤外光と異なる第２波長の第２赤外光を前記組織に照射して得られる第２のデータと、を生成するデータ生成部と、前記第１のデータと前記第２のデータとを比較して、前記組織における体液の存在を示す体液データを生成する比較演算部とを備えるデータ処理装置が提供される。

本発明の第五実施態様によれば、上述の第一実施態様又は第二実施態様の観察装置と、生成した前記体液データを表示する表示部とを備える観察システムが提供される。

本明細書は本願の優先権の基礎となる日本国特許出願番号２０１６−０７１６５０号の開示内容を包含する。

第１の実施の形態による観察技術を適用した一例として示す観察システムの一構成例を示す機能ブロック図である。 本実施形態におけるデータ生成部の一構成例を示す機能ブロック図である。 本実施形態における観察装置のデータ生成部においてリアルタイム比較データ生成部を設けた構成例を示す図である。 本実施形態における観察システムによる処理の流れの一例を示すフローチャート図である。 図２ＡのステップＳ５の処理の流れの一例を示すフローチャート図である。 本実施形態における胆汁なしの場合の赤外光の吸収率を胆汁ありの場合の赤外光の吸収率で除算した吸収特性（波長依存性）例を示す図である。 本実施形態における水の吸収特性（波長依存性）を示す図である。 本実施形態における胆汁ありと胆汁なしの場合の、反射率の波長依存性の一例を示す図である。 本実施形態における設定波長の異なるデータを比較演算部において比較演算する様子を画像データとして例示した図である。 本実施形態における胆汁データに基づく２つの画像と、可視光画像とを比較した図である。 第２の実施の形態による組織の観察技術の原理を例示的に示す図である。 本実施形態における体液データの強調処理のための演算処理により得られた画像例を示す図である。 本実施形態における体液データの強調処理のための演算処理により得られた画像例を示す図である。 本実施形態における体液データの強調処理のための演算処理により得られた画像例を示す図である。 本実施形態における体液データの強調処理のための演算処理により得られた画像例を示す図である。 本実施形態における可視光画像の一例を示す図である。 本実施形態における観察システムの一構成例を示す機能ブロック図である。 本実施形態における観察システムのデータ生成部の一構成例を示す機能ブロック図である。 本実施形態における、第１の生成処理例における撮像信号による画像と、ライブ表示用の動画データとの出力タイミングを示すタイミングチャート図（上図）と、それぞれのタイミングで生成される画像を示す図（下図）と、を含む図である。 本実施形態における第１の生成処理例における処理の流れの一例を示すフローチャート図である。 本実施形態における第２の生成処理例における撮像信号による画像と、ライブ表示用の動画データとの出力タイミングを示すタイミングチャート図（上図）と、それぞれのタイミングで生成される画像を示す図（下図）と、を含む図である。 本実施形態における第２の生成処理例における処理の流れの一例を示すフローチャート図である。 図１６（ａ）は、１０７０ｎｍ波長と１４５０ｎｍ波長との赤外光を用いて強調画像を生成した場合の胆汁と血液の反射率の波長依存性の一例を示す図であり、図１６（ｂ）は、血液と胆汁との差をみるための反射率の逆数の対数の波長依存性の一例を示す図である。 図１７（ａ）は、石英セル（キュベット）に、豚由来の胆汁と豚由来の血液とを入れて、１０７０ｎｍの波長で測定した画像の一例である。図１７（ｂ）、図１７（ｃ）は、それぞれ、１０７０ｎｍ−１４５０ｎｍ、１０７０ｎｍ／１４５０ｎｍの演算処理を行った画像の一例を示す図である。 本実施形態における１０７０ｎｍと１３３０ｎｍとの波長を用いて胆汁と血液の強調画像を生成した場合の反射率の波長依存性の一例を示す図であり、図１６（ｂ）に対応する図である。 図１８の条件で得られた画像の一例を示す図である。 本実施形態における血液の強調処理のための演算処理により得られた画像例を示す図である。 本実施形態における血液の強調処理のための演算処理により得られた画像例を示す図である。 本実施形態における血液の強調処理のための演算処理により得られた画像例を示す図である。 本実施形態における血液の強調処理のための演算処理により得られた画像例を示す図である。 本実施形態における生体表面観察技術の原理の一例を示す図である。 図２１に示す装置におけるｓ偏光（入射面に垂直な偏光）、ｐ偏光（入射面に平行な偏光）、光路上の２つの偏光板の配置が垂直（クロスニコル）であるか水平（パラレル）かにより、区別される４つの構成（（ｂ）から（ｅ）まで）と、偏光板がない状態（（ａ））との一例を示す図である。 図２３（ａ）から（ｆ）までは、図２２（ａ）から（ｅ）までの構成によって測定された生体表面の観察画像の一例を示す図である。但し、図１８（ｆ）は、可視光画像の一例を示す図である。 図２４（ａ）は、水の吸収率が小さい赤外光の波長１０７０ｎｍにおける図２３（ａ）の偏光板なしの画像の一例であり、図２４（ｂ）は、波長１０７０ｎｍにおける図２３（ｃ）のｓ偏光クロスニコル画像の一例である。 生体表面を疑似的に表現するハムの表面を図２２に示すそれぞれの構成で観察した結果の一例を示す図である。図２５（ｂ）は、可視光画像の一例である。 図２５に示す画像と対応させて示す各光学構成における反射率の波長依存性の一例を示す図であり、水の有無により区別した特性の一例を示す図である。但し、図２６（ｂ）は、１６００ｎｍの波長で観察した表面画像の一例である。 図２５に示す画像と対応させて示す各光学構成における、（水なしの反射率／水ありの反射率）の値の波長依存性の一例を示す図である。但し、図２７（ｂ）は、１６００ｎｍの波長で観察した表面画像の一例である。

本実施形態において、「体液」とは、生物の体内に存在する水分の総称である。体液は、例えば、胆汁・膵液・血液・リンパ・組織液（組織間液、細胞間液、間質液）、体腔液などである。また、本実施形態では、体液は消化液を含む広義の概念である。

また、「体液データ」は、「体液を示す」及び／又は「体液を強調する」データのことを含む。

また、赤外光の水に対する「光学特性(値)」とは、赤外光を生体に照射した際における吸収、反射、透過のうち少なくともいずれかのエネルギーの入射エネルギーに対する比を含む。生体を観察する際に用いることができる光学特性であれば、光学特性は、吸収、反射、透過のうちのいずれの光学特性でも良い。以下、光学特性値として吸収率を例にして説明するが、光学特性値は吸収率に限定されなく、反射率や透過率でも良い。

「赤外データ」は、赤外光を生物の組織（例、生体）に照射して得られる光学特性のデータを含む。

「体液データ」は、本実施の形態の観察装置や観察システム等により特定（判別）される生物（例、生体）の特徴情報を含む。

以下、実施の形態について、図面を参照しながら詳細に説明する。

（第１の実施の形態）
図１Ａは、第１の実施の形態による観察技術の一例として示す観察システム（生体評価システム）１００の一構成例を示す機能ブロック図である。例えば、図１Ａに示す観察システム（生体評価システム）１００は、観察装置（生体評価装置）Ａと、該観察装置Ａとデータ通信可能に接続された表示部７とを備えている。例えば、観察装置（生体評価装置）Ａは、生物組織（生体組織等）のサンプル（観察対象）において体液等を強調する（又は特定する）データを生成するデータ生成部３と、生物組織（生体組織）又はその一部からなる組織１１を有するプレート（又はディッシュ）が配置されるステージ１０と、例えばプレートやステージ１０などに設置された生物組織（生体組織）又はその一部からなる組織１１に対して赤外光（例、８００ｎｍから１６００ｎｍの波長帯、９５０ｎｍから２０００ｎｍ、又は８００ｎｍから２４００ｎｍの波長帯から選択される所定波長の光など）などの観察光を照射するための光源部１７と、観察対象の組織１１を撮像する例えばＣＣＤカメラなどの撮像部（検出部、センサ部）１５と、を備える。

検出部１５が検出した検出結果は、データ生成部３へ送られる。

制御部３Ａは、例えば、データ生成部３を備える。また、観察装置Ａが備える偏光板２１は後述する。なお、本実施形態における観察装置Ａは、該偏光板２１を備えない構成でも構わない。また、本実施形態における表示部７は、タッチパネル式ディスプレイであっても良いし、ディスプレイを有する携帯型端末であっても良い。なお、本実施形態におけるステージ１０は、光源部１７および撮像部１５に対して相対的に移動可能に構成されていても良い。

尚、切換部１９については、第６の実施の形態で説明する。

図１Ｂは、データ生成部（生体情報処理装置、データ処理装置）３の一構成例を示す機能ブロック図である。データ生成部３は、例えば、第１データ生成部３−１と、第２データ生成部３−２と、比較演算部３−３と、を備える。また、データ生成部３は波長帯域設定部３−４を備える構成でも良い。データ生成部３は、生体情報処理装置あるいはデータ処理装置として用いることができる。データ生成部３として機能する、生体情報処理装置あるいはデータ処理装置は、ソフトウェア構成、ハードウェア構成のいずれでも良く、撮像部１５や表示部７等の他の構成要素とは独立して機能するコンピュータ、集積回路などで構成することもできる。

第１データ生成部３−１は、例えば、水に対する光学特性値（例、水による光学特性値、水による光の吸収率、水における光の吸収率、所定波長を有する赤外光に対する水の光学特性値など）が第１の光学特性値（例、第１の吸収率）である第１波長の第１の赤外光を生物の組織１１に照射して得られる第１のデータを生成する。第２データ生成部３−２は、水に対する光学特性値（例、水による光学特性値、水による光の吸収率、水における光の吸収率、所定波長を有する赤外光に対する水の光学特性値など）が第１の光学特性値（例、第１の吸収率）と異なる第２の光学特性値（例、第２の吸収率）である第２波長の第２の赤外光を生物の組織１１に照射して得られる第２のデータを生成する。比較演算部３−３は、第１データ生成部３−１、第２データ生成部３−２からそれぞれ送られた第１データと第２データとを比較する演算を行い、演算結果として得られる比較データから、組織１１の表面における体液の存在を示す体液データを生成する。体液データは、例えば、比較演算部３−３において、表示部７において表示可能なデータに変換された後に、表示部７に送られる。

ここでは、第１データ生成部３−１において、赤外光に対する水の光学特性値が異なる波長の赤外光を照射して得られるデータを比較する例を示したが、本実施の形態は、このような形態に限定されるものではない。

このように、本実施の形態において、生物の組織を観察する観察装置において、第１データ生成部３−１が、組織から得られる第１の光学特性値に基づく第１のデータと、第１の光学特性値と異なる第２の光学特性値に基づく第２のデータと、を比較して、組織における、例えば水分を主成分とする体液の存在を示す体液データを生成するようにすることも可能である。体液は、胆汁を含むものであっても良いし、他の体液を含むものであっても良い。また、本実施形態における光学的特性に基づく体液データの生成技術は、可視光（肉眼など）では判別し難い体液を明確に観察できるため、手術や検査などの今後の医療における重要な技術として利用可能である。

第１データ生成部３−１の演算処理の詳細については後述する。波長帯域設定部３−４は、第１データ生成部３−１と、第２データ生成部３−２とにおいて生成するデータを得るために組織１１に照射する観察光（例、赤外光）の波長を設定する。波長帯域設定部３−４において設定された波長は、第１データ生成部３−１と第２データ生成部３−２に送られる。

図５は、組織１１の表面における、胆汁ありと胆汁なしの場合の、観察光（例、赤外光）の反射率の波長依存性の一例を示す図である。図５に示すように、胆汁ありと胆汁なしとではスペクトルに殆ど差がない。しかし、図３に示すように、胆汁なしの場合の赤外光の吸収率を胆汁ありの場合の赤外光の吸収率で除算すると、図４に示す水の赤外光の吸収特性（波長依存性）と類似した吸収特性（波長依存性）が現れる。したがって、観察光（例、赤外光）に対する水の吸収特性を利用すると、目視で確認が難しい胆汁の有無を判定することができる可能性が高いと考えられる。例えば、水による吸収が大きい（反射が小さい）波長（例えば、１４５０ｎｍ±５０ｎｍ付近または１９００ｎｍ±５０ｎｍ付近）と水による吸収が小さい波長、例えば１０７０ｎｍ±５０ｎｍ付近または１２６０ｎｍ±５０ｎｍ付近という正反対の両者を対比することで、体液（水分）の分布を観察できることが示唆される。

図２Ａは、観察システム１００による処理の流れの一例を示すフローチャート図である。ここでは、一例として、例えば、豚の肝臓と胆嚢とを観察した例について説明を行う。本実施形態の観察システム１００を用いて、豚の肝臓に体液の例として胆汁が流出した生物表面（例、生体表面、組織表面）における胆汁の分布や流出源を観察する例について説明する。

まず、ステップＳ１において処理が開始され、ステップＳ２において、図１Ａに示す観察装置Ａにより、生物表面（例、生体表面、組織１１の表面）の赤外データを取得する。

尚、「胆汁なしの場合の赤外光等の吸収率」とは、例えば、組織１１の表面において胆汁の付着又は流出がない部分に対して、観察光（例、赤外光）を照射して得られる吸収率のことである。また、「胆汁ありの場合の赤外光等の吸収率」とは、例えば、組織１１の表面において胆汁の付着又は流出がある部分に対して、観察光（例、赤外光）を照射して得られる吸収率のことを含む。

次いで、ステップＳ３において、図１Ｂに示すデータ生成部３の第１データ生成部３−１が、ステップＳ２において、観察装置Ａから取得した赤外データに基づいて、水による吸収率（例、水に対する吸収率、水における吸収率、水に対して所定波長の光が吸収される割合、光の波長によって異なる水の吸収率など）が第１の吸収率である第１の赤外光を組織１１に照射して得られる第１データ（第１赤外データ）を生成する。次いで、ステップＳ４において、図１Ｂに示すデータ生成部３の第１データ生成部３−１が、ステップＳ２において、観察装置Ａから取得した赤外データに基づいて、水による吸収率が第１の吸収率とは異なる第２の吸収率である第２の赤外光を組織１１に照射して得られる第２データ（第２赤外データ）を生成する。ここで、波長帯域設定部３−４が、例えば、第１の赤外光の波長１０７０ｎｍ±５０ｎｍと第２の赤外光の波長１４５０ｎｍ±５０ｎｍ等のように、第１データ生成部３−１、第２データ生成部３−２において、観察装置Ａから赤外データを取得する波長帯域を設定する。そして、ステップＳ５において、比較演算部３−３が、第１データ生成部３−１と第２データ生成部３−２とにおいて生成された第１データと第２データとを取得してその比較演算を行い、ステップＳ６において、第１データと第２データとの比較演算によって得られる比較データとして体液データを生成する。体液データは表示部７に送られる。ステップＳ７において、表示部７により、表示部７に送信された比較データに基づく画像等が表示され、ステップＳ８において、処理を終了する。

尚、比較データは、体液データと同じであっても良いし、比較データに基づいて、例えば輝度調整などの適切な画像処理をした結果として得られたデータを体液データとしても良い。

図６は、上記図２Ａ等で説明した処理における、観察光の設定波長（又は設定波長の少なくとも一部）が互いに異なるデータ（例示的に画像データで示す。）を比較演算部３−３において比較演算した結果を、例えば、表示部７に画像データとして表示した画像を例示した図である。図６（ａ）は、水による吸収が小さい波長１０７０ｎｍの赤外光を組織に照射して得た第１の観察画像（左図）と、水による吸収が大きい波長１４５０ｎｍの赤外光を組織に照射して得た第２の観察画像（中図）と、第１の時観察画像を第２の観察画像で除算して生成した体液データに基づく画像（以下、強調画像ともいう）（右図）とを左から順番に示した図である。

図６（ｂ）は、水による吸収が小さい波長１２６０ｎｍの赤外光を組織に照射して得た第１の観察画像（左図）と、水による吸収が大きい波長１４５０ｎｍの赤外光を組織に照射して得た第２の観察画像(中図)と、第１の観察画像を第２の観察画像で除算して生成した体液（胆汁）データに基づく画像（右図）とを左から順番に示した図である。

図６（ａ）、（ｂ）のいずれの図の場合でも、体液（胆汁）データに基づく画像は、胆汁が流出した領域Ｒ１、Ｒ２を、他の領域とは明らかに区別することができることが分かった。以下の同様の図面でも、同様の演算処理を行った画像であることを示す。

このように、観察装置Ａは、比較演算部３−３において上記の除算処理を行うことで、体液（胆汁）データに基づく画像を生成することができる。

図７は、これらの体液（胆汁）データに基づく２つの画像と、可視光に基づく画像とを、例えば、表示部７に表示させて比較した図である。図７に示す通り、可視光に基づく画像においては区別が難しい胆汁が分布した領域Ｒ３（図７（ｃ））を、データ生成部３において処理を行うことで、領域Ｒ１（図７（ａ））、Ｒ２（図７（ｂ））として強調された画像を得ることができることがわかる。尚、可視光画像（図７（ｃ））において胆汁が分布した領域Ｒ３が視認できているのは、強調画像の領域Ｒ１、Ｒ２との比較を容易にするために胆汁を多量に滴下したためであり、実際の手術中においては、可視光画像から胆汁の分布を視認することは困難な場合が多い。また、本実施形態における演算処理（例、比較演算）としては、比較演算部３−３における第１データと第２データとの除算を例にしたが、後述するように、比較演算部３−３における第１データと第２データとの減算（差分演算処理）によっても良く、その他、比較演算部３−３における第１データと第２データとを比較できる演算であれば、これらの演算に限定されるものではない。

以上に説明したように、本実施の形態による観察技術によれば、観察装置Ａ（観察システム１００）は、胆汁などの体液の分布や流出源のように、可視光に基づく観察技術では体液を判別することが難しい場合においても、水の光学特性が異なる第１及び第２の赤外光を組織の表面に照射し、データ生成部３でデータ処理を行うことで、表面の体液（例、胆汁）などを、例えば表示部７において表示させて観察することができるため、体液の分布や流出源を判別することが容易となる。

尚、上記の実施の形態では、体液が胆汁である場合を例にして説明した。本実施の形態においては、生体表面と体液との可視光スペクトル特性の差が小さい場合であって、流出した体液が微量の場合における体液でも検出することができるように、胆汁と水との近赤外のスペクトルが近似していることを利用して、水による吸収が大きい波長と小さい波長とにおけるデータを対比することで体液分布を観察できることを説明した。例えば、体液の主成分が水分の場合、本実施形態における観察装置Ａは、上記において例示した体液のうち胆汁と同様の傾向をもって、体液分布を検出することができる。

（第２の実施の形態）
次に、第２の実施形態について説明する。図８は、本実施の形態による組織の観察技術の原理を例示的に示す図である。

第１の実施の形態で説明したように、ある時点における第１データ（例、第１赤外データ）と第２データ（例、第２赤外データ）とを比較演算部３−３で比較する処理だけでは、得られた体液データが組織１１の体液の流出に起因するものであるかどうかを判別することが難しい場合もあるかもしれない。なぜなら、観察画像において強調された領域が、組織１１の体液に基づくものであるか、或いは、もともと体液以外の要因により強調されてしまう領域であるのかが不明なケースがあるからである。

そこで、本実施の形態では、例えば、図１Ｃに示すように、本実施形態における観察装置のデータ生成部３に、比較演算部３−３と関連付けてリアルタイム比較データ生成部３−５を設けている。リアルタイム比較データ生成部３−５によれば、図１Ｂの出力である体液データを、時間経過の前後（例、第１の時間、第２の時間）において求め、それを比較することができる。

図２Ｂは、リアルタイム比較データ生成部３−５を含む処理の流れの一例を示すフローチャート図である。

図２ＡのステップＳ５において、比較演算部３−３において、第１データ生成部３１と第２データ生成部３−２でそれぞれ生成した第１データと第２データとを比較し、比較データを求める際に、リアルタイム比較データ生成部３−５は、リアルタイムに比較データを生成している（ステップＳ５−１）。そして、ステップＳ５−２において、データの変化を検出すると（Ｙｅｓ）、ステップＳ６ａに示すように、異なるタイミングの比較データ（時間変化データ）をそれぞれ求め、それらの比較データをさらに比較した比較データを演算により求め、この比較データに基づく画像データを表示部７に送り、ステップＳ７で表示部７が、画像等の表示を行う。

ステップＳ５−１のリアルタイム比較データが、図８の左図と中図との２つのデータである。ステップＳ６ａの演算処理において、異なるタイミング、例えばＴ時間経過後の１０７０ｎｍの赤外光で観察したデータを１４５０ｎｍの赤外光で観察したデータで除算したデータ（左図）を、例えばＴ時間経過前の１０７０ｎｍの赤外光で観察したデータを１４５０ｎｍの赤外光で観察したデータで除算したデータ（中図）で、除算又は減算する（ステップＳ６ａ）。これにより、図８の右図のように、真に体液に基づくデータのみを得ることができる。

上記の処理では、第１データ生成部３−１と第２データ生成部３−２とが、Ｔ時間経過前とＴ時間経過後との各データを所定時間間隔あるいは任意の時間間隔で求めておき、例えば、その両者（各データ）をリアルタイム比較データ生成部３−５において比較することにより、体液を強調する画像データとすることができる。Ｔ時間経過後としては、例えば、観察者が、体液が流出したことを目視したタイミングとしても良い。

図９Ａから図１０Ｂまでは、リアルタイム比較データ生成部３−５における、異なるタイミングで得られたデータの演算による体液データの強調処理のための演算処理のさまざまな例を示す図である。

以下に、それぞれの演算処理について説明する。
１）図９Ａ：（矢印が胆汁領域を示す。以下同様である）。
胆汁滴下後のデータ： 赤外光の波長１０７０ｎｍの第１データを波長１４５０ｎｍの第２データで除算したデータである。
胆汁滴下前のデータ： 赤外光の波長１０７０ｎｍの第１データを波長１４５０ｎｍの第２データで除算したデータである。

胆汁滴下後のデータを胆汁滴下前のデータで除算して得られた右側のデータは、胆汁の分布を反映している。

２）図９Ｂ：
胆汁滴下後のデータ： 赤外光の波長１０７０ｎｍの第１データを波長１４５０ｎｍの第２データで除算したデータである。
胆汁滴下前のデータ： 赤外光の波長１０７０ｎｍの第１データを波長１４５０ｎｍの第２データで除算したデータである。

胆汁滴下後のデータを胆汁滴下前のデータで減算して得られた右側のデータは、胆汁の分布を反映している。

３）図１０Ａ：
胆汁滴下後のデータ： 赤外光の波長１０７０ｎｍの第１データを波長１４５０ｎｍの第２データで減算したデータである。
胆汁滴下前のデータ： 赤外光の波長１０７０ｎｍの第１データを波長１４５０ｎｍの第２データで減算したデータである。

胆汁滴下後のデータを胆汁滴下前のデータで除算して得られた右側のデータは、胆汁の分布を反映している。

４）図１０Ｂ：
胆汁滴下後のデータ： 赤外光の波長１０７０ｎｍの第１データを波長１４５０ｎｍの第２データで減算したデータである。
胆汁滴下前のデータ： 赤外光の波長１０７０ｎｍの第１データを波長１４５０ｎｍの第２データで減算したデータである。

胆汁滴下後のデータを胆汁滴下前のデータで減算して得られた右側のデータは、胆汁の分布を反映している。

５）図１０Ｃ： 可視光画像である。可視光画像においては、肝臓表面に滴下された胆汁の分布範囲を視認することが困難である。

以上に説明したように、本実施形態の観察装置Ａ（又は観察システム１００）は、Ｔ時間経過前（第１のタイミング）とＴ時間経過後（第２のタイミング）とのデータ（例、画像データ）を所定時間間隔あるいは任意の時間間隔で求めておき、その両者を比較することにより体液を強調することができる。Ｔ時間経過後としては、例えば、観察者が、体液が組織１１の表面に流出したことを目視したタイミングとしても良い。また、本実施形態の観察装置Ａ（又は観察システム１００）は、例えば、Ｔ時間経過前（第１のタイミング）のデータ（例、画像データ）とＴ時間経過後（第２のタイミング）のデータ（例、画像データ）とのような異なるタイミングで得られた複数のデータ（例、２データ、３データ、４データ、５データ、又は１０データなど）をもとに、それら複数のデータ（例、複数の画像データ）の経時変化データを算出することによって、体液以外の部分（例、ノイズ）の影響を低減し体液データにおける体液を強調することができる。

（第３の実施の形態）
本実施形態では、上記の処理（第２の実施形態）に加えて、観察装置Ｂは、複数の体液データを演算処理して得られる画像データに基づいて、ライブ表示用のデータを生成する。例えば、患者の手術中において、観察装置Ｂは、Ｔ時間経過前とＴ時間経過後との体液データを所定時間間隔あるいは任意の時間間隔で求めておき、両者に基づいて体液（例、胆汁、血液など）を強調することができる。

本実施形態では、第２の実施形態において求めた体液データに基づいて、例えばリアルタイムに体液の動きを連続的に表示部７に表示させるライブ表示（動画処理）を行うようにしている。

図１１Ａは、本実施形態による観察システムの一構成例を示す機能ブロック図であり、図１Ａの変形図である。

例えば、図１１Ａに示す観察システム（生体評価システム）２００は、観察装置（生体評価装置）Ｂと、該観察装置Ｂとデータ通信可能に接続された表示部７とを備えている。

図１１Ｂは、データ生成部（生体情報処理装置、データ処理装置）３の一構成例を示す機能ブロック図である。図１１Ｂに示すように、本実施形態による比較データ（体液データ）のデータ生成部３は、生成した体液データに基づいて、ライブ表示用のデータを生成するライブ表示用データ生成部３−６を備えている。また、ライブ表示用データ生成部３−６は、流出源解析部（解析部）３−６ａを備える。例えば、流出源解析部３−６ａは、ライブ表示用のデータを用いて組織１１の表面における漏液（体液、胆汁等）の漏出源（漏液源）を推定して特定する。

本実施形態における体液データは、例えば、上記の実施形態によって生成される波長１０７０ｎｍ（第１波長）と波長１４５０ｎｍ（第２波長）とでの各画像の減算（第１波長−第２波長）又は除算（第１波長／第２波長）を行ったデータ（強調画像のデータ）である。以下では、除算を行った体液データを例にして説明するが、減算によっても同様の結果が得られる。なお、該体液データは、上記した赤外光の波長帯域から選定される波長の光を用いて取得された各画像を演算処理したデータ（強調画像のデータ）を含む。

さらに、観察装置（生体評価装置）Ｂは、データ生成部３において生成した体液データ等を記憶するデータ記憶部５を備える。データ記憶部５は、一時的なメモリ、例えばバッファメモリであっても良い。

さらに、観察装置（生体評価装置）Ｂは、入力部（ＧＵＩなどを含む）６を備える。

ライブ表示用データ生成部３−６は、第１のタイミングにおける第１の体液データと第１のタイミングとは異なる第２のタイミングにおける第２の体液データとに基づいて、ライブ表示用のデータを生成する。

以下に、ライブ表示用データ生成部３−６におけるライブ表示用データの生成処理の内容を、第１及び第２の生成処理例について説明する。

（第１の生成処理例）
まず、本実施形態における第１の生成処理例について説明する。第１の生成処理例においては、ライブ表示用データ生成部３−６は、例えば、第１のタイミング（例、図１２のタイミングＴ_０からＴ_６までのうちの１つ又は複数）で撮影した第１画像（体液データ）と前記第１のタイミングとは異なるタイミング（例、図１２のタイミングＴ_０からＴ_６までのうちの１つ又は複数）で撮影した第２画像（体液データ）との差分データに基づいて、ライブ表示用のデータを生成する。なお、ライブ表示用のデータ生成処理においては、上記差分データの代わりに除算データを用いてもよい。

図１２は、第１の生成処理例における撮像信号による画像とライブ表示用の動画データとの出力タイミングを示すタイミングチャート図（上図）と、それぞれのタイミングで生成される体液データ（画像）を示す図（下図）と、を含む図である。このタイミングチャート図では、Ｔ_２の時点で体液が漏出し、漏出した体液が時間の経過とともに組織上に広がっていく状況を想定している。

また、図１３は、第１の生成処理例における処理の流れの一例を示すフローチャート図である。図１３は、図２ＡのステップＳ６における体液データの生成以降の処理の流れを示している。

図１２に示すトリガー信号３１−１、３１−２等（例、処理開始の信号、処理終了の信号）が出力されると、タイミングＴ_１における体液データ（１０７０ｎｍ／１４５０ｎｍ）が、例えば、撮像信号に基づく画像Ｃ_１として得られる。タイミングＴ_１においては、符号Ｂ_１で示すように組織上に体液は漏出していないが、体液以外の部分であっても、その吸収特性により体液以外の部分が強調されてしまう場合があり、これが画像上のノイズ領域として体液データの画像に表れている。なお、画像Ｂ_１以外の画像Ｂ_ｎには、体液に基づくデータと、体液以外のデータ（ノイズ領域３２−ｎ）とが表示されている。

尚、図１２中の上の行（タイミングチャートの下）には、仮想的な体液の状態の画像Ａ_ｎを模式図で示す。

図１２に示す撮像信号に基づく「体液データ」Ｂ_１、Ｂ_２、Ｂ_３、Ｂ_４、Ｂ_５は、Ｃ_１、Ｃ_２、Ｃ_３、Ｃ_４の画像のもとになるデータである。演算処理（例、減算、除算等）によって生成されたＣ_１、Ｃ_２、Ｃ_３、及びＣ_４をそれぞれ１フレームの画像として、同様の演算処理（例、加算等）を複数行えば複数のフレーム（スタック）が得られ、その複数フレームをつなぐと所定の区間（例、第１区間、第２区間）における動画データ（ライブ表示用のデータ）になる。そして、データ生成部３は、これらの画像データをもとに動画像を表示部７に表示させる。

次に、図１３について説明する。まず、入力部６の操作によってトリガー信号が出力されると、ステップＳ６−１において、ライブ表示用データ生成部３−６がｎ＝１とする初期化を行う。

次いで、ステップＳ６−２において、ライブ表示用データ生成部３−６が、例えば、Ｔ_１のタイミングにおける体液データＢ_１を取得し、体液データＢ_１をデータ記憶部５に記憶しておく。本実施形態において、これを基準データＢ_１と称する。尚、基準データは、基準画像であっても良い。

ステップＳ６−３で、ライブ表示用データ生成部３−６が、Δｔ後、すなわち、Ｔ_２のタイミングにおける体液データＢ_２を取得し、体液データＢ_２と取得したタイミングとを、例えば、データ記憶部５に一時的に記憶する。このとき、ライブ表示用データ生成部３−６は、ステップＳ６−２で基準画像Ｂ_１を記憶した領域とは別の領域に体液データＢ_２をデータ記憶部５に記憶させる。

ステップＳ６−４において、ライブ表示用データ生成部３−６が、差分データＣ_ｎ＝Ｂ_ｎ＋１−Ｂ_１、ここでは、差分データＣ_１＝Ｂ_２−Ｂ_１を生成する。この差分データＣ_１がライブ表示の第１フレームとして表示部７に表示される。また、ライブ表示用データ生成部３−６は、差分データＣ_１をデータ記憶部５のライブ表示用の領域に記憶させる。

この差分データＣ_ｎを、図１２の体液データの下の４行に示している（ｎ＝１〜４）。

ライブ表示用データ生成部３−６が、データ記憶部５に記憶された体液データＢ_１とそれぞれのタイミングにおける体液データＢ_ｎ＋１との差分データを式（１）に示すように取ることで、体液以外の部分が除去された差分データＣ_ｎを得ることができる。
[数１]
Ｃ_ｎ＝Ｂ_ｎ＋１−Ｂ_１ （１）

ステップＳ６−５において、ライブ表示用データ生成部３−６が、図１２の第１区間が終了したかどうか、すなわち、漏液のライブ表示の終了を指示するトリガー信号３１−２が出力されたかどうかを判断する。第１区間が終了していない場合には（Ｎｏ）、ステップＳ６−６において、ライブ表示用データ生成部３−６が、ｎに１を加算し、ステップＳ６−３に戻る。以降、ステップＳ６−５において、ライブ表示用データ生成部３−６が、図１２の第１区間が終了したかどうかを判断し、終了した場合（Ｙｅｓ）まで、ライブ表示用データ生成部３−６が、ステップＳ６−３からステップＳ６−６の処理を繰り返す。このようにすると、図１２の下図のように、ライブ表示用の差分データＣ_１、Ｃ_２、Ｃ_３、Ｃ_４、…が得られる。これらの差分データ（ライブ表示用の画像）を順次表示部７に表示させることで、体液データのライブ表示（リアルタイム表示）を行うことができる。この場合、ライブ表示において、差分データＣ_１が第１フレーム、差分データＣ_２が第２フレーム、…差分データＣ_ｎが第ｎフレームに相当する。

ステップＳ６−５において、第１区間が終了すると、ライブ表示用データ生成部３−６が、データ記憶部５に記憶されたライブ表示用データ（差分データ）Ｃ_１からＣ_ｎを１つの動画ファイル（例えば、ＡＶＩフォーマット等）に変換しデータ記憶部５に記憶させる。

以上のように、ライブ表示用データ生成部３−６は、第１のタイミング（例、Ｔ_１のタイミング）における第１の体液データ（例、基準データ）と前記第１のタイミングとは異なる第２のタイミング（例、Ｔ_２のタイミング、Ｔ_３のタイミングなど）における第２の体液データとを演算処理（例、差分処理等）してライブ表示用のデータを生成することで、実際の体液の状態（漏液状態）をリアルタイムに表示させることができる。

また、本実施形態における生成処理は、最初に取得した体液データ（基準データ）Ｂ_１と最後に取得した体液データＢ_ｎとの差分をライブ表示するようにしたので、途中経過において臓器（組織）の位置が変動したとしてもその影響を受けにくい。例えば、図１２において、差分データＣ_１からＣ_４がライブ表示の第１フレームから第４フレームとして順次ライブ表示される場合、差分データＣ_２のもとになる体液データＢ_３を生成したタイミングにおいて臓器の位置が大きく変動したとしても、最後に表示される差分データＣ_４は、途中に生成した体液データＢ_３ではなく最後に生成した体液データＢ_５に基づいて生成されるため、本実施形態における生成処理は途中経過における臓器の位置変動の影響を受けにくい。

また、本実施形態における生成処理は、各タイミングにおいてほぼリアルタイムに生成する体液データとライブ表示初期の基準タイミングにおいて生成した基準データＢ_１との差分を取っていく処理によって、ｎの増加（体液データの生成タイミングの回数の増加）に依存する体液データにおける組織の位置変動による影響（例、ライブ表示用のデータ（動画像）における複数の画像間の組織の位置ずれによって滑らかでない動画像が表示される、など）を低減できる。例えば、人体の臓器などを構成する組織の相対的な位置が呼吸などの外力によって微小変動した場合、生成した複数の画像間（複数の体液データ間）において組織の微小な位置ずれが生じる可能性がある。例えば、図１２において、Ｔ_１のタイミングにおける体液データＢ_１とＴ_３のタイミングにおける体液データＢ_３との差分処理を行う場合、本実施形態の第１の生成処理は、基準となるＴ_１のタイミングとＴ_３のタイミングとの間（例、Ｔ_２のタイミング）で生じる位置変動を受けることなくＴ_１のタイミングに対するＴ_３のタイミングの組織の位置変動のみが生じるために、生成した各体液データに基づく画像間において生じる組織の位置変動による影響を少なくできる。

（第２の生成処理例）
次に、本実施形態における第２の生成処理例について説明する。第２の生成処理例においては、ライブ表示用データ生成部３−６は、第１のタイミング（例、Ｔ_１１のタイミング）で得られる第１体液データと第１のタイミングから所定時間Δｔ経過後のタイミング（例、Ｔ_１２のタイミング、Ｔ_１３のタイミングなど）で得られる第２体液データとの差分データを求め、時間の経過に沿って前記差分データを逐次積分した積分値に基づいて、ライブ表示用のデータを演算して生成する。なお、ライブ表示用のデータ生成は、上記差分データの代わりに除算データを用いてもよい。

図１４は、第２の生成処理例における撮像信号による画像と、ライブ表示用の動画データとの出力タイミングを示すタイミングチャート図（上図）と、それぞれのタイミングで生成される画像を示す図（下図）と、を含む図である。このタイミングチャート図では、Ｔ_１２の時点で体液が漏出し、漏出した体液が時間の経過とともに組織上に広がっていく状況を想定している。

また、図１５は、第２の生成処理例における処理の流れの一例を示すフローチャート図である。図１５は、図２ＡのステップＳ６における体液データ（比較データ）の生成以降の処理の流れを示している。

図１４に示すトリガー信号（例、処理開始の信号、処理終了の信号）３１−１が出力されると、タイミングＴ_１1における体液データが撮像信号に基づく画像として得られる。タイミングＴ_１1においては、組織上に体液は漏出していないが、体液以外の部分であっても、その吸収特性により体液以外の部分が強調されてしまう場合があり、これが画像上のノイズとして体液データの画像に表れている。なお、画像Ｂ_１1以外の画像Ｂ_ｎには、体液データと、体液以外のデータとが表示されている。

尚、図１４の上の行（タイミングチャートの下）には、仮想的な体液の状態Ａ_ｎを模式図で示す。

次に図１５について説明する。まず、ステップＳ６ａ−１において、入力部６の操作によってトリガー信号が出力されると、ライブ表示用データ生成部３−６は、ｎ＝１とする初期化を行う。

次いで、ステップＳ６ａ−２において、ライブ表示用データ生成部３−６は、体液データＢ_ｎ、例えば、Ｔ_１１のタイミングにおける体液データＢ_１１を取得し、体液データＢ_１１をデータ記憶部５に一時的に記憶する。

ステップＳ６ａ−３で、ライブ表示用データ生成部３−６は、Ｔ_１１のタイミングからΔｔ経過後のＴ_１２のタイミングにおける体液データＢ_ｎ＋１、すなわち、体液データＢ_１２を取得し、体液データＢ_１２をデータ記憶部５に一時的に記憶させる。

ライブ表示用データ生成部３−６は、ｎ＞１であるか否かをステップＳ６ａ−４で判定し、Ｎｏであれば、ライブ表示用データ生成部３−６は、ステップＳ６ａ−５に進み、ｎを１だけインクリメントする。次いで、ステップＳ６ａ−２に戻る。

ｎ＞１であれば、ライブ表示用データ生成部３−６は、ステップＳ６ａ−６において、以下の式（２）により、差分データＢ_ｎ＋１−Ｂ_ｎの積分値Ｃ_ｎを求める。

そして、ライブ表示用データ生成部３−６は、積分値Ｃ_ｎを時間の経過に沿って表示部７に順次出力する。

以降、ステップＳ６ａ−７において、ライブ表示用データ生成部３−６は、図１４の第１区間が終了したかどうか、すなわち、漏液のライブ表示の終了を指示するトリガー信号３１−２が出力されたかどうかを判断する。開始から終了した場合（Ｙｅｓ）まで、ライブ表示用データ生成部３−６がステップＳ６ａ−２からステップＳ６ａ−６までの処理を繰り返すことで、図１４の下図３行のように、差分データＣ_１１＝Ｂ_１２−Ｂ_１１、Ｃ_１２、Ｃ_１３、Ｃ_１４、…が得られる。そして、上記式（２）に示した通り、ライブ表示用データ生成部３−６は、これらの差分データＣ_１１、Ｃ_１２、Ｃ_１３、Ｃ_１４、…を時間の経過とともに逐次積分（加算）し、その積分値を順次表示部７に表示させることで、体液データのライブ表示（リアルタイム表示）を行うことができる。この場合、差分データＣ_１１がライブ表示用のデータにおける第１フレーム、差分データＣ_１２がライブ表示用のデータにおける第２フレーム、…差分データＣ_ｎがライブ表示用のデータにおける第ｎフレームに相当する。

ステップＳ６ａ−７において、第１区間が終了すると、ライブ表示用データ生成部３−６は、データ記憶部５に記憶されたライブ表示用データ（差分データ）Ｃ_１１からＣ_ｎを１つの動画ファイル（例えば、ＡＶＩフォーマット等）に変換しデータ記憶部５に記憶させる。

以上のように、ライブ表示用データ生成部３−６は、第１のタイミングで得られる第１体液データＢ_ｎと第１のタイミングから所定時間Δｔ経過後の第２のタイミングで得られる第２体液データＢ_ｎ＋１とを演算処理（例、差分処理等）して差分データＣ_ｎを求める。そして、ライブ表示用データ生成部３−６は、漏出時間又は撮影時間の経過に沿って前記差分データを逐次加算した積分値に基づいて、ライブ表示用のデータを生成し、生成されたデータに基づいてライブ表示用のデータを生成することで、実際の体液の状態（漏液状態）をリアルタイムに表示させることができる。

なお、上記した第１の生成処理例及び第２の生成処理例において、演算処理（例、減算、除算等）によって生成された画像Ｃ_ｎ（例、Ｃ_１、Ｃ_２、Ｃ_１１など）、上記の第２の実施の形態におけるリアルタイム比較データ生成部３−５（図１Ｃ）から取得するように構成してもよい。この場合、本実施形態におけるライブ表示用データ生成部３−６は、リアルタイム比較データ生成部３−５から取得した画像Ｃ_ｎ（例、Ｃ_１、Ｃ_２、Ｃ_１１など）を順次表示部７に表示させてライブ表示用データを生成する。

（ノイズ除去処理）
以上のように、第１及び第２の生成処理例では、ライブ表示用データ生成部３−６は、体液以外の部分（ノイズ領域）３２−ｎを除去するために、異なるタイミングで生成した体液データＢ_ｎ同士の差分をとり、ノイズ領域３２−ｎをキャンセル（除去、非表示）するようにしている。しかしながら、例えば、一方のタイミングで臓器（組織）の相対的な位置が大きく変動してしまうと、その変動に伴ってノイズ領域の位置も変動してしまうため、体液データＢ_ｎ同士の差分（あるいは除算）をとってもデータ（画像）上におけるノイズ領域３２−ｎの位置が一致せず、ノイズ領域３２−ｎを除去することができない場合がある。

そこで、本実施形態では、図１１Ａに示すように、体液データＢ_ｎに基づく表示領域以外のノイズ領域３２−ｎを非表示にする除去するノイズ領域除去部６ｂが入力部６に設けられている。ノイズ領域３２−ｎは、表示する画像において、強調したくない、或いは非表示にしたい非強調領域を含む。

例えば、ノイズ領域除去部６ｂは以下の全部又は一部の機能を含む。
１）ノイズ領域除去部６ｂは、事前に臓器（組織）の表面に付しておいたマーカー（例えば、二次元パターンや反射マーカー等）を光学センサで認識し、そのマーカーの位置を追尾することによって臓器の画面内での時間的な移動量（変動量）を算出する。そして、ノイズ領域除去部６ｂは、臓器の移動前あるいは移動後の体液データを臓器の移動量に基づいて画像の平面内でシフトさせることで、差分を求める体液データのノイズ領域の位置を一致させ、ノイズ領域を除去する。

２）ノイズ領域除去部６ｂは、撮影のタイミングを検査対象（患者）の呼吸のリズム（周期）に同期させるようにする。手術中において、患者は呼吸をしているため、その呼吸の周期に基づいて臓器（組織）が動く場合がある。この場合、上記のような差分処理を実施しても体液以外の領域（ノイズ領域）を除去することができない可能性がある。そこで、ノイズ領域除去部６ｂは撮像タイミングを呼吸のタイミング、例えば、吸気、吐気のいずれか一方に一致させるように制御する。この場合、上記１）と同様に、予め臓器表面等にマーカーを付しておき、このマーカーを追尾することで患者の呼吸の周期を検出するようにしてもよい。これにより、ノイズ領域除去部６ｂは、より有効にノイズを除去することができる。

３）ノイズ領域除去部６ｂは、入力部６により指示した領域を画像処理として除去するようにしても良い。例えば、ノイズ領域除去部６ｂは、入力部６より指示されたポイントの周辺の領域を形状認識し、その認識した形状の領域を追尾するとともに、その形状内の画素の輝度値をその形状外の画素の平均輝度値に置換するようにしてノイズ領域３２−ｎを除去してもよい。この場合、ノイズ領域除去部６ｂは、差分データＣ_ｎを生成させないようにし、ダイレクトに体液データＢ_ｎを表示部７にライブ表示させて、この体液データＢ_ｎに対してノイズ領域の除去を実施してもよい。

４）或いは、第１の生成処理において、データ生成部３（又はライブ表示用データ生成部３−６）は、第１区間中に臓器（組織）が大きく変動した場合に、第１区間を終了させ、臓器が変動した後の状態で第２区間を開始するようにしてもよい。このようにすることで、上記の基準画像が新たに取得し直される（リセットされる）。従って、基準画像と所定時間経過後の体液データとのノイズ領域３２−ｎの位置が互いに一致することとなり、ノイズ領域の除去が可能となる。この場合、ノイズ領域除去部６ｂは、基準画像におけるノイズ領域の位置（体液以外の部分の位置）と差分対象の体液データＢ_ｎのノイズ領域３２−ｎの位置とを認識し、両者の位置が所定値以上変動した場合に、第２区間を開始するようにしてもよい。

（漏出源解析部）
ライブ表示用データ生成部３−６は、組織における体液の漏出源を推定して漏出源の位置を特定する流出源解析部３−６ａを備える。

流出源解析部３−６ａは、上記第１又は第２生成処理において生成したライブ表示用のデータ（動画データ）を記憶データとしてデータ記憶部５に記憶させておく。流出源解析部３−６ａは、これらの記憶データに基づいて、該データを時間的に逆方向にたどることで、漏出開始時まで巻き戻しを行い０時間まで内挿させることで漏出源の位置を推定して求める。また、流出源解析部３−６ａは、上記第１又は第２生成処理において生成したライブ表示用のデータ（例、画像Ｃ_２、画像Ｃ_１２など）を用いて画像における漏液（漏出した体液）の面積と該面積の重心とを算出し、面積の重心と漏液の広がる方向（例、重心を起点とした漏液の流れる方向）とに基づき漏出源の位置を推定して算出してもよい。例えば、流出源解析部３−６ａは、特定した上記の漏出源に基づいて、ライブ表示用のデータ（例、画像Ｃ_２、画像Ｃ_１２など）に該漏出源の位置を示す情報を付与し、表示部７の表示画像上に漏出源の位置をマーク等で表示させてもよい（例、表示画像に漏出源を示すマークを重ねて表示）。医師などのユーザは、この表示された画像上の漏出源を見ながら、組織表面に漏出する漏液に対する処置（例、器具等を用いて漏液を止める処置）を行うことができる。

尚、本実施形態における制御部３Ａは、動画表示を行うモードを備えておき、動画表示モードと静止画表示モードとの切替を行う機能を備える。

（第４の実施の形態）
上記の処理（第２の実施の形態）では、観察装置Ａは、Ｔ時間経過前とＴ時間経過後とのデータ（体液データ）を所定時間間隔あるいは任意の時間間隔で求めておき、両者を比較することにより体液を強調することができる。Ｔ時間経過後としては、例えば、観察者が、体液が流出したことを目視したタイミングとしても良い。

本実施の形態では、図１Ｃ、図２ＢのステップＳ５−２に示すように、データ変化検出部３−５ａを設けておき、あるタイミングでデータが変化した場合に、そのタイミングのデータと、観察装置Ａの記憶部（例、バッファメモリ）などに格納されていたＴ時間前のデータとを比較するようにしている。

このようにすれば、画像処理により、画像の変化を自動的に検出することで、その変化のタイミングにおいてのみ比較演算部３−３による演算処理をすれば良いという利点がある。また、データ変化検出部３−５ａが、データが大きく変化したタイミングを自動的に取得することで、常時、観察をおこなっていない場合でも、第２の実施の形態と同様に、体液データのみを強調することができる。

（第５の実施の形態）
次に、観察装置Ａ及び観察システム１００を用いた別の実施形態について説明する。例えば、体液は水を主成分とするため、上記において説明したように、本実施形態における観察システム１００は、水の特徴的な波長である第１の赤外線波長領域内の波長１０７０ｎｍ±５０ｎｍ（光の吸収率小）と第２の赤外線波長領域内の波長１４５０ｎｍ±５０ｎｍ（光の吸収率大）とを用いて両者の差分や除算等の比較（演算）をすることで組織表面における体液を強調表示することができる。

しかしながら、例えば肝臓の開腹手術などにおいては、胆汁と血液との２種類の体液が同時に組織１１の表面に漏出するケースがあるため、１０７０ｎｍの波長と１４５０ｎｍの波長とを用いて強調画像を生成すると、胆汁と血液との両方の体液が強調されてしまい、両者の判別が困難となる場合がある（図１６（ａ）、（ｂ））。

図１７（ａ）は、石英セル（キュベット）に、豚由来の胆汁と豚由来の血液とを入れて、１０７０ｎｍの波長で測定した画像である。

図１７（ｂ）、図１７（ｃ）に示すように、１０７０ｎｍ−１４５０ｎｍ、１０７０ｎｍ／１４５０ｎｍの演算処理を行った場合に、胆汁も強調されるが、血液も強調されてしまうという問題がある。

そこで、図１８に示すように、血液において反射率の差がほとんど無く、かつ、胆汁において反射率の差が大きい、波長帯域設定部３−４により設定された、例えば、１０７０ｎｍ±５０ｎｍ（第１の波長）と１３３０ｎｍ±５０ｎｍ（第２の波長）との異なる波長における両者のデータを比較演算部３−３において比較演算（減算（差分）・除算処理等）することで、表示部７に、胆汁のみを強調表示することができる。

図１９（ａ）、（ｂ）に示すように、観察システム１００は、胆汁だけが強調できており、血液の影響を低減して胆汁の画像を抽出することができる。

また、上記の例では、第２の赤外光の第２の赤外波長領域として、例えば１３３０ｎｍを用いた例を示したが、観察システム１００は、１２５０ｎｍ±５０ｎｍから１４００ｎｍ±５０ｎｍまでの間の波長帯域の赤外光を用い、胆汁を血液から分離して強調することができる（胆汁のみ強調表示）。

尚、上記の説明では、組織１１の表面において強調したい対象を胆汁とした場合の例を示したが、その他の体液を強調したい場合にも、図１６（ａ）、図１６（ｂ）に示すように波長と光学特性との関係を考察することで、好ましい波長（帯域）を求めることができる。

以上に説明したように、本実施の形態においては、観察システム１００は、胆汁と血液とのうち胆汁を強調して画像に表示することができる。従って、実際の手術の際などに、胆汁とともに血液が流出しても、胆汁のみを強調することができるという利点がある。

以上は胆汁を強調する実施形態について説明したが、図２０Ａから図２０Ｄまでは、リアルタイム比較データ生成部３−５において、胆汁の場合と同様に、異なるタイミング（血液滴下前と血液滴下後など所定時間経過前後のタイミング）で得られたデータの演算により血液を強調する実施形態を示す図である。

以下に、それぞれの演算処理について説明する。
１）図２０Ａ：
血液滴下後のデータ： 赤外光の波長１２６０ｎｍの第１データを波長１４５０ｎｍの第２データで除算したデータである。
血液滴下前のデータ： 赤外光の波長１２６０ｎｍの第１データを波長１４５０ｎｍの第２データで除算したデータである。

血液滴下後のデータを胆汁滴下前のデータで除算して得られた右側のデータは、領域Ｒ４で示すように、肝臓が載せられた容器の底に溜まった血液の分布を反映している。

２）図２０Ｂ：
血液滴下後のデータ： 赤外光の波長１２６０ｎｍの第１データを波長１４５０ｎｍの第２データで除算したデータである。
血液滴下後のデータ： 赤外光の波長１２６０ｎｍの第１データを波長１４５０ｎｍの第２データで除算したデータである。

血液滴下後のデータを血液滴下前のデータで減算して得られた右側のデータは、領域Ｒ５で示すように、肝臓が載せられた容器の底に溜まった血液の分布を反映している。

３）図２０Ｃ
血液滴下後のデータ： 赤外光の波長１２６０ｎｍの第１データを波長１４５０ｎｍの第２データで減算したデータである。
血液滴下前のデータ： 赤外光の波長１２６０ｎｍの第１データを波長１４５０ｎｍの第２データで減算したデータである。

血液滴下後のデータを血液滴下前のデータで除算して得られた右側のデータは、領域Ｒ６で示すように、肝臓が載せられた容器の底に溜まった血液の分布を反映している。

４）図２０Ｄ：
血液滴下後のデータ： 赤外光の波長１２６０ｎｍの第１データを波長１４５０ｎｍの第２データで減算したデータである。
血液滴下前のデータ： 赤外光の波長１２６０ｎｍの第１データを波長１４５０ｎｍの第２データで減算したデータである。

血液滴下後のデータを胆汁滴下前のデータで減算して得られた右側のデータは、領域Ｒ７で示すように、肝臓が載せられた容器の底に溜まった血液の分布を反映している。

以上に説明したように、Ｔ時間経過前とＴ時間経過後とのデータを所定時間間隔あるいは任意の時間間隔で求めておき、その両者を比較することによって血液を強調することができる。Ｔ時間経過後としては、例えば、観察者が、血液が流出したことを目視したタイミングとしても良い。

以上に説明したように、上記の各実施の形態によれば、本実施形態の観察装置又は観察システムは、生体表面に流出又は付着した生体情報のうち体液を他の生体情報から区別することができる。また、本実施形態の観察装置又は観察システムは、生体表面において、体液と他の生体情報とのうち体液を判別することもできる。

（第６の実施の形態）
次に、第６の実施の形態について説明する。本実施の形態による観察装置は、上記の第１から第５までの各実施の形態による体液分布の観察技術を利用して、生物表面（例、生体表面）に流出した体液からの正反射光や、体液自体がもつスペクトル特性に影響を受けることなく、生物表面（例、生体表面）を明瞭に観察することができる観察技術に関するものである。

図２１は、生体表面観察の原理を示す図であり、装置の構成自体は、図１Ａに示すものと同様である。ここでは、一例として偏光板２１、２３を利用する。尚、切換部１９については、第６の実施の形態で説明する。

偏光板２１、２３をクロスニコル（光源１７側とカメラ１５側の偏光角を９０°ずらした関係）で配置することで、生体表面（生物の組織１１の表面）の観察の妨げとなる正反射光（実線の矢印）をカットすることができる。従って、体液の下に存在する生体表層の情報がより反映された散乱光（破線）を効率的に検知することができる。図１Ａの組織１１を載せるステージ１０は、撮像部１５として分光式のハイパースペクトルカメラを用いる場合は、撮像部１５に対して相対移動が可能であって、ＸＹ平面（紙面に対して垂直な面）内で組織１１をスキャン可能となるように構成される。また、ステージ１０はＺ方向（ＸＹ平面に対して垂直な方向）への移動も可能なようにすると良い。また、これに限定されることなく、光源１７として複数の波長のＬＥＤを用いることで、撮像部１５として非分光式のカメラを用いることができる。この場合は、ステージ１０は、撮像部１５に対して相対移動しなくてもよい。

図２２は、図２１に示す装置におけるｓ偏光（入射面に垂直な偏光）、ｐ偏光（入射面に平行な偏光）、光路上の２つの偏光板の配置が垂直（クロスニコル）であるか、水平（パラレル）であるかにより、区別される４つの構成（（ｂ）から（ｅ）まで）と、偏光板がない状態（（ａ））とを示す図である。

図２３（ａ）から（ｅ）までは、図２２（ａ）から（ｅ）までの構成によって測定された生体表面の観察画像を示す図である。但し、図２３（ｆ）は、可視光画像である。

これらの図からわかるように、クロスニコルの図２３（ｃ）、（ｅ）では、その他の画像と異なり、正反射光の影響を抑制することができることがわかる。

図２４（ａ）は、水の吸収率が小さい赤外光の波長１０７０ｎｍにおける図２３（ａ）の偏光板なしの画像であり、図２４（ｂ）は、波長１０７０ｎｍにおける図２２（ｃ）のｓ偏光クロスニコル画像である。図２４から明らかなように、クロスニコルでは、体液による正反射光の影響を効果的に抑制することができ、生体表面の精度の良い観察が可能であることがわかる。

図５、図２６、及び図２７は、クロスニコルの優位性の理由を説明するためのデータを示す図である。図２５は、生体表面を疑似的に表現するハムの表面を図２１に示すぞれぞれの構成で観察した結果を示す図であり、測定波長は、水による光の吸収率が比較的大きい波長である１６００ｎｍである。

また、図２６は、図２４５示す画像と対応させて示す各光学構成における反射率の波長依存性を示す図であり、水の有無により区別した特性を示す図である。

さらに、図２７は、図２５に示す画像と対応させて示す各光学構成における、（水なしの反射率／水ありの反射率）の値の波長依存性を示す図である。

図２５より、クロスニコルの光学構成では、生体表面の水の影響を受けにくいことが分かる。例えば、クロスニコルの光学構成では、生体表層の情報を得やすいことがわかる。

図２６より、生体表面に水が多く存在する領域と水が少なく存在する領域とに関する、１０７０ｎｍの波長の赤外光の反射率の差を見ると、クロスニコル光学構成では、両者の差が小さいことがわかる。例えば、クロスニコル光学構成では、生体表面上の体液を含む水分の影響を受けにくいことがわかる。

図２７に示すように、クロスニコル光学構成では、水の吸収スペクトル（ピーク）がほとんど表れていないことがわかる。この結果は、図２５、図２７の結果と一致することから、クロスニコルの光学構成においては、生体表面の体液を含む水分の影響を抑制することができていることがわかる。

また、一般的にｓ偏光はｐ偏光よりも反射率が大きいので、反射光を用いた測定には、ｓ偏光を用いる方法がより適しているといえる。

以上に説明したように、本実施の形態においては、例えば、生体表面に流出した体液からの正反射光や、体液自体がもつスペクトル特性に影響を受けることなく（又は、該スペクトル特性の影響を低減させて）、生体表面を明瞭に観察することができる。

（第７の実施の形態）
第７の実施の形態では、第６の実施の形態において説明した技術を利用しやすくするために、図１Ａ、図２１に示す構成において、以下の構成を設けている。

本実施形態における観察装置は、図１Ａにおける光源（照射部）１７から生物の組織１１に照射される光の光路上に第１の偏光部２１ａ又は２１ｂが配置されるとともに、組織１１からカメラ（検出部、受光部）１５に入射する光の光路上に第１の偏光部２１ａ又は２１ｂの偏光角に対して位相差を有する第２の偏光部２１ｃが配置された第１状態（第１の光学的構成）と、第１状態とは異なる第２状態とに切換可能に構成されている。例えば、観察装置は、第２の偏光部２１ｃの偏光角を変更できるようにする機構（切換部１９）を備えている。

例えば、観察装置は、第１の実施の形態等で求まる体液データを、切換部１９により、組織１１からカメラ（受光部）１５に入射する光の光路上に第１の偏光部２１ａ又は２１ｂの偏光角と位相差がある第１の状態から、位相差が無い（位相差０）あるいは小さい第２の状態になるように切換えた後に、求めることができる。

一方、観察装置は、切換部１９により、第１の状態に切り替えて、第５の実施の形態で説明したように、体液の影響を抑制した状態（又は低減した状態）で生体表面の観察を行うことができる。

また、本実施形態によれば、切換部１９により第１の偏光部２１ａ又は２１ｂの偏光角を変更することで、光源１７から組織１１に照射される光をｓ偏光とすることができる。

尚、上記に記載の処理および制御は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によるソフトウェア処理、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）によるハードウェア処理によって実現することができる。

また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、効果を発揮する範囲内で適宜変更することが可能である。その他、目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

また、本実施の形態で説明した各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

Ａ…観察装置、７…表示部、３…データ生成部、３−１…第１データ生成部、３−２…第２データ生成部、３−３…比較演算部、３−５…リアルタイム（比較）データ生成部、３−５ａ…データ変化検出部、３−６…ライブ表示用データ生成部、７…表示部、１０…ステージ、１１…組織、１７…光源部、１５…撮像部、１９…切換部、２１…偏光板。

本明細書で引用した全ての刊行物、特許及び特許出願はそのまま引用により本明細書に組み入れられるものとする。

Claims (18)

1. 生物の組織を観察する観察装置であって、
   ９５０ｎｍから１１２０ｎｍの間の第１波長の第１赤外光を前記組織に照射して得られる、水に対する吸収又は透過を示す第１のデータと、水に対する吸収率又は透過率が前記第１赤外光より大きく、前記第１波長の波長よりも長く、かつ、１２５０ｎｍから１６００ｎｍの間の波長である第２波長の第２赤外光を前記組織に照射して得られる、水に対する吸収又は透過を示す第２のデータとを生成する生成部と、
   前記第１のデータを前記第２のデータで除算する又は減算する処理によって得られた前記組織の表面に流出した胆汁の存在を示す体液データをもとに前記胆汁を強調する強調画像を生成する比較演算部と、
   複数の前記体液データを演算処理して得られる画像データに基づいて、ライブ表示用のデータを生成するライブ表示用データ生成部と、を備え、
   前記ライブ表示用データ生成部は、
   前記体液データのうち、第１のタイミングにおける第１の体液データと前記第１のタイミングとは異なる第２のタイミングにおける第２の体液データとを演算処理して得られる画像データに基づいて、前記ライブ表示用のデータを生成する
   観察装置。
2. 前記第２波長は、１２５０ｎｍから１４００ｎｍの間の波長である、請求項１に記載の観察装置。
3. 前記体液データの変化を検出するデータ変化検出部を備える、請求項１又は２に記載の観察装置。
4. 前記体液データをリアルタイムに生成するリアルタイム比較データ生成部を備える、請求項１から３のいずれか一項に記載の観察装置。
5. 前記リアルタイム比較データ生成部は、所定時間の前に生成した前記体液データを前記所定時間の後に生成した前記体液データで除算処理又は減算処理を行う、請求項４に記載の観察装置。
6. 前記第１の体液データを基準データとして記憶するデータ記憶部を備え、
   前記ライブ表示用データ生成部は、
   前記第２のタイミングを変化させて逐次生成する前記体液データと前記基準データとを演算処理して得られる画像データに基づいて、前記ライブ表示用のデータを生成する、請求項１から５のいずれか一項に記載の観察装置。
7. 前記ライブ表示用データ生成部は、
   第１のタイミングで得られる前記第１の体液データと前記第１のタイミングの後の第２のタイミングで得られる前記第２の体液データとの第１の差分データと、前記第２の体液データと前記第２のタイミングの後の第３のタイミングで得られる第３の体液データとの第２の差分データと、を加算した積分値をライブ表示用のデータとして演算する、請求項１から６のいずれか一項に記載の観察装置。
8. 前記体液データに基づく表示領域以外のノイズ領域を非表示にするノイズ領域除去部を備える、請求項１から７のいずれか一項に記載の観察装置。
9. 前記ライブ表示用データ生成部により得られたデータに基づいてライブ動画表示を行う表示部を備える請求項１から７のいずれか一項に記載の観察装置。
10. 前記ライブ表示用データ生成部により得られたデータを用いて体液の漏出源を推定する解析部を備える請求項１から７のいずれか一項に記載の観察装置。
11. 前記第１赤外光と前記第２赤外光とを前記組織に照射する照射部と、
    前記照射部により光を照射された前記組織からの光を検出する検出部と、を備え、
    前記検出部は検出した検出結果を前記生成部へ送信する、請求項１から１０のいずれか一項に記載の観察装置。
12. 前記照射部から前記組織に照射される光の光路上に配置される第１の偏光部と、
    前記第１の偏光部の偏光角に対して位相差を有し、前記組織から前記検出部に入射する光の光路上に配置される第２の偏光部と、を備え、
    前記第２の偏光部が配置された第１状態と、前記第２の偏光部が配置されていない第２状態とに切換可能に構成されている、請求項１１に記載の観察装置。
13. 前記第１のデータおよび前記第２のデータは、前記第２状態において生成される、請求項１２に記載の観察装置。
14. 前記第２状態は、前記第１の偏光部と前記第２の偏光部との偏光角の位相差が０度である、請求項１２又は１３に記載の観察装置。
15. 前記第１の偏光部は、前記組織に照射される光がｓ偏光となるように偏光角が設定されている、請求項１２から１４のいずれか一項に記載の観察装置。
16. 請求項１から１５のいずれか一項に記載の観察装置と、
    生成した前記体液データを表示する表示部と
    を備える観察システム。
17. 生物の組織を観察する観察装置に用いられるプログラムであって、
    ９５０ｎｍから１１２０ｎｍの間の第１波長の第１赤外光を前記組織に照射して得られる、水に対する吸収又は透過を示す第１のデータと、水に対する吸収率又は透過率が前記第１赤外光と異なるより大きく前記第１波長の波長よりも長く、かつ、１２５０ｎｍから１６００ｎｍの間の波長である第２波長の第２赤外光を前記組織に照射して得られる、水に対する吸収又は透過を示す第２のデータとを生成する生成ステップと、
    前記第１のデータを前記第２のデータで除算する又は減算する処理によって得られた前記組織の表面に流出した胆汁の存在を示す体液データをもとに前記胆汁を強調する強調画像を生成する比較演算ステップと、
    複数の前記体液データを演算処理して得られる画像データに基づいて、ライブ表示用のデータを生成するステップであって、前記体液データのうち、第１のタイミングにおける第１の体液データと前記第１のタイミングとは異なる第２のタイミングにおける第２の体液データとを演算処理して得られる画像データに基づいて、前記ライブ表示用のデータを生成するライブ表示用データ生成ステップと
    をコンピュータに実行させるためのプログラム。
18. 生物の組織に関するデータを処理するデータ処理装置であって、
    ９５０ｎｍから１１２０ｎｍの間の第１波長の第１赤外光を前記組織に照射して得られる、水に対する吸収又は透過を示す第１のデータと、水に対する吸収率又は透過率が前記第１赤外光と異なるより大きく前記第１波長の波長よりも長く、かつ、１２５０ｎｍから１６００ｎｍの間の波長である第２波長の第２赤外光を前記組織に照射して得られる、水に対する吸収又は透過を示す第２のデータとを生成する生成部と、
    前記第１のデータを前記第２のデータで除算する又は減算する処理によって得られた前記組織の表面に流出した胆汁の存在を示す体液データをもとに前記胆汁を強調する強調画像を生成する比較演算部と、
    複数の前記体液データを演算処理して得られる画像データに基づいて、ライブ表示用のデータを生成するライブ表示用データ生成部であって、前記体液データのうち、第１のタイミングにおける第１の体液データと前記第１のタイミングとは異なる第２のタイミングにおける第２の体液データとを演算処理して得られる画像データに基づいて、前記ライブ表示用のデータを生成するライブ表示用データ生成部と
    を備えるデータ処理装置。

Images