JP6295915B2 - イメージング装置 - Google Patents

Description

この発明は、被写体に注入された蛍光色素に対して励起光を照射し、蛍光色素から発生した蛍光を撮影するイメージング装置に関する。

近年、近赤外蛍光イメージングと呼称される手法が外科手術に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素としてのインドシアニングリーン（ＩＣＧ）を患部に注入する。そして、このインドシアニングリーンに７５０〜８１０ｎｍ（ナノメータ）の近赤外光を励起光として照射すると、インドシアニングリーンはおおよそ８５０ｎｍをピークとする近赤外領域の蛍光を発する。この蛍光を、近赤外光を検出可能なカメラで撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から２０ｍｍ程度までの深さに存在する血管やリンパ管等の観察が可能となる。

特許文献１には、インドシアニングリーンが投与された生体の被検臓器に対して、インドシアニングリーンの励起光を照射して得られた、近赤外蛍光の強度分布イメージと、インドシアニングリーン投与前の被検臓器に対して、Ｘ線、核磁気共鳴または超音波を作用させて得られた、癌病巣分布イメージと、を比較し、近赤外蛍光の強度分布イメージで検出されるが、癌病巣分布イメージでは検出されない領域のデータを、癌の副病巣領域データとして収集するデータ収集方法が開示されている。

また、特許文献２には、血管造影剤が投与された被検体に対して励起光と可視光とを交互に照射し、撮像手段によって励起光が照射された蛍光画像と可視画像とを交互に取得するとともに、蛍光画像を所定の閾値により閾値処理して血管画像を抽出し、可視画像と抽出した血管画像を重畳させた合成画像を作成する手術支援方法が開示されている。

国際公開第２００９／１３９４６６号公報 特開２００９−２２６０７２号公報

特許文献２に記載されたように、可視画像と蛍光画像とを合成した合成画像を作成する場合においては、蛍光画像における造影剤の領域は明度として表現されるために白黒の画像となり、可視画像とその蛍光画像とを合成しているが、合成後における可視画像と蛍光画像との判別が困難となる場合がある。

すなわち、蛍光画像は可視画像上に白く表示されることから、その輪郭は鮮明ではない。特に明度差が小さくなるにつれて輪郭は不鮮明となる。このため、蛍光画像における蛍光領域がどこまでであるのかを正確に判別することはできない。このような場合においては、患者に対する施術等を正確に実行することが困難となるという問題が生ずる。

この発明は上記課題を解決するためになされたものであり、被写体の可視画像と蛍光画像とを合成して合成画像を作成するときに、蛍光画像の視認性を向上することが可能なイメージング装置を提供することを目的とする。

第１の発明では、被写体に注入された蛍光色素を励起させるための励起光を前記被写体に向けて照射する励起用光源と、前記被写体に向けて可視光を照射する可視光源と、励起光が照射されることにより前記蛍光色素から発生した蛍光と、前記被写体表面で反射した可視光とを撮影するための、蛍光と可視光とを検出可能なカメラと、を備えたイメージング装置において、前記カメラにより撮影した前記被写体の可視画像における支配的な色相を特定する支配的色相特定部と、前記支配的色相特定部で特定された色相に対して、Ｒ、Ｇ、Ｂ値においてそれぞれの差の絶対値の総和が設定値以上となり、かつ、輝度比が最大となる色相を着色色相として特定する着色色相特定部と、前記カメラにより撮影した前記被写体の蛍光画像を前記着色色相特定部で特定された着色色相で着色する蛍光画像着色部と、前記カメラにより撮影した前記被写体の可視画像と前記蛍光画像着色部で着色された着色蛍光画像とを合成することにより、合成画像を作成する合成部と、を備えたことを特徴とする。

第２の発明では、前記支配的色相特定部は、前記可視画像から前記蛍光画像における蛍光領域の画像を減算した画像を使用して、支配的な色相を特定する。

第３の発明では、前記支配的色相特定部は、ヒストグラムを利用して最も多く現れる色相を支配的な色相として特定する。

第１の発明によれば、被写体の可視画像と蛍光画像とを合成して合成画像を作成するときに、蛍光画像と背景となる可視画像とを明確に識別することができ、蛍光画像の視認性を向上させることが可能となる。

第２の発明によれば、可視画像から蛍光画像を除外することにより、背景画像における支配的な色相を適切に特定することが可能となる。

第３の発明によれば、ヒストグラムを利用することにより、支配的な色相を容易に特定することが可能となる。

この発明に係るイメージング装置の概要図である。 照明・撮影部１２の斜視図である。 この発明に係るイメージング装置の主要な制御系を示すブロック図である。 この発明に係るイメージング装置により可視画像と近赤外画像とを合成して合成画像を作成する画像合成工程のフロー図である。

以下、この発明の実施の形態を図面に基づいて説明する。図１は、この発明に係るイメージング装置の概要図である。

このイメージング装置は、タッチパネル等の入力部１１を備え、後述する制御部３０等を内蔵した本体１０と、アーム１３により移動可能に支持された照明・撮影部１２と、液晶表示パネル等から構成される表示部１４と、患者１７を載置する治療台１６とを備える。なお、照明・撮影部１２はアーム１３によって支持されたものに限定されず、術者が手に携帯するものであってもよい。

図２は、上述した照明・撮影部１２の斜視図である。

この照明・撮影部１２は、近赤外線および可視光を検出可能なカメラ２１と、このカメラ２１の外周部に配設された多数のＬＥＤよりなる可視光源２２と、この可視光源２２の外周部に配設された多数のＬＥＤよりなる励起用光源２３とを備える。可視光源２２は、可視光を照射する。励起用光源２３は、インドシアニングリーンを励起させるための励起光であるその波長が７８０ｎｍの近赤外光を照射する。

図３は、この発明に係るイメージング装置の主要な制御系を示すブロック図である。

このイメージング装置は、論理演算を実行するＣＰＵ、装置の制御に必要な動作プログラムが格納されたＲＯＭ、制御時にデータ等が一時的にストアされるＲＡＭ等から構成され、装置全体を制御する制御部３０を備える。この制御部３０は、後述する各種の画像処理を実行する画像処理部３１を備える。この画像処理部３１は、可視画像と蛍光画像を合成することにより合成画像を作成する合成部３６と、支配的な色相を特定する支配的色相特定部３７と、着色色相を特定する着色色相特定部３８と、蛍光画像を着色色相で着色する蛍光画像着色部３９とを備える。

この制御部３０は、上述した入力部１１および表示部１４と接続されている。また、この制御部３０は、カメラ２１、可視光源２２および励起用光源２３を備えた照明・撮影部１２と接続されている。さらに、この制御部３０は、カメラ２１により撮影された画像を記憶する画像記憶部３３とも接続されている。この画像記憶部３３は、近赤外画像を記憶する近赤外画像記憶部３４と、可視画像を記憶する可視画像記憶部３５とから構成される。なお、近赤外画像記憶部３４および可視画像記憶部３５を備えるかわりに、可視画像と近赤外画像とを合成した画像を記憶する合成画像記憶部を備えていてもよい。

以下、この発明に係るイメージング装置を使用して外科の手術を行う場合の動作について説明する。なお、以下の説明においては、患者１７に対して乳癌の手術を行う場合について説明する。

この発明に係るイメージング装置を使用して乳癌の手術を行う場合には、治療台１６上の仰臥した患者１７の乳房にインドシアニングリーンを注射により注入する。そして、患部を含む被写体に向けて、励起用光源２３から近赤外線を照射するとともに可視光源２２から可視光を照射する。なお、励起用光源２３から照射される近赤外光としては、上述したように、インドシアニングリーンが蛍光を発するための励起光として作用する７８０ｎｍの近赤外光が採用される。これにより、インドシアニングリーンは、約８５０ｎｍをピークとする近赤外領域の蛍光を発生する。

そして、患者１７の患部付近をカメラ２１により撮影する。このカメラ２１は、近赤外光と可視光とを検出することが可能となっている。患者１７に可視光を照射し、これをカメラ２１により撮影した画像が可視画像となり、患者１７に近赤外光を照射し、インドシアニングリーンからの蛍光をカメラ２１により撮影した画像が近赤外画像となる。カメラ２１により撮影された近赤外画像および可視画像は、図３に示す画像処理部３１に送られる。画像処理部３１においては、近赤外画像および可視画像が表示部１４に表示可能な画像データに変換される。近赤外画像のデータは画像記憶部３３における近赤外画像記憶部３４に記憶される。また、可視画像のデータは、画像記憶部３３における可視画像記憶部３５に記憶される。

この状態において、画像処理部３１における合成部３６は、後述するように、近赤外画像データと可視画像データとを利用して、可視画像と近赤外画像とを融合させた合成画像を作成する。そして、画像処理部３１は、表示部１４に、近赤外画像、可視画像および合成画像を、領域を分けて同時に、あるいは、選択的に表示する。

次に、この発明の特徴部分である合成画像の作成動作について説明する。図４は、この発明に係るイメージング装置により可視画像と近赤外画像とを合成して合成画像を作成する画像合成工程のフロー図である。

図３に示す制御部３０における画像処理部３１は、支配的色相特定部３７により可視画像における支配的な色相を特定し、着色色相特定部３８により支配的色相に対して、Ｒ、Ｇ、Ｂ値においてそれぞれの差の絶対値の総和が設定値以上となり、かつ、輝度比が最大となる色相を着色色相として特定し、蛍光画像着色部３９により蛍光画像である近赤外画像を着色色相特定部３８で特定された着色色相で着色し、合成部３６により可視画像と蛍光画像着色部３９で着色された近赤外画像とを合成して合成画像を作成する。

すなわち、画像処理部３１は、最初に、可視画像から、近赤外画像における蛍光領域であるインドシアニングリーンの領域の画像を減算することにより、下地(バックグラウンド）となる可視画像を作成する。そして、支配的色相特定部３７によりこの可視画像に対してカラー抽出を行い、蛍光領域を減算(除外)した可視画像における支配的な色相（ｈｕｅ）を特定する。ここで、支配的な色相とは、ドミナントカラー（ｄｏｍｉｎａｎｔ ｃｏｌｏｒ）とも呼称され、その画像全体の印象を支配する色である。

この支配的な色相は、例えば、可視画像に最も多く現れる色相である。この支配的な色相は、可視画像に対するヒストグラムを利用することにより特定される。このとき、可視画像の周辺領域には、患者１７の患部以外の画像も撮影される可能性があることから、可視画像の中央部付近の画像に対してヒストグラムを適用するようにしてもよい。なお、支配的な色相の特定には任意の色空間で諧調変換、平均値、中間値、最頻値を用いて算出してもよい。

次に、着色色相特定部３８により、インドシアニングリーンを示す近赤外画像を着色すべき着色色相を特定する。この着色色相は、先に特定した可視画像における支配的な色相に対して、識別力が高い色相とすることが好ましい。このため、この着色色相は、支配的色相に対して、Ｒ、Ｇ、Ｂ値においてそれぞれの差の絶対値の総和である色差ΔＲＧＢが設定値以上となり、かつ、支配的色相に対して輝度比（輝度Ｌの比）が最大となる色相が選択される。

ここで、上述した色差ΔＲＧＢは、以下の式で表される。

ΔＲＧＢ＝［ｍａｘ（Ｒｂ、Ｒｆ）−ｍｉｎ（Ｒｂ、Ｒｆ）］＋［ｍａｘ（Ｇｂ、Ｇｆ）−ｍｉｎ（Ｇｂ、Ｇｆ）］＋［ｍａｘ（Ｂｂ、Ｂｆ）−ｍｉｎ（Ｂｂ、Ｂｆ）］

ここで、Ｒｂ、Ｇｂ、Ｂｂは、背景（バックグラウンド）となる可視画像のＲＧＢ値で有り、Ｒｆ、Ｇｆ、Ｂｆは、背景となる可視画像上（フォアグラウンド）に表示される蛍光画像である赤外画像のＲＧＢ値である。この式により、Ｒ、Ｇ、Ｂ値においてそれぞれの差の絶対値の総和である色差ΔＲＧＢが演算される。

また、輝度Ｌは、以下の式で表される。なお、以下の式以外に色差信号で用いられる輝度算出式を用いてもよい。

Ｌ＝Ｒ１×０．２１２６＋Ｇ１×０．７１５２＋Ｂ１×０．０７２２

ここで、ｓＲ＝Ｒ／２５５、ｓＢ＝Ｂ／２５５、ｓＧ＝Ｇ／２５５とした場合、上記Ｒ１は、ｓＲが０．０３９２８以下であれば［ｓＲ／１２．９２］となり、０．０３９２８より大きければ［ｓＲ＋０．０５５）／１．０５５］の２．４乗となる。同様に、上記Ｇ１は、ｓＧが０．０３９２８以下であれば［ｓＧ／１２．９２］となり、０．０３９２８より大きければ［ｓＲ＋０．０５５）／１．０５５］の２．４乗となる。また、上記Ｂ１は、ｓＢが０．０３９２８以下であれば［ｓＢ／１２．９２］となり、０．０３９２８より大きければ［ｓＲ＋０．０５５）／１．０５５］の２．４乗となる。

上述した色差ΔＲＧＢおよび輝度Ｌの計算については、ウエブ上で使用される各種技術の標準化を推進するために設立された標準化団体であるＷ３Ｃ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ Ｃｏｎｓｏｒｔｉｕｍ）による「ウエブコンテンツ・アクセシビリティ・ガイドライン）ＷＣＡＧ）」の１．０および２．０により規定されている。

そして、画像処理部３１における蛍光画像着色部３９により、蛍光画像である近赤外画像が着色色相特定部３８で特定された着色色相で着色される。なお、このときの赤外画像を着色するときの明度（ｖａｌｕｅ）は、造影画像である近赤外画像の明度と同じ明度が採用され、彩度（ｓａｔｕｒａｔｉｏｎ）としては最大値が採用される。これにより、インドシアニングリーンによる蛍光領域を可視画像上においてより好適に認識することが可能となる。

しかる後、画像処理部３１における合成部３６が、蛍光画像着色部３９で着色された着色蛍光画像と可視画像とを、スクリーン合成や加算合成等により合成して、合成画像を作成する。

以上のように、この発明に係るイメージング装置においては、着色色相として、支配的色相に対して、Ｒ、Ｇ、Ｂ値においてそれぞれの差の絶対値の総和である色差ΔＲＧＢが設定値以上となり、かつ、支配的色相に対して輝度比が最大となる色相が選択されることから、インドシアニングリーンによる蛍光領域を、背景となる可視画像と明確に識別することが可能となる。このため、患者１７に対する施術等を正確に実行することが可能となる。

なお、上述した色差ΔＲＧＢに対する設定値とは、例えば、Ｒ、Ｇ、Ｂ値がそれぞれ２５６階調、Ｈｕｅが３６０諧調であるとき、上述したＷＣＡＧで規定される５００を適用することができる。このときには、着色色相と支配的色相との色相の差であるΔＨｕｅは、１１８〜２４２となる。但し、支配的色相に対して、ΔＨｕｅが９０〜２７０程度となる着色色相を選択するようにしてもよい。

また、上述した実施形態においては、励起用光源２３として、波長が７８０ｎｍの近赤外光を照射するものを使用しているが、励起用光源２３としては、インドシアニングリーンを励起させて励起光を発生させることが可能な７５０ｎｍ〜８１０ｎｍ程度の近赤外光を照射させるものを使用することができる。

さらに、上述した実施形態においては、蛍光色素を含む材料としてインドシアニングリーンを使用し、このインドシアニングリーンに対して７８０ｎｍの近赤外光を励起光として照射することにより、インドシアニングリーンからおおよそ８５０ｎｍをピークとする近赤外領域の蛍光を発光させる場合について説明したが、近赤外線以外の光を使用してもよい。

例えば、蛍光色素として、５−ＡＬＡ（５−アミノレブリン酸／５−Ａｍｉｎｏｌｅｖｕｌｉｎｉｃ Ａｃｉｄ）を使用することができる。この５−ＡＬＡを使用した場合には、患者１７の体内に侵入した５−ＡＬＡが蛍光物質であるプロトポルフィリン（ｐｒｏｔｏｐｏｒｐｈｙｒｉｎＩＸ／ＰｐＩＸ）に変化する。このプロトポルフィリンに向けて４００ｎｍ程度の可視光を照射すると、プロトポルフィリンから赤色の可視光が蛍光として照射される。このため、５−ＡＬＡを使用する場合には、励起用光源としてはその波長が４００ｎｍ程度の可視光を照射するものを使用すればよい。

１０ 本体
１１ 入力部
１２ 照明・撮影部
１３ アーム
１４ 表示部
１６ 治療台
１７ 患者
２１ カメラ
２２ 可視光源
２３ 励起用光源
３０ 制御部
３１ 画像処理部
３３ 画像記憶部
３４ 近赤外画像記憶部
３５ 可視画像記憶部
３６ 合成部
３７ 支配的色相特定部
３８ 着色色相特定部
３９ 蛍光画像着色部

Claims (3)

1. 被写体に注入された蛍光色素を励起させるための励起光を前記被写体に向けて照射する励起用光源と、
   前記被写体に向けて可視光を照射する可視光源と、
   励起光が照射されることにより前記蛍光色素から発生した蛍光と、前記被写体表面で反射した可視光とを撮影するための、蛍光と可視光とを検出可能なカメラと、
   を備えたイメージング装置において、
   前記カメラにより撮影した前記被写体の可視画像における支配的な色相を特定する支配的色相特定部と、
   前記支配的色相特定部で特定された色相に対して、Ｒ、Ｇ、Ｂ値においてそれぞれの差の絶対値の総和が設定値以上となり、かつ、輝度比が最大となる色相を着色色相として特定する着色色相特定部と、
   前記カメラにより撮影した前記被写体の蛍光画像を前記着色色相特定部で特定された着色色相で着色する蛍光画像着色部と、
   前記カメラにより撮影した前記被写体の可視画像と前記蛍光画像着色部で着色された着色蛍光画像とを合成することにより、合成画像を作成する合成部と、
   を備えたことを特徴とするイメージング装置。
2. 請求項１に記載のイメージング装置において、
   前記支配的色相特定部は、前記可視画像から前記蛍光画像における蛍光領域の画像を減算した画像を使用して、支配的な色相を特定するイメージング装置。
3. 請求項１または請求項２に記載のイメージング装置において、
   前記支配的色相特定部は、ヒストグラムを利用して最も多く現れる色相を支配的な色相として特定するイメージング装置。

Images