JP4739817B2 - ヘモグロビン観察装置及びヘモグロビン観察方法 - Google Patents

ヘモグロビン観察装置及びヘモグロビン観察方法 Download PDF

Info

Publication number
JP4739817B2
JP4739817B2 JP2005157022A JP2005157022A JP4739817B2 JP 4739817 B2 JP4739817 B2 JP 4739817B2 JP 2005157022 A JP2005157022 A JP 2005157022A JP 2005157022 A JP2005157022 A JP 2005157022A JP 4739817 B2 JP4739817 B2 JP 4739817B2
Authority
JP
Japan
Prior art keywords
wavelength
hemoglobin
light
oxygen
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005157022A
Other languages
English (en)
Other versions
JP2006326153A (ja
Inventor
徹 武者
好美 新田見
俊徳 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2005157022A priority Critical patent/JP4739817B2/ja
Priority to PCT/JP2006/310944 priority patent/WO2006129740A1/ja
Publication of JP2006326153A publication Critical patent/JP2006326153A/ja
Application granted granted Critical
Publication of JP4739817B2 publication Critical patent/JP4739817B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、血管や血液中のヘモグロビンの酸素交換の過程を観察する装置及び方法に関する。
従来、生体を構成する物質が有する吸収スペクトルがそれぞれ異なることを利用して、生体(主に血管や血液)の構造や機能を光学的に観察する装置が提案されている(例えば、特許文献1、2、3参照)。従来技術のいずれの装置でも、生体に光を照射している。そして、生体からの反射光または透過光に基づいて、例えば、血液の酸素飽和度を算出している。特許文献1に開示された装置では、相異なる3つの波長の光を生体に照射している。そして、生体からの透過光に基づいて、血液中の酸素飽和度を算出している。また、特許文献2、3に開示された装置では、相異なる2つの波長λ1、λ2の光を生体に照射している。そして、背景ノイズを低減させて脳活動を反映する信号だけを強調している。
特公平5−88608号公報 特開平8−38460号公報 特開平11−299760号公報
まず、血液中の赤血球に含まれるヘモグロビン(適宜「Hb」と省略する。)の吸収スペクトルについて説明する。図6は、ヘモグロビンの吸収スペクトルを示す。以下、酸素と100%結合したヘモグロビンを、適宜「酸化ヘモグロビン」、「HbO」という。また、酸素を100%放出したヘモグロビンを、適宜「還元ヘモグロビン」、「HbR」という。
図6において、横軸は波長を、縦軸はモル吸光係数(対数表示)をそれぞれ示す。また、図6において、酸化ヘモグロビンの吸収スペクトルを破線で、還元ヘモグロビンの吸収スペクトルを実線でそれぞれ示す。そして、酸化ヘモグロビンの吸収スペクトル曲線と、還元ヘモグロビンの吸収スペクトル曲線とが交差する位置を等吸収点と、そのときの波長を等吸収波長とそれぞれ呼ぶ。なお、以降本文では、モル吸光係数に波長非依存の定数を乗じて無単位化された吸光度を縦軸として読み替えて使うことにする。
特許文献1に開示された構成では、単に数値演算を行うのみで、画像を観察することはできない。また、特許文献2、3に開示された構成は、背景ノイズを低減させることで、脳活動を反映する信号だけを強調することを目的としている。このため、ヘモグロビンの酸素交換の様子、特にヘモグロビンと酸素との結合状態をミクロ的に観察できない。
本発明は、上記に鑑みてなされたものであって、ヘモグロビンと酸素との結合状態を広くマクロ的に観察できると共に、毛細血管内でヘモグロビンが酸素交換を行う瞬間のミクロな変化も観察できるヘモグロビン観察装置及びヘモグロビン観察方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、第1の本発明によれば、ヘモグロビンと酸素との結合状態を吸収スペクトルに基づいて観察するためのヘモグロビン観察装置であって、酸素と100%結合した状態の酸化ヘモグロビンの吸収スペクトルと、酸素を100%放出した状態の還元ヘモグロビンの吸収スペクトルとが交差する波長を等吸収波長とするとき、等吸収波長を含む波長領域のうちの少なくとも2つの異なる第1の波長の光と第2の波長の光とをヘモグロビンを含む観察対象物に照射する光源部と、光源部により照射された光の反射光または透過光に基づいて観察対象物の像を取り込む撮像部と、撮像部からの信号に基づいて所定の演算を行う演算処理部と、演算処理された結果を表示する表示部と、を有し、演算処理部は、第1の波長の光における第1の反射光量または透過光量と、第2の波長の光における第2の反射光量または透過光量との差分に基づいてヘモグロビンと酸素との結合状態を算出することを特徴とするヘモグロビン観察装置を提供できる。
また、本発明の好ましい態様によれば、第1の波長の光は、等吸収波長よりも短波長側の光であり、第2の波長の光は、等吸収波長よりも長波長側の光であることが望ましい。
また、本発明の好ましい態様によれば、酸素と100%結合した状態の酸化ヘモグロビンについて、第1の波長における吸光度の値と第2の波長における吸光度の値とを加算した値と、酸素を100%放出した状態の還元ヘモグロビンについて、第1の波長における吸光度の値と第2の波長における吸光度の値とを加算した値と、が略等しいことが望ましい。
また、本発明の好ましい態様によれば、演算処理部は、第1の波長における第1の反射光量または透過光量と第2の波長における第2の反射光量または透過光量とを加算した値に基づいて正規化を行うことが望ましい。
また、本発明の好ましい態様によれば、光源部は、第1の波長の光と第2の波長の光とのいずれか一方の光として等吸収波長の光を照射することが望ましい。
また、本発明の好ましい態様によれば、演算処理部は、等吸収波長における第1の反射光量または透過光量、または等吸収波長における第2の反射光量または透過光量に基づいて正規化を行うことが望ましい。
また、本発明の好ましい態様によれば、演算処理部は、第1の波長における第1の反射光量または透過光量と第2の波長における第2の反射光量または透過光量との差分を算出する差動演算部を備えていることが望ましい。
また、本発明の好ましい態様によれば、光源部は、第1の波長の光と第2の波長の光とを交互に観察対象物に照射することが望ましい。
また、本発明の好ましい態様によれば、光源部は、第1の波長と第2の波長とを含む所定の波長領域の光を観察対象物に照射し、光源部と観察対象物との間の光路内と、観察対象物と撮像部との間の光路内との少なくともいずれか一方の光路内にカラーフィルタを配置し、カラーフィルタは、第1の波長の光を透過し他の波長領域の光を反射または吸収する第1波長透過部と、第2の波長の光を透過し他の波長領域の光を反射または吸収する第2波長透過部とを有し、第1波長透過部と第2波長透過部とが交互に光路内に位置するようにカラーフィルタを駆動するカラーフィルタ駆動部を有することが望ましい。
また、本発明の好ましい態様によれば、光源部は、第1の波長と第2の波長とを含む所定の波長領域の光を観察対象物に照射し、撮像部は、複数の画素を有し、複数の画素の近傍にカラーフィルタを配置し、カラーフィルタは、第1の波長の光を透過し他の波長領域の光を反射または吸収する第1波長透過部と、第2の波長の光を透過し他の波長領域の光を反射または吸収する第2波長透過部とを有し、第1波長透過部と第2波長透過部とは、それぞれ画素に対応して交互に配列されていることが望ましい。
また、本発明の好ましい態様によれば、光源部は、第1の波長と第2の波長とを含む所定の波長領域の光を観察対象物に照射し、観察対象物からの反射光または透過光を少なくとも第1の光路と第2の光路とに分割する光路分割部と、第1の光路に配置され、第1の波長の光を透過し他の波長領域の光を反射または吸収する第1波長透過部と、第2の光路に配置され、第2の波長の光を透過し他の波長領域の光を反射または吸収する第2波長透過部と、を有し、撮像部は、第1の光路に配置され第1の波長による観察対象物の像を取り込む第1撮像部と、第2の光路に配置され第2の波長による観察対象物の像を取り込む第2撮像部とからなることが望ましい。
また、本発明の好ましい態様によれば、表示部は、算出されたヘモグロビンと酸素との結合状態を、グレースケール表示またはカラースケール表示することが望ましい。
また、本発明の好ましい態様によれば、第1の波長における第1の反射光量または透過光量の値と、第2の波長における第2の反射光量または透過光量の値との少なくとも一方の値を出力する積分器と、演算処理部からの算出結果と、積分器からの出力結果とを重畳する重畳器とをさらに有することが望ましい。
また、第2の本発明によれば、ヘモグロビンと酸素との結合状態を吸収スペクトルに基づいて観察するためのヘモグロビン観察方法であって、酸素と100%結合した状態の酸化ヘモグロビンの吸収スペクトルと、酸素を100%放出した状態の還元ヘモグロビンの吸収スペクトルとが交差する波長を等吸収波長とするとき、等吸収波長を含む波長領域のうちの少なくとも2つの異なる第1の波長の光と第2の波長の光とをヘモグロビンを含む観察対象物に照射する照明ステップと、照明ステップにより照射された光の反射光または透過光に基づいて観察対象物の像を取り込む撮像ステップと、撮像ステップからの信号に基づいて所定の演算を行う演算処理ステップと、演算処理された結果を表示する表示ステップと、を有し、演算処理ステップでは、第1の波長の光における第1の反射光量または透過光量と、第2の波長の光における第2の反射光量または透過光量との差分に基づいてヘモグロビンと酸素との結合状態を算出することを特徴とするヘモグロビン観察方法を提供できる。
本発明に係るヘモグロビン観察装置によれば、光源部は、等吸収波長を含む波長領域のうちの少なくとも2つの異なる第1の波長の光と第2の波長の光とをヘモグロビンを含む観察対象物に照射する。そして、演算処理部は、第1の波長の光における第1の反射光量または透過光量と、第2の波長の光における第2の反射光量または透過光量との差分に基づいてヘモグロビンと酸素との結合状態を算出する。これにより、ヘモグロビンと酸素との結合状態を高精度に算出できる。このため、ヘモグロビンと酸素との結合状態を広くマクロ的に観察できると共に、毛細血管内でヘモグロビンが酸素交換を行う瞬間のミクロな変化を観察できる。
以下に、本発明に係るヘモグロビン観察装置及びヘモグロビン観察方法の実施例を図面に基づいて詳細に説明する。なお、この実施例により、この発明が限定されるものではない。
(装置構成)
図1は、本発明の実施例1に係るヘモグロビン観察装置100の概略構成を示す。駆動回路108は、λ1用線路a1とλ2用線路b1とを介して、光源部102R、102Lを駆動する。これにより、光源部102R、102Lは、第1の波長λ1の光と第2の波長λ2の光とを交互に観察対象物101に照射する。このような交番発光を行う光源部102R、102Lは、例えば、半導体レーザ(LD)または発光ダイオード(LED)を用いることができる。
観察対象物101は、生体、例えば手の指先の爪元血管である。交番光のON、OFFのタイミングは後述する。照射された交番光は、観察対象物101内で吸収を受ける。そして、観察対象物101からの反射光は、撮像ユニット103に入射する。撮像ユニット103は、結像レンズ104とイメージセンサ105とを備える。結像レンズ104は、観察対象物101の交番光による像を、イメージセンサ105の受光面上に結像する。イメージセンサ105として、CCD、CMOS等を用いることができる。イメージセンサ105は、撮像部に対応する。なお、本実施例では、撮像ユニット103は、顕微鏡的な観察を行う光学系としている。これに限られず、例えば、観察対象物101をマクロ的に広く観察したいときには、カメラ的な観察を行う光学系とすることもできる。
イメージセンサ105は、複数の画素(ピクセル)を有している。そして、各画素ごとにさらに、図2で示す回路が接続されている。図2では、イメージセンサ(不図示)の1つの画素105Pを代表例として、画素105Pに接続されている回路構成を示している。他の画素についても、同様の構成であるため、図示を省略する。各画素105Pからは、バッファアンプ111を介して交番ビデオ信号Vが出力される。
交番ビデオ信号Vは、図3の(d)に示すように交互にON、OFFを繰り返すこと、即ち交番されている。なお、図3は、後述の本発明の動作原理で示す図7及び図8の動作を前提とした時に、各画素ごとに図2の回路構成を有するイメージセンサから得られる波形図である。バッファアンプ111には、2つのリレー回路112、113が接続されている。リレー回路112、113は、それぞれ交番ビデオ信号V側とGND側にゲート信号によって切り替わるように構成されている。これにより、交番ビデオ信号Vを、λ1戻り光系列とλ2戻り光系列の2チャンネル(ch)に分離できる。駆動回路108は、交番発光信号a1、b1と同じON、OFFのタイミングのゲート信号a2、b2をリレー回路112、113に供給する。
図3は、主要な出力信号の波形を示す。以下、図1、図2、図3をそれぞれ適宜参照しながら説明を続ける。図3の(a)に示すように、1個の赤血球が毛細血管Bの中を図中左側から右側に移動する場合を考える。図3の(b)、(c)、(d)、(e)、(f)、(g)は、それぞれヘモグロビンの移動場所ごとに得られる信号波形を示している。図3の(a)において、図中の左側では、赤血球中のヘモグロビンは酸素と例えば100%結合したHbO状態である。これに対して、図中の右側では、ヘモグロビンは酸素を放出して還元されたHbR状態へと変化している。そして、HbO状態とHbR状態との間が、中間状態である。なお、従来技術では、このような1個の赤血球の酸素交換の様子をミクロ的に観察することは不可能である。
(差分信号)
ここで、交番間隔Δtについて説明する。光源部102R、102Lは、第1の波長λ1の照明光と第2の波長λ2の照射光とを、それぞれ図3の(b)、(c)に示すように交番間隔Δtの時間間隔で交番発光する。交番間隔Δtを短くすると、分解能は向上する。なお、交番間隔Δtを短くすると、その分だけ光量が減るのでノイズが増加する。
1つの赤血球の直径は、略8μm程度である。このため、1つの赤血球の酸素交換の様子を観察するとき、例えば、直径の1/10程度の0.8μmの動き量以内に、後述する差分演算を行うことが好ましい。毛細血管B内の赤血球のスピードを1mm/sec以内とするとき、移動距離の時間換算値が必要な交番間隔Δtとなる。このため、交番間隔Δt=0.8msecとなる。
図2に示すように、リレー回路112には、λ1用ゲート信号a2が入力される。また、リレー回路113には、λ2用ゲート信号b2が入力される。このため、リレー回路112からは、図3の(e)で示す波形の信号Λ1が出力される。また、リレー回路113からは、図3の(f)で示す波形の信号Λ2が出力される。
信号Λ1に基づいて、積分器114は、図3の(e)で破線で示す第1の波長λ1を照射したときの信号Λ1を出力する。また、信号Λ2に基づいて、積分器115は、図3の(f)で破線で示す第2の波長λ2を照射したときの信号Λ2を出力する。なお、説明の便宜上、積分器114、115を経由する前後の信号を共に信号Λと呼ぶ。
図2では、光源部102R、102Lが第1の波長λ1の光を照射しているときの、リレー回路112、113の結線状態を示している。図3の(e)、(f)から明らかなように、信号Λ1と信号Λ2とは互いに逆相の関係にある。差動増幅器116は、図3の(g)に示すような差信号X=Λ1−Λ2を出力する。差信号Xは、最終的に求めたい赤血球(ヘモグロビン)の酸素との結合状態に対応している。差信号Xは、ヘモグロビンが酸素を放出して還元されることに応じて、+V(ボルト)からゼロを経由して−V(ボルト)となるように変化する。
なお、以下、差分演算して得られる吸収スペクトルの傾きの向きと量に対応したビデオ信号を「傾斜信号X」と、通常の透過光量や反射光量に対応したビデオ信号を「光量信号Y」とそれぞれ呼ぶ。
傾斜信号Xは、正規化部106に入力される。正規化の手順は後述する。最終的な結果は、表示部であるTVモニタ107により画像表示される。また、最終的な結果を、フレームメモリ(不図示)に記録する構成でも良い。なお、差動増幅器116は、演算処理部に対応する。
(血管モデルに基づく酸素飽和度と酸素結合率の説明)
次に、ヘモグロビンと酸素との結合状態を表すために用いる用語について説明する。本願の発明者は、本発明に係るヘモグロビン観察装置の研究開発、及び観察実験を鋭意行い、ヘモグロビンが酸素交換する状態を示すモデルを仮説した。まず、このモデルに基づいてヘモグロビンの酸素交換の様子を説明する。
図4は、本願の発明者が仮説的に考えた酸素交換のプロセスを示す図である。図4を用いて微小循環、例えば細動脈→毛細血管→細静脈の循環における酸素交換のプロセスを説明する。赤血球に含まれるヘモグロビンHbは、肺において酸素と100%結合した酸化ヘモグロビンHbOとなる。動脈血は、細動脈Aから枝分かれして、例えば3つの毛細血管Ba、Bb、Bcに流れ込む。毛細血管を通過する赤血球細胞は、組織細胞へ酸素を100%放出した還元ヘモグロビンHbRとなり、細静脈Veで再び合流して静脈血となる。
ここで、1つの赤血球に対して酸素が結合している割合を「酸素結合率」とする。例えば、酸化ヘモグロビンHbOでは、酸素結合率は100%である。これに対して、還元ヘモグロビンHbRでは、酸素結合率は0%である。
次に、「酸素飽和度」について説明する。酸素飽和度は、次式で定義されている。
酸素飽和度=HbO/(HbO+HbR)
細動脈Aや細静脈Veには、酸素結合率100%の酸化ヘモグロビンと、酸素結合率0%の還元ヘモグロビンとの2種類のヘモグロビンのみ存在する。このため、細動脈Aや細静脈Veにおいて、酸素が含有されている割合、換言すると酸化ヘモグロビンと還元ヘモグロビンとの割合を示すには、「酸素飽和度」を用いることができる。
これに対して、図4に示すような毛細血管Ba、Bb、Bcにおいて、1つの赤血球が組織細胞に酸素を供給する過程を観察するときは、酸素結合率が100%と0%との中間の状態までを観察することが必要となる。
本発明は、以下の2つの状態(1)、(2)の両者を観察できるものである。なお、「ヘモグロビンと酸素との結合状態」というときは、以下の状態(1)、(2)の2つの状態を含んでいる。
(1)細動脈Aや細静脈Veでの赤血球の集合体(塊)における酸化ヘモグロビンと還元ヘモグロビンとの割合の状態(マクロ的な状態観察)
(2)毛細血管での1つの赤血球における酸素と結合している割合の状態(ミクロ的な状態観察)
そして、本発明では、(1)で定義される酸素飽和度と(2)で定義される酸素結合率とは、測定方法がマクロ的かミクロ的かの違いだけで、凡そ同じ吸収スペクトル特性を示すものと考えている。例えば、同じ70%ならば、吸収スペクトルは同じ傾斜を示すであろうと考えている。
以下の表1にマクロ的な観察とミクロ的な観察についての簡単な比較を掲げる。
(表1)
観察機器 観察対象 使用する値 空間(時間)分解能
ミクロ観察(顕微鏡等) 主に毛細血管内 酸素結合率 1つの赤血球を分解
(1250フレーム/秒は必要)

マクロ観察(内視鏡等) 主に毛細血管以外 酸素飽和度 赤血球は塊で認識
(通常は30フレーム/秒で良い)
図4に戻って説明を続ける。静脈血における酸素飽和度は70%程度である。このため、静脈血の大半は酸化ヘモグロビンHbOのままである。これは、酸素交換を行わない毛細血管が存在するためであると考えられる。例えば、図4では、毛細血管Bbのみが酸素交換を行っている。このため、毛細血管Bbを通過したヘモグロビンは還元ヘモグロビンHbRとなる。これに対して、毛細血管Ba、Bcは、酸素交換を行っていない。このため、毛細血管Ba、Bcを通過したヘモグロビンは、酸化ヘモグロビンHbOの状態のままである。実際に、発明者らが観察を行った結果、酸素交換を行う毛細血管Bbの数は少なく、酸素交換をしない毛細血管Ba、Bcの数が多い。毛細血管の主機能は、組織との酸素交換である。このため、本明細書では、酸素交換を行なう毛細血管Bbを「真の毛細血管」という。これに対して、酸素交換を行なわない毛細血管Ba、Bcを「偽の毛細血管」という。
図5は、本発明に係るヘモグロビン観察装置を用いて、手指先の爪元血管を顕微鏡でビデオ観測した時の静止画像(写真)を、理解が容易なように線画で示したものである。図5では、主として毛細血管の部分を示し、その他の部分の観測画像の図示は省略する。観察条件は、緑色LED(波長525nm)で爪元血管を側斜照明し、NA0.4の油浸対物レンズで結像させたものである。図5は、血管内のヘモグロビンHbによる吸収像に対応する。ここでは、真の毛細血管Bbと、偽の毛細血管Ba、Bcとが観察されている。
偽の毛細血管Ba、Bc内の赤血球量(斜線を付している部分、実際の観察では黒く見える)は充満し、ヘマトクリットは一定している。ヘマトクリットは、一定量の血液中に存在する赤血球の容積の割合を示す値である。
これに対して、真の毛細血管Bb内では、黒く見える赤血球量は少なく、かつ赤血球と透明に見える血漿とが空間的に不規則に流れている。このような毛細血管は、人間の生命維持に最も重要な酸素交換を使命とする。しかしながら、毛細血管の振る舞いは解明されていない部分が多い。
今日まで、解明されていない事項の例としては、数ヶ月のスパンで血管形状が大きく変化するのは何故か、心臓の鼓動と全く非同期に赤血球が流れるが何処が指令を出しているのか、脳が刺激を受けた時と連動しているのではなかろうか、酸素交換を行うのだから最適な流速が存在するのではなかろうか、血液がサラサラ過ぎるのは良くないのではなかろうか、等である。これらの振る舞いに対する答えが、毛細血管における酸素交換の過程の解明に求められる可能性は高い。
従来技術の観察装置では、毛細血管において酸素交換を行う瞬間をミクロ的に観測することは不可能であった。これに対して、本発明に係るヘモグロビン観察装置は、マクロ的な観察に加えて、ミクロ的な観察を行うことができる。
本発明を明確化するために、従来技術の装置について対比して説明する。上述したように、図6は、酸化ヘモグロビンHbOと還元ヘモグロビンHbRの吸収スペクトルを示す。皮膚、骨、または頭蓋骨等を透過し、酸化ヘモグロビンHbOと還元ヘモグロビンHbRの吸収スペクトルが交差する等吸収波長800nm近辺の赤〜近赤外波長帯が生体光計測の場合に多く使われる。
従来技術の装置では、観察対象物からの透過光または反射光の強度を、Lambert−Beerの法則による吸収の式を使って演算処理する。これにより、生体組織内の酸素消費量(=HbR濃度変化)、血流量変化(=総Hb濃度変化)、または酸素飽和度(=HbO/(HbO+HbR))等を導出する。Lambert−Beerの法則を使った生体モニタ機器として、NIRS(近赤外分光)イメージングやパルスオキシメータなどが良く知られている。しかしながら、これらの従来技術の機器では、ヘモグロビンの酸素交換のマクロな変化を観察することはできても、ミクロな変化を観察することはできない。従来技術の生体モニタ機器は、酸化ヘモグロビンHbOと還元ヘモグロビンHbRの2状態のみの吸収スペクトルを利用している。これは、酸化ヘモグロビンHbOと還元ヘモグロビンHbRのみが含まれる動脈血や静脈血を観察する従来機器にとっては、2状態の吸収スペクトルのみで十分であるからである。このように、従来技術の機器では、本発明が観察対象としている毛細血管の存在は無視されている。このため、従来技術の機器で、毛細血管内で行われる酸素放出の過渡的な中間状態まで観測することはできない。
また、近年、fMRI(functional Magnetic Resonance Imaging)やPET(Positron Emission Tomography)やNIRS(近赤外分光法)などを用いた研究結果が報告されている。報告によれば、脳内が賦括されたときに通常に比べて増加する血液量(総Hb濃度変化)は30〜50%であるのに対して、酸素消費量(HbR濃度変化)は5%である。実際に指先の微小循環を観察したとき、偽の毛細血管Ba、Bcが殆どであり、真の毛細血管Bbは稀である。このため、脳内の毛細血管も、殆どが偽の毛細血管であり、増加した血流の殆どが偽の毛細血管に流れ込んでしまうのではなかろうかと推察される。本発明は、このような研究を加速させる可能性も有している。
(本発明の動作原理)
次に、図1、図2で構成を示したヘモグロビン観察装置100により、赤血球の酸素交換をミクロ的に観察できる原理について説明する。上述したように、毛細血管内を通過する赤血球細胞が組織細胞と酸素交換していく過程の酸素結合(放出)率を観測する手段は、従来存在していない。本発明では、従来では不可能であった毛細血管内の赤血球の酸素結合率を測定して、酸素交換の実態を把握できる。また、本発明では、さらに動脈像と静脈像を容易に抽出・分離できる。
図7は、ヘモグロビンの吸収スペクトルの等吸収波長805nm付近を拡大して示す。図7では、図6の一部を拡大し、縦軸は吸光度(例えば%)であり、リニア表示である。
図7において、等吸収波長(805nm)の近傍において、等吸収波長よりも短波長側の第1の波長λ1=780nmの光と、等吸収波長よりも長波長側の第2の波長λ2=830nmの光とを選択する。そして、両波長の間において吸収スペクトル曲線は、略直線とみなすことができる。
ヘモグロビンが酸化ヘモグロビンHbOから還元ヘモグロビンHbRへ還元されるに従って、吸収スペクトルは、右肩上がりの直線OLから水平な直線MLを経て右肩下がりの直線RLとなる。第1の波長λ1と第2の波長λ2との間の吸光度の差分を演算することで、吸収スペクトルの直線の傾きの方向と大きさが得られる。そして、吸収スペクトルの直線の傾きの方向と大きさとから、ヘモグロビンの酸素結合率を時系列的に計測できる。
このように、本発明では、Lambert−Beerの法則による吸収の式による演算は必要ない。等吸収波長の両側に、第1の波長λ1=780nmと、第2の波長λ=830nmを照射する波長として選択すると、第1の波長λ1での吸光度はO1→M1→R1のように変化する。また、第2の波長λ2での吸光度はO2→M2→R2のように変化する。吸光度が小さければ、観察対象物101からの戻り光量は大きい。また、吸光度が大きいとき、観察対象物101からの戻り光量は小さい。
そして、図8に示すように、第1の波長λ1を照射したときの戻り光L1と、第2の波長λ2を照射したときの戻り光L2との光量の差分演算を行う。酸化ヘモグロビンHbOのとき、差分演算の結果は+(正)となる。酸化ヘモグロビンと還元ヘモグロビンとの中間状態のとき、差分演算の結果はゼロとなる。そして、還元ヘモグロビンHbRのとき、差分演算の結果は−(負)となる。このようにして、赤血球が毛細血管内を移動しているときの過渡的な酸素結合率に対応する値を測定できる。
(演算結果の正規化)
次に、差分演算結果の正規化について説明する。上述したように、吸収スペクトルの直線部分の傾きの向きと大きさに対応したビデオ信号を「傾斜信号X」という。そして、通常の透過光量や反射光量に対応したビデオ信号を「光量信号Y」という。
毛細血管内の酸素結合率を表す傾斜信号Xでは、酸化ヘモグロビンHbO(酸素結合率100%)の電圧レベルと、還元ヘモグロビンHbR(酸素放出率100%)の電圧レベルが重要な意味を有している。従って、電圧レベルが、光源の光量、観察対象物である生体の吸収、反射などで変動しないように、正規化しておくことが望ましい。本実施例では、等吸収波長の両側において、吸収スペクトル直線が等吸収波長を中心にして対称に変化する2つの波長λ1、λ2を選択している。換言すると、酸化ヘモグロビンについて、第1の波長λ1における第1の吸光度の値O1と第2の波長λ2における第2の吸光度の値O2とを加算した値と、還元ヘモグロビンについて、第1の波長λ1における第1の吸光度の値R1と第2の波長λ2における第2の吸光度の値R2とを加算した値とが略等しい。
このため、λ1戻り光L1とλ2戻り光L2を加算した光量は、赤血球が酸素交換しているいずれの位置においても略一定値である。従って、図1の正規化部106により、傾斜信号Xを光量信号Yで割り算すれば、正規化を行なうことができる。正規化により、光量レベルが変動しても、常に相互に比較できる安定的な演算結果を得ることができる。変動がゆっくりであると見込めるならば、光量信号Yの代わりに時間的、空間的に平均化した値(例えば1フレーム全体の光量信号の積分値)を分母としても良いが、できれば各画素ごとに正規化をおこなうのが望ましい。または上述の例えば1フレーム全体の光量信号の積分値が一定値を保つように、光源側にAPC(オート・パワー・コントロール)となるようなフィードバック制御をかけても良い。なお、正規化しないときでも、光量変動に対してゼロレベルは殆ど変化しない。
(第1の変形例)
図9は、本実施例の第1の変形例のヘモグロビン観察装置のうち、撮像ユニット103とTVモニタ107との間に設けられている信号処理回路200の構成を示す。なお、実施例1と同一の部分の図示は省略する。
撮像ユニット103は、フレーム撮影を行う。フレームメモリ201は、撮影されたフレーム画像を格納する。リレー回路202は、第1の波長λ1を観察対象物101に照射したときの画像と、第2の波長λ2を観察対象物101に照射したときの画像とを切り替える。フレームメモリ203は、第1の波長λ1を観察対象物101に照射したときの画像を格納する。フレームメモリ205は、第2の波長λ2を観察対象物101に照射したときの画像を格納する。
差動演算部204は、差分演算により傾斜信号Xを算出する。加算器206は、加算演算により光量信号Yを算出する。割り算器207は、傾斜信号Xを光量信号Yで割り算をする。これらの演算の詳細な手順と内容は後述する。そして、TVモニタ107は、最終結果を表示する。
図10は、本変形例の観察・演算手順を示すフローチャートである。また、図11は、図9に示す回路の演算内容を説明する図である。図10のステップS1001において、
駆動回路108は、第1の波長λ1の光と第2の波長λ2の光とを交番発光させる信号を光源部102R、102Lへ供給する。
ステップS1002において、光源部102R、102Lは、第1の波長λ1の光と第2の波長λ2の光とを交番発光する。ステップ1003において、撮像ユニット103は、第1の波長λ1を照射したときの観察対象物101と、第2の波長λ2を照射したときの観察対象物101とを交互にフレーム撮影する。
撮像ユニット103は、例えば、1、2・・・2n(nは整数)という2n枚のフレーム画像を撮影する。そして、第1の波長λ1を照射したときのフレーム画像は1、3、・・・、2n−1の奇数番目のフレームとする。また、第2の波長λ2を照射したときのフレーム画像は2、4、・・・、2nの偶数番目のフレームとする。ステップ1004において、撮像ユニット103で撮影された2n枚のフレーム画像は、フレームメモリ201に格納される。
ステップS1005において、フレーム番号は奇数か否かの判断を行う。判断結果が真(Yes)のとき、ステップS1006において、第1の波長λ1を照射したときのフレーム画像をフレームメモリ203に格納する。また、ステップS1005の判断結果が偽(No)のとき、ステップS1007において、第2の波長λ2を照射したときのフレーム画像をフレームメモリ205に格納する。ステップ1008において、差動演算部204は、第1の波長λ1照射時の各画素(ピクセル)の出力信号と、第2の波長λ2照射時の各ピクセルの出力信号との差分を算出する。同時に、加算器206は、第1の波長λ1照射時の各画素の出力信号と、第2の波長λ2照射時の各画素の出力信号との加算を演算する。そして、割り算器207は、差分結果(=傾斜信号X)を加算結果(=光量信号Y)で割り算する。
ステップS1009において、差分画像を格納する。ここでの差分画像とは正規化された後のものをいう。そして、ステップS1010において、TVモニタ107は、演算結果を表示する。
図11は、差分演算の具体例を示す。例えば、第1の波長λ1を照射したときの観察対象物101の第1番目のフレーム画像のうちm番目の画素の出力信号をλ1とする。また、第2の波長λ2を照射したときの観察対象物101の第2番目のフレーム画像のうちm番目の画素の出力信号をλ2とする(m=1・・・n)。
差動増幅器204は、λ2−λ1を演算する。加算器206は、λ2+λ1を演算する。そして、割り算器207は、(λ2−λ1)/(λ2+λ1)を演算する。このような演算を、例えば、第(2k−1)番目のフレームと第2k番目のフレームとの間、及び第2k番目のフレームと第(2k+1)番目のフレームとの間で全ての画素について行う(kは整数)。これにより、最終的に正規化された(2n−1)枚の差分画像を得ることができる。
上述したように赤血球の直径は8μm程度である。また、赤血球が毛細血管内を通過する速度は1mm/sec程度である。赤血球の直径の一桁下の0.8μm移動内で差分を取る必要がる。このため、時間分解能Δt=0.8msec程度必要となる。
これはフレーム・レートに換算すれば1秒間に1250枚の画像を撮影することに相当する。一方で、例えば酸素交換と脳波との相関を研究するとき、脳波の周波数は10Hz程度である。脳波10サイクル間の赤血球の動きを捉えるとき、1秒間程度の撮影時間、即ち1250枚の画像をリアルタイムで蓄積できるフレームメモリが必要になる。ここまでをリアルタイムで処理すれば、差分演算以降はオフラインで十分な時間をかけて行うことができる。使えば、現在、市販されている画素数512×512(26.2万画素)の高速CMOS型イメージセンサを用いて、撮影速度2000フレーム/秒、メモリ容量2.6GB(モノクロ諧調10ビットで4秒間の画像蓄積に相当)というスペックで実現できる。
(第2の変形例)
図12の(a)は、本実施例の第2の変形例に用いる円盤カラーフィルタ120の正面構成を示す。本変形例では、光源部は、第1の波長λ1と第2の波長λ2とを含む所定の波長領域の光を観察対象物101に照射する。例えば、光源部102R、102Lとして、LEDやLDの代わりにキセノンランプを用いることができる。
円盤カラーフィルタ120は、光源部102R、102Lと観察対象物101との間の光路内と、観察対象物101と撮像ユニット103との間の光路内との少なくともいずれか一方の光路内に配置されている。そして、カラーフィルタ120の第1波長透過部121は、第1の波長λ1の光を透過し他の波長領域の光を反射または吸収する。第2波長透過部122は、第2の波長λ2の光を透過し他の波長領域の光を反射または吸収する。
また、図12の(b)に示すように、円盤カラーフィルタ120は、カラーフィルタ駆動部125により、第1波長透過部121と第2波長透過部122とが交互に光路AX内に位置するように回転駆動される。このような構成によっても、交番ビデオ信号Vを得ることができる。
(第3の変形例)
図13は、本実施例の第3の変形例に用いるカラーフィルタ130の正面構成を示す。本変形例では、光源部は、第1の波長λ1と第2の波長λ2とを含む所定の波長領域の光を観察対象物101に照射する。例えば、光源部102R、102Lとして、LEDやLDの代わりにキセノンランプを用いることができる。
イメージセンサ105は、複数の画素を有している。そして、複数の画素の近傍にカラーフィルタ130が配置されている。カラーフィルタ130の第1波長透過部131は、第1の波長λ1の光を透過し他の波長領域の光を反射または吸収する。第2波長透過部132は、第2の波長λ2の光を透過し他の波長領域の光を反射または吸収する。そして、第1波長透過部131と第2波長透過部132とは、それぞれ画素に対応して交互に配列されている。
この構成によれば、第1の波長λ1と第2の波長λ2とが空間的に分離されているので、交番信号を介さずに直接画素(ピクセル)間の信号の差分を演算し、傾斜信号Xを得ることができる。好ましくは、差分演算を行うときに、画素をずらすこと、または補間画像を作成して、補間画像間で差分演算を行うことなどが望ましい。
(第4の変形例)
実施例1では、上述したように各画素において並列処理を行う回路構成となっている。ここで、画素信号がクロックレートで順次転送されるビデオ信号の場合には、遅延回路の導入が好ましい。
図14−1は、遅延回路211を導入した構成例を示す。遅延回路211は、各画素ごとではなく、イメージセンサ105に対して1つ接続すれば良い。例えばイメージセンサ105から出力された交番ビデオ信号Vは、遅延回路211を通ってΔtだけ遅延されたビデオ信号VΔtと一緒に差動増幅器212に入力される。差動増幅器212は、差信号V−VΔtを出力する。遅延時間Δtを1フレーム0.8msecの撮影時間とすれば、フレームごとに交番された一秒間に1250フレームの画像が得られる。このとき遅延時間Δtは交番発光のタイミングと完全に同期しているので、差信号V−VΔtは第1の波長λ1を照射したときの戻り光と、第2の波長λ2を照射したときの戻り光との、同一画素間同士の差分信号となっている。ただし、交番ごとに引き算の方向が逆転しているので、例えばリレー回路を用いて整列させる必要がある。
図14−2の(a)〜(i)に示す各信号を適宜参照して、さらに説明を続ける。図14−2は図3と同じく、1個の赤血球が毛細血管Bの中を図中左側から右側に移動する場合を想定した時の波形図である。交番ビデオ信号V以降の各信号は便宜的に矩形波で示されているが、実際は各ピクセルの出力信号の包絡線となっている。リレー回路213、214には、駆動回路108(不図示)からゲート信号a2、b2が供給される。これにより、リレー回路213からは、信号Λ1が出力される。また、リレー回路214からは、信号Λ2が出力される。次に、差動増幅器215によって傾斜信号Xに相当する差分信号が得られる。そして、積分器216により最終的に傾斜信号X(=Λ1−Λ2)が出力される。正規化部106は、上述の正規化演算を行なう。そして、TVモニタ107は、最終結果を表示する。
(動脈、静脈の抽出・分離)
ここで、図15を参照して傾斜信号Xをさらに考察する。傾斜信号Xを、図15の(b)に示すように、例えば+4からゼロを経由して−4になるまで9段階に量子化(レベル分け)する。また、上述したように、傾斜信号Xは、光量変動や反射率の変化に対して変動しないように、光量信号Yで正規化されているのが望ましい。
+4がHbO(酸素結合率100%)、−4がHbR(酸素結合率0%)、そしてゼロが中間状態にそれぞれ対応する。参考のために、図7に対応させた吸収スペクトルを図15の(a)に示す。毛細血管を通過する赤血球は、理想的には+4から−4までの9段階を連続的に変化する。そして動脈における酸素飽和度は、個人差や環境の相違でもばらつきがある。酸素飽和度100%は濃い酸素を吸った場合などであり、稀なケースである。通常は、酸素飽和度95〜97%程度である。さらに、空気の希薄な環境下では、酸素飽和度90%未満となる場合もある。このため、動脈であっても+4のレベルに至らないこともある。
これに対して、静脈は、通常状態と賦括状態とでHbRとHbOの比率が僅かだが変動するようである。通常は、HbOで酸素飽和度70%(HbRが30%)程度と言われている。
図15では、動脈が+3〜+4の領域に固定され、静脈は例えば+2〜+1の領域に固定されるとしている。本来、動脈及び静脈も、変動要因があるため、領域の選び方には工夫が必要となる。ここで、本発明に係るヘモグロビン観察装置100を用いることにより、動脈血管と静脈血管を容易に抽出すること、分離すること、及び抽出・分離結果を表示することができる。この結果、本発明は、例えば、血管パターンを利用した新たな生体認証にも応用できる。
(グレー表示・カラー表示)
傾斜信号Xは、TVモニタ107により、グレースケール表示、またはカラースケール表示される。ここで、酸素飽和度及び酸素結合率(ヘモグロビンと酸素との結合状態)の量子化レベルを明確に区別するにはカラースケール表示が望ましい。図15の(c)で示すように、傾斜信号Xを、図15において上から順番に濃々赤→濃赤→赤→淡赤→白→淡青→青→濃青→濃々青に対応させれば、動脈と静脈の色イメージに応じた疑似カラー表示ができる。疑似カラー法で、図5で示したような画像(実際は写真)を表示すると、毛細血管は濃々赤から白を経て濃々青に変化し、細動脈は濃々赤と濃赤、細静脈は赤と淡赤で固定されると思われる。
一方、レベル+3、+2、+1と、レベル−1、−2、−3とは、それぞれ何%の酸素結合率や酸素飽和度であるかは不明である。吸収スペクトル曲線を直線近似できる領域内では、第1の波長λ1と第2の波長λ2を適切に選択すれば、9段階順と酸素結合率との間で逆転は起きない。予め、9段階のそれぞれに求めた酸素結合率や酸素飽和度を対応させておけば、カラー表示された色により酸素結合率や酸素飽和度を正確に判定できる。
(差分信号の留意点)
2波長戻り光量間の差分信号を酸素結合率や酸素飽和度の測定に使おうとしている。このときに想定される問題が2つある。一つ目の問題は、2波長間の照明強度のバランスである。バランスがずれていると、信号にバイアス成分が重畳されてしまう。二つ目の問題は、時間的・空間的な照明ムラである。2波長間の立ち上がり、立下り特性は揃えても、照明ムラはお互いにランダムであろうから、継はぎ状のノイズが発生する。これらのノイズは信号成分を埋没させる危険があるため、除去しておかねばならない。
(照明光の調整方法)
照明光の調整方法として、一様な反射率を持つ反射板を使う方法と、実際の生体を使う方法が考えられる。2波長間の照明強度のバランスを調整するには、いずれか一方の波長の照明強度を調整する。照明強度と共にイメージセンサの分光特性まで含めて調整される。反射板の場合には画面が真っ白になれば良い。生体の場合には血管像以外の背景が真っ白になれば良い。背景が真っ白になれば差分信号、即ち傾斜信号Xが浮かび上がってくる。通常は真っ白にならずに、淡赤、ひどい場合には赤や青がまだら模様で浮かぶであろう。この時は照明を工夫して、一様にしなければならない。量子化数を上げれば、調整制度が上がり、測定精度が向上する。
(第5の変形例)
次に、傾斜信号Xと光量信号Yの重畳表示を行う構成例を説明する。図16は、第4の変形例として示した図14―1のヘモグロビン観察装置に、通常ビデオ信号を重畳した例である。
図16において、図14―1で示した回路と同一の部分には同一の符号を付し、重複する説明は省略する。積分器227には、交番ビデオ信号Vが直接入力される。積分器227は、第1の波長λ1おける第1の反射光量または透過光量と、第2の波長λ2における第2の反射光量または透過光量との少なくとも一方の値を出力する。例えば、本変形例では、積分器227は、第1の波長λ1の光と、第2の波長λ2の光とを連続照射した場合に相当する光量信号Y(=Λ1+Λ2)を出力する。
重畳器228は、傾斜信号Xと光量信号Yとを重畳して、TVモニタ107へ出力する。これにより、TVモニタ107は、傾斜信号Xと光量信号Yが重畳された画像を表示する。なお、重畳表示で見難くなる場合には、光量信号Yのエッジ成分のみを輪郭抽出画像処理回路(不図示)により抽出する。エッジ成分を抽出した結果、血管の輪郭のみを表示すれば見やすい画像となる。また、傾斜信号Xに影響を与えない波長の別光源を設けてDC発光させれば、同一のイメージセンサ105により通常のビデオ信号が得られる。これを光量信号Yの代わりに使用することもできる。
図17は、本発明の実施例2に係るヘモグロビン観察装置300の概略構成を示す。実施例1と同一の部分には同一の符号を付し、重複する説明は省略する。駆動回路108は、光源部102R、102Lをそれぞれ駆動する。これにより、光源部102R、102Lは、観察対象物101、例えば生体に第1の波長λ1と第2の波長λ2とを含む交番されない連続波の光が照射される。照射光は、生体内で吸収を受けて撮像ユニット303に入射する。
本実施例では、第1の波長λ1の光と第2の波長λ2の光とのいずれか一方の光として、上述した等吸収波長の光を照射する。例えば、第2の波長の光λ2として、等吸収波長の光を用いる。
図18は、ヘモグロビンの本実施例において用いる波長近傍の吸収スペクトルを示す。第1の波長λ1=780nm、または差分量を大きく取りたい場合は680nm近辺を選択する。また、第2の波長λ2=805nmは、等吸収波長である。酸化ヘモグロビンHbOの吸収スペクトルを直線OL(破線)で、還元ヘモグロビンHbRの吸収スペクトルを直線RL(実線)でそれぞれ示す。なお、第1の波長λ1として等吸収波長を用いることもできる。
撮像ユニット303内の結像レンズ104を透過した光は、光路分割部305へ入射する。光路分割部305は、観察対象物101からの反射光または透過光を少なくとも第1の光路と第2の光路とに分割する。光路分割部305として、ハーフミラーやビームスプリッタを用いることができる。
第1の光路には、第1波長透過部306aが配置されている。第1波長透過部306aは、第1の波長λ1の光を透過し他の波長領域の光を反射または吸収する。第1波長透過部306aを透過した光は、第1のイメージセンサ307aに入射する。第1のイメージセンサ307aは、第1の光路に配置され第1の波長λ1による観察対象物101の像を取り込む。第1のイメージセンサ307aは、第1撮像部に対応する。
また、第2の光路には、第2波長透過部306bが配置されている。第2波長透過部306bは、第2の波長λ2の光を透過し他の波長領域の光を反射または吸収する。第2波長透過部306bを透過した光は、第2のイメージセンサ307bに入射する。第2のイメージセンサ307bは、第2の光路に配置され第2の波長λ2による観察対象物101の像を取り込む。第2のイメージセンサ307bは、第2撮像部に対応する。
結像レンズ104は、第1のイメージセンサ307aの受光面上と、第2のイメージセンサ307bの受光面上とにそれぞれ観察対象物101の像を結像する。差動増幅器308は、実施例1と同様に、λ1戻り光による信号とλ2戻り光による信号との差分を算出する。
また、正規化部106は、等吸収波長における第2の反射光量または透過光量の値に基づいて正規化を行う。本実施例における正規化の具体的な手順は、後述する。そして、TVモニタ107は、正規化された差分の像を表示する。
これらの像は、それぞれのフレームメモリ(図示せず)に格納された後に差動演算される。そして、傾斜信号Xが生成される。2つの撮像部307a、307bの相対位置ずれは、画像ずらし処理によって補正される。これにより、画素間の特性のばらつきは必要な範囲内に収まるように選別される、または事前に行った特性測定結果によって補正される。
図19は、本実施例における差分演算の具体例を示す。例えば、第1の波長λ1を照射したときの観察対象物101の第1番目のフレーム画像のうちm番目の画素の出力信号をλ1とする。また、第2の波長λ2(等吸収波長)を照射したときの観察対象物101の第2番目のフレーム画像のうちm番目の画素の出力信号をλ2とする(m=1・・・n)。
差動増幅器308は、λ2−λ1を演算する。そして、正規化部106は、(λ2−λ1)/λ2を演算する。このような演算を、例えば、第(2k−1)番目のフレームと第2k番目のフレームとの間、及び第2k番目のフレームと第(2k+1)番目のフレームとの間で全ての画素について行う。これにより、最終的に、光量変動や反射率の変化に対して変動しない等吸収波長で正規化された(2n−1)枚の差分画像を得ることができる。
差分演算により、映像を生成する部分については、S/N比の良い画像を得ようとすれば、オンラインで差分演算まで処理することが望ましい。しかしながら、このようなデバイスは、新たな開発が必要となってしまう。現実的には、オフライン処理で済むように、1250枚の映像を、例えば、コンピュータ内のHDD等に格納してから、2画面間の対応画素毎の差分演算と正規化のための割り算演算を行う構成とすることができる。また、TVモニタ107は、駒送りのスローモーション再生を行うことが望ましい。
なお、上記実施例1、実施例2において、等吸収波長としてλ=569nmを選択しても良い。このように、波長の選択は、場合に応じて使い分けることができる。
また、等吸収波長の光を生体に照射して、その反射光量との比率を測定する。その結果をLambert−Beerの吸収に関する方程式に適用させれば、演算から総ヘモグロビン濃度を求めることができる。
実施例1では第3の波長として等吸収波長の光を選択すればよい。実施例2では既に等吸収波長として一方の光が選択されている。更に、散乱特性や照射光量特性がほぼ同じであろう近い波長の2つの等吸収波長の光を照射光として選ぶ(例えば569nmと586nm)。そして2波長の反射光量の比率を求めれば、方程式から散乱項と照射光量項がキャンセルされる。従ってこの場合は反射光量比を測定するだけで、総ヘモグロビン濃度を求めることができる。
このため、上記各実施例で得られた酸素飽和度に総ヘモグロビン濃度を積算することで、絶対的な値を得ることもできる。これにより、本発明によれば、酸素飽和度、酸素結合率に加えて、総ヘモグロビン濃度や絶対的な値を得ることができる。
(ヘモグロビン以外への適用)
本発明の観察対象は、ヘモグロビンに限定されることはない。酸素と結合した場合と酸素を放出した場合の吸収スペクトル曲線が異なる、例えばミオグロビンのような観察対象に対しても適用できる。
(本発明の適用分野)
本発明は、さらに以下のような適用分野、応用分野が考えられる。
(1)指先、白目、網膜:これらは、in vivo(生体内で)で微小循環が観察できる場所である。そして、本発明は、特に上述のような毛細血管の酸素交換のミクロ的な研究に有用である。本発明により、近年、注目されている血液サラサラ度などの最適値が求まる可能性がある。
(2)頭部:近赤外の光は、頭皮や頭蓋骨を透過する。このため、ヘモグロビンHbの酸素交換状態が映像化されるので、脳の機能を調べるのに有用である。
(3)ガン細胞:ガン細胞は、正常細胞よりも酸素交換を活発に行っているとすれば、本発明は、ガン細胞の発見に貢献することができる。
(4)顔、手:本発明は、顔や手等の肌の状態の情報提供に有用である。例えば、本発明は、しわ血管などの観察に有用である。
(5)手指、手の平:本発明によれば、容易に動脈と静脈が分離できる、このため、本発明は、血管パターンによる新たな生体認証に有用である。
(6)健康飲料水、健康関連の商品の開発:本発明は、健康関連の開発商品の効果の確認や、飲んだら活発に酸素交換をするようになる健康飲料水の開発に有用である。
さらに、本発明は、以下のような研究等に貢献できる。
(7)薬理効果の新たな判定基準を提供できる。
(8)食事・運動・癒しなどの生活習慣病予防効果の新たな判定基準を提供できる。
(9)飲食や喫煙が酸素交換機能へ及ぼす影響の測定に貢献できる。
(10)腹式呼吸や胸式呼吸と酸素交換との相関研究に貢献できる。
(11)上述のように、脳波や脳機能と酸素交換との相関研究に貢献できる。
加えて、本発明は、例えば、酸素消費量が異常に多い細胞を容易に識別できる機能内視鏡、酸素交換現場を観察できる機能顕微鏡等に適用できる。このように、本発明は、その趣旨を逸脱しない範囲でさまざまな変形例をとることができる。
以上のように、本発明は、ヘモグロビンと酸素との結合状態を広くマクロ的に観察できると共に、毛細血管内でヘモグロビンが酸素交換を行う瞬間のミクロな変化を観察するときに有用である。
本発明の実施例1に係るヘモグロビン観察装置の概略構成を示す図である。 実施例1のヘモグロビン観察装置の一部の構成をさらに詳細に示す図である。 実施例1において信号の波形等を示す図である。 毛細血管における酸素交換の過程を示す図である。 本発明に係るヘモグロビン観察装置により撮影された毛細血管の写真を模式化して示す図である。 ヘモグロビンの吸収スペクトルを示す図である。 ヘモグロビンの吸収スペクトルの一部を拡大して示す図である。 差分信号を説明する図である。 実施例1の第1の変形例の概略構成を示す図である。 実施例1の第1の変形例の測定・演算手順を示す図である。 実施例1の第1の変形例の差分演算等を示す図である。 実施例1の第2の変形例に用いるカラーフィルタを示す図である。 実施例1の第3の変形例に用いるカラーフィルタを示す図である。 実施例1の第4の変形例の一部の回路構成を示す図である。 実施例1の第4の変形例の各信号を示す図である。 カラースケール表示の内容を示す図である。 実施例1の第5の変形例の一部の回路構成を示す図である。 本発明の実施例2に係るヘモグロビン観察装置の概略構成を示す図である。 ヘモグロビンの吸収スペクトルの一部を拡大して示す他の図である。 実施例2の測定・演算手順を示す図である。
符号の説明
100 ヘモグロビン観察装置
101 観察対象物
102R、102L 光源部
103 撮像ユニット
104 結像レンズ
105 イメージセンサ
105P 画素
106 正規化部
107 TVモニタ
108 駆動回路
111 バッファアンプ
112、113 リレー回路
114、115 積分器
116 差動増幅器
120 カラーフィルタ
121 第1波長透過部
122 第2波長透過部
125 カラーフィルタ駆動部
130 カラーフィルタ
131 第1波長透過部
132 第2波長透過部
200 信号処理回路
201 フレームメモリ
202 リレー回路
203、205 フレームメモリ
204 差動増幅器
206 加算器
207 割り算器
211 遅延回路
212 差動増幅器
213、214 リレー回路
215 差動増幅器
216 積分器
227 積分器
228 重畳器
300 ヘモグロビン観察装置
303 撮像ユニット
305 光路分割部
306a 第1波長透過部
306b 第2波長透過部
307a 第1のイメージセンサ
307b 第2のイメージセンサ
308 差動増幅器
Ba、Bb、Bc 毛細血管
λ1 第1の波長
λ2 第2の波長

Claims (12)

  1. ヘモグロビンと酸素との結合状態を吸収スペクトルに基づいて観察するためのヘモグロビン観察装置であって、
    酸素と100%結合した状態の酸化ヘモグロビンの吸収スペクトルと、酸素を100%放出した状態の還元ヘモグロビンの吸収スペクトルとが交差する波長を等吸収波長とするとき、
    前記等吸収波長を含み、吸収スペクトル曲線が略直線とみなすことができる波長領域のうちの少なくとも2つの異なる第1の波長の光と第2の波長の光とを所定の交番間隔で交互にヘモグロビンを含む毛細血管に照射する光源部と、
    前記光源部により照射された光の反射光または透過光に基づいて前記毛細血管の像を取り込む撮像部と、
    前記撮像部から出力された交番ビデオ信号に基づいて演算を行う演算処理部と、
    演算処理された結果を表示する表示部と、を有し、
    前記演算処理部は、前記交番ビデオ信号に基づいて前記第1の波長の光系列の信号と前記第2の波長の光系列の信号とに分離し、分離された2つの信号の差分信号の時系列の変化に基づいて、赤血球が前記毛細血管内を移動しているときの前記ヘモグロビンと酸素との過渡的な結合状態を算出することを特徴とするヘモグロビン観察装置。
  2. 前記第1の波長の光は、前記等吸収波長よりも短波長側の光であり、前記第2の波長の光は、前記等吸収波長よりも長波長側の光であることを特徴とする請求項1に記載のヘモグロビン観察装置。
  3. 酸素と100%結合した状態の酸化ヘモグロビンについて、前記第1の波長における吸光度の値と前記第2の波長における吸光度の値とを加算した値と、
    酸素を100%放出した状態の還元ヘモグロビンについて、前記第1の波長における吸光度の値と前記第2の波長における吸光度の値とを加算した値と、が略等しいことを特徴とする請求項1または2に記載のヘモグロビン観察装置。
  4. 前記演算処理部は、前記第1の波長における前記第1の反射光量または透過光量と前記第2の波長における前記第2の反射光量または透過光量とを加算した値に基づいて正規化を行うことを特徴とする請求項1〜3のいずれか1つの項に記載のヘモグロビン観察装置。
  5. 前記光源部は、前記第1の波長の光と前記第2の波長の光とのいずれか一方の光として前記等吸収波長の光を照射することを特徴とする請求項1に記載のヘモグロビン観察装置。
  6. 前記演算処理部は、前記等吸収波長における前記第1の反射光量または透過光量、または前記等吸収波長における前記第2の反射光量または透過光量に基づいて正規化を行うことを特徴とする請求項5に記載のヘモグロビン観察装置。
  7. 前記撮像部によって撮像されたフレーム画像を格納するフレームメモリを有し、前記フレームメモリは、前記第1の波長を前記毛細血管に照射したときの画像を格納する第1のフレームメモリと、前記第2の波長を前記毛細血管に照射したときの画像を格納する第2のフレームメモリとを有することを特徴とする請求項1〜6のいずれか1つの項に記載のヘモグロビン観察装置。
  8. 前記演算処理部は、前記交番ビデオ信号と、前記交番ビデオ信号と交番間隔だけ遅延させたビデオ信号との差信号を出力し、その差信号を前記第1の波長の光系列の信号と前記第2の波長の光系列の信号とに分離し、分離された2つの信号の差分信号の時系列の変化に基づいて、赤血球が前記毛細血管内を移動しているときの前記ヘモグロビンと酸素との過渡的な結合状態を算出することを特徴とする請求項1〜7のいずれか1つの項に記載のヘモグロビン観察装置。
  9. ヘモグロビンと酸素との結合状態を吸収スペクトルに基づいて観察するためのヘモグロビン観察装置であって、
    酸素と100%結合した状態の酸化ヘモグロビンの吸収スペクトルと、酸素を100%放出した状態の還元ヘモグロビンの吸収スペクトルとが交差する波長を等吸収波長とするとき、
    前記等吸収波長を含み、吸収スペクトル曲線が略直線とみなすことができる波長領域のうちの少なくとも2つの異なる第1の波長の光と第2の波長の光とを含む所定の波長領域の光をヘモグロビンを含む毛細血管に照射する光源部と、
    前記光源部により照射された光の反射光または透過光に基づいて前記毛細血管の像を取り込む撮像部と、
    前記光源部と前記毛細血管との間の光路内と、前記毛細血管と撮像部との間の光路内との少なくともいずれか一方の光路内に配置され、前記第1の波長の光を透過し他の波長領域の光を反射または吸収する第1波長透過部と、前記第2の波長の光を透過し他の波長領域の光を反射または吸収する第2波長透過部とを備えたカラーフィルタと、
    前記第1波長透過部と前記第2波長透過部とが交互に前記光路内に位置するように、前記カラーフィルタを回転駆動させ、交番ビデオ信号を得るための駆動部と、
    前記撮像部から出力された交番ビデオ信号に基づいて演算を行う演算処理部と、
    演算処理された結果を表示する表示部と、を有し、
    前記演算処理部は、前記交番ビデオ信号に基づいて前記第1の波長の光系列の信号と前記第2の波長の光系列の信号とに分離し、分離された2つの信号の差分信号の時系列の変化に基づいて、赤血球が前記毛細血管内を移動しているときの前記ヘモグロビンと酸素との過渡的な結合状態を算出することを特徴とするヘモグロビン観察装置。
  10. 前記表示部は、算出された前記ヘモグロビンと酸素との結合状態を、グレースケール表示またはカラースケール表示することを特徴とする請求項1〜9のいずれか1つの項に記載のヘモグロビン観察装置。
  11. 前記第1の波長における前記第1の反射光量または透過光量と、前記第2の波長における前記第2の反射光量または透過光量との少なくとも一方の値を出力する積分器と、
    前記演算処理部からの算出結果と、前記積分器からの出力結果とを重畳する重畳器とをさらに有することを特徴とする請求項1〜10のいずれか1つの項に記載のヘモグロビン観察装置。
  12. ヘモグロビンと酸素との結合状態を吸収スペクトルに基づいて観察するためのヘモグロビン観察方法であって、
    酸素と100%結合した状態の酸化ヘモグロビンの吸収スペクトルと、酸素を100%放出した状態の還元ヘモグロビンの吸収スペクトルとが交差する波長を等吸収波長とするとき、
    前記等吸収波長を含み、吸収スペクトル曲線が略直線とみなすことができる波長領域のうちの少なくとも2つの異なる第1の波長の光と第2の波長の光とを所定の交番間隔で交互にヘモグロビンを含む毛細血管に照射する第1のステップと、
    前記照射された光の反射光または透過光に基づいて前記毛細血管の像を撮像部に取り込む第2のステップと、
    前記撮像部から出力された交番ビデオ信号に基づいて演算処理を行う第3のステップと、
    演算処理された結果を表示する第4のステップとを有し、
    前記第3のステップでは、前記交番ビデオ信号に基づいて前記第1の波長の光系列の信号と前記第2の波長の光系列の信号とに分離し、分離された2つの信号の差分信号の時系列の変化に基づいて、赤血球が前記毛細血管内を移動しているときの前記ヘモグロビンと酸素との過渡的な結合状態を算出することを特徴とするヘモグロビン観察方法。
JP2005157022A 2005-05-30 2005-05-30 ヘモグロビン観察装置及びヘモグロビン観察方法 Expired - Fee Related JP4739817B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005157022A JP4739817B2 (ja) 2005-05-30 2005-05-30 ヘモグロビン観察装置及びヘモグロビン観察方法
PCT/JP2006/310944 WO2006129740A1 (ja) 2005-05-30 2006-05-25 ヘモグロビン観察装置及びヘモグロビン観察方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005157022A JP4739817B2 (ja) 2005-05-30 2005-05-30 ヘモグロビン観察装置及びヘモグロビン観察方法

Publications (2)

Publication Number Publication Date
JP2006326153A JP2006326153A (ja) 2006-12-07
JP4739817B2 true JP4739817B2 (ja) 2011-08-03

Family

ID=37481668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005157022A Expired - Fee Related JP4739817B2 (ja) 2005-05-30 2005-05-30 ヘモグロビン観察装置及びヘモグロビン観察方法

Country Status (2)

Country Link
JP (1) JP4739817B2 (ja)
WO (1) WO2006129740A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175667B2 (en) 2006-09-29 2012-05-08 Nellcor Puritan Bennett Llc Symmetric LED array for pulse oximetry
US8068891B2 (en) 2006-09-29 2011-11-29 Nellcor Puritan Bennett Llc Symmetric LED array for pulse oximetry
JP2009153621A (ja) * 2007-12-25 2009-07-16 Olympus Corp 生体観察装置および内視鏡装置
US8577434B2 (en) 2007-12-27 2013-11-05 Covidien Lp Coaxial LED light sources
JP5295584B2 (ja) * 2008-02-14 2013-09-18 国立大学法人 筑波大学 血流計測装置及び血流計測装置を用いた脳活動計測装置
JP5267143B2 (ja) 2008-03-27 2013-08-21 富士フイルム株式会社 撮像装置およびプログラム
US8818473B2 (en) 2010-11-30 2014-08-26 Covidien Lp Organic light emitting diodes and photodetectors
JP5466182B2 (ja) 2011-01-11 2014-04-09 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
US9037204B2 (en) 2011-09-07 2015-05-19 Covidien Lp Filtered detector array for optical patient sensors
JP6468287B2 (ja) * 2014-06-05 2019-02-13 株式会社ニコン 走査型投影装置、投影方法、走査装置、及び手術支援システム
JP6284451B2 (ja) * 2014-07-17 2018-02-28 Hoya株式会社 内視鏡装置
CN104605828A (zh) * 2015-01-30 2015-05-13 南昌欧菲光科技有限公司 智能穿戴设备
JPWO2017018114A1 (ja) * 2015-07-30 2018-05-31 アルプス電気株式会社 センサモジュールおよび生体関連情報表示システム
US10638960B2 (en) 2015-10-26 2020-05-05 Reveal Biosensors, Inc. Optical physiologic sensor methods
WO2017094010A1 (en) 2015-11-30 2017-06-08 Technion Research & Development Foundation Limited Hemoglobin measurement from a single vessel
CA3027592A1 (en) 2016-06-14 2017-12-21 John Josef Paul FENGLER Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
JP6853683B2 (ja) * 2016-06-27 2021-03-31 医療法人社団皓有会 血中酸素飽和度測定装置
JP2018029870A (ja) * 2016-08-26 2018-03-01 セイコーエプソン株式会社 検出装置および検出方法
US11602277B2 (en) 2017-01-16 2023-03-14 Hoya Corporation Endoscope system and image display device
JP6931705B2 (ja) * 2017-02-10 2021-09-08 ノバダック テクノロジーズ ユーエルシー オープンフィールドハンドヘルド蛍光イメージングシステムおよび方法
JP6853712B2 (ja) * 2017-03-29 2021-03-31 医療法人社団皓有会 血中酸素飽和度測定装置
JP7458643B2 (ja) 2020-05-15 2024-04-01 バイオニクス株式会社 血流認証装置用端末機器及びこれを用いた入退室制御装置
CN114778418B (zh) * 2022-06-17 2022-09-27 深圳安侣医学科技有限公司 基于显微放大数字图像的血红蛋白分析方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000300568A (ja) * 1999-04-20 2000-10-31 Fuji Photo Film Co Ltd 末梢血管の画像化装置
JP2003337102A (ja) * 2002-05-20 2003-11-28 Communication Research Laboratory 生体活動計測装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61143377U (ja) * 1985-02-26 1986-09-04
JP2954596B2 (ja) * 1988-02-08 1999-09-27 オリンパス光学工業株式会社 内視鏡装置
JP3497012B2 (ja) * 1994-11-30 2004-02-16 謙 石原 非侵襲血液分析装置
JPH1119073A (ja) * 1997-06-30 1999-01-26 Shimadzu Corp 代謝機能測定装置
JPH11299760A (ja) * 1998-04-17 1999-11-02 Mitsubishi Electric Corp 脳活動計測装置
JP2002272744A (ja) * 2001-03-19 2002-09-24 Hochiki Corp 画像診断装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000300568A (ja) * 1999-04-20 2000-10-31 Fuji Photo Film Co Ltd 末梢血管の画像化装置
JP2003337102A (ja) * 2002-05-20 2003-11-28 Communication Research Laboratory 生体活動計測装置

Also Published As

Publication number Publication date
WO2006129740A1 (ja) 2006-12-07
JP2006326153A (ja) 2006-12-07

Similar Documents

Publication Publication Date Title
JP4739817B2 (ja) ヘモグロビン観察装置及びヘモグロビン観察方法
US11278220B2 (en) Determining peripheral oxygen saturation (SpO2) and hemoglobin concentration using multi-spectral laser imaging (MSLI) methods and systems
US10058256B2 (en) Multi-spectral laser imaging (MSLI) methods and systems for blood flow and perfusion imaging and quantification
US7588535B2 (en) Apparatus, method and system for intravascular photographic imaging
JP5028256B2 (ja) 光学的にアクセス可能な血管における血液の酸素飽和度を決定するための分光測光法
US20180098702A1 (en) Functional optical coherent imaging
JP5939649B2 (ja) 心臓血管脈拍波動の視覚化の方法および装置
US11690513B2 (en) Methods and system for multi-channel bio-optical sensing
JP2016511659A (ja) 対象者のバイタルサイン情報を決定するためのシステム及び方法
US11779246B2 (en) Hemoglobin measurement from a single vessel
US20220360700A1 (en) Medical imaging device for spatially resolved recording of multispectral video data
JP2000155090A (ja) 血管の画像化装置
US20210030277A1 (en) Methods, Systems and Computer Program Products for Calculating MetaKG Signals for Regions Having Multiple Sets of Optical Characteristics
US5699797A (en) Method of investigation of microcirculation functional dynamics of physiological liquids in skin and apparatus for its realization
JP4083343B2 (ja) 末梢血管の画像化装置
He et al. Spatiotemporal monitoring of changes in oxy/deoxy-hemoglobin concentration and blood pulsation on human skin using smartphone-enabled remote multispectral photoplethysmography
JP6771968B2 (ja) 情報取得装置、撮影装置及び情報取得方法
CN116615138A (zh) 用于提供血液灌注的一个或多个方面的成像的设备、方法和系统
CN109791694A (zh) 用于确定对象的生理参数的方法和设备及其计算机程序产品
Robbins et al. Deep tissue multi-wavelength spatial frequency domain imaging
Kuramoto Remote Tissue Oxygenation Monitoring Using Spatial Frequency Domain Imaging and Depth Sensors
Kumar PulseCam: Design, Development and Clinical Evaluation of a New Multi-Sensor Camera-Based Blood Perfusion Imaging Modality
Humphreys et al. A CMOS camera-based system for non-contact pulse oximetry imaging

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080430

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080430

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100820

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101208

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101213

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20101228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110317

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110428

R150 Certificate of patent or registration of utility model

Ref document number: 4739817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees