JP4225864B2 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP4225864B2
JP4225864B2 JP2003299343A JP2003299343A JP4225864B2 JP 4225864 B2 JP4225864 B2 JP 4225864B2 JP 2003299343 A JP2003299343 A JP 2003299343A JP 2003299343 A JP2003299343 A JP 2003299343A JP 4225864 B2 JP4225864 B2 JP 4225864B2
Authority
JP
Japan
Prior art keywords
image
signal
infrared light
visible light
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003299343A
Other languages
English (en)
Other versions
JP2005065976A (ja
Inventor
健二 原野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003299343A priority Critical patent/JP4225864B2/ja
Publication of JP2005065976A publication Critical patent/JP2005065976A/ja
Application granted granted Critical
Publication of JP4225864B2 publication Critical patent/JP4225864B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、可視光画像と赤外光画像とを画像処理する内視鏡装置に関する。
近年、内視鏡装置は、広く用いられている。内視鏡装置は、体腔内に細長な挿入部を挿入することで、体腔内の臓器等を観察したり、必要に応じて処置具挿入用チャンネル内に挿入した処置具を用いて、各種治療処置ができるようになっている。
特に、電荷結合素子(CCD)等の撮像手段を備えた内視鏡装置つまり電子内視鏡装置(光学式内視鏡とこの光学式内視鏡の接眼部にカメラヘッドを着脱自在に装着して構成した装置を含む)は、カラーモニタ上にリアルタイムに動画像を表示でき、広く利用されている。
上記従来の内視鏡装置には、可視光を用いた通常の内視鏡観察に加えて紫外光や近赤外光などの特殊光を用いた特殊光観察が可能な装置がある。
例えば、赤外光観察が可能な電子内視鏡装置は、近赤外光に感度を有する赤外光用撮像手段を備えている。近赤外光は、体内での光の吸収の主な要因となっているヘモグロビンや水による吸収が少ない。このため、上記赤外光観察が可能な電子内視鏡装置は、通常の可視光を用いる電子内視鏡装置において困難な粘膜下層の血管走行やリンパ節(リンパ管とも言う)の画像化に有用である。
このような赤外光観察は、血中内で波長805nm付近の近赤外光に吸収ピークを持つインドシアニングリーン(ICG; Indocyanine green )という薬剤を造影剤として生体内に投与し、血管走行やリンパ節(リンパ管とも言う)の検出精度を高めるということが行われている。
この場合、赤外光観察は、上記電子内視鏡装置の内視鏡挿入部を体腔内に挿入し、処置具挿通用チャンネルに挿通させた穿刺針等の処置具を挿入部先端部の先端開口から突出させて上記ICGを例えば、腫瘍周囲に局注する。そして、赤外光観察は、所定時間後、内視鏡挿入部の先端部から近赤外光により被写体を照明する。そして、上記電子内視鏡装置は、照明された被写体からの反射光を含む光を挿入部先端部の対物光学系から被写体像として取り込み、上記赤外光用撮像手段により撮像する。そして、上記電子内視鏡装置は、上記赤外光用撮像手段で撮像して得た撮像信号を信号処理してモノクロ画像信号を生成し、赤外光観察用の内視鏡画像(以下、赤外光画像)としてモニタにモノクロ画像を表示するようになっている。
このような赤外光観察は、ICGが805nm付近の赤外光を吸収して他の領域よりも暗く(黒く)なるので、粘膜下層の血管部分又はリンパ節に陰影がつき、薬剤を使用しない場合に比較して明瞭に血管の走行状態の観察やリンパ節の検出が容易である。
しかしながら、上記赤外光観察は、肺の炭粉沈着のような黒い領域が存在していると、この黒い領域と、粘膜下層の血管部分やICGが滞留しているリンパ節との見分けがつかず、判別が困難となる。
一方、これに対して特開2000−41942号公報に記載されている電子内視鏡装置は、上記ICGの吸収波長である805nm付近の赤外光の他に、ICGにほとんど吸収されない930nm付近の赤外光を用いて赤外光画像を得るように構成した装置が提案されている。
上記特開2000−41942号公報に記載の電子内視鏡装置は、上記805nm付近の赤外光と930nm付近の赤外光とを面順次により切り換えて被写体を照明し、この被写体からの反射光を含む被写体像を取り込んで上記赤外光用撮像手段によりそれぞれ撮像する。そして、上記公報に記載の電子内視鏡装置は、上記赤外光用撮像手段からの撮像信号を信号処理して得た画像信号に対してモニタの異なる色成分に割り当てることで、ICG領域に色変換処理を施してカラー表示するということが行われていた。
しかしながら、上記公報に記載の電子内視鏡装置は、上記805nm付近の赤外光と930nm付近の赤外光とを面順次により供給するために、光源部に赤外光用の回転フィルタを備えている。このため、上記公報に記載の電子内視鏡装置は、この回転フィルタに同期して上記赤外光用撮像手段に対する駆動制御及びこの駆動制御により得た撮像信号に対する画像処理を行う必要があった。また、上記公報に記載の電子内視鏡装置は、上記のように面順次方式のため、通常の可視光観察時に腫瘍位置の判別などで内視鏡挿入部を急激に動かすと、上記赤外光用撮像手段に対する駆動制御及びこの駆動制御により得た撮像信号に対する画像処理と上記回転フィルタとの同期がうまく取れず、色ずれを起こす虞れもあった。
従って、赤外光観察を行う際には、面順次方式を用いることなく肺の炭粉沈着のような生体内の黒い領域と、ICGが滞留しているリンパ節とを容易に見分けることが望ましい。
特開2000−41942号公報
解決しようとする問題点は、赤外光観察を行う際に、面順次方式を用いると、通常の可視光観察時に腫瘍位置の判別などで内視鏡挿入部を急激に動かした場合、赤外光用撮像手段に対する駆動制御及びこの駆動制御により得た撮像信号に対する画像処理と回転フィルタとの同期がうまく取れず、色ずれを起こしてしまうという虞れがあった点である。
本発明の一態様による内視鏡装置は、少なくとも可視光から近赤外光までの波長帯域の照明光を供給可能な照明手段と、
前記照明手段からの照明光により被写体を照明し、この照明された被写体からの反射光を含む被写体像を取り込む内視鏡挿入部と、
前記内視鏡挿入部から取り込んだ被写体像を少なくとも可視光帯域と近赤外光帯域とに分光する分光手段と、
前記分光手段により分光された前記被写体像の可視光帯域を撮像する撮像手段及び、前記分光手段により分光された前記被写体像の近赤外光帯域を撮像する撮像手段と、
前記撮像手段からの撮像信号を信号処理して得た可視光画像信号と赤外光画像信号との輝度信号を比較し、これら輝度信号の高低が可視光画像信号と赤外光画像信号とで異なる前記被写体像の領域に対して画像識別変換処理を行う画像処理手段と、
この画像処理手段にて画像識別変換処理された信号を前記赤外光画像信号又は可視光画像信号に対して合成する合成手段と、
を具備している。
本発明の内視鏡装置は、赤外光観察を行う際に、面順次方式を用いることなく、肺の炭粉沈着のような生体内の黒い領域と、ICGが滞留しているリンパ節とを見分けることが可能であるという点を有する。
以下、図面を参照して本発明の実施例を説明する。
図1ないし図8は本発明の第1実施例に係わり、図1は第1実施例の内視鏡装置の全体構成を示すブロック図、図2は図1の光源装置に用いたバンドパスフィルタの光学特性を示すグラフ、図3は図1のカメラヘッドに用いた805nmバンドパスフィルタの光学特性を示すグラフ、図4は図1のCCUの内部構成及びカメラヘッドの撮像部を示すブロック図、図5は輝度比較の概念を示すための説明図であり、図5(a)は可視光画像及びこの可視光画像の中央水平位置における、左端を原点とした水平距離に対する輝度値(輝度信号)を示すグラフを示す説明図、図5(b)は赤外光画像及び赤外光画像の中央水平位置における、左端を原点とした水平距離に対する輝度値(輝度信号)を示すグラフを示す説明図、図6は赤外光画像を示す説明図、図7はモニタの表示画面に表示される赤外光処理画像の表示例、図8はICGの光学特性を示すグラフである。
図1に示すように第1実施例の内視鏡装置1は、可視光から近赤外光までの波長帯域を含んだ照明光を供給する光源装置2と、この光源装置2に着脱自在に接続されて、この光源装置2から供給された照明光により被写体を照明し、この被写体からの反射光を含む光を取り込んで被写体像を得る光学式内視鏡(以下、単に内視鏡)3と、この内視鏡3に着脱自在に装着され、後述の撮像部を備えたカメラヘッド4と、このカメラヘッド4の撮像部に対する信号処理を行うカメラコントロールユニット(CCU)5と、このCCU5からの映像信号を入力して内視鏡画像を表示するモニタ6とを有して構成されている。なお、本実施例の内視鏡装置1は、光学式の内視鏡3を用いて構成しているが、撮像部を内蔵した電子内視鏡を用いた内視鏡装置に本発明を適用しても良い。
前記光源装置2は、可視光から近赤外光までの波長帯域を含んだ照明光を発生するキセノンランプ等のランプ2aと、このランプ2aの光路上に設けられ、透過波長を制限するバンドパスフィルタ2bと、このバンドパスフィルタ2bからの照明光を前記内視鏡3の後述するライトガイドファイバに集光入射させる集光光学系2cとを備えている。なお、前記バンドパスフィルタ2bは、図2に示すように光学特性として380nm〜1000nmまでの可視光から近赤外光の波長帯域のみを透過させる透過特性を有している。
前記内視鏡3は、細長な挿入部3aと、この挿入部3aの基端側に連設された太径の把持部3bと、この把持部3bの後端側に形成された接眼部3cとを備えている。
内視鏡挿入部3aは、照明光を伝達するライトガイドファイバ10aが挿通配設されている。このライトガイドファイバ10aは、把持部3bの側部から延出するライトガイドケーブル10を介して前記光源装置2に接続され、前記ランプ2aからの照明光が供給されるようになっている。
そして、内視鏡3は、ライトガイドファイバ10aを介して前記光源装置2から供給された照明光が伝達され、挿入部先端部3dに設けた照明光学系11により拡散されて被写体を照明するようになっている。
前記挿入部先端部3dは、対物光学系12を有して被写体からの反射光を含む光を被写体像として取り込み、イメージガイドファイバ等の像伝達部13を介して内視鏡3の後端側に伝達する。
そして、内視鏡3は、前記像伝達部13により伝達された被写体像を接眼部3cに設けた接眼光学系14により内視鏡像として観察可能になっている。
この内視鏡接眼部3cに着脱自在に装着される前記カメラヘッド4は、前記内視鏡接眼部3cの接眼光学系14に対向する位置に結像光学系20が配置されている。
前記結像光学系20の結像位置には、可視光帯域、近赤外光帯域による内視鏡像を撮像するCCD(電荷結合素子)等の複数の撮像部が配置され、これらの撮像面に結像される内視鏡像を光電変換するようになっている。なお、本実施例は、複数の撮像部として後述するように3つの撮像部(21a〜21c)を備えて構成されている。
また、前記結像光学系20の結像位置に至る光路上には、内視鏡像を可視光帯域と近赤外光帯域とに分光する分光部22が配置されている。また、前記分光部22と前記複数の撮像部との間の光路上には、それぞれ透過波長を制限するための、前記複数の撮像部と同数のバンドパスフィルタ(23a〜23c)が配置されている。これら分光部22及びバンドパスフィルタ(23a〜23c)の構成は、後述する。
前記カメラヘッド4の後端は、カメラケーブル24が延出している。このカメラケーブル24は、この後端にコネクタ24aが設けられている。このコネクタ24aは、CCU5に着脱自在に接続される。前記カメラケーブル24のコネクタ24aがCCU5に接続されると、前記複数の撮像部と前記CCU5とは、信号線を介して電気的に接続されるようになっている。
前記複数の撮像部は、前記CCU5内に設けた図示しない駆動回路からそれぞれ駆動信号が伝達され、駆動制御される。そして、これら複数の撮像部は、入力された駆動信号に基き、撮像面に結像された内視鏡像を光電変換して、電荷を蓄積する。これら複数の撮像部は、蓄積された電荷が駆動回路により撮像信号として読み出され、CCU5内の画像処理部30へ伝達される。
前記画像処理部30は、伝達された撮像信号を信号処理して標準的な映像信号を生成し、前記モニタ6に出力する。前記モニタ6は、得られた映像信号に基き、表示画面上に可視光観察用の内視鏡画像(以下、可視光画像)又は、赤外光観察用の内視鏡画像(以下、赤外光画像)を表示するようになっている。
また、前記CCU5は、可視光画像のみを表示する可視光表示モード、赤外光画像のみを表示する赤外光表示モード、後述の画像処理を施した赤外光処理画像を表示する画像処理表示モードのいずれかを設定して表示モードを切り換えるためのモード設定スイッチ31を設けている。このモード設定スイッチ31は、前記画像処理部30に電気的に接続されている。なお、前記モード設定スイッチ31は、前記カメラヘッド4の外装部に設けても良い。
本実施例では、前記複数の撮像部として内視鏡像の近赤外光帯域を撮像する赤外光用CCD21aと、内視鏡像の可視光短波長帯域を撮像する可視光用短波長側CCD21bと、内視鏡像の可視光長波長帯域を撮像する可視光用長波長側CCD21cと、を備えて構成されている。
また、これら可視光用短波長側CCD21bと、可視光用長波長側CCD21cと、赤外光用CCD21aとに内視鏡像をそれぞれ分光する分光部22は、前記結像光学系20からの内視鏡像を可視光帯域と近赤外光帯域とに分光する第1の分光部であるダイクロイックミラー22Aと、このダイクロイックミラー22Aにより分光された前記内視鏡像の可視光帯域を、更に短波長帯域と長波長帯域とに分光する第2の分光部であるダイクロイックミラー22Bとを備えている。
結像光学系20からの光路上において、ダイクロイックミラー22Aは結像光学系20に対向して配置され、内視鏡像の近赤外光帯域(波長750〜1000nm)を前記赤外光用CCD21a側に反射し、可視光帯域の内視鏡像を後方側へ透過させる。
このダイクロイックミラー22Aにより反射された内視鏡像の近赤外光帯域が結像する結像位置には、前記赤外光用CCD21aが配置され、この撮像面に内視鏡像の近赤外光帯域が結像されるようになっている。
一方、ダイクロイックミラー22Bは、前記ダイクロイックミラー22Aの後方側に配置され、このダイクロイックミラー22Aを透過した内視鏡像の可視光帯域のうち、短波長帯域(青〜緑色)を前記可視光用短波長側CCD21b側に反射し、他の長波長帯域(赤色)を後方側へ透過させる。
このダイクロイックミラー22Bにより反射された内視鏡像の短波長帯域(青〜緑色)が結像する結像位置には、前記可視光用短波長側CCD21bが配置され、この撮像面に可視光短波長帯域の内視鏡像が結像されるようになっている。
また、ダイクロイックミラー22Bを透過した内視鏡像の長波長帯域(赤色)が結像する結像位置には、前記可視光用長波長側CCD21cが配置され、この撮像面に可視光長波長帯域(赤色)の内視鏡像が結像されるようになっている。
また、ダイクロイックミラー22Aと赤外光用CCD21aとの間の光路上には、透過波長をICGの吸収波長に制限するための805nmバンドパスフィルタ23aが配置されている。この805nmバンドパスフィルタ23aは、図3に示すようにICGの吸収波長である近赤外光の波長805nm付近に波長を制限して透過させる光学特性を有している。
また、ダイクロイックミラー22Bと可視光用短波長側CCD21bとの間の光路上には、可視光短波長帯域を制限するGBバンドパスフィルタ23bが配置されている。更に、ダイクロイックミラー22Bと可視光用長波長側CCD21cとの間の光路上には、可視光長波長帯域に制限するためのRバンドパスフィルタ23cが配置されている。なお、これらGBバンドパスフィルタ23b及びRバンドパスフィルタ23cの光学特性は、公知であるので図示しない。
なお、本実施例では、ダイクロイックミラー22A,22Bにより分光部22を構成しているが、これらダイクロイックミラー22A,22Bに替えて図示しない3色分解式又は2色分解式のダイクロイックプリズムを用いて分光部22を構成しても良い。
次に、図4を用いて前記CCU5の前記画像処理部30の詳細構成を説明する。
図4に示すように前記画像処理部30は、前記赤外光用CCD21aからの撮像信号を信号処理し、赤外光用輝度信号(YIR)を生成して出力する赤外光処理回路41と、前記可視光用短波長側CCD21b及び前記可視光用長波長側CCD21cからの撮像信号を信号処理し、可視光用輝度信号(YVR)及び色信号(CVR)を生成して出力する可視光処理回路42と、これら赤外光処理回路41からの赤外光用輝度信号(YIR)と、可視光処理回路42からの可視光用輝度信号(YVR)及び色信号(CVR)が入力されて後述の画像処理を施し、RGBの映像信号を出力する画像処理回路43と、この画像処理回路43からのデジタル映像信号をアナログ映像信号にD/A変換して前記モニタ6に出力するD/A変換回路44と、前記モード設定スイッチ31の設定に従って前記画像処理回路43の動作を制御するCPU45と、を備えて構成される。
前記赤外光処理回路41は、前記赤外光用CCD21aからの撮像信号に対してCDS(相関2重サンプリング)等の前処理を行うプリプロセス回路41aと、このプリプロセス回路41aにより前処理されたアナログ信号をデジタル信号にA/D変換するA/D変換回路41bと、このA/D変換回路41bにより変換されたデジタル信号に対してデジタル映像処理を行い、赤外光用輝度信号(YIR)を生成するデジタル映像処理回路41cとを備えている。
一方、同様に前記可視光処理回路42は、前記可視光用短波長側CCD21bからの撮像信号に対して前処理を行うプリプロセス回路51bと、このプリプロセス回路51bにより前処理されたアナログ信号をデジタル信号にA/D変換するA/D変換回路52bと、前記可視光用長波長側CCD21cからの撮像信号に対して前処理を行うプリプロセス回路51cと、このプリプロセス回路51cにより前処理されたアナログ信号をデジタル信号にA/D変換するA/D変換回路52cと、前記A/D変換回路52bからのデジタル信号及び前記A/D変換回路52cからのデジタル信号に対してデジタル映像処理を行い、可視光用輝度信号(YVR)及び色信号(CVR)を生成するデジタル映像処理回路53とを備えている。
前記赤外光処理回路41からの赤外光用輝度信号(YIR)と、前記可視光処理回路42からの可視光用輝度信号(YVR)及び色信号(CVR)は、前記画像処理回路43に入力され、この画像処理回路43により前記モード設定スイッチ31の設定に応じた表示モードとなるように画像処理が施され、RGBの映像信号が出力されるようになっている。
前記画像処理回路43は、前記赤外光処理回路41からの赤外光用輝度信号(YIR)と前記可視光処理回路42からの可視光用輝度信号(YVR)とを比較する輝度比較回路61と、この輝度比較回路61による比較結果に基づいて、これら輝度信号の高低が異なる被写体像の領域に応じて所定の色変換処理を行う色変換処理回路62と、この色変換処理回路62からの色変換処理信号を合成(重畳)する合成回路63と、この合成回路63からの合成信号に基づき、RGBの映像信号を生成する映像処理回路64と、を備えて構成される。
なお、本実施例において、モード設定スイッチ31により画像処理表示モードが設定された際には、赤外光用輝度信号(YIR)と可視光用輝度信号(YVR)との高低が異なる被写体像の領域に応じて所定の色変換処理を赤外光画像に対して行い、この色変換処理が施された赤外光画像をモニタ6に表示させるようになっている。
前記CPU45は、前記モード設定スイッチ31からの表示モード信号に応じて前記画像処理回路43内の各回路を必要に応じて制御する。
更に具体的に説明すると、モード設定スイッチ31により可視光表示モードが設定されている場合において、CPU45は、可視光表示モード信号を画像処理回路43内の各回路に出力する。これにより、輝度比較回路61、色変換処理回路62及び合成回路63は、動作することなく、可視光処理回路42からの可視光用輝度信号(YVR)及び色信号(CVR)を映像処理回路64へそのままスルーさせる。そして、映像処理回路64は、可視光用輝度信号(YVR)及び色信号(CVR)から可視光用RGB信号を生成し、D/A変換回路44を介して可視光用RGB信号をモニタ6に出力する。
また、モード設定スイッチ31により赤外光表示モードが設定されている場合において、CPU45は、赤外光表示モード信号を画像処理回路43内の各回路に出力する。これにより、輝度比較回路61、色変換処理回路62及び合成回路63は、動作することなく、可視光処理回路42からの赤外光用輝度信号(YIR)を映像処理回路64へそのままスルーさせる。そして、映像処理回路64は、赤外光用輝度信号(YIR)から赤外光用RGB信号を生成し、D/A変換回路44を介してモニタ6に出力する。
更に、モード設定スイッチ31により画像処理表示モードが設定されている場合において、CPU45は、画像処理表示モード信号を画像処理回路43内の各回路に出力する。これにより、輝度比較回路61は、上述したように赤外光用輝度信号(YIR)と可視光用輝度信号(YVR)とを比較し、この比較結果を色変換処理回路62に出力する。この出力と同時に、輝度比較回路61は、赤外光用輝度信号(YIR)を色変換処理回路62に出力する。
色変換処理回路62は、輝度比較回路61による比較結果に基づいて、輝度信号の高低が異なる被写体像の領域に応じて例えば、青色に表示されるように色変換処理を行い、この色変換処理信号を合成回路63に出力する。この出力と同時に、色変換処理回路62は、赤外光用輝度信号(YIR)を合成回路63に出力する。
前記合成回路63は、色変換処理回路62からの色変換処理信号を赤外光用輝度信号(YIR)に合成(重畳)して合成信号を生成し、映像処理回路64に出力する。そして、映像処理回路64は、合成回路63からの合成信号に基づき、赤外光処理用RGB信号を生成し、D/A変換回路44を介してモニタ6に出力する。
このように、本実施例の内視鏡装置1は、赤外光観察を行う際に、面順次方式を用いることなく、肺の炭粉沈着のような生体内の黒い領域と、ICGが滞留しているリンパ節とを見分けることが可能に構成されている。
前記構成される内視鏡装置1は、術者の操作により内視鏡挿入部3aを患者の体腔内に挿入して例えば、胃等の病変部(腫瘍部)付近に挿入部先端部3dが導かれる。このとき、内視鏡装置1はモード設定スイッチ31が可視光表示モードに設定されており、術者はモニタ6の表示画面に表示される可視光(通常観察)画像をモニタ6で観察しながら、内視鏡挿入部3aの挿入を行っている。
そして、術者は、例えば、内視鏡3の処置具挿通用チャンネルに挿通させた図示しない長尺の穿刺針を挿入部先端部3dの先端開口から突出させて被検体部まで誘導し、この穿刺針を病変部(腫瘍部)の下層に穿刺して805nmに吸収波長を有するICGを腫瘍周囲に局注する。すると、病変部(腫瘍部)に局注されたICGは、注入部位よりリンパ管に移行し、5分から15分後にセンチネルリンパ節(Sentinel Lymph Node)に達してこのセンチネルリンパ節に滞留する。なお、センチネルリンパ節とは、腫瘍の原発巣からリンパ管に入った腫瘍細胞が最初に到達するリンパ節である。
ここで、光源装置2からは、ランプ2aにより発生した照明光が380nm〜1000nmまでの可視光から近赤外光の波長帯域のみを透過させて内視鏡3に供給される。
内視鏡3は、光源装置2から供給された照明光により挿入部先端部3dから被写体を照明する。
内視鏡3は、挿入部先端部3dが被写体からの反射光を含む光を被写体像として取り込み、この取り込んだ被写体像を内視鏡像として像伝達部13を介して接眼部3cに伝達する。
そして、カメラヘッド4は、内視鏡接眼部3cを介して結像光学系20から内視鏡像を取り込む。結像光学系20から取り込まれた内視鏡像は、ダイクロイックミラー22A,22B、更にはそれぞれのバンドパスフィルタ23a〜23cを介して可視光用長波長側CCD21c、可視光用短波長側CCD21b、赤外光用CCD21aにより同時に撮像される。
そして、CCU5は、カメラヘッド4の可視光用長波長側CCD21c、可視光用短波長側CCD21b、赤外光用CCD21aから撮像信号が供給される。
CCU5において、画像処理部30は、可視光用長波長側CCD21c、可視光用短波長側CCD21b、赤外光用CCD21aから伝達された撮像信号をそれぞれ信号処理する。
画像処理部30において、赤外光処理回路41は、赤外光用CCD21aからの撮像信号を信号処理し、赤外光用輝度信号(YIR)を生成して画像処理回路43に出力する。
一方、可視光処理回路42は、可視光用長波長側CCD21c及び可視光用短波長側CCD21bからの撮像信号を信号処理し、可視光用輝度信号(YVR)及び可視光用色信号(CVR)を生成して画像処理回路43に出力する。
画像処理回路43は、モード設定スイッチ31の設定に従ってCPU45が各回路を必要に応じて制御する。
ここで、モード設定スイッチ31は可視光表示モードに設定されており、画像処理回路43は、CPU45の制御により上述したように可視光用RGB信号を生成し、D/A変換回路44を介してモニタ6に出力している。
次に、術者は、モード設定スイッチ31を操作して赤外光表示モードに設定する。すると、このモード設定スイッチ31の赤外光表示モードに従って、画像処理回路43は、CPU45の制御により上述したように赤外光用RGB信号を生成し、D/A変換回路44を介してモニタ6に出力する。
ここで、可視光画像及び赤外光画像は、モニタ6の表示画面に例えば、図5(a),(b)に示すように表示される。
図5(a)に示すように可視光画像は、肺の炭粉沈着が黒く表示され、ICGが滞留しているリンパ節が表示されない。一方、図5(b)に示すように赤外光画像は、ICGが滞留しているリンパ節が黒く表示されるとともに、肺の炭粉沈着も黒く表示される。
このように赤外光画像は、肺の炭粉沈着のような黒い領域が存在していると、この黒い領域と、ICGが滞留しているリンパ節との見分けがつかず、判別が困難となる。
このとき、可視光画像及び赤外光画像を構成している画像信号の輝度値(輝度信号)は、例えば、図5(a),(b)のそれぞれの画像下段に記載しているようになっている。
図5(a)の可視光画像の下段に記載されるグラフは、可視光画像の中央水平位置における、左端を原点とした水平距離に対する輝度値(輝度信号)を示し、 図5(b)の赤外光画像の下段に記載されるグラフは、赤外光画像の中央水平位置における、左端を原点とした水平距離に対する輝度値(輝度信号)を示している。
可視光画像において、ICGが滞留しているリンパ節の領域及び正常組織の領域は、輝度値が高く、肺の炭粉沈着の領域は輝度値が低い。一方、赤外光画像において、正常組織の領域は、輝度値が高く、肺の炭粉沈着の領域及びICGが滞留しているリンパ節の領域は輝度値が低い。
上記の結果を表1に示す。
Figure 0004225864
本実施例では、上述したように画像処理表示モードが設定されている場合において、輝度比較回路61が赤外光用輝度信号(YIR)と可視光用輝度信号(YVR)とを比較し、この比較結果に基づいて色変換処理回路62が輝度信号の高低の異なる被写体像の領域に応じて色変換処理を行うようになっている。
すなわち、図6に示すように赤外光画像において、ICGが滞留しているリンパ節及び炭粉沈着の領域が存在している場合、両方ともに黒く表示されるので、このままでは見分けがつかない。
そこで、術者は、モード設定スイッチ31を画像処理表示モードに設定する。すると、このモード設定スイッチ31の画像処理表示モードに従って、画像処理回路43は、CPU45の制御により上述したように可視光処理用RGB信号を生成し、D/A変換回路44を介してモニタ6に出力する。
その結果、図7に示すようにモニタ6の表示画面には、図6に示した(センチネル)リンパ節の領域に色変換処理を施した赤外光処理画像が表示される。なお、本実施例では、色変換処理回路62が行う色変換処理として、赤外光用輝度信号(YIR)と可視光用輝度信号(YVR)との高低が異なる被写体像の領域を青色に表示されるよう処理を行っている。これにより、赤外光処理画像は、リンパ節の領域が青色に表示されるとともに、炭粉沈着の領域は黒く表示される。
なお、ここで赤外光処理画像について、図8を用いて更になる詳細説明を行う。
図8は、ICGの光学特性である透過特性を示すグラフである。このグラフの横軸は波長、縦軸は透過率を表している。また、このグラフで、「ICG」と記されている曲線はICGの特性であり、また「HS」と記されている曲線は人体の漿液の特性であり、また「ICG+HS」と記されている曲線はICGと人体の漿液との合成された特性である。
このグラフにおいて、「ICG」と記されている曲線は、800nmよりやや短波長側の波長で透過率が最も低くなっており、この波長ではICG単独による光の吸収が大きいことを示している。
ICG単独では800nmよりやや短波長側の波長で透過率が最も低くなっている。しかしながら、生体内に投与されたICGは、蛋白質との結合の影響等により「ICG+HS」と記されている曲線のようになる。すなわち、ICGは、蛋白質との結合の影響等により、透過率が最も低くなる波長が少し長波長側にシフトする。これにより、可視領域ないし近赤外領域の波長において、ICGの実効的な最大吸収波長は、805nm付近となる。また、生体内には近赤外光帯域の光を強く吸収する物質はない。なお、ICGは、可視光帯域では青緑色をしている。
従って、被写体にICGが静脈注射してある場合、波長805mn付近の赤外光による赤外光画像は、赤外光がICGにのみ吸収され、血管部が暗くなり、コントラストの高い画像となる。
しかしながら、赤外光画像は、上述したように肺の炭粉沈着のような黒い領域が存在していると、この黒い領域と、粘膜下層の血管部分やICGが滞留しているリンパ節との見分けがつかず、判別が困難となる。また、可視光画像では、ICGが暗くならないため、リンパ節を判別できない。
そこで、本実施例のように、赤外光画像に対してリンパ節の領域に着色(青色)を行うことで、リンパ節と炭分沈着との見分けが明らかになる。
従って、本実施例の内視鏡装置1は、面順次方式を用いることなく肺の炭粉沈着のような生体内の黒い領域と、ICGが滞留しているリンパ節とを容易に見分けることが可能となる。
この結果、第1実施例の内視鏡装置1は、赤外光観察を行う際に、肺の炭粉沈着のような黒い領域が存在していても、もしくはリンパ節が生体表面より深い位置に存在している際、赤外光画像だけでは見分けにくい場合でも、CCU5の画像処理部30が輝度信号(輝度レベル)を比較し、高低が異なる被写体像の領域に応じて所定の画像処理(色変換処理)により例えば、青色に着色表示されるため、リンパ節の同定率が向上する。
また、第1実施例の内視鏡装置1は、面順次方式を用いていないため、カメラヘッド4及び光源装置2におけるフィルタ切換などが不要となり、内視鏡検査時間の短縮が可能となる。更に第1実施例の内視鏡装置1は、面順次方式を用いていないため、被写体像に対して同時に可視光帯域と近赤外光帯域とによる撮像信号を得るので、リンパ節を着色しても色ずれのない画像表示が可能となる。
また、本実施例では、輝度比較回路61による比較結果に基づいて、輝度信号の高低が異なる被写体像の領域に応じた画像処理として色変換処理を行う色変換処理回路62を設けて構成されているが、本発明はこれに限定されず、色変換処理以外の画像処理として網掛け表示処理や強調表示処理等の画像処理を行う処理回路を設けて構成しても良い。
尚、本実施例では、色変換処理を施した色変換処理信号を赤外光画像の赤外光用輝度信号に合成して赤外光処理画像を表示するように構成しているが、本発明はこれに限定されず、色変換処理を施した色変換処理信号を可視光画像の可視光用輝度信号に合成して可視光処理画像を表示するように構成しても良い。
図9ないし図11は本発明の第2実施例に係わり、図9は第2実施例の内視鏡装置を構成するCCUの内部構成及びカメラヘッドの撮像部を示すブロック図、図10は図9の輝度比較回路の輝度比較結果により同定された(センチネル)リンパ節を示す説明図、図11はモニタの表示画面に表示される赤外光処理画像の表示例である。
上記第1実施例は、モード設定スイッチ31により表示モードを設定してモニタ6の表示画面に可視光画像か又は赤外光画像か又は赤外光処理画像かを切換表示させるように構成しているが、第2実施例は色変換処理を施した可視光画像のみをモニタ6の表示画面に表示させるように構成する。それ以外の構成は上記第1実施例と同様であるので説明を省略し、同一構成には同じ符号を付して説明する。
すなわち、図9に示すように第2実施例の内視鏡装置は、表示モードを切り換えるためのモード設定スイッチ31を設けることなく、色変換処理を施した可視光画像のみをモニタ6の表示画面に表示させるように構成した画像処理部30Bを備えている。このため、前記画像処理部30Bは、モード設定スイッチ31からの表示モード信号に応じて画像処理回路43B内の各回路を制御するCPU45を設けることなく構成される。
従って、前記画像処理部30Bは、前記赤外光処理回路41からの赤外光用輝度信号(YIR)と、前記可視光処理回路42からの可視光用輝度信号(YVR)及び色信号(CVR)が前記画像処理回路43Bに入力されるまでは上記第1実施例とほぼ同様であるが、可視光表示モード、赤外光表示モード、画像処理表示モード等の表示モードを有しないため、画像処理回路43Bにおける動作が異なる。
この画像処理回路43Bは、赤外光用輝度信号(YIR)と、可視光用輝度信号(YVR)及び色信号(CVR)がスルーすることなく、常に各回路が動作するようになっている。
すなわち、この画像処理回路43Bは、輝度比較回路61bが常に赤外光用輝度信号(YIR)と可視光用輝度信号(YVR)とを比較してこの比較結果を色変換処理回路62bに出力するとともに、可視光用輝度信号(YVR)及び色信号(CVR)を色変換処理回路62bに出力する。
ここで、輝度比較回路61bが輝度比較結果により同定したICGが滞留している(センチネル)リンパ節は、例えば、図10に示すように2箇所あるとする。本実施例では、これら2箇所のリンパ節に対して色変換処理を施し、可視光画像に対して合成するようになっている。
すなわち、色変換処理回路62bは、輝度比較回路61bによる比較結果に基づいて、輝度信号の高低が異なる被写体像の領域に応じて色変換処理を行い、この色変換処理信号を合成回路63に出力するともに、可視光用輝度信号(YVR)及び色信号(CVR)を合成回路63bに出力する。
次に、合成回路63bは、色変換処理回路62bからの色変換処理信号を可視光用輝度信号(YVR)及び色信号(CVR)に合成(重畳)して合成信号を生成し、映像処理回路64bに出力する。そして、映像処理回路64bは、合成回路63bからの合成信号に基づき、可視光処理用RGB信号を生成し、D/A変換回路44を介してモニタ6に出力するようになっている。
すると、図11に示すようにモニタ6の表示画面には、図10に示した2箇所のリンパ節の領域に対して色変換処理として青色に着色した可視光画像が表示される。
これにより、第2実施例の内視鏡装置は、画像処理部30Bが輝度信号(輝度レベル)を比較し、高低が異なる被写体像の領域に応じて所定の画像処理(色変換処理)により可視光画像に対して常に着色表示される。
このため、第2実施例の内視鏡装置は、モード切換え無しに常に通常観察している可視光画像により、リンパ節を同定できる。更に、第2実施例の内視鏡装置は、モード設定スイッチ及びCPU45を設ける必要がない。
従って、第2実施例の内視鏡装置は、上記第1実施例と同様な効果を得ることに加え、容易にリンパ節を同定できるとともに、小型化できる。
また、第2実施例の内視鏡装置は、リンパ節を摘出する際にも、可視光画像において生体組織の状態を見極めながら行えるため、安全性も向上する。
なお、第2実施例の内視鏡装置は、カメラヘッド4内部の805nmバンドパスフィルタ23aの波長帯域を変更することで、血液中のヘモグロビンなど、可視光帯域と近赤外光帯域とで輝度値に差のある物質が同定可能なことは言うまでもない。
また、本発明は、以上述べた実施例のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
[付記]
(付記項1)
少なくとも可視光から近赤外光までの波長帯域の照明光を供給可能な照明手段と、
前記照明手段からの照明光により被写体を照明し、この照明された被写体からの反射光を含む被写体像を取り込む内視鏡挿入部と、
前記内視鏡挿入部から取り込んだ被写体像を少なくとも可視光帯域と近赤外光帯域とに分光する分光手段と、
前記分光手段により分光された前記被写体像の可視光帯域を撮像する撮像手段及び、前記分光手段により分光された前記被写体像の近赤外光帯域を撮像する撮像手段と、
前記撮像手段からの撮像信号を信号処理して得た可視光画像信号と赤外光画像信号との輝度信号を比較し、これら輝度信号の高低が異なる前記被写体像の領域に応じて画像処理を行う画像処理手段と、
を具備したことを特徴とする内視鏡装置。
(付記項2)
前記画像処理手段は、前記撮像手段からの撮像信号を信号処理して得た可視光画像信号と赤外光画像信号との輝度信号を比較し、これら輝度信号の高低が異なる前記被写体像の領域に応じて所定の色変換処理を行うことを特徴とする付記項1に記載の内視鏡装置。
(付記項3)
前記画像処理手段は、前記撮像手段からの撮像信号を信号処理して得た可視光画像信号と赤外光画像信号との輝度信号を比較し、これら輝度信号の高低が異なる前記被写体像の領域に応じて所定の網掛け表示処理又は強調表示処理を行うことを特徴とする付記項1に記載の内視鏡装置。
(付記項4)
前記分光手段は、前記照明手段からの照明光により照明された被写体からの反射光を含む被写体像を前記可視光帯域と前記赤外光帯域とに分光した後、更に可視光帯域に対して長波長帯域と短波長帯域とに分光し、
前記撮像手段は、前記分光手段により分光された前記被写体像の近赤外光帯域を撮像する赤外光撮像手段と、前記分光手段により分光された前記被写体像の可視光長波長帯域を撮像する長波長側撮像手段と、前記被写体像の可視光短波長帯域を撮像する短波長側撮像手段とを有し、
前記画像処理手段は、前記赤外光撮像手段からの撮像信号を信号処理して前記赤外光画像信号を得るとともに、前記可視光長波長側撮像手段からの撮像信号を信号処理して得た可視光長波長側画像信号と、前記可視光短波長側撮像手段からの撮像信号を信号処理して得た可視光短波長側画像信号とを合成して可視光画像信号を得、前記可視光画像信号と前記赤外光画像信号との輝度信号を比較し、これら輝度信号の高低が異なる前記被写体像の領域に応じて画像処理を行う
ことを特徴とする付記項1に記載の内視鏡装置。
(付記項5)
前記分光手段で分光される赤外光帯域は、造影剤の吸収波長帯域を含む近赤外光帯域であることを特徴とする付記項1に記載の内視鏡装置。
(付記項6)
前記画像処理は、前記可視光画像信号又は前記赤外光画像信号のどちらにも重畳可能であることを特徴とする付記項1に記載の内視鏡装置。
(付記項7)
少なくとも可視光から近赤外光までの波長の光を照射可能な照明手段と、前記照明手段からの照明光により照明された被写体からの反射光を受光して撮像する撮像手段と、前記撮像手段から送信される撮像信号を処理し、映像信号の生成及び色変換を行う画像処理手段と、前記画像処理手段から出力される映像信号を表示する表示手段とからなる内視鏡撮像システムにおいて、
前記撮像手段は前記被写体からの反射光を可視光及び近赤外光に分光する分光手段と、前記分光手段で分光した可視光及び近赤外光に対応した複数のCCDを備え、
前記画像処理手段は前記複数のCCDからの映像信号のうち可視光画像と近赤外画像との輝度が異なる箇所に所定の色変換を行う
ことを特徴とする内視鏡撮像システム。
(付記項8)
前記複数のCCDが、第1、第2の可視光用CCD及び近赤外光用CCDの3つのCCDであることを特徴とする付記項7の内視鏡撮像システム。
(付記項9)
前記分光手段で分光された近赤外光の波長が造影剤の吸収波長であることを特徴とする付記項7の内視鏡撮像システム。
(付記項10)
前記色変換を施した画像を可視光画像及び赤外光画像のどちらにも重畳可能であることをを特徴とする付記項7の内視鏡撮像システム。
第1実施例の内視鏡装置の全体構成を示すブロック図である。 図1の光源装置に用いたバンドパスフィルタの光学特性を示すグラフである。 図1のカメラヘッドに用いた805nmバンドパスフィルタの光学特性を示すグラフである。 図1のCCUの内部構成及びカメラヘッドの撮像部を示すブロック図である。 輝度比較の概念を示すための説明図である。 赤外光画像を示す説明図である。 モニタの表示画面に表示される赤外光処理画像の表示例である。 ICGの光学特性を示すグラフである。 第2実施例の内視鏡装置を構成するCCUの内部構成及びカメラヘッドの撮像部を示すブロック図である。 図9の輝度比較回路の輝度比較結果により同定された(センチネル)リンパ節を示す説明図である。 モニタの表示画面に表示される赤外光処理画像の表示例である。
符号の説明
1 内視鏡装置
2 光源装置
3 内視鏡
3a 挿入部(内視鏡挿入部)
3d 先端部
4 カメラヘッド
5 CCU(カメラコントロールユニット)
6 モニタ
21a 赤外光用CCD
21b 可視光用短波長側CCD
21c 可視光用長波長側CCD
22A,22B ダイクロイックミラー
23a〜23c バンドパスフィルタ
30 画像処理部
31 モード設定スイッチ
41 赤外光処理回路
42 可視光処理回路
43 画像処理回路
44 D/A変換回路
45 CPU
61 輝度比較回路
62 色変換処理回路
63 合成回路
64 映像処理回路
代理人 弁理士 伊藤 進

Claims (2)

  1. 少なくとも可視光から近赤外光までの波長帯域の照明光を供給可能な照明手段と、
    前記照明手段からの照明光により被写体を照明し、この照明された被写体からの反射光を含む被写体像を取り込む内視鏡挿入部と、
    前記内視鏡挿入部から取り込んだ被写体像を少なくとも可視光帯域と近赤外光帯域とに分光する分光手段と、
    前記分光手段により分光された前記被写体像の可視光帯域を撮像する撮像手段及び、前記分光手段により分光された前記被写体像の近赤外光帯域を撮像する撮像手段と、
    前記撮像手段からの撮像信号を信号処理して得た可視光画像信号と赤外光画像信号との輝度信号を比較し、これら輝度信号の高低が可視光画像信号と赤外光画像信号とで異なる前記被写体像の領域に対して画像識別変換処理を行う画像処理手段と、
    この画像処理手段にて画像識別変換処理された信号を前記赤外光画像信号又は可視光画像信号に対して合成する合成手段と、
    を具備することを特徴とする内視鏡装置。
  2. 前記画像処理手段が行う画像識別変換処理は、前記被写体像の領域に対して色変換処理、網掛け処理、強調表示処理のいずれかであることを特徴とする請求項1に記載の内視鏡装置。
JP2003299343A 2003-08-22 2003-08-22 内視鏡装置 Expired - Fee Related JP4225864B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003299343A JP4225864B2 (ja) 2003-08-22 2003-08-22 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003299343A JP4225864B2 (ja) 2003-08-22 2003-08-22 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2005065976A JP2005065976A (ja) 2005-03-17
JP4225864B2 true JP4225864B2 (ja) 2009-02-18

Family

ID=34404587

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003299343A Expired - Fee Related JP4225864B2 (ja) 2003-08-22 2003-08-22 内視鏡装置

Country Status (1)

Country Link
JP (1) JP4225864B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5171004B2 (ja) * 2006-09-28 2013-03-27 富士フイルム株式会社 画像処理装置、内視鏡装置、及び画像処理プログラム
US8111286B2 (en) 2006-09-28 2012-02-07 Fujifilm Corporation Image processing apparatus, endoscope, and computer readable medium
JP4895750B2 (ja) * 2006-10-03 2012-03-14 Hoya株式会社 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム
JP5737899B2 (ja) * 2010-10-07 2015-06-17 Hoya株式会社 診断システム
KR101514204B1 (ko) * 2013-07-12 2015-04-23 한국전기연구원 감시림프절의 근적외선 형광 검출 장치 및 방법
KR101606828B1 (ko) 2015-02-26 2016-03-29 국립암센터 형광 영상 시스템
WO2020003991A1 (ja) * 2018-06-28 2020-01-02 富士フイルム株式会社 医療画像学習装置、方法及びプログラム

Also Published As

Publication number Publication date
JP2005065976A (ja) 2005-03-17

Similar Documents

Publication Publication Date Title
US8500632B2 (en) Endoscope and endoscope apparatus
JP3962122B2 (ja) 内視鏡装置
EP2409635B1 (en) Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit
JP5808031B2 (ja) 内視鏡システム
JP5073579B2 (ja) 撮像装置
JP5496075B2 (ja) 内視鏡診断装置
JP2648494B2 (ja) 内視鏡装置
WO2013005533A1 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
JP5872916B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JP2015029841A (ja) 撮像装置および撮像方法
JP3467130B2 (ja) 蛍光診断用電子内視鏡装置
US10893810B2 (en) Image processing apparatus that identifiably displays bleeding point region
JP2655571B2 (ja) 撮像装置
JP4225864B2 (ja) 内視鏡装置
JP2660009B2 (ja) 内視鏡装置
JP3315188B2 (ja) 内視鏡装置
JP4097959B2 (ja) 内視鏡撮像システム
JP2761238B2 (ja) 内視鏡装置
JP2004222938A (ja) 内視鏡装置
JP2710386B2 (ja) 内視鏡装置
JPH0679594B2 (ja) 電子内視鏡装置
JP2634944B2 (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081014

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131205

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees