JP5977913B1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP5977913B1 JP5977913B1 JP2016529490A JP2016529490A JP5977913B1 JP 5977913 B1 JP5977913 B1 JP 5977913B1 JP 2016529490 A JP2016529490 A JP 2016529490A JP 2016529490 A JP2016529490 A JP 2016529490A JP 5977913 B1 JP5977913 B1 JP 5977913B1
- Authority
- JP
- Japan
- Prior art keywords
- light
- region
- irradiation
- treatment
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
Description
本発明は上述した点に鑑みてなされたもので、治療光の照射による作用の進行度を精度良く確認できる画像処理装置を提供することを目的とする。
(第1の実施形態)
図1に示すように本発明の画像処理装置の第1の実施形態の画像処理部(又は画像処理ユニット)21を備えた第1の実施形態の内視鏡装置1は、体腔内に挿入される内視鏡2と、この内視鏡2が着脱自在に接続され、照明光等を内視鏡2側に供給すると共に、内視鏡2に搭載された撮像部に対する信号処理を行う制御装置3と、制御装置3により生成された画像信号が入力されることにより、撮像部により撮像された画像を観察画像として表示する表示装置としてのモニタ4とを有する。
内視鏡2は、被検体5内に挿入される細長の挿入部6と、挿入部6の後端(基端)に設けられた操作部7と、操作部7から延出されたライトガイドケーブル8と信号ケーブル9とを有し、ライトガイドケーブル8の端部の光源用コネクタ8aと信号ケーブル9の端部の信号用コネクタ9aとは制御装置3に着脱自在に接続される。
挿入部6内には照明光を伝送(又は導光)するライトガイド11が挿通され、このライトガイド11の後端は、光源用コネクタ8aに至る。ライトガイド11の後端には、制御装置3内の光源部(又は光源ユニット)12から照明光が入射(供給)される。
照明窓に隣接して設けられた観察窓には対物レンズ13が配置され、励起光が照射された部位側から発せられる蛍光の光学像を撮像素子としての電荷結合素子(CCDと略記)14の撮像面に結像すると共に、参照光が照射された場合には、照射された部位で反射された反射光の光学像をCCD14の撮像面に結像する。なお、本実施形態においては、撮像素子としてカラーフィルタを有しない、モノクロのCCD14を用いている。
対物レンズ13とCCD14の撮像面との間の光路中には、励起光をカットする励起光カットフィルタ15が配置されている。このため、上記のように励起光と参照光とを観察部位に照射した場合、観察部位側で反射された励起光の光は励起光カットフィルタ15によりカットされる。
この光ファイバ17の後端には、光源部12において発生した治療光と、治療光の照射位置を視認できるようにするためのガイド光とが入射される。治療光とガイド光は、共通の光ファイバ17により伝送され、処置具用チャンネル16の先端開口から突出される光ファイバ17の先端面から、該先端面に対向する前方側に小さなビーム径で出射される。光ファイバ17の先端面から、被検体5側に照射される治療光の照射領域と、ガイド光の照射領域とは実質的に等しくなる。
なお、本内視鏡装置1においては、後述するように治療光を照射(発生)する位置を確認するために、治療光を照射しない状態においてガイド光のみを照射する場合がある。但し、治療光が照射される場合には、ガイド光も照射される。また、後述するガイド光用光源24dは、治療光用光源24cが発生する治療光のエネルギー密度(光量密度)に比較すると遥かに小さく、連続的に照射しても被検体5における照射領域に影響を及ぼさない。従って、ガイド光の照射による照射領域を、治療光を照射した場合の治療光の照射領域として、(治療光を照射した場合はもとより、治療光を照射しない場合においても)確認することができる。
CCD14は、制御装置3内に設けた第1の実施形態の画像処理部(又は画像処理ユニット)21により画像処理され、画像処理部21は、生成した画像信号をモニタ4に出力し、モニタ4は、CCD14により撮像した画像を表示する。従って、治療光が照射された状態においては、モニタ4に表示されるガイド光による画像から治療光の照射位置と、該照射位置の領域としての照射領域(又は、照射位置の集合からなる領域としての照射領域)を確認することができる。
また、本内視鏡装置1においては、光源部12の動作を制御する光源制御部(又は光源制御ユニット)22と、該光源制御部22や画像処理部21に指示入力などを行うキーボード又はマウス等を備える入力装置(又は入力ユニット)23とを備える。
本内視鏡装置1においては、被検体5に対して病変部位(又は病変部)に集積し易い特性を有し、所定の波長帯域の励起光が照射されると、蛍光を発する蛍光物質(又は薬剤)を投与した後において、病変部位を治療するための処置を治療光の照射により行う。
また、本内視鏡装置1においては、励起光と治療光とを同じ波長(帯域)に設定して治療を行うPITによる治療法を行うため、上記蛍光物質として、励起光と同じ波長帯域の治療光の照射により、病変組織を消滅させる作用を有する蛍光物質を採用する。このため、治療光を蛍光物質が集積した病変部位に照射することにより、治療光は病変組織を消滅させるように作用する作用光の機能を持つ。
光源部12は、所定の波長帯域の励起光を発生する励起光用光源24aと、参照光を発生する参照光用光源24bと、治療光を発生する治療光用光源24cと、ガイド光を発生するガイド光用光源24dと、を有する。
図2Aは、励起光用光源24aが発生する励起光の波長帯域及び強度の特性Lexと、参照光用光源24bが発生する参照光の波長帯域及び強度の特性Lreと、を示す。図2Aに示す例では、励起光の波長帯域は600〜650nmに設定され、参照光の波長帯域は緑の波長帯域に属する例えば530〜550nmに設定されている。そして、上記の蛍光物質が投与された状態の被検体5に対して、励起光を照射することにより、蛍光物質は、図2Cに示すような波長帯域Lflの蛍光を発する。
図2Cは、励起光カットフィルタ15の透過特性Ftを示す。図2Cに示すように励起光カットフィルタ15は、励起光の波長帯域であると共に治療光の波長帯域を含む例えば590〜660nmをカットし、緑(G)の波長帯域と、上記蛍光物質が発生する蛍光の波長帯域Lflを透過する特性に設定されている。図2Cにおいては、励起光カットフィルタ15は、400〜590nmと660〜800を超える赤外域を透過する特性に設定されている。
CCD14は可視帯域と共に赤(R)の波長帯域の長波長側の上記蛍光の波長帯域を含む赤外の波長帯域においても感度を有する。
また、参照光用光源24bが発生する参照光は、対向する光路上に配置されたダイクロイックミラー25bに入射し、該ダイクロイックミラー25bにより参照光が選択的に透過し、透過した光路上に配置された集光レンズ25cを経てライトガイド11の後端面に入射される。なお、本内視鏡装置1においてはモノクロの撮像素子を用いるために、光源制御部22は、後述するように、励起光と参照光とを面順次で発生するように励起光用光源24aと参照光用光源24bとを制御し、被検体5内の観察部位側には面順次で励起光と参照光とが照射される。
また、治療光用光源24cが発生した治療光は、対向する光路上に配置されたダイクロイックミラー25dに入射し、該ダイクロイックミラー25dにより治療光が選択的に透過し、透過した光路上に配置された光ファイバ17の後端面に入射される。
一方、CCD14は、画像処理部21内のCCD駆動回路31が発生するCCD駆動信号の印加により、光電変換した撮像信号を出力する。撮像信号は、画像処理部21内の前処理回路32に入力される。前処理回路32は、内部の相関二重サンプリング回路(CDS回路と略記)により、撮像信号における信号成分を抽出し、さらにA/D変換等してマルチプレクサ33に画像信号として出力する。
マルチプレクサ33の出力端は、3つのフレームメモリを備えたメモリ部(又はメモリユニット)34と接続されている。メモリ部34を形成する3つのフレームメモリとしての蛍光用メモリ34a、参照光用メモリ34b、ガイド光用メモリ34cがマルチプレクサ33に接続され、マルチプレクサ33は面順次で3つのフレームメモリを切り替える。なお、後述するようにガイド光が照射されない状態においては、マルチプレクサ33は面順次で2つのフレームメモリを切り替える。
3つのフレームメモリに格納された画像信号は、表示制御回路35に入力され、表示制御回路35は、蛍光の画像としての蛍光画像If、参照光の画像としての参照光画像Ir、ガイド光の画像としてのガイド光画像Igをそれぞれ異なる色に割り当てて重畳(合成)した観察画像としての合成画像Icのカラーの画像信号を生成し、モニタ4に出力する。モニタ4は、それぞれ異なる色が割り当てられた蛍光画像If、参照光画像Ir、ガイド光画像Igをカラー表示する。
本内視鏡装置1の画像処理部21は、以下に説明するように病変部の領域に治療光を照射した場合の蛍光画像における照射領域の輝度値と照射領域以外の領域の輝度値とを算出(又は抽出)し、両領域の比を算出するコントラスト算出回路36を備える。なお、後述するように照射領域以外の領域の輝度値を算出する場合、その一部の領域(病変部の領域)を除外する場合がある。また、照射領域の輝度値を算出する場合においても、その一部の領域(正常部の領域)を除外する場合がある。このため、コントラスト算出回路36は、照射領域に対応する輝度値と照射領域以外に対応する領域の輝度値とを算出(又は抽出)すると言うことができる。
本内視鏡装置においては、(図5の時間tg以降)ガイド光が連続的に照射される状態になると、蛍光用メモリ34aに格納される蛍光画像にガイド光画像(成分)が混ざったものになる。このため、画像処理部21は、蛍光用メモリ34aから読み出された蛍光画像から、(ガイド光用メモリ34cから読み出した)ガイド光画像Igを減算して蛍光画像Ifを生成する蛍光画像生成回路36aを有する。蛍光画像生成回路36aは、減算回路により構成される。なお、ガイド光が照射されていない状態においては 、蛍光用メモリ34aはガイド光画像Igを含まない蛍光画像Ifを出力する。この場合、ガイド光用メモリ34cは、0となるガイド光画像を出力するので、蛍光画像生成回路36aは、ガイド光の照射の有無によらず、蛍光画像Ifを出力することができる。
病変領域抽出回路36bは、病変部の領域Rdを抽出した抽出結果、又は病変部の領域Rdが存在すると判定した判定結果を光源制御部22に送り、光源制御部22は図5において時間tgのタイミングにガイド光用光源24dを発光させるように制御する。なお、光源制御部22は図5に示すようにガイド光のみが照射される照射期間又は照明期間を持つように励起光用光源24a、参照光用光源24b、ガイド光用光源24dの発光制御を行う。
なお、ガイド位置検出回路36dは、病変領域抽出回路36bが病変部の領域Rdを抽出した抽出結果後に、自動的にガイド光の照射領域Rg(及び照射位置Pg)を検出する動作を開始するようにしても良い。
また、ガイド位置検出回路36dは、ガイド光の照射位置Pgが病変領域抽出回路36bにより抽出された病変部の領域Rd内に在るか否かを判定する(判定回路の機能を持つ)。
図4Aはガイド位置検出回路36dの動作の説明図を示す。図4Aは蛍光画像生成回路36aから出力される蛍光画像Ifと、(ガイド光が照射された時間tg以降で、治療光が照射されない時間ttまでにおける)ガイド光用メモリ34cから出力されるガイド光画像Igとを示す。
また、ガイド光画像Igにおける白の円環の領域Rg(X,Y)は、ビーム状のガイド光が照射された領域を示し、ガイド光が照射されていない周囲の斜線で示す領域よりも遥かに輝度値が高い。図4Aにおいては、斜線における斜線間のピッチが小さい程、0に近い輝度値を示している。
上述したように、ガイド光の円環の照射領域Rgとその中心側の低い輝度値の領域とを合わせた円形の領域が、治療光が照射された場合の照射領域Rtと一致する。このため、以下に説明するようにガイド位置検出回路36dは、ガイド光の照射領域Rg及び照射位置Pgを検出する機能と共に、治療光の照射領域Rt(及び照射位置Pt)を特定する照射位置特定回路の機能を兼ねる構成にすることができる。治療光の場合には、照射位置Ptの領域が照射領域Rtとなるが、ガイド光の場合のように照射領域Rtの中心位置又は重心位置を照射位置Ptと定義しても良い。
また、ガイド位置検出回路36dは、照射領域Rg(X,Y)の中心位置をガイド光の照射位置Pgとして、この照射位置Pgが病変部の領域Rdの中心位置又は重心位置Pd(X,Y)近傍に存在するかの判定を行う。例えば、小さな値δの誤差以内で、ガイド位置検出回路36dは、Rd(x,y)≒Rg(X,Y)の条件を満たすか否かを判定する判定回路36fの機能を有する。なお、図4Aにおいては、Rd(x,y)≒=Rg(X,Y)を満たす。
判定回路36fが上記条件を満たすと判定した場合、その判定結果の情報を光源制御部22に送り、光源制御部22は図5において時間ttのタイミングに治療光用光源24cを発光させるように制御する。
ガイド位置検出回路36d(の照射位置特定回路36g)は、治療光が照射された状態においての治療光の照射領域Rt及び照射位置Ptを、ガイド光の円環の照射領域Rg及び照射位置Pgにおいての円環を円形とする置換を行うことにより照射領域Rt及び照射位置Ptを特定する。つまり、円環の照射領域Rgを円形としての照射領域Rtとし、照射位置Pgを照射位置Ptとして特定する。但し、この特定は、蛍光画像If上において(又は蛍光画像Ifに対して)行われる。
図4Bは、治療光が照射された状態の蛍光画像Ifとガイド光画像Igを示す。ガイド光画像Igは、図4Aのガイド光画像Igと同じ状態のものを示す。
また、ガイド位置検出回路36d(の照射位置特定回路36g)は、照射領域Rtの外側の治療光が照射されていない領域を非照射領域Rn2として特定する。この場合、照射位置特定回路36gは、照射領域Rtの平均輝度値(又は照射領域Rtに含まれる病変部の領域Rdの平均輝度値)よりも所定の値以上に低い輝度値の領域を非照射領域Rn2として抽出するようにしても良い。
本実施形態においては、図4Bに示すように治療光の照射領域Rtが、病変部の領域Rdをカバーするサイズの場合で説明する。換言すると、本実施形態においては、病変部の領域Rdに対してその領域Rdをほぼカバーするように治療光の照射領域Rtを設定して治療光の照射による処置を行う場合の画像処理となる。
このため、治療光の照射領域Rtの外側の非照射領域Rn2は、正常部の領域Rn1とほぼ等しくなる。なお、病変部の領域Rdよりも治療光の照射領域Rtがかなり大きい場合や、複数の病変部の領域が存在する場合については後述する。
輝度比算出回路36iは、平均輝度値Btavと平均輝度値Bnavの比Btav/BnavとしてのTBR値(Tumor Background Ratio Value、以下TBRと略記)を算出して、(算出された比のTBRを)進行度の情報として表示制御回路35に出力する。なお、上記TBRは、病変部の領域における蛍光高輝度となる輝度と、その周辺の正常部(背景部)の領域における蛍光低輝度となる輝度の比率の定義に相当する。
図3で示すように輝度比算出回路36iは、経時的に算出した輝度比のデータを時間に関連付けて輝度比算出回路36iの内部のメモリ36jに格納し、このメモリ36jに格納した経時的(時間的)に変化する輝度比のデータを表示制御回路35に出力するようにしても良い。
また、本実施形態においては、両領域の輝度比となるTBRを算出するようにしているため、例えば病変部の領域Rdと挿入部6の先端部に配置したCCD14との距離に依存して病変部の領域Rdをカバーするように照射された照射領域Rtの(平均)輝度値と、その周囲の正常部の領域Rn1に形成される非照射領域Rn2の(平均)輝度値とが変化してもTBRの値の変化を抑制できるようにしている。
このため、正常部の領域の輝度値を単位とした照射領域Rtの輝度値は、治療光の照射による作用の進行度を表す情報となる。
本実施形態においては、輝度比としてのTBRの情報を出力する他に、メモリ36jに格納したTBRが時間的変化を表す情報としての輝度比変化情報を生成し、表示制御回路35を介して表示装置としてのモニタ4に出力する構成にしている。メモリ36jは、上記輝度比算出回路36iにおいて算出されたTBRに基づき、生体に治療光を照射した場合の作用の進行度に係る情報を出力する出力部を形成する。
なお、治療光の照射を開始した時の時間情報は、光源制御部22から制御回路37又はコントラスト算出回路36内のメモリ36j等に格納される。そして、TBRの時間的変化を表す情報を生成する場合、治療光の照射を開始した時を0として、時間の経過に対応したTBRの情報を生成する。
なお、蛍光用メモリ34aから出力される蛍光画像信号は、上述したようにガイド光画像Igが混ざった蛍光画像信号となるため、表示制御回路35内の減算回路35aにより(蛍光画像生成回路36aのように)蛍光画像信号を生成するが、蛍光用メモリ34aから出力される蛍光画像信号の代わりに、蛍光画像生成回路36aが生成した蛍光画像信号を表示制御回路35に入力する構成にしても良い。この場合には、表示制御回路35内の減算回路35aは不要となる。
モニタ4は、R,G,Bチャンネルに入力された蛍光画像Ifの蛍光画像信号、参照光画像Irの参照光画像信号、ガイド光画像Igのガイド光画像信号を3原色でカラー表示する。なお、図1においては、R,G,Bチャンネルにそれぞれ入力される画像信号に対応する蛍光画像If、参照光画像Ir、ガイド光画像Igで示している。
また、表示制御回路35は、輝度比算出回路36iから出力される現在の輝度比のデータも、モニタ4に出力する。モニタ4は、図6Aに示すように例えば輝度比情報表示エリア4bにおける上部側のエリアに現在の輝度比としてのTBR(又はTBR値)を表示する。
術者は、モニタ4に表示される輝度比の時間的変化を示すグラフGlを観察することにより、治療光の照射により病変部の領域Rdの蛍光輝度値が低下して様子(治療光の照射による作用の進行度)を把握でき、さらに治療光の照射を停止するタイミングを把握し易くなる。
なお、上述においては、判定回路36fの判定結果により光源制御部22は自動的に治療光を照射する自動モードの場合で説明した。つまり、図1の入力装置23には、モード選択スイッチSW1が設けてあり、モード選択スイッチSW1により自動モードをON(選択)すると、上記のように動作する。一方、モード選択スイッチSW1をOFFにすると手動モードとなり、この場合には、入力装置23に設けた治療光用スイッチSW2を術者が手動でONする操作を行うことにより光源制御部22は、治療光を照射する。
また、画像処理部21は、CCD駆動回路31、前処理回路32,マルチプレクサ33、メモリ部34等の制御を行う制御回路37を有し、この制御回路37は、光源制御部22と信号線で接続され、一方の制御に連動した制御動作を行うことができるようにしている。
この場合には、制御回路37は、マルチプレクサ33をメモリ部34における2つのフレームメモリとしての蛍光用メモリ34aと、参照光用メモリ34b間で切り替える(蛍光用メモリ34aには蛍光画像を格納し、参照光用メモリ34bには参照光画像を格納する)ように制御する。
病変部位に蛍光物質が集積し、閾値Vth以上の蛍光の輝度値が検出される病変部の領域Rdが検出された場合には、ガイド光を照射して、照射位置の確認を行う状態となる。この位置確認の後に治療光が照射され、治療を行う状態に移る。
治療光が照射される状態になると、コントラスト算出回路36は、治療光の照射領域Rtと非照射領域Rn2とを特定し、それぞれの領域の平均輝度値を算出し、さらに輝度比としてのRTBを算出し、モニタ4において合成画像と共に、その時間的変化のグラグGlを表示する。
予め、被検体5には、PITの治療法に対応した蛍光物質が投与される。蛍光物質が投与された後、蛍光物質が病変部位に集積する程度の時間経過後において、図1に示すように設定した内視鏡装置1により、被検体5内の患部等の観察部位を観察する。
図7のステップS1において光源制御部22は、励起光用光源24aと参照光用光源24bとを発光させるように制御する。すると、図5に示すように励起光用光源24aと参照光用光源24bは、それぞれ励起光と参照光とを面順次で発生する。発生された励起光と参照光はライトガイド11により伝送され、ライトガイド11の先端面から励起光と参照光とが拡開して観察部位側に照射される。
図5において、Tは1フレーム期間を示し、例えば励起光を第1のタイミングとなる1フレーム期間T照射し、その1フレーム期間Tの励起光の照射により被検体5に投与された蛍光物質から発せられる蛍光像をCCD14により取得(撮像)する。
上記のように(撮像部を形成する)CCD14は、励起光の照射時において観察部位側から発せられる蛍光像と、参照光の照射時において観察部位側で反射された参照光像と、を面順次で撮像し、面順次で撮像した蛍光撮像信号と参照光撮像信号とを画像処理部21に出力し、画像処理部21は、前処理回路32において、蛍光撮像信号と参照光撮像信号とを蛍光画像信号と参照光画像信号に変換する処理を行う。
蛍光画像信号と参照光画像信号は、それぞれ蛍光用メモリ34aと参照光用メモリ34bに格納される。つまり、ステップS2に示すように画像処理部21における蛍光用メモリ34aは蛍光画像を取得する。
また、蛍光用メモリ34aにより取得された蛍光画像は、コントラスト算出回路36内の蛍光画像生成回路36aを経て病変領域抽出回路36bに入力される。
ステップS3において病変領域抽出回路36bは、閾値Vthと比較して蛍光画像Ifにおける閾値Vth以上の輝度値を持つ病変部の領域Rdを抽出する。病変部の領域Rdの抽出後のステップS4において光源制御部22は、ガイド光用光源24dを発光させ、発光したガイド光は光ファイバ17の先端からガイド光が患部側に照射される。なお、図5に示すように時間tgにガイド光用光源24dはガイド光を発生する。
ガイド光が照射された場合には、光源制御部22は、ガイド光用光源24dを発光した情報を制御回路37に送り、制御回路37は、3つの光源の発光に対応して、蛍光画像と、参照光画像の他にガイド光画像を生成する処理を行うように制御する。
メモリ部34の蛍光用メモリ34aに格納された蛍光画像If+Ig、参照光用メモリ34bに格納された参照光画像Ir、ガイド光用メモリ34cに格納されたガイド光画像Igは、同時化されて読み出され、表示制御回路35を経てモニタ4に出力される。
ステップS5に示すようにモニタ4は、蛍光画像If、参照光画像Ir、ガイド光画像IgをそれぞれR,G,Bの色で合成した合成画像Icとして表示する。
また、ステップS6においてガイド位置検出回路36dは、ガイド光画像Igから閾値Vt以上となる輝度値を有するガイド光の照射領域Rgを図4Aに示すように検出する。また、ガイド位置検出回路36dは、ガイド光の照射位置Pgも検出する。
判定回路36fが一致した判定を行うと、ステップS8に示すように(自動モードの場合には)自動的に光源制御部22は、治療光用光源24cを発光させ、光ファイバ17の先端からガイド光と共に治療光が患部側に照射される。なお、図5に示すように時間ttに治療光用光源24cは治療光を発生する。
また、次のステップS9において照射位置特定回路36gは、図4Bにおいて説明したように(病変部の領域Rdが検出された状態の)蛍光画像Ifと(ガイド光の照射領域Rgが検出された状態の)ガイド光画像Igとから蛍光画像Ifにおいての治療光の照射位置Ptの領域としての照射領域Rtを特定する。照射位置特定回路36gは、特定した治療光の照射領域Rtと、その外側の非照射領域Rn2とを平均輝度算出回路36hに出力する。
次のステップS11において輝度比算出回路36iは、照射領域Rtと非照射領域Rn2とにおける平均輝度値BtavとBnavとの輝度比となるTBR(=Btav/Bnav)を算出し、表示制御回路35を介してモニタ4に出力すると共に、メモリ36jに治療光の照射開始の時間を0とした時間情報を付加して記憶する。
次のステップS12において輝度比算出回路36iは、メモリ36jに格納した輝度比となるTBRにおける時間的変化を表す情報となるTBRをグラフGlにした画像データを表示制御回路35を介してモニタ4に出力する。そしてモニタ4は、時間的に変化するTBRのグラフGlを図6Aに示すように表示する。
術者は、TBRのグラフGlを観察することにより、治療光の照射による作用としての病変の程度を低減する作用の進行度を精度良く確認できる。また、TBRの値が時間の経過と共に小さくなる傾向から治療光の照射を停止する時間を精度良く把握できる。
治療光の照射を停止したことにより、治療光による処置は終了する。術者は、ガイド光の照射も停止し、内視鏡を被検体5から抜去して、図7の処理を終了する。
なお、以下のように術者が予め治療光の照射を停止する場合の所定のTBR値としての設定値を入力(設定)し、輝度比算出回路36iは、算出したTBRの値が所定のTBR値になった場合には、光源制御部22を介して治療光の照射を自動的に停止させるようにしても良い。
図8は、この場合の処理を示す。この場合には、例えば最初のステップS0において、術者は、入力装置23を構成するキーボード、テンキー等から治療光の照射を停止する場合の設定値としての所定のTBRの値Vrを入力する。この場合の入力装置23は、設定値を入力する設定値入力部(又は設定値入力装置)23aを形成する。
一方、算出したTBRが所定のTBRの値Vr以下になった判定結果の場合には、ステップS22に示すように輝度比算出回路36iは、制御部を構成する光源制御部22に治療光の発生を停止させる信号を送る。そして、ステップS13に示すように光源制御部22は治療光の発生を停止し、治療光の照射は停止する。図8で示す例では、算出されたTBRが所定のTBRの値Vrに達したら、治療光の発生又は照射を自動的に停止させるようにしているが、術者などのユーザに対して、音や表示で告知するようにしても良い。
上述した第1の実施形態においては、病変部の領域が1つである場合を説明したが、第1変形例として病変部の領域が、離散的に複数存在する場合の画像処理部21Bを説明する。
病変部の領域が、離散的に複数存在する場合には、治療光を1つの病変部の領域をカバーするように照射した場合、非照射領域Rn2中において治療光が照射されない病変部の領域が存在することになるため、そのような領域を除外して輝度比としてのTBRを算出すると、治療光の照射による作用の進行度を精度良く確認できることになる。
図10は、本変形例におけるコントラスト算出回路36の構成を示す。照射位置特定回路36gにより特定された照射領域Rt,非照射領域Rn2の情報は、閾値処理回路36kに入力され、閾値処理回路36kは、病変部の領域Rdが複数の場合に対応した閾値処理を行うことにより、輝度比を精度良く算出する。
以下に、本変形例の動作を説明する。本変形例の動作は第1の実施形態における一部の動作が異なるのみであるので、異なる部分のみを説明する。
本変形例の場合には、コントラスト算出回路36における病変領域抽出回路36bは、閾値Vth以上の病変部の領域として、例えば図11Aに示すように複数の病変部の領域Rda,Rdb,Rdcを抽出する。複数の病変部の領域Rda,Rdb,Rdc以外の領域は、正常部の領域Rn1となる。
図11Bは、ガイド光画像Igと、(点線で示す)治療光の照射領域Rtに含まれる病変部の領域Rdaと、治療光が照射されない病変部の領域Rdb、Rdcを模式的に示す。また、非照射領域Rn2における斜線で示す領域は正常部の領域Rn1となる。
この場合、非照射領域Rn2は、病変部の領域Rdb,Rdcを含む。このため、本変形例においては、閾値処理回路36kは、例えば病変領域抽出回路36bが病変領域を抽出するのに用いた閾値Vthを用いて、非照射領域Rn2において閾値Vth以上となる輝度値の領域を非照射領域Rn2から除外し、除外した非照射領域をRn2′とする。
図12に示すように病変部の領域Rda,Rdb,Rdcは、それぞれ閾値Vth(=Ba)以上の輝度値を有し、また、治療光が照射される病変部の領域Rdaは、例えば輝度値Bbを有する。
本変形例においては、上記のように非照射領域Rn2から輝度値Ba以上の輝度値を持つ病変部の領域Rdb,Rdcを除外して補正された非照射領域Rn2′を採用する。非照射領域Rn2′における輝度値は、正常部の領域Rn1の輝度値となる(図12においてRn2′=Rn1′として示す)。
平均輝度算出回路36hは、治療光の照射領域Rtと補正された非照射領域Rn2′とに対して、第1の実施形態と同様にそれぞれの領域の平均輝度値Btav,Bnavを算出し、その後の輝度比算出回路36iも第1の実施形態と同様に処理する。
この場合には、病変部の領域Rdaの輝度値は正常部の領域Rn1の輝度値に近い値となっているので、正常部の領域Rn1と共に、補正された非照射領域Rn2′に含まれる。換言すると、この場合には、補正された非照射領域Rn2′は、最初の非照射領域Rn2から病変部の領域Rdcを除外した領域となる。このようにして、コントラスト算出回路36は、病変部の領域Rdbに対して、最初の病変部の領域Rdaの場合と同様の処理を行う。この病変部の領域Rdbに対する治療光の照射による処置が終了すると、残りの病変部の領域Rdcに対する処理が行われる。この場合には、輝度値Ba以上の病変部の領域はRdcのみとなるので、第1の実施形態の場合と同様の処理となる。このようにして、複数の病変部の領域の場合に対しても、第1の実施形態の場合と同様の作用効果を有する。
そのため、時間経過と共に照射領域Rtと、補正された非照射領域Rn2′とを設定(又は更新)する場合、図12におけるBb−Baの値αを下げて、非照射領域Rn2に含まれる高い輝度値を持つ病変部の領域Rdb,Rdcを除外して補正された非照射領域Rn2′を設定(更新)するようにしても良い。
例えば、図12において治療光の照射開始の状態においては、病変部の領域Rdaの平均輝度は実線で示すBbを持ち、照射開始から所定時間経過した後では、例えば2点鎖線で示すBb′に下がるように変化する。この変化に対応して、図11Bの非照射領域Rn2に含まれる高い輝度値を持つ病変部の領域Rdb,Rdcを検出(判別)する輝度値をBa′のようにBaから下げるようにしても良い。
例えば、最初の病変部の領域Rdaをカバーするように、治療光の照射領域Rtを設定し、その設定態のままで治療光の照射開始から治療光の照射停止まで行うことができる場合には、照射領域Rtの変化や、非照射領域Rn2′の変化を考慮しないで治療の処置を行うことができる。
しかし、治療光の照射開始から治療光の照射停止までの途中において、例えば被検体5の動きのために、治療光の照射領域Rtが変化したり、非照射領域Rn2の病変部の領域Rdb,Rdcの位置が変化する可能性がある。
非照射領域Rn2に存在する病変部の領域Rdb,Rdcの輝度は、病変部の領域Rdaに対して治療光の照射を行っている状態においては、殆ど変化しないと考えられるので、最初に病変領域を抽出する場合の輝度値Ba(閾値Vth)を用いる選択肢がある。
他の選択肢として、治療光の照射を行っている治療光の照射領域Rtにおける病変部の領域Rdaの(平均)輝度の値に応じて、非照射領域Rn2に存在する病変部の領域Rdb,Rdcを検出する選択肢がある。後者の選択肢のメリットとして、例えば病変部の領域Rdbが、現在の処置対象の病変部の領域Rdaの近傍に存在して、病変部の領域Rdbの一部の領域が(一時的などで)治療光が照射されて、その輝度が変化する(下がる)場合が発生したような場合にも対応できる。
なお、上述の説明においては、治療光の非照射領域Rn2、Rn2′を蛍光画像Ifにおいてコントラスト算出回路36が画像処理により算出する場合を説明したが、術者などのユーザが治療光の非照射領域Rn2、Rn2′を蛍光画像If(又は合成画像Ic)上において、入力装置23等から指定しても良い。
また、上記閾値処理回路36kによる閾値処理により、ある一定以上の画素が抽出できなかった場合、上記値αを更新(小さく)する処理を加えても良い。
また、例えば第1の実施形態において、治療光の照射領域を形成する治療光のビームスポットの領域(面積)が治療対象となる病変部の領域Rdよりもかなり大きい場合には、以下のような補正処理を行えば良い。
但し、閾値処理回路36kは、非照射領域Rn2において、輝度値が高い病変部の領域を抽出するための閾値処理を行っていたが、この場合の閾値処理回路36lは、照射領域Rtにおいて(処置対象となる病変部の領域Rdよりも)輝度値が低い正常部の領域(Rn3と表す)を抽出し、照射領域Rtからこの正常部の領域Rn3を除外した補正された照射領域Rt′を算出する。
図13Bは、閾値処理回路36lによる動作の説明図を示す。閾値処理回路36lは、非照射領域Rn2の正常部の領域Rn1より少し高い輝度値Bcの閾値を用いて、照射領域Rtにおいて輝度値Bcより低い領域Rn3を照射領域Rtから除外した照射領域Rt′を算出する。つまり、閾値処理回路36lは、閾値処理により、図13Cに示すように照射領域Rtにおける平均輝度値を算出する場合の領域として輝度値Bnaより高い病変部の領域Rdを補正された照射領域Rt′として、平均輝度算出回路36hに出力する。
このような場合においても、第1の実施形態と同様の作用効果を有する。なお、図13Bの場合においても治療光の照射時間の経過に応じて、Bb−Baの値を変動(順次小さく)しても良い。
なお、上述した(変形例の場合を含む)第1の実施形態においてのPITによる処置を行う場合の励起光と治療光とを、図13Dに示すような波長帯域に設定した構成において説明した。図13Dに示す例では、赤の波長帯域において、治療光と励起光とを設定し、IR(赤外)帯域の蛍光を検出する構成にしていたが、以下のようにPIT用薬剤(蛍光物質)としてPan−IR700を採用しても良い。この場合には、励起光と治療光とを790nmに設定し、800nmの蛍光を検出する構成にしても良い。
また、本発明の画像処理装置として以下のPDTによる処置を行う場合を説明する。
上述した(変形例の場合を含む)第1の実施形態においては、励起光の波長帯域と、治療光の波長帯域とが同じPITの場合において説明したが、本発明は、励起光の波長帯域と、治療光の波長帯域とが同じでないPDTの場合においても適用できる。このため、励起光の波長帯域と、治療光の波長帯域とが同じでないPDTの場合を説明する。
図14は本発明の第2の実施形態の画像処理部21を備えた内視鏡装置1Cの構成を示す。この内視鏡装置1Cは、内視鏡2Cと、制御装置3Cと、モニタ4及び入力装置23とを備える。
内視鏡2Cは、第1の実施形態の内視鏡2において、CCD14の撮像面に光学的に色分離するカラーフィルタ41が設けてある。このカラーフィルタ41は、例えばR(赤),G(緑),B(青)+IRb(赤外)の波長帯域をそれぞれ透過する特性のR,G,Bフィルタを有する。このため、R,G,Bフィルタを透過した光を受光(して光電変換)する画素としてのR画素、G画素、B画素は、図15に示すような特性を持つ。
R画素は、Rの波長帯域の蛍光に感度を有し、この蛍光の波長帯域よりも長波長の波長帯域のIRa(赤外)の治療光や上記IRbのガイド光には感度を有しない。G画素は、Gの波長帯域の参照光に感度を有する。
また、本内視鏡装置1Cにおける光源部12Cの励起光用光源24a,参照光用光源24b,治療光用光源24c,ガイド光用光源24dは、図15に概略的に示した波長帯域の励起光、参照光、治療光、ガイド光をそれぞれ発生する。
また、本内視鏡装置1Cにおける励起光カットフィルタ15は、図16Aに示すようにBの波長帯域の励起光をカットし、その他の波長帯域の光を透過する特性を持つ。なお、励起光カットフィルタ15は、Bの波長帯域の励起光をカットする特性であるが、2点鎖線で示すように赤外の波長帯域の治療光もカットする透過特性に設定しても良い。
つまり、R画素が感度を有する蛍光は、強度が低いため、蛍光を透過し、この蛍光の波長帯域の長波長側となる強度が大きい治療光をカットする赤透過フィルタの透過特性と、励起光カットフィルタ15による治療光カット特性とを併用して蛍光を受光する際の治療光の影響を低減できるようにしても良い。
上記のように本内視鏡装置1Cは、PDTによる処置を行うため、励起光の波長帯域と治療光の波長帯域とは、一致していないで、図16Bにその概略を示すような波長帯域に設定される。図16Bに示す例では、Bの波長帯域に励起光、Rの波長帯域に蛍光、蛍光よりも長波長側の赤外の波長帯域に治療光が設定される。この他に、PDT用薬剤(蛍光物質)として、ヘマトポルフィリン誘導体を用いた場合には、本内視鏡装置1Cにおける治療光の波長帯域と異なるような波長帯域に励起光(の波長帯域)を設定しても良い。励起光の波長を405nm、治療光の波長帯域を630〜680,そして635nmの蛍光を検出するような構成にしても良い。
このように本実施形態の画像処理部21Cは、色分離回路42が、蛍光画像If、参照光画像Ir、ガイド光画像Igを分離し、蛍光用メモリ34a,参照光用メモリ34b,ガイド光用メモリ34cは、色分離された蛍光画像If、参照光画像Ir、ガイド光画像Igを格納する。つまり、蛍光用メモリ34aは、ガイド光が照射された状態においても蛍光画像Ifを出力する。また、表示制御回路35は、減算回路35aを必要としない構成である。
なお、図6Bにおいて示したように治療光の照射を開始した時間から時間変化によりTBRは変化する。この場合、例えば図18に示すようにPDT用薬剤Da,Db,Dcに応じてTBRの時間的変化が異なる場合がある。
このため、治療に用いる(被検体5に投与する)薬剤に応じて、上述した閾値等を変化させても良い。
また、図6Bに示すように最新の時間(図6Bではt4)までにおいて算出した複数のTBRの値から、最新の時間以後のTBRの予測変化を算出し、2点鎖線で示すように表示したり、設定値Vrに到達する時間tprを算出して表示するようにしても良い。例えば、図3における輝度比算出回路36iが点線で示す予測回路36mが上記の算出を行うようにしても良い。
なお、上述した実施形態等を部分的に組み合わせて異なる実施形態を構成しても良い。
Claims (11)
- 生体組織に対して特定の作用をする蛍光物質が投与された被検体に対して励起光照射に基づく蛍光を撮像して得られる蛍光画像情報と、前記蛍光物質を生体に作用させるための治療光の照射位置を含む治療光位置画像情報とが入力されるよう構成された入力部と、
前記入力部に入力された治療光位置画像情報から前記蛍光画像情報における前記治療光の照射位置の領域としての照射領域を特定するよう構成された特定部と、
前記入力部に入力される前記蛍光画像情報のうち前記特定部において特定された前記治療光の照射領域に対応する輝度値と、前記蛍光画像情報のうち前記照射領域以外に対応する領域の輝度値を抽出するよう構成された抽出部と、
前記抽出部において抽出された前記照射領域に対応する輝度値と前記照射領域以外に対応する領域の輝度値との比を算出して出力するよう構成された算出部と、
を有することを特徴とする画像処理装置。 - 前記算出部において算出された前記比に基づき、前記生体への前記作用の進行度に係る情報を出力するよう構成された出力部を更に有することを特徴とする請求項1に記載の画像処理装置。
- 前記抽出部は、前記照射領域以外の領域として、前記照射領域に対応する輝度値より所定の値以上低い輝度値を有する領域を抽出することを特徴とする請求項1に記載の画像処理装置。
- 前記抽出部は、前記治療光が照射される時間が長くなるに従って小さくなる値を前記所定の値に設定して、前記照射領域以外の領域を抽出することを特徴とする請求項3に記載の画像処理装置。
- 前記算出部は、前記照射領域に対応する前記輝度値として、前記照射領域における平均の輝度値を用い、かつ前記照射領域以外の前記輝度値として、前記照射領域以外の領域における平均の輝度値を用いて、前記比を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記出力部は、前記治療光の照射開始以後の前記比の時間的変化を表す変化情報を生成し、前記蛍光画像を表示する表示装置に前記変化情報を表示することを特徴とする請求項2に記載の画像処理装置。
- 前記治療光の照射を停止させる設定値を入力するよう構成された設定値入力部と、前記算出部が算出した前記比又は当該比に基づいて算出される値が前記設定値に対応する値になった場合には、前記治療光の照射を停止させる制御を行うよう構成された制御部とを、更に有することを特徴とする請求項2に記載の画像処理装置。
- 前記治療光の照射位置を含む前記治療光の照射領域に対応するガイド光の照射領域を含むガイド光画像情報を前記治療光位置画像情報として生成するよう構成されたガイド光画像情報生成部と、
前記蛍光の撮像により前記蛍光画像情報を生成するよう構成された蛍光画像情報生成部とを、更に備え、
前記特定部は、前記ガイド光画像情報における所定の閾値を超える輝度値を有する領域を、前記ガイド光の照射領域として特定し、特定された前記ガイド光の照射領域に対応する前記蛍光画像情報における領域を、前記治療光の照射領域として特定することを特徴とする請求項1に記載の画像処理装置。 - 前記蛍光画像情報において所定の輝度値以上の輝度を有する領域を病変領域として抽出するよう構成された病変領域抽出部を更に有し、
前記病変領域抽出部により抽出された前記病変領域の少なくとも一部を含むように前記治療光の照射領域を設定した場合、
前記特定部は、前記蛍光画像情報において前記治療光の照射領域以外に対応する前記領域としての対応領域が前記所定の輝度値以上の輝度を有する領域を含むと判定した場合には、判定された前記領域を除外して前記対応領域の輝度値を抽出することを特徴とする請求項1に記載の画像処理装置。 - 前記蛍光画像情報において所定の輝度値以上の輝度を有する領域を病変領域として抽出するよう構成された病変領域抽出部を更に有し、
前記病変領域抽出部により抽出された前記病変領域全体を含むように前記治療光の照射領域を設定した場合、
前記特定部は、前記治療光の照射領域が、前記所定の輝度値より低く設定された閾値以下の低輝度領域を含む場合には、前記治療光の照射領域から前記低輝度領域を除外して、前記照射領域に対応する輝度値を抽出することを特徴とする請求項1に記載の画像処理装置。 - 前記出力部は、前記算出部が前記治療光の照射開始の時間以後における複数の時間と、前記複数の時間においてそれぞれ算出した複数の前記比の値を用いて、現在以降の時間における前記比の値の予測値を算出して、表示装置に出力することを特徴とする請求項1に記載の画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015064542 | 2015-03-26 | ||
JP2015064542 | 2015-03-26 | ||
PCT/JP2015/075085 WO2016151888A1 (ja) | 2015-03-26 | 2015-09-03 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5977913B1 true JP5977913B1 (ja) | 2016-08-24 |
JPWO2016151888A1 JPWO2016151888A1 (ja) | 2017-04-27 |
Family
ID=56760025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016529490A Active JP5977913B1 (ja) | 2015-03-26 | 2015-09-03 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5977913B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021044627A1 (ja) * | 2019-09-06 | 2021-03-11 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007097649A (ja) * | 2005-09-30 | 2007-04-19 | Olympus Medical Systems Corp | 内視鏡装置 |
JP2011045461A (ja) * | 2009-08-26 | 2011-03-10 | Hoya Corp | 光走査型内視鏡プロセッサ |
JP2011167344A (ja) * | 2010-02-18 | 2011-09-01 | Fujifilm Corp | Pdt用医療装置システム、電子内視鏡システム、手術用顕微鏡システム、及び治療光照射分布制御方法 |
JP2011167229A (ja) * | 2010-02-16 | 2011-09-01 | Fujifilm Corp | Pdt用医療装置システム、電子内視鏡システム、手術用顕微鏡システム、及びpdt用医療装置システムにおける撮像信号出力方法 |
JP2012050602A (ja) * | 2010-08-31 | 2012-03-15 | Fujifilm Corp | 電子内視鏡システム |
JP2012125492A (ja) * | 2010-12-17 | 2012-07-05 | Fujifilm Corp | 内視鏡用光源装置及び内視鏡システム |
JP2014113232A (ja) * | 2012-12-07 | 2014-06-26 | Panasonic Healthcare Co Ltd | 光治療装置 |
-
2015
- 2015-09-03 JP JP2016529490A patent/JP5977913B1/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007097649A (ja) * | 2005-09-30 | 2007-04-19 | Olympus Medical Systems Corp | 内視鏡装置 |
JP2011045461A (ja) * | 2009-08-26 | 2011-03-10 | Hoya Corp | 光走査型内視鏡プロセッサ |
JP2011167229A (ja) * | 2010-02-16 | 2011-09-01 | Fujifilm Corp | Pdt用医療装置システム、電子内視鏡システム、手術用顕微鏡システム、及びpdt用医療装置システムにおける撮像信号出力方法 |
JP2011167344A (ja) * | 2010-02-18 | 2011-09-01 | Fujifilm Corp | Pdt用医療装置システム、電子内視鏡システム、手術用顕微鏡システム、及び治療光照射分布制御方法 |
JP2012050602A (ja) * | 2010-08-31 | 2012-03-15 | Fujifilm Corp | 電子内視鏡システム |
JP2012125492A (ja) * | 2010-12-17 | 2012-07-05 | Fujifilm Corp | 内視鏡用光源装置及び内視鏡システム |
JP2014113232A (ja) * | 2012-12-07 | 2014-06-26 | Panasonic Healthcare Co Ltd | 光治療装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2021044627A1 (ja) * | 2019-09-06 | 2021-03-11 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2016151888A1 (ja) | 2017-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016151888A1 (ja) | 画像処理装置 | |
JP6184571B2 (ja) | 蛍光観察内視鏡システム | |
JP5460536B2 (ja) | 電子内視鏡システム | |
JP5229723B2 (ja) | 蛍光画像取得装置 | |
JP6581984B2 (ja) | 内視鏡システム | |
WO2010122884A1 (ja) | 蛍光画像装置及び蛍光画像取得方法 | |
JP2009279168A (ja) | 蛍光内視鏡装置および励起光ユニット | |
WO2011118288A1 (ja) | 蛍光観察装置 | |
EP2422688A1 (en) | Electronic endoscope system | |
CN109561812B (zh) | 图像处理装置 | |
JP5147538B2 (ja) | 蛍光画像取得装置および蛍光画像取得装置の作動方法 | |
WO2019176253A1 (ja) | 医療用観察システム | |
JP5544260B2 (ja) | 電子内視鏡システム | |
JP5331394B2 (ja) | 内視鏡装置 | |
JP5191327B2 (ja) | 画像取得装置および画像取得装置の作動方法 | |
JP2002345739A (ja) | 画像表示装置 | |
JP5977913B1 (ja) | 画像処理装置 | |
JP2005204958A (ja) | 自家蛍光観察可能な電子内視鏡装置およびシステム | |
JP2006271869A (ja) | 電子内視鏡装置 | |
JP4242578B2 (ja) | 内視鏡装置 | |
JP5264382B2 (ja) | 画像取得装置 | |
JP5438633B2 (ja) | 電子内視鏡システム | |
JP2007125403A (ja) | 蛍光画像装置 | |
JP6062111B2 (ja) | 内視鏡装置 | |
WO2010137739A1 (ja) | 画像診断装置および診断方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160510 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160510 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160510 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160705 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160722 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5977913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |