JP4716801B2 - Endoscopic imaging system - Google Patents
Endoscopic imaging system Download PDFInfo
- Publication number
- JP4716801B2 JP4716801B2 JP2005176666A JP2005176666A JP4716801B2 JP 4716801 B2 JP4716801 B2 JP 4716801B2 JP 2005176666 A JP2005176666 A JP 2005176666A JP 2005176666 A JP2005176666 A JP 2005176666A JP 4716801 B2 JP4716801 B2 JP 4716801B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- excitation light
- endoscope
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 50
- 230000005284 excitation Effects 0.000 claims description 87
- 238000012545 processing Methods 0.000 claims description 52
- 230000005540 biological transmission Effects 0.000 claims description 41
- 238000005286 illumination Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 29
- 239000002131 composite material Substances 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 18
- 230000015572 biosynthetic process Effects 0.000 description 16
- 238000003786 synthesis reaction Methods 0.000 description 16
- 238000002073 fluorescence micrograph Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/41—Detecting, measuring or recording for evaluating the immune or lymphatic systems
- A61B5/414—Evaluating particular organs or parts of the immune or lymphatic systems
- A61B5/415—Evaluating particular organs or parts of the immune or lymphatic systems the glands, e.g. tonsils, adenoids or thymus
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Immunology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Endocrinology (AREA)
- Vascular Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、撮像素子を用いて蛍光撮像を行う内視鏡撮像システムに関する。 The present invention relates to an endoscope imaging system that performs fluorescence imaging using an imaging element.
従来、内視鏡システムでは、可視光を用いた通常の内視鏡観察に加え、励起光を照射して蛍光観察を行うものがある。そして蛍光観察の中には、PDD(Photodynamic Diagnosis)と呼ばれ、薬剤投与により腫瘍部分のみに蛍光物質を蓄積させておき、励起光を照射して腫瘍を蛍光させて診断する方法がある。
PDDは青色の励起光を照射すると赤く蛍光する。このため、光源装置側で青色の励起光を出射するように青色を透過する励起光透過フィルタとしてのバンドパルフィルタを配置して、このバンドパスフィルタを透過した光を内視鏡のライトガイドに入射させるようにする。
この場合、蛍光は励起光に比べて微弱のため、蛍光画像を得るためには、受光側で励起光をカットし、蛍光を透過する必要があり、カットフィルタが用いられる。
Conventionally, some endoscope systems perform fluorescence observation by irradiating excitation light in addition to normal endoscopic observation using visible light. In fluorescence observation, there is a method called PDD (Photodynamic Diagnosis), in which a fluorescent substance is accumulated only in a tumor portion by administration of a drug, and the tumor is irradiated with excitation light to make the tumor fluorescent and diagnose.
PDD fluoresces red when irradiated with blue excitation light. For this reason, a band pal filter is disposed as an excitation light transmission filter that transmits blue so that blue excitation light is emitted on the light source device side, and the light transmitted through the band pass filter is used as a light guide for the endoscope. Make it incident.
In this case, since the fluorescence is weaker than the excitation light, in order to obtain a fluorescence image, it is necessary to cut the excitation light on the light receiving side and transmit the fluorescence, and a cut filter is used.
但し、カットフィルタにより励起光を完全にカットすると、蛍光部以外の生体状態が見えなくなる。
そのため受光側では、蛍光とのバランスをとりながら一定レベルの励起光を透過させるように青色の背景用の照明光を作る必要がある。このため、カットフィルタにより励起光としての青色の照明光の一部を透過させるようにしている。
この青色の照明光に対する透過光量が一定でないと、蛍光部との色相のコントラストが悪くなり、腫瘍判別に影響がでる。しかし、フィルタの波長はバラツキが多く、2つのフィルタの組合せによる光透過の重なり部で作る背景用の照明光を一定するのが難しいという問題があった。
そこで独国特許DE19902184号に開示されているように、光源装置側のバンドパスフィルタ(励起光透過フィルタ)の角度を調整することにより、出射光の波長を一定にするということが行われていた。
Therefore, on the light receiving side, it is necessary to create blue background illumination light so as to transmit a certain level of excitation light while maintaining a balance with fluorescence. For this reason, a part of blue illumination light as excitation light is transmitted by the cut filter.
If the amount of transmitted light with respect to the blue illumination light is not constant, the hue contrast with the fluorescent part is deteriorated, which affects the tumor discrimination. However, there are many variations in the wavelength of the filter, and there is a problem that it is difficult to keep the illumination light for the background formed by the overlapping portion of the light transmission by the combination of the two filters.
Therefore, as disclosed in German Patent DE 19909024, the wavelength of the emitted light is made constant by adjusting the angle of the band-pass filter (excitation light transmission filter) on the light source device side. .
しかし独国特許DE19902184号では、光源装置に対して複数の内視鏡を使用するような場合、各内視鏡毎にカットフィルタに特性上のバラツキがあるため、内視鏡と組み合わせて使用する場合、各内視鏡毎に光源装置側の励起光透過フィルタの角度調節が必要になる。
特に、内視鏡にテレビカメラ等の撮像装置を装着して内視鏡撮像システムを構成した場合にも、各内視鏡毎に光源装置側の励起光透過フィルタの角度調節が必要になり、より改善する余地がある。
However, in DE 19909024, when a plurality of endoscopes are used for a light source device, the cut filter has a characteristic variation for each endoscope, so that it is used in combination with an endoscope. In this case, it is necessary to adjust the angle of the excitation light transmission filter on the light source device side for each endoscope.
In particular, even when an endoscope imaging system such as a television camera is mounted on an endoscope, it is necessary to adjust the angle of the excitation light transmission filter on the light source device side for each endoscope. There is room for improvement.
(発明の目的)
本発明は上記のような問題に対して、光源装置側での励起光透過フィルタの角度調整を必要としないで、フィルタ特性にバラツキがあっても、適切な色相コントラストで蛍光観察ができる内視鏡撮像システムを提供することを目的とする。
(Object of invention)
The present invention eliminates the need for adjusting the angle of the excitation light transmitting filter on the light source device side, and enables the fluorescence observation with an appropriate hue contrast even if the filter characteristics vary. An object is to provide a mirror imaging system.
本発明は、励起光を含む可視光波長領域の光を発生する光源手段と、
前記光源手段に設けられ、前記励起光を透過する励起光透過フィルタと、
前記光源手段からの光を照射し、被写体からの反射光により光学的な被写体像を得る内視鏡と、
前記内視鏡に設けられ、前記励起光の一部のみを透過すると共に、蛍光を透過する内視鏡フィルタと、
前記内視鏡の接眼部に装着され、被写体像を撮像する撮像手段と、
前記撮像手段からの撮像信号を処理し、映像化する画像処理手段と、
を備えた内視鏡撮像システムにおいて、
前記画像処理手段に設けられ、前記蛍光による蛍光画像と、前記内視鏡フィルタを透過した励起光による励起光画像とにより合成画像を生成する合成画像生成手段と、
前記合成画像における前記蛍光画像と前記励起光画像とによる前記合成画像の生成の際の色調を補正する色調補正手段と、
を具備したことを特徴とする。
上記構成により、光源装置側での励起光透過フィルタの調整を必要としないで、色調補正手段により、蛍光撮像画像と励起光撮像画像との表示用に合成する際の色調を補正し、適切な色相コントラストで蛍光観察ができるようにしている。
The present invention comprises light source means for generating light in the visible wavelength region including excitation light,
An excitation light transmission filter provided in the light source means and transmitting the excitation light;
An endoscope that irradiates light from the light source means and obtains an optical subject image by reflected light from the subject;
An endoscope filter that is provided in the endoscope and transmits only a part of the excitation light and transmits fluorescence;
An imaging means attached to the eyepiece of the endoscope for imaging a subject image;
Image processing means for processing and imaging the image pickup signal from the image pickup means;
In an endoscope imaging system comprising:
A combined image generating unit that is provided in the image processing unit and generates a combined image by a fluorescent image by the fluorescence and an excitation light image by the excitation light transmitted through the endoscope filter ;
A color tone correction unit that corrects a color tone when the synthesized image is generated by the fluorescent image and the excitation light image in the synthesized image;
It is characterized by comprising.
With the above configuration, without adjusting the excitation light transmission filter on the light source device side, the color tone correction unit corrects the color tone when combining the fluorescence imaged image and the excitation light imaged image for display, and appropriately It enables fluorescence observation with hue contrast.
本発明によれば、蛍光撮像画像と励起光撮像画像とから適切な色相コントラストで観察できる合成画像を生成できる。 According to the present invention, it is possible to generate a composite image that can be observed with an appropriate hue contrast from a fluorescent captured image and an excitation light captured image.
以下、図面を参照して本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1から図4は本発明の実施例1に係り、図1は内視鏡撮像システムの全体構成の概略ブロック図、図2はカメラコントロールユニットの内部構成を示すブロック図、図3は光源装置に設けたフィルタ及び内視鏡に設けたフィルタの分光透過特性図、図4はBバランスキャップ内に内視鏡の先端側を挿入した状態を示す。
まず、本実施例の構成を説明する。図1に示すように本発明の実施例1の内視鏡撮像システム1は、照明光を発生する光源装置2と、被写体像を観察するために体腔内に挿入される光学式の内視鏡3と、この内視鏡3の接眼部20に着脱自在に接続されるカメラヘッド4と、このカメラヘッド4内の撮像素子による撮像信号に対して映像化する画像処理を行い、標準的な映像信号を出力するカメラコントロールユニット(以下、CCU)5と、このCCU5から出力された映像信号を表示するモニタ6とからなる。
1 to 4 relate to a first embodiment of the present invention, FIG. 1 is a schematic block diagram of an overall configuration of an endoscope imaging system, FIG. 2 is a block diagram illustrating an internal configuration of a camera control unit, and FIG. 3 is a light source device. FIG. 4 shows a state in which the distal end side of the endoscope is inserted into the B balance cap.
First, the configuration of the present embodiment will be described. As shown in FIG. 1, an
光源装置2は、光を放射するキセノンランプ等のランプ10と、このランプ10の照明光路上に設けられ、励起光を透過する励起光透過フィルタとして青色の励起光を透過する青色光フィルタ11a及び通常の可視領域の光を透過する通常光フィルタ11bを備えたターレット12と、フィルタ11a、或いは11bを透過した光を集光する集光レンズ13と、前記ターレット12を回転させるモータ14と、モータ14の回転を制御するモータ制御回路15等を備えている。
このモータ制御回路15は、外部のフットスイッチ16等に接続されており、ユーザはこのフットスイッチ16を操作して観察モードの切替指示を行うことにより、その切替指示の信号がモータ制御回路15に入力される。この信号を受けてモータ制御回路15は、モータ14を回転させて光路上に配置されるフィルタの切替を行う。
The light source device 2 includes a
The
通常観察への切替指示を行った場合には、光路上には通常光フィルタ11bが配置されて通常観察モードの照明状態に設定され、蛍光観察への切替指示を行った場合には、光路上には青色光フィルタ11aが配置されて蛍光観察モードの照明状態に設定される。そして、光路上に配置されたフィルタを通した光が集光されて内視鏡3のライトガイドに入射されることになる。
内視鏡3は、体腔内に挿入される細長の挿入部18と、その後端に設けられた操作部19と、この操作部19の後端に設けられた接眼部20とを有する。
また、挿入部18内には照明光を伝送するライトガイド21が挿通されており、このライトガイド21は操作部19から延出されたライトガイドケーブル22内を挿通され、その後端のライトガイドコネクタ23は、光源装置2に着脱自在に接続される。そして、このライトガイドコネクタ23の入射端面には、光源装置2からの照明光が入射される。
When an instruction to switch to normal observation is given, the normal light filter 11b is arranged on the optical path to set the illumination state in the normal observation mode, and when an instruction to switch to fluorescence observation is given, on the optical path Is provided with a
The
Further, a
この入射された照明光は、ライトガイド21の先端面まで伝送される。このライトガイド21の先端面は、挿入部18の先端部24に設けた照明窓の内側に固定されており、先端面から出射された照明光は、この照明窓に取り付けられた照明レンズ25を経て体腔内の患部等の被写体側に照射される。
照明窓に隣接して設けられた観察窓には対物レンズ26が取り付けてあり、この対物レンズ26によりその結像位置に配置されたイメージガイド27の先端面に、被写体からの戻り光(通常観察の場合には反射光、蛍光観察の場合には反射光と蛍光)による被写体像を結像する。
先端面の光学像は、このイメージガイド27によりその後端面に伝送される。この後端面は接眼部20付近に配置されており、その後端面に対向して、励起光となる青色光の長波長側の一部をカットするカットフィルタ28と接眼レンズ29とが配置されている。このカットフィルタ28と光源装置2内の青色の励起光を透過する青色光フィルタ11aの透過波長特性を、図3に示す。
The incident illumination light is transmitted to the tip surface of the
An
The optical image of the front end surface is transmitted to the rear end surface by the
この接眼部20に着脱自在で装着されるカメラヘッド4内には、内視鏡3の接眼部20に伝送された被写体像を撮像素子に結像するための結像レンズ31が接眼レンズ29の光軸上に対向して配置されている。
この結像レンズ31の結像位置に至る光軸上の途中位置には、特定の波長領域の光を選択的に反射或いは透過するダイクロイックミラー32A及びダイクロイックミラー32Bとが順次配置されている。
ダイクロイックミラー32Aは、波長が青色の光を反射し、他の可視光成分を透過する特性を備えている。また、ダイクロイックミラー32Bは、可視光における緑色光成分を反射し、残りの可視光成分、この場合には赤色光を透過する特性を有している。
In the
A
The
従って、ダイクロイックミラー32Aで反射された側の結像位置には青色光成分の光学像が結ばれ、このダイクロイックミラー32Aを透過し、ダイクロイックミラー32Bで反射された側の結像位置には緑色の光学像が結ばれ、2つのダイクロイックミラー32A及びダイクロイックミラー32Bを透過した側の結像位置には赤色光の光学像が結ばれることになる。
そして、ダイクロイックミラー32Aで反射された側の結像位置には、青色光成分を撮像する為のB_CCD33が配置されている。
なお、ダイクロイックミラー32AとB_CCD33との間の光軸上には、青色光成分を透過し、この青色光成分以外の光の透過を制限するBバンドパスフィルタ36Bが配置されている。
Therefore, an optical image of the blue light component is formed at the imaging position on the side reflected by the
A B_CCD 33 for imaging a blue light component is disposed at the imaging position on the side reflected by the
A B band pass filter 36B that transmits a blue light component and restricts transmission of light other than the blue light component is disposed on the optical axis between the
また、ダイクロイックミラー32Aを透過し、ダイクロイックミラー32Bで反射された側の結像位置には緑光成分を撮像する為のG_CCD3Bが配置されている。また、ダイクロイックミラー32BとG_CCD33Gとの間の光軸上には、緑色光成分を透過し、この緑色光成分以外の光の透過を制限するGバンドパスフィルタ36Gが配置されている。
また、ダイクロイックミラー32A及び32Bも透過した側の結像位置には赤色光成分を撮像する為のR_CCD33Rが配置されており、ダイクロイックミラー32BとR_CCD33Rとの間の光軸上には、赤色光以外を制限するためのRバンドパスフィルタ36Rが配置されている。
In addition, a G_CCD 3B for imaging a green light component is disposed at the imaging position on the side that is transmitted through the
In addition, an
B_CCD33B、G_CCD33G、R_CCD33Rによりそれぞれで受光された光学像は、それぞれ電気信号に変換されて撮像信号となる。これらB_CCD33B、G_CCD33G、R_CCD33Rにそれぞれ一端が接続された信号線は、カメラヘッド4から延出されたカメラケーブル37内を挿通されて信号コネクタ38の接点に接続されている。そして、この信号コネクタ38は、CCU5に着脱自在に接続される。
CCU5は、画像処理部41及びBバランススイッチ42が設けてあり、カメラヘッド4から伝送される撮像信号は、画像処理部41で画像処理されて映像信号が生成され、モニタ6に出力され、通常画像及び蛍光画像が表示される。
図2は本実施例における撮像信号に対する画像処理を行うCCU5の内部構成を示している。
The optical images received by the
The
FIG. 2 shows an internal configuration of the
図2に示すようにCCU5内部の画像処理部41は、R、G、Bの其々のCCD33R,33G,33Bに接続されたR、G、B信号処理回路51a〜51cと、B信号処理回路51cに接続された色補正回路(或いは輝度補正回路)52と、R、G、B信号を合成する映像信号合成回路(画像信号合成回路)53と、色補正回路52及び映像信号合成回路53とを制御するCPU54とからなる。
R、G、B信号処理回路51a〜51cには、G、R、Bの其々のCCD33R,33G,33Bにより撮像された撮像信号が入力されるようになっており、相関二重サンプリング処理(CDS処理)等により各画素の信号成分のみが抽出されて、色信号R,G,Bが生成される。つまり、内視鏡3の接眼部20に伝送された光学像を波長領域に分離して撮像するCCD33R,33G,33Bにより撮像された撮像信号に対する信号処理を行い、各波長領域の成分画像に対応した色信号R,G,Bを生成する。
As shown in FIG. 2, the
The R, G, B signal processing circuits 51a to 51c are inputted with image signals picked up by the
この場合、通常観察モードでは、R、G、B信号処理回路51a〜51cは、このように色信号R,G,Bを生成するが、蛍光観察モード時には、R、B信号処理回路51a、51cは、蛍光画像と、青色の励起光による図3の背景用の照明光58として説明した励起光画像(青色画像)とを生成することになる。
In this case, in the normal observation mode, the R, G, B signal processing circuits 51a to 51c generate the color signals R, G, B in this way, but in the fluorescence observation mode, the R, B
そして、R、G、B信号処理回路51a〜51cの出力信号は、カラー表示するためのカラーの画像合成を行う映像信号合成回路53により合成されて合成画像に対応する輝度信号Yと色信号Cが生成され、モニタ6に出力される。
The output signals of the R, G, B signal processing circuits 51a to 51c are synthesized by the video
ここでB信号処理回路51cのみは、B信号処理回路51cと映像信号合成回路53との間に設けた色補正回路52において、蛍光観察モードの場合にはCPU54からの制御に応じて色信号Bの輝度レベルが補正される。そして、映像信号合成回路53により蛍光による蛍光画像と励起光による励起光画像とを、カラー表示するためのカラー合成をする場合のコントラストの補正が行われ、適切な色相コントラストのカラー画像合成が行われるようにする。
なお、上記のように通常観察モードの場合には、R、G、B信号処理回路51a〜51cは、G、R、Bの色成分を撮像するCCD33R,33G,33Bの出力信号に対する信号処理を行い、それぞれR,G,Bの色信号を出力する。
Here, only the B
In the normal observation mode as described above, the R, G, and B signal processing circuits 51a to 51c perform signal processing on the output signals of the
また、蛍光観察モードの場合にはR信号処理回路51aは、蛍光画像の映像信号を、B信号処理回路51cは青色の励起光の長波長側の背景用の照明光58で撮像した励起光画像に相当する映像信号(図2ではBGと略記)を出力する。なお、赤色の波長以外にも緑色の波長領域で蛍光を発生する場合には、G信号処理回路51bも蛍光画像の映像信号を出力することになる。
In the fluorescence observation mode, the R signal processing circuit 51a picks up the image signal of the fluorescent image, and the B
色補正回路52には、励起光としての青色光を照射して蛍光観察する場合に、赤色の波長領域での蛍光による蛍光画像と、青色の励起光画像との色相コントラストを適正となるように設定する設定情報としての青色設定値が、予め入力されるように設定される(後述)。
またCPU54は、光源装置2のモータ制御回路15と接続されており、現在の照明光が青色光フィルタ11aか通常光フィルタ11bかの検知信号がCPU54に入力され、CPU54は、現在の照明光の状態が通常光観察状態(通常観察モード)か蛍光観察状態(蛍光観察モード)かの判定に応じて色補正回路52を制御する構成になっている。
図3は、光源装置2の青色光フィルタ11a及び内視鏡3の接眼部20内に設けたカットフィルタ28の透過波長特性を示す。内視鏡3の先端から青色光フィルタ11aを通した青色の励起光を照射すると、光感受性物質としての蛍光薬剤を含んだ腫瘍部のみが図3に示すように赤色の波長域、具体的には例えば630nm付近でその強度がピークとなる蛍光56となり、R_CCD33Rにより撮像される。
When irradiating the
The
FIG. 3 shows the transmission wavelength characteristics of the blue
但し、赤色の蛍光は、青色光に比べて小さいので、カットフィルタ28にて青色光の一部をカットする。但し、青色光を全てカットすると蛍光を発生する蛍光部以外が見えない蛍光画像となるため、両方のフィルタによる透過特性部が多少重なる重なり部57を設けるようにして青色の背景用の照明光58を作り、この照明光58で青色の励起光画像を生成するようにしている。
この青色の励起光画像を生成する照明光58は、その透過部の割合が大きいと赤い蛍光が弱まり、色相コントラストが悪くなるが、小さいと今度は励起光による生体組織の蛍光(緑〜赤色光)側が勝ってしまうため、組織が白っぽくなり、また色相コントラストが悪くなる。
よって青色の背景用の照明光58は、適正な一定量が望ましいが、青色光フィルタ11a及びカットフィルタ28ともに波長公差内でばらつくために、2つのフィルタの組合せにより背景用の照明光58の光量が変動してしまうが、本実施例ではその変動を画像処理手段としてのCCU5内での画像処理で以下のように抑制する。
However, since red fluorescence is smaller than blue light, a part of the blue light is cut by the
The
Therefore, the blue
図4は、CCU5のBバランススイッチ42を使用する場合に用いる、Bバランスキャップ61を示す。このBバランスキャップ61は、例えば有底の円筒形状であり、その内側には、予め青色光を生体組織に照射した場合に、蛍光観察する場合に適した反射光強度となるような反射波長特性に近似するような塗料が塗られている。
FIG. 4 shows a
そして、この場合に撮像したB信号処理回路51cの出力信号が一定値となるように色補正回路52により色補正する。このことにより、フィルタの組み合わせで照明光58の光量が変動するような場合においても、光源装置2側での青色光フィルタ11aに対する角度調整による透過特性の調整作業を必要としないで、適切な色相コントラストで蛍光観察ができるカラー合成画像を生成できるようにしている。
次に本実施例の作用を説明する。
In this case, the
Next, the operation of this embodiment will be described.
図1に示すような状態に設定して電源を投入すると、光源装置2のモータ制御回路15は例えば初期状態として照明光路上に通常光フィルタ11bが配置されるように設定する。
そして、図示しないホワイトバランス用キャップを用いる等して、白い被写体を用意し、ホワイトバランススイッチをONする。すると、CPU54は、R,G,B信号処理回路51a〜51cにおける2つの信号処理回路(ここではG,B信号処理回路51b、51cとする)の出力信号が残りのR信号処理回路51aの出力信号の輝度レベルとが一致するように内部のアンプのゲインを設定する。
つまり、白い被写体が白く表示されるようにホワイトバランス状態に設定する。なお、この場合、色補正回路52は、その入力信号を例えばスルーして出力(或いは色補正回路52の内部のアンプのゲインを1に)する。
When the power is turned on in the state shown in FIG. 1, the
Then, a white subject is prepared by using a white balance cap (not shown), and the white balance switch is turned on. Then, the
That is, the white balance state is set so that a white subject is displayed in white. In this case, the
本実施例においては、内視鏡3の接眼部20にカットフィルタ28を配置しているので、青色の短波長側がカットされる状態になっており、撮像する場合には緑色及び赤色の入射光に比較して青色の成分が小さくなっているが、このホワイトバランス処理により、B信号処理回路51cでのアンプのゲインが他の回路のものよりも大きく設定することでホワイトバランス状態を確保して通常観察が行える。
このホワイトバランス調整が終了後、フットスイッチ16を操作して、青色光フィルタ11aが照明光路上に配置されるように切り替える。この場合には、内視鏡3の先端から青色光が照射される。
ここで図4に示すように、内視鏡3の先端をBバランスキャップ61内に入れて、CCU5のBバランススイッチ42を押して、蛍光観察モードにおける観察状態が適切な色相コントランストで観察(表示)できるように調整処理を行う。
In the present embodiment, since the
After the white balance adjustment is completed, the foot switch 16 is operated so that the blue
Here, as shown in FIG. 4, the distal end of the
上記のように内視鏡3の先端をBバランスキャップ61内に入れて、Bバランススイッチ42を押すと、Bバランスキャップ61の内面で反射された青色の反射光がB_CCD33Bで受光され、B信号処理回路51cにてその色信号Bが作られる。
この時、CPU54の制御により、色補正回路52では測定した青色の色信号Bが適正な青色設定値になるように、青色ペイントの濃淡或いはその色補正回路52内のアンプのゲインを調整し、これを補正値(ゲイン値)として色補正回路52内のメモリ等の記憶手段に記憶・保存する。
この後、蛍光観察をする場合には、色補正回路52でこの青色の補正値が反映される(上記アンプのゲイン値を保持する)ので、フィルタ組合せにより(励起光画像を生成する)照明光58の光量の違いで発生する色調のバラツキを抑えることができる。
As described above, when the distal end of the
At this time, under the control of the
Thereafter, when fluorescence observation is performed, the blue correction value is reflected by the color correction circuit 52 (the gain value of the amplifier is held), so that the illumination light is generated by combining the filters (generating an excitation light image). The variation in color tone caused by the difference in the amount of light 58 can be suppressed.
実際に生体組織で蛍光観察する場合には、R信号処理回路51aからの蛍光画像に相当する色信号と、色補正回路52からの励起光画像に相当する信号とが、映像信号合成回路53によりカラー合成され、CPU54からの制御でそのカラー合成された蛍光画像の識別表示(例:スーパーインポーズなど)がカラーの蛍光画像に重ねられてモニタ6に出力され、術者は適切な色相コントラストでそのカラーの蛍光画像を観察できる。
従って本実施例は以下の効果を有する。
以上説明した本実施例の構成によれば、フィルタ組合せによるバラツキを画像処理で抑えることが可能なので、常に適切な色相コントラストの蛍光画像が得られる。これにより微小な腫瘍でも判別しやすくなるため、効率良く検査や腫瘍切除の処置を行うことができる。
When the fluorescence observation is actually performed on the living tissue, the color signal corresponding to the fluorescence image from the R signal processing circuit 51 a and the signal corresponding to the excitation light image from the
Therefore, this embodiment has the following effects.
According to the configuration of the present embodiment described above, variations due to filter combinations can be suppressed by image processing, so that a fluorescent image having an appropriate hue contrast can always be obtained. This makes it easy to discriminate even a minute tumor, so that examination and tumor resection can be performed efficiently.
また、通常病院などでは、1台の光源装置2に対して複数の内視鏡3やカメラヘッド4を用いて内視鏡検査を行うため、このような場合に適切に対応できる。つまり、光源装置2側での励起光透過フィルタとしての青色光フィルタ11aの透過特性の調整を必要としないで、画像処理装置としてのCCU5側で内視鏡3のカットフィルタ28との組み合わせに対応した色補正を簡単に行うことができる。
さらに青色ペイントの調整量を変更可能にすれば、術者の好みの色合いに設定することもできる。
なお、本実施例においては光学式の内視鏡3の接眼部20に装着したカメラヘッド4として、3つの色成分に分離して各成分の光学像をそれぞれ撮像する3板式の撮像素子を採用したカメラヘッドを採用しているが、モザイクフィルタ等のカラーフィルタを撮像面に取り付けた単板式の撮像素子を用いたカメラヘッドの場合に対してもほぼ同様に適用できる。
In general hospitals and the like, endoscopic examination is performed on a single light source device 2 using a plurality of
Furthermore, if the adjustment amount of the blue paint can be changed, it can be set to a color shade desired by the operator.
In the present embodiment, the
単板式の撮像素子を用いた場合には、CCU5側に色分離回路を設け、色信号に分離した後の信号に対して図2に示したように励起光画像に対応する信号に対して色補正或いは輝度補正を行い、蛍光画像の信号と合成するようにすれば良い。
また、本実施例の変形例として、光学式の内視鏡3とカメラヘッド4等の撮像素子とを備えた電子内視鏡にしても良い。この場合には、カットフィルタ28が撮像素子の撮像面の前に配置されておれば良く、撮像素子はイメージガイド27で伝送された光学像を撮像するタイプでも良いし、対物レンズ26の結像位置に撮像素子を配置した構成のものでも良い。
When a single-plate image sensor is used, a color separation circuit is provided on the
Further, as a modification of the present embodiment, an electronic endoscope including an
次に図5を参照して本発明の実施例2を説明する。本実施例の構成は、実施例1とほぼ同じであるが、光源装置2と内視鏡3のフィルタの透過特性が異なるものを採用している。
本実施例においては、図5に示すように、光源装置2の励起光透過フィルタ11a′を、青色の励起光とする青色光フィルタ11aの透過範囲と、この青色の励起光の透過範囲と重ならないより長波長側に設定した背景用の照明光58とする透過範囲との2つにしたダブルバンドパスフィルタを採用している。
また、この背景用の照明光58は、内視鏡3のカットフィルタ28′の透過波長内に設定している。
Next, Embodiment 2 of the present invention will be described with reference to FIG. The configuration of the present embodiment is almost the same as that of the first embodiment, but adopts a configuration in which the transmission characteristics of the light source device 2 and the
In this embodiment, as shown in FIG. 5, the excitation
The
ここで励起光透過フィルタ11a′における照明光58を生成する透過範囲は、このフィルタ11a′によるバラツキがあっても、カットフィルタ28′の透過波長内に入るように、波長公差が設定されている。
その他の構成は実施例1と同様の構成である。次に本実施例の作用を説明する。
基本的な作用は実施例1と同じであるが、図5に示したフィルタ構成にすることで、照明光58のバラツキが光源装置2の励起光透過フィルタ11a′のみに依存することになるので、バラツキが抑えられる。
また照明光58のバラツキが光源装置2側の励起光透過フィルタ11a′のみなとなるので、一度Bバランススイッチ42を操作して青色補正を行えば、内視鏡3を変更しても補正を行う必要がないというメリットがある。
Here, the wavelength tolerance is set so that the transmission range for generating the
Other configurations are the same as those of the first embodiment. Next, the operation of this embodiment will be described.
Although the basic operation is the same as that of the first embodiment, the variation of the
Further, since the variation of the
従って、本実施例は以下の効果を有する。
以上の構成であれば、一度、光源装置2の励起光透過フィルタ11a′のフィルタ特性に対して、Bバランススイッチ42を操作して青色補正で行えば、内視鏡3の変更毎の補正が不要になる。
よって光源装置2の出荷検査で青色補正を行えば、ユーザは、青色補正を行う必要がなくなり、内視鏡3を用いた内視鏡検査、手術等の時間も短縮できる。
また、各システム1にBバランスキャップ61を付帯させなくてもよくなる。
なお、上記説明では励起光として青色の波長領域の光を用い、赤色の波長領域の蛍光で撮像し、背景用の照明光として青色としていたが、この背景用の照明光が例えば緑色から青色のいずれの波長領域にも対応できるようにしても良い。
Therefore, this embodiment has the following effects.
If it is the above structure, once it performs blue correction by operating the
Therefore, if the blue correction is performed in the shipping inspection of the light source device 2, the user does not need to perform the blue correction, and the time required for the endoscopic inspection and the operation using the
Further, it is not necessary to attach the
In the above description, light in the blue wavelength region is used as the excitation light, and imaging is performed with fluorescence in the red wavelength region, and the background illumination light is blue. However, the background illumination light is, for example, from green to blue. Any wavelength region may be supported.
図6は、このような場合に対応した変形例におけるCCU5Bの画像処理部41Bの構成を示す。本変形例では、実施例1で説明した画像処理部41を図6に示すようにG信号処理回路51bとB信号処理回路51cとの出力信号に対して、これらの両信号の輝度レベルを調整する輝度調整回路71と、両信号から色相或いは色調を変更する色調調整回路72とを通して映像信号合成回路53に入力する構成にしている。
また、Bバランススイッチ42の代わりにバランススイッチ42′を採用している。また、この場合にはBバランスキャップ61の代わりにバランスキャップを用い、このバランスキャップを用いることにより輝度調整回路71には、蛍光画像と励起光画像とをカラー合成する場合の励起光画像側の信号強度を適正な値に設定することができる。
FIG. 6 shows a configuration of the image processing unit 41B of the CCU 5B in a modification corresponding to such a case. In this modification, the
Further, instead of the
また、CPU54は、色調調整操作部73と接続され、例えば色調調整操作部73を構成する可変抵抗をユーザが操作することにより、CPU54は色調調整回路72によるGとBとを合成する際の色相或いは色調を変化する。その他の構成は実施例2と同様である。
本変形例では蛍光観察モードでは、R信号処理回路51aから蛍光画像の信号が映像信号合成回路53に入力され、この場合、励起光で撮像した励起光画像に対応する信号が、G信号処理回路51b或いはB信号処理回路51cのいずれか或いは両方から映像信号合成回路53に入力される。
そして、この映像信号合成回路53により、蛍光画像の信号と励起光画像による信号とがカラー合成される。術者は、色調調整操作部73を操作することにより、術者が好む色相或いは色調に設定して蛍光観察することができる。
なお、映像信号合成回路53は、色信号から輝度信号と色差信号とに変換した映像信号を出力するものに限定されるものでなく、色信号のまま、或いはマトリックス変換などしてモニタ6のR,G,Bのチャンネルに印加する構成にしても良い。
Further, the
In this modification, in the fluorescence observation mode, a signal of the fluorescence image is input from the R signal processing circuit 51a to the video
The video
Note that the video
[付記]
1.励起光を含む可視光波長領域の光を発生する光源手段と、
前記光源手段に設けられ、前記励起光を透過する励起光透過フィルタと、
前記光源手段からの光を照射し、被写体からの反射光における前記励起光の一部のみを透過すると共に、蛍光を透過するフィルタ及び該フィルタを介して被写体像を撮像する撮像手段を備えた内視鏡と、
前記撮像手段からの撮像信号を処理し、映像化する画像処理手段と、
を備えた内視鏡撮像システムにおいて、
前記画像処理手段に設けられ、前記蛍光による蛍光画像と前記励起光による励起光画像とにより合成画像を生成する合成画像生成手段と、
前記合成画像における前記蛍光画像と前記励起光画像とによる前記合成画像の生成の際の色調を補正する色調補正手段と、
を具備したことを特徴とする内視鏡撮像システム。
[Appendix]
1. Light source means for generating light in the visible wavelength region including excitation light;
An excitation light transmission filter provided in the light source means and transmitting the excitation light;
An inside provided with a filter that irradiates light from the light source means, transmits only a part of the excitation light in the reflected light from the subject, and transmits a fluorescence and a subject image through the filter; With a scope,
Image processing means for processing and imaging the image pickup signal from the image pickup means;
In an endoscope imaging system comprising:
A composite image generating means provided in the image processing means, for generating a composite image by the fluorescence image by the fluorescence and the excitation light image by the excitation light;
A color tone correction unit that corrects a color tone when the synthesized image is generated by the fluorescent image and the excitation light image in the synthesized image;
An endoscope imaging system comprising:
2.付記1において、前記内視鏡は、光学像を観察可能とする光学式内視鏡と、前記光学式内視鏡の接眼部に装着され、前記撮像素子を備えたカメラヘッドとからなる。
3.付記1において、前記色調補正手段は、前記蛍光画像に対応して予め設定された条件で撮像された励起光画像におけるその輝度レベル或いはアンプのゲインを一定値に設定する。
2. In
3. In
光源装置の光路上に励起光透過フィルタを配置し、励起光透過フィルタを被写体側に照射し、撮像素子を用いて蛍光撮像を行い、生成した蛍光画像を、励起光の一部を利用して生成した励起光画像とを合成してモニタに表示する場合、励起光透過フィルタによるフィルタ特性にバラツキがあるような場合にも、画像処理によりそのバラツキが補正され適切な色調で蛍光観察できるようになる。 An excitation light transmission filter is disposed on the optical path of the light source device, the excitation light transmission filter is irradiated on the subject side, fluorescence imaging is performed using an imaging device, and the generated fluorescence image is obtained using a part of the excitation light. When the generated excitation light image is synthesized and displayed on the monitor, even if the filter characteristics of the excitation light transmission filter vary, the variation is corrected by image processing so that fluorescence observation can be performed with an appropriate color tone. Become.
観察を行う場合、 When making observations,
1…内視鏡撮像システム
2…光源装置
3…内視鏡
4…カメラヘッド
5…CCU
6…モニタ
10…ランプ
11a…青色光フィルタ
11b…通常光フィルタ
20…接眼部
26…対物レンズ
28…カットフィルタ
32A、32B…ダイクロイックミラー
33R,33G,33B…CCD
41…画像処理部
42…Bバランススイッチ
51a〜51c…信号処理回路
52…色補正回路
53…映像信号合成回路
61…Bバランスキャップ
DESCRIPTION OF
6 ...
DESCRIPTION OF
Claims (4)
前記光源手段に設けられ、前記励起光を透過する励起光透過フィルタと、
前記光源手段からの光を照射し、被写体からの反射光により光学的な被写体像を得る内視鏡と、
前記内視鏡に設けられ、前記励起光の一部のみを透過すると共に、蛍光を透過する内視鏡フィルタと、
前記内視鏡の接眼部に装着され、被写体像を撮像する撮像手段と、
前記撮像手段からの撮像信号を処理し、映像化する画像処理手段と、
を備えた内視鏡撮像システムにおいて、
前記画像処理手段に設けられ、前記蛍光による蛍光画像と、前記内視鏡フィルタを透過した励起光による励起光画像とにより合成画像を生成する合成画像生成手段と、
前記合成画像における前記蛍光画像と前記励起光画像とによる前記合成画像の生成の際の色調を補正する色調補正手段と、
を具備したことを特徴とする内視鏡撮像システム。 Light source means for generating light in the visible wavelength region including excitation light;
An excitation light transmission filter provided in the light source means and transmitting the excitation light;
An endoscope that irradiates light from the light source means and obtains an optical subject image by reflected light from the subject;
An endoscope filter that is provided in the endoscope and transmits only a part of the excitation light and transmits fluorescence;
An imaging means attached to the eyepiece of the endoscope for imaging a subject image;
Image processing means for processing and imaging the image pickup signal from the image pickup means;
In an endoscope imaging system comprising:
A combined image generating unit that is provided in the image processing unit and generates a combined image by a fluorescent image by the fluorescence and an excitation light image by the excitation light transmitted through the endoscope filter ;
A color tone correction unit that corrects a color tone when the synthesized image is generated by the fluorescent image and the excitation light image in the synthesized image;
An endoscope imaging system comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005176666A JP4716801B2 (en) | 2005-06-16 | 2005-06-16 | Endoscopic imaging system |
EP06010996.4A EP1728464B1 (en) | 2005-06-03 | 2006-05-29 | Endoscope image pickup system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005176666A JP4716801B2 (en) | 2005-06-16 | 2005-06-16 | Endoscopic imaging system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006346196A JP2006346196A (en) | 2006-12-28 |
JP4716801B2 true JP4716801B2 (en) | 2011-07-06 |
Family
ID=37642645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005176666A Expired - Fee Related JP4716801B2 (en) | 2005-06-03 | 2005-06-16 | Endoscopic imaging system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4716801B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008307148A (en) * | 2007-06-13 | 2008-12-25 | Hoya Corp | Endoscopic instrument |
JP2009000236A (en) * | 2007-06-20 | 2009-01-08 | Olympus Medical Systems Corp | Image generator |
JP5544219B2 (en) * | 2009-09-24 | 2014-07-09 | 富士フイルム株式会社 | Endoscope system |
JP5460507B2 (en) | 2009-09-24 | 2014-04-02 | 富士フイルム株式会社 | Endoscope apparatus operating method and endoscope apparatus |
JP5460506B2 (en) * | 2009-09-24 | 2014-04-02 | 富士フイルム株式会社 | Endoscope apparatus operating method and endoscope apparatus |
JP2021021573A (en) * | 2019-07-24 | 2021-02-18 | 株式会社島津製作所 | Imaging device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10201707A (en) * | 1996-11-20 | 1998-08-04 | Olympus Optical Co Ltd | Endoscope apparatus |
JPH11511369A (en) * | 1995-09-26 | 1999-10-05 | カール.ストルツ.ゲゼルシャフト.ミット.ベシュレンクテル.ハフツング.ウント.カンパニー | Photodynamic diagnostic device |
JP2004041703A (en) * | 1991-05-08 | 2004-02-12 | Xillix Technologies Corp | Image pick-up device |
JP2004237081A (en) * | 2003-01-14 | 2004-08-26 | Morita Mfg Co Ltd | Diagnostic imaging apparatus |
JP2005514147A (en) * | 2002-01-15 | 2005-05-19 | ジリックス・テクノロジイズ・コーポレーション | Fluorescence endoscopy video system with no moving parts in the camera |
JP2005152130A (en) * | 2003-11-21 | 2005-06-16 | Olympus Corp | Endoscope imaging system |
-
2005
- 2005-06-16 JP JP2005176666A patent/JP4716801B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004041703A (en) * | 1991-05-08 | 2004-02-12 | Xillix Technologies Corp | Image pick-up device |
JPH11511369A (en) * | 1995-09-26 | 1999-10-05 | カール.ストルツ.ゲゼルシャフト.ミット.ベシュレンクテル.ハフツング.ウント.カンパニー | Photodynamic diagnostic device |
JPH10201707A (en) * | 1996-11-20 | 1998-08-04 | Olympus Optical Co Ltd | Endoscope apparatus |
JP2005514147A (en) * | 2002-01-15 | 2005-05-19 | ジリックス・テクノロジイズ・コーポレーション | Fluorescence endoscopy video system with no moving parts in the camera |
JP2004237081A (en) * | 2003-01-14 | 2004-08-26 | Morita Mfg Co Ltd | Diagnostic imaging apparatus |
JP2005152130A (en) * | 2003-11-21 | 2005-06-16 | Olympus Corp | Endoscope imaging system |
Also Published As
Publication number | Publication date |
---|---|
JP2006346196A (en) | 2006-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10412355B2 (en) | Endoscope and endoscopic system | |
JP6184571B2 (en) | Fluorescence observation endoscope system | |
JP5191090B2 (en) | Endoscope device | |
EP2629504B1 (en) | Imaging apparatus | |
JP5226403B2 (en) | Light source device and endoscope apparatus using the light source device | |
JP5308815B2 (en) | Biological observation system | |
EP1728464B1 (en) | Endoscope image pickup system | |
JP2002065582A (en) | Electronic endoscope device | |
US20180000330A1 (en) | Endoscope system | |
JP4716801B2 (en) | Endoscopic imaging system | |
JPH11104061A (en) | Trans-endoscopic fluorescent observation device | |
US20230308628A1 (en) | Medical imaging system, medical imaging device, and operation method | |
JP4744279B2 (en) | Electronic endoscope device | |
JP3884265B2 (en) | Endoscope device | |
JP5331394B2 (en) | Endoscope device | |
JP4242578B2 (en) | Endoscope device | |
JP4526322B2 (en) | Endoscope device | |
JP2011177532A (en) | Endoscope apparatus | |
US20230397801A1 (en) | Medical imaging system, medical imaging device, and operation method | |
JP6113033B2 (en) | Endoscope device | |
WO2024058019A1 (en) | Imaging device and medical observation system | |
WO2024057990A1 (en) | Imaging device and medical observation system | |
JP6138386B1 (en) | Endoscope apparatus and endoscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110322 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110329 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4716801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |