JP4813145B2 - Endoscope device - Google Patents
Endoscope device Download PDFInfo
- Publication number
- JP4813145B2 JP4813145B2 JP2005300192A JP2005300192A JP4813145B2 JP 4813145 B2 JP4813145 B2 JP 4813145B2 JP 2005300192 A JP2005300192 A JP 2005300192A JP 2005300192 A JP2005300192 A JP 2005300192A JP 4813145 B2 JP4813145 B2 JP 4813145B2
- Authority
- JP
- Japan
- Prior art keywords
- wavelength
- spectral image
- storing
- color
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は内視鏡装置に関し、特に詳細には、特に医療分野で用いられ、任意に選択された波長域の画像情報からなる分光画像(映像)を形成し表示するための構成に関する。 The present invention relates to an endoscope apparatus, and more particularly to a configuration for forming and displaying a spectroscopic image (video) composed of image information in an arbitrarily selected wavelength region, particularly used in the medical field.
近年、固体撮像素子を用いた電子内視鏡装置では、消化器官(胃粘膜等)における分光反射率に基づき、狭帯域バンドパスフィルタを組み合わせた分光イメージング、すなわち狭帯域フィルタ内蔵電子内視鏡装置(Narrow Band Imaging-NBl)が注目されている。この装置は、面順次式のR(赤),G(緑),B(青)の回転フィルタの代わりに、3つの狭(波長)帯域のバンドパスフィルタを設け、これら狭帯域バンドパスフィルタを介して照明光を順次出力し、これらの照明光で得られた3つの信号に対しそれぞれの重み付けを変えながらR,G,B(RGB)信号の場合と同様の処理を行うことにより、分光画像を形成するものである。このような分光画像によれば、胃、大腸等の消化器において、従来では得られなかった微細構造等が抽出される。 In recent years, in an electronic endoscope apparatus using a solid-state image sensor, spectral imaging combined with a narrow band-pass filter based on a spectral reflectance in a digestive organ (such as gastric mucosa), that is, an electronic endoscope apparatus incorporating a narrow band filter. (Narrow Band Imaging-NBl) is drawing attention. This device is provided with three narrow (wavelength) band-pass filters instead of the surface sequential R (red), G (green), and B (blue) rotary filters. By sequentially performing the same processing as in the case of the R, G, B (RGB) signals while changing the respective weights for the three signals obtained with these illumination lights, the spectral image is output. Is formed. According to such a spectral image, in the digestive organs such as the stomach and the large intestine, a fine structure or the like that has not been obtained conventionally is extracted.
一方、上記の狭帯域バンドパスフィルタを用いる面順次式のものではなく、特許文献1や非特許文献1に示されるように、固体撮像素子に微小モザイクの色フィルタを配置する同時式において、白色光で得られた画像信号を基に、演算処理にて分光画像を形成することが提案されている。これは、RGBのそれぞれのカラー感度特性を数値データ化したものと、特定の狭帯域バンドパスの分光特性を数値データ化したものとの関係をマトリクスデータ(係数セット)として求め、このマトリクスデータとRGB信号との演算により狭帯域バンドパスフィルタを介して得られる分光画像を推定した分光画像信号を得るものである。このような演算によって分光画像を形成する場合は、所望の波長域に対応した複数のフィルタを用意する必要がなく、またこれらの交換配置が不要となるので、装置の大型化が避けられ、低コスト化を図ることができる。
しかしながら、上記内視鏡装置における分光画像の形成では、描出したいと考える関心領域が比較的太い血管、毛細血管、あるいは深い位置の血管、浅い位置の血管、進行度の異なる癌組織等、複数の種類または状態にあり、またこれら関心領域と選択すべき波長域の関係は被観察体の個体差によって相違する場合があり、期待する関心領域が描出された最適な分光画像を得るための波長域の選択・設定は容易ではない。 However, in the formation of a spectral image in the above-described endoscopic device, a plurality of regions such as a relatively thick blood vessel, a capillary blood vessel, a deep blood vessel, a shallow blood vessel, or a cancer tissue having a different degree of progression are desired. The relationship between the region of interest and the wavelength range to be selected may vary depending on the individual difference of the object to be observed, and the wavelength region for obtaining the optimal spectral image in which the region of interest is depicted It is not easy to select and set.
さらに、臨床上観察し易い分光画像を形成、表示する上で最適な波長域は、臨床医師等の装置操作者によって異なることが多いので、被観察体の部位等に応じて最適と考えられる波長域が予め用意されていても、各臨床医師等が分光画像の形成に際してそれを利用できず、自分の感性に適合した波長域を選択する作業を逐一行わざるを得ないことも有る。そうであると、各装置操作者が、自分にとって最も観察し易い分光画像を形成、表示するのに、長時間を要することになる。 Furthermore, since the optimal wavelength range for forming and displaying a spectral image that is easy to observe clinically is often different depending on the operator of the apparatus such as a clinician, the wavelength considered to be optimal depending on the part of the object to be observed. Even if a region is prepared in advance, each clinician or the like cannot use it when forming a spectral image, and may be forced to perform a work of selecting a wavelength region suitable for his sensitivity. If so, it takes a long time for each apparatus operator to form and display a spectral image that is most easily observable for him.
本発明は上記の問題点に鑑みてなされたものであり、各装置操作者が、自分にとって最も観察し易い分光画像を迅速に形成、表示することができる内視鏡装置を提供することを目的とする。 The present invention has been made in view of the above problems, and it is an object of the present invention to provide an endoscope apparatus in which each apparatus operator can quickly form and display a spectral image that is most easily observed by the apparatus operator. And
本発明による第1の内視鏡装置は、
内視鏡に搭載された撮像素子で被観察体のカラー画像信号を形成する内視鏡装置において、
分光画像を構成する波長域のマトリクスデータを記憶する記憶部と、
この記憶部のマトリクスデータを用いて前記カラー画像信号に対してマトリクス演算を行い、選択された波長域の分光画像を形成する分光画像形成回路と、
この分光画像形成回路で形成される分光画像の波長域を、連続的または段階的に切り換えながら選択する波長選択手段と、
この波長選択手段によって選択された前記波長域を記憶しておく波長記憶手段とを備えたことを特徴とするものである。
A first endoscopic device according to the present invention includes:
In an endoscope apparatus that forms a color image signal of an object to be observed with an image sensor mounted on an endoscope,
A storage unit for storing matrix data of wavelength regions constituting a spectral image;
A spectral image forming circuit that performs a matrix operation on the color image signal using matrix data in the storage unit and forms a spectral image in a selected wavelength range;
Wavelength selection means for selecting the wavelength range of the spectral image formed by the spectral image forming circuit while switching continuously or stepwise;
Wavelength storage means for storing the wavelength range selected by the wavelength selection means is provided.
また本発明による第2の内視鏡装置は、複数の波長域が用いられる場合に対応するものであって、
内視鏡に搭載された撮像素子で被観察体のカラー画像信号を形成する内視鏡装置において、
分光画像を構成する波長域のマトリクスデータを記憶する記憶部と、
この記憶部のマトリクスデータを用いて前記カラー画像信号に対してマトリクス演算を行い、選択された波長域の分光画像を形成する分光画像形成回路と、
この分光画像形成回路で形成される分光画像の複数の波長域を波長セットとして設定し、この波長セットを切り換えながら選択する波長選択手段と、
この波長選択手段によって選択された前記波長セットとしての複数の波長域を記憶しておく波長記憶手段とを備えたことを特徴とするものである。
The second endoscope apparatus according to the present invention corresponds to a case where a plurality of wavelength ranges are used,
In an endoscope apparatus that forms a color image signal of an object to be observed with an image sensor mounted on an endoscope,
A storage unit for storing matrix data of wavelength regions constituting a spectral image;
A spectral image forming circuit that performs a matrix operation on the color image signal using matrix data in the storage unit and forms a spectral image in a selected wavelength range;
A wavelength selection means for setting a plurality of wavelength regions of a spectral image formed by the spectral image forming circuit as a wavelength set and selecting the wavelength set while switching;
Wavelength storage means for storing a plurality of wavelength ranges as the wavelength set selected by the wavelength selection means.
なお本発明の内視鏡装置における上記波長記憶手段は、前記波長域を記憶しておく領域の他に、波長選択手段において選択される波長域の初期設定値(デフォルト値)を記憶したデフォルトデータ記憶領域をさらに備えていることが望ましい。 The wavelength storage means in the endoscope apparatus of the present invention stores default data that stores an initial setting value (default value) of the wavelength range selected by the wavelength selection means in addition to the area for storing the wavelength range. It is desirable to further include a storage area.
また上記波長記憶手段は、前記波長域を記憶しておく領域の他に、この領域から読み出された後に変更された波長域を記憶保持しておく変更波長保存領域をさらに備えていることが望ましい。そのようにする場合、本発明の内視鏡装置は、前記変更波長保存領域に記憶された波長域を、前記波長域を記憶しておく領域に書き込む構成を有していることが望ましい。 In addition to the region for storing the wavelength region, the wavelength storage unit may further include a changed wavelength storage region for storing and holding the wavelength region that has been changed after being read from the region. desirable. In that case, it is desirable that the endoscope apparatus of the present invention has a configuration in which the wavelength region stored in the changed wavelength storage region is written in the region in which the wavelength region is stored.
本発明の内視鏡装置によれば、波長選択手段によって選択された波長域や、あるいは波長セットとしての複数の波長域を記憶しておく波長記憶手段を備えたことにより、臨床医師等の装置操作者が自分にとって最適と考えて一度選択した波長域を、この波長記憶手段に記憶、保存しておくことが可能となる。そこで、その装置使用者が次回以降に分光画像を形成、表示する際には、そこに保存されている波長域を読み出して再使用することができるので、装置使用者にとって最も観察し易い分光画像を迅速に形成、表示することが可能となる。 According to the endoscope apparatus of the present invention, it is provided with wavelength storage means for storing a wavelength range selected by the wavelength selection means or a plurality of wavelength ranges as a wavelength set, thereby providing a device such as a clinician. It becomes possible to store and save the wavelength range once selected by the operator that is most suitable for him / her in this wavelength storage means. Therefore, when the apparatus user forms and displays a spectral image from the next time onward, the wavelength range stored therein can be read and reused, so that the spectral image that is most easily observed by the apparatus user. Can be formed and displayed quickly.
また、特に本発明の内視鏡装置における波長記憶手段が、前記波長域を記憶しておく領域の他に、波長選択手段において選択される波長域の初期設定値を記憶したデフォルトデータ記憶領域をさらに備えている場合には、そこから波長域の初期設定値を読み出して利用することができる。そうであれば、装置操作者が波長域を何度も選択し直して、どれが自分にとって最適の波長域であるか混乱して分からなくなったような場合に、波長域を基準となる初期設定値に戻すことで、混乱を解消することが可能になる。 Further, in particular, the wavelength storage means in the endoscope apparatus of the present invention includes a default data storage area that stores an initial setting value of the wavelength range selected by the wavelength selection means in addition to the area for storing the wavelength range. If further provided, the initial setting value of the wavelength region can be read out and used. If this is the case, if the device operator reselects the wavelength range over and over again and is confused about which is the best wavelength range for him, the default setting is based on the wavelength range. By returning to the value, it becomes possible to eliminate the confusion.
また上記波長記憶手段が、波長域を記憶しておく領域の他に、この領域から読み出された後に変更された波長域を記憶保持しておく変更波長保存領域をさらに備えている場合は、この変更波長保存領域を利用して波長域の変更作業を行えるので、波長域を記憶しておく領域に記憶されている波長域を誤った値に上書きしてしまうような不具合の発生を防止できる。 Further, in addition to the region for storing the wavelength region, the wavelength storage unit further includes a changed wavelength storage region for storing and holding the wavelength region that has been changed after being read from this region, Since the wavelength range can be changed using this changed wavelength storage area, it is possible to prevent the occurrence of a problem that the wavelength range stored in the area for storing the wavelength range is overwritten with an incorrect value. .
以下、図面を参照して本発明の実施形態を詳細に説明する。図1は、本発明の一実施形態による電子内視鏡装置の基本構成を示すものである。図示の通りこの電子内視鏡装置は、スコープ10すなわち内視鏡本体部分と、このスコープ10が着脱自在に接続されるプロセッサ装置12とから構成され、このプロセッサ装置12内には白色光を発する光源14が配置されている。スコープ10の先端には照明窓23が設けられ、この照明窓23には、一端が上記光源14に接続されたライトガイド24の他端が対面している。なお光源14は、プロセッサ装置12とは別体の光源装置に配置されてもよい。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 shows a basic configuration of an electronic endoscope apparatus according to an embodiment of the present invention. As shown in the figure, this electronic endoscope apparatus includes a
上記スコープ10の先端部には、固体撮像素子であるCCD15が設けられている。このCCD15としては、例えば撮像面にMg(マゼンタ),Ye(イエロー),Cy(シアン),G(グリーン)の色フィルタを有する補色型、あるいはRGBの色フィルタを有する原色型が用いられる。
A
このCCD15には、同期信号に基づいて駆動パルスを形成するCCD駆動回路16が接続されると共に、このCCD15が出力した画像(映像)信号をサンプリングして増幅するCDS/AGC(相関二重サンプリング/自動利得制御)回路17が接続されている。またCDS/AGC回路17には、そのアナログ出力をデジタル化するA/D変換器18が接続されている。さらにスコープ10内には、そこに設けられた各種回路を制御するとともに、プロセッサ装置12との間の通信制御を行うマイコン20が配置されている。
The
一方プロセッサ装置12には、デジタル化された画像信号に対して各種の画像処理を施すDSP(デジタル信号プロセッサ)25が設けられている。このDSP25は、上記CCD15の出力信号から輝度(Y)信号と色差[C(R−Y,B−Y)]信号で構成されるY/C信号を生成し、それを出力する。本実施形態の装置は、通常画像と分光画像(共に動画および静止画)の一方を選択的に形成、表示するものであり、上記DSP25には、通常の画像を形成するか、分光画像を形成するかの切換えを行う切換器26が接続されている。そしてこの切換器26の一方の出力端子には、第1色変換回路28が接続されている。この第1色変換回路28は、上記DSP25から出力されたY(輝度)/C(色差)信号をR、G、Bの3色画像信号に変換する。なお、上記DSP25はスコープ10側に配置してもよい。
On the other hand, the
上記第1色変換回路28の後段側には、分光画像形成のためのマトリクス演算を行って、選択された波長域λ1,λ2,λ3による分光画像を示す画像信号を出力する色空間変換処理回路29、1つの狭波長帯域の分光画像を形成する単色モードと、3つの波長域からなる分光画像を形成する3色モードとのいずれかを選択するモードセレクタ30、1つの波長域または3つの波長域の画像信号λ1s,λ2s,λ3sを、RGB信号に対応させた処理をするためにRs,Gs,Bs信号として入力し、このRs,Gs,Bs信号をY/C信号に変換する第2色変換回路31、鏡像処理,マスク発生、キャラクタ発生等のその他の各種信号処理を行う信号処理回路32、およびD/A変換器33が逐次この順に接続されている。なお、モードセレクタ30が選択する3色モードに代えて、2つの波長域からなる分光画像を形成する2色モードを設定するようにしてもよい。
On the rear side of the first
また上記プロセッサ装置12内には、スコープ10との間の通信を行うと共に、該装置12内の各回路を制御し、また分光画像を形成するためのマトリクス(係数)データを上記色空間変換処理回路29に入力する等の機能を有するマイコン35が設けられている。上記メモリ36には、RGB信号に基づいて分光画像を形成するためのマトリクスデータがテーブルの形で記憶されている。本実施形態において、このメモリ36に格納されているマトリクスデータの一例は次の表1のようになる。
この表1のマトリクスデータは、例えば400nmから700nmの波長域を5nm間隔で分けた61の波長域パラメータ(係数セット)p1〜p61からなり、これらのパラメータp1〜p61は各々、マトリクス演算のための係数kpr,kpg,kpb(p=1〜61)から構成されている。 The matrix data in Table 1 is composed of 61 wavelength range parameters (coefficient sets) p1 to p61 obtained by dividing a wavelength range of 400 nm to 700 nm, for example, at 5 nm intervals. These parameters p1 to p61 are respectively used for matrix calculation. coefficients k pr, k pg, and a k pb (p = 1~61).
そして色空間変換処理回路29において、上記係数kpr,kpg,kpbと第1色変換回路28から出力されたRGB信号とにより次式で示すマトリクス演算が行われて、分光画像信号λ1s,λ2s,λ3sが形成される。
すなわち、分光画像を構成する波長域λ1,λ2,λ3としてそれぞれ例えば500nm,620nm,650nmが選択される場合は、係数(kpr,kpg,kpb)として、表1の61のパラメータのうち、中心波長500nmに対応するパラメータp21の係数(-0.00119,0.002346,0.0016)、中心波長620nmに対応するパラメータp45の係数(0.004022,0.000068,‐0.00097)、および中心波長650nmに対応するパラメータp51の係数(0.005152,-0.00192,0.000088)を用いて上記マトリクス演算がなされる。なおこのようなパラメータは、後述する波長セットメモリ42に記憶されている波長の組合せに基づいてメモリ36から読み出されるものであるが、その点については後述する。
That is, when, for example, 500 nm, 620 nm, and 650 nm are selected as the wavelength ranges λ1, λ2, and λ3 constituting the spectroscopic image, the coefficients (k pr , k pg , k pb ) are selected from among the 61 parameters in Table 1. , Coefficient of parameter p21 corresponding to the center wavelength of 500 nm (−0.00119, 0.002346, 0.0016), coefficient of parameter p45 corresponding to the center wavelength of 620 nm (0.004022, 0.000068, −0.00097), and coefficient of parameter p51 corresponding to the center wavelength of 650 nm The matrix calculation is performed using (0.005152, -0.00192, 0.000088). Such parameters are read from the
また、上記切換器26の他方の出力端子には、分光画像ではなく通常のカラー画像を形成するためのカラー信号処理回路38が接続され、そしてこのカラー信号処理回路38にはD/A変換器39が接続されている。
The other output terminal of the
マイコン35には上記メモリ36に加えて、操作パネル41、波長セットメモリ42、およびキーボード等からなる入力部43が接続されている。図2は上記操作パネル41を詳しく示すものであり、該操作パネル41には、併せて概略図示する例えばa〜hの波長セットを選択するためのセット選択スイッチ41a、波長域λ1,λ2,λ3のそれぞれの中心波長を選択するため波長選択スイッチ41b、この波長選択スイッチ41bによりなされる波長切換えの幅を設定する切換え幅設定スイッチ41c、単一波長を選択する単色モードと3色モードとの切換えを行うモード切換えスイッチ41d、a〜hの全ての波長セットの波長域を後述の初期値に戻すためのオールリセットスイッチ41e、a〜hのうちの1つの波長セットの波長域を初期値に戻すための一部リセットスイッチ41f、臨床医師等の装置使用者毎に作成された波長セットa〜hを波長セットメモリ42に書き込み、そしてそこから呼び出すためのドクターページスイッチ41g、波長セットを波長セットメモリ42に記憶、保存するための保存スイッチ41h、および分光画像形成を指示する分光画像形成スイッチ41jが設けられている。なおこの分光画像形成スイッチ41jは、スコープ10側に設けることもできる。
In addition to the
以下、上記構成を有する本実施形態の電子内視鏡装置の作用について説明する。まず、通常画像および分光画像の形成から説明する。図1に示されるように、スコープ10では、CCD駆動回路16によって駆動されたCCD15が被観察体を撮像し、撮像信号を出力する。この撮像信号はCDS/AGC回路17で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器18でA/D変換されて、デジタル信号としてプロセッサ装置12のDSP25に入力される。
Hereinafter, the operation of the electronic endoscope apparatus of the present embodiment having the above-described configuration will be described. First, the formation of a normal image and a spectral image will be described. As shown in FIG. 1, in the
このDSP25では、スコープ10からの出力信号に対してガンマ処理が行われると共に、Mg,Ye,Cy,Gの色フィルタを介して得られた信号に対し色変換処理が行われ、輝度(Y)信号と色差(R−Y,B−Y)信号からなるY/C信号が形成される。このDSP25の出力は、通常、切換器26によってカラー信号処理回路38へ供給され、この回路38にて鏡像処理、マスク発生およびキャラクタ発生等の所定の処理を受けた後、D/A変換器39によりアナログ信号に変換された上で図3に示すモニタ34へ供給される。それにより、このモニタ34には通常の被観察体のカラー画像が表示される。
In the
一方、図2に示す操作パネル41の分光画像形成スイッチ41jが押されると、切換器26は、DSP25から出力されたY/C信号を第1色変換回路28へ供給する状態に切り換えられ、この回路28により上記Y/C信号がRGB信号へ変換される。このRGB信号は色空間変換処理回路29へ供給され、この色空間変換処理回路29ではRGB信号とマトリクスデータとにより、分光画像形成のための前記数1式のマトリクス演算が行われる。すなわちこの分光画像の形成では、後述する操作パネル41の操作によってλ1,λ2,λ3の3つの波長域が設定され、マイコン35はそれらの3つの選択波長域に対応するマトリクスデータをメモリ36から読み出し、それらを色空間変換処理回路29に入力する。
On the other hand, when the spectral
例えば、3つの波長域λ1,λ2,λ3として波長500nm,620nm,650nmが選択された場合は、それぞれの波長に対応する表1のパラメータp21,p45,p51の係数が用いられて、RGB信号から次の数2式のマトリクス演算にて分光画像信号λ1s,λ2s,λ3sが形成される。
モードセレクタ30にて3色モードが選択されている場合は、上記分光画像信号λ1s,λ2s,λ3sが各々Rs,Gs,Bsの3色画像信号として第2色変換回路31に入力され、また単色モードが選択されている場合は分光画像信号λ1s,λ2s,λ3sのいずれか1つがRs,Gs,Bsの信号として第2色変換回路31に入力される。この第2色変換回路31では、Rs,Gs,Bsの3色画像信号がY/C信号(Y,Rs−Y,Bs−Y)に変換され、このY/C信号が信号処理回路32およびD/A変換器33を介して前述のモニタ34等へ入力される。
When the three-color mode is selected by the
上述のようにしてモニタ34等に表示される分光画像は、図4および図5で示すような波長域の色成分で構成されるものとなる。すなわち図4は、原色型CCD15の色フィルタの分光感度特性R,G,Bに、分光画像を形成する3つの波長域λ1,λ2,λ3を重ねた概念図であり、また図5は、生体の反射スペクトルに3つの波長域λ1,λ2,λ3を重ねた概念図である。先に例示したパラメータp21,p45,p51による分光画像信号λ1s,λ2s,λ3sは、図5に示されるように各々500nm、620nm、650nmを中心波長とする±10nm程度の範囲の波長域の色信号であり、これら3つの波長域の色の組合せから構成される分光画像(動画および静止画)が表示されることになる。
The spectral image displayed on the
なお、切換器26がDSP25から出力されたY/C信号を第1色変換回路28へ供給する状態にあって、分光画像が形成、表示されているときに、図2に示した操作パネル41の分光画像形成スイッチ41jが押されると、切換器26は、上記Y/C信号をカラー信号処理回路38へ供給する状態に戻され、動画あるいは静止画であるカラーの通常画像が表示されるようになる。
When the
次に、上記波長域λ1,λ2,λ3の選択について説明する。本実施形態では図2に示すように、λ1,λ2,λ3の波長セットとして、例えば400,500,600(nm、以下同様)の標準セットa、血管を描出するための470,500,670の血管B1セットb、同じく血管を描出するための475,510,685の血管B2セットc、特定組織を描出するための440,480,520の組織E1セットd、同じく特定組織を描出するための480,510,580の組織E2セットb、オキシヘモグロビンとデオキシヘモグロビンとの差を描出するための400,430,475のヘモグロビンセットf、血液とカロテンとの差を描出するための415,450,500の血液‐カロテンセットg、血液と細胞質の差を描出するための420,550,600の血液‐細胞質セットhの8つの波長セットが、デフォルト波長セットとして、図2に示す波長セットメモリ42の第1領域42aに記憶されている。
Next, selection of the wavelength ranges λ1, λ2, and λ3 will be described. In the present embodiment, as shown in FIG. 2, as a wavelength set of λ1, λ2, and λ3, for example, a standard set a of 400, 500, 600 (nm, the same applies hereinafter), and 470, 500, 670 for rendering blood vessels. A blood vessel B1 set b, a blood vessel B2 set c of 475, 510, 685 for depicting a blood vessel, a tissue E1 set d of 440, 480, 520 for depicting a specific tissue, and 480 for depicting a specific tissue , 510, 580, tissue E2 set b, 400, 430, 475 hemoglobin set f for depicting the difference between oxyhemoglobin and deoxyhemoglobin, 415, 450, 500 for depicting the difference between blood and carotene Blood-carotene set g, 420, 550, 600 blood-cytoplasm set h to depict the difference between blood and cytoplasm One of the wavelength set is the default wavelength sets are stored in a
電子内視鏡装置の工場出荷時には、上記第1領域42aに記憶されているデフォルト波長セットが波長セットメモリ42の第2領域42bにも記憶され、その後最初に電源を入れて装置を立ち上げると、この第2領域42bに記憶されているデフォルト波長セットがマイコン35によって選択される。そして、図2に示す操作パネル41の分光画像形成スイッチ41jが押されると、上述の選択された波長セットの中の標準セットaが、図3のモニタ34において波長情報表示領域34sに表示される。このとき、モード切換えスイッチ41dが押されて3色モードが選択されていれば、標準セットaのλ1=400nm,λ2=500nm,λ3=600nmに対応する各パラメータがメモリ36から読み出され、それらのパラメータが色空間変換処理回路29に入力される。色空間変換処理回路29は、入力されたパラメータを用いて前述のマトリクス演算を行い、分光画像信号λ1s,λ2s,λ3sを形成する。そして、これらの分光画像信号λ1s,λ2s,λ3sによる分光画像が図3のモニタ34に表示される。
When the electronic endoscope apparatus is shipped from the factory, the default wavelength set stored in the
また臨床医師等の装置操作者は、図2の操作パネル41に有るセット選択スイッチ41aを操作することにより、デフォルト波長セットのその他の波長セットb〜hを任意に選択することができ、マイコン35はこうして選択された波長セットを、図3のモニタ34において波長情報表示領域34sに表示させる。それとともにこの場合も、選択された波長セットの波長域λ1,λ2,λ3に対応する各パラメータがマイコン35によってメモリ36から読み出され、それらのパラメータが色空間変換処理回路29に入力される。色空間変換処理回路29は、入力されたパラメータを用いて前述のマトリクス演算を行い、分光画像信号λ1s,λ2s,λ3sを形成する。そして、これらの分光画像信号λ1s,λ2s,λ3sによる分光画像が図3のモニタ34に表示される。
Further, a device operator such as a clinician can arbitrarily select other wavelength sets b to h of the default wavelength set by operating a
なおセット選択スイッチ41aは図2に示す通り、上向きの三角形の操作部を有する上行スイッチと、下向きの三角形の操作部を有する下行スイッチとからなり、前者が1回押される毎に波長セットはa→h→g・・・と逐次選択され、それに対して後者が1回押される毎に波長セットはa→b→c・・・と逐次選択される。
As shown in FIG. 2, the
また、上記波長セットa〜hのうちの1つが選択されているとき、操作者が波長選択スイッチ41bを操作することにより、その選択されている波長セットの波長域λ1,λ2,λ3のそれぞれを任意の値に変更することができる。この波長域の変更に際しては、波長切換え幅を、切換え幅設定スイッチ41cによって変えることができる。すなわち、切換え幅設定スイッチ41cのツマミを回転させることにより、連続的切換えに近い1nm幅、ステップ切換えである5nm幅、10nm幅、20nm幅というように、連続的または段階的な切換えを設定することができる。なお、例えば1nm幅で切り換える場合は、400〜700nmの範囲において301の波長域を設定し、この301の波長域に対応したマトリクスデータ(p′1〜p′301)を作成することになる。
Further, when one of the wavelength sets a to h is selected, the operator operates the wavelength
図6はこの波長域の選択を示すものであり、上記5nm幅を設定したときは、λ1の切換えで示されるように、400→405→410というように切り換えられ、上記20nm幅を設定したときは、λ3の切換えで示されるように、600→620→640というように切り換えられ、この値がモニタ34の波長情報表示領域34sに表示される。
FIG. 6 shows the selection of this wavelength range. When the 5 nm width is set, as shown by the switching of λ1, the switching is made from 400 → 405 → 410, and the 20 nm width is set. Is switched in the order of 600 → 620 → 640 as indicated by switching of λ3, and this value is displayed in the wavelength
図3には、上記波長情報表示領域34sにおける表示状態を詳しく示してある。本実施形態では、前記信号処理回路32内のキャラクタ発生等によって、図3(A)に示すように、モニタ34の右下部等に設定された波長情報表示領域34sに波長情報が表示される。すなわち、この波長情報表示領域34sには、図3(B)に示すように、λ1,λ2,λ3等の文字の下に、選択された波長の値(nm)が表示される。あるいは図3(C)に示すように、横軸を波長目盛、縦軸を感度とし、選択された波長域を可動グラフ(図4に対応したもの)でビジュアル表示してもよい。
FIG. 3 shows the display state in the wavelength
なお、波長セットの波長域λ1,λ2,λ3を上述のように任意の値に変更する処理は、図2に示す波長セットメモリ42の作業領域42dを利用し、そこに一時的なデータを格納することによって行われる。
The processing for changing the wavelength ranges λ1, λ2, and λ3 of the wavelength set to arbitrary values as described above uses the
図2に示すモード切換えスイッチ41dは単色モードと3色モードの切換えを行うものであり、3色モード動作時にこのモード切換えスイッチ41dを押すと、単色モードへ切り換えられ、マイコン35により波長域λ1,λ2,λ3の全てが、470,470,470というように同一の値に設定される。そしてモニタ34には、図7に示すように、共通の波長域が表示される。なおこの共通の波長域についても、上記波長選択スイッチ41bによって任意の値を選択することができる。
The
ここで、上記の操作パネル41上のスイッチ類の一部の機能をキーボードのキー機能に置き換えたり、全部の機能をキーボードのキー機能に置き換えたりしてもよい。
Here, some functions of the switches on the
上述したように波長セットa〜hのうちのいくつかについて波長域λ1,λ2,λ3を変更した場合、図2の操作パネル41に有る保存スイッチ41hを押すと、それらの変更を含む新しい波長セットa〜hが、マイコン35により波長セットメモリ42の第2領域42bに上書き保存される。このような保存は、その新しい波長セットa〜hを利用して直ちに分光画像を形成、表示させるような場合に便利である。
As described above, when the wavelength ranges λ1, λ2, and λ3 are changed for some of the wavelength sets a to h, pressing the
また、上述のようにして作成された新しい波長セットa〜hは、例えば図2の操作パネル41に有る保存スイッチ41hとドクターページスイッチ41gとを同時に押すことにより、マイコン35によって波長セットメモリ42の第3領域42cに新たに記憶、保存される。このとき図3に示すモニタ34には、その保存を行った装置操作者の名前を入力することを示唆する案内表示が出される。そこで、図1に示すキーボード等の入力部43を利用して、例えば「Dr.××」等の名前が入力される。マイコン35はこの入力された名前と対応付けて、上記新しい波長セットa〜hを上記第3領域42cに記憶させる。本実施形態では、一例として最大10組の波長セットa〜hを、それぞれ装置操作者の名前と対応付けて記憶可能としている。
Further, the new wavelength sets a to h created as described above are stored in the wavelength set
上記波長セットメモリ42の第3領域42cに記憶、保存された波長セットa〜hは、操作パネル41に有るドクターページスイッチ41gを押すことにより、該第3領域42cから読み出して使用することができる。すなわち、このドクターページスイッチ41gを1回押す毎に、マイコン35により、第1組の波長セットa〜h、第2組の波長セットa〜h、第3組の波長セットa〜h・・・・というように順次波長セットが選択されて第3領域42cから読み出され、変更波長保存領域としての前記第2領域42bに格納される。そしてマイコン35により、この格納された波長セットの波長域λ1,λ2,λ3に対応する各パラメータがメモリ36から読み出される。それらのパラメータによる分光画像形成は、先に述べたのと同様にしてなされる。
The wavelength sets a to h stored and stored in the
なお、上述のようにして選択された波長セットa〜hに関しては、図3の(B)および(C)に示すようにモニタ34の波長情報表示領域34sにおいて、例えば分光画像形成を示す「i」の表示と共に、「Dr.×× b.血管B1」のように、作成者の名前およびセット名の表示がなされる。これにより、どのような波長セットに基づいて分光画像が形成、表示されているのかを確認することができる。
For the wavelength sets a to h selected as described above, for example, “i” indicating spectral image formation in the wavelength
臨床上観察し易い分光画像を形成、表示する上で最適な波長域λ1,λ2,λ3は、臨床医師等の装置操作者によって異なることが多いが、上述のように各装置操作者毎に波長セットa〜hを1組作成、保存し、それを読み出して使用できるようにしておけば、各装置操作者が最も観察し易い分光画像を迅速かつ簡単に形成可能となる。 The optimum wavelength ranges λ1, λ2, and λ3 for forming and displaying a spectral image that is easy to observe clinically are often different depending on the operator of the device such as a clinician. However, as described above, the wavelength region is different for each device operator. If one set a to h is created and stored, and can be read and used, it is possible to quickly and easily form a spectral image that is easy to observe for each operator.
なお、波長セットについて上記「Dr.×× b.血管B1」のような表示を出すに当たっては、その波長セットが前記デフォルト波長セットのままである場合は例えば白色で、デフォルト波長セットから変更されたものである場合は例えば緑色で、というように色分け表示すれば、波長セットの履歴を知ることができるので便利である。 When displaying the wavelength set such as “Dr. xx b. Blood vessel B1”, if the wavelength set remains the default wavelength set, it is white, for example, and has been changed from the default wavelength set. If it is an object, for example, it is convenient to display the wavelength set history if it is displayed in different colors such as green.
また、上記波長セットメモリ42の第3領域42cから読み出した波長セットa〜hは、先に述べた第1領域42aから読み出したデフォルト波長セットa〜hを変更した場合と同様にして、一部あるいは全部について波長域λ1,λ2,λ3を変更することが可能である。このようにして変更された波長セットa〜hは、操作パネル41に有る保存スイッチ41hを押すことにより、マイコン35によって、図1の波長セットメモリ42の第3領域42cに上書き保存される。つまり、その波長セットが例えば「Dr.××」によって作成された第1組の波長セットであれば、変更された波長セットa〜hが新しい第1組の波長セットとして保存される。
The wavelength sets a to h read from the
さらに、上述のようにして変更された波長セットa〜hは、操作パネル41に有る保存スイッチ41hとドクターページスイッチ41gとを同時に押すことにより、図1の波長セットメモリ42の第3領域42cに新規の組の波長セットとして記憶、保存させることも可能である。このときも図3に示すモニタ34には、その保存を行った装置操作者の名前を入力することを示唆する案内表示が出される。そこで、図1に示すキーボード等の入力部43を利用して、例えば「Dr.○○」等の名前が入力される。マイコン35はこの入力された名前と対応付けて、新規の波長セットa〜hを上記第3領域42cに記憶させる。こうすることにより、例えば臨床経験の浅い装置操作者が、臨床経験豊富な装置操作者が作成した波長セットa〜hを一部流用して、自分に適した波長セットを簡単に作成することが可能になる。
Further, the wavelength sets a to h changed as described above are simultaneously stored in the
なお、上述のように保存スイッチ41hとドクターページスイッチ41gとを同時に押す代わりに、保存スイッチ41hのみを押すようにするとともに、そのとき上記モニタ34に「上書きしますか?」の表示を出させ、それに対して入力部43から同意を示す入力がなされたときは、波長セットを読み出した組の波長セットとして上書きし、非同意を示す入力がなされたときは、波長セットを読み出した組とは別の組の波長セットとして新たに記憶、保存させるようにしてもよい。
Instead of pressing the
次に、波長セットメモリ42の第2領域42bに記憶されている波長セットのリセットについて説明する。この第2領域42bに記憶されているデフォルト波長セットを前述のようにして変更し、それに基づいて分光画像を形成、表示した後、操作パネル41に有るオールリセットスイッチ41eが押されると、マイコン35は、波長セットメモリ42の第1領域42aに記憶されているデフォルト波長セットを読み出して、それを第2領域42bに記憶させる。
Next, resetting of the wavelength set stored in the
このリセット操作は、例えば分光画像を形成、表示した後に必ず行うことが望ましい。そうすることにより、第2領域42bに記憶されている波長セットを基にした新規波長セットの作成は、装置操作者が誰に代わっても、必ずデフォルト波長セットから行われるようになるので、基になる波長セットが何通りも存在することから新規波長セットの作成が混乱してしまうことを防止可能となる。
This reset operation is desirably performed after, for example, forming and displaying a spectral image. By doing so, the creation of a new wavelength set based on the wavelength set stored in the
また、上記第2領域42bに記憶されているデフォルト波長セットを前述のようにして変更し、それに基づいて分光画像を形成、表示した後、図2の操作パネル41に有る一部リセットスイッチ41fが押されると、マイコン35は、その分光画像の形成に使用した1組の波長セット(a〜hのいずれか)に代えて、第1領域42aに記憶されているデフォルト波長セット中の同組の波長セット(a〜hのいずれか)を第2領域42bに記憶させる。そうすることにより、ある波長セット(a〜hのいずれか)をいろいろ変更しているうちに、どれが最良の波長域λ1,λ2,λ3であるか混乱して分からなくなったような場合に、基準となるデフォルト波長セットに戻すことで、混乱を解消することが可能になる。
Further, after changing the default wavelength set stored in the
次に、波長セットメモリ42の第3領域42cに記憶されている波長セットのリセットについて説明する。この第3領域42cに記憶されている装置操作者毎の波長セットを前述のようにして変更し、それに基づいて分光画像を形成、表示した後、図2の操作パネル41に有るオールリセットスイッチ41eが押されると、マイコン35は、波長セットメモリ42の第1領域42aに記憶されているデフォルト波長セットを読み出して、それを第3領域42cに記憶させる。
Next, resetting of the wavelength set stored in the
あるいは、上記第3領域42cに記憶されている装置操作者毎の波長セットを前述のようにして変更し、それに基づいて分光画像を形成、表示した後、図2の操作パネル41に有る一部リセットスイッチ41fが押されると、マイコン35は、その分光画像の形成に使用した1組の波長セット(a〜hのいずれか)に代えて、第1領域42aに記憶されているデフォルト波長セット中の同組の波長セット(a〜hのいずれか)を第3領域42cに記憶させる。
Alternatively, the wavelength set for each apparatus operator stored in the
以上のどちらかのリセット操作を行うことにより、波長セットa〜hのうちのいずれか1つあるいは複数における波長域λ1,λ2,λ3をいろいろ変更しているうちに、どれが最良の波長域λ1,λ2,λ3であるか混乱して分からなくなったような場合に、基準となるデフォルト波長セットに戻すことで、混乱を解消することが可能になる。 By performing one of the above reset operations, the wavelength range λ1 is the best wavelength range λ1 while variously changing the wavelength ranges λ1, λ2, and λ3 in one or more of the wavelength sets a to h. , Λ2, λ3, or the like, it is possible to eliminate the confusion by returning to the reference default wavelength set.
なお上記実施形態では、400nmから700nmの波長域を61の波長域に分割して選択できるようにしたが、波長域λ1,λ2,λ3として、赤外域を含めた波長域、あるいは赤外域のみの波長セットを選択することにより、可視光域のカットフィルタを用いることなく、従来において赤外線を照射して得られる画像に近似した分光画像を得ることができる。また従来の内視鏡では、励起光照射により癌組織等からの発光する蛍光を撮影することが行われるが、上記λ1,λ2,λ3の波長セットとして、蛍光波長に合わせたものを選択することにより、蛍光を発する部分の分光画像を形成することができ、この場合は、励起光のカットフィルタが不要となる利点がある。 In the above-described embodiment, the wavelength range from 400 nm to 700 nm can be divided into 61 wavelength ranges and can be selected. However, as the wavelength ranges λ1, λ2, and λ3, the wavelength range including the infrared range, or only the infrared range can be selected. By selecting the wavelength set, it is possible to obtain a spectral image that approximates an image obtained by irradiating infrared rays in the past without using a cut filter in the visible light range. In addition, in conventional endoscopes, fluorescence emitted from cancer tissue or the like is photographed by irradiation with excitation light, and the wavelength set of λ1, λ2, and λ3 is selected according to the fluorescence wavelength. Thus, it is possible to form a spectral image of a portion that emits fluorescence. In this case, there is an advantage that an excitation light cut filter is unnecessary.
さらに、従来の内視鏡では、被観察体にインディゴやピオクタニン等の色素散布を行い、色素散布によって着色した組織を撮像することが行われているが、上記λ1,λ2,λ3の波長セットとして、色素散布によって着色する組織が描出できる波長域を選択することにより、色素散布をすることなく、色素散布時の画像と同等の分光画像を得ることもできる。 Furthermore, in conventional endoscopes, pigments such as indigo and pioctanin are sprayed on the object to be observed, and images of tissues colored by pigment spraying are performed. As a wavelength set of the above λ1, λ2, and λ3 By selecting a wavelength range in which a tissue colored by pigment dispersion can be drawn, a spectral image equivalent to the image at the time of pigment dispersion can be obtained without performing pigment dispersion.
10 スコープ(電子内視鏡本体部)
12 プロセッサ装置、
15 CCD
20,35 マイコン
25 DSP
26 切換器
29 色空間変換処理回路
30 モードセレクタ
32 信号処理回路
34 モニタ
34s 波長情報表示領域
36 メモリ
38 カラー信号処理回路
41 操作パネル
41a セット選択スイッチ
41b 波長選択スイッチ
41c 切換え幅設定スイッチ
41d モード切換えスイッチ
41e オールリセットスイッチ
41f 一部リセットスイッチ
41g ドクターページスイッチ
41h 保存スイッチ
41j 分光画像形成スイッチ
42 波長セットメモリ
42a 波長セットメモリの第1領域
42b 波長セットメモリの第2領域
42c 波長セットメモリの第3領域
42d 波長セットメモリの作業領域
43 入力部
10 Scope (Electronic endoscope body)
12 processor unit,
15 CCD
20, 35
26
Claims (4)
分光画像を構成する波長域のマトリクスデータを記憶する記憶部と、
この記憶部のマトリクスデータを用いて前記カラー画像信号に対してマトリクス演算を行い、選択された波長域の分光画像を形成する分光画像形成回路と、
この分光画像形成回路で形成される分光画像の波長域を、連続的または段階的に切り換えながら選択する波長選択手段と、
この波長選択手段によって選択された前記波長域を記憶しておく領域および、前記波長選択手段において選択される波長域の初期設定値を記憶したデフォルトデータ記憶領域を有する波長記憶手段とを備えたことを特徴とする内視鏡装置。 In an endoscope apparatus that forms a color image signal of an object to be observed with an image sensor mounted on an endoscope,
A storage unit for storing matrix data of wavelength regions constituting a spectral image;
A spectral image forming circuit that performs a matrix operation on the color image signal using matrix data in the storage unit and forms a spectral image in a selected wavelength range;
Wavelength selection means for selecting the wavelength range of the spectral image formed by the spectral image forming circuit while switching continuously or stepwise;
A wavelength storage means having an area for storing the wavelength range selected by the wavelength selection means and a default data storage area for storing an initial set value of the wavelength range selected by the wavelength selection means; An endoscope apparatus characterized by the above.
分光画像を構成する波長域のマトリクスデータを記憶する記憶部と、
この記憶部のマトリクスデータを用いて前記カラー画像信号に対してマトリクス演算を行い、選択された波長域の分光画像を形成する分光画像形成回路と、
この分光画像形成回路で形成される分光画像の複数の波長域を波長セットとして設定し、この波長セットを切り換えながら選択する波長選択手段と、
この波長選択手段によって選択された前記波長セットとしての複数の波長域を記憶しておく領域および、前記波長選択手段において選択される波長域の初期設定値を記憶したデフォルトデータ記憶領域を有する波長記憶手段とを備えたことを特徴とする内視鏡装置。 In an endoscope apparatus that forms a color image signal of an object to be observed with an image sensor mounted on an endoscope,
A storage unit for storing matrix data of wavelength regions constituting a spectral image;
A spectral image forming circuit that performs a matrix operation on the color image signal using matrix data in the storage unit and forms a spectral image in a selected wavelength range;
A wavelength selection means for setting a plurality of wavelength regions of a spectral image formed by the spectral image forming circuit as a wavelength set and selecting the wavelength set while switching;
Wavelength storage having an area for storing a plurality of wavelength ranges as the wavelength set selected by the wavelength selection means, and a default data storage area for storing initial setting values of the wavelength ranges selected by the wavelength selection means An endoscope apparatus comprising: means.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005300192A JP4813145B2 (en) | 2005-10-14 | 2005-10-14 | Endoscope device |
US11/365,861 US7850599B2 (en) | 2005-03-04 | 2006-03-02 | Endoscope apparatus |
EP06004250A EP1698272B1 (en) | 2005-03-04 | 2006-03-02 | Endoscope and image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005300192A JP4813145B2 (en) | 2005-10-14 | 2005-10-14 | Endoscope device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007105290A JP2007105290A (en) | 2007-04-26 |
JP2007105290A5 JP2007105290A5 (en) | 2008-11-20 |
JP4813145B2 true JP4813145B2 (en) | 2011-11-09 |
Family
ID=38031615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005300192A Expired - Fee Related JP4813145B2 (en) | 2005-03-04 | 2005-10-14 | Endoscope device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4813145B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4767648B2 (en) * | 2005-10-14 | 2011-09-07 | 富士フイルム株式会社 | Electronic endoscope device |
JP5039621B2 (en) * | 2008-03-25 | 2012-10-03 | 富士フイルム株式会社 | Electronic endoscope device |
WO2010044432A1 (en) | 2008-10-17 | 2010-04-22 | オリンパスメディカルシステムズ株式会社 | Endoscope system and endoscopic image processing device |
JP5541914B2 (en) * | 2009-12-28 | 2014-07-09 | オリンパス株式会社 | Image processing apparatus, electronic apparatus, program, and operation method of endoscope apparatus |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10201708A (en) * | 1997-01-20 | 1998-08-04 | Olympus Optical Co Ltd | Image-recording apparatus for endoscope |
JP4390311B2 (en) * | 1999-04-30 | 2009-12-24 | Hoya株式会社 | Electronic endoscope device |
JP3607857B2 (en) * | 2000-07-27 | 2005-01-05 | オリンパス株式会社 | Endoscope device |
JP2003093336A (en) * | 2001-09-26 | 2003-04-02 | Toshiba Corp | Electronic endoscope apparatus |
JP4409523B2 (en) * | 2005-05-12 | 2010-02-03 | オリンパスメディカルシステムズ株式会社 | Biological observation device |
-
2005
- 2005-10-14 JP JP2005300192A patent/JP4813145B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007105290A (en) | 2007-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4767649B2 (en) | Endoscope device | |
JP4931199B2 (en) | Electronic endoscope device | |
JP4579721B2 (en) | Endoscope device | |
EP1698272B1 (en) | Endoscope and image processing device | |
JP4637620B2 (en) | Endoscope system device | |
JP4773217B2 (en) | Electronic endoscope device | |
JP4647347B2 (en) | Endoscope device | |
JP4741264B2 (en) | Endoscopic spectroscopic imaging system device | |
JP4732769B2 (en) | Endoscope device | |
EP2017591A1 (en) | Imaging apparatus | |
JP2019081044A (en) | Image processing apparatus, method for operating image processing apparatus, and image processing program | |
JP2010082141A (en) | Electronic endoscope apparatus | |
JP5039621B2 (en) | Electronic endoscope device | |
JP2007195829A (en) | Endoscopic system apparatus | |
JP4813145B2 (en) | Endoscope device | |
JP2009240354A (en) | Electronic endoscope apparatus | |
JP5068205B2 (en) | Electronic endoscope device | |
JP2010115341A (en) | Electronic endoscopic device | |
JP4767648B2 (en) | Electronic endoscope device | |
JP2009225830A (en) | Electronic endoscope apparatus | |
JP2010051602A (en) | Electronic endoscope apparatus and method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081006 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081006 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4813145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |