JP5355846B2 - 内視鏡用画像処理装置 - Google Patents

内視鏡用画像処理装置 Download PDF

Info

Publication number
JP5355846B2
JP5355846B2 JP2006129681A JP2006129681A JP5355846B2 JP 5355846 B2 JP5355846 B2 JP 5355846B2 JP 2006129681 A JP2006129681 A JP 2006129681A JP 2006129681 A JP2006129681 A JP 2006129681A JP 5355846 B2 JP5355846 B2 JP 5355846B2
Authority
JP
Japan
Prior art keywords
image
circuit
signal
input
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006129681A
Other languages
English (en)
Other versions
JP2007300972A (ja
Inventor
健二 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006129681A priority Critical patent/JP5355846B2/ja
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to PCT/JP2007/058859 priority patent/WO2007129570A1/ja
Priority to EP07742294.7A priority patent/EP2016884B1/en
Priority to KR1020087027421A priority patent/KR101050887B1/ko
Priority to CN2007800166429A priority patent/CN101437438B/zh
Priority to BRPI0711382-0A priority patent/BRPI0711382A2/pt
Publication of JP2007300972A publication Critical patent/JP2007300972A/ja
Priority to US12/266,280 priority patent/US8237783B2/en
Application granted granted Critical
Publication of JP5355846B2 publication Critical patent/JP5355846B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging

Description

本発明は、鮮鋭度を強調する強調レベル、画像信号の種類(観察モード)に応じて階調特性の切り替えを行う内視鏡用画像処理装置に関する。
内視鏡装置には、内視鏡画像の鮮鋭度を強調する機能(例えば構造強調)が搭載されており、例えば第1の従来例としての特開2004−000335号公報に開示されているように、内視鏡に備わるスイッチ等の操作により強調レベルに応じた強調量の切り替えが可能であり、表示装置上に鮮鋭度の異なる内視鏡画像を出力することができる。
また、通常光観察に加えて、特殊光観察を備える内視鏡装置も考案されている。
画像の低輝度部分におけるノイズを軽減する方法として、例えば電子カメラに適用された第2の従来例としての特許3540567号公報が挙げられ、この第2の従来例では鮮鋭度強調処理を適用する画像信号への階調補正を専用に設けることで実現している。
特開2004−000335号公報 特許3540567号公報
上記第1の従来例では、強調レベルを上げて強調量を増してゆくと、ノイズが目立つことがあり、特に照明光の波長帯域を狭帯域化している狭帯域光観察では、低S/Nとなることがあり、暗部でのノイズが顕著となる。
また、第2の従来例では、内視鏡装置のように強調レベルが例えば8段階と強調量の変化幅が広く、強調レベルを上げた場合にはノイズが目立つ事と考えられる。
(発明の目的)
本発明は上述した点に鑑みてなされたもので、画像信号の種類に応じて、ノイズを抑制できる内視鏡用画像処理装置を提供することを目的とする。
また、本発明は、前記強調手段における強調特性の切替え及び画像信号の種類の少なくとも一方に応じて、ノイズを抑制できる内視鏡用画像処理装置を提供することを目的とする。
本発明の一態様の内視鏡用画像処理装置は、内視鏡に搭載された撮像素子で撮像された信号に対して、内視鏡画像として観察するための前記内視鏡画像に対応する画像信号を生成する信号処理を行う画像処理部と、前記画像信号に対する階調を補正する階調補正回路部と、前記画像信号に対する構造または輪郭の強調を行う強調回路部と、内視鏡画像として観察する観察モード若しくは種類を切り替える切替部と、前記構造または輪郭の強調量の切替を行う強調量切替部と、を備え、前記切替部は、可視波長域の照明光のもとで生成される通常光画像、前記通常光画像とは異なる照明光のもとで生成される特殊光画像、前記可視波長域の照明光のもとで生成される前記画像信号に対して、数値データ処理を施すことにより生成される狭帯域画像に相当する分光画像との少なくとも2つの観察モード若しくは種類を含む内視鏡画像から任意の1つへの切替を可能にし、前記階調補正回路部は、 前記画像信号の画像全体の階調を第1の補正特性で補正する第1の階調補正回路部と、前記第1の階調補正回路部とは異なる第2の補正特性を有し、前記強調回路部へ入力される画像信号に対する階調補正を行うとともに、前記観察モード若しくは種類の切替、又は前記強調量の切替に対応して前記第2の補正特性を変更する第2の階調補正回路部とを有し、前記第2の階調補正回路部は、前記観察モード若しくは種類の切替に応じて前記入力画像信号における低輝度部に対する前記第2の補正特性を変更し、前記構造または輪郭の強調量を大きくする切替の場合には、前記強調量を小さくする切替の場合よりもより小さな輝度値となるように前記第2の補正特性に変更する。
本発明によれば、画像信号の種類又は強調特性を切り替えた場合、ノイズを有効に抑制できる。
以下、図面を参照して本発明の実施例を説明する。
図1ないし図10は本発明の実施例1に係り、図1は本発明の実施例1を備えた内視鏡装置の全体構成を示し、図2は狭帯域用フィルタの分光特性の1例を示し、図3は色分離フィルタに用いられる各フィルタの配置例を示し、図4は図1のγ回路の構成を示し、図5は図1の強調回路の構成を示す。
また図6は切替選択された観察モード及び強調レベルの切替選択に対応して設定されるγ_Edge回路及びγ_Cont回路等の入出力特性を示し、図7は変形例の面順次方式の内視鏡装置の全体構成を示し、図8は回転フィルタの構成を示し、図9は図8の外側に配置された第1のフィルタ組を構成する各フィルタの透過特性を示し、図10は図8の内側に配置された第2のフィルタ組を構成する各フィルタの透過特性を示す。
図1に示すように実施例1を備えた内視鏡装置1は、体腔内等に挿入され、内視鏡検査を行う電子内視鏡(以下、単に内視鏡と略記)2と、この内視鏡2に照明光を供給する光源装置3と、内視鏡2に内蔵された撮像手段を駆動すると共に、撮像手段の出力信号に対する信号処理を行う実施例1の内視鏡用画像処理装置としてのビデオプロセッサ4と、このビデオプロセッサ4から出力される映像信号が入力されることにより、撮像手段により撮像した内視鏡画像を表示するモニタ5とを備えている。
内視鏡2は、細長の挿入部7と、この挿入部7の後端に設けられた操作部8と、この操作部8から延出されたユニバーサルケーブル9とを有し、このユニバーサルケーブル9の端部のライトガイドコネクタ11は、光源装置3に着脱自在に接続され、信号コネクタは、ビデオプロセッサ4に着脱自在に接続される。
上記挿入部7内には、照明光を伝送するライトガイド13が挿通され、このライトガイド13における手元側の端部のライトガイドコネクタ11を光源装置3に接続することにより、光源装置3の照明光がライトガイド13に供給される。
光源装置3は、通常光観察モード時には、通常照明光としての白色(可視領域)の照明光を発生して、ライトガイド13に供給し、特殊光観察モードとしての例えば狭帯域光観察モード時には、狭帯域の照明光を発生して、ライトガイド13に供給する。
通常光観察モードと狭帯域光観察モードの切替指示は、例えば内視鏡2の操作部8に設けたスコープスイッチ等によるモード切替スイッチ14aにより行うことができる。なお、観察モードの切替指示は、内視鏡2に設けたモード切替スイッチ14aの他に、フットスイッチにより行える構成としても良いし、ビデオプロセッサ4の操作パネル17に設けたモード切替スイッチ14bからも行える。さらに、図示しないキーボード等により切替指示を行う構成にしても良い。
このモード切替スイッチ14a等による切替信号は、ビデオプロセッサ4内の制御回路15に入力され、切替信号が入力されると、この制御回路15は、光源装置3のフィルタ挿脱装置16を制御して、通常照明光と、狭帯域照明光とを選択的に切り替える。
また、後述するように、この制御回路15は、光源装置3からライトガイド13に供給する照明光の切替制御に連動して、ビデオプロセッサ4内の映像信号処理系の特性を切り替える制御も行う。そして、モード切替スイッチ14aによる切替指示により、映像信号処理系の特性を切り替えることにより、通常光観察モードと狭帯域光観察モードそれぞれに適した信号処理を行えるようにしている。
また、ビデオプロセッサ4の操作パネル17には、モード切替スイッチ14bと、画像の鮮鋭度を強調する強調レベル切替スイッチ19とが設けてあり、これらのスイッチ14b、19による信号は、制御回路15に入力される。モード切替スイッチ14bは、モード切替スイッチ14aと同じ機能を有する。
光源装置3は、照明光を発生するランプ20を内蔵し、このランプ20は、可視領域を含む照明光を発生する。この照明光は、赤外カットフィルタ21により赤外光がカットされて略白色光の波長帯域に近い照明光にされた後、絞り22に入射される。この絞り22は、絞り駆動回路23により、開口量の調整によりその通過光量が制御される。
この絞り22を通過した照明光は、プランジャなどにより構成されるフィルタ挿脱装置16により照明光路中に挿脱される狭帯域用フィルタ24を通して(狭帯域光観察モード時)、或いは狭帯域用フィルタ24を通さないで(通常光観察モード時)、集光レンズ25に入射され、この集光レンズ25により集光されてライトガイド13の手元側の入射端面に入射される。
図2は、狭帯域用フィルタ24の透過率特性の1例を示す。この狭帯域用フィルタ24は、3峰性フィルタ特性を示し、例えば、赤、緑、青の各波長域において、それぞれ狭帯域に透過する狭帯域透過フィルタ特性部Ra,Ga,Baを有する。
より具体的には、狭帯域透過フィルタ特性部Ra,Ga,Baは、それぞれ中心波長が600nm、540nm、420nmであり、その半値幅が20〜40nmのバンドパス特性を有する。
従って、狭帯域用フィルタ24が照明光路中に配置された場合には、この狭帯域透過フィルタ特性部Ra,Ga,Baを透過した3バンドの狭帯域の照明光がライトガイド13に入射される。
これに対して、狭帯域用フィルタ24を照明光路中に配置しない場合には、(可視の波長領域の)白色光がライトガイド13に供給されることになる。
ライトガイド13からの照明光は、ライトガイド13によりその先端面に伝送され、挿入部7の先端部26に設けた照明窓に取り付けた照明レンズ27を経て外部に出射され、体腔内の患部等の生体組織の表面を照明する。
先端部26には、照明窓に隣接して観察窓が設けてあり、この観察窓には対物レンズ28が取り付けられている。この対物レンズ28は、生体組織からの戻り光による光学像を結像する。この対物レンズ28の結像位置には、固体撮像素子として電荷結合素子(CCDと略記)29が配置されており、このCCD29により光電変換される。
このCCD29の撮像面には、光学的に色分離する色分離フィルタ30として例えば図3に示す補色系フィルタが各画素単位で取り付けてある。
この補色系フィルタは、各画素の前に、マゼンタ(Mg)、グリーン(G)、シアン(Cy)、イエロ(Ye)の4色のカラーチップが、水平方向には、Mg、Gと、Cy、Ye又はYe、Cyとが交互に配置され、縦方向には、Mg、Cy、Mg、Yeと、G、Ye、G、Cyとの配列順で、それぞれ配置されている。
そして、この補色系フィルタを用いたCCD29の場合、縦方向に隣接する2列の画素を加算して順次読み出すが、このとき奇数フィールドと偶数フィールドで画素の列をずらして読み出すようにする。そして、後段側でのY/C分離回路37により、公知のように輝度信号と色信号とが生成されることになる。
上記CCD29は、信号線の一端と接続されており、この信号線の他端が接続された信号コネクタをビデオプロセッサ4に接続することにより、ビデオプロセッサ4内のCCD駆動回路31と相関二重サンプリング回路(CDS回路)32とに接続される。
なお、各内視鏡2は、その内視鏡2に固有の識別情報(ID)を発生するID発生部33を備え、ID発生部33によるIDは、制御回路15に入力され、制御回路15は、IDによりビデオプロセッサ4に接続された内視鏡2の種類やその内視鏡2に搭載されたCCD29の種類、画素数等を識別する。
そして、識別した内視鏡2のCCD29を適切に駆動するように制御回路15は、CCD駆動回路31を制御する。
CCD29は、CCD駆動回路31からのCCD駆動信号の印加により、光電変換する。光電変換された撮像信号は、CDS回路32に入力される。CDS回路32により、撮像信号から信号成分が抽出されて生成されたベースバンドの信号は、A/D変換回路34に入力されてデジタル信号に変換されると共に、明るさ検波回路35に入力され、明るさ(信号の平均輝度)が検出される。
明るさ検波回路35により検出された明るさ信号は、調光回路36に入力され、基準の明るさ(調光の目標値)との差分により調光するための調光信号が生成される。この調光信号は、光源装置3内の絞り駆動回路23に入力され、基準となる明るさとなるように絞り22の開口量が調整される。
A/D変換回路34から出力されるデジタル信号は、オートゲインコントール回路(AGC回路と略記)38により信号レベルが所定レベルとなるようにゲイン制御された後、Y/C分離回路37に入力される。そして、このY/C分離回路37によって、入力信号から輝度信号Yhと(広義の色信号Cとしての)線順次の色差信号Cr(=2R−G),Cb(=2B−G)が生成される。
輝度信号Yhは、セレクタ39に入力されると共に、信号の通過帯域を制限する第1のローパスフィルタ(LPFと略記)41に入力される。 このLPF41は、輝度信号Yhに対応して広い通過帯域に設定されており、このLPF41の通過帯域特性に対応した帯域の輝度信号Ylが、第1マトリクス回路42に入力される。
また、色差信号Cr,Cbは、信号の通過帯域を制限する第2のLPF43を介して(線順次)同時化回路44に入力される。
この場合、第2のLPF43は、制御回路15により、観察モードに応じてその通過帯域特性が変更される。具体的には、通常光観察モード時には、第2のLPF43は、第1のLPF49より低帯域に設定される。
一方、狭帯域光観察モード時には、第2のLPF43は、通常光観察モード時における低帯域よりも広い帯域に変更される。例えば第2のLPF43は、第1のLPF41とほぼ同様に広帯域に設定(変更)される。このように第2のLPF43は、観察モードの切替に連動して、色差信号Cr,Cbに対する通過帯域制限する処理特性を変更する処理特性変更手段を形成している。
同時化回路44は、同時化された色差信号Cr,Cbを生成し、この色差信号Cr,Cbは、第1マトリクス回路42に入力される。
第1マトリクス回路42は、輝度信号Yl及び色差信号Cr,Cbから3原色信号R1,G1,B1に変換し、生成された3原色信号R1,G1,B1はホワイトバランス回路45に入力される。
この第1マトリクス回路42は、制御回路15によって制御され、CCD29の色分離フィルタ30の特性や狭帯域用フィルタ24の特性に応じて(変換特性を決定する)マトリクス係数の値を変更して、混色の無い或いは混色を殆ど解消した3原色信号R1,G1,B1に変換して出力する。
例えば、ビデオプロセッサ4に実際に接続される内視鏡2により、その内視鏡2に搭載されているCCD29の色分離フィルタ30の特性が異なる場合があり、制御回路15は、IDの情報により実際に使用されているCCD29の色分離フィルタ30の特性に応じて第1マトリクス回路42の係数を変更する。このようにすることにより、実際に使用される撮像素子の種類が異なる場合にも適切に対応でき、偽色の発生を防止したり、混色の(殆ど)無い3原色信号R1,G1,B1に変換することができる。
なお、混色の無い3原色信号R1,G1,B1を生成することにより、特に狭帯域光観察モード時において、特定の色の狭帯域光の下で撮像した色信号が他の色の狭帯域光の下で撮像した色信号のために識別がしにくくなってしまうことを有効に防止できる作用効果を持つ。
ホワイトバランス回路45に入力された3原色信号R1,G1,B1は、ホワイトバランス回路45によりホワイトバランスするように調整された3原色信号R2,G2,B2が生成される。
このホワイトバランス回路45から出力される3原色信号R2,G2,B2は、第2マトリクス回路46に入力され、この第2マトリクス回路46により、輝度信号と、色差信号R−Y、B−Yに変換される。
この場合、制御回路15は、通常光観察モード時には、3原色信号R2,G2,B2から輝度信号Yと、色差信号R−Y、B−Yに単に変換するように第2マトリクス回路46のマトリクス係数を設定する。
制御回路15は、狭帯域光観察モード時には、第2マトリクス回路46のマトリクス係数を通常光観察モード時の値から変更して、3原色信号R2,G2,B2から特にB信号に対する比率(重み付け)を大きくした輝度信号Ynbi及び色差信号R−Y、B−Yが生成されるようにする。
この場合における変換式は、3行3列のマトリクスA、Kを用いると、以下のようになる。
[数1]
Figure 0005355846
ここで、Kは、例えば3個の実数成分k1〜k3(その他の成分は0)からなり、この式(1)のような変換式により、Rの色信号に対して、G,Bの色信号の重み付けが大きく、特にBの色信号の重み付け(比率)が最大となっている。換言すると、長波長となるRの色信号を抑圧し、短波長側のBの色信号を強調している。
又、Aは、RGB信号からY色差信号に変換する為のマトリクス(行列)であり、以下のような公知の演算係数が用いられる。
[数2]
Figure 0005355846
第2マトリクス回路46により出力される輝度信号Ynbiは、セレクタ39に入力される。このセレクタ39は、制御回路15により切替が制御される。つまり、通常光観察モード時には輝度信号Yhが選択され、狭帯域光観察モード時には、輝度信号Ynbiが選択される。図1では、セレクタ39から選択して出力される輝度信号Yh或いはYnbiを輝度信号Yselで示している。
第2マトリクス回路46から出力される色差信号R−Y、B−Yは、セレクタ39を通った輝度信号Yh又はYnbi(つまりYsel)と共に、拡大補間回路47に入力される。
この拡大補間回路47により拡大処理が施された輝度信号Yselは、γ回路50に入力され、γ補正処理された後、強調回路48に入力され、鮮鋭度強調の処理が施された後、第3マトリクス回路49に入力される。また、拡大補間回路47により拡大処理された色差信号R−Y,B−Yは、γ回路50によりγ補正、つまり階調補正された後、第3マトリクス回路49に入力される。
そして、第3マトリクス回路49により3原色信号R,G,Bに変換された後、D/A変換回路51によりアナログの3原色信号R,G,Bに変換されて映像信号出力端からモニタ5に出力される。
制御回路15は、モード切替スイッチ14a或いは14bの操作による観察モードの切替或いは選択に対応して、LPF43の特性の変更設定、第1マトリクス回路42及び第2マトリクス回路46のマトリクス係数の変更設定、セレクタ39の輝度信号Yh/Ynbiの選択、γ回路50の以下に説明するγ_テーブルの切替の制御を行う。
また、制御回路15は、観察モードの切替に応じて、光源装置3のフィルタ挿脱装置16の動作を制御する。また、この制御回路15は、ホワイトバランス調整時には、ホワイトバランス回路45のゲイン設定を行う。
上記γ回路50は、図4に示すような構成である。輝度信号Yselは、この輝度信号Yselに対応した画像全体の階調補正を行う(第1の階調特性補正部を構成する)γ_Contrast回路(以下、γ_Cont回路と略記)54と、画像の輪郭の強調用に対応した階調補正を行う(第2の階調特性補正部を構成する)γ_Edge回路55とに入力される。
また、色差信号R−Y、B−Yは、色差信号にも対応した階調補正を行うγ_Cont回路54のみに入力される。
γ_Cont回路54及びγ_Edge回路55は、γ_テーブル格納部56に格納されたγ_Cont用及びγ_Edge用のγ_テーブル値がセットされる。
本実施例においては、例えばγ_Cont用のγ_テーブル値は、観察モードの切替と強調レベルの切替(変更)に対しても変更されないで共通に使用される。
そしてγ_Cont回路54は、γ_Cont用のγ_テーブル値により、入力される輝度信号Ysel、色差信号R−Y、B−Yそれぞれを階調補正する。
これに対してγ_Edge用のγ_テーブル値は、観察モードの切替及び強調レベルの切替のいずれの切替においても、入出力特性が異なるものがセットされ、実際にセットされたγ_Edge用のγ_テーブル値により入力される輝度信号Yselに対して階調補正を行う。
従って、γ_テーブル格納部56には、観察モードに対応したγ_Edge用のγ_テーブル値と、選択される強調レベルに対応したγ_Edge用のγ_テーブル値とが予め格納されている。そして、ユーザにより選択された観察モードに対応して、制御回路15から観察モード用設定指示信号Sobがγ_テーブル格納部56に入力されると、その観察モードに対応したγ_Edge用のγ_テーブル値が読み出され、γ_Edge回路55にセットされる。
また、ユーザにより選択された観察モードに対応して、制御回路15は、後述するように強調回路48による鮮鋭度を強調するフィルタ処理を行う際に使用されるフィルタ係数を制御する。
また、同様に、ユーザにより選択された強調レベルに対応して、制御回路15から強調レベル用設定指示信号Senがγ_テーブル格納部56に入力されると、その強調レベルと選択された観察モードとに対応したγ_Edge用のγ_テーブル値が読み出され、γ_Edge回路55にセットされる。
そして、γ_Edge回路55は、セットされたγ_Edge用のγ_テーブル値により入力される輝度信号Yselに対して階調補正を行う。
γ_Edge回路55の出力信号は、図5に示すように強調回路48内のフィルタ回路57に入力される。そして、このフィルタ回路57に入力され信号は、このフィルタ回路57において、例えば空間フィルタ(例えば9×9)により、鮮鋭度を強調するフィルタ処理が施された後、加算器58に入力される。
この加算器58には、γ_Cont回路54が出力する輝度信号Yselも入力され、フィルタ回路57及びγ_Cont回路54の両出力信号が加算されて加算器58から出力される。
この加算器58の出力信号は、クリップ回路59に入力され、このクリップ回路59により所定の出力範囲内になるようにクリップ処理されて図1の第3マトリクス回路49に出力される。例えば、クリップ回路59は、その出力信号が入力される第3マトリクス回路49の入力ビット数が10ビットであれば、0〜1023内のデータ値にクリップする。
また、強調回路48内には、複数の強調レベルに対応したフィルタ係数を予め格納したフィルタ係数格納部60が設けてあり、このフィルタ係数格納部60は、上記強調レベル用設定指示信号Senが入力されることにより、その指示信号Senに対応したフィルタ係数をフィルタ回路57にセットする。そして、このフィルタ回路57は、実際にセットされたフィルタ係数でフィルタ処理を行う。
図6(A)は、選択された観察モードに対応して設定されるγ_Edge回路55の入出力特性を、γ_Cont回路54の入出力特性と共に示している。
図6(A)では、通常光観察モードの場合のγ_Edge回路55の入出力特性をγ_Edge(WLI)で、狭帯域光観察モードの場合のγ_Edge回路55の入出力特性をγ_Edge(NBI)で示している。また、γ_Cont回路54の入出力特性は、両モードで共通にしているので単にγ_Contで示している。
図6(A)から分かるように通常光観察モードでは、低輝度部(横軸の左側部分)においては、γ_Edge回路55は、γ_Cont回路54の値よりも小さな値を出力する特性に設定されている。
また、狭帯域光観察モードでは、γ_Edge回路55は、低輝度部において通常光観察モードの場合よりも小さな値を出力する特性に設定されている。
これにより、画像の低輝度部において、フィルタ回路57(図5参照)が抽出する鮮鋭度強調信号の強度を低下させられる為、狭帯域光観察モードにおける光量不足をAGC回路38により補償するような場合のゲインアップ時の低輝度部におけるノイズを抑制することができる。
つまり、狭帯域光観察モードは、通常光観察モードの場合に比較して、照明光が帯域制限されているため、そのままでは通常光観察モードに比較すると光量が小さくなり、絞り22が全開した状態でも光量が不足する場合がある。この場合には、AGC回路38のAGC機能が動作して、光量不足をAGC回路38によるゲインアップで補償する。
補償後の画像における高輝度部は相対的にS/Nが高いものの、低輝度部ではS/Nが低いためにノイズが特に目立ち、更に強調回路48による強調処理でノイズが顕著となることがある。
本実施例では、γ_Edge回路55の入出力特性を図6(A)のように設定することにより、上記のように低輝度部での強調信号の強度を低下させるため、強調処理によるノイズの増幅を抑えることができる。
なお、本実施例では、γ_Cont回路54を両モードで共用しているが、観察モードの切替に応じて、その特性を変更してもよい。図6(B)は、その場合に設定される特性例を示す。
図6(B)は、通常光観察モードの場合のγ_Cont回路54の入出力特性をγ_Cont(WLI)で示し、狭帯域光観察モードの場合のγ_Cont回路54の入出力特性をγ_Cont(NBI)で示している。
ここで、γ_Cont(WLI)は、図6(A)のγ_Contと同じ入出力特性であり、γ_Cont(NBI)は低輝度部においてγ_Cont(WLI)よりも小さな値を出力する特性に設定されている。
この場合、図1のγ回路50は、ユーザにより選択された観察モードに対応して、制御回路15から観察モード用指定指示信号Sobがγ_テーブル格納部56に入力されると、その観察モードに対応したγ_Cont用のγ_テーブル値が読み出され、γ_Cont回路54にセットされる。γ_Edge回路55の入出力特性と同様に、γ_Cont回路54の入出力特性(γ_テーブル値)を観察モードで切替えることにより、ゲインアップに伴う狭帯域光観察モードの低輝度部におけるノイズを抑制することが出来る。
図6(C)は、観察モードの切替と強調レベルの切替の両方で、γ_Edge回路55の入出力特性をを切り替える例を、狭帯域光観察モードの場合で示している。ここでも参考用に図6(A)に示したγ_Cont回路54の入出力特性も示している。
なお、γ_Edge回路55の入出力特性として強調レベルを大きくした場合のものをγ_Edge(Enh_H)で、強調レベルを小さくした場合のものをγ_Edge(Enh_L)で示している。
図6(C)に示すγ_Edge(Enh_H)の特性から分かるように、強調レベルを上げて強調量の度合いを増大するフィルタ係数が設定されると、輝度全域に渡って、γ_Cont回路54の入出力特性よりも小さな出力値となるγテーブルを適用するように設定している。
これに対して、γ_Edge(Enh_L)の特性は、低輝度側においてのみγ_Cont回路54の入出力特性よりも小さな出力値となっている。
これにより低輝度部においては、ノイズの不要な強調を抑制でき、また高輝度部においては、エッジ部のオーバーシュート、アンダーシュートを低減できる為、過度の強調を抑える事が可能となる。
このように本実施例では、画像の鮮鋭度を強調する場合、階調補正を画像全体の階調補正用と鮮鋭度強調用に分け、鮮鋭度強調用は、鮮鋭度強調レベルの切替や観察モードの切替に応じてその入出力特性を変更する。この場合、低輝度部における階調補正曲線の傾きを、鮮鋭度強調レベルが高い程或いは帯域制限された狭帯域光観察モードの場合にはより小さく設定する構成にしているので、低輝度部において視覚上目立つノイズを有効に低減できる。
さらに、画像全体の階調補正用に設けた階調補正の入出力特性も、観察モードの切り替えに応じて変更する。この場合、狭帯域光観察モード時に、低輝度部においてより小さな値を出力する入出力特性を設定することで、明るさ不足を補うゲインアップによって生じる低輝度部のノイズを更に効果的に抑制できる。
また、簡単な構成で視覚上目立つノイズを有効に低減できる。
また、鮮鋭度強調レベルの切替や観察モードの切替に応じて、ルックアップテーブルによる入出力特性を切り替えることにより、高速処理ができる。
上記実施例1として、同時式の場合に適用した例で説明したが、以下の面順次式の内視鏡装置の場合にも適用することができる。
この面順次式の内視鏡装置では、R,G,B光或いは複数の狭帯域光を順次被写体側に照射して、面順次照明を行い、この面順次照明のもとで(色分離フィルタを有しない)モノクロの撮像素子を用いて面順次式に撮像を行う。
図7に示す面順次式の内視鏡装置1Bは、内視鏡2Bと、光源装置3Bと、ビデオプロセッサ4Bと、モニタ5と、内視鏡画像を記録するファイリング装置6とから構成される。
内視鏡2Bは、図1の内視鏡2において色分離フィルタ30を有しないモノクロのCCD29が用いられている。
また、光源装置3Bは、図1の光源装置3においてフィルタ挿脱装置16及びフィルタ24の代わりに、ランプ20による照明光を面順次光に変換する回転フィルタ61と、回転フィルタ61を回転駆動するモータ62と、このモータ62を保持する保持板62aを光路と直交する方向に移動する移動モータ63と、モータ62を一定速度で回転させる制御回路64とが設けてある。なお、ランプ点灯回路65は、ランプ20にランプ点灯電力を供給して点灯させる。
保持板62aには、例えばラック部が設けてあり、このラック部は移動モータ63の回転軸に設けたピニオンギヤ63aと噛合している。そして、移動モータ63により、保持板62aが図7中の矢印Cで示すように移動されると、モータ62と共に、回転フィルタ61も移動される。
回転フィルタ61には、図8に示すように、円板状に構成され中心を回転軸とした2重構造となっている。そして、径が大きい外側の周方向部分には図9に示すような色再現に適したオーバーラップした(広帯域の)分光特性の面順次光を出力するための第1のフィルタ組を構成するRaフィルタ61ra,Gaフィルタ61ga,Baフィルタ61baが配置されている。なお、図9においては、Raフィルタ61ra,Gaフィルタ61ga,Baフィルタ61baによりそれぞれ透過される波長帯域Ra、Ga,Baで示している。
また、内側の周方向部分には生体組織の表層付近における所望の深さの組織情報を抽出可能とする離散的な分光特性の狭帯域な面順次光を出力するための第2のフィルタ組を構成するRbフィルタ61rb,Gbフィルタ61gb,Bbフィルタ61bbが配置されている。なお、図10においては、Rbフィルタ61rb,Gbフィルタ61gb,Bbフィルタ61bbによりそれぞれ透過される波長帯域Rb、Gb,Bbで示している。 そして、ユーザによるモード切替スイッチ14a或いは14bのモード切替の指示信号に応じてモード切替回路73から出力される駆動信号により、移動モータ18を正転或いは逆転させることにより、観察モードに応じて、第1のフィルタ組或いは第2のフィルタ組を光路上に配置できるようにしている。
第1のフィルタ組が光路上に配置された場合には、通常の赤、緑、青の面順次光、つまり、図9に示すRa、Ga,Baの広帯域の面順次光となり、通常光観察像が得られる通常光観察モードに相当する。
これに対して第2のフィルタ組が光路上に配置された場合には、狭帯域の面順次光となり、狭帯域光観察像が得られる狭帯域光観察モード(NBIモード)に相当する。なお、図8では第1のフィルタ組と第2のフィルタ組が光路上に配置された場合における光束の位置を示している。
また、ビデオプロセッサ4Bは、CCD駆動回路31を有し、このCCD駆動回路31によるCCD駆動信号が印加されることによりCCD29により光電変換された信号は、このビデオプロセッサ4B内のプリアンプ66により増幅された後、相関2重サンプリング及びノイズ除去等を行うプロセス回路67を経てA/D変換回路34に入力されると共に、調光回路36′に入力される。この調光回路36′は、図1の明るさ検波回路35、調光回路36及び絞り駆動回路23の機能を持つ。
A/D変換回路34によりアナログ信号からデジタル信号の画像データに変換された後、ホワイトバランス回路68に入力され、ホワイトバランスの処理が行われた後、AGC回路69に入力され、所定レベルまで増幅される。
なお、AGC回路69によるAGC機能よりも光源装置3の絞り22による照明光量での調光動作が優先して行われ、この絞り22の開口が開放状態に達した後、その開放状態の情報に基づいて、AGC回路69は、その開放状態でも不足する分を信号レベルを増大させるように増幅する。
また、調光回路36′は、プロセス回路67の出力信号から、光源装置3の絞り22の開口量を調整して適正な照明光量に制御する調光信号を生成する。
上記AGC回路69の出力データは、面順次信号を同時化された信号に変換する同時化回路70に入力されると共に、切替スイッチ71を介して拡大回路72に入力される。 切替スイッチ71は、モード切替スイッチ14aの操作により、モード切替回路73を介して通常光観察モード時には、接点aが選択され、狭帯域光観察モード時には接点bが選択される。
同時化回路70により同時化された信号データは、色変換回路74に入力され、この色変換回路74により色変換の処理が行われる。この色変換回路74は、同時化されたRGB画像情報を3×3のマトリクスにより色変換する。これにより、狭帯域光観察モードで再現される画像情報の視認性を向上する。
この場合におけるRGBからR′G′B′に色変換する変換式は、式(1)中の3行3列のマトリクスKを用いて変換する。
上記のようにKは、例えば3個の実数成分k1〜k3(その他の成分は0)からなり、 このマトリクスKによる変換により、RGBカラー信号におけるBの色信号の重み付け(比率)を最大とし、長波長となるR2フィルタの透過光により画像化されたRの色信号を抑圧し、短波長側のBの色信号を強調してRGBカラー画像として表示されるようにする。
この色変換回路74の出力信号(R′、G′、B′であるが簡単化のためR、G、Bを用いて説明する)は、面順次回路75に入力される。面順次回路75は、フレームメモリにより構成され、同時に格納されたR、G、Bの画像データを色成分画像として順次読み出すことにより面順次の画像データに変換される。この面順次の画像データR,G,Bは、切替スイッチ71を経て拡大回路72に入力され、拡大補間処理された後、γ回路50Bに入力される。
このγ回路50Bにより、入力される面順次のR,G,Bの信号データは、γ補正が行われる。このγ回路50Bは、実施例1における図4で示したγ回路50に相当する構成である。実施例1ではγ回路50には、輝度信号Ysel、R−Y、B−Yが入力されていたが、本変形例では、面順次のR,G,B信号が入力される。
そして、この場合、図4に示した輝度信号Yselの代わりに面順次のR,G,B信号が入力され、色差信号R−Y、B−Yがγ_Cont回路54に入力される部分と、このγ_Cont回路54から第3マトリクス回路49に色差信号R−Y、B−Yが出力される部分が無くなる。
このγ回路50Bの出力信号は、強調回路48Bに入力され、強調回路48Bによって、実施例1と同様に鮮鋭度強調処理が施された後、セレクタ76を経て同時化回路77に入力される。
なお、本実施例においては、図4に示したγ_Edge回路55の出力信号は、強調回路48B内のフィルタ回路57(図5参照)に入力される。また、図4におけるγ_Cont回路54は、輝度信号Yselの代わりに面順次のR,G,B信号を強調回路48B内の加算器58(図5参照)に出力する。
上記同時化回路77は、例えば3つのメモリ77a、77b、77cにより形成されている。
同時化回路77により同時化された信号データは、画像処理回路78に入力され、動画の色ずれ補正等の画像処理が施された後、D/A変換回路79a、79b、79c及び符号化回路80に入力され、これらD/A変換回路79a、79b、79cによりアナログの映像信号に変換された後、モニタ5に入力される。
モニタ5は、入力される映像信号に対応した内視鏡画像を表示する。また、符号化回路80により圧縮された内視鏡画像信号はファイリング装置6に入力されて、記録される。 また、ビデオプロセッサ4B内には、タイミングジェネレータ81が設けてあり、光源装置3の制御回路64からの回転フィルタ61の回転に同期した同期信号が入力され、この同期信号と同期した各種タイミング信号を上記各回路に出力する。
また、ID発生部33のIDは、タイミングジェネレータ81に入力され、タイミングジェネレータ81はIDによりCCD29の画素数が異なるような場合にも、そのCCD29を駆動するための制御信号とタイミング信号とをCCD駆動回路31に送る。
また、内視鏡2Bに設けられた、モード切替の指示を行うモード切替スイッチ14aの出力信号は、ビデオプロセッサ4B内のモード切替回路73に入力される。
モード切替回路73は、入力されるモード切替の指示信号に応じた制御信号を、調光制御パラメータ切替回路83及び光源装置3の移動モータ63に出力すると共に、切替スイッチ71の切替とγ回路50Bの入出力特性を制御する。
調光制御パラメータ切替回路83は、回転フィルタ61の第1のフィルタ組あるいは第2のフィルタ組に応じた調光制御パラメータを調光回路36′に出力し、調光回路36′は、モード切替回路73からの制御信号及び調光制御パラメータ切替回路83からの調光制御パラメータに基づき光源装置3の絞り22を制御し、適正な明るさとなるように制御を行うと共に、絞り22の制御だけでは所定の明るさに達していない場合には、AGC回路69のAGCを動作させるための制御信号を送って、所定の明るさとなるようにAGC回路69を制御する。
つまり、調光回路36’は、プロセス回路67の出力信号とAGC回路69から送信されたゲイン値に基づき算出した画像の明るさが、所定値となる為の制御信号をAGC回路69に送信する。
本変形例においても、モード切替スイッチ14a、14bを操作することにより、観察モードを切り替えることができると共に、切り替えられて設定された通常光観察モード或いは狭帯域光観察モードに応じてγ回路50Bのγ_Edge回路55、γ_Cont回路54(図4参照)の入出力特性が適切に設定される。
また、強調レベル切替スイッチ19の操作により強調レベルを切り替えた場合にもその強調レベルに応じてγ回路50Bのγ_Edge回路55の入出力特性が適切に設定される。
本変形例では、実施例1の場合と同様に通常光観察モードから狭帯域光観察モードに切り替えた場合、図6(A)で示したように狭帯域光観察モードにおけるγ回路50Bのγ_Edge回路55の入出力特性が通常光観察モードの場合よりも低輝度部側で低い値(小さい出力値)を出力するようになる。
また、図6(C)に示したように強調レベルを上げて強調量を大きくした場合には、その強調量が大きい程、γ_Edge回路55の入出力特性が小さな値を出力する特性に切り替えられる。
従って、本変形例の効果として、実施例1と同様の効果を得ることができる。
なお、本変形例における強調レベルの切替えに応じたγ_Edge回路55の入出力特性として、図6(A)のように設定してもよい。
すなわち、強調レベル上昇に伴い、低輝度部のみで、より小さな値を出力する入出力特性へ切替える。フィルタ回路57において適用される強調の周波数特性が、高輝度部でのオーバーシュートやアンダーシュートを軽減している場合には、低輝度部のノイズを軽減し、高輝度の強調効果の抑制を軽減することができる。
また、強調レベルの切替の場合にも図6(A)に示すような特性にした場合には、データの共通化によりデータ量を減らすことができる。
次に図11を参照して本発明の実施例2を説明する。本実施例は、狭帯域の照明光を用いないで、通常の照明光の状態で、(同時式の)狭帯域光による画像に相当する画像を得る実施例である。実施例1における狭帯域の照明光を用いない構成であるため、その背景をまず説明する。
狭帯域光を用いずに粘膜表層付近のおける深さ方向に対する血管の走行状態等をより視認し易くするための内視鏡装置が特開2003−93336号公報で開示されている。この従来例は構成が簡単であるものの、数値演算により狭帯域光で撮像した画像に相当する分光画像信号を生成するため、分光画像の信号レベルが低く、低S/Nとなり、その結果ノイズが目立ち易くなる。
このため、狭帯域光を用いることなく通常の可視光のもとで撮像した信号からこのように分光画像信号を生成する場合にも、ノイズの少ない鮮鋭度強調処理画像を表示可能な内視鏡用画像処理装置及び内視鏡装置を提供することを目的として本実施例2の構成にしている。
図11は実施例1の内視鏡2と同じ補色系の色分離フィルタ30を用いた場合に対応した実施例2を備えた内視鏡装置1Cの構成を示す。
この内視鏡装置1Cは、図1に示した内視鏡装置1において、光源装置3の一部を変更した光源装置3Cと、ビデオプロセッサ4の一部を変更したビデオプロセッサ4Cを採用している。
光源装置3Cは、図1の光源装置3において、フィルタ24及びフィルタ挿脱装置16を有しない構成である。つまり、この光源装置3Cは、常時、通常光観察用の白色光を発生する。
また、本実施例におけるビデオプロセッサ4Cは、図1のビデオプロセッサ4において、セレクタを設けないで、通常光観察モードの場合は元より、狭帯域光観察モードの場合にも、LPF41とLPF43及び同時化回路44を経て図1の第1マトリクス回路42の機能を持つ第1マトリクス回路86に輝度信号Ylと色信号Cr、Cbとが入力されるようにしている。
この第1マトリクス回路86は、通常光観察モード時には、輝度信号Ylと色信号Cr,Cbに対してRGB信号(図1のR1,G1,B1に相当)に変換する。
一方、表示装置に分光画像を表示する分光観察モード時には、制御回路15から狭帯域の信号(以下、分光画像信号)を生成する3行3列のマトリクスス係数が第1マトリクス回路86にセットされ、第1マトリクス回路86は、狭帯域の分光画像信号F1,F2,F3を出力する。
このため、図11では第1マトリクス回路86から出力される信号をR1′,G1′,B1′で示す(ここで、通常光観察モード時は、R1′=R1,G1′=G1,B1′=B1;分光観察モード時は、R1′=F1,G1′=F2,B1′=F3)。
この第1マトリクス回路86の出力信号は、ホワイトバランス回路45によりホワイトバランスした信号R2′,G2′,B2′となり、第2マトリクス回路46により輝度信号Y′と、色差信号R−Y′、B−Y′に変換される。
この輝度信号Y′と、色差信号R−Y′、B−Y′は、拡大補間回路47を経て拡大補間処理された後、γ回路50Cに入力され、γ回路50Cで階調変換された輝度信号Y’は強調回路48Cに入力される。
上記γ回路50Cは、例えば実施例1のγ回路50と同じ構成である。そして、特に画像の輪郭強調用のγ_Edge回路55に対しては、観察モードの切替、強調レベルの切替に応じてその入出力特性を切り替え、実施例1の場合と同様に処理される。
なお、本実施例においても選択される観察モードに応じて、γ_Cont回路の入出力特性を変更しても良い。
このように本実施例では、白色光による照明のもとで撮像された撮像信号から電気的な信号処理により、通常の画像信号と、狭帯域の分光画像信号F1,F2,F3を生成する構成にしている。
本実施例による動作としては、実施例1においては観察モードを切り替えた場合に、照明光が切り替えられていたが、本実施例では照明光の切替は行われない。そして、制御回路15は、観察モードの切替指示に応じて、第1マトリクス回路86のマトリクス係数の切替設定を行う。
そして、通常光観察モードでは、実施例1のように処理が行われ、また分光観察モードにおいては電気的な信号処理で生成された分光画像信号F1,F2,F3を輝度信号Y′と色差信号R−Y′、B−Y′に変換して、実施例1の場合と同様に処理して低輝度部でのノイズを有効に抑制する。
また、強調レベルの切替が行われた場合にも、γ_Edge回路55の入出力特性を切り替えることにより、実施例1の場合と同様に処理して低輝度部でのノイズを有効に抑制すると共に、高輝度部側におけるエッジ部のオーバシュートを低減することができる。 このように本実施例においても、実施例1の場合と同様に低輝度で目立つノイズを有効に抑制できる。
上記の場合には、補色系の色分離フィルタ30を用いた内視鏡2の場合の内視鏡装置1Cに対して説明したが、補色系の色分離フィルタ30を用いた内視鏡2及び原色系の色分離フィルタ30′を用いた内視鏡2′のいずれの場合にも適用できる第1変形例の内視鏡装置1Dの構成を図12に示す。
図12の内視鏡装置1Dにおいては、図11のビデオプロセッサ4Cの一部を以下のように変更したビデオプロセッサ4Dを用い、このビデオプロセッサ4Dは、図11に示した補色系の色分離フィルタ30を備えた内視鏡2にも対応できるし、図12に示すように原色系の色分離フィルタ30′を用いた内視鏡2′にも対応できる構成にしている。
図12に示す内視鏡装置1Dは、図11の内視鏡装置1Cにおけるビデオプロセッサ4Cにおいて、第1マトリクス回路86の前に切替スイッチ91を設け、補色系の色分離フィルタ30の内視鏡2の場合に適用するY/C分離&同時化回路92と、原色系の色分離フィルタ30′を用いた内視鏡2′に適用する同時化回路93とを選択できる構成にしたビデオプロセッサ4Dを採用している。
なお、図12におけるY/C分離&同時化回路92は、図11におけるY/C分離回路37、LPF41、43及び同時化回路44をまとめて示したものである。
そして、制御回路15は、ビデオプロセッサ4Dに接続された内視鏡2或いは2′内のID発生部33からのID情報における色分離フィルタ30或いは30′に対応した情報に基づき、切替スイッチ91の切替と第1マトリクス回路86のマトリクス係数の切替設定等を行う。
また、制御回路15は、強調回路48Cに対する特性の切替制御も行う。図12では、ビデオプロセッサ4Dには、原色系の色分離フィルタ30′を用いた内視鏡2′が接続された場合を示し、この場合には同時化回路93が選択使用される。
原色系の色分離フィルタ30′が採用されたCCD29から出力され、同時化回路93に入力されるR,G,Bの画素の信号は、1色/画素となっているため、この同時化回路93において3色/画素の信号に変換(3板化)して第1マトリクス回路86に出力する。
この第1マトリクス回路86には、補色系の色分離フィルタ30を用いたCCD29の場合には、輝度信号Yと色信号Cr,Cbが入力され、原色系の色分離フィルタ30′を用いたCCD29の場合には、R,G,B信号が入力される。
制御回路15は、ID発生部33からのID情報に基づき、第1マトリクス回路86のマトリクス係数の切替を適切に行う。そして、この第1マトリクス回路86から図11の構成の場合で説明したようにR1′,G1′,B1′の信号が出力されるようにする。 本変形例によれば、原色系の色分離フィルタ30′を用いた場合にも、補色系の色分離フィルタ30を用いた場合のいずれの場合においても、実施例2と同様の効果が得られる。
なお、本変形例において、ID発生部33のIDにより、その内視鏡2、或いは2′に搭載されているCCD29の特性に応じて、γ回路50Cにおける例えばγ_Edge回路55の特性を適切に設定するようにするようにしても良い。
つまり、CCD29は、その種類等に応じてその光電変換する際のS/Nの値が異なるため、CCD29の種類等に応じて、そのS/Nの値に対応した特性のγ_テーブル値をγ回路50C内のγ_テーブル格納部56(図4参照)に格納しておく。
そして、制御回路15は、ID発生部33のIDからCCD29に対応したγ_テーブル値を用いる指示信号Sccdをγ回路50C内のγ_テーブル格納部56に送り、γ_テーブル格納部56は、指示されたγ_テーブル値をγ_Edge回路55にセットする。
この指示信号Sccdは、強調レベルと観察モードに基づいてγ_Edge回路55にγ_テーブル値がセットされる機能に加えて、γ_テーブル値を、実際に使用されるCCDの種類等に対応して適切なものがセットされるようにするものである。
この場合、S/Nが大きいCCD29の場合に比べて、S/Nが小さいCCD29の場合には低輝度部の入力に対して出力値が低い値となるような特性に設定する。このようにすることにより、CCD29の特性が異なる場合にも、特に低輝度部でのノイズを有効に抑制できる。
γ_Edge回路55にセットするγ_テーブル値は、指示信号Sccd、強調レベルに対応する指示信号Sen、観察モードに対応する指示信号Sobとに基づき、セットされるようにしても良い。
本実施例は、面順次式の内視鏡2Bの場合にも適用できる。図13は面順次式の内視鏡2Bの場合に適用した第2変形例を備えた内視鏡装置1Eを示す。
この内視鏡装置1Eは、図7に示した内視鏡装置1Bにおいて、光源装置3Bの一部を変更した光源装置3Eと、ビデオプロセッサ4Bの一部を変更したビデオプロセッサ4Eを採用している。
この光源装置3Eは、図7の光源装置3Bにおいて、回転フィルタ61の代わりに回転フィルタ61′を用い、回転フィルタ61を移動する移動モータ63等を設けない構成にしている。
つまり、回転フィルタ61′は、図8に示した外周側のフィルタ組のみを有し、内周側のフィルタ組を有しない。そして、常時、R,G,Bの面順次光を発生する。
また、ビデオプロセッサ4Eは、図7のビデオプロセッサ4Bにおいて、色変換回路74の代わりに、狭帯域の分光画像信号を生成する機能と、生成された分光画像信号に対して(図7の色変換回路74の機能に相当する)色変換する機能とを備えた色変換回路95を用いている。
また、この色変換回路95に対して、狭帯域の分光信号を生成するための変換マトリクス係数を供給する変換マトリクス係数格納部96が設けてある。そして、分光観察モードのモード切替が行われた場合、モード切替回路73からの信号により、変換マトリクス係数格納部96から色変換回路95に狭帯域の分光信号を生成するための変換マトリクス係数が供給される。
そして、この色変換回路95により分光画像信号が生成されると共に色変換され、図7の色変換回路74から出力される狭帯域信号に相当する信号が面順次回路75に出力される。その他の構成は、図7と同様である。
また、本変形例による動作は、通常光観察モード時においては図7の場合における通常光観察モードと全く同じ動作となる。
一方、分光観察モード時には、変換マトリクス係数格納部96から色変換回路95に対して変換マトリクス係数が供給され、分光画像信号が生成されると共に、さらに色変換される。この色変換回路95から出力される色変換された分光画像信号は、図7の色変換回路74から出力される色変換された狭帯域信号に対応する。そして、この色変換回路95以降の動作は図7の分光観察モードと同様の動作となる。
そして、本変形例は、通常光観察モードにおける面順次式の広帯域の画像信号から、狭帯域の画像信号、つまり分光画像信号を生成する場合にも適用でき、その場合における低輝度部におけるノイズを有効に抑制できる。
なお、上述の説明では、特殊光観察モードとして分光観察モードの場合で説明したが、特殊光観察モードとして赤外光を照射して撮像を行う赤外光観察モードや励起光を照射して蛍光観察を行う蛍光観察モードの場合にも適用することができる。
また、上述した各実施例等を部分的に組み合わせる等して構成される実施例等も本発明に属する。
[付記]
1.請求項3において、特殊光画像は、少なくとも1つの狭帯域の照明光で撮像された画像信号から生成される狭帯域光画像、蛍光画像、赤外光画像である。
2.請求項1、2、3において、階調補正手段の階調補正特性は、少なくとも通常光画像と、特殊光画像および分光画像との間では、異なる階調補正特性に切替える。
3.請求項4において、前記第2の階調補正手段は、前記強調手段における強調特性の切替え、及び前記画像信号に基づき生成された画像の種類の少なくとも一方に対応して、少なくとも低輝度に対する階調補正の特性を変更する。
4.付記3において、前記第2の階調補正手段における階調補正の特性は、前記強調特性を切替えて、画像の鮮鋭度がより強く強調される場合には、弱い場合よりも、より小さな出力値となるような入出力特性に変更する。
5.付記3において、前記第2の階調補正手段における階調補正の特性は、切替えた画像信号の種類が特殊光画像および分光画像の場合には、通常光画像の場合よりも、より小さな出力値となる入出力特性に変更する。
6.被検体に照明光を照明する照明手段と、前記被検体からの戻り光により前記被検体を撮像する撮像手段を備えた内視鏡と、前記照明手段およびまたは前記撮像手段の動作を制御し、前記撮像手段の出力に基づいて画像信号を生成し、表示出力装置へ表示出力する信号処理手段とから構成される内視鏡装置において、
前記信号処理手段が、前記画像信号に対して、階調を補正する階調補正手段を備え、
前記画像信号の種類に応じて、前記階調補正手段における階調補正特性を変更することを特徴とする内視鏡装置。
7.被検体に照明光を照明する照明手段と、前記被検体からの戻り光により前記被検体を撮像する撮像手段を備えた内視鏡と、前記照明手段およびまたは前記撮像手段の動作を制御し、前記撮像手段の手段の出力に基づいて画像信号を生成し、表示出力装置へ表示出力する信号処理手段とから構成される内視鏡装置において、
前記信号処理手段が、前記画像信号に対して、階調を補正する階調補正手段と、前記画像信号に対して、鮮鋭度の強調を行い強調特性の切替えが可能な強調手段とを備え、
前記強調手段における強調特性の切替え、及び前記画像信号の種類の少なくとも一方に応じて、前記階調補正手段における階調補正特性を変更することを特徴とする内視鏡装置。
8.付記6、7において、前記画像信号の種類は、可視波長域の照明光をもとに生成される通常光画像、前記通常光画像とは異なる照明光をもとに生成される特殊光画像、前記可視波長域の照明光をもとに生成される前記画像信号に対して、数値データ処理を施すことにより生成する分光画像の少なくとも2つからなる。
体腔内に挿入して内視鏡検査を行う場合、観察モードの切替や、強調レベルの切替等して観察することがあり、そのような場合、その切替に連動してγ回路における画像の輪郭に対応した階調補正特性の変更を行う。このようにすることにより、低輝度部で目立ちやすいノイズを有効に抑制し、画質の良い観察画像が得られるようにする。
本発明の実施例1を備えた内視鏡装置の全体構成を示すブロック図。 狭帯域用フィルタの透過特性を示す特性図。 色分離フィルタに用いられる各フィルタの配置例を示す図。 図1のγ回路の構成を示すブロック図。 図1の強調回路の構成を示すブロック図。 切替選択された観察モード及び強調レベルの切替選択に対応して設定されるγ_Edge回路及びγ_Cont回路回路等の入出力特性を示す特性図。 変形例の面順次方式の内視鏡装置の全体構成を示すブロック図。 回転フィルタの構成を示す正面図。 図8の外側に配置された第1のフィルタ組を構成する各フィルタの透過特性を示す特性図。 図8の内側に配置された第2のフィルタ組を構成する各フィルタの透過特性を示す特性図。 本発明の実施例2を備えた内視鏡装置の全体構成を示すブロック図。 第1変形例を備えた内視鏡装置の全体構成を示すブロック図。 第2変形例を備えた内視鏡装置の全体構成を示すブロック図。
符号の説明
1…内視鏡装置
2…電子内視鏡(内視鏡)
3…光源装置
4…ビデオプロセッサ
5…モニタ
7…挿入部
14a…モード切替スイッチ
15…制御回路
19…強調レベル切替スイッチ
20…ランプ
24…狭帯域用フィルタ
29…CCD
33…ID発生回路
39…セレクタ
42,46,49…マトリクス回路
48…強調回路
50…γ回路
54…γ_Cont回路
55…γ_Edge回路
56…γ_テーブル格納部
57…フィルタ回路
58…加算器
59…クリップ回路
60…フィルタ係数格納部

Claims (5)

  1. 内視鏡に搭載された撮像素子で撮像された信号に対して、内視鏡画像として観察するための前記内視鏡画像に対応する画像信号を生成する信号処理を行う画像処理部と、
    前記画像信号に対する階調を補正する階調補正回路部と、
    前記画像信号に対する構造または輪郭の強調を行う強調回路部と、
    内視鏡画像として観察する観察モード若しくは種類を切り替える切替部と、
    前記構造または輪郭の強調量の切替を行う強調量切替部と、を備え、
    前記切替部は、可視波長域の照明光のもとで生成される通常光画像、前記通常光画像とは異なる照明光のもとで生成される特殊光画像、前記可視波長域の照明光のもとで生成される前記画像信号に対して、数値データ処理を施すことにより生成される狭帯域画像に相当する分光画像との少なくとも2つの観察モード若しくは種類を含む内視鏡画像から任意の1つへの切替を可能にし、
    前記階調補正回路部は、
    前記画像信号の画像全体の階調を第1の補正特性で補正する第1の階調補正回路部と、
    前記第1の階調補正回路部とは異なる第2の補正特性を有し、前記強調回路部へ入力される画像信号に対する階調補正を行うとともに、前記観察モード若しくは種類の切替、又は前記強調量の切替に対応して前記第2の補正特性を変更する第2の階調補正回路部とを有し、
    前記第2の階調補正回路部は、
    前記観察モード若しくは種類の切替に応じて前記入力画像信号における低輝度部に対する前記第2の補正特性を変更し、前記構造または輪郭の強調量を大きくする切替の場合には、前記強調量を小さくする切替の場合よりもより小さな輝度値となるように前記第2の補正特性に変更する
    ことを特徴とすることを特徴とする内視鏡用画像処理装置。
  2. 少なくとも前記通常光画像への切替の場合と、前記特殊光画像若しくは前記分光画像への切替の場合とで、前記第1の階調補正回路部による補正特性を互いに異なる補正特性に変更することを特徴とする請求項1に記載の内視鏡用画像処理装置。
  3. 前記第1の階調補正回路部は、前記内視鏡画像が前記特殊光画像又は前記分光画像の場合には、前記通常光画像の場合よりも、前記入力画像信号の低輝度部においてより小さな出力値となる入出力特性を有する前記第1の補正特性に変更することを特徴とする請求項1に記載の内視鏡用画像処理装置。
  4. 前記第2の階調補正回路部は、前記内視鏡画像が前記特殊光画像又は前記分光画像の場合には、前記通常光画像の場合よりも、前記入力画像信号の低輝度部においてより小さな出力値となる入出力特性を有する前記第2の補正特性に変更することを特徴とする請求項1に記載の内視鏡用画像処理装置。
  5. 前記特殊光画像は、少なくとも1つの狭帯域の照明光の照射のもとで撮像された画像信号から生成される狭帯域光画像、蛍光画像、赤外光画像のいずれかを含むことを特徴とする請求項2に記載の内視鏡用画像処理装置。
JP2006129681A 2006-05-08 2006-05-08 内視鏡用画像処理装置 Active JP5355846B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2006129681A JP5355846B2 (ja) 2006-05-08 2006-05-08 内視鏡用画像処理装置
EP07742294.7A EP2016884B1 (en) 2006-05-08 2007-04-24 Image processing device for endoscope and endoscope apparatus
KR1020087027421A KR101050887B1 (ko) 2006-05-08 2007-04-24 내시경용 화상 처리 장치 및 내시경 장치
CN2007800166429A CN101437438B (zh) 2006-05-08 2007-04-24 内窥镜用图像处理装置和内窥镜装置
PCT/JP2007/058859 WO2007129570A1 (ja) 2006-05-08 2007-04-24 内視鏡用画像処理装置及び内視鏡装置
BRPI0711382-0A BRPI0711382A2 (pt) 2006-05-08 2007-04-24 dispositivo de processamento e imagem para endoscópio e aparelho para endoscópio
US12/266,280 US8237783B2 (en) 2006-05-08 2008-11-06 Image processing device for endoscope and endoscope apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006129681A JP5355846B2 (ja) 2006-05-08 2006-05-08 内視鏡用画像処理装置

Publications (2)

Publication Number Publication Date
JP2007300972A JP2007300972A (ja) 2007-11-22
JP5355846B2 true JP5355846B2 (ja) 2013-11-27

Family

ID=38667678

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006129681A Active JP5355846B2 (ja) 2006-05-08 2006-05-08 内視鏡用画像処理装置

Country Status (7)

Country Link
US (1) US8237783B2 (ja)
EP (1) EP2016884B1 (ja)
JP (1) JP5355846B2 (ja)
KR (1) KR101050887B1 (ja)
CN (1) CN101437438B (ja)
BR (1) BRPI0711382A2 (ja)
WO (1) WO2007129570A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009165553A (ja) * 2008-01-11 2009-07-30 Olympus Medical Systems Corp 医療用画像処理装置及び医療用撮像システム
JP5271062B2 (ja) * 2008-12-09 2013-08-21 富士フイルム株式会社 内視鏡装置およびその作動方法
JP2010142464A (ja) * 2008-12-19 2010-07-01 Panasonic Corp 画像処理装置および画像入力装置
JP5197423B2 (ja) * 2009-02-18 2013-05-15 オリンパス株式会社 画像処理装置
JP2010279579A (ja) * 2009-06-05 2010-12-16 Fujifilm Corp 画像取得方法および内視鏡装置
JP5460507B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
JP5460506B2 (ja) * 2009-09-24 2014-04-02 富士フイルム株式会社 内視鏡装置の作動方法及び内視鏡装置
US20110115892A1 (en) * 2009-11-13 2011-05-19 VisionBrite Technologies, Inc. Real-time embedded visible spectrum light vision-based human finger detection and tracking method
JP5143293B2 (ja) * 2010-06-24 2013-02-13 オリンパスメディカルシステムズ株式会社 内視鏡装置
CN102740760B (zh) * 2010-06-28 2015-05-20 奥林巴斯医疗株式会社 内窥镜装置
JP5570373B2 (ja) * 2010-09-29 2014-08-13 富士フイルム株式会社 内視鏡システム
JP5762344B2 (ja) * 2012-03-28 2015-08-12 富士フイルム株式会社 画像処理装置及び内視鏡システム
JP5885652B2 (ja) * 2012-12-27 2016-03-15 株式会社東芝 撮像装置、内視鏡装置、及び生体パターン強調処理方法
JP2014128394A (ja) 2012-12-28 2014-07-10 Hoya Corp 内視鏡装置
US9503624B2 (en) * 2013-03-20 2016-11-22 Electronics And Telecommunications Research Institute Optical imaging system using multiple light sources and driving control method thereof
JP6535435B2 (ja) * 2013-09-04 2019-06-26 Hoya株式会社 プロセッサ及び内視鏡システム
JP6008812B2 (ja) * 2013-09-27 2016-10-19 富士フイルム株式会社 内視鏡システム及びその作動方法
EP3020322A4 (en) * 2013-12-06 2017-03-08 Olympus Corporation Imaging device and imaging device operation method
WO2016084608A1 (ja) * 2014-11-25 2016-06-02 ソニー株式会社 内視鏡システム、および内視鏡システムの動作方法、並びにプログラム
CN107405056B (zh) * 2015-03-17 2020-06-30 奥林巴斯株式会社 活体观察系统
JPWO2016151672A1 (ja) * 2015-03-20 2018-01-11 オリンパス株式会社 生体観察装置
JP6561571B2 (ja) * 2015-05-12 2019-08-21 ソニー株式会社 医療用撮像装置、撮像方法及び撮像装置
JP6463512B2 (ja) * 2016-05-24 2019-02-06 オリンパス株式会社 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
JP2016174976A (ja) * 2016-06-29 2016-10-06 富士フイルム株式会社 内視鏡システム
WO2018142949A1 (ja) * 2017-02-01 2018-08-09 富士フイルム株式会社 内視鏡システム及びその作動方法
JPWO2019069414A1 (ja) * 2017-10-04 2020-11-05 オリンパス株式会社 内視鏡装置、画像処理方法およびプログラム
CN111511263B (zh) * 2017-12-26 2023-02-28 奥林巴斯株式会社 图像处理装置及图像处理方法
WO2020054255A1 (ja) * 2018-09-12 2020-03-19 富士フイルム株式会社 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法
JP7157320B2 (ja) * 2018-09-19 2022-10-20 日本電信電話株式会社 学習データ生成装置、学習データ生成方法およびプログラム
JP6681971B2 (ja) * 2018-12-27 2020-04-15 Hoya株式会社 プロセッサ及び内視鏡システム
US20210275000A1 (en) * 2020-03-05 2021-09-09 Stryker Corporation Systems and methods for endoscope type detection
EP4275581A1 (en) * 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Method, processor, and medical fluorescence observation device for toggling images
WO2023218098A1 (en) * 2022-05-13 2023-11-16 Leica Instruments (Singapore) Pte. Ltd. Method, processor, and medical fluorescence observation device for toggling images

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796011B2 (ja) * 1989-04-13 1995-10-18 オリンパス光学工業株式会社 内視鏡用ビデオプロセッサ
JP3164609B2 (ja) 1990-10-31 2001-05-08 オリンパス光学工業株式会社 内視鏡装置
US5408263A (en) * 1992-06-16 1995-04-18 Olympus Optical Co., Ltd. Electronic endoscope apparatus
JP3730672B2 (ja) * 1994-10-20 2006-01-05 オリンパス株式会社 電子内視鏡装置
JP3540567B2 (ja) 1997-10-01 2004-07-07 オリンパス株式会社 電子的撮像装置
JP2003037775A (ja) * 2001-07-24 2003-02-07 Matsushita Electric Ind Co Ltd 撮像装置
JP2003093336A (ja) 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2004000335A (ja) 2002-05-31 2004-01-08 Olympus Corp 電子内視鏡装置
JP2004024497A (ja) * 2002-06-25 2004-01-29 Fuji Photo Film Co Ltd 蛍光診断画像生成装置
JP4388318B2 (ja) * 2003-06-27 2009-12-24 オリンパス株式会社 画像処理装置
JP4294440B2 (ja) * 2003-10-30 2009-07-15 オリンパス株式会社 画像処理装置
EP1787577B1 (en) 2004-08-30 2011-03-09 Olympus Corporation Endoscope
JP4009626B2 (ja) * 2004-08-30 2007-11-21 オリンパス株式会社 内視鏡用映像信号処理装置
JP5217075B2 (ja) 2004-10-30 2013-06-19 日本電産株式会社 単相交流信号の位相検出方法と同方法を用いた電力変換装置
JP2006218233A (ja) * 2005-02-14 2006-08-24 Olympus Corp 内視鏡装置
CA2602906A1 (en) * 2005-03-22 2006-09-28 Olympus Corporation Image processor and endoscope apparatus
KR100927286B1 (ko) * 2005-06-08 2009-11-18 올림푸스 메디칼 시스템즈 가부시키가이샤 내시경 장치 및 화상 처리 장치
JP4734074B2 (ja) * 2005-09-30 2011-07-27 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP4643481B2 (ja) * 2006-03-23 2011-03-02 オリンパスメディカルシステムズ株式会社 画像処理装置

Also Published As

Publication number Publication date
US20090066787A1 (en) 2009-03-12
JP2007300972A (ja) 2007-11-22
KR20080111121A (ko) 2008-12-22
EP2016884B1 (en) 2017-04-05
EP2016884A1 (en) 2009-01-21
US8237783B2 (en) 2012-08-07
KR101050887B1 (ko) 2011-07-20
BRPI0711382A2 (pt) 2011-11-22
CN101437438A (zh) 2009-05-20
WO2007129570A1 (ja) 2007-11-15
CN101437438B (zh) 2011-05-25
EP2016884A4 (en) 2010-05-26

Similar Documents

Publication Publication Date Title
JP5355846B2 (ja) 内視鏡用画像処理装置
JP4009626B2 (ja) 内視鏡用映像信号処理装置
JP4847250B2 (ja) 内視鏡装置
KR100943109B1 (ko) 화상 처리 장치 및 내시경 장치
JP4891990B2 (ja) 内視鏡装置
JP4996773B2 (ja) 内視鏡装置
WO2017170233A1 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
WO2013031701A1 (ja) 内視鏡装置
EP2548498B1 (en) Endoscopic device
JP2017023620A (ja) 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
KR20080094089A (ko) 내시경 장치
WO2016121556A1 (ja) 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム
JP6562554B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの信号処理方法
JP6576895B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP5041936B2 (ja) 生体観測装置
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP3958761B2 (ja) 内視鏡用調光信号生成装置
JP2019136555A (ja) 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法
JP5856943B2 (ja) 撮像システム
JP6153912B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6615950B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130828

R151 Written notification of patent or utility model registration

Ref document number: 5355846

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250