JPWO2018230396A1 - 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 - Google Patents

医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 Download PDF

Info

Publication number
JPWO2018230396A1
JPWO2018230396A1 JP2019525339A JP2019525339A JPWO2018230396A1 JP WO2018230396 A1 JPWO2018230396 A1 JP WO2018230396A1 JP 2019525339 A JP2019525339 A JP 2019525339A JP 2019525339 A JP2019525339 A JP 2019525339A JP WO2018230396 A1 JPWO2018230396 A1 JP WO2018230396A1
Authority
JP
Japan
Prior art keywords
saturation
range
hue
image signal
observation target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019525339A
Other languages
English (en)
Other versions
JP7051845B2 (ja
Inventor
昌之 蔵本
昌之 蔵本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018230396A1 publication Critical patent/JPWO2018230396A1/ja
Application granted granted Critical
Publication of JP7051845B2 publication Critical patent/JP7051845B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)

Abstract

高彩度の範囲に含まれる観察対象の彩度強調を抑制し、高彩度の範囲を広げることで観察対象の視認性を高める医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供する。彩度強調処理として、第1彩度強調処理、又は前記第1彩度強調処理と異なる第2の彩度強調処理を行う。第2彩度強調処理後の高彩度範囲Ry(rc)Ry(r2)を、第1彩度強調処理後の高彩度範囲Rx(rc)Rx(r2)よりも大きくする。第2彩度強調処理後の高彩度範囲Ry(rc)Ry(r2)に含まれる値Ry(r)は、第1彩度強調処理後の高彩度範囲Rx(rc)Rx(r2)に含まれる値Rx(r)よりも小さい。

Description

本発明は、被検体内の観察対象を撮像して得られた医用画像を処理する医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法に関する。
近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
また、内視鏡観察においては、診断目的に応じて、観察対象との距離や照明光の発光条件などの撮影条件を適宜変えることも行われている。しかしながら、このように撮影条件を変更する操作はユーザーに負担をかけることになるため、特許文献1や特許文献2に示すように、観察モードや照明光の発光条件を自動で切り替えることも行われている。
更には、近年では、内視鏡を用いて、萎縮性胃炎の状態から胃癌などの胃の病変部を検出することが行われている。このような萎縮性胃炎の診断を容易にするために、特許文献3では、正常部と、萎縮性胃炎などの異常部の色差を強調する処理を行うことによって、萎縮性胃炎により萎縮した粘膜の状態を把握し易くすることが行われている。
特許5631764号公報 特許5568489号公報 特許5647752号公報
上記のように、内視鏡によって、萎縮性胃炎などの胃の病変部を検出する他、大腸の病変部を検出することも行われている。大腸の病変部として、潰瘍性大腸炎を検出する際には、粘膜の炎症度の他、炎症粘膜の深層にある深層血管の透見具合も、重要な指標となっている。例えば、深層血管の途絶などに基づいて、潰瘍性大腸炎の有無を判断する場合がある。
これに対して、深層血管の視認性を向上させるために、特許文献3で示すように、正常部と異常部との色差を強調する処理を行うことが考えられる。しかしながら、大腸の観察で得られた画像に対して、特許文献3の処理をそのまま施した場合には、深層血管の部分が高彩度に強調されて、深層血管の赤味が強くなっていた。この場合には、深層血管の視認性が落ち、例えば、深層血管の途絶を検出することが難しくなっていた。また、潰瘍性大腸炎にり患した患者の経過観察を行う際に、特許文献3の処理をそのまま施した場合には、彩度の高い画像を見続けることによって、目が疲れたりするおそれがあるため、長時間の検査に向かない場合があった。
本発明は、正常部と異常部の彩度差を強調する処理を行う場合において、高彩度の範囲に含まれる観察対象の彩度強調を抑制しつつ、高彩度の範囲が広がることで観察対象の視認性を高めることができる医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供することを目的とする。
本発明の医用画像処理装置は、画像信号入力部と、色情報取得部と、彩度強調処理部とを有する。画像信号入力部は、カラー画像信号が入力される。色情報取得部は、カラー画像信号から複数の色情報を取得する。彩度強調処理部は、複数の色情報により形成される特徴空間において、少なくとも特定の彩度境界線に対して高彩度側にある高彩度範囲に対して彩度強調処理を行うことによって、観察対象として分布する複数の観察対象範囲の間の彩度差を大きくする。彩度強調処理部は、彩度強調処理として、第1彩度強調処理、又は第1彩度強調処理と異なる第2の彩度強調処理を行う。第2彩度強調処理後の高彩度範囲は、第1彩度強調処理後の高彩度範囲よりも大きく、第2彩度強調処理後の高彩度範囲に含まれる値は、第1彩度強調処理後の高彩度範囲に含まれる値よりも小さい。
特徴空間において、少なくとも特定の色相境界線に対して特定の色相方向側にある特定の色相範囲に対して色相強調処理を行うことによって、観察対象として分布する複数の観察対象範囲の間の色相差を大きくする色相強調処理部を有し、色相強調処理部は、色相強調処理として、第1色相強調処理、又は第1色相強調処理よりも色相差を大きくした第2色相強調処理を行うことが好ましい。
第1彩度強調処理が施されたカラー画像信号から第1彩度強調画像を得る第1モードと、第2彩度強調処理が施されたカラー画像信号から第2彩度強調画像を得る第2モードとの切替を行うモード制御部を有することが好ましい。
モード制御部は、観察対象の状態を数値化した観察対象情報に応じて、第1モードと第2モードの切替を自動的に行うことが好ましい。観察対象情報は、複数の観察対象範囲のいずれかの観察対象範囲の色情報に基づいて得られる値に対応することが好ましい。観察対象情報は、特定の色相境界線に対する複数の観察対象範囲のいずれかの観察対象範囲の座標の角度に基づいて得られる値に対応することが好ましい。
観察対象情報は、複数の観察対象範囲のうち2つの観察対象範囲の間の距離に基づいて得られる値に対応することが好ましい。観察対象情報は、カラー画像信号の画素のうち複数の観察対象範囲のいずれかの観察対象範囲の画素が占める比率を示す面積比であることが好ましい。観察対象情報は、観察対象の炎症状態を数値化した炎症度であることが好ましい。カラー画像信号は、紫色光を含む照明光で照明された観察対象を撮像して得られることが好ましい。
本発明の内視鏡システムは、上記記載の本発明の医用画像処理装置と表示部とを有する。表示部は、第1彩度強調処理が施されたカラー画像信号から得られる第1彩度強調画像、第2彩度強調処理が施されたカラー画像信号から得られる第2彩度強調画像、又は、第1彩度強調処理及び第2彩度強調処理のいずれも施されていないカラー画像信号から得られるノーマル画像のうち、少なくともいずれかの画像を表示する。
本発明の医用画像処理装置の作動方法は、画像信号入力ステップ、色情報取得ステップ、彩度強調処理ステップを有する。画像信号入力ステップでは、画像信号入力部に対して、カラー画像信号が入力される。色情報取得ステップでは、色情報取得部が、カラー画像信号から複数の色情報を取得する。彩度強調処理ステップでは、彩度強調処理部が、複数の色情報により形成される特徴空間において、少なくとも特定の彩度境界線に対して高彩度側にある高彩度範囲に対して彩度強調処理を行うことによって、観察対象として分布する複数の観察対象範囲の間の彩度差を大きくする。彩度強調処理ステップでは、彩度強調処理として、第1彩度強調処理、又は第1彩度強調処理と異なる第2の彩度強調処理を行う。第2彩度強調処理後の高彩度範囲を、第1彩度強調処理後の高彩度範囲よりも大きく、第2彩度強調処理後の高彩度範囲に含まれる値は、第1彩度強調処理後の高彩度範囲に含まれる値よりも小さい。
本発明によれば、正常部と異常部の彩度差を強調する処理を行う場合において、高彩度の範囲に含まれる観察対象の彩度強調を抑制しつつ、高彩度の範囲が広がることで観察対象の視認性を高めることができる。
第1実施形態の内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 特徴空間が信号比空間である場合に用いられる特殊画像処理部の機能を示すブロック図である。 信号比空間おいて分布する正常粘膜、萎縮粘膜、深層血管、BA、及び発赤の範囲を示す説明図である。 距離Ln、距離Lnp、ベクトルVnr、及びエリアAxを示す説明図である。 動径変更範囲Rmを示す説明図である。 動径rと第1彩度強調処理後の動径Rx(r)との関係を示すグラフである。 動径rと第2彩度強調処理後の動径Ry(r)との関係を示すグラフである。 角度変更範囲Rnを示す説明図である。 角度θと第1色相強調処理後の角度Fx(θ)との関係を示すグラフである。 角度θと第2色調処理後の角度Fy(θ)との関係を示すグラフである。 信号比空間における第1彩度強調処理及び第1色相強調処理前と後の正常粘膜、萎縮粘膜、深層血管、BA、及び発赤の分布を示す説明図である。 信号比空間における第1、第2彩度強調処理及び第1、第2色相強調処理前と後の正常粘膜、萎縮粘膜、深層血管、BA、及び発赤の分布を示す説明図である。 ab空間における彩度強調処理及び色相強調処理前と後の正常粘膜、萎縮粘膜、深層血管、BA、及び発赤の分布を示す説明図である。 特殊観察モードの流れを示すフローチャートである。 設定メニュー画面を示す説明図である。 炎症評価画像及び面積比を示すモニタの画像図である。 2画面表示されたUCスクリーニング画像及びノーマル画像と面積比を示すモニタの画像図である。 特徴空間がCrCb空間である場合に用いられる特殊画像処理部の機能を示すブロック図である。 CrCb空間おいて分布する正常粘膜、萎縮粘膜、深層血管、BA、及び発赤の範囲を示す説明図である。 CrCb空間における第1彩度強調処理及び第1色相強調処理前と後の正常粘膜、萎縮粘膜、深層血管、BA、及び発赤の分布を示す説明図である。 CrCb空間における第1、第2彩度強調処理及び第1、第2色相強調処理前と後の正常粘膜、萎縮粘膜、深層血管、BA、及び発赤の分布を示す説明図である。 特徴空間がHS空間である場合に用いられる特殊画像処理部の機能を示すブロック図である。 HS空間おいて分布する正常粘膜、萎縮粘膜、深層血管、BA、及び発赤の範囲を示す説明図である。 HS空間における第1彩度強調処理及び第1色相強調処理前と後の正常粘膜、萎縮粘膜、深層血管、BA、及び発赤の分布を示す説明図である。 HS空間における第1、第2彩度強調処理及び第1、第2色相強調処理前と後の正常粘膜、萎縮粘膜、深層血管、BA、及び発赤の分布を示す説明図である。 第2実施形態の内視鏡システムの機能を示すブロック図である。 白色光の発光スペクトルを示すグラフである。 特殊光の発光スペクトルを示すグラフである。 第3実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタを示す平面図である。 第4実施形態のカプセル内視鏡システムの機能を示す図である。 図3とは異なる紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 二次元LUTを用いる場合の特殊画像処理部の機能を示すブロック図である。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール(キーボード)19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切替SW13aが設けられている。モード切替SW13aは、通常観察モードと、特殊観察モードとの切替操作に用いられる。特殊観察モードは、特殊画像をモニタ18上に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替SW13aの他に、フットスイッチを用いてもよい。
特殊画像としては、彩度強調された画像であって大腸の炎症評価に適した炎症評価画像、炎症評価画像よりも彩度強調を抑えた画像であって潰瘍性大腸炎(UC(Ulcerative Colitis)のスクリーニングに適したUCスクリーニング画像、炎症評価画像やUCスクリーニング画像のような特別の彩度強調を行っていないノーマル画像の3種類が含まれる。特殊観察モードに設定されている場合には、モード制御部85によって、炎症評価画像をモニタ18に表示する炎症評価モードと、UCスクリーニング画像をモニタ18に表示するUCスクリーニングモードとの間は自動的に切り替えられる。なお、ノーマル画像は、特殊観察モードに設定されている場合に、モード切替SW13aを操作してノーマルモードに切り替えることにより、モニタ18に表示される。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20d、これら4色のLED20a〜20dの駆動を制御する光源制御部21、及び4色のLED20a〜20dから発せられる4色の光の光路を結合する光路結合部23を備えている。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380〜420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420〜500nmの青色光Bを発生する。G-LED20cは、波長範囲が480〜600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620〜630nmで、波長範囲が600〜650nmに及ぶ赤色光Rを発生する。
光源制御部21は、通常観察モード及び特殊観察モードのいずれの観察モードにおいても、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯する。したがって、紫色光V、青色光B、緑色光G、及び赤色光Rの4色の光が混色した光が、観察対象に照射される。また、光源制御部21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVc:Bc:Gc:Rcとなるように、各LED20a〜20dを制御する。一方、光源制御部21は、特殊観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVs:Bs:Gs:Rsとなるように、各LED20a〜20dを制御する。
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、内視鏡12で得られた画像などの医用画像を処理する医用画像処理装置に対応している。このプロセッサ装置16は、画像信号入力部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、信号切替部60と、通常画像処理部62と、特殊画像処理部64と、映像信号生成部66とを備えている。画像信号入力部53には、内視鏡12からのデジタルのカラー画像信号が入力される。カラー画像信号は、撮像センサ48のR画素から出力されるR画像信号と、撮像センサ48のG画素から出力されるG画像信号と、撮像センサ48のB画素から出力されるB画像信号とから構成されるRGB画像信号である。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、信号切替部60に送信される。
信号切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、RGB画像信号を通常画像処理部62に送信し、特殊観察モードにセットされている場合には、RGB画像信号を特殊画像処理部64に送信する。
通常画像処理部62は、RGB画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常画像用の画像処理が施されたRGB画像信号は、通常画像として、通常画像処理部62から映像信号生成部66に入力される。
特殊画像処理部64は、RGBの画像信号に基づいて、特殊画像として、彩度強調された画像であって大腸の炎症評価に適した炎症評価画像、炎症評価画像よりも彩度強調を抑えた画像であって潰瘍性大腸炎のスクリーニングに適したUCスクリーニング画像、炎症評価画像やUCスクリーニング画像のような特別の彩度強調を行っていないノーマル画像を生成する。特殊画像処理部64の詳細については後述する。この特殊画像処理部64で生成された特殊画像は、映像信号生成部66に入力される。
映像信号生成部66は、通常画像処理部62又は特殊画像処理部64から入力された通常画像又は特殊画像を、モニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号に基づいて、モニタ18は、通常画像、特殊画像を表示する。
特殊画像処理部64は、図4に示すように、逆ガンマ変換部70と、Log変換部71と、信号比算出部72と、数値化処理部73と、画像処理切替部74と、極座標変換部75と、彩度強調処理部76と、色相強調処理部77と、直交座標変換部78と、RGB変換部79と、明るさ調整部81と、構造強調部82と、逆Log変換部83と、ガンマ変換部84とを備えている。また、特殊画像処理部64には、画像処理切替部74を制御し、且つ、彩度強調処理部76及び色相強調処理部77を制御するモード制御部85が設けられている。
なお、特殊画像処理部64では、炎症評価モード(第1モード)に設定されている場合には、彩度強調処理部76で第1彩度強調処理が行われ、且つ、色相強調処理部77で第1色相強調処理が行われることにより、炎症評価画像(第1彩度強調画像)が生成される。また、UCスクリーニングモード(第2モード)に設定されている場合には、彩度強調処理部76で第2彩度強調処理が行われ、且つ、色相強調処理部77で第2色相強調処理が行われることにより、UCスクリーニング画像(第2彩度強調画像)が生成される。一方、ノーマルモード(第3モード)に設定されている場合には、彩度強調処理部76で彩度強調処理が行われず、また、色相強調処理部77で色相強調処理が行われることなく、ノーマル画像が生成される。
逆ガンマ変換部70は、入力されたRGB3チャンネルのデジタル画像信号に対して逆ガンマ変換を施す。この逆ガンマ変換後のRGB画像信号は、検体からの反射率に対してリニアな反射率リニアRGB信号であるため、RGB画像信号のうち、検体の各種生体情報に関連する信号が占める割合が多くなる。なお、反射率リニアR画像信号を第1R画像信号とし、反射率リニアG画像信号を第1G画像信号とし、反射率リニアB画像信号を第1B画像信号とする。これら第1R画像信号、第1G画像信号、及び第1B画像信号をまとめて第1RGB画像信号とする。
Log変換部71は、反射率リニアRGB画像信号をそれぞれLog変換する。これにより、Log変換済みのR画像信号(logR)、Log変換済みのG画像信号(logG)、及びLog変換済みのB画像信号(logB)が得られる。信号比算出部72(本発明の「色情報取得部」に対応する)は、Log変換済みのG画像信号とB画像信号に基づいて差分処理(logG-logB =logG/B=-log(B/G))することにより、B/G比(-log(B/G)のうち「-log」を省略したものを「B/G比」と表記する)を算出する。また、Log変換済みのR画像信号とG画像信号に基づいて差分処理(logR-logG=logR/G=-log(G/R))することにより、G/R比を算出する。G/R比については、B/G比と同様、-log(G/R)のうち「-log」を省略したものを表している。
なお、B/G比及びG/R比は、B画像信号、G画像信号、及びR画像信号において同じ位置にある画素の画素値から画素毎に求める。また、B/G比及びG/R比は画素毎に求める。また、B/G比は、血管深さ(粘膜表面から特定の血管がある位置までの距離)に相関があることから、血管深さが異なると、それに伴ってB/G比も変動する。また、G/R比は、血液量(ヘモグロビンインデックス)と相関があることから、血液量に変動が有ると、それに伴ってG/R比も変動する。
数値化処理部73は、信号比算出部72で求めたB/G比及びG/R比に基づいて、大腸など観察対象の炎症状態を数値化する数値化処理を行う。この数値化処理で得られた値は、モード制御部85に送られる。モード制御部85は、数値化処理で得られた値に基づいて、画像処理切替部74、彩度強調処理部76、及び色相強調処理部77の制御を行う。なお、数値化処理部73及びモード制御部85の詳細については後述する。
極座標変換部75は、信号比算出部72で求めたB/G比及びG/R比を、動径rと角度θに変換する。この極座標変換部75において、動径rと角度θへの変換は、全ての画素について行う。彩度強調処理部76は、動径rを拡張又は圧縮することにより、観察対象に含まれる複数の観察対象範囲の間の彩度差を大きくする彩度強調処理を行う。彩度強調処理部76で行う彩度強調処理には、炎症評価モードに設定されている場合に行う第1彩度強調処理と、UCスクリーニングモードに設定されている場合に行う第2彩度強調処理とが含まれる。第2彩度強調処理は、第1彩度強調処理よりも彩度の強調度が低くなっている。なお、彩度強調処理部76の詳細については後述する。
色相強調処理部77は、角度θを拡張又は圧縮することにより、複数の観察対象範囲の間の色相差を大きくする色相強調処理を行う。色相強調処理部77で行う色相強調処理には、炎症評価モードに設定されている場合に行う第1色相強調処理と、UCスクリーニングモードに設定されている場合に行う第2色相強調処理とが含まれる。第2色相強調処理は、第1色相強調処理よりも色相の強調度が高くなっている。なお、色相強調処理部77の詳細については後述する。
直交座標変換部78では、彩度強調処理及び色相強調処理済みの動径r及び角度θを、直交座標に変換する。これにより、角度拡張・圧縮済みのB/G比及びG/R比に変換される。RGB変換部79では、第1RGB画像信号のうち少なくともいずれか1つの画像信号を用いて、彩度強調処理及び色相強調処理済みのB/G比及びG/R比を、第2RGB画像信号に変換する。例えば、RGB変換部79は、第1RGB画像信号のうち第1G画像信号とB/G比とに基づく演算を行うことにより、B/G比を第2B画像信号に変換する。また、RGB変換部79は、第1RGB画像信号のうち第1G画像信号とG/R比に基づく演算を行うことにより、G/R比を第2R画像信号に変換する。また、RGB変換部79は、第1G画像信号については、特別な変換を施すことなく、第2G画像信号として出力する。これら第2R画像信号、第2G画像信号、及び第2B画像信号をまとめて第2RGB画像信号とする。
明るさ調整部81は、第1RGB画像信号と第2RGB画像信号とを用いて、第2RGB画像信号の画素値を調整する。明るさ調整部81で、第2RGB画像信号の画素値を調整するのは、以下の理由による。彩度強調処理部76及び色相強調処理部77で色領域を拡張・圧縮する処理により得られた第2RGB画像信号は、第1RGB画像信号と明るさが大きく変わってしまう可能性がある。そこで、明るさ調整部81で第2RGB画像信号の画素値を調整することによって、明るさ調整後の第2RGB画像信号が第1RGB画像信号と同じ明るさになるようにする。
明るさ調整部81は、第1RGB画像信号に基づいて第1明るさ情報Yinを求める第1明るさ情報算出部81aと、第2RGB画像信号に基づいて第2明るさ情報Youtを求める第2明るさ情報算出部81bとを備えている。第1明るさ情報算出部81aは、「kr×第1R画像信号の画素値+kg×第1G画像信号の画素値+kb×第1B画像信号の画素値」の演算式に従って、第1明るさ情報Yinを算出する。第2明るさ情報算出部81bにおいても、第1明るさ情報算出部81aと同様に、上記と同様の演算式に従って、第2明るさ情報Youtを算出する。第1明るさ情報Yinと第2明るさ情報Youtが求まると、明るさ調整部81は、以下の式(E1)〜(E3)に基づく演算を行うことにより、第2RGB画像信号の画素値を調整する。
(E1):R*=第2R画像信号の画素値×Yin/Yout
(E2):G*=第2G画像信号の画素値×Yin/Yout
(E3):B*=第2B画像信号の画素値×Yin/Yout
なお、「R*」は明るさ調整後の第2R画像信号を、「G*」は明るさ調整後の第2G画像信号を、「B*」は明るさ調整後の第2B画像信号を表している。また、「kr」、「kg」、及び「kb」は「0」〜「1」の範囲にある任意の定数である。
構造強調部82では、RGB変換部79を経た第2RGB画像信号に対して構造強調処理を施す。構造強調処理としては、周波数フィルタリングなどが用いられる。逆Log変換部83は、構造強調部82を経た第2RGB画像信号に対して、逆Log変換を施す。これにより、真数の画素値を有する第2RGB画像信号が得られる。ガンマ変換部84は、逆Log変換部83を経たRGB画像信号に対してガンマ変換を施す。これにより、モニタ18などの出力デバイスに適した階調を有する第2RGB画像信号が得られる。ガンマ変換部84を経た第2RGB画像信号は、映像信号生成部66に送られる。
彩度強調処理部76及び色相強調処理部77では、図5に示すように、観察対象に含まれる複数の観察対象範囲として、正常粘膜を含む第1範囲、萎縮粘膜を含む第2範囲、萎縮粘膜下の深層血管(以下、単に深層血管とする)を含む第3範囲、BA(Brownish Area)を含む第4範囲、発赤を含む第5範囲間の彩度差又は色相差を大きくする。B/G比、G/R比により形成される信号比空間(特徴空間)の第一象限において、正常粘膜の第1範囲はほぼ中央に分布している。萎縮粘膜の第2範囲は、正常粘膜の第1範囲を通る基準線SLに対してやや時計回り方向側(後述のマイナス方向側)に位置し、且つ、正常粘膜の第1範囲よりも原点に近い位置に分布している。深層血管の第3範囲は、基準線SLに対して時計回り方向側(後述のマイナス方向側)に分布している。BAの第4範囲は、基準線SLに対してやや反時計回り方向側(後述のプラス方向側)に分布している。発赤の第5範囲は、基準線SLに対して時計回り方向側(後述のマイナス方向側)に分布している。BAの第4範囲及び発赤の第5範囲は、正常粘膜の第1範囲よりも原点から遠い位置に分布している。なお、正常粘膜は観察対象の正常部に含まれ、萎縮粘膜、深層血管、BA、及び発赤は観察対象の異常部に含まれることが好ましい。また、基準線SLは後述する色相基準線SLhに対応している。
数値化処理部73は、信号比算出部72で求めたB/G比及びG/R比に基づいて、観察対象の状態を数値化した観察対象情報を算出する。具体的には、観察対象情報として、観察対象の炎症状態を数値化した炎症度を算出する。算出した炎症度はモード制御部85に送られる。モード制御部85は、炎症度が閾値を下回るなど炎症度に関する特定の条件を満たしている場合には、炎症評価モードに自動的に切り替える。炎症モード評価モードに切り替えられた場合には、モード制御部85は、B/G比及びG/R比を彩度強調処理部76及び色相強調処理部77側に送るように、画像処理切替部74を制御する。
一方、モード制御部85は、炎症度が閾値を上回るなど炎症度に関する特定の条件を満たさない場合には、UCスクリーニングモードに自動的に切り替える。そして、UCスクリーニングモードに切り替えられた場合にも、モード制御部85は、B/G比及びG/R比を彩度強調処理部76及び色相強調処理部77側に送るように、画像処理切替部74を制御する。なお、ノーマルモードに設定されている場合には、モード制御部85は、B/G比及びG/R比を、彩度強調処理部76及び色相強調処理部77を介さずに、RGB変換部79に送るように、画像処理切替部74を制御する。
数値化処理部73で算出する炎症度として、1画面の全体の画素のうち、炎症領域に含まれる画素が占める面積比を算出することが好ましい。炎症領域には、発赤の第5範囲を含むことが好ましい。面積比の算出は、炎症領域に含まれる画素をカウントし、それらを合計した炎症領域の総画素を、1画面全体の画素で割って得ることが好ましい。なお、1画面内の画素とは、1フレームのRGB画像信号が有する画素全体のことをいう。
なお、炎症度としては、面積比の他に、1画面内から得られる数値情報を平均化した値を用いるようにしてもよい。例えば、1画面内から得られる数値情報として、信号比空間において分布する画素に対応する縦軸B/G比又は横軸G/R比の値があり、これら縦軸B/G比又は横軸G/R比の値の平均値を炎症度としてもよい。この場合、縦軸B/G比又は横軸G/R比の値の平均値が、予め定めた炎症領域を示す代表値に近ければ近いほど、炎症度が高いことになる。なお、後述するように、ab空間の場合であれば、炎症度として、横軸a*又は縦軸b*の値の平均値としてもよい。また、CrCb空間の場合であれば、炎症度として、横軸Cr又は縦軸Cbの値の平均値としてもよい。また、HS空間の場合であれば、炎症度として、横軸H又は縦軸Sの値の平均値としてもよい。
また、特徴空間が信号比空間、ab空間、及びCrCb空間の場合であれば、1画面内から得られる数値情報として、特徴空間において分布する画素に対応する角度θがあり、この角度θの平均値を炎症度とすることが好ましい。この場合、角度θの平均値が、予め定めた炎症領域を示す代表値に近ければ近いほど、炎症度が高いことになる。また、特徴空間において、1画面内から得られる数値情報として、正常粘膜の第1範囲との距離、又は発赤の第5範囲との距離があり、これら距離の平均値を炎症度とすることが好ましい。正常粘膜の第1範囲との距離が大きければ大きいほど、炎症度は大きい。また、発赤の第5範囲との距離が小さければ小さいほど、炎症度は小さい。なお、正常粘膜の第1範囲との距離については、図6に示すように、特定の画素Ptと正常粘膜の第1範囲に含まれる所定画素との距離Lnで表される。
また、正常粘膜の第1範囲との距離については、特徴空間において正常粘膜の第1範囲と発赤の第5範囲を結ぶベクトルVnrに射影した場合の距離とすることが好ましい。例えば、特定の画素PtをベクトルVnrに射影した場合には、正常粘膜の第1範囲との距離はLnpとなる。
なお、炎症度として、1画面内から得られる数値情報を平均化した値を用いる他、1画面内から得られる数値情報に基づくヒストグラムの中央値としてもよい。また、炎症度として、1画面のうち画面中央の100画素×100画素の特定画素領域に含まれる数値情報を平均化した値を用いてもよい。また、特定位置の炎症度を測定する場合には、特開2009−226095の図6等に示す、位置指定手段を用いることが好ましい。この特開2009−226095では、複数の矩形領域(例えば9個)を画面上に重畳表示させ、それら矩形領域のうち中心の矩形領域に、炎症度を測定したい測定対象部分に入るようにする。そして、測定対象部分が中心の矩形領域に入ったときに、コンソール19等を操作することによって、測定対象部分の炎症度を測定する。また、炎症度として、1画面内から得られる数値情報を平均化した値を用いる場合には、エリアAx(図6参照)に含まれる画素の数値情報を除外して、平均化処理を行うようにしてもよい。このような平均化処理を行うことで、例えば、残渣や深層血管など炎症度の算出に不要な箇所を除くことができるため、粘膜の炎症度を正確に算出することができる。
図7に示すように、彩度強調処理部76では、信号比空間において、動径変更範囲Rm内にある座標が示す動径rを変更する一方で、動径変更範囲Rx外の座標については動径rの変更は行わない。動径変更範囲Rmは、動径rが「r1」から「r2」の範囲内である(r1<r2)。また、動径変更範囲Rmにおいては、動径r1と動径r2との間にある動径rc上に、彩度基準線SLsが設定されている。ここで、動径rは大きければ大きいほど彩度が高くなることから、彩度基準線SLsが示す動径rcよりも動径rが小さい範囲rcr1(r1<r<rc)は低彩度範囲とされる。一方、彩度基準線SLsが示す動径rcよりも動径rが大きい範囲rcr2(rc<r<r2)は高彩度範囲とされる。
彩度強調処理部76では、炎症評価モード時に設定されている場合には、第1彩度強調処理が行われる。第1彩度強調処理は、図8に示すように、動径変更範囲Rm内に含まれる座標の動径rの入力に対して、動径Rx(r)を出力する。この第1彩度強調処理による入出力の関係は実線で表される。第1彩度強調処理は、低彩度範囲rcr1においては、出力Rx(r)を入力rよりも小さくする一方で、高彩度範囲rcr2においては、出力Rx(r)を入力rよりも大きくする。また、Rx(rc)における傾きKxは、「1」以上に設定されている。これにより、低彩度範囲に含まれる観察対象の彩度をより低くする一方で、高彩度範囲に含まれる観察対象の彩度をより高くすることができる。このような彩度強調により、複数の観察対象範囲の間の彩度差を大きくすることができる。
彩度強調処理部76では、UCスクリーニングモード時に設定されている場合には、第2彩度強調処理が行われる。第2彩度強調処理は、図9に示すように、動径変更範囲Rm内に含まれる座標の動径rの入力に対して、動径Ry(r)を出力する。この第2彩度強調処理による入出力の関係は実線で表される。第2彩度強調処理は、低彩度範囲rcr1においては、出力Ry(r)を入力rよりも小さくする。これに対して、高彩度範囲rcr2においては、動径rcに近い低彩度側では、出力Ry(r)を入力rよりも小さくする一方で、動径rcから遠い高彩度側では、出力Rx(r)を入力rよりも大きくする。また、Ry(rc)における傾きKyは、「1」以上に設定されている。
これにより、低彩度範囲rcr1と高彩度範囲rcr2内の低彩度側に含まれる観察対象の彩度をより低くする一方で、高彩度範囲rcr2の高彩度側に含まれる観察対象の彩度をより高くすることができる。このような彩度強調により、低彩度範囲rcr1や高彩度範囲rcr2の低彩度側の観察対象と高彩度範囲rcr2の高彩度側にある観察対象との間の彩度差を大きくすることができる。
ただし、第2彩度強調処理では、深層血管の視認性を向上させるために、高彩度範囲rcr2での彩度強調を第1彩度強調処理よりも抑えている。そのため、第2彩度強調処理後の高彩度範囲Ry(rc)Ry(r2)を、第1彩度強調処理後の高彩度範囲Rx(rc)Rx(r2)より大きくする。ここで、第1彩度強調処理による入出力の関係は点線で表される。加えて、第2彩度強調処理後の高彩度範囲Ry(rc)Ry(r2)に含まれる値Ry(r)を、第1彩度強調処理後の高彩度範囲Rx(rc)Rx(r2)に含まれる値Rx(r)よりも小さくする。これにより、高彩度範囲rcr2での彩度強調が抑えられて、深層血管の視認性を向上するため、潰瘍性大腸炎などの大腸の診断精度を上げることができる。
図10に示すように、色相強調処理部77では、信号比空間において、角度変更範囲Rn内にある座標が示す角度θを変更する一方で、角度変更範囲Rn外の座標については角度θの変更は行わない。角度変更範囲Rnは、色相基準線SLhから反時計回り方向(プラス方向)の角度θ1の範囲と、色相基準線SLhから時計回り方向(マイナス方向)の角度θ2の範囲とで構成されている。角度変更範囲Rnに含まれる座標の角度θは、色相基準線SLhに対するなす角度θで再定義される。角度θが変わると色相も変化することから、角度変更範囲Rnのうち、角度θ1の範囲をプラス側の色相範囲θ1と、角度θ2の範囲をマイナス側の色相範囲θ2とする。
色相強調処理部77では、炎症評価モード時に設定されている場合には、第1色相強調処理が行われる。第1色相強調処理は、図11に示すように、角度変更範囲Rn内に含まれる座標の角度θの入力に対して、角度Fx(θ)を出力する。この第1色相強調処理による入出力の関係は実線で表される。第1色相強調処理は、マイナス側の色相範囲θ2においては、出力Fx(θ)を入力θよりも小さくする一方で、プラス側の色相範囲θ1においては、出力Fx(θ)を入力θよりも大きくする。これにより、マイナス側の色相範囲に含まれる観察対象とプラス側の色相範囲に含まれる観察対象との色相の違いを大きくすることができる。このような色相強調により、複数の観察対象範囲の間の色相差を大きくすることができる。
色相強調処理部77では、UCスクリーニングモード時に設定されている場合には、第2色相強調処理が行われる。第2色相強調処理は、図12に示すように、角度変更範囲Rn内に含まれる座標の角度θの入力に対して、角度Fy(θ)を出力する。この第2色相強調処理による入出力の関係は実線で表される。第2色相強調処理は、マイナス側の色相範囲θ2においては、出力Fx(θ)を入力θよりも小さくする一方で、プラス側の色相範囲θ1においては、出力Fx(θ)を入力θよりも大きくする。これにより、マイナス側の色相範囲に含まれる観察対象とプラス側の色相範囲に含まれる観察対象との色相の違いを大きくすることができる。このような色相強調により、複数の観察対象範囲の間の色相差を大きくすることができる。
ただし、第2色相強調処理では、深層血管の視認性を向上させるために、深層血管の第3範囲が含まれるマイナス側(特定の色相方向側)の色相範囲θ2(特定の色相範囲)の色相強調を第1色相強調処理よりも強くしている。そのため、第2色相強調処理後のマイナス側の色相範囲Fy(θ)に含まれる角度θを、第1色相強調処理後のマイナス側の色相範囲Fx(θ)に含まれる角度θよりも小さくしている。ここで、第1色相強調処理による入出力の関係は点線で表される。このように、マイナス側の色相範囲θでの色相強調が強められることで、深層血管の第3範囲とその他の観察対象範囲との色相差を広げることができる。これにより、深層血管の視認性を向上するため、潰瘍性大腸炎などの大腸の診断精度を上げることができる。
以上のように、第1彩度強調処理及び第1色相強調処理を行うことによって、図13に示すように、第1彩度強調処理及び第1色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜1)は、第1彩度強調処理及び第1色相強調処理前の萎縮粘膜の第2範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。同様にして、第1彩度強調処理及び第1色相強調処理後の深層血管(深層血管1)、BAの第4範囲(BA1)、及び発赤の第5範囲(発赤1)は、第1彩度強調処理及び第1色相強調処理前の深層血管(点線)、BAの第4範囲(点線)、及び発赤の第5範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。
また、第2彩度強調処理及び第2色相強調処理を行った場合には、図14に示すように、正常粘膜の第1範囲(正常粘膜2)と、深層血管の第3範囲(深層血管2)、BAの第4範囲(BA2)、及び発赤の第5範囲(発赤2)との差が大きくなる。ただし、第2彩度強調処理及び第2色相強調処理後における正常粘膜の第1範囲(正常粘膜2)は、第2彩度強調処理及び第2色相強調処理前における正常粘膜の第1範囲(正常粘膜)よりも彩度が低くなっている。また、萎縮粘膜の第2範囲(萎縮粘膜2)の彩度も合わせて低くなっている。
これに加えて、第2彩度強調処理及び第2色相強調処理後の深層血管の第3範囲(深層血管2)は、第1彩度強調処理及び第1色相強調処理後の深層血管の第3範囲(深層血管1)よりも彩度が低くなっている。同様にして、第2彩度強調処理及び第2色相強調処理後のBAの第4範囲(BA2)及び発赤の第5範囲(発赤2)は、第1彩度強調処理及び第1色相強調処理後のBAの第4範囲(BA1)及び発赤の第5範囲(発赤1)よりも彩度が低くなっている。
また、第2彩度強調処理及び第2色相強調処理後の深層血管の第3範囲(深層血管2)、及び発赤の第5範囲(発赤2)は、第1彩度強調処理及び第1色相強調処理後の深層血管の第3範囲(深層血管1)、及び発赤の第5範囲(発赤1)よりも、正常粘膜の第1範囲(正常粘膜2)との色相差が大きくなっている。なお、第2彩度強調処理及び第2色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜2)は、第1彩度強調処理及び第1色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜1)よりも若干彩度が低くなっている。図14において、正常粘膜の第1範囲(正常粘膜2)との色相差については、正常粘膜の第1範囲(正常粘膜2)を通る基準線SLから半径方向に離れるほど、正常粘膜の第1範囲(正常粘膜2)との色相差は大きくなる。
なお、第1RGB画像信号をLab変換部でLab変換して得られるa*、b*(色情報であるCIE Lab空間の色味の要素a*、b*を表す。以下同様)から形成される特徴空間(ab空間)の場合も、図15に示すように、正常粘膜の第1範囲、萎縮粘膜の第2範囲、深層血管の第3範囲、BAの第4範囲、及び発赤の第5範囲について、信号比空間と同様に分布している。そして、上記と同様の方法で、動径rを拡張又は圧縮する彩度強調処理を行うとともに、角度θを拡張又は圧縮する色相強調処理を行う。彩度強調処理として第1彩度強調処理又は第2彩度強調処理が行われ、色相強調処理として第1色相強調処理又は第2色相強調処理が行われる。
第1色相強調処理と第1彩度強調処理を行うことで、正常粘膜の第1範囲と、萎縮粘膜の第2範囲(萎縮粘膜1)、深層血管の第3範囲(深層血管1)、BAの第4範囲(BA1)、及び発赤の第5範囲(発赤1)との差を大きくすることができる。
また、第2色相強調処理と第2彩度強調処理を行う場合には、正常粘膜の第1範囲(正常粘膜2)と、深層血管の第3範囲(深層血管2)、BAの第4範囲(BA2)、及び発赤の第5範囲(発赤2)との差が大きくなる。ただし、第2彩度強調処理及び第2色相強調処理後における正常粘膜の第1範囲(正常粘膜2)は、第2彩度強調処理及び第2色相強調処理前における正常粘膜の第1範囲(正常粘膜)よりも彩度が低くなっている。また、萎縮粘膜の第2範囲(萎縮粘膜2)の彩度も合わせて低くなっている。
これに加えて、第2彩度強調処理及び第2色相強調処理後の深層血管の第3範囲(深層血管2)、第4範囲(BA2)、及び第5範囲(発赤2)について、第1彩度強調処理及び第1色相強調処理後の深層血管の第3範囲(深層血管1)、第4範囲(BA1)、及び第5範囲(発赤1)よりも彩度が低くすることができる。
また、第2彩度強調処理及び第2色相強調処理後の深層血管の第3範囲(深層血管2)、及び発赤の第5範囲(発赤2)について、第1彩度強調処理及び第1色相強調処理後の深層血管の第3範囲(深層血管1)、及び発赤の第5範囲(発赤1)よりも、正常粘膜の第1範囲(正常粘膜2)との色相差を大きくすることができる。なお、第2彩度強調処理及び第2色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜2)は、第1彩度強調処理及び第1色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜1)よりも、正常粘膜の第1範囲(正常粘膜2)との色相差が若干大きくなっている。図15において、正常粘膜の第1範囲との色相差については、正常粘膜の第1範囲を通る基準線SLから半径方向に離れるほど、正常粘膜の第1範囲との色相差は大きくなる。
次に、特殊観察モードについて、図16のフローチャートに沿って説明を行う。モード切替SW13aを操作して、特殊観察モードに切り替えを行う。特殊観察モードに切り替えられると、第1彩度強調処理及び第1色相強調処理前の画像信号に基づいて、炎症度の算出が行われる。炎症度が閾値を超えない場合には、炎症評価モードに切り替えられる。これにより、炎症評価画像が生成されてモニタ18に表示される。モニタ18には炎症度も合わせて表示される。
一方、炎症度が閾値を超えた場合には、UCスクリーニングモードに切り替えられる。UCスクリーニングモードでは、UCスクリーニング画像の生成を行う。炎症度及びUCスクリーニング画像はモニタ18に表示される。UCスクリーニング画像は、炎症評価画像よりも彩度を抑え、且つ深層血管の第3範囲の色相を強調した画像となっている。炎症度が閾値を超えた状態では、UCスクリーニング画像を表示し続け、炎症度が閾値以下となった場合には、炎症評価モードに切り替えられて、炎症評価画像の表示に切り替えられる。以上の処理は、特殊観察モードでの診断が終了するまで(他の観察モードに切り替えられるまで)、行われる。
なお、炎症度が閾値を超えた場合に、UCスクリーニングモードに切り替えているが、炎症度が閾値を超えるフレームが継続して複数続いた場合、例えば、炎症度が閾値を超えるフレームが10フレーム継続して続いた場合に、UCスクリーニングモードに切り替えるようにすることが望ましい。このようにモードの切り替えを行うことで、モードの切替が頻繁に発生しなくなるため、彩度の違う画像が頻繁に切り替えられることがなくなる。これにより、診断がし易くなる。また、炎症度が閾値以下となった場合に、炎症評価モードに切り替えているが、炎症度が閾値以下となるフレームが継続して複数続いた場合に、炎症評価モードに切り替えるようにすることが望ましい。
なお、上記実施形態では、炎症度に基づいて、炎症評価モードとUCスクリーニングモードとを自動的に切り替えるようにしているが、炎症評価モードとUCスクリーニングモードと手動で切り替えるようにしてもよい。この場合には、図17に示すように、モニタ18上に設定メニュー画面を表示し、この設定メニュー画面上でモードを設定するようにすることが好ましい。設定メニュー画面には、炎症評価モード、UCスクリーニングモード、ノーマルモードの3つのモードが選択可能となっている。また、設定メニュー画面においては、炎症評価画像、UCスクリーニング画像、ノーマル画像のうちの2つの画像の2画面表示も選択できるようになっている。設定メニュー画面の操作はコンソール19等により行われる。なお、設定メニュー画面の立ち上げは、モード切替SW13aの長押しで行うようにしてもよく、プロセッサ装置16のフロントパネルに設けた特定のボタンの長押しで行うようにしてもよい。
例えば、設定メニュー画面において、炎症評価モードに設定された場合には、設定メニュー画面上で、炎症評価モードのボックスが白から黒に反転する。これに従って、モニタ18上には、図18に示すように、炎症評価画像が表示されるとともに、その炎症評価画像に対応する炎症度として、面積比が表示される。また、設定メニュー画面において、UCスクリーニングモードとノーマルモードの2モードが選択されると、UCスクリーニングモードのボックスとノーマルモードのボックスが白から黒に反転する。また、2画面が選択されると、2画面のボックスも白から黒に反転する。この場合には、図19に示すように、UCスクリーンング画像とノーマル画像の2画面表示が行われる。合わせて、炎症度として、面積比が表示される。
なお、上記実施形態では、信号比算出部72で第1RGB画像信号からB/G比及びG/R比を求め、これらB/G比及びG/R比から形成される信号比空間において彩度強調処理及び色相強調処理を行っているが、B/G比及びG/R比と異なる色情報を求め、この色情報から形成される特徴空間において彩度強調処理及び色相強調処理を行ってもよい。
例えば、色情報として色差信号Cr及びCbを求め、色差信号Cr及びCbから形成される特徴空間において彩度強調処理及び色相強調処理を行ってもよい。この場合、図20に示す特殊画像処理部92が用いられる。特殊画像処理部92は、特殊画像処理部64と異なり、Log変換部71、信号比算出部72、逆Log変換部83を備えていない。その代わりに、特殊画像処理部92は、輝度色差信号変換部86を備えている。それ以外の構成については、特殊画像処理部92は特殊画像処理部64と同様である。
輝度色差信号変換部86(本発明の「色情報取得部」に対応する)は、第1RGB画像信号を輝度信号Yと色差信号Cr及びCbに変換する。色差信号Cr及びCbへの変換には周知の変換式が用いられる。色差信号Cr及びCbについては極座標変換部75に送られる。輝度信号YについてはRGB変換部79と明るさ調整部81に送られる。RGB変換部79では、直交座標変換部78を経た色差信号Cr及びCbと輝度信号Yを、第2RGB画像信号に変換する。明るさ調整部81では、第1明るさ情報Yinとして輝度信号Yを用いるとともに、第2明るさ情報Youtとして第2明るさ情報算出部81bで求めた第2明るさ情報を用いて、第2RGB画像信号の画素値の調整を行う。なお、第2明るさ情報Youtの算出方法と第2RGB画像信号の画素値の調整方法については、上記特殊画像処理部64の場合と同じである。
色差信号Cr及びCbにより形成されるCrCb空間では、図21に示すように、第二象限において、正常粘膜を含む第1範囲はほぼ中央に分布している。萎縮粘膜を含む第2範囲は、正常粘膜の第1範囲を通る基準線SLに対してやや時計回り方向側に位置し、且つ、正常粘膜の第1範囲よりも原点に近い位置に分布している。深層血管を含む第3範囲は、基準線SLに対して時計回り方向側に分布している。BAを含む第4範囲は、基準線SLに対してやや反時計回り方向側に分布している。発赤を含む第5範囲は、基準線SLに対して時計回り方向側に分布している。なお、基準線SLは、前述の色相基準線SLhに対応している。CrCb空間においては、基準線SLに対して反時計回り方向が上述のプラス方向に対応しており、基準線SLに対して時計回り方向が上述のマイナス方向に対応している。
以上のように第1〜第5範囲が分布するCrCb空間において、信号比空間の場合と同様に、動径rを拡張又は圧縮する第1彩度強調処理及び角度θを拡張又は圧縮する第1色相強調処理を行う。これにより、図22に示すように、第1彩度強調処理及び第1色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜1)は、第1彩度強調処理及び第1色相強調処理前の萎縮粘膜の第2範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。同様にして、第1彩度強調処理及び第1色相強調処理後の深層血管(深層血管1)、BAの第4範囲(BA1)、及び発赤の第5範囲(発赤1)は、第1彩度強調処理及び第1色相強調処理前の深層血管(点線)、BAの第4範囲(点線)、及び発赤の第5範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。
また、第1〜第5範囲が分布するCrCb空間において、信号比空間の場合と同様に、動径rを拡張又は圧縮する第2彩度強調処理及び角度θを拡張又は圧縮する第2色相強調処理を行う。このように第2彩度強調処理及び第2色相強調処理を行った場合には、図23に示すように、正常粘膜の第1範囲(正常粘膜2)と、深層血管の第3範囲(深層血管2)、BAの第4範囲(BA2)、及び発赤の第5範囲(発赤2)との差が大きくなる。ただし、第2彩度強調処理及び第2色相強調処理後における正常粘膜の第1範囲(正常粘膜2)は、第2彩度強調処理及び第2色相強調処理前における正常粘膜の第1範囲(正常粘膜)よりも彩度が低くなっている。また、萎縮粘膜の第2範囲(萎縮粘膜2)の彩度も合わせて低くなっている。
これに加えて、第2彩度強調処理及び第2色相強調処理後の深層血管の第3範囲(深層血管2)は、第1彩度強調処理及び第1色相強調処理後の深層血管の第3範囲(深層血管1)よりも彩度が低くなっている。同様にして、第2彩度強調処理及び第2色相強調処理後のBAの第4範囲(BA2)、及び発赤の第5範囲(発赤2)は、第1彩度強調処理及び第1色相強調処理後のBAの第4範囲(BA1)、及び発赤の第5範囲(発赤1)よりも彩度が低くなっている。また、第2彩度強調処理及び第2色相強調処理後の深層血管の第3範囲(深層血管2)、及び発赤の第5範囲(発赤2)は、第1彩度強調処理及び第1色相強調処理後の深層血管の第3範囲(深層血管1)、及び発赤の第5範囲(発赤1)よりも、正常粘膜の第1範囲(正常粘膜2)との色相差が大きくなっている。
なお、第2彩度強調処理及び第2色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜2)は、第1彩度強調処理及び第1色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜1)よりも、正常粘膜の第1範囲(正常粘膜2)との色相差が若干大きくなっている。図23において、正常粘膜の第1範囲との色相差については、正常粘膜の第1範囲を通る基準線SLから半径方向に離れるほど、正常粘膜の第1範囲との色相差は大きくなる。
また、色情報として色相H(Hue)、彩度S(Saturation)を求め、色相H、彩度Sから形成されるHS空間において彩度強調処理及び色相強調処理を行ってもよい。色相H、彩度Sを用いる場合には、図24に示す特殊画像処理部96が用いられる。特殊画像処理部96は、特殊画像処理部64と異なり、Log変換部71、信号比算出部72、極座標変換部75、直交座標変換部78、及び逆Log変換部83を備えていない。その代わりに、特殊画像処理部96は、HSV変換部87を備えている。それ以外の構成については、特殊画像処理部96は特殊画像処理部64と同様である。
HSV変換部87(本発明の「色情報取得部」に対応する)は、第1RGB画像信号を色相H、彩度S、及び明度V(Value)に変換する。色相H、彩度S、明度Vへの変換には周知の変換式が用いられる。色相Hと彩度Sについては平行移動部90に送られる。明度VについてはRGB変換部79に送られる。RGB変換部79では、平行移動部90を経た色相H、彩度Sと明度Vを、第2RGB画像信号に変換する。明るさ調整部81では、第1明るさ情報算出部で求めた第1明るさ情報Yinと、第2明るさ情報算出部81bで求めた第2明るさ情報Youtを用いて、第2RGB画像信号の画素値の調整を行う。なお、第1明るさ情報Yin、第2明るさ情報Youtの算出方法、及び第2RGB画像信号の画素値の調整方法については、上記特殊画像処理部64の場合と同じである。
色相H、彩度Sにより形成されるHS空間では、図25に示すように、正常粘膜を含む第1範囲は、特定の色相の値を示す基準線SL上に分布している。萎縮粘膜を含む第2範囲は、基準線SLよりも低彩度の位置に分布している。BAを含む第4範囲は、正常粘膜の第1範囲よりも高彩度の位置であって、基準線SLに対して、第1色相方向(右側)の位置に分布している。発赤を含む第5範囲は、正常粘膜の第1範囲よりも高彩度の位置であって、基準線SLに対して、第2色相方向(左側)の位置に分布している。深層血管を含む第3範囲は、正常粘膜の第1範囲よりも高彩度の位置であって、BAの第4範囲又は発赤の第5範囲よりも低彩度の位置に分布している。また、深層血管の第3範囲は、基準線SLに対して第1色相方向と異なる第2色相方向(左側)の位置に分布している。発赤の第5範囲と基準線SLとの色相方向への距離は、深層血管の第3範囲と基準線SLとの距離よりも小さくなっている。
以上のように第1〜第5範囲が分布するHS空間での第1彩度強調処理及び第1色相強調処理は、信号比空間及びCrCb空間のように動径rと角度θを拡張又は圧縮するのではなく、第2〜第5範囲を平行移動させる処理を行う。彩度強調処理部76は、第1彩度強調処理として、萎縮粘膜の第2範囲について低彩度となるように、彩度方向に平行移動させる処理を行う。一方、彩度強調処理部76は、第1彩度強調処理として、深層血管の第3範囲、BAの第4範囲、及び発赤の第5範囲について、高彩度となるように、彩度方向に平行移動させる処理を行うことが好ましい。
なお、これら第3〜第5範囲については、低彩度となるように平行移動させてもよい。また、色相強調処理部77は、第1色相強調処理として、深層血管の第3範囲、BAの第4範囲、発赤の第5範囲について、正常粘膜の第1範囲から離れるように、色相方向に平行移動させる処理を行う。なお、色相強調処理部77は、第1色相強調処理として、萎縮粘膜の第2範囲を色相方向に移動させる処理を行ってもよい。
以上の第1彩度強調処理及び第1色相強調処理を行うことにより、図26に示すように、第1彩度強調処理及び第1色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜1)は、第1彩度強調処理及び第1色相強調処理前の萎縮粘膜の第2範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。同様にして、第1彩度強調処理及び第1色相強調処理後の深層血管(深層血管1)、BAの第4範囲(BA1)、及び発赤の第5範囲(発赤1)は、第1彩度強調処理及び第1色相強調処理前の深層血管(点線)、BAの第4範囲(点線)、及び発赤の第5範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。
また、HS空間における第2彩度強調処理及び第2色相強調処理についても、第2〜第5範囲を平行移動させる処理を行う。ただし、第2彩度強調処理を行う場合には、第1彩度強調処理の場合と比較して、高彩度範囲に含まれる観察対象範囲の彩度方向への移動量を小さくすることが好ましい。具体的には、高彩度範囲に含まれる深層血管の第3範囲、BAの第4範囲、及び発赤の第5範囲については、第1彩度強調処理の場合よりも、彩度方向への移動量を小さくする。また、第2色相強調処理を行う場合には、第1色相強調処理の場合と比較して、深層血管の第3範囲の色相方向への移動量を小さくすることが好ましい。
このように第2彩度強調処理及び第2色相強調処理を行った場合には、図27に示すように、正常粘膜の第1範囲(正常粘膜2)と、深層血管の第3範囲(深層血管2)、BAの第4範囲(BA2)、及び発赤の第5範囲(発赤2)との差が大きくなる。ただし、第2彩度強調処理及び第2色相強調処理後における正常粘膜の第1範囲(正常粘膜2)は、第2彩度強調処理及び第2色相強調処理前における正常粘膜の第1範囲(正常粘膜)よりも彩度が低くなっている。また、萎縮粘膜の第2範囲(萎縮粘膜2)の彩度も合わせて低くなっている。
これに加えて、第2彩度強調処理及び第2色相強調処理後の深層血管の第3範囲(深層血管2)は、第1彩度強調処理及び第1色相強調処理後の深層血管の第3範囲(深層血管1)よりも彩度が低くなっている。同様にして、第2彩度強調処理及び第2色相強調処理後のBAの第4範囲(BA2)、及び発赤の第5範囲(発赤2)は、第1彩度強調処理及び第1色相強調処理後のBAの第4範囲(BA1)、及び発赤の第5範囲(発赤1)よりも彩度が低くなっている。
また、第2彩度強調処理及び第2色相強調処理後の深層血管の第3範囲(深層血管2)、及び発赤の第5範囲(発赤2)は、第1彩度強調処理及び第1色相強調処理後の深層血管の第3範囲(深層血管1)、及び発赤の第5範囲(発赤1)よりも、正常粘膜の第1範囲(正常粘膜2)との色相差が大きくなっている。なお、第2彩度強調処理及び第2色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜2)は、第1彩度強調処理及び第1色相強調処理後の萎縮粘膜の第2範囲(萎縮粘膜1)よりも、正常粘膜の第1範囲(正常粘膜2)との色相差が若干大きくなっている。図27において、正常粘膜の第1範囲との色相差とは、色相方向に対する正常粘膜の第1範囲との距離で表される。具体的には、基準線SLとの距離が大きくなればなるほど、即ち、基準線SLから色相方向に離れれば離れるほど、正常粘膜の第1範囲との色相差は大きくなる。
[第2実施形態]
第2実施形態では、第1実施形態で示した4色のLED20a〜20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
図28に示すように、第2実施形態の内視鏡システム100では、光源装置14において、4色のLED20a〜20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(図36では「445LD」と表記)104と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(図36では「405LD」と表記)106とが設けられている。これら各光源104及び106の半導体発光素子からの発光は、光源制御部108により個別に制御されており、青色レーザ光源104の出射光と、青紫色レーザ光源106の出射光の光量比は変更自在になっている。
光源制御部108は、通常観察モードの場合には、青色レーザ光源104を駆動させる。これに対して、特殊観察モードの場合には、青色レーザ光源104と青紫色レーザ光源106の両方を駆動させるとともに、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御している。以上の各光源104及び106から出射されるレーザ光は、集光レンズ、光ファイバ、又は合波器などの光学部材(いずれも図示せず)を介して、ライトガイド41に入射する。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ45の他に、ライトガイド41からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110に、青色レーザ光が照射されることで、蛍光体110から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体110を透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ45を介して、検体内に照射される。
ここで、通常観察モードにおいては、主として青色レーザ光が蛍光体110に入射するため、図29に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した白色光が、観察対象に照射される。一方、特殊観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体110に入射するため、図30に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した特殊光が、検体内に照射される。
なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度及び色度の変化を小さく抑えることができる。
[第3実施形態]
第3実施形態では、第1実施形態で示した4色のLED20a〜20dの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ48に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
図31に示すように、第3実施形態の内視鏡システム200では、光源装置14において、4色のLED20a〜20dに代えて、広帯域光源202、回転フィルタ204、及びフィルタ切替部205が設けられている。また、撮像光学系30bには、カラーの撮像センサ48の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ206が設けられている。
広帯域光源202はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、内側に設けられた通常観察モード用フィルタ208と、外側に設けられた特殊観察モード用フィルタ209とを備えている(図32参照)。フィルタ切替部205は、回転フィルタ204を径方向に移動させるものであり、モード切替SW13aにより通常観察モードにセットされたときに、回転フィルタ204の通常観察モード用フィルタ208を白色光の光路に挿入し、特殊観察モードにセットされたときに、回転フィルタ204の特殊観察モード用フィルタ209を白色光の光路に挿入する。
図32に示すように、通常観察モード用フィルタ208には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ208a、白色光のうち緑色光を透過させるGフィルタ208b、及び白色光のうち赤色光を透過させるRフィルタ208cが設けられている。したがって、通常観察モード時には、回転フィルタ204が回転することで、青色光、緑色光、及び赤色光が交互に観察対象に照射される。
特殊観察モード用フィルタ209には、周方向に沿って、白色光のうち特定波長の青色狭帯域光を透過させるBnフィルタ209aと、白色光のうち緑色光を透過させるGフィルタ209b、白色光のうち赤色光を透過させるRフィルタ209cが設けられている。したがって、特殊観察モード時には、回転フィルタ204が回転することで、青色狭帯域光、緑色光、赤色光が交互に観察対象に照射される。
内視鏡システム200では、通常観察モード時には、青色光、緑色光、及び赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGBの画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
一方、特殊観察モード時には、青色狭帯域光、緑色光、及び赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、Bn画像信号と、G画像信号、及びR画像信号が得られる。これらBn画像信号と、G画像信号、及びR画像信号に基づいて、特殊画像の生成が行われる。特殊画像の生成には、B画像信号の代わりに、Bn画像信号が用いられる。それ以外については、第1実施形態と同様の方法で特殊画像の生成が行われる。
[第4実施形態]
第4実施形態では、挿入型の内視鏡12及び光源装置14に代えて、飲み込み式のカプセル内視鏡を用いて、通常画像、特殊画像の生成に必要なRGB画像信号を取得する。
図33に示すように、第4実施形態のカプセル内視鏡システム300は、カプセル内視鏡302と、送受信アンテナ304と、カプセル用受信装置306と、プロセッサ装置16と、モニタ18を備えている。カプセル内視鏡302は、LED302aと、撮像センサ302bと、画像処理部302cと、送信アンテナ302dとを備えている。なお、プロセッサ装置16は第1実施形態と同様であるが、第4実施形態では、通常観察モード、特殊観察モードに切り替えるためのモード切替SW308が新たに設けられている。
LED302aは、白色光を発するものであり、カプセル内視鏡302内に複数設けられている。ここで、LED302aとしては、青色光源と、この青色光源からの光を波長変換して蛍光を発する蛍光体とを備える白色LEDなどを用いることが好ましい。LEDに代えて、LD(Laser Diode)を用いてもよい。LED302aから発せられた白色光は、観察対象に対して照明される。
撮像センサ302bはカラーの撮像センサであり、白色光で照明された観察対象を撮像して、RGBの画像信号を出力する。ここで、撮像センサ302bとしては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを用いることが好ましい。撮像センサ302bから出力されたRGB画像信号は、画像処理部302cで、送信アンテナ302dで送信可能な信号にするための処理が施される。画像処理部302cを経たRGB画像信号は、送信アンテナ302dから、無線で送受信アンテナ304に送信される。
送受信アンテナ304は被検者の体に貼り付けられており、送信アンテナ302dからのRGB画像信号を受信する。送受信アンテナ304は、受信したRGB画像信号を、無線でカプセル用受信装置306に送信する。カプセル用受信装置306はプロセッサ装置16の画像信号入力部53と接続されており、送受信アンテナ304からのRGB画像信号を画像信号入力部53に送信する。
なお、上記実施形態では、図3に示すような発光スペクトルを有する4色の光を用いたが、発光スペクトルはこれに限られない。例えば、図34に示すように、緑色光G及び赤色光Rについては、図3と同様のスペクトルを有する一方で、紫色光Vsについては、中心波長410〜420nmで、図3の紫色光Vよりもやや長波長側に波長範囲を有する光にしてもよい。また、青色光Bsについては、中心波長445〜460nmで、図3の青色光Bよりもやや短波長側に波長範囲を有する光にしてもよい。
なお、上記第1実施形態では、B/G比及びG/R比を極座標変換で動径r及び偏角θに変換し、変換後の動径r、偏角θに基づいて角度を拡張又は圧縮する彩度強調処理及び色相強調処理を行い、その後に、再度、B/G比及びG/R比に戻したが、図35に示すように、二次元LUT(Look Up Table)400を用いて、B/G比及びG/R比から、極座標変換等することなく、直接、第1又は第2処理済みのB/G比及びG/R比に変換してもよい。
なお、二次元LUT400には、B/G比及びG/R比と、このB/G比及びG/R比に基づく彩度強調処理及び色相強調処理を行って得られる彩度強調処理及び色相強調処理済みのB/G比及びG/R比とが対応付けて記憶されている。ここで、炎症評価モードに設定されている場合には、B/G比及びG/R比と、第1彩度強調処理及び第1色相強調処理済みのB/G比及びG/R比との対応関係が用いられる。UCスクリーニングモードに設定されている場合には、B/G比及びG/R比と、第2彩度強調処理及び第2色相強調処理済みのB/G比及びG/R比との対応関係が用いられる。また、逆ガンマ変換部70から出力された第1RGB画像信号は二次元LUT400及びRGB変換部76に入力される。
上記実施形態において、画像信号入力部、色情報取得部、彩度強調処理部、色相強調処理部、モード制御部など、プロセッサ装置14に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
なお、本発明は、第1〜第3実施形態のような内視鏡システムや第4実施形態のようなカプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替SW
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール(キーボード)
19 コンソール
20a V−LED
20b B−LED
20c G−LED
20d R−LED
21 光源制御部
23 光路結合部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
50 CDS・AGC回路
53 画像信号入力部
56 DSP
58 ノイズ除去部
60 信号切替部
62 通常画像処理部
64 特殊画像処理部
66 映像信号生成部
70 逆ガンマ変換部
71 Log変換部
72 信号比算出部
73 数値化処理部
74 画像処理切替部
75 極座標変換部
76 彩度強調処理部
76 変換部
77 色相強調処理部
78 直交座標変換部
79 RGB変換部
81 明るさ調整部
81a 第1明るさ情報算出部
81b 第2明るさ情報算出部
82 構造強調部
83 逆Log変換部
84 ガンマ変換部
85 モード制御部
86 輝度・色差信号変換部
86 輝度色差信号変換部
87 HSV変換部
92 特殊画像処理部
96 特殊画像処理部
100 内視鏡システム
104 青色レーザ光源
106 青紫色レーザ光源
108 光源制御部
110 蛍光体
200 内視鏡システム
202 広帯域光源
204 回転フィルタ
205 フィルタ切替部
206 撮像センサ
208 通常観察モード用フィルタ
208a Bフィルタ
208b Gフィルタ
208c Rフィルタ
209 特殊観察モード用フィルタ
209a Bnフィルタ
209b Gフィルタ
209c Rフィルタ
300 カプセル内視鏡システム
302 カプセル内視鏡
302b 撮像センサ
302c 画像処理部
302d 送信アンテナ
304 送受信アンテナ
306 カプセル用受信装置
400 二次元LUT

Claims (12)

  1. カラー画像信号が入力される画像信号入力部と、
    前記カラー画像信号から複数の色情報を取得する色情報取得部と、
    前記複数の色情報により形成される特徴空間において、少なくとも特定の彩度境界線に対して高彩度側にある高彩度範囲に対して彩度強調処理を行うことによって、観察対象として分布する複数の観察対象範囲の間の彩度差を大きくする彩度強調処理部とを有し、
    前記彩度強調処理部は、
    前記彩度強調処理として、第1彩度強調処理、又は前記第1彩度強調処理と異なる第2の彩度強調処理を行い、
    前記第2彩度強調処理後の前記高彩度範囲は、前記第1彩度強調処理後の前記高彩度範囲よりも大きく、前記第2彩度強調処理後の前記高彩度範囲に含まれる値は、前記第1彩度強調処理後の前記高彩度範囲に含まれる値よりも小さい医用画像処理装置。
  2. 前記特徴空間において、少なくとも特定の色相境界線に対して特定の色相方向側にある特定の色相範囲に対して色相強調処理を行うことによって、観察対象として分布する複数の観察対象範囲の間の色相差を大きくする色相強調処理部を有し、
    前記色相強調処理部は、
    前記色相強調処理として、第1色相強調処理、又は前記第1色相強調処理よりも前記色相差を大きくした第2色相強調処理を行う請求項1記載の医用画像処理装置。
  3. 前記第1彩度強調処理が施されたカラー画像信号から第1彩度強調画像を得る第1モードと、前記第2彩度強調処理が施されたカラー画像信号から第2彩度強調画像を得る第2モードとの切替を行うモード制御部を有する請求項2記載の医用画像処理装置。
  4. 前記モード制御部は、前記観察対象の状態を数値化した観察対象情報に応じて、前記第1モードと前記第2モードの切替を自動的に行う請求項3記載の医用画像処理装置。
  5. 前記観察対象情報は、前記複数の観察対象範囲のいずれかの観察対象範囲の色情報に基づいて得られる値に対応する請求項4記載の医用画像処理装置。
  6. 前記観察対象情報は、特定の色相境界線に対する前記複数の観察対象範囲のいずれかの観察対象範囲の座標の角度に基づいて得られる値に対応する請求項4記載の医用画像処理装置。
  7. 前記観察対象情報は、前記複数の観察対象範囲のうち2つの観察対象範囲の間の距離に基づいて得られる値に対応する請求項4記載の医用画像処理装置。
  8. 前記観察対象情報は、前記カラー画像信号の画素のうち前記複数の観察対象範囲のいずれかの観察対象範囲の画素が占める比率を示す面積比である請求項4記載の医用画像処理装置。
  9. 前記観察対象情報は、前記観察対象の炎症状態を数値化した炎症度である請求項4ないし8いずれか1項記載の医用画像処理装置。
  10. 前記カラー画像信号は、紫色光を含む照明光で照明された観察対象を撮像して得られる請求項1ないし9いずれか1項記載の医用画像処理装置。
  11. 請求項1ないし10いずれか1項記載の医用画像処理装置を有し、
    前記第1彩度強調処理が施されたカラー画像信号から得られる第1彩度強調画像、前記第2彩度強調処理が施されたカラー画像信号から得られる第2彩度強調画像、又は、前記第1彩度強調処理及び前記第2彩度強調処理のいずれも施されていないカラー画像信号から得られるノーマル画像のうち、少なくともいずれかの画像を表示する表示部を有する内視鏡システム。
  12. 画像信号入力部に対して、カラー画像信号が入力される画像信号入力ステップと、
    色情報取得部が、前記カラー画像信号から複数の色情報を取得する色情報取得ステップと、
    彩度強調処理部が、前記複数の色情報により形成される特徴空間において、少なくとも特定の彩度境界線に対して高彩度側にある高彩度範囲に対して彩度強調処理を行うことによって、観察対象として分布する複数の観察対象範囲の間の彩度差を大きくする彩度強調処理ステップとを有し、
    前記彩度強調処理ステップでは、
    前記彩度強調処理として、第1彩度強調処理、又は前記第1彩度強調処理と異なる第2の彩度強調処理を行い、
    前記第2彩度強調処理後の前記高彩度範囲を、前記第1彩度強調処理後の前記高彩度範囲よりも大きく、前記第2彩度強調処理後の前記高彩度範囲に含まれる値は、前記第1彩度強調処理後の前記高彩度範囲に含まれる値よりも小さい医用画像処理装置の作動方法。
JP2019525339A 2017-06-15 2018-06-05 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 Active JP7051845B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017117437 2017-06-15
JP2017117437 2017-06-15
PCT/JP2018/021573 WO2018230396A1 (ja) 2017-06-15 2018-06-05 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法

Publications (2)

Publication Number Publication Date
JPWO2018230396A1 true JPWO2018230396A1 (ja) 2020-04-09
JP7051845B2 JP7051845B2 (ja) 2022-04-11

Family

ID=64660884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019525339A Active JP7051845B2 (ja) 2017-06-15 2018-06-05 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法

Country Status (4)

Country Link
US (1) US11328415B2 (ja)
JP (1) JP7051845B2 (ja)
CN (1) CN110868908B (ja)
WO (1) WO2018230396A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020183528A1 (ja) * 2019-03-08 2020-09-17 オリンパス株式会社 内視鏡装置、内視鏡画像処理装置、内視鏡装置の作動方法及びプログラム
JP7096788B2 (ja) * 2019-06-28 2022-07-06 富士フイルム株式会社 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2022016385A1 (en) * 2020-07-21 2022-01-27 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of generating corrected pixel data, electrical device and non-transitory computer readable medium
CN112598607B (zh) * 2021-01-06 2022-11-18 安徽大学 基于改进加权clahe的内窥镜图像血管增强算法
CN113259648B (zh) * 2021-05-18 2022-01-11 深圳欧克曼技术有限公司 一种内窥镜摄像机图像处理设备和方法
US20230143451A1 (en) * 2021-11-05 2023-05-11 CapsoVision, Inc. Method and Apparatus of Image Adjustment for Gastrointestinal Tract Images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002281327A (ja) * 2001-03-15 2002-09-27 Minolta Co Ltd 画像処理のための装置、方法及びプログラム
JP2003050997A (ja) * 1996-11-18 2003-02-21 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置
WO2015064435A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 画像処理装置及びその作動方法
JP2016034405A (ja) * 2014-08-04 2016-03-17 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP2016067709A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 医用画像処理装置及びその作動方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351558B1 (en) * 1996-11-13 2002-02-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
CN1305103A (zh) * 1999-11-05 2001-07-25 东芝株式会社 彩色放射线成象方法和彩色放射线成象设备,以及相对应的彩色发光片
US7613335B2 (en) * 2003-02-12 2009-11-03 The University Of Iowa Research Foundation Methods and devices useful for analyzing color medical images
JP4199185B2 (ja) * 2004-03-01 2008-12-17 パナソニック株式会社 送信装置及び無線通信装置
EP2967809A4 (en) 2006-01-03 2017-03-15 Volcano Corporation Endoluminal filter having enhanced echogenic properties
US7702139B2 (en) * 2006-10-13 2010-04-20 Carestream Health, Inc. Apparatus for caries detection
JP5039621B2 (ja) 2008-03-25 2012-10-03 富士フイルム株式会社 電子内視鏡装置
CN101349961B (zh) * 2008-08-11 2010-07-28 华为终端有限公司 一种自动切换便携式终端显示模式的方法及装置
CN101822550B (zh) * 2009-03-06 2012-01-04 复旦大学 超声彩色血流成像中基于动态区域划分的杂波抑制方法
JP5438571B2 (ja) * 2010-03-24 2014-03-12 富士フイルム株式会社 電子内視鏡システム
JP5558995B2 (ja) * 2010-09-30 2014-07-23 富士フイルム株式会社 色値取得方法、画像処理方法、色値取得装置、画像処理装置及びプログラム
JP5631764B2 (ja) 2011-01-25 2014-11-26 富士フイルム株式会社 内視鏡システム及びその作動方法
JP5568489B2 (ja) 2011-01-25 2014-08-06 富士フイルム株式会社 内視鏡システム及びその光源制御方法
JP2013058920A (ja) * 2011-09-08 2013-03-28 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
CN104272134B (zh) * 2012-02-29 2017-05-31 克里斯塔韦尔医学影像有限公司 超声成像系统中的杂波抑制
EP2665100A3 (en) 2012-05-14 2015-01-07 National Tsing Hua University Light-emitting diode display and method of producing the same
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
JP5702755B2 (ja) 2012-07-24 2015-04-15 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
CN103892859A (zh) * 2012-12-28 2014-07-02 Ge医疗系统环球技术有限公司 基于多模式Scout扫描的CT成像方法和CT系统
WO2014156938A1 (ja) 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
CA2819956C (en) * 2013-07-02 2022-07-12 Guy Martin High accuracy camera modelling and calibration method
JP5977772B2 (ja) * 2014-02-06 2016-08-24 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP6050286B2 (ja) * 2014-06-27 2016-12-21 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP6121368B2 (ja) * 2014-06-27 2017-04-26 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
CN105796044B (zh) * 2016-05-25 2017-08-25 珠海康弘发展有限公司 内窥镜及其成像方法
CN106558031B (zh) * 2016-12-02 2018-12-28 北京理工大学 一种基于成像模型的彩色眼底图的图像增强方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003050997A (ja) * 1996-11-18 2003-02-21 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2002281327A (ja) * 2001-03-15 2002-09-27 Minolta Co Ltd 画像処理のための装置、方法及びプログラム
JP2014213094A (ja) * 2013-04-26 2014-11-17 Hoya株式会社 病変評価情報生成装置
WO2015064435A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 画像処理装置及びその作動方法
JP2016034405A (ja) * 2014-08-04 2016-03-17 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
JP2016067709A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 医用画像処理装置及びその作動方法

Also Published As

Publication number Publication date
US11328415B2 (en) 2022-05-10
CN110868908A (zh) 2020-03-06
CN110868908B (zh) 2022-04-08
US20200118268A1 (en) 2020-04-16
WO2018230396A1 (ja) 2018-12-20
JP7051845B2 (ja) 2022-04-11

Similar Documents

Publication Publication Date Title
JP6461739B2 (ja) 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
JP7051845B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US9595085B2 (en) Medical image processing device that improves color identification of different areas, method for operating the same, and endoscope system
US9892512B2 (en) Medical image processing device, operation method therefor, and endoscope system
US20170251932A1 (en) Processor device for endoscope, operation method thereof, and non-transitory computer readable medium
WO2021060158A1 (ja) 内視鏡システム及びその作動方法
US9854996B2 (en) Medical image processing device, method for operating the same, and endoscope system
EP2924971B1 (en) Medical image processing device and method for operating the same
US9734592B2 (en) Medical image processing device and method for operating the same
US20200170492A1 (en) Light source device and endoscope system
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
US9600903B2 (en) Medical image processing device and method for operating the same
JP7096788B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7214886B2 (ja) 画像処理装置及びその作動方法
CN113784654B (zh) 图像处理装置及其工作方法
JP6659817B2 (ja) 医用画像処理装置
JP6383829B2 (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム
JP2020073098A (ja) 医用画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220330

R150 Certificate of patent or registration of utility model

Ref document number: 7051845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150