JP6581730B2 - 電子内視鏡用プロセッサ及び電子内視鏡システム - Google Patents

電子内視鏡用プロセッサ及び電子内視鏡システム Download PDF

Info

Publication number
JP6581730B2
JP6581730B2 JP2018537336A JP2018537336A JP6581730B2 JP 6581730 B2 JP6581730 B2 JP 6581730B2 JP 2018537336 A JP2018537336 A JP 2018537336A JP 2018537336 A JP2018537336 A JP 2018537336A JP 6581730 B2 JP6581730 B2 JP 6581730B2
Authority
JP
Japan
Prior art keywords
pixel
color
evaluation value
image
electronic endoscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018537336A
Other languages
English (en)
Other versions
JPWO2018043550A1 (ja
Inventor
貴雄 牧野
貴雄 牧野
洋祐 池本
洋祐 池本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Publication of JPWO2018043550A1 publication Critical patent/JPWO2018043550A1/ja
Application granted granted Critical
Publication of JP6581730B2 publication Critical patent/JP6581730B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Description

本発明は、電子内視鏡用プロセッサ及び電子内視鏡システムに関する。
病変部は、一般に正常な粘膜組織とは異なる色を呈する。カラー内視鏡装置の性能向上により、正常組織とわずかに色の異なる病変部の識別も可能になってきている。しかしながら、術者が内視鏡画像上のわずかな色の相違により正常組織から病変部を正確に識別できるようになるには、熟練者の指導下で長期間のトレーニングを受ける必要があった。また、熟練した術者であっても、わずかな色の違いから病変部を識別することは容易ではなく、慎重な作業が要求された。そこで、血管や病変部の識別を容易にするために、白色光を使用して撮像した内視鏡画像データに対して、色の違いを強調する色変換処理を行う機能を備えた電子内視鏡システムが提案されている（特許文献１）。
特開２００９−１０６４２４号公報
特許文献１の電子内視鏡システムが生成する画像は、通常の内視鏡画像に比べれば病変部等を識別し易いものの、正常な粘膜組織と病変部等との境界における色の変化は連続的であり、また疾患の種類によっては正常な粘膜組織との色の違いが僅かであるため、やはり経験の浅い術者には病変部等の識別が難しい場合もあった。また、特許文献１の電子内視鏡システムを使用した場合でも、病変部かどうかの判断は、最終的には術者の経験や知識に依存する読像技能に委ねられており、客観的かつ再現性のある（術者のスキルに依存しない）検査結果を得ることができなかった。
本発明の一実施形態に係る電子内視鏡用プロセッサは、ｎを３以上の自然数とし、ｍを２以上の自然数とし、ｎ種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをｎ種類よりも少ない前記ｎ種類の色成分のうちのｍ種類の色成分よりなる画素データに変換する変換手段と、
ｍ種類の色成分よりなる変換された前記画素データに基づいて対象疾患に関する評価値を前記カラー画像の画素単位で算出する評価値算出手段と、
算出された前記カラー画像の画素の評価値に基づいて前記対象疾患に関する複数種類の病変の各々の症状のレベルを示す病変指数を計算する病変指数計算手段と、
を備える。
本発明の他の一実施形態に係る電子内視鏡用プロセッサは、ｎを３以上の自然数とし、ｍを２以上の自然数とし、ｎ種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをｎ種類よりも少ないｍ種類の色成分よりなる画素データに変換する変換手段と、 ｍ種類の色成分よりなる変換された前記画素データに基づいて対象疾患に関する評価値を前記カラー画像の画素単位で算出する評価値算出手段と、
算出された前記カラー画像の画素の評価値に基づいて前記対象疾患に関する複数種類の病変の各々の病変指数を計算する病変指数計算手段と、
を備え、
前記評価値算出手段は、
前記ｍ種類の色成分より定義される色空間内において、所定の基準点から見た前記対象疾患に関する基準方向を設定しており、前記カラー画像の各画素について、前記色空間における前記変換された画素データに対応する画素対応点の前記基準点から見た方向の、前記基準方向からのずれの程度に基づいて、前記対象疾患に関する評価値を算出する。
また、本発明のさらに他の一実施形態に係る電子内視鏡用プロセッサは、ｎを３以上の自然数とし、ｍを２以上の自然数とし、ｎ種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをｎ種類よりも少ないｍ種類の色成分よりなる画素データに変換する変換手段と、
ｍ種類の色成分よりなる変換された前記画素データに基づいて対象疾患に関する評価値を前記カラー画像の画素単位で算出する評価値算出手段と、
算出された前記カラー画像の画素の評価値に基づいて前記対象疾患に関する複数種類の病変の各々の病変指数を計算する病変指数計算手段と、
を備え、
前記評価値算出手段は、
前記ｍ種類の色成分より定義される色平面内において、所定の基準点を通る、前記対象疾患に関する基準軸を設定しており、前記カラー画像の各画素について、前記基準点と前記変換された画素データに対応する画素対応点とを結ぶ線分と、前記基準軸と、がなす角度θに基づいて、前記対象疾患に関する評価値を算出する。
本発明の一実施形態によれば、病変指数計算手段は、複数種類の病変指数の合計を総病変指数として計算する構成とすることが好ましい。
また、本発明の一実施形態によれば、病変指数計算手段は、評価値算出手段にて算出された評価値が第一の範囲に収まる値の画素の数に基づいて第一の病変指数を計算し、該評価値が第二の範囲に収まる値の画素の数に基づいて第二の病変指数を計算する構成とすることが好ましい。
また、本発明の一実施形態によれば、前記電子内視鏡用プロセッサは、
前記カラー画像の各画素について、画素値が所定の条件を満たす値であるか否かによって該各画素が有効画素であるか否かを判定する有効画素判定手段を更に備える構成とすることが好ましい。この場合、前記評価値算出手段は、前記有効画素だけを前記評価値を算出する対象として前記評価値を算出することが好ましい。
また、本発明の一実施形態によれば、前記電子内視鏡用プロセッサは、有効画素であると判定された画素の数である有効画素数を計算する有効画素計数手段を更に備える構成とすることが好ましい。この場合、病変指数計算手段は、前記有効画素における前記評価値に基づいて複数種類の病変の各々に該当する画素の数である各病変画素数を計算し、複数種類の病変の各々について、有効画素数に対する該病変画素数の比率を病変指数として計算することが好ましい。
また、本発明の一実施形態によれば、前記電子内視鏡用プロセッサは、変換手段によって変換されたｍ種類の色成分よりなる画素データを所定の色成分補正係数を用いて補正する色成分補正手段を更に備える構成とすることが好ましい。この場合、評価値算出手段は、色成分補正係数によって補正されたｍ種類の色成分よりなる画素データに基づいて対象疾患に関する評価値を画素単位で算出する構成とすることが好ましい。
また、本発明の一実施形態によれば、色成分補正係数は、例えば、ｍ種類の色成分よりなる画素データを補正する所定の補正マトリックス係数であることが好ましい。
また、本発明の一実施形態によれば、前記基準軸を第１基準軸というとき、
前記評価値算出手段は、前記色平面内において、前記基準点を通る、前記対象疾患が無い健常部位に関する第２基準軸を設定しており、
前記第１基準軸と前記第２基準軸の交差角度を最大角度として、前記角度θを正規化して前記評価値を算出する、ことが好ましい。
また、本発明の一実施形態によれば、変換手段は、ｎ種類の色成分より定義される色空間における各画素の画素データを色平面に正射影する構成とすることが好ましい。
また、本発明の一実施形態によれば、基準軸は、例えば、対象疾患について症状レベルの最も高い炎症部位を示す軸であることが好ましい。
また、本発明の一実施形態によれば、前記評価値は、体腔内の生体組織の粘膜の炎症の強さの程度を示す値である、ことが好ましい。この場合、前記評価値には、粘膜が存在せず下部組織が露出し孔が開いた潰瘍は除外される。したがって、前記評価値は、粘膜は存在し、この粘膜の荒れた状態の強さの程度を示す値である。
また、本発明の一実施形態によれば、前記変換された画素データのｍ種類の色成分のいずれも、波長帯域が互いに異なるように設定された色成分である、ことが好ましい。
前記変換された画素データのｍ種類の色成分は、赤成分（波長６２０〜７５０ｎｍ）、緑成分（波長４９５〜５７０ｎｍ）、及び青成分（波長４５０〜４９５ｎｍ）の少なくとも２つを含む、ことが好ましい。この場合、前記変換された画素データのｍ種類の色成分は、前記赤成分と、前記緑成分及び前記青成分のいずれか１つの色成分と、を含む、ことが好ましい。
また、本発明の一実施形態によれば、色平面は、例えば、赤（Ｒ）成分の軸と緑（Ｇ）成分の軸を含む平面であることが好ましい。
また、本発明の一実施形態によれば、前記電子内視鏡用プロセッサは、各画素の評価値に基づいて該各画素の色を変更したオーバーレイ画像を生成するオーバーレイ画像生成手段を更に備える構成とすることが好ましい。
してもよい。
また、本発明の一実施形態によれば、前記電子内視鏡用プロセッサは、病変指数を表示装置の表示画面に表示させる表示手段を更に備える構成とすることが好ましい。この表示手段は、カラー画像とオーバーレイ画像とを表示装置の一画面内に並べて表示させる構成とすることが好ましい。
また、本発明の一実施形態によれば、前記電子内視鏡用プロセッサは、カラー画像を撮像した位置の情報を取得する撮像位置取得手段と、カラー画像を撮像した複数の位置と、該位置において撮像したカラー画像の病変指数との関係を、表、グラフ及び模式図の少なくとも一つを用いて表したものを出力装置に出力するレポート出力手段とを更に備える構成とすることが好ましい。
また、本発明の一実施形態に係る電子内視鏡システムは、上記の電子内視鏡用プロセッサと、カラー画像のデータを生成して電子内視鏡用プロセッサに出力するように構成された電子スコープと、電子内視鏡用プロセッサにより求められた病変指数を表示するように構成された表示装置と、を備える。
また、本発明の一実施形態によれば、前記表示装置は、複数種類の前記病変の各々の前記病変指数を、前記カラー画像とともに表示するように構成されている、ことが好ましい。
また、本発明の一実施形態によれば、色相及び彩度は、色成分から除かれることが好ましい。
上述の電子内視鏡用プロセッサ及び電子内視鏡システムによれば、病変部と正常部との正確な判別を容易に行うことが可能になる。
本発明の一実施形態に係る電子内視鏡システムの概略構成を示すブロック図である。 本発明の一実施形態に係る画像処理ユニットの概略構成を示すブロック図である。 画像メモリ２２４の記憶領域の概略構成を示す図である。 メモリ２２６の記憶領域の概略構成を示す図である。 画像処理ユニットが行う処理の手順を示すフローチャートである。 ＴＥ処理に使用されるゲイン曲線の一例である。 有効画素判定処理の手順を示すフローチャートである。 炎症強度算出処理の手順を示すフローチャートである。 画素対応点がプロットされるＲＧ平面を示す図である。 ＲＧ平面内に設定される基準軸について説明する図である。 病変指数計算処理の手順を示すフローチャートである。 画面表示処理によって生成される表示画面の一例である。 レポート出力処理において印刷されるレポート画面である。
以下、本発明の実施の形態について図面を参照しながら説明する。以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
図１は、本発明の一実施形態に係る電子内視鏡システム１の概略構成を示すブロック図である。図１に示すように、本実施形態の電子内視鏡システム１は、電子スコープ１００、電子内視鏡用プロセッサ２００、モニタ３００及びプリンタ４００を備えている。
電子内視鏡用プロセッサ２００は、システムコントローラ２０２やタイミングコントローラ２０６を備えている。システムコントローラ２０２は、メモリ２０４に記憶された各種プログラムを実行し、電子内視鏡システム１の全体を統合的に制御する。また、システムコントローラ２０２は、操作パネル２０８に入力されるユーザ（術者又は補助者）からの指示に応じて、電子内視鏡システム１の各種設定を変更する。タイミングコントローラ２０６は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム１内の各種回路に出力する。
また、電子内視鏡用プロセッサ２００は、電子スコープ１００のＬＣＢ（Light Carrying Bundle）１０２に白色光束である照明光を供給する光源装置２３０を備えている。光源装置２３０は、ランプ２３２、ランプ電源２３４、集光レンズ２３６及び調光装置２４０を備えている。ランプ２３２は、ランプ電源２３４から駆動電力の供給を受けて照明光を放射する高輝度ランプであり、例えば、キセノンランプ、メタルハライドランプ、水銀ランプ又はハロゲンランプが使用される。ランプ２３２が放射した照明光は、集光レンズ２３６により集光された後、調光装置２４０を介してＬＣＢ１０２に導入される。
なお、ランプ２３２は、ＬＤ（Laser Diode）やＬＥＤ（Light Emitting Diode）等の半導体発光素子に置き換えてもよい。半導体発光素子に関しては、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることは、後述する炎症に関する評価値の精度を向上させることにつながる。半導体発光素子は、プロセッサ２００に限らず、電子スコープ１００に内蔵されてもよい。一例として、半導体発光素子は、電子スコープ１００の先端部内に備えられてもよい。
調光装置２４０は、システムコントローラ２０２の制御に基づいてＬＣＢ１０２に導入する照明光の光量を調整する装置であり、絞り２４２、モータ２４３及びドライバ２４４を備えている。ドライバ２４４は、モータ２４３を駆動するための駆動電流を生成して、モータ２４３に供給する。絞り２４２は、モータ２４３によって駆動され、照明光が通過する開口を変化させて、開口を通過する照明光の光量を調整する。
入射端からＬＣＢ１０２に導入された照明光は、ＬＣＢ１０２内を伝播し、電子スコープ１００の先端に配置されたＬＣＢ１０２の出射端から出射して、配光レンズ１０４を介して被写体に照射される。被写体からの反射光は、対物レンズ１０６を介して固体撮像素子１０８の受光面上で光学像を結ぶ。
固体撮像素子１０８は、ＩＲ（Infra Red）カットフィルタ１０８ａ、ベイヤ配列カラーフィルタ１０８ｂの各種フィルタが受光面に配置された単板式カラーＣＣＤ（Charge-Coupled Device）イメージセンサであり、受光面上で結像した光学像に応じた３原色Ｒ、Ｇ、Ｂ各色の撮像信号を生成する。生成された撮像信号は、電子スコープ１００の接続部内に設けられたドライバ信号処理回路１１２において、増幅された後、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒからなる画像信号に変換され、更にデジタル信号に変換された後、電子内視鏡用プロセッサ２００の画像処理ユニット２２０に送られる。また、ドライバ信号処理回路１１２は、メモリ１１４にアクセスして電子スコープ１００の固有情報を読み出す。メモリ１１４に記録される電子スコープ１００の固有情報には、例えば固体撮像素子１０８の画素数や感度、動作可能なフレームレート等が含まれる。ドライバ信号処理回路１１２は、メモリ１１４から読み出した固有情報をシステムコントローラ２０２に出力する。
原色系（ＲＧＢ）フィルタは、補色系フィルタと比較して発色性が良い。そのため、原色系フィルタを搭載した撮像素子によるＲＧＢ形式の画像信号を後述の炎症に関する評価値の計算に使用すると、その評価精度を向上させることができる。また、原色系フィルタを使用することにより、炎症に関する評価値の計算処理において信号の変換を行う必要がない。そのため、評価計算の処理負荷を抑えることが可能となる。
システムコントローラ２０２は、電子スコープ１００の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ２０２は、生成した制御信号を用いて、電子内視鏡用プロセッサ２００に接続された電子スコープ１００に適した処理がなされるように、電子内視鏡用プロセッサ２００内の各種回路の動作やタイミングを制御する。
タイミングコントローラ２０６は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２及び画像処理ユニット２２０にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０６から供給されるクロックパルスに従って、固体撮像素子１０８を電子内視鏡用プロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
電子内視鏡用プロセッサ２００の画像処理ユニット２２０は、システムコントローラ２０２による制御の下、電子スコープ１００のドライバ信号処理回路１１２から送られてくる画像信号に基づいて内視鏡画像等をモニタ表示するためのビデオ信号を生成し、表示装置であるモニタ３００に出力する。術者は、モニタ３００に表示された内視鏡画像を確認しながら例えば消化管内の観察や治療を行う。また、画像処理ユニット２２０は、画像信号に基づいて後述するレポート画面を印刷出力するためのレポート出力信号（印刷信号）を生成して、プリンタ４００に出力する。
電子内視鏡用プロセッサ２００は、ネットワークインタフェース２１０及びネットワーク５００を介してサーバ６００に接続されている。電子内視鏡用プロセッサ２００は、内視鏡検査に関する情報（例えば、患者の電子カルテ情報や術者の情報）をサーバ６００から取得してモニタ３００や操作パネル２０８に表示し、内視鏡検査結果（内視鏡画像データ、検査条件、後述の画像解析結果、術者所見等）をサーバ６００に送信して、蓄積する。
また、電子内視鏡システム１は、複数の内視鏡画像の静止画を撮像箇所（すなわち、撮像時の電子スコープ１００の先端部の位置（挿入長））の情報と関連付けて記録する機能を備えている。電子スコープ１００の挿入部１３０の外周には、複数の光センサ１３２が長さ方向に等間隔（例えば５ｃｍ間隔）で設けられている。光センサ１３２は、フォトダイオード等の受光素子であり、外光（内視鏡検査が行われる部屋の室内照明）を検出する。挿入部１３０の消化管内に挿入され部分に設けられた光センサ１３２は外光を検出せず、消化管内に挿入されていない部分に設けられた光センサ１３２は外光を検出する。そのため、光を検出していない光センサの分布長を消化管内に挿入された挿入部１３０の長さと判定することで、電子スコープ１００先端部の位置（挿入長）の情報を取得することができる。光センサ１３２は、ドライバ信号処理回路１１２に接続されており、検出した光量を示すセンサ信号をドライバ信号処理回路１１２に送信する。ドライバ信号処理回路１１２は、光センサ１３２からのセンサ信号に基づいて、電子スコープ１００の先端部の位置（挿入長）Ｐｏｓを計算する。
また、電子スコープ１００の操作部１２０に対して静止画取得を指示するユーザ操作が行われると、操作部１２０からドライバ信号処理回路１１２に操作信号が送信される。システムコントローラ２０２は、操作部１２０から静止画取得の操作信号を取得すると、現在の電子スコープ１００先端部の位置情報（挿入長）Ｐｏｓと共に静止画取得の指令を画像処理ユニット２２０に送信する。これにより、画像処理ユニット２２０において、撮像時の電子スコープ１００の位置情報Ｐｏｓと関連付けられて内視鏡観察画像の静止画が記録される。画像処理ユニット２２０が静止画を記録する処理の詳細は後述する。
図２は、画像処理ユニット２２０の概略構成を示すブロック図である。画像処理ユニット２２０は、第１画像処理回路２２２、画像メモリ２２４、メモリ２２６及び第２画像処理回路２２８を備えている。第１画像処理回路２２２は、ドライバ信号処理回路１１２からの画像信号に対して種々の画像処理を施して、画像メモリ２２４に出力する。
図２に示すように、第１画像処理回路２２２は、ＲＧＢ変換部２２２ａ、ＴＥ処理部２２２ｂ、有効画素判定部２２２ｃ、色空間変換部２２２ｄ、炎症強度算出部２２２ｅ及びオーバーレイ処理部２２２ｆを備えている。また、第２画像処理回路２２８は、病変指数計算部２２８ａ、表示画面生成部２２８ｂ及びレポート生成部２２８ｃを備えている。第１画像処理回路２２２及び第２画像処理回路２２８の各部が行う具体的な処理については後述する。
図３は、画像メモリ２２４が備える記憶領域の概略構成を示す図である。本実施形態の画像メモリ２２４には、７つの記憶領域群Ｐｋ（ｋ＝０〜６）が設けられている。各憶領域群Ｐｋは、通常観察画像データＮの３原色信号Ｒ，Ｇ，Ｂをそれぞれ記憶する通常画像メモリ領域ｋｎＲ，ｋｎＧ，ｋｎＢ（ｋ＝０〜６）と、後述するＴＥ処理Ｓ３により生成されるトーン強調画像データＥの原色信号Ｒ’，Ｇ’，Ｂ’をそれぞれ記憶するトーン強調画像メモリ領域ｋｅＲ，ｋｅＧ，ｋｅＢ（ｋ＝０〜６）と、後述するオーバーレイ処理Ｓ７により生成されるオーバーレイ画像データＳの３原色信号Ｒ”，Ｇ”，Ｂ”をそれぞれ記憶するオーバーレイ画像メモリ領域ｋｓＲ，ｋｓＧ，ｋｓＢ（ｋ＝０〜６）を備えている。すなわち、画像メモリ２２４は、通常観察画像データＮとトーン強調画像データＥとオーバーレイ画像データＳのデータセットを最大７セット記憶することができる。画像メモリ２２４は、第１画像処理回路２２２から出力された画像データ（通常観察画像データＮ、トーン強調画像データＥ又はオーバーレイ画像データＳ）を、システムコントローラ２０２の制御に従い、記憶領域群Ｐ０〜Ｐ６のいずれかに記憶させるように構成されている。なお、記憶領域Ｐ０には、第１画像処理回路２２２から順次出力される画像データが上書きされ、常にリアルタイムの動画を構成する画像データが保持される。一方、記憶領域群Ｐ１〜Ｐ６には、システムコントローラ２０２から指令があった時にのみ、第１画像処理回路２２２から出力された画像データが書き込まれる。すなわち、画像メモリ２２４には最大６枚の静止画を記録することができる。
図４は、メモリ２２６が備える記憶領域の概略構成を示す図である。メモリ２２６は、ＲＧＢマトリックス記憶領域２２６ａ、フラグ記憶領域２２６ｂ、設定情報記憶領域２２６ｃ、病変指数記憶領域群２２６ｄ、補正マトリックス記憶領域２２６ｅ及び色情報記憶領域２２６ｆを備えている。ＲＧＢマトリックス記憶領域２２６ａには後述するＲＧＢ変換処理Ｓ１において使用されるＲＧＢ変換マトリックス係数Ｍ１が格納され、フラグ記憶領域２２６ｂには第１画像処理回路２２２での処理に使用されるフラグテーブルＴ２が格納される。なお、フラグテーブルＴ２は、画像データを構成する各画素（ｘ，ｙ）に関する解析結果を示すフラグｆ（ｘ，ｙ）から構成された数値テーブルである。設定記憶領域２２６ｃには、画像処理ユニット２２０での処理に使用される各種設定値が記録されている。また、病変指数記憶領域群２２６ｄには、画像メモリ２２４の記憶領域群Ｐｋ（ｋ＝０〜６）に対応する７つの記憶領域群Ｑｋ（ｋ＝０〜６）が設けられている。各記憶領域群Ｑｋには、対応する記憶領域群Ｐｋに記憶された画像の解析結果である病変指数ＩｄｘＲ、ＩｄｘＷ、ＩｄｘＴが記録される。
ホワイトバランス補正は、無彩色軸上の一点（例えば白色）のみで色補正を行うものである。そのため、炎症等の有彩色を持つ部位を対象とした評価を行う場合、ホワイトバランス補正だけでは、電子内視鏡システム１（主に電子スコープ１００の光学部品）の個体差による評価値のばらつきを抑えることが難しい。そこで、補正マトリックス記憶領域２２６ｅには、この種のばらつきを抑えるための補正マトリックス係数Ｍ２が格納されている。
また、色情報記憶領域２２６ｆには、後述するオーバーレイ処理Ｓ７においてオーバーレイ画像を生成するために必要なデータが格納されている。
なお、記憶領域群Ｐｋ及びＱｋ（ｋ＝１〜６）は、それぞれ電子スコープ１００の先端部の位置情報（挿入長）Ｐｏｓの値と関連付けられている。具体的には、記憶領域群Ｐ１及びＱ１は検査範囲の最奥部（例えば横行結腸の右結腸曲付近）に相当する挿入長Ｐｏｓの範囲に対応し、ｋ値が大きくなるほど対応する挿入長Ｐｏｓが短くなり、記憶領域群Ｐ６及びＱ６が直腸付近に相当する挿入長Ｐｏｓの範囲に対応する。すなわち、検査範囲の最奥部から電子スコープ１００の挿入部１３０を引き抜きながら静止画を取得していくと、取得した順にｋ＝１〜６の記憶領域に静止画が記録される。位置情報Ｐｏｓと記憶領域群Ｐｋ、Ｑｋ（ｋ＝１〜６）との対応関係を規定する設定情報は、設定情報記憶領域２２６ｃに記録されている。画像データが記録される記憶領域群Ｐｋ、Ｑｋは、画像データの位置情報Ｐｏｓ（撮像時の電子スコープ１００先端部の位置）に応じて決定される。
第２画像処理回路２２８は、画像メモリ２２４に記憶された画像信号を使用してモニタ表示用のビデオ信号を生成し、モニタ３００に出力する。また、第２画像処理回路２２８は、画像メモリ２２４に記憶された画像信号やメモリ２２６に記憶される病変指数（後述）を使用して、後述するレポート出力信号（印刷信号）を生成してプリンタ４００に出力する。
次に、画像処理ユニット２２０が行う処理の詳細を説明する。図５は、画像処理ユニット２２０が行う処理の手順を示すフローチャートである。画像処理ユニット２２０の処理が開始すると、先ず、第１画像処理回路２２２のＲＧＢ変換部２２２ａによりＲＧＢ変換処理Ｓ１が行われる。ＲＧＢ変換処理Ｓ１では、ＲＧＢ変換部２２２ａが、ドライバ信号処理回路１１２から送られてくる輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒをそれぞれ増幅した後、３原色信号Ｒ，Ｇ，Ｂに変換する。ＲＧＢ変換処理Ｓ１は、メモリ２２６のＲＧＢマトリックス記憶領域２２６ａに格納されたＲＧＢ変換マトリックス係数Ｍ１を使用して行われる。ＲＧＢ変換マトリックス係数Ｍ１は、撮像に用いる照明光のスペクトル特性に応じて予め設定されており、Ｙ，Ｃｂ，Ｃｒ信号からＲ，Ｇ，Ｂ信号への信号形式の変換と同時に、照明光のスペクトル特性の補正が行われる。また、ＲＧＢ変換処理Ｓ１が完了すると、生成された通常観察画像データＮの３原色信号Ｒ，Ｇ，Ｂは画像メモリ２２４に出力され、それぞれ通常画像メモリ領域０ｎＲ，０ｎＧ，０ｎＢに記憶される。
次に、画像解析モードに設定されているか否かが判断される（Ｓ２）。画像解析モードは、画像データの各画素について色成分（特にＲ，Ｇ成分）を解析し、色成分の解析結果から対象疾患（病変）に関する評価結果（例えば炎症に関する評価値やカラーマップ画像）を取得し、取得された評価結果を表示する動作モードである。対象疾患の種類は、検査内容に応じて選択することができる。画像解析モードを実行することにより、例示的には、炎症性腸疾患（IBD）の病変である潰瘍（白苔や膿様粘液を含む白色病変）や炎症（浮腫や易出血性を含む赤変病変）の観察像に特有の色域にある画素を抽出して、識別表示することができる。
なお、本実施形態の電子内視鏡システム１は、画像解析モードと通常観察モードの２つの動作モードで動作するように構成されている。動作モードは、電子スコープ１００の操作部１２０や電子内視鏡用プロセッサ２００の操作パネル２０８に対するユーザ操作によって切り換えられる。通常観察モードに設定されている場合は（Ｓ２：Ｎｏ）、処理はＳ９に進む。
画像解析モードが選択されている場合は（Ｓ２：Ｙｅｓ）、次にトーン強調（ＴＥ）処理部２２２ｂによるＴＥ処理Ｓ３が行われる。ＴＥ処理Ｓ３は、病変の判定精度を上げるために、各原色信号Ｒ，Ｇ，Ｂに対して非線形なゲイン（利得）を与えるゲイン調整を行い、判定する病変に特有の色域（特に境界部）付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。具体的には、ＴＥ処理Ｓ３では、各原色信号Ｒ，Ｇ，Ｂに対して、図６に示すような単調増加の非線形のゲインを与えて原色信号Ｒ’，Ｇ’，Ｂ’（トーン強調画像データＥ）を取得する処理が行われる。例えば、潰瘍に特有な色域の境界のＲ空間への写像を境界領域ＲＡとし、炎症に特有な色域の境界のＲ空間への写像を境界領域ＲＢとすると、境界領域ＲＡ及びＲＢの付近においてゲイン曲線の傾きが最も急峻になっている。このようなゲイン曲線に従ってゲインを与えることにより、境界領域ＲＡ及びＲＢの付近における原色信号Ｒ’（原色信号Ｒに対してＴＥ処理Ｓ３を施した信号）の実質的なダイナミックレンジを広げることができ、より精密な閾値判定が可能になる。
ここで、各原色信号Ｒ，Ｇ，Ｂに対してそれぞれ異なるゲイン調整を行ってもよい。さらにまた、各原色信号Ｇ，Ｂは同じ非線形のゲインを与え、原色信号Ｒにはこれらとは異なる非線形のゲインを与える処理であってもよい。また、ＴＥ処理Ｓ３により生成された３原色信号Ｒ’，Ｇ’，Ｂ’（トーン強調画像データＥ）は、画像メモリ２２４に出力され、それぞれトーン強調画像メモリ領域０ｅＲ，０ｅＧ，０ｅＢに記憶される。
なお、ＴＥ処理Ｓ３により、炎症部が赤く、潰瘍部が白く、正常部が緑色に色味が変化する。そのため、ＴＥ処理Ｓ３により生成されたトーン強調画像データＥをモニタ３００に表示した場合、ＴＥ処理Ｓ３前の通常観察画像データＮよりも病変部（炎症部や潰瘍部）を容易に視認することができる。
ＴＥ処理Ｓ３が完了すると、次にトーン強調画像データＥに対して有効画素判定部２２２ｃによる有効画素判定処理Ｓ４が行われる。図７は、有効画素判定処理Ｓ４の手順を示すフローチャートである。図７に示す有効画素判定処理Ｓ４は、画像データを構成する全ての画素（ｘ，ｙ）について順次行われる。有効画素判定処理Ｓ４では、まず各画素（ｘ，ｙ）について、原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）から、下記数１に記載の式により補正輝度ｉｎｔ（ｘ，ｙ）が計算される（Ｓ４１）。
なお、計算した補正輝度ｉｎｔ（ｘ，ｙ）の値は、後述する適正露出判定Ｓ４２に使用される。また、数式１から分かるように、補正輝度ｉｎｔ（ｘ，ｙ）は、原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）の単純平均ではなく、ヒト（術者）の比視感度特性に基づいた加重平均として求められる。
次に、各画素について、処理Ｓ４１において計算したトーン強調画像データＥの補正輝度ｉｎｔ（ｘ，ｙ）及び原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）に基づいて、露出の適否（画像解析に必要な露出レベルか否か）を判定する（Ｓ４２）。適正露出判定Ｓ４２では、次の２つの条件（数式２、数式３）の少なくとも一方（或いは両方）を満たす場合に、適正露出（Ｓ４２：Ｙｅｓ）と判定する。なお、下記数２に記載の式により補正輝度ｉｎｔ（ｘ，ｙ）（全体の光量）の上限値が規定されており、下記数３に記載の式により各原色信号Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）の下限値が規定されている。
画素（ｘ，ｙ）について、数２又は数３に記載の式を満たし、適正露出と判定されると（Ｓ４２：Ｙｅｓ）、有効画素判定部２２２ｃは、メモリ２２６のフラグ記憶領域２２６ｂに格納されているフラグテーブルＴ２の画素（ｘ，ｙ）に対応するフラグｆ（ｘ，ｙ）の値を「１」に書き換える（Ｓ４３）。なお、フラグｆ（ｘ，ｙ）は、０，１のいずれかのフラグ値をとる。各フラグ値の定義は以下の通りである。
０：画素データ無効
１：病変無し（正常）又は病変未判定（画素データ有効）
また、適正露出判定Ｓ４２において、数２、数３に記載の式のいずれの条件も満たさず、露出不適正と判定されると（Ｓ４２：Ｎｏ）、有効画素判定部２２２ｃは、フラグテーブルＴ２のフラグｆ（ｘ，ｙ）の値を「０」に書き換える（Ｓ４４）。
次に、処理Ｓ４５では、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ４１〜Ｓ４５が繰り返される。
なお、有効画素判定処理Ｓ４にて実行される、有効画素を判定する動作は、有効画素判定手段により行われる。一実施形態によれば、図２に示す有効画素判定部２２２ｃが上記有効画素判定手段の機能を担うことが好ましい。
有効画素判定処理Ｓ４が完了すると、次に色空間変換部２２２ｄにより色空間変換処理Ｓ５が行われる。色空間変換処理Ｓ５は、ＲＧＢ３原色で定義されるＲＧＢ色空間のトーン強調された画素データをＲＧ平面の画素データに変換する処理である。なお、色空間変換処理Ｓ５では、トーン強調されていないＲＧＢ色空間の画素データをＲＧ平面の画素データに変換してもよい。
図９に、互いに直交するＲ軸とＧ軸とによって定義されるＲＧ平面を示す。なお、Ｒ軸は、Ｒ成分（Ｒの画素値）の軸であり、Ｇ軸は、Ｇ成分（Ｇの画素値）の軸である。
色空間変換処理Ｓ５では、ＲＧＢ３原色で定義されるＲＧＢ色空間の各画素の画素データ（３種類の色成分よりなる三次元の画素データ）がＲＧの画素データ（２種類の色成分よりなる二次元の画素データ）に変換される。概念的には、図９に示されるように、ＲＧＢ色空間の各画素の画素データが、Ｒ、Ｇの画素値に応じてＲＧ平面内（より詳細には、Ｒ＝０〜２５５、Ｇ＝０〜２５５の値を取るＲＧ平面内の区画）にプロットされる。以下、説明の便宜上、ＲＧＢ色空間の各画素の画素データの点及びＲＧ平面内にプロットされた画素データの点を「画素対応点」と記す。なお、図９においては、図面を明瞭化する便宜上、全ての画素の画素対応点を示すのではなく一部の画素の画素対応点のみ示している。
なお、色成分は、色空間（色平面も含む。）を構成するものである。一実施形態によれば、色成分のいずれも、波長帯域が互いに異なるように設定された色成分であることが好ましい。したがって、この場合、色相及び彩度は、「色成分」から除かれる。
このように、色空間変換処理Ｓ５では、ＲＧＢプロット色空間の各画素データ（三次元データ）がＲＧ平面に正射影され、各画素データに対応するＲＧＢ色空間内の点からＲＧ平面に下された垂線の足が各画素対応点（二次元データ）となる。
なお、色空間変換処理Ｓ５にて実行される、ＲＧＢ色空間の各画素の画素データをＲＧ平面内の画素データに変換（正射影）する動作は、変換手段により行われる。一実施形態によれば、図２に示す色空間変換部２２２ｄが上記変換手段の機能を担うことが好ましい。
なお、露出が不足又は過剰な画素のデータは精度が低く、解析結果の信頼度を下げてしまう。そのため、色空間変換処理Ｓ５は、フラグｆ（ｘ，ｙ）の値が「１」に設定された画素（ｘ，ｙ）、すなわち、上述の有効画素判定処理Ｓ４において適正露出と判定された画素（ｘ，ｙ）についてのみ行われる。
色空間変換処理Ｓ５が完了すると、次に炎症強度算出部２２２ｅにより炎症強度算出処理Ｓ６が行われる。炎症強度算出処理Ｓ６は、内視鏡画像の各画素（ｘ，ｙ）について対象疾患に関する症状レベルを示す炎症強度を算出する処理である。
図８は、炎症強度算出処理Ｓ６の手順を示すフローチャートである。処理Ｓ６１では、フラグテーブルＴ２を参照して、各画素（ｘ，ｙ）のデータが有効であるか否かが判定される。具体的には、フラグｆ（ｘ，ｙ）の値が「１」の画素は、画素データが有効であると判定され、フラグｆ（ｘ，ｙ）の値が「０」の画素は、画素データが無効であると判定される。
炎症強度算出処理Ｓ６において、処理Ｓ６２以降の処理は、処理Ｓ６１で画素データが有効であると判定された有効画素を処理対象として実行される。
処理Ｓ６２では、対象疾患に関する評価値（例えば炎症の強さを示す炎症強度等）を計算するために必要なＲＧ平面内の基準軸が設定される。図１０に、基準軸の説明を補助する図を示す。
撮影対象となる患者の体腔内は、ヘモグロビン色素等の影響によりＲ成分が他の成分（Ｇ成分及びＢ成分）に対して支配的であり、典型的には、炎症が強いほど赤味（Ｒ成分）が他の色味（Ｇ成分及びＢ成分）に対して強くなる。しかし、体腔内の撮影画像は、明るさに影響する撮影条件（例えば照明光の当たり具合）に応じて色味が変化する。例示的には、照明光の届かない陰影部分は黒（無彩色であり、例えば、Ｒ、Ｇ、Ｂがゼロ又はゼロに近い値）となり、照明光が強く当たって正反射する部分は白（無彩色であり、例えば、Ｒ、Ｇ、Ｂが２５５又は２５５に近い値）となる。すなわち、炎症が起こっている同じ異常部位を撮影した場合であっても、照明光が強く当たるほどその異常部位画像の画素値が大きくなる。そのため、照明光の当たり具合によっては、画素値が炎症の強さと相関の無い値を取ることがある。
一般に、炎症が起こっていない体腔内の正常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の異常部位は十分な粘膜で覆われていない。具体的には、血管が拡張すると共に血管から血液・体液が漏出するため、相対的に粘膜が薄くなり血液の色が目に映り易くなる。粘膜は、基本的には白基調ではあるが、色味としては若干黄味がかっており、その濃淡（粘膜の厚み）によって画像上に写る色味（黄色の色味）が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。
そこで、図１０に示されるように、ＲＧ平面内において、（５０，０）及び（２５５，７６）を通る直線が基準軸の１つとして設定されると共に、（０，０）及び（２５５，１９２）を通る直線が基準軸の１つとして設定される。説明の便宜上、前者の基準軸を「ヘモグロビン変化軸ＡＸ１」と記し、後者の基準軸を「粘膜変化軸ＡＸ２」と記す。
図１０に示されるプロットは、本発明者が体腔内の多数のサンプル画像を解析した結果得たものである。解析に用いられるサンプル画像には、症状レベルの最も高い炎症画像例（最も重症なレベルの炎症画像例）や、症状レベルの最も低い炎症画像例（実質的に正常部位であるとみなされる画像例）など、各段階の炎症画像例が含まれる。なお、図１０に示す例では、図面を明瞭化する便宜上、解析の結果得られたプロットを一部だけ示している。解析の結果実際に得られたプロットは、図１０に示されるプロットの数よりも遥かに多い。
上述したように、炎症が強い異常部位ほどＲ成分が他の成分（Ｇ成分及びＢ成分）に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｇ軸よりもＲ軸に近い方の境界線上の軸、図１０に示す例では、（５０，０）及び（２５５，７６）を通る境界線上の軸が、症状レベルの最も高い病変部（症状レベルの最も高い炎症（異常）部位）と相関の高い軸として設定される。この軸がヘモグロビン変化軸ＡＸ１である。ヘモグロビン変化軸ＡＸ１には、様々な撮影条件（例えば照明光の当たり具合で撮影された症状レベルの最も高い炎症部位に対応するプロットが重畳される。
一方、正常部位に近いほどＧ成分（又はＢ成分）がＲ成分に対して強くなる。そのため、プロットが分布する領域と分布しない領域との境界線であって、Ｒ軸よりもＧ軸に近い方の境界線上の軸、図１０に示す例では、（０，０）及び（２５５，１９２）を通る境界線上の軸が、症状レベルの最も低い病変部（症状レベルの最も低い炎症（異常）部位であって、実質的に正常（健常）部位であるとみなされるもの）と相関の高い軸として設定される。この軸が粘膜変化軸ＡＸ２である。粘膜変化軸ＡＸ２には、様々な撮影条件（例えば照明光の当たり具合）で撮影された症状レベルの最も低い炎症部位（実質的に正常部位あるいは健常部位とみなされるもの）に対応するプロットが重畳される。
補足すると、対象疾患について症状レベルの最も高い炎症部位は、出血を伴う。一方、症状レベルの最も低い炎症部位は、実質正常部位であるから、十分な粘膜で覆われている。そのため、図１０に示されるＲＧ平面内のプロットは、血液（ヘモグロビン色素）と最も相関の高い軸と、粘膜の色味と最も相関の高い軸に挟まれた領域内に分布すると捉えることができる。そのため、プロットが分布する領域と分布しない領域との境界線のうち、Ｒ軸に近い（Ｒ成分が強い）方の境界線が、症状レベルの最も高い炎症部位を示す軸（ヘモグロビン変化軸ＡＸ１）に相当し、Ｇ軸に近い（Ｇ成分が強い）方の境界線が、症状レベルの最も低い炎症部位を示す軸（粘膜変化軸ＡＸ２）に相当する。
図８に戻り、処理Ｓ６３では、画素データ（Ｒ，Ｇ）が補正マトリックス係数を用いて補正される。メモリ２２６の補正マトリックス記憶領域２２６ｅには、補正マトリックス係数Ｍ２が保存されている。処理Ｓ６３では、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつき（言い換えると、電子スコープの個体差）を抑えるため、各有効画素の画素対応点である画素データ（Ｒ，Ｇ）が補正マトリックス係数Ｍ２を用いて補正される。
・補正マトリックス係数例
Ｒnew ：補正後の画素データ（Ｒ成分）
Ｇnew ：補正後の画素データ（Ｇ成分）
Ｍ00〜Ｍ11：補正マトリックス係数
Ｒ ：補正前の画素データ（Ｒ成分）
Ｇ ：補正前の画素データ（Ｇ成分）
なお、本処理Ｓ６３にて実行される、各有効画素の画素対応点を補正マトリックス係数Ｍ２を用いて補正する動作は、色成分補正手段により行われる。一実施形態によれば、図２に示す画像処理ユニット２２０内の色補正回路が機能を担うことが好ましい。
処理Ｓ６４では、補正マトリックス係数Ｍ２を用いて補正された各有効画素の画素データ（Ｒnew，Ｇnew）について、炎症強度を計算するための角度が算出される。具体的には、処理Ｓ６４では、各有効画素について、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点（基準点）Ｏ’と画素対応点（Ｒnew，Ｇnew）とを結ぶ線分Ｌと、ヘモグロビン変化軸ＡＸ１とがなす角度θ（図９参照）が算出される。なお、基準点Ｏ’は、座標（−１５０，−７５）に位置する。
体腔内の撮影画像の明るさが照明光の当たり具合によって変化すると、撮影画像の色味は、個人差、撮影箇所、炎症の状態等の影響があるものの、ＲＧ平面内において、概ね、症状レベルの最も高い炎症部位ではヘモグロビン変化軸ＡＸ１上に沿って変化し、症状レベルの最も低い炎症部位、すなわち、疾患が実質的に無い健常部位では粘膜変化軸ＡＸ２上に沿って変化する。また、中間の症状レベルの炎症部位の撮影画像の色味も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、基準点Ｏ’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、照明光の当たり具合によって変化すると、角度θが一定のまま移動して基準点Ｏ’との距離が変わる。これは、角度θが撮影画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
角度θが小さいほどＲ成分がＧ成分に対して強くなり、炎症部位の症状レベルが高いことを示す。また、角度θが大きいほどＧ成分がＲ成分に対して強くなり、炎症部位の症状レベルが低いことを示す。
そこで、処理Ｓ６５では、角度θがゼロであるときに値２５５となり、角度θがθＭＡ Ｘであるときに値ゼロとなるように、各有効画素について角度θが正規化される。なお、θＭＡＸは、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２とがなす角度と等しい。これにより、全ての有効画素について、０〜２５５の範囲に収まる炎症強度（８ｂｉｔの情報）が得られる。
このように、Ｒ成分及びＧ成分の２種類の色成分より定義される色平面（色空間）内において、所定の基準点Ｏ’から見た対象疾患に関する基準方向、例えばヘモグロビン変化軸ＡＸ１あるいは粘膜変化軸ＡＸ２の軸方向を設定しており、各画素について、この色空間における基準点Ｏ’から見た画素対応点の方向の、基準方向からのずれの程度に基づいて、対象疾患に関する評価値を算出する。
さらに、ＲＧ平面内において、基準点Ｏ’を通る、対象疾患が無い健常部位に関する粘膜変化軸ＡＸ２（第２基準軸）を設定しており、ヘモグロビン変化軸ＡＸ１（第１基準軸）と粘膜変化軸ＡＸ２の交差角度を最大角度θＭＡＸとして、角度θを正規化して評価値を算出する。
なお、処理Ｓ６５にて実行される、各有効画素について対象疾患に関する評価値（ここでは炎症強度）を算出する動作は、評価値算出手段により行われる。一実施形態によれば、図２に示す炎症強度算出部２２２ｅが上記評価値算出手段の機能を担うことが好ましい。
炎症強度算出処理Ｓ６が完了すると、次にオーバーレイ処理部２２２ｆによりオーバーレイ処理Ｓ７が行われる。オーバーレイ処理Ｓ７では、炎症強度算出処理Ｓ６にて算出された炎症強度に応じた表示色で撮影画像をモザイク化するオーバーレイ画像データＳの原色信号Ｒ”，Ｇ”，Ｂ”が生成される。
具体的には、オーバーレイ画像を表示可能とするため、炎症強度の値と所定の表示色とを対応付けたカラーテーブルＴ２がメモリ２２６の色情報記憶領域２２６ｆに記憶されている。カラーテーブルＴ２では、例えば、値５刻みで異なる表示色が対応付けられている。例示的には、炎症強度の値が０〜５の範囲では黄色が対応付けられており、該値が５増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該値が２５０〜２５５の範囲では赤色が対応付けられている。
オーバーレイ処理Ｓ７では、通常観察画像データＮの各有効画素が、カラーテーブルＴ２に基づいて、炎症強度算出処理Ｓ６にて得た炎症強度の値に応じた色に変換され、変換された表示色で表示される画素よりなるオーバーレイ画像データＳが生成される。
なお、オーバーレイ処理Ｓ７にて実行される、オーバーレイ画像を生成する動作は、オーバーレイ画像生成手段により行われる。一実施形態によれば、図２に示すオーバーレイ処理部２２２ｆが、オーバーレイ画像生成手段の機能を担うことが好ましい。
オーバーレイ処理Ｓ７が完了すると、オーバーレイ処理Ｓ７により生成されたオーバーレイ画像データＳが、画像メモリ２２４に出力され、それぞれオーバーレイ画像メモリ領域０ｓＲ，０ｓＧ，０ｓＢ（ｋ＝０〜６）に記憶される。
次に、第２画像処理回路２２８の病変指数計算部２２８ａにより病変指数計算処理Ｓ８が行われる。病変指数計算処理Ｓ８では、内視鏡画像の有効画素数（有効画素判定処理Ｓ４において適正露出と判定された画素数）のうち、病変とみなされる箇所を写す画素の数（例えば炎症強度算出処理Ｓ６において算出された炎症強度の値が一定値以上の画素の数）の占める割合（病変指数）を計算する処理である。なお、病変指数は、全ての有効画素の炎症強度の合計値や平均値など、他の方法によって算出される値であってもよい。
図１１は、病変指数計算処理Ｓ８の手順を示すフローチャートである。病変指数計算処理Ｓ８では、まず各パラメータをリセットする（Ｓ８１）。なお、ＮｕｍＯ、ＮｕｍＲ及びＮｕｍＷは、それぞれ、有効画素、対象疾患について第一の症状レベル（例えば炎症強度の値が第一の値以上かつ第二の値未満）に相当する箇所を写す画素、及び対象疾患について第二の症状レベル（例えば炎症強度の値が第二の値以上）に相当する箇所を写す画素を計数するカウンタである。
なお、処理Ｓ８１、さらに、後述する処理Ｓ８２〜８７にて実行される、有効画素の数を計算する動作は、有効画素計数手段により行われる。一実施形態によれば、図２に示す病変指数計算部２２８ａが有効画素計数手段の機能を担うことが好ましい。
次に、フラグテーブルＴ２を参照して、注目画素（ｘ，ｙ）が有効画素であるか否かが判断される（Ｓ８２）。有効画素ではない場合は（Ｓ８２：Ｎｏ）、各カウンタを変更せずに処理をＳ８７に進める。有効画素である場合は（Ｓ８２：Ｙｅｓ）、カウンタＮｕｍＯをインクリメントする（Ｓ８３）。次に、注目画素が正常（例えば炎症強度の値が第一の値未満）、第一の症状レベル、第二の症状レベルの何れに該当する画素であるかが判定される（Ｓ８４）。正常と判定されていれば（Ｓ８４：正常）、そのまま処理をＳ８７に進める。また、第一の症状レベルと判定されていれば（Ｓ８４：第一の症状レベル）、カウンタＮｕｍＲをインクリメントし（Ｓ８５）、第二の症状レベルと判定されていれば（Ｓ８４：第二の症状レベル）、カウンタＮｕｍＷをインクリメントした後（Ｓ８６）、処理をＳ８７に進める。
次に、全ての画素（ｘ，ｙ）について処理が完了したかどうかが判定される（Ｓ８７）。全ての画素（ｘ，ｙ）の処理が完了するまで、上記の処理Ｓ８１〜Ｓ８７が繰り返される。
全ての画素（ｘ，ｙ）についてカウントが完了すると、次に、病変指数ＩｄｘＲが計算される（Ｓ８８）。病変指数ＩｄｘＲは、全有効画素数に占める、第一の症状レベルに相当する箇所を写す画素数の割合であり、ＩｄｘＲ＝ＮｕｍＲ／ＮｕｍＯにより計算される。
次に、病変指数ＩｄｘＷが計算される（Ｓ８９）。病変指数ＩｄｘＷは、全有効画素数に占める、第二の症状レベルに相当する箇所を写す画素数の割合であり、ＩｄｘＷ＝ＮｕｍＷ／ＮｕｍＯにより計算される。
次に、総病変指数ＩｄｘＴが計算される（Ｓ９０）。総病変指数ＩｄｘＴは、全有効画素数に占める、病変（第一及び第二の症状レベルに相当する箇所）を写す画素数の割合であり、ＩｄｘＴ＝ＩｄｘＲ＋ＩｄｘＷにより計算される。
なお、病変指数計算処理Ｓ８にて実行される、病変指数及び総病変指数を計算する動作は、病変指数算出手段により行われる。一実施形態によれば、図２に示す病変指数計算部２２８ａが上記病変指数算出手段の機能を担うことが好ましい。
ここで、これまで説明した方法と同様の方法により、炎症性腸疾患について、その病変である潰瘍、炎症の夫々で個別の病変指数を計算し、計算された２つの病変指数の合計を総病変指数ＩｄｘＴとして算出する場合を考える。本発明者の研究により、このようにして計算された炎症性腸疾患の内視鏡画像の総病変指数ＩｄｘＴと炎症性腸疾患の重症度を示すＭａｙｏスコアとの間に強い相関があり、総病変指数ＩｄｘＴが炎症性腸疾患の重症度を簡易的に判定するための良い指標となることが明らかにされている。
次に、メモリ２２６に各病変指数ＩｄｘＲ、ＩｄｘＷ、ＩｄｘＴを記録して（Ｓ９１）、病変指数計算処理Ｓ８が終了する。
次に、静止画保存の指令が出されているか否かの判定Ｓ９（図５）が行われる。画像処理ユニット２２０は、ドライバ信号処理回路１１２から静止画保存の指令と共に電子スコープ１００先端部の位置情報Ｐｏｓを受け取ると（Ｓ９：Ｙｅｓ）、画像メモリ２２４の記憶領域群Ｐ０に記憶された通常観察画像データＮ、トーン強調画像データＥ及びオーバーレイ画像データＳの複製を、位置情報Ｐｏｓに対応する記憶領域群Ｐ１〜６のいずれかに記憶させ（Ｓ１０）、次いで画面表示処理Ｓ１１が行われる。ドライバ信号処理回路１１２から静止画保存の指令が無ければ（Ｓ９：Ｎｏ）、処理Ｓ１０を行わずに画面表示処理Ｓ１１に進む。
なお、画像処理ユニット２２０による位置情報Ｐｏｓを受け取る上記の動作は、撮像位置取得手段により行われる。一実施形態によれば、画像処理ユニット２２０内の図示されない位置取得部が、撮像位置取得手段の機能を担うことが好ましい。
次の画面表示処理Ｓ１１は、モニタ３００に表示するための表示画面データを生成し、ビデオ信号に変換して出力する処理であり、第２画像処理回路２２８の表示画面生成部２２８ｂによって行われる。表示画面生成部２２８ｂは、システムコントローラ２０２の制御に応じて、複数種類の表示画面データを生成することができる。
図１２は、画面表示処理Ｓ１１によって生成される表示画面の一例であり、画像解析モードでの内視鏡観察中に表示される解析モード観察画面３２０である。解析モード観察画面３２０は、撮像日時が表示される日時表示領域３２１と、検査に関連する基本的な情報（例えば、カルテ番号、患者名、術者名）を表示する基本情報表示領域３２２と、病変指数計算処理Ｓ８において計算された病変指数ＩｄｘＲ、ＩｄｘＷ、ＩｄｘＴを表示する病変指数表示領域３２３と、通常観察画像データＮ（又はトーン強調画像データＥ）を表示する通常画像表示領域３２４と、オーバーレイ画像データＳ（オーバーレイ処理Ｓ７後の観察画像）を表示する解析画像表示領域３２５を備えている。
画面表示処理Ｓ１１において、表示画面生成部２２８ｂは、メモリ２２６の記憶領域群Ｑ０からリアルタイムの病変指数ＩｄｘＲ、ＩｄｘＷ、ＩｄｘＴを読み取り、病変指数表示領域３２３に表示する。図１２中の「第一の症状レベル：２５．８％」、「第二の症状レベル：１９．８％」及び「検出面積：４５．６％」は、それぞれ病変指数ＩｄｘＲ、病変指数ＩｄｘＷ及び総病変指数ＩｄｘＴの表示である。また、表示画面生成部２２８ｂは、画像メモリ２２４の記憶領域群Ｐ０からリアルタイムの通常観察画像データＮ（又はトーン強調画像データＥ）及びオーバーレイ画像データＳを読み取り、それぞれ通常画像表示領域３２４及び解析画像表示領域３２５に表示する。また、日時表示領域３２１及び基本情報表示領域３２２には、システムコントローラ２０２から提供された情報が表示される。
なお、画面表示処理Ｓ１１にて実行される、病変指数ＩｄｘＲ、病変指数ＩｄｘＷ及び総病変指数ＩｄｘＴ並びに通常観察画像データＮ（又はトーン強調画像データＥ）及びオーバーレイ画像データＳをモニタ３００に表示させる動作は、表示手段により行われる。一実施形態によれば、図２に示す表示画面生成部２２８ｂが表示手段の機能を担うことが好ましい。
術者は、解析モード観察画面３２０を見ながら内視鏡観察を行う。具体的には、解析画像表示領域３２５に表示されるオーバーレイ画像データＳを参照しつつ、通常画像表示領域３２４に表示される通常観察画像データＮ（又はトーン強調画像データＥ）を見ながら内視鏡観察を行う。オーバーレイ画像データＳにおいて色付けされた部位について特に慎重に観察を行うことで、病変部を見落とすことなく、正確な診察を行うことができる。また、病変指数表示領域３２３に表示される病変指数ＩｄｘＲ、ＩｄｘＷ、ＩｄｘＴの客観的かつ具体的な数値を参照しながら観察することにより、通常観察画像データＮやオーバーレイ画像データＳから受ける主観的な印象に囚われず、より客観的かつ緻密な診断を行うことが可能になる。
例示的には、炎症性腸疾患では、病変部（炎症部、潰瘍部）が広範囲に及び、重症になるほど病変部の割合が高くなるため、総病変指数ＩｄｘＴが重症度の良い指標となる。他方、病変部が局在する疾患（例えばポリープ）では、電子スコープ１００の先端部が病変部に接近するほど、病変部の画角が大きくなるため、総病変指数ＩｄｘＴが増大する。そのため、総病変指数ＩｄｘＴは、病変部に接近しているかどうかの良い指標となり、総病変指数ＩｄｘＴが増え始めたときに注意深く観察することにより、病変部の見落としを防ぐことができる。
次に、システムコントローラ２０２からレポート出力の実行指令を受けたか否かが判断される（Ｓ１２）。電子スコープ１００の操作部１２０や電子内視鏡用プロセッサ２００の操作パネル２０８に対するユーザ操作によりレポート出力の実行が指示されると、システムコントローラ２０２は後述するレポート出力処理Ｓ１３の実行指令を画像処理ユニット２２０に送る。システムコントローラ２０２からレポート出力処理Ｓ１３の実行指令が出されていれば（Ｓ１２：Ｙｅｓ）、続いてレポート出力処理Ｓ１３が行われる。また、実行指令が出されていなければ（Ｓ１２：Ｎｏ）、レポート出力処理Ｓ１３を行わずに処理がＳ１４へ進む。
レポート出力処理Ｓ１３は、内視鏡検査結果を整理したレポート画面４２０を生成し、これをレポート出力信号（印刷信号）に変換してプリンタ４００に出力して、レポート画面４２０を印刷する処理である。図１３に示すレポート画面４２０は、大腸モデル図４２１、病変指数リスト４２２、病変指数分布図４２３、統計値リスト４２４及びサムネイル画像リスト４２５を備えている。
大腸モデル図４２１は、静止画を取得した位置（観察ポイント）を図示したものであり、大腸の模式図４２１ａ上に観察ポイント１〜６を示す複数の丸印４２１ｂが配置されている。観察ポイント１〜６は、上述した画像メモリ２２４の記憶領域群Ｐ１〜Ｐ６及びメモリ２２６の記憶領域群Ｑ１〜６にそれぞれ対応する。病変指数リスト４２２は各観察ポイント１〜６（４２２ｂ）における総病変指数ＩｄｘＴ（４２２ｃ）を一覧表示したものである。また、病変指数分布図４２３は病変指数リスト４２２をグラフ表示したものである。統計値リスト４２４は、総病変指数ＩｄｘＴの統計値（平均値、分散、標準偏差）を一覧表示したものである。また、サムネイル画像リスト４２５は、各観察ポイント１〜６（４２５ａ）において取得した通常観察画像データＮ（又はトーン強調画像データＥ）の静止画サムネイル画像４２５ｂ、オーバーレイ画像データＳの静止画サムネイル画像４２５ｃ及び各通常観察画像データＮに対して割り当てられたカルテ番号４２５ｄを一覧表示したものである。
レポート画面４２０を使用することにより、腸管の長さ方向における内視鏡画像及び病変指数の変化の様子を一見して把握することができ、診断のみならず、患者へ検査結果の説明も適確かつ容易に行うことが可能になる。
なお、レポート出力処理Ｓ１３にて実行される、レポート出力信号をプリンタ４００に出力する動作は、レポート出力手段により行われる。一実施形態によれば、図２に示すレポート生成部２２８ｃがレポート出力手段の機能を担うことが好ましい。
次に、内視鏡観察を継続するか否かが判断される（Ｓ１４）。電子内視鏡用プロセッサ２００の操作パネル２０８に対して、内視鏡観察終了又は電子内視鏡システム１の運転停止を指示するユーザ操作が行われる（Ｓ１４：Ｎｏ）まで、上記の処理Ｓ１〜Ｓ１４が繰り返される。
上述したように、実施形態によれば、複数種類の病変指数の合計が総病変指数として計算されるので、撮像された被写体の症状レベルを総合的に評価することができる。また、評価値が第一の範囲に収まる値の画素の数に基づいて第一の病変指数は計算され、評価値が第二の範囲に収まる値の画素の数に基づいて第二の病変指数は計算されるので、病変部の、症状レベル毎に占める領域の大きさを細かく評価することができる。このため、数日間の時間をあけて同じ病変部を観察したとき、症状レベル毎に占める領域の大きさの時間変化を知ることができるので、病変部の進行の程度を精度良く知ることができる。
また、上述したように、実施形態によれば、予め定めた条件式を満足する画素を有効画素とし、この有効画素だけを評価値を算出する対象として評価値が算出されるので、評価値計算の処理負荷が軽減されるほか、精度の高い評価値を得ることができる。このとき、有効画素における評価値に基づいて複数種類の病変の各々に該当する画素の数である各病変画素数が計算され、複数種類の病変の各々について、有効画素数に対する病変画素数の比率が病変指数として設定されるので、撮像画像内の有効画素に占める各病変の占める大きさを知ることができ、病変部の症状レベルとともに、病変部の広がりを同時に知ることができる。
また、上述したように、実施形態によれば、色平面内において、ヘモグロビン変化軸ＡＸ１（第１基準軸）の他に、基準点Ｏ’を通る、対象疾患が無い健常部位に関する粘膜変化軸ＡＸ２（第２基準軸）を設定しており、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２の交差角度を最大角度θＭＡＸとして、角度θを正規化して評価値を算出するので、０〜１の評価値の大小により、各画素における症状レベルの強弱を容易に区分けすることができる。
なお、上述したように、実施形態によれば、色空間変換処理Ｓ５において変換された２種類の色成分のいずれも、波長帯域が互いに異なるように設定された色成分であることが好ましい。したがって、波長帯域が互いに異なるように設定されない色相及び彩度の組み合わせは除外される。異なる波長帯域で設定される色成分は、画像の明暗によらず、図９に示す角度θはあまり変化せず、基準点Ｏ’からの距離が変化するだけである。このため、変換された２種類の色成分として波長帯域で設定される色成分が用いられることが好ましい。この色成分は、Ｒ成分、Ｇ成分、及びＢ成分の少なくとも２つを含むことが好ましい。さらに、この色成分は、Ｒ成分と、Ｇ成分及びＢ成分のいずれか１つの色成分と、を含むことが好ましい。２種類の色成分がＲ成分とＢ成分であっても、Ｒ成分とＢ成分の色空間において、図９に示すような基準となる軸に対する角度θを用いて対象疾患に関する評価値を算出することができる。
また、評価値は、生体組織の粘膜の炎症の強さの程度を示す値である、ことが好ましい。粘膜の炎症の強さを、評価値を用いて細かく設定することができる。実施形態では、２つのレベルにより症状レベルを区分けしているが、３つ以上の症状レベルに区分けして病変指数を定めることもできる。
実施形態に係る電子内視鏡システムは、当技術分野における次のような効果及び課題の解決をもたらすものである。
第１に、実施形態に係る電子内視鏡システムは、炎症性疾患を早期に発見するための診断補助となるということである。
第２に、実施形態の構成によれば、視認し難い軽度炎症を術者が発見できるように、炎症程度（炎症強度や病変指数、オーバーレイ画像等）を画面表示する、又は、炎症が生じている領域の画像を強調することができる。特に、軽度炎症は正常部との判別が難しいため、軽度炎症の評価に関して実施形態の構成によりもたらされる効果が顕著となる。
第３に、実施形態の構成によれば、炎症度の評価として客観的な評価値を術者に提供することができるため、術者間の診断差を低減することができる。特に、経験の浅い術者に対して実施形態の構成による客観的な評価値を提供できるメリットは大きい。
第４に、実施形態の構成によれば、画像処理の負荷が軽減されることにより、炎症部を画像としてリアルタイムに表示することができる。そのため、診断精度を向上させることができる。
第５に、実施形態の構成によれば、評価値計算の処理負荷が軽減されるため、遅滞なくオーバーレイ画像と通常画像とを並べて、又は、合成して表示することができる。そのため、検査時間の延長を伴うことなくオーバーレイ画像を表示することが可能となり、ひいては、患者負担が増すことを回避することが可能となる。
実施形態における観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、十二指腸、子宮等である。実施形態に係る電子内視鏡システムは、観察対象が大腸である場合に効果がより顕著になると考えられる。これは、具体的には、次のような理由による。
大腸には炎症を基準として評価できる病があり、炎症している箇所を発見するメリットが他の器官と比較して大きいということである。特に、潰瘍性大腸炎に代表される炎症性腸疾患（ＩＢＤ）の指標として、実施形態に例示される評価値（病変指数）は有効である。潰瘍性大腸炎は治療法が確立されていないため、実施形態の構成の電子内視鏡システムの使用により早期に発見して進行を抑える効果は非常に大きい。
大腸は、胃等と比較して細長い器官であり、得られる画像は奥行きがあり、奥ほど暗くなる。実施形態の構成によれば、画像内の明るさの変化に起因する評価値の変動を抑えることができる。従って、実施形態に係る電子内視鏡システムを大腸の観察に適用すると、実施形態による効果が顕著となる。すなわち、実施形態に係る電子内視鏡システムは、呼吸器用電子内視鏡システム又は消化器用電子内視鏡システムであることが好ましく、大腸用電子内視鏡システムであることがより好ましい。
また、軽度の炎症は一般に診断が難しいが、本実施形態の構成によれば、例えば、炎症度を評価した結果を画面に表示することで、術者が軽度炎症を見逃すことを回避することができる。特に、軽度の炎症に関しては、その判断基準は明瞭なものではないため、術者間の個人差を大きくする要因となっている。この点に関しても、実施形態の構成によれば、客観的な評価値を術者に提供できるため、個人差による診断のばらつきを低減することができる。
なお、実施形態の上記構成は、炎症度のみでなく、ガン、ポリープその他の色変化を伴う各種病変の評価値の算出に適用することができ、それらの場合においても、上述と同様の有利な効果をもたらすことができる。つまり、実施形態の評価値は、色変化を伴う病変の評価値であることが好ましく、炎症度、ガン、ポリープの少なくとも何れかの評価値を含む。
以上が、実施形態の説明であるが、本発明は、上記実施形態の構成に限定されるものではなく、特許請求の範囲の記載によって表現された技術的思想の範囲内で様々な変形が可能である。
上記の実施形態では、ＲＧＢ色空間の画素データがＲＧ平面の画素データに変換され、変換された各画素データに含まれるＲ成分とＧ成分を用いて対象疾患に関する評価が行われているが、別の実施形態では、ＲＧＢ色空間に代えて、CIE 1976 L*a*b*色空間、CIE LCh色空間、CIE 1976 L*u*v*色空間、ＨＳＢ色空間、ｓＲＧＢ色空間、ＣＭＫ色空間、ＣＭＹＫ色空間、ＣＭＹＧ色空間等の他の色空間（ｎ（ｎ≧３）種類の色成分より定義される色空間）の画素データをこれよりも低次の色空間（ｍ（ｎ＞ｍ≧２）種類の色成分より定義される色空間）の画素データに変換したものを用いることにより、それぞれの色空間に対応する、上記の実施形態とは別の対象疾患（胃の委縮や大腸腫瘍等）に関する評価を行うこともできる。
また、上記の実施形態では、ＴＥ処理Ｓ３がＲＧＢ色空間上で行われているが、色空間変換処理Ｓ５の後にＨＳＩ空間など、別の色空間上でＴＥ処理Ｓ３を行う構成としてもよい。
電子内視鏡システム１に使用される光源としては、様々なタイプの光源を用いることができる。他方、電子内視鏡システム１の観察目的等に依存して、光源のタイプを限定的なものとする形態もあり得る（例えば、光源のタイプとしてレーザを除く等）。ここで、補正マトリックス係数Ｍ２は、使用光源の分光特性によって最適値が変わる。従って、例えば、プロセッサ２００が複数種類の光源を備える場合（又は複数種類の外部光源を切り替えて使用する場合）には、光源の種類毎の補正マトリックス係数Ｍ２がメモリ２２６に保存されていてもよい。これにより、使用光源の分光特性による評価結果のばらつきが抑えられる。
また、上記の実施形態では、基準点Ｏ’と注目画素の画素対応点とを結ぶ線分Ｌと、ヘモグロビン変化軸ＡＸ１とがなす角度θを算出し、算出された角度θに基づいて対象疾患についての評価が行われているが、本発明はこれに限らない。例えば、線分Ｌと粘膜変化軸ＡＸ２とがなす角度を算出し、算出された角度に基づいて対象疾患についての評価が行われてもよい。この場合、算出角度が小さいほどＧ成分がＲ成分に対して強くなり、炎症部位の重症度が低いことを示し、算出角度が大きいほどＲ成分がＧ成分に対して強くなり、炎症部位の重症度が高いことを示す。そのため、図８の処理Ｓ６５では、算出角度がゼロであるときに値ゼロとなり、算出角度がθＭＡＸであるときに値２５５となるように、算出角度を正規化する。
また、上記の実施形態では、撮影画像の明るさによる炎症評価値への影響を極力抑えるため、ヘモグロビン変化軸ＡＸ１と粘膜変化軸ＡＸ２との交点が基準点Ｏ’として設定されているが、本発明はこれに限らない。例えば、粘膜変化軸ＡＸ２上に位置するＲＧ平面の原点（０，０）が基準点Ｏ’として設定されてもよい。この場合、最低限必要な基準軸が一軸（粘膜変化軸ＡＸ２）で足りるため、処理負荷が軽くなり、処理速度が向上する。
また、上記の実施形態では、光源装置２３０が、電子内視鏡用プロセッサ２００と一体に設けられているが、光源装置２３０は電子内視鏡用プロセッサ２００とは別体の装置として設けられていてもよい。
また、固体撮像素子１０８としてＣＣＤイメージセンサに代え、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが用いられてもよい。ＣＭＯＳイメージセンサは、一般に、ＣＣＤイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、上記の実施形態の構成による、画像の明るさによる評価値の変動を抑えることができるという有利な効果は、固体撮像素子としてＣＭＯＳイメージセンサが用いられ状況においてより顕著に表れる。
診断を精度よく行うためには高精細な画像を得ることが好ましい。従って、診断の精度をより向上させる観点では、画像の解像度は、１００万画素以上であることが好ましく、２００万画素であることがより好ましく、８００万画素以上であることが更に好ましい。画像の解像度が高くなるほど全画素について上述の評価値計算を行うための処理負荷が重くなる。しかし、上記の実施形態の構成によれば、評価値計算の処理負荷を抑えることができるため、高精細な画像を処理する状況において本実施形態の構成による有利な効果が顕著に表れる。
また、上記の実施形態では、光センサ１３２を使用して電子スコープ１００先端部の位置（撮像位置）の情報を取得する構成が採用されているが、本発明はこの構成に限定されず、他の手段によって撮像位置の情報を取得する構成としてもよい。例えば、光センサ１３２に替えて、光源と受光素子を備えた光学式近接センサを電子スコープ１００の挿入部１３０に設けた構成としてもよい。この場合、光学式近接センサが消化管内に挿入されたときに、消化管の内壁で反射したセンサ光が受光素子で検出され、近接を検出する。そのため、上記の実施形態とは逆に、受光素子が光を検出している光学式近接センサの分布長を消化管内に挿入された挿入部１３０の長さと判断することで、電子スコープ１００先端部の位置の情報を取得することができる。
また、光センサ１３２に替えて、光学式マウスと同じ原理により移動量（移動の距離及び方向）を検出する移動量センサを電子スコープ１００の挿入部１３０に設けた構成としてもよい。この場合には、移動量センサは挿入部１３０の先端付近に一つだけ設ければよい。
なお、光学式近接センサや移動量センサの光源には、近赤外線から可視光域の範囲の任意の波長の光源（例えばＬＤやＬＥＤ）を使用することができるが、ヘモグロビンによる吸収が少なく、生体組織表面での反射率の高い赤色領域の光源を使用することで、高い検出精度を得ることができる。
また、内視鏡検査中に被検者の体外から磁気共鳴画像、Ｘ線画像又は超音波画像を取得して、これらの画像から内視鏡先端部の位置を決定することもできる。また、内視鏡画像の画像解析により、内視鏡先端部の消化管内での移動量を計算することで、内視鏡先端部の位置を決定することもできる。
また、上記の実施形態では、対象疾患について第一の症状レベルと第二の症状レベルの判定条件が重複していないため、総病変指数を互いの病変指数の和として計算している。しかしながら、各病変の判定条件が重複する場合には、いずれかの病変を有すると判定された画素の数を有効画素数で割った値を総病変指数としてもよい。
また、上記の実施形態は、術者の手動操作によって静止画が記録される構成であるが、電子スコープ１００の挿入部１３０が検査範囲の最奥部から引き抜かれる際に、挿入部１３０の先端が予め設定された静止画取得位置（観察ポイント）に達した時に、ドライバ信号処理回路１１２が自動的に静止画保存の指令を出して、自動的に静止画を保存する構成としてもよい。
また、上記の実施形態では、Ｒ、Ｇ、Ｂのベイヤ配列カラーフィルタ１０８ｂを有する固体撮像素子１０８が使用されているが、補色系のＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ（イエロー）、Ｇ（グリーン）のフィルタを有する固体撮像素子を用いた構成としてもよい。
１ 電子内視鏡システム
１００ 電子スコープ
１３２ 移動量センサ
２００ 電子内視鏡用プロセッサ
２０２ システムコントローラ
２２０ 画像処理ユニット
２２２ 第１画像処理回路
２２２ａ ＲＧＢ変換部
２２２ｂ ＴＥ処理部
２２２ｃ 有効画素判定部
２２２ｄ 色空間変換部
２２２ｅ 炎症強度算出部
２２２ｆ オーバーレイ処理部
２２４ 画像メモリ
２２６ メモリ
２２８ 第２画像処理回路
２２８ａ 病変指数計算部
２２８ｂ 表示画面生成部
２２８ｃ レポート生成部
３００ モニタ
４００ プリンタ
６００ サーバ

Claims (14)

  1. ｎを３以上の自然数とし、ｍを２以上の自然数とし、ｎ種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをｎ種類よりも少ない前記ｎ種類の色成分のうちのｍ種類の色成分よりなる画素データに変換する変換手段と、
    ｍ種類の色成分よりなる変換された前記画素データに基づいて対象疾患に関する評価値を前記カラー画像の画素単位で算出する評価値算出手段と、
    算出された前記カラー画像の画素の評価値に基づいて前記対象疾患に関する複数種類の病変の各々の症状のレベルを示す病変指数を計算する病変指数計算手段と、
    を備える、電子内視鏡用プロセッサ。
  2. ｎを３以上の自然数とし、ｍを２以上の自然数とし、ｎ種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをｎ種類よりも少ないｍ種類の色成分よりなる画素データに変換する変換手段と、
    ｍ種類の色成分よりなる変換された前記画素データに基づいて対象疾患に関する評価値を前記カラー画像の画素単位で算出する評価値算出手段と、
    算出された前記カラー画像の画素の評価値に基づいて前記対象疾患に関する複数種類の病変の各々の病変指数を計算する病変指数計算手段と、
    を備え、
    前記評価値算出手段は、
    前記ｍ種類の色成分より定義される色空間内において、所定の基準点から見た前記対象疾患に関する基準方向を設定しており、前記カラー画像の各画素について、前記色空間における前記変換された画素データに対応する画素対応点の前記基準点から見た方向の、前記基準方向からのずれの程度に基づいて、前記対象疾患に関する評価値を算出する、
    電子内視鏡用プロセッサ。
  3. ｎを３以上の自然数とし、ｍを２以上の自然数とし、ｎ種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをｎ種類よりも少ないｍ種類の色成分よりなる画素データに変換する変換手段と、
    ｍ種類の色成分よりなる変換された前記画素データに基づいて対象疾患に関する評価値を前記カラー画像の画素単位で算出する評価値算出手段と、
    算出された前記カラー画像の画素の評価値に基づいて前記対象疾患に関する複数種類の病変の各々の病変指数を計算する病変指数計算手段と、
    を備え、
    前記評価値算出手段は、
    前記ｍ種類の色成分より定義される色平面内において、所定の基準点を通る、前記対象疾患に関する基準軸を設定しており、前記カラー画像の各画素について、前記基準点と前記変換された画素データに対応する画素対応点とを結ぶ線分と、前記基準軸と、がなす角度θに基づいて、前記対象疾患に関する評価値を算出する、
    電子内視鏡用プロセッサ。
  4. 前記病変指数計算手段は、前記複数種類の病変指数の合計を総病変指数として計算する、請求項１から請求項３の何れか一項に記載の電子内視鏡用プロセッサ。
  5. 前記病変指数計算手段は、
    前記評価値が第一の範囲に収まる値の画素の数に基づいて第一の病変指数を計算し、
    前記評価値が第二の範囲に収まる値の画素の数に基づいて第二の病変指数を計算する、
    請求項１から請求項４の何れか一項に記載の電子内視鏡用プロセッサ。
  6. 前記カラー画像の各画素について、画素値が所定の条件を満たす値であるか否かによって該各画素が有効画素であるか否かを判定する有効画素判定手段を更に備え、
    前記評価値算出手段は、前記有効画素だけを前記評価値を算出する対象として前記評価値を算出する、
    請求項１から請求項５の何れか一項に記載の電子内視鏡用プロセッサ。
  7. 前記有効画素であると判定された画素の数である有効画素数を計算する有効画素計数手段を更に備え、
    前記病変指数計算手段は、前記有効画素における前記評価値に基づいて前記複数種類の病変の各々に該当する画素の数である各病変画素数を計算し、前記複数種類の病変の各々について、前記有効画素数に対する該病変画素数の比率を前記病変指数として計算する、
    請求項６に記載の電子内視鏡用プロセッサ。
  8. 前記基準軸を第１基準軸というとき、
    前記評価値算出手段は、前記色平面内において、前記基準点を通る、前記対象疾患が無い健常部位に関する第２基準軸を設定しており、
    前記第１基準軸と前記第２基準軸の交差角度を最大角度として、前記角度θを正規化して前記評価値を算出する、請求項３に記載の電子内視鏡用プロセッサ。
  9. 前記変換された画素データのｍ種類の色成分のいずれも、波長帯域が互いに異なるように設定された色成分である、請求項１から請求項８の何れか一項に記載の電子内視鏡用プロセッサ。
  10. 前記変換された画素データのｍ種類の色成分は、赤成分、緑成分、及び青成分の少なくとも２つを含む、請求項１から請求項８の何れか一項に記載の電子内視鏡用プロセッサ。
  11. 前記変換された画素データのｍ種類の色成分は、前記赤成分と、前記緑成分及び前記青成分のいずれか１つの色成分と、を含む、請求項１０に記載の電子内視鏡用プロセッサ。
  12. 前記評価値は、体腔内の生体組織の粘膜の炎症の強さの程度を示す値である、請求項１から請求項１１の何れか一項に記載の電子内視鏡プロセッサ。
  13. 請求項１から請求項１２の何れか一項に記載の電子内視鏡用プロセッサと、
    前記カラー画像のデータを生成して前記電子内視鏡用プロセッサに出力するように構成された電子スコープと、
    前記電子内視鏡用プロセッサにより求められた病変指数を表示するように構成された表示装置と、
    を備える、電子内視鏡システム。
  14. 前記表示装置は、複数種類の前記病変の各々の前記病変指数を、前記カラー画像とともに表示するように構成されている、請求項１３に記載の電子内視鏡システム。
JP2018537336A 2016-08-31 2017-08-30 電子内視鏡用プロセッサ及び電子内視鏡システム Active JP6581730B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016169231 2016-08-31
JP2016169231 2016-08-31
PCT/JP2017/031123 WO2018043550A1 (ja) 2016-08-31 2017-08-30 電子内視鏡用プロセッサ及び電子内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2018043550A1 JPWO2018043550A1 (ja) 2019-02-07
JP6581730B2 true JP6581730B2 (ja) 2019-09-25

Family

ID=61309217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537336A Active JP6581730B2 (ja) 2016-08-31 2017-08-30 電子内視鏡用プロセッサ及び電子内視鏡システム

Country Status (5)

Country Link
US (2) US11589777B2 (ja)
JP (1) JP6581730B2 (ja)
CN (1) CN109310301B (ja)
DE (1) DE112017002932T5 (ja)
WO (1) WO2018043550A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6581730B2 (ja) * 2016-08-31 2019-09-25 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6724154B2 (ja) * 2016-10-05 2020-07-15 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
JP6774550B2 (ja) * 2017-03-03 2020-10-28 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2018211902A1 (ja) * 2017-05-16 2018-11-22 ソニー株式会社 制御装置、制御方法、及びプログラム
JP6926242B2 (ja) * 2018-01-19 2021-08-25 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
US11521319B2 (en) * 2018-02-07 2022-12-06 Hoya Corporation Endoscope system
JP7159577B2 (ja) * 2018-03-20 2022-10-25 ソニーグループ株式会社 内視鏡システム、制御方法、情報処理装置、およびプログラム
CN112351724B (zh) * 2018-09-27 2024-03-01 Hoya株式会社 电子内窥镜系统
CN112351723B (zh) * 2018-09-27 2024-01-05 Hoya株式会社 电子内窥镜系统与数据处理装置
WO2020070877A1 (ja) * 2018-10-05 2020-04-09 国立大学法人大阪大学 画像処理装置、観察装置、画像処理方法及び画像処理プログラム
CN109965829B (zh) * 2019-03-06 2022-05-06 重庆金山医疗技术研究院有限公司 成像优化方法、图像处理装置、成像装置及内窥镜系统
CN112469323B (zh) 2019-03-20 2023-08-18 Hoya株式会社 内窥镜系统
WO2020203705A1 (ja) * 2019-04-02 2020-10-08 Hoya株式会社 電子内視鏡システム及びデータ処理装置
CN110123247B (zh) * 2019-04-09 2021-12-28 苏州西能捷科技发展有限公司 一种鼻窦炎检测系统
CN110123249B (zh) * 2019-04-09 2022-02-01 苏州西能捷科技发展有限公司 一种鼻窦炎检测装置及使用方法
CN110136808B (zh) * 2019-05-23 2022-05-24 安翰科技(武汉)股份有限公司 一种拍摄装置辅助显示系统
CN114554937A (zh) * 2019-12-02 2022-05-27 富士胶片株式会社 内窥镜系统、控制程序及显示方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
JP7276513B2 (ja) * 2020-01-10 2023-05-18 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及びプログラム
WO2023054366A1 (ja) * 2021-10-01 2023-04-06 富士フイルム株式会社 医療画像処理システム
WO2023187886A1 (ja) * 2022-03-28 2023-10-05 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
CN116721175B (zh) * 2023-08-09 2023-10-10 安翰科技(武汉)股份有限公司 一种图像显示方法、图像显示装置以及胶囊内窥镜系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5006759B2 (ja) 2007-10-29 2012-08-22 Ｈｏｙａ株式会社 電子内視鏡用信号処理装置および電子内視鏡装置
JP5581237B2 (ja) 2011-01-24 2014-08-27 Ｈｏｙａ株式会社 画像処理装置、電子内視鏡用プロセッサ装置、画像処理装置の作動方法および画像処理用コンピュータプログラム
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5355820B2 (ja) * 2011-09-20 2013-11-27 オリンパスメディカルシステムズ株式会社 画像処理装置及び内視鏡システム
JP6027803B2 (ja) 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
JP6097629B2 (ja) * 2013-04-26 2017-03-15 Hoya株式会社 病変評価情報生成装置
EP3127467B1 (en) * 2014-03-31 2018-03-28 Fujifilm Corporation Medical image processing device, operation method thereof, and endoscope system
US20160100789A1 (en) * 2014-10-13 2016-04-14 National Central University Computer-aided diagnosis system and computer-aided diagnosis method
JP6367683B2 (ja) * 2014-10-21 2018-08-01 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6581730B2 (ja) * 2016-08-31 2019-09-25 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム

Also Published As

Publication number Publication date
CN109310301A (zh) 2019-02-05
DE112017002932T5 (de) 2019-02-21
US11701032B2 (en) 2023-07-18
US20190192048A1 (en) 2019-06-27
WO2018043550A1 (ja) 2018-03-08
JPWO2018043550A1 (ja) 2019-02-07
US11589777B2 (en) 2023-02-28
CN109310301B (zh) 2021-07-20
US20220296123A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
JP6581730B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6027803B2 (ja) 画像処理装置及び内視鏡装置
JP6067264B2 (ja) 画像処理装置及び内視鏡装置
JP6125740B1 (ja) 内視鏡システム及び評価値計算装置
CN112351723B (zh) 电子内窥镜系统与数据处理装置
JP6427280B2 (ja) 補正データ生成方法及び補正データ生成装置
CN112351724A (zh) 电子内窥镜系统
JP6270967B2 (ja) 画像処理装置及び内視鏡装置
JP6433634B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6591688B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6877672B2 (ja) 電子内視鏡システム及びデータ処理装置
CN112930136B (zh) 电子内窥镜系统与数据处理装置
WO2022064987A1 (ja) 内視鏡用プロセッサ及び内視鏡システム
JP6926242B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2022053845A (ja) 内視鏡用プロセッサ及び内視鏡システム
JP6420358B2 (ja) 内視鏡システム及び評価値計算装置
JP2018023497A (ja) 色補正用治具及び電子内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190830

R150 Certificate of patent or registration of utility model

Ref document number: 6581730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250