JP6823072B2 - プロセッサ装置及び内視鏡システム - Google Patents

プロセッサ装置及び内視鏡システム Download PDF

Info

Publication number
JP6823072B2
JP6823072B2 JP2018547509A JP2018547509A JP6823072B2 JP 6823072 B2 JP6823072 B2 JP 6823072B2 JP 2018547509 A JP2018547509 A JP 2018547509A JP 2018547509 A JP2018547509 A JP 2018547509A JP 6823072 B2 JP6823072 B2 JP 6823072B2
Authority
JP
Japan
Prior art keywords
image
index value
unit
diagnostic purpose
diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018547509A
Other languages
English (en)
Other versions
JPWO2018079205A1 (ja
Inventor
青山　達也
達也 青山
拓明 山本
拓明 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018079205A1 publication Critical patent/JPWO2018079205A1/ja
Application granted granted Critical
Publication of JP6823072B2 publication Critical patent/JP6823072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Description

本発明は、プロセッサ装置及び内視鏡システムに関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムは、光源装置が発する照明光を、内視鏡を介して観察対象に照射し、その照明光で照明中の観察対象を撮像して得た画像信号に基づいて、プロセッサ装置が観察対象の画像を生成する。この画像をモニタに表示することにより、医師は、モニタ上の画像を見ながら診断を行うことができる。
また、近年の内視鏡診断においては、特許文献１に示すように、医師間のスキル差を埋めるために、観察対象を撮影した画像から病変部の特徴を抽出し、指標化して表示する診断支援システムも導入されつつある。また、特許文献２に示すように、画像をファイリングする際に、抽出した特徴を検索情報として併せて登録することで、現在の診断目的に類似した症例の検索を効率化できるようにした検索システムも導入されつつある。
特開２０１６−０８７３７０号 特開２００２−１７７２１４号
内視鏡診断で取り扱う対象疾患、診断用途、検査する疾患の病期ステージは、多種多様であることから、これら対象疾患など診断目的に最適な指標値を算出し、ユーザに提供することが必要である。これに関して、特許文献１、２のいずれも、診断目的に最適な指標値を算出するという観点での技術的特徴は記載及び示唆されていない。
したがって、特許文献１のような内視鏡システムでは、診断目的に対して着目すべき最適な指標値を設定し、また、スクリーニングのような異常と思われる箇所を漏れなく検出することができる最適な指標値を設定し、これら最適な指標値をユーに見やすい形で提供することが求められていた。更には、特許文献２のような検索システムにおいても、診断目的に対応した最適な指標値を付帯情報として与えて、検索の効率化をより高めることが求められていた。
本発明は、診断目的に応じて最適な指標値を算出することができるプロセッサ装置及び内視鏡システムを提供することを目的とする。
本発明のプロセッサ装置は、内視鏡によって観察対象を撮像して得た内視鏡画像を取得する画像取得部と、診断目的を取得する診断目的取得部と、観察対象の構造に関する複数の指標値と診断目的との対応関係を記憶した指標値記憶部と、指標値記憶部を参照して、取得された診断目的で用いる指標値を選択する指標値選択部と、内視鏡画像を用いて、選択された指標値を算出する指標値算出部と、診断目的によって定められた重み付け係数により複数の指標値を重み付けして演算することにより、構造の構造パラメータを算出する構造パラメータ算出部と、を備える。
診断目的には、スクリーニングと精査とを含む第１の診断目的と、疾患の種類に関する第２の診断目的と、病期ステージに関する第３の診断目的とが含まれ、指標値選択部は、第１から第３の診断目的のうちのいずれか１つの診断目的に従って指標値を選択することが好ましい。
内視鏡画像と、算出された指標値とを用いて、構造を強調した第１強調画像を生成する第１の強調画像生成部を備えることが好ましい。
第１強調画像を、取得された診断目的と算出された指標値との少なくともいずれかと対応付けして記憶する第１画像記憶部を備えることが好ましい。
内視鏡画像と、算出された構造パラメータとを用いて、構造を強調した第２強調画像を生成する第２の強調画像生成部を備えることが好ましい。
第２強調画像を、取得された診断目的と算出された構造パラメータとの少なくともいずれかと対応付けして記憶する第２画像記憶部を備えることが好ましい。
構造パラメータを用いて、観察対象の粘膜の状態を判定する判定部を備えることが好ましい。
内視鏡画像と、判定の結果とを用いて、構造を強調した第３強調画像を生成する第３の強調画像生成部を備えることが好ましい。
第３強調画像を、取得された診断目的と判定の結果との少なくともいずれかと対応付けして記憶する第３画像記憶部を備えることが好ましい。
診断目的を含む内視鏡情報管理データを記憶したデータ記憶部を有する内視鏡情報管理システムとネットワークを介して相互に通信可能に接続されており、診断目的取得部は、ネットワークを介して内視鏡情報管理データを受信し、診断目的を、受信した内視鏡情報管理データから抽出することにより取得することが好ましい。
診断目的を入力する診断目的入力部を備え、
診断目的取得部は、診断目的入力部により入力された診断目的を取得しても良い。
本発明の内視鏡システムは、照明光を発する光源と、照明光により照明中の観察対象を内視鏡によって撮像して得た内視鏡画像を取得する画像取得部と、内視鏡画像を用いて、観察対象の構造を抽出した構造抽出画像を生成する構造抽出部と、診断目的を取得する診断目的取得部と、観察対象の構造に関する複数の指標値と診断目的との対応関係を記憶した指標値記憶部と、指標値記憶部を参照して、取得された診断目的で用いる指標値を選択する指標値選択部と、構造抽出画像を用いて、選択された指標値を算出する指標値算出部と、診断目的によって定められた重み付け係数により複数の指標値を重み付けして演算することにより、構造の構造パラメータを算出する構造パラメータ算出部と、内視鏡画像と、算出された指標値とを用いて、構造を強調した第１強調画像を生成する第１の強調画像生成部と、第１強調画像を表示する表示部と、を備える。
本発明のプロセッサ装置及び内視鏡システムによれば、診断目的に応じて最適な指標値を算出することができることができる。
第１実施形態の内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 通常観察モードの照明光の光強度スペクトルを示す図である。 特殊観察モードの照明光の光強度スペクトルを示す図である。 画像処理部を説明するブロック図である。 指標値記憶部を説明する図である。 指標値選択部を説明する図である。 指標値を用いて強調表示した好適対象観察画像を示す図である。 内視鏡システムの好適対象観察モードにおける作用を説明するフローチャートである。 操作入力部からの診断目的の取得について説明する図である。 画像記憶部を説明する図である。 第２実施形態の画像処理部を説明するブロック図である。 第２実施形態の指標値記憶部を説明する図である。 構造パラメータを用いて強調表示した好適対象観察画像を示す図である。 第２実施形態の画像記憶部を説明する図である。 第３実施形態の画像処理部を説明するブロック図である。 判定結果を用いて強調表示した好適対象観察画像を示す図である。 第３実施形態の画像記憶部を説明する図である。
［第１実施形態］
図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、表示部１８と、操作入力部１９とを有する。内視鏡１２は、被検体として生体内の観察部位を撮像する。光源装置１４は、観察部位を照明する照明光を内視鏡１２に供給する。プロセッサ装置１６は、撮像により得た撮像信号を用いて観察部位の表示画像を生成する。表示部１８は、表示画像と表示画像に付帯する情報等を表示するモニタである。操作入力部１９は、キーボードとマウス等のコンソールであり、関心領域（ROI : Region Of Interest）の指定と機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。表示部１８及び操作入力部１９は、プロセッサ装置１６と電気的に接続している。
内視鏡１２は、光源装置１４と光学的に接続し、かつ、プロセッサ装置１６と電気的に接続している。内視鏡１２は、挿入部１２ａと、操作部１２ｂとを有する。
挿入部１２ａは、生体の消化管内等に挿入する部分である。挿入部１２ａは、先端部２１と、湾曲部２２と、可撓管部２３とを有しており、先端側からこの順番に連結している。先端部２１は、先端面に、照明窓と、観察窓と、送気・送水ノズルと、鉗子出口とを有する（いずれも図示せず）。照明窓は、照明光を観察部位に照射するためのものである。観察窓は、観察部位からの光を取り込むためのものである。送気・送水ノズルは、照明窓及び観察窓を洗浄するためのものである。鉗子出口は、鉗子と電気メス等の処置具を用いて各種処置を行うためのものである。湾曲部２２は、複数の湾曲駒を連結して構成したものであり、上下左右方向に湾曲する。可撓管部２３は、可撓性を有しており、食道や腸等の曲がりくねった管道に挿入可能である。
操作部１２ｂは、アングルノブ２５と、画像記憶操作部２６と、モード切替部２７と、ズーム操作部２８とを有する。アングルノブ２５は、湾曲部２２を湾曲させ、先端部２１が所望の方向に向ける操作に用いる。画像記憶操作部２６は、静止画像及び又は動画像をストレージ（図示せず）に記憶させる操作に用いる。モード切替部２７は、観察モードを切り替える操作に用いる。ズーム操作部２８は、ズーム倍率を変更する操作に用いる。
内視鏡システム１０は、観察モードとして、通常観察モードと、特殊観察モードと、好適対象観察モードとを有している。通常観察モードでは、自然な色合いの観察対象が写った画像（以下、通常観察画像という）を取得する。特殊観察モードでは、観察対象の血管を少なくとも強調した画像（以下、特殊観察画像という）を取得する。好適対象観察モードでは、診断目的に好適な観察対象の構造を強調した画像（以下、好適対象観察画像という）を取得する。なお、本実施形態において、構造とは、血管の構造と腺管（ピットパターン）の構造とを含む。以下では、血管の構造と腺管の構造とを区別しない場合は、これらを構造と称する。
図２に示すように、光源装置１４は、照明光を発する光源３０と、光源３０を制御する光源制御部３２とを備えている。光源３０は、例えば、波長域が異なる複数色のＬＥＤ（Light Emitting Diode）等の半導体光源である。
本実施形態では、光源３０は、例えば、Ｖ−ＬＥＤ（Violet Light Emitting Diode）３０ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）３０ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）３０ｃ、及びＲ−ＬＥＤ（Red Light Emitting Diode）３０ｄの４色のＬＥＤを有する。Ｖ−ＬＥＤ３０ａの発光波長は、３８０ｎｍ〜４２０ｎｍである。Ｂ−ＬＥＤ３０ｂの発光波長は、４２０ｎｍ〜５００ｎｍである。Ｇ−ＬＥＤ３０ｃの発光波長は、４８０ｎｍ〜６００ｎｍである。Ｒ−ＬＥＤ３０ｄの発光波長は、６００ｎｍ〜６５０ｎｍである。なお、各色の光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
光源３０には、ＬＥＤが発光した光の波長帯域を調整する光学フィルタ３０ｅが含まれる。本実施形態では、光学フィルタ３０ｅは、Ｂ−ＬＥＤ３０ｂの光路上に配されており、Ｂ−ＬＥＤ３０ｂの波長帯域のうちの短波長成分を透過させる。具体的には、Ｂ−ＬＥＤ３０ｂの波長帯域のうち、４５０ｎｍ以下の光を透過させる。Ｂ−ＬＥＤ３０ｂの波長帯域のうちの長波長成分は粘膜と血管とのコントラストを低下させてしまうので、光学フィルタ３０ｅを用いることにより、Ｂ−ＬＥＤ３０ｂの波長帯域のうちの短波長成分を後述するライトガイド３４に供給する。なお、光学フィルタ３０ｅの配置は、本実施形態ではＢ−ＬＥＤ３０ｂの光路上としているが、これに限るものではない。例えば光学フィルタ３０ｅをＧ−ＬＥＤ３０ｃの光路上に配する等しても良い。また、光学フィルタ３０ｅにより透過させる波長成分は、適宜設定可能である。例えば光学フィルタ３０ｅをＧ−ＬＥＤ３０ｃの光路上に配した場合は、光学フィルタ３０ｅは、Ｇ−ＬＥＤ３０ｃの波長帯域の一部を透過させる。
光源制御部３２は、各ＬＥＤ３０ａ〜３０ｄの点灯や消灯、及び各ＬＥＤ３０ａ〜３０ｄの各射出光量のバランス（以下、光量比という）等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。本実施形態では、光源制御部３２は、各ＬＥＤ３０ａ〜３０ｄを駆動する電流と電圧とを調整することによって、各ＬＥＤ３０ａ〜３０ｄの光量比を観察モードごとに制御する。
図３に示すように、光源制御部３２は、通常観察モードの場合には、各ＬＥＤ３０ａ〜３０ｄの全てを点灯させることにより、Ｖ−ＬＥＤ３０ａが発する紫色光ＬＶと、Ｂ−ＬＥＤ３０ｂが発する青色光ＬＢと、Ｇ−ＬＥＤ３０ｃが発する緑色光ＬＧと、Ｒ−ＬＥＤ３０ｄが発する赤色光ＬＲとを含むほぼ白色の照明光（以下、白色光という）を発生させる。本実施形態において、青色光ＬＢは、光学フィルタ３０ｅを透過した光、すなわち、Ｂ−ＬＥＤ３０ｂの波長帯域のうちの４５０ｎｍ以下の光としている。なお、紫色光ＬＶは、粘膜表面から浅い位置にある表層血管の観察用に最適な波長帯域の光である。青色光ＬＢは、表層血管よりも深い位置にある中層血管の観察用に最適な波長帯域の光である。
図４に示すように、光源制御部３２は、特殊観察モードの場合には、Ｖ−ＬＥＤ３０ａの射出光量を通常観察モードよりも大きくし、Ｂ−ＬＥＤ３０ｂとＧ−ＬＥＤ３０ｃとＲ−ＬＥＤ３０ｄとの各射出光量を通常観察モードよりも小さくした照明光を発生させる。
好適対象観察モードの場合は、光源制御部３２は、予め設定された照明光を発生させるように各ＬＥＤを点灯する制御を行う。発生させる照明光の設定は、例えば操作入力部１９の入力操作により行われる。本実施形態では、光源制御部３２は、各ＬＥＤ３０ａ〜３０ｄのうち、Ｖ−ＬＥＤ３０ａとＢ−ＬＥＤ３０ｂとを点灯する制御を行う。このため、好適対象観察モードでは、紫色光ＬＶと青色光ＬＢとを含む照明光が発光される。なお、光源制御部３２は、Ｖ−ＬＥＤ３０ａのみを点灯する制御と、Ｂ−ＬＥＤ３０ｂのみを点灯する制御とを切り替えることにより、紫色光ＬＶと青色光ＬＢとを順次に発光させても良い。また、好適対象観察モードの照明光としては、上記のように紫色光ＬＶと青色光ＬＢとを含むものに限られず、例えば、緑色光ＬＧのみからなる照明光、赤色光ＬＲのみからなる照明光、紫色光ＬＶと赤色光ＬＲとを含む照明光、青色光ＬＢと赤色光ＬＲとを含む照明光等、適宜設定可能である。
光源３０が発した照明光は、挿入部１２ａ内に挿通したライトガイド３４に入射する。ライトガイド３４は、内視鏡１２及びユニバーサルコードに内蔵しており、照明光を内視鏡１２の先端部２１まで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド３４としては、マルチモードファイバを使用することができる。一例として、ライトガイド３４には、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用することができる。
先端部２１は、照明光学系３６と撮像光学系３８とを有している。照明光学系３６は、照明レンズ４０を有している。ライトガイド３４を伝搬した照明光は、照明レンズ４０を介して観察対象を照明する。撮像光学系３８は、対物レンズ４２と、ズームレンズ４４と、撮像センサ４６とを有している。これら対物レンズ４２及びズームレンズ４４を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ４６に入射する。これにより、撮像センサ４６に観察対象の像が結像する。ズームレンズ４４は、ズーム操作部２８を操作することでテレ端とワイド端の間で自在に移動し、撮像センサ４６に結像する観察対象を拡大又は縮小する。
撮像センサ４６は、画素毎にＲ（赤）、Ｇ（緑）、又はＢ（青）の原色のカラーフィルタのいずれかを設けたカラー撮像センサであり、観察対象を撮像してＲＧＢ各色の画像信号を出力する。撮像センサ４６としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサ等を利用可能である。また、原色のカラーフィルタを設けた撮像センサ４６の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号を出力する。このため、補色−原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４６と同様のＲＧＢ各色の画像信号を得ることができる。また、撮像センサ４６の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
ＣＤＳ（Correlated Double Sampling）／ＡＧＣ（Automatic Gain Control）回路４４８は、撮像センサ４６が出力したアナログの画像信号に、相関二重サンプリングや自動利得制御を行う。Ａ／Ｄ（Analog to Digital）変換回路５０は、ＣＤＳ／ＡＧＣ回路４８を経たアナログ画像信号を、デジタルの画像信号に変換する。Ａ／Ｄ変換回路５０は、Ａ／Ｄ変換後のデジタル画像信号を、プロセッサ装置１６に入力する。
プロセッサ装置１６は、コントローラ５２と、ＤＳＰ（Digital Signal Processor）５４と、ノイズ低減部５６と、メモリ５８と、画像処理部６０と、表示制御部６２と、診断目的取得部６４と、データ送受信部６６とを備えている。
コントローラ５２は、ＣＰＵ（Central processing unit）、制御プログラムや制御に必要な設定データを記憶するＲＯＭ（Read only memory）、制御プログラムをロードする作業メモリとしてのＲＡＭ（Random access memory）等を有する。コントローラ５２は、ＣＰＵが制御プログラムを実行することにより、プロセッサ装置１６の各部を制御する。また、プロセッサ装置１６の各部はＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有する専用電気回路などにより構成されていてもよい。内視鏡１２や光源装置１４の内部についても同様である。
ＤＳＰ５４は、内視鏡１２からデジタル画像信号を取得し、取得した画像信号に対して、例えば、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ４６の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ゲイン補正処理は、オフセット処理した画像信号に特定のゲインを乗じることにより信号レベルを整える。
リニアマトリクス処理は、ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理（等方化処理、又は同時化処理とも言う）を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。
ノイズ低減部５６は、ＤＳＰ５４でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズを低減した画像信号は、メモリ５８に記憶する。
画像処理部６０は、メモリ５８から画像信号を取得し、取得した画像信号に対して所定の画像処理を施し、観察対象が写った表示画像を生成する。画像処理部６０が行う画像処理の内容は、観察モードによって異なる。なお、画像処理部６０は、本発明の「画像生成部」に対応する。
画像処理部６０は、通常観察モードの場合には、色変換処理、色彩強調処理、及び構造強調処理等の画像処理を行い、通常観察画像を生成する。色変換処理は、画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（ルックアップテーブル）処理等により色の変換を行う処理である。色彩強調処理は、色変換処理した画像信号に対して行う。構造強調処理は、例えば、血管や腺管等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像信号に対して行う。特殊観察モードの場合には、画像処理部６０は、血管を強調する上記各種画像処理を行うことにより、特殊観察画像を生成する。特殊観察モードはＶ−ＬＥＤ３０ａの射出光量が大きいため、特殊観察画像では表層血管が強調されている。
画像処理部６０は、好適対象観察モードの場合には、診断目的に好適な構造を強調する上記各種画像処理を行うことにより、好適対象観察画像を生成する。好適対象観察モードの場合に画像処理部６０が行う画像処理については、後で詳細に説明をする。
表示制御部６２は、画像処理部６０が生成した表示画像を表示部１８に表示させる。これにより、通常観察モードでは通常観察画像が表示され、特殊観察モードでは特殊観察画像が表示され、好適対象観察モードでは好適対象観察画像が表示される。
診断目的取得部６４は、データ送受信部６６を介して、ＬＡＮ（Local Area Network）等のネットワークで相互に通信可能に接続した内視鏡情報管理システム７２から診断目的を取得する。内視鏡情報管理システム７２は、ＰＡＣＳ（Picture Archiving and Communication System）等の内視鏡画像をファイリングするシステムのファイルサーバである。内視鏡情報管理システム７２は、データ記憶部７４を有しており、内視鏡情報管理データとして、入力端末（図示せず）から入力された診断目的を含む検査情報と患者情報等を記憶する。診断目的取得部６４は、このデータ記憶部７４から内視鏡情報管理データを受信し、診断目的を、内視鏡情報管理データから抽出することにより取得する。
次に、好適対象観察モードで画像処理部６０が行う画像処理について、詳細に説明をする。
図５に示すように、画像処理部６０は、ベース画像生成部１００と、構造抽出部１０２と、指標値記憶部１０４と、指標値選択部１０６と、指標値算出部１０８と、強調画像生成部１１０とを有する。指標値記憶部１０４はＨＤＤ（Hard disc drive）やＳＳＤ(Solid state drive)等の記録媒体によって構成されている。
ベース画像生成部１００は、メモリ５８から取得した画像信号に対し、観察対象の構造を色の違いで表したベース画像を生成し、これを内視鏡画像として取得する。すなわち、ベース画像生成部１００は、内視鏡によって観察対象を撮像して得た内視鏡画像を取得する。ベース画像は、設定された光量比に応じた色味で表され、通常観察画像とは色味が若干異なっている。ベース画像の例としては、設定された光量比で撮影して得た画像にて白色板が白になるようなカラーバランスにした画像、表示部１８のＲチャンネル、Ｇチャンネル、Ｂチャンネルのいずれかに画像信号を割り当てる（例えば、照明光の光量比のうち緑色光ＬＧの光量が大きい場合は、Ｇチャンネルに画像信号を割り当てる等）ことにより得たグレーの画像、画像信号の階調バランスを変えて各チャンネルに割り当てることにより得た疑似カラーの画像等がある。ベース画像生成部１００は、本発明の画像取得部に対応する。
構造抽出部１０２は、ベース画像を用いて、観察対象の構造を抽出した構造抽出画像を生成する。例えば光源装置１４によって異なる波長帯域の照明光で観察対象を照明した場合には、構造抽出部１０２は、各照明光で照明中の観察対象を撮影して得た各画像の間で差分をとることによって血管を抽出する。具体的には、紫色光ＬＶで照明中の観察対象を撮影して得た画像と青色光ＬＢで照明中の観察対象を撮影して得た画像の間で差分をとることによって、表層血管、または表層血管よりも浅い位置にある血管を抽出できる。上記のように血管を抽出することに加え又は代えて、腺管の構造を抽出しても良い。なお、構造の抽出方法は上記の方法に限るものではない。また、本実施形態では、構造抽出部１０２は、ベース画像の全体から血管と腺管とを抽出するが、操作入力部１９の操作によって関心領域を指定した場合は、指定した関心領域内でだけ血管と腺管とを抽出しても良い。
指標値記憶部１０４は、観察対象の構造に関する複数の指標値と診断目的との対応関係を記憶している。診断目的には、スクリーニングと精査とを含む第１の診断目的と、疾患の種類に関する第２の診断目的と、疾患の病期ステージに関する第３の診断目的とが含まれる。なお、第１の診断目的については、上記スクリーニングと精査のみに限られず多岐にわたるものであり、例えば、治療、経過観察等も含まれる。指標値の種類は、例えば、血管の密度、血管の太さの均一度、血管の複雑度、表面構造の均一度等である。なお、指標値の種類は、上記した例のみに限定されない。
血管の密度とは、単位面積中にある血管の割合である。血管の太さの均一度とは、血管の太さのばらつきに関する指標値である。血管の複雑度とは、血管の形状がどの程度複雑であるかを示す指標値であり、例えば、抽出した血管の分岐点の個数（分岐数）、血管の蛇行度、抽出した血管の曲がり具合（曲率）等を組み合わせて算出する値である。表面構造の均一度とは、腺管の形状のばらつきに関する指標値である。
図６に示すように、指標値記憶部１０４は、第１〜第３の指標値選択用テーブル１０４ａ〜１０４ｃを有している。第１の指標値選択用テーブル１０４ａは、第１の診断目的と、第１の診断目的で用いる指標値とを対応付けて記憶している。例えば、第１の指標値選択用テーブル１０４ａには、大腸のスクリーニングに対し、表層血管の複雑度と中層血管の複雑度とが対応付けされ、胃のスクリーニングに対し、中層血管の複雑度と表面構造の均一度とが対応付けされ、大腸の精査に対し、表層血管の密度が対応付けされている。
第２の指標値選択用テーブル１０４ｂは、第２の診断目的と、第２の診断目的で用いる指標値とを対応付けて記憶している。例えば、第２の指標値選択用テーブル１０４ｂは、バレット食道に対し、表層血管の密度と表層血管の複雑度と中層血管の密度と中層血管の複雑度とが対応付けされ、大腸ポリープに対し、中層血管の太さの均一度と表面構造の均一度とが対応付けされ、アンギオディスプラジアに対し、中層血管の密度が対応付けされている。
第３の指標値選択用テーブル１０４ｃは、第３の診断目的と、第３の診断目的で用いる指標値とを対応付けて記憶している。例えば、第３の指標値選択用テーブル１０４ｃには、潰瘍性大腸炎の寛解期に対し、表層血管の複雑度と中層血管の複雑度とが対応付けされ、潰瘍性大腸炎の活動期に対し、表層血管の複雑度が対応付けされている。
なお、第１〜第３の指標値選択用テーブル１０４ａ〜１０４ｃに記憶されている対応関係は、例えば操作入力部１９の入力操作により適宜更新可能である。また、第１〜第３の指標値選択用テーブル１０４ａ〜１０４ｃは、新たに対応関係を追加することが可能とされている。
指標値選択部１０６は、診断目的取得部６４から診断目的を取得し、指標値記憶部１０４を参照して、取得された診断目的で用いる指標値を選択する。具体的には、指標値選択部１０６は、第１の診断目的を取得した場合は指標値記憶部１０４の第１の指標値選択用テーブル１０４ａを参照し、第２の診断目的を取得した場合は第２の指標値選択用テーブル１０４ｂを参照し、第３の診断目的を取得した場合は第３の指標値選択用テーブル１０４ｃを参照する。そして、指標値選択部１０６は、選択した指標値を指標値算出部１０８に入力する。
本実施形態では、指標値記憶部１０４において１つの診断目的に対し複数の指標値が対応付けされている場合は、指標値選択部１０６は、複数の指標値のうち、操作入力部１９の操作によって指定された１つの指標値を選択する。例えば、図７に示すように、取得された第２の診断目的がバレット食道であり、操作入力部１９によって中層血管の複雑度が指定された場合、指標値選択部１０６は、指定された中層血管の複雑度を選択し、指標値算出部１０８に入力する。
指標値算出部１０８は、構造抽出画像を用いて、選択された指標値を算出する。指標値算出部１０８は、構造抽出画像の画素毎に指標値を算出する。例えば、指標値を算出する画素を含む予め定めた範囲（例えば指標値を算出する画素を中心とする９９×９９画素の範囲）の画素のデータを用いて１つの画素の指標値を算出する。
指標値算出部１０８は、操作入力部１９の操作によって構造抽出画像の一部に関心領域を設定した場合には、設定した関心領域内で指標値を算出する。関心領域を設定していない場合や、構造抽出画像の全部を関心領域に設定している場合には、指標値算出部１０８は、構造抽出画像の全体に対して指標値を算出する。
なお、指標値算出部１０８は、本実施形態では構造抽出画像を用いて指標値を算出するが、画像取得部としてのベース画像生成部１００が取得した内視鏡画像を用いて指標値を算出しても良い。例えば、内視鏡画像に観察対象の構造が明瞭に表れている場合等では、この内視鏡画像を用いて指標値を算出することができる。
強調画像生成部１１０は、生成されたベース画像と、算出された指標値とを用いて、第１強調画像としての好適対象観察画像を生成する。強調画像生成部１１０は、例えば、ベース画像に対して、指標値に基づく情報をオーバーラップ処理することにより、好適対象観察画像を生成する。オーバーラップ処理としては、指標値に応じた色付け処理等がある。このような色付け処理をした好適対象観察画像では、ベース画像に対し、指標値が一定値以上の領域が疑似カラーで表示されることにより、診断目的に好適な構造が強調されている。強調画像生成部１１０は、本発明の第１の強調画像生成部に対応する。
例えば、図８に示す好適対象観察画像１１２において、中層血管の複雑度が一定値以上の領域１１４が疑似カラーで表示される。この領域１１４は、例えば赤系の色とする。好適対象観察画像１１２には、画面全体に表層血管１１５が分布しているが、領域１１４が強調表示されていることにより、中層血管の複雑度が確認し易くされている。これにより、診断目的に好適な構造をより強調することができる。なお、ベース画像に対して、指標値の値そのものを示す情報をオーバーラップさせても良い。
次に、好適対象観察モードの作用について、図９のフローチャートに沿って説明する。
好適対象観察モードでは、紫色光ＬＶと青色光ＬＢとを含む照明光が発光され、この照明光により照明中の観察対象が撮像センサ４６により撮像される。ベース画像生成部１００は、撮像センサ４６が出力した画像信号からベース画像を生成し、これを内視鏡画像として取得する（Ｓ１１）。構造抽出部１０２は、ベース画像から観察対象の構造を抽出した構造抽出画像を生成する。
診断目的取得部６４は、ネットワークを介して、内視鏡情報管理システム７２のデータ記憶部７４から診断目的を取得する（Ｓ１２）。診断目的取得部６４は、取得した診断目的を画像処理部６０の指標値選択部１０６に入力する。
指標値選択部１０６は、指標値記憶部１０４を参照し、取得された診断目的で用いる指標値を選択する（Ｓ１３）。指標値記憶部１０４には、観察対象の構造に関する複数の指標値と診断目的との対応関係が記憶されている。具体的には、指標値記憶部１０４は、第１の診断目的で用いる指標値を記憶した第１の指標値選択用テーブル１０４ａと、第２の診断目的で用いる指標値を記憶した第２の指標値選択用テーブル１０４ｂと、第３の診断目的で用いる指標値を記憶した第３の指標値選択用テーブル１０４ｃとを有している。
指標値選択部１０６は、取得した診断目的が第１の診断目的であった場合には、第１の指標値選択用テーブル１０４ａから指標値を選択し、取得した診断目的が第２の診断目的であった場合には、第２の指標値選択用テーブル１０４ｂから指標値を選択し、取得した診断目的が第３の診断目的であった場合には、第３の指標値選択用テーブル１０４ｃから指標値を選択する。そして、指標値選択部１０６は、選択した指標値を指標値算出部１０８に入力する。
指標値算出部１０８は、構造抽出画像から、指標値選択部１０６が選択した指標値を算出する（Ｓ１４）。なお、画像取得部としてのベース画像生成部１００が取得した内視鏡画像に観察対象の構造が明瞭に表れている場合は、指標値算出部１０８は、内視鏡画像を用いて指標値を算出することができる。
強調画像生成部１１０は、ベース画像生成部１００が生成したベース画像と、指標値算出部１０８が算出した指標値とを用いて、好適対象観察画像を生成する（Ｓ１５）。好適対象観察画像は、算出された指標値に応じて色付けされており、診断目的に好適な構造がより強調されている。そして、表示部１８は、この好適対象観察画像を表示する。
以上のように、診断目的取得部６４により診断目的を取得し、この診断目的に好適な構造を観察可能な指標値が指標値選択部１０６によって選択されるため、診断目的に応じて最適な指標値を算出することができる。
なお、上記第１実施形態では、指標値選択部１０６は、１つの診断目的につき１つの指標値を選択しているが、複数の指標値を選択しても良い。この場合、強調画像生成部１１０は、選択された指標値ごとに異なる色付け処理を行うことが好ましい。
なお、上記第１実施形態では、診断目的取得部６４は、ネットワークを介して内視鏡情報管理システム７２から診断目的を取得しているが、図１０に示すように、内視鏡情報管理システム７２から診断目的を取得することに加え、診断目的入力部としての操作入力部１９により入力された診断目的を取得しても良い。この場合は、指標値選択部１０６は、例えば、操作入力部１９により入力された診断目的を優先的に用いて指標値の選択を行う。これにより、診断中に、内視鏡情報管理システム７２から取得した診断目的とは異なる診断目的に切り替えて検査を継続することが可能となる。
また、診断目的取得部６４は、内視鏡情報管理システム７２から診断目的を取得することに代えて、操作入力部１９により入力された診断目的を取得しても良い。この場合は、内視鏡情報管理システム７２とネットワークを介して接続されていない場合であっても診断目的の取得が可能である。
なお、上記第１実施形態では、画像記憶操作部２６が操作された場合に静止画像及び又は動画像をストレージ（図示せず）に記憶させているが、プロセッサ装置１６に第１画像記憶部としての画像記憶部１１６（図１１参照）を設け、強調画像生成部１１０が生成した好適対象観察画像を、診断目的取得部６４により取得された診断目的と、指標値算出部１０８により算出された指標値との少なくともいずれかと対応付けして記憶させても良い。以下、好適対象観察画像と診断目的と指標値とを対応付けて画像記憶部１１６に記憶する場合について説明をする。
例えば、診断目的取得部６４により取得された第２の診断目的がアンギオディスプラジアであった場合、指標値選択部１０６により中層血管の密度が指標値として選択され、強調画像生成部１１０により好適対象観察画像が生成される。画像記憶操作部２６が操作されると、画像記憶部１１６は、図１１に示すように、強調画像生成部１１０が生成した好適対象観察画像を記憶用の画像「Ｐ１３」として記憶するとともに、この画像Ｐ１３に対し、診断目的取得部６４が取得した診断目的である「アンギオディスプラジア」と、指標値算出部１０８が算出した中層血管の密度「Ｉ13」とを対応付けて記憶する。
この画像記憶部１１６に記憶された画像と診断目的と指標値とは、表示部１８に表示することが可能とされている。これにより、画像記憶部１１６から、取得された診断目的に類似した症例について、操作入力部１９の操作によって画像と指標値とを検索により表示させることができる。また、選択された指標値をもとに、画像と診断目的とを検索することも可能とされている。
さらに、ネットワークを介して内視鏡情報管理システム７２と相互に通信可能に接続されている場合には、画像記憶部１１６に記憶されたデータをデータ記憶部７４に送信し、記憶させることで、内視鏡システム１０とは異なる内視鏡システムとのデータ共有が可能となる。
［第２実施形態］
上記第１実施形態では、強調画像生成部１１０により指標値を用いた強調表示を行っているが、第２実施形態では、指標値を用いて構造パラメータを算出し、この構造パラメータを用いた強調表示を行う。第２実施形態では、第１実施形態の画像処理部６０の代わりに、画像処理部１２０を備える（図１２参照）。
図１２に示すように、画像処理部１２０は、第１実施形態の指標値記憶部１０４の代わりに指標値記憶部１２２を有し、強調画像生成部１１０の代わりに強調画像生成部１２６を有する。また、画像処理部１２０は、第１実施形態の画像処理部６０の各構成に加え、構造パラメータ算出部１２４を有する。
指標値記憶部１２２は、指標値と診断目的とに加え、さらに、後述する構造パラメータ算出部１２４で用いる重み付け係数を対応付けて記憶している。
図１３に示すように、指標値記憶部１２２は、第１から第３の指標値選択用テーブル１２２ａ〜１２２ｃを有している。第１から第３の指標値選択用テーブル１２２ａ〜１２２ｃについて、診断目的と指標値との関係は第１実施形態の指標値記憶部１０４と同じなので説明を省略し、以下では、重み付け係数（以下、係数と称する）との関係について説明をする。
第１の指標値選択用テーブル１２２ａは、第１の診断目的と、第１の診断目的で用いる指標値と、指標値ごとの係数とを対応付けて記憶している。例えば、大腸のスクリーニングについては、表層血管の複雑度に対する係数は０．５とされ、中層血管の複雑度に対する係数は１とされている。胃のスクリーニングについては、中層血管の複雑度に対する係数は１とされ、表面構造の均一度に対する係数は１とされている。大腸の精査については、表層血管の密度に対する係数は１とされている。
第２の指標値選択用テーブル１２２ｂは、第２の診断目的と、第２の診断目的で用いる指標値と、指標値ごとの係数とを対応付けて記憶している。例えば、バレット食道については、表層血管の密度と表層血管の複雑度と中層血管の密度と中層血管の複雑度とに対する係数は、それぞれ１とされている。大腸ポリープについては、中層血管の太さの均一度に対する係数は１とされ、表面構造の均一度に対する係数は０．５とされている。アンギオディスプラジアについては、中層血管の密度に対する係数は１とされている。
第３の指標値選択用テーブル１２２ｃは、第３の診断目的と、第３の診断目的で用いる指標値と、指標値ごとの係数とを対応付けて記憶している。例えば、潰瘍性大腸炎の寛解期については、表層血管の複雑度と中層血管の複雑度とに対する係数は、それぞれ１とされている。潰瘍性大腸炎の活動期については、表層血管の複雑度に対する係数は１とされている。
第１〜第３の指標値選択用テーブル１２２ａ〜１２２ｃに記憶されている対応関係は、例えば操作入力部１９の入力操作により適宜更新可能である。また、第１〜第３の指標値選択用テーブル１２２ａ〜１２２ｃは、新たに対応関係を追加することが可能とされている。
本実施形態では診断目的取得部６４により第１〜第３の診断目的のうちのいずれか１つを取得するが、第１の診断目的と第２の診断目的など複数の診断目的を複合した複合目的を取得する場合もある。このような場合に備え、指標値記憶部１２２に複合目的用のテーブルを設けても良い。複合目的用のテーブルは、複合目的と、複合目的で用いる指標値と、指標値ごとの係数とを対応付けて記憶している。複合目的で用いる指標値は、複合目的を構成する各診断目的で用いる指標値である。複合目的用のテーブルに記憶されている係数は、例えば、複合目的を構成する各診断目的で用いる指標値のうち、重複する数が多い指標値ほど、大きい値に設定される。
構造パラメータ算出部１２４は、指標値算出部１０８が算出した指標値を用いて構造パラメータを算出する。具体的には、構造パラメータ算出部１２４は、診断目的によって定められた係数（重み付け係数）により複数の指標値を重み付けして演算することにより、構造パラメータを算出する。構造パラメータ算出部１２４は、構造パラメータの算出に際し、指標値記憶部１２２を参照し、指標値算出部１０８が算出した指標値と対応付けされた係数を用いる。
構造パラメータは、指標値を総合的に考慮して診断を行う医師の視点を模して、指標値を用いて算出した数値である。構造パラメータは、例えば互いに次元（単位）が異なる指標値を加算等の演算により算出するので、構造パラメータには物理的な意味は無いが、診断の指標として機能する。すなわち、構造パラメータは、物理的な意味がない値であることが指標値との違いである。
例えば、診断目的取得部６４により取得された第２の診断目的がバレット食道であった場合、構造パラメータ算出部１２４は、表層血管の密度と表層血管の複雑度と中層血管の密度と中層血管の複雑度とのそれぞれに１を乗算して加算をすることにより、構造パラメータを算出する。なお、本実施形態では、構造パラメータ算出部１２４は、複数の指標値を用いて１つの構造パラメータを算出するが、これに限られず、２以上の構造パラメータを算出しても良い。また、構造パラメータの算出方法は任意である。例えば、上記のように複数の指標値の重み付け和を構造パラメータとして算出するだけでなく、加減乗除が混在する演算をして構造パラメータを算出しても良いし、その他の関数を用いて構造パラメータを算出しても良い。さらに、構造パラメータ算出部１２４は、１つの指標値に重み付け係数を乗算することにより構造パラメータを算出しても良い。
強調画像生成部１２６は、生成されたベース画像と、算出された構造パラメータとを用いて、第２強調画像としての好適対象観察画像を生成する。強調画像生成部１２６は、例えば、ベース画像に対して、構造パラメータに基づく情報をオーバーラップ処理することにより、好適対象観察画像を生成する。強調画像生成部１２６は、本発明の第２の強調画像生成部に対応する。
例えば、図１４に示す好適対象観察画像１２７において、領域１２８〜１３０は、構造パラメータに応じて異なる色で表示される。例えば、領域１２８〜１３０のうち、領域１２８は、構造パラメータが最も小さく、青系の色とされている。領域１２９は、領域１２８よりも構造パラメータが大きく、黄系の色とされている。領域１３０は、領域１２９よりも構造パラメータが大きく、赤系の色とされている。なお、ベース画像に対して、構造パラメータの値そのものを示す情報をオーバーラップさせても良い。これにより、診断目的に好適な構造をより強調することができる。
なお、上記第２実施形態では、プロセッサ装置１６に第２画像記憶部としての画像記憶部１３２（図１５参照）を設け、強調画像生成部１２６が生成した好適対象観察画像を、診断目的取得部６４により取得された診断目的と、構造パラメータ算出部１２４により算出された構造パラメータとの少なくともいずれかと対応付けして記憶させても良い。以下では、診断目的と構造パラメータとに加え、さらに指標値算出部１０８により算出された指標値を、好適対象観察画像と対応付けして記憶する場合について説明をする。
例えば、診断目的取得部６４により取得された第２の診断目的がアンギオディスプラジアであった場合、指標値選択部１０６により中層血管の密度が指標値として選択され、強調画像生成部１２６により好適対象観察画像が生成される。画像記憶操作部２６が操作されると、画像記憶部１３２は、図１５に示すように、強調画像生成部１２６が生成した好適対象観察画像を記憶用の画像「Ｐ２１」として記憶するとともに、この画像Ｐ２１に対し、診断目的取得部６４が取得した診断目的である「アンギオディスプラジア」と、指標値算出部１０８が算出した中層血管の密度「Ｉ21」と、構造パラメータ算出部１２４が算出した構造パラメータ「Ｃ21」とを対応付けて記憶する。
［第３実施形態］
上記第２実施形態では、強調画像生成部１２６により構造パラメータを用いた強調表示を行っているが、第３実施形態では、構造パラメータを用いて観察対象の粘膜の状態を判定し、この判定結果を用いた強調表示を行う。第３実施形態では、第２実施形態の画像処理部１２０の代わりに画像処理部１４０（図１６参照）を備える。
図１６に示すように、画像処理部１４０は、画像処理部１２０の各構成に加え、判定部１４２をさらに有する。また、画像処理部１４０は、第２実施形態の強調画像生成部１２６の代わりに強調画像生成部１４４を有する。
判定部１４２は、構造パラメータ算出部１２４が算出した構造パラメータを用いて観察対象の粘膜の状態を判定する。観察対象の「粘膜の状態」とは、血管と腺管とを含む粘膜全体としての総合的なステータスであり、例えば、「正常」、「腺腫（腺腫の疑いがある）」、または、「がん（がんの疑いがある）」等である。したがって、判定部１４２は、粘膜の状態を、正常、腺腫、がんの３種類の状態に判定する。
例えば、構造パラメータの算出に用いる係数を、粘膜の状態を正常、腺腫、がんの３種類の状態のいずれかに判定可能なバランスに設定しているとする。この場合において、判定部１４２は、構造パラメータの数値と閾値とを比較することによって粘膜の状態を判定する。具体的には、構造パラメータが第１閾値以下の場合、判定部１４２は、観察対象の粘膜の状態を「正常」と判定する。構造パラメータが第１閾値よりも大きく第２閾値以下の場合、判定部１４２は、観察対象の粘膜の状態を「腺腫」と判定する。構造パラメータが第２閾値よりも大きい場合、判定部１４２は、観察対象の粘膜の状態を「がん」と判定する。
強調画像生成部１４４は、生成されたベース画像と、判定部１４２の判定結果とを用いて、第３強調画像としての好適対象観察画像を生成する。強調画像生成部１１０は、例えば、ベース画像に対して、判定結果に基づく情報をオーバーラップ処理することにより、好適対象観察画像を生成する。強調画像生成部１４４は、本発明の第３の強調画像生成部に対応する。
例えば、図１７に示す好適対象観察画像１４６において、領域１４７は、「腺腫」と判定された領域である。領域１４８は、「がん」と判定された領域である。領域１４７と領域１４８とは異なる色で表示され、例えば、領域１４７は黄系とされ、領域１４８は赤系とされる。なお、「正常」と判定された領域は、本実施形態では色付けをしないが、例えば青系等で色付けしても良い。なお、ベース画像に対して、判定結果そのものを示す情報を表示させても良い。このように、構造パラメータを用いて観察対象の粘膜の状態を判定し、この判定結果を表示することによって、より直接的に診断を支援することができる。
なお、上記第３実施形態では、プロセッサ装置１６に第３画像記憶部としての画像記憶部１５０（図１８参照）を設け、強調画像生成部１４４により生成された好適対象観察画像を、診断目的取得部６４により取得された診断目的と、判定部１４２の判定結果との少なくともいずれかと対応付けして記憶させても良い。以下では、診断目的と判定結果とに加え、さらに構造パラメータを、好適対象観察画像と対応付けして記憶する場合について説明をする。
例えば、図１８に示すように、診断目的取得部６４により取得された第２の診断目的がバレット食道であった場合に強調画像生成部１２６が生成した好適対象観察画像を記憶用の画像「Ｐ３１」として記憶するとともに、この画像Ｐ３１に対し、診断目的取得部６４が取得した診断目的である「バレット食道」と、構造パラメータ算出部１２４が算出した構造パラメータ「Ｃ31」と、判定部１４２の判定結果「がん」とを対応付けて記憶する。
１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１４ 光源装置
１６ プロセッサ装置
１８ 表示部
１９ 操作入力部
２１ 先端部
２２ 湾曲部
２３ 可撓管部
２５ アングルノブ
２６ 画像記憶操作部
２７ モード切替部
２８ ズーム操作部
３０ 光源
３０ａ Ｖ−ＬＥＤ
３０ｂ Ｂ−ＬＥＤ
３０ｃ Ｇ−ＬＥＤ
３０ｄ Ｒ−ＬＥＤ
３０ｅ 光学フィルタ
３２ 光源制御部
３４ ライトガイド
３６ 照明光学系
３８ 撮像光学系
４０ 照明レンズ
４２ 対物レンズ
４４ ズームレンズ
４６ 撮像センサ
４８ ＣＤＳ／ＡＧＣ回路
５０ Ａ／Ｄ変換回路
５２ コントローラ
５４ ＤＳＰ
５６ ノイズ低減部
５８ メモリ
６０ 画像処理部
６２ 表示制御部
６４ 診断目的取得部
６６ データ送受信部
７２ 内視鏡情報管理システム
７４ データ記憶部
１００ ベース画像生成部
１０２ 構造抽出部
１０４ 指標値記憶部
１０４ａ 第１の指標値選択用テーブル
１０４ｂ 第２の指標値選択用テーブル
１０４ｃ 第３の指標値選択用テーブル
１０６ 指標値選択部
１０８ 指標値算出部
１１０ 強調画像生成部
１１２ 好適対象観察画像
１１４ 領域
１１５ 表層血管
１１６ 画像記憶部
１２０ 画像処理部
１２２ 指標値記憶部
１２２ａ 第１の指標値選択用テーブル
１２２ｂ 第２の指標値選択用テーブル
１２２ｃ 第３の指標値選択用テーブル
１２４ 構造パラメータ算出部
１２６ 強調画像生成部
１２７ 好適対象観察画像
１２８ 領域
１２９ 領域
１３０ 領域
１３２ 画像記憶部
１４０ 画像処理部
１４２ 判定部
１４４ 強調画像生成部
１４６ 好適対象観察画像
１４７ 領域
１４８ 領域
１５０ 画像記憶部

Claims (12)

  1. 内視鏡によって観察対象を撮像して得た内視鏡画像を取得する画像取得部と、
    診断目的を取得する診断目的取得部と、
    前記観察対象の構造に関する複数の指標値と前記診断目的との対応関係を記憶した指標値記憶部と、
    前記指標値記憶部を参照して、取得された前記診断目的で用いる指標値を選択する指標値選択部と、
    前記内視鏡画像を用いて、選択された前記指標値を算出する指標値算出部と、
    前記診断目的によって定められた重み付け係数により複数の前記指標値を重み付けして演算することにより、前記構造の構造パラメータを算出する構造パラメータ算出部と、
    を備えるプロセッサ装置。
  2. 前記診断目的には、スクリーニングと精査とを含む第１の診断目的と、疾患の種類に関する第２の診断目的と、病期ステージに関する第３の診断目的とが含まれ、
    前記指標値選択部は、前記第１から第３の診断目的のうちのいずれか１つの診断目的に従って前記指標値を選択する請求項１に記載のプロセッサ装置。
  3. 前記内視鏡画像と、算出された前記指標値とを用いて、前記構造を強調した第１強調画像を生成する第１の強調画像生成部を備える請求項１または２に記載のプロセッサ装置。
  4. 前記第１強調画像を、取得された前記診断目的と算出された前記指標値との少なくともいずれかと対応付けして記憶する第１画像記憶部を備える請求項３に記載のプロセッサ装置。
  5. 前記内視鏡画像と、算出された前記構造パラメータとを用いて、前記構造を強調した第２強調画像を生成する第２の強調画像生成部を備える請求項１に記載のプロセッサ装置。
  6. 前記第２強調画像を、取得された前記診断目的と算出された前記構造パラメータとの少なくともいずれかと対応付けして記憶する第２画像記憶部を備える請求項５に記載のプロセッサ装置。
  7. 前記構造パラメータを用いて、前記観察対象の粘膜の状態を判定する判定部を備える請求項５または６に記載のプロセッサ装置。
  8. 前記内視鏡画像と、前記判定の結果とを用いて、前記構造を強調した第３強調画像を生成する第３の強調画像生成部を備える請求項７に記載のプロセッサ装置。
  9. 前記第３強調画像を、取得された前記診断目的と前記判定の結果との少なくともいずれかと対応付けして記憶する第３画像記憶部を備える請求項８に記載のプロセッサ装置。
  10. 前記診断目的を含む内視鏡情報管理データを記憶したデータ記憶部を有する内視鏡情報管理システムとネットワークを介して相互に通信可能に接続されており、
    前記診断目的取得部は、前記ネットワークを介して前記内視鏡情報管理データを受信し、前記診断目的を、受信した前記内視鏡情報管理データから抽出することにより取得する請求項１から９のいずれか１項に記載のプロセッサ装置。
  11. 前記診断目的を入力する診断目的入力部を備え、
    前記診断目的取得部は、前記診断目的入力部により入力された前記診断目的を取得する請求項１から１０のいずれか１項に記載のプロセッサ装置。
  12. 照明光を発する光源と、
    前記照明光により照明中の観察対象を内視鏡によって撮像して得た内視鏡画像を取得する画像取得部と、
    前記内視鏡画像を用いて、前記観察対象の構造を抽出した構造抽出画像を生成する構造抽出部と、
    診断目的を取得する診断目的取得部と、
    前記観察対象の構造に関する複数の指標値と前記診断目的との対応関係を記憶した指標値記憶部と、
    前記指標値記憶部を参照して、取得された前記診断目的で用いる指標値を選択する指標値選択部と、
    前記構造抽出画像を用いて、選択された前記指標値を算出する指標値算出部と、
    前記診断目的によって定められた重み付け係数により複数の前記指標値を重み付けして演算することにより、前記構造の構造パラメータを算出する構造パラメータ算出部と、
    前記内視鏡画像と、算出された前記指標値とを用いて、前記構造を強調した第１強調画像を生成する第１の強調画像生成部と、
    前記第１強調画像を表示する表示部と、
    を備える内視鏡システム。
JP2018547509A 2016-10-27 2017-10-02 プロセッサ装置及び内視鏡システム Active JP6823072B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016211060 2016-10-27
JP2016211060 2016-10-27
PCT/JP2017/035877 WO2018079205A1 (ja) 2016-10-27 2017-10-02 プロセッサ装置及び内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2018079205A1 JPWO2018079205A1 (ja) 2019-07-18
JP6823072B2 true JP6823072B2 (ja) 2021-01-27

Family

ID=62023467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018547509A Active JP6823072B2 (ja) 2016-10-27 2017-10-02 プロセッサ装置及び内視鏡システム

Country Status (4)

Country Link
US (1) US10986987B2 (ja)
EP (1) EP3533380A4 (ja)
JP (1) JP6823072B2 (ja)
WO (1) WO2018079205A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
JP6858672B2 (ja) * 2017-08-29 2021-04-14 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
US11406255B2 (en) * 2018-01-03 2022-08-09 Koninklijke Philips N.V. System and method for detecting abnormal tissue using vascular features
US20220095891A1 (en) * 2019-02-14 2022-03-31 Dai Nippon Printing Co., Ltd. Color correction device for medical apparatus
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002177214A (ja) 2000-12-12 2002-06-25 Asahi Optical Co Ltd 電子内視鏡装置の内視鏡像ファイリング装置
JP2002336193A (ja) * 2001-05-17 2002-11-26 Olympus Optical Co Ltd 診断支援装置
JP2003126045A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 診断支援装置
JP5478328B2 (ja) * 2009-09-30 2014-04-23 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5580637B2 (ja) * 2010-03-30 2014-08-27 オリンパス株式会社 画像処理装置、内視鏡装置の作動方法及びプログラム
US20130131465A1 (en) 2010-07-26 2013-05-23 Sharp Kabushiki Kaisha Biomeasurement device, biomeasurement method, control program for a biomeasurement device, and recording medium with said control program recorded thereon
JP2012045373A (ja) * 2010-07-26 2012-03-08 Sharp Corp 生体測定装置、生体測定方法、生体測定装置の制御プログラム、および、該制御プログラムを記録した記録媒体
JP5435746B2 (ja) * 2011-01-24 2014-03-05 富士フイルム株式会社 内視鏡装置
WO2013140667A1 (ja) * 2012-03-21 2013-09-26 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2016015995A (ja) * 2014-07-04 2016-02-01 Hoya株式会社 電子内視鏡システム及び電子内視鏡用プロセッサ
JP6259747B2 (ja) * 2014-09-30 2018-01-10 富士フイルム株式会社 プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP2016087370A (ja) 2014-11-04 2016-05-23 株式会社スタットラボ 大腸拡大内視鏡画像診断支援装置
JP6707083B2 (ja) * 2015-06-29 2020-06-10 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
JP6538634B2 (ja) * 2016-09-30 2019-07-03 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP6724154B2 (ja) * 2016-10-05 2020-07-15 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法

Also Published As

Publication number Publication date
JPWO2018079205A1 (ja) 2019-07-18
US20190254509A1 (en) 2019-08-22
EP3533380A1 (en) 2019-09-04
EP3533380A4 (en) 2019-11-13
US10986987B2 (en) 2021-04-27
WO2018079205A1 (ja) 2018-05-03

Similar Documents

Publication Publication Date Title
US10779714B2 (en) Image processing apparatus, method for operating image processing apparatus, and image processing program
JP6768871B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6285383B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
JP6823072B2 (ja) プロセッサ装置及び内視鏡システム
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP5789280B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP6469558B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
WO2020040059A1 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2020065685A (ja) 内視鏡システム
JP2015066050A (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
JP6461760B2 (ja) 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
US10842366B2 (en) Endoscope system
US11363943B2 (en) Endoscope system and operating method thereof
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JP2017158929A (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210107

R150 Certificate of patent or registration of utility model

Ref document number: 6823072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250