JP7033146B2 - 医療画像処理装置、及び、内視鏡装置 - Google Patents

医療画像処理装置、及び、内視鏡装置 Download PDF

Info

Publication number
JP7033146B2
JP7033146B2 JP2019549293A JP2019549293A JP7033146B2 JP 7033146 B2 JP7033146 B2 JP 7033146B2 JP 2019549293 A JP2019549293 A JP 2019549293A JP 2019549293 A JP2019549293 A JP 2019549293A JP 7033146 B2 JP7033146 B2 JP 7033146B2
Authority
JP
Japan
Prior art keywords
discrimination
medical image
processing unit
lesion
illumination light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019549293A
Other languages
English (en)
Other versions
JPWO2019078204A1 (ja
Inventor
達也 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019078204A1 publication Critical patent/JPWO2019078204A1/ja
Priority to JP2022027972A priority Critical patent/JP7296498B2/ja
Application granted granted Critical
Publication of JP7033146B2 publication Critical patent/JP7033146B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Description

本発明は、医療画像の解析結果を用いる医療画像処理装置、及び、内視鏡装置に関する。
従来、医療に係る装置(以下、医療装置という)のうち、被写体像を含む画像(以下、医療画像という)を取得するものは、取得した医療画像を医師に提示する。そして、医師は、医療装置から得る医療画像を判断材料の1つとして使用して診断等をする。当然ながら、診断の際に医療画像を用いてする被写体の状態等の鑑別は、医師の技量及び経験等に基づく。
近年においては、画像解析技術が進歩したので、医療画像を解析することで、医療画像から客観的な情報または定量的な情報を得ることができる。このため、医療画像の解析結果を医師等に提示することにより、鑑別及び診断等を支援する医療装置が増えてきている。例えば、特許文献1に記載の内視鏡装置は、蛍光を用いて撮影した蛍光画像または特定の狭い波長帯域を有する光(いわゆる狭帯域光)を用いて撮影した狭帯域光画像を用いて異常がある領域の位置を特定する。そして、異常がある領域の位置を、表示用の内視鏡画像において表示する。
特開2006-198106号公報
従来の医療装置においては、医療画像を解析することにより病変等の異常が認められる部分(病変部分または病変の可能性がある部分)を1または複数含む注目すべき領域(いわゆる注目領域、関心領域、または、異常領域等と称する領域である。以下、単に病変等という。)を検出し、その位置等を提示して診断等を支援する。
医師等は、医療装置が提示した病変等について、その種類及び進行度等を鑑別するが、病変等の種類及び進行度の鑑別は依然として負担が大きい。このため、近年では、さらに医師等の負担を低減すべく、病変等の種類及び進行度等について、鑑別の材料となる詳細な情報を提供することが求められている。
本発明は、病変等について従来よりも詳細な情報を提示できる医療画像処理装置、及び、内視鏡装置を提供することを目的とする。
本発明の医療画像処理装置は、被写体像を含む医療画像を取得する医療画像取得部と、医療画像のうち、表示用の医療画像を表示部に表示させる表示制御部と、医療画像のうち、特定のスペクトルを有する第1照明光を使用して撮影した第1医療画像を用いて、病変を検出し、かつ、検出した病変の進行度を鑑別する第1鑑別処理を行う第1鑑別処理部と、医療画像のうち、第1照明光とはスペクトルが異なる第2照明光を使用して撮影した第2医療画像であって表示用の医療画像と撮影条件が異なる第2医療画像を用いて、病変の進行度を詳細鑑別する第2鑑別処理を行う第2鑑別処理部と、を備え、表示制御部は、第1鑑別処理部で検出した病変の位置を示す情報及び第2鑑別処理部で詳細鑑別した病変の進行度を表示用の医療画像に重畳して表示させる。
第1鑑別処理部及び第2鑑別処理部は、表示制御部が表示用の医療画像を表示部に表示している間に第1鑑別処理及び第2鑑別処理を実行することが好ましい。第1鑑別処理部は、表示用の医療画像を第1医療画像として第1鑑別処理を実行してもよい。または、表示用の医療画像は、第1医療画像と異なる撮影条件で取得された画像でもよい。第1鑑別処理部及び第2鑑別処理部は、病変として炎症を検出し、第2医療画像は、第1照明光よりも特定の青色または特定の紫色を多く含む第2照明光を使用して撮影した医療画像であることが好ましい。第1照明光と、第2照明光と、の組み合わせを予め記憶する記憶部を備えることが好ましい。
第1鑑別処理において検出する病変の種類、または、第1鑑別処理において検出する病変の進行度によって、第1照明光と第2照明光の組み合わせを定めることが好ましい。
第2医療画像は、第1照明光よりも波長帯域が狭い第2照明光を使用して撮影した医療画像であることが好ましい。
第2医療画像は、第1照明光よりも特定の青色または特定の紫色を多く含む第2照明光を使用して撮影した医療画像であることが好ましい。
第1医療画像は、白色光を使用して撮影した医療画像であることが好ましい。
第1鑑別処理部は、病変として炎症性腸疾患または癌を検出することが好ましい。
第2鑑別処理部は、第1鑑別処理において検出した病変の種類が特定の種類の場合に、または、第1鑑別処理において検出した病変が特定の進行度の場合に、第2鑑別処理を行うことが好ましい。
第2鑑別処理部が第2鑑別処理を行う場合、第2鑑別処理の結果を最終鑑別結果として出力し、かつ、第2鑑別処理部が第2鑑別処理を行わない場合、第1鑑別処理の結果を最終鑑別結果として出力することが好ましい。
第1鑑別処理部が、病変として潰瘍性大腸炎を検出し、かつ、潰瘍性大腸炎の進行度として内視鏡所見分類のグレードを鑑別する場合、第2鑑別処理部は、潰瘍性大腸炎のグレードが特定のグレードの場合に第2鑑別処理を行うことが好ましい。
第2鑑別処理部は、内視鏡所見分類のグレードをさらに細分化した鑑別結果を出力することが好ましい。
第1鑑別処理部が潰瘍性大腸炎の進行度としてMayo分類のグレードを鑑別する場合、第2鑑別処理部は、潰瘍性大腸炎の進行度がグレード2またはグレード3の場合には第2鑑別処理を行わず、かつ、潰瘍性大腸炎の進行度がグレード0またはグレード1の場合に第2鑑別処理を行うことが好ましい。
第1鑑別処理部が潰瘍性大腸炎の進行度としてMatts分類のグレードを鑑別する場合、第2鑑別処理部は、潰瘍性大腸炎の進行度がグレード3以上の場合には第2鑑別処理を行わず、かつ、潰瘍性大腸炎の進行度がグレード1またはグレード2の場合に第2鑑別処理を行うことが好ましい。
第1鑑別処理部が、病変として癌を検出する場合、第2鑑別処理部は、第1鑑別処理において検出した病変が癌でない場合には第2鑑別処理を行わず、かつ、第1鑑別処理において癌を検出した場合に第2鑑別処理を行うことが好ましい。
第2鑑別処理部は、治療効果の予測に係る情報を鑑別結果として出力することが好ましい。
本発明の内視鏡装置は、スペクトルが異なる複数種類の照明光を発光する光源部と、照明光を使用して被写体を撮影することにより、被写体像を含む内視鏡画像を取得する内視鏡画像取得部と、内視鏡画像のうち、表示用の内視鏡画像を表示部に表示させる表示制御部と、内視鏡画像のうち、特定のスペクトルを有する第1照明光を使用して撮影した第1内視鏡画像を用いて、病変を検出し、かつ、検出した病変の進行度を鑑別する第1鑑別処理を行う第1鑑別処理部と、病変の種類または進行度に合わせて、照明光を第1照明光に対してスペクトルが異なる第2照明光に切り替える光源制御部と、第2照明光を使用して撮影した第2内視鏡画像であって表示用の内視鏡画像と撮影条件が異なる第2内視鏡画像を用いて、病変の進行度を詳細鑑別する第2鑑別処理を行う第2鑑別処理部と、を備え、表示制御部は、第1鑑別処理部で検出した病変の位置を示す情報及び第2鑑別処理部で詳細鑑別した病変の進行度を表示用の内視鏡画像に重畳して表示させる。
本発明の医療画像処理装置及び内視鏡装置は、病変等について従来よりも詳細な情報を提供できる。
医療画像処理装置のブロック図である。 内視鏡装置のブロック図である。 医療画像解析処理部のブロック図である。 第1鑑別処理の分類と第2鑑別処理の分類の関係を示す表である。 医療画像処理装置の作用を示すフローチャートである。 表示用の医療画像である。 第1鑑別処理用の内視鏡画像である。 第2鑑別処理用の内視鏡画像である。 鑑別結果の表示例である。 医療画像処理装置を含む内視鏡装置のブロック図である。 内視鏡装置においてリアルタイムに病変等の検出及び進行度の鑑別を行う場合のフローチャートである。 医療画像処理装置を含む診断支援装置である。 医療画像処理装置を含む医療業務支援装置である。
[第1実施形態]
図1に示すように、医療画像処理装置10は、医療画像取得部11、医療画像解析処理部12、表示部13、表示制御部15、入力受信部16、統括制御部17、及び、保存部18を備える。
医療画像取得部11は、医療装置である内視鏡装置21等から直接に、または、PACS(Picture Archiving and Communication System)22等の管理システムもしくはその他情報システムを介して、被写体像を含む医療画像を取得する。医療画像は、静止画像または動画(いわゆる検査動画)である。医療画像が動画である場合、医療画像取得部11は、検査後に、動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する1つの代表フレームの静止画像を表示することのほか、動画を1または複数回、再生することを含む。また、医療画像取得部11が取得する医療画像には、内視鏡装置21等の医療装置を用いて医師が撮影した画像の他、内視鏡装置21等の医療装置が医師の撮影指示に依らず自動的に撮影した画像を含む。
医療画像取得部11は、複数の医療画像を取得し得る場合、これらの医療画像のうち1または複数の医療画像を選択的に取得できる。また、医療画像取得部11は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像取得部11は、任意に医療画像を取得できる。
本実施形態においては、医療画像処理装置10は、内視鏡装置21と接続し、内視鏡装置21から医療画像を取得する。すなわち、本実施形態において医療画像は、内視鏡画像である。
また、病変等の検出及び病変等の進行度の鑑別を行う場合には、医療画像取得部11は、少なくとも1または複数の撮影条件が異なる内視鏡画像(医療画像)を取得する。具体的には、本実施形態においては、医療画像取得部11は、病変等を検出し、かつ、検出した病変等の進行度を粗く鑑別するための1または複数の第1内視鏡画像111(図7参照)を取得する。さらに、医療画像取得部11は、必要に応じて、病変等の進行度を詳細に鑑別するための1または複数の第2内視鏡画像121(図8参照)を取得する。
撮影条件とは、医療画像の撮影に係る条件であって、例えば、照明光のスペクトル、または、医療画像を生成する際の画像処理の有無もしくは強度、等である。照明光のスペクトルとは、波長ごとの強度分布であり、波長帯域及び中心波長の概念を含む。医療画像を生成する際の画像処理とは、例えば、特定の組織または病変等を強調する色彩等の調節に係る処理等である。上記の他、本実施形態においては、医療画像取得部11は、表示部13に表示する表示用の内視鏡画像101を取得する(図6参照)。表示用の内視鏡画像101は、多くの場合、病変等の検出及び病変等の進行度の粗鑑別に用いる第1内視鏡画像111、並びに、病変等の詳細鑑別に用いる第2内視鏡画像121とは撮影条件が異なる。但し、検出した病変等の種類または進行度によっては、表示用の内視鏡画像101を、病変等の検出、病変等の進行度の粗鑑別、または、病変等の詳細鑑別に用いることができる。本実施形態においては、一例として、病変等として潰瘍性大腸炎を検出する例を示すので、医療画像取得部11は、表示用の内視鏡画像101とは別に粗鑑別用の第1内視鏡画像111を取得するが、これらはいずれも白色光を用いて被写体を撮影した内視鏡画像であって実質的に同じ種類である。
なお、本実施形態において医療画像取得部11が取得する医療画像は、1回の特定の検査において撮影した医療画像である。また、病変等の検出及び進行度の鑑別をする部分について取得する医療画像は、原則として、画角または被写体の形状等が大きく変化しない時間的範囲内(画像処理において相互に部分の対応付けができる程度の時間的範囲内)において撮影した一連の医療画像である。
図2に示すように、本実施形態において医療画像処理装置10が接続する内視鏡装置21は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影する内視鏡31、内視鏡31を介して被写体内に照明光を照射する光源装置32、プロセッサ装置33、及び、内視鏡31を用いて撮影した内視鏡画像等を表示するモニタ34を有する。
内視鏡31は、被写体が反射または散乱した照明光、または、被写体もしくは被写体に投与した薬剤等が発光する蛍光、等を用いて被写体を撮影するイメージセンサ41を備える。イメージセンサ41は、例えば、CMOS(Complementary Metal?Oxide?Semiconductor)のカラーセンサ(カラーフィルタを有するセンサ)である。
光源装置32は、光源部42と、光源制御部47と、を含む。光源部42は、スペクトルが異なる複数種類の照明光を発光する。光源部42は、例えば、LED(Light Emitting Diode)、LD(Laser Diode)、またはキセノンランプ等の発光デバイスを備える。また、光源部42は、プリズム、ミラー、光ファイバ、または、波長帯域もしくは光量等を調節する光学フィルタ等、を必要に応じて備える。本実施形態においては、光源部42は、中心波長が約405nmの紫色光を発光するV-LED43と、中心波長が約450nmの青色光を発光するB-LED44と、中心波長が約540nmの緑色光を発光するG-LED45と、中心波長が約630nmのR-LED46と、を備える。
光源制御部47は、光源部42が含む発光源を制御し、内視鏡31が被写体の撮影に使用する照明光を発生する。また、光源制御部47は、光源部42が複数の発光デバイスを含む場合、各発光デバイスの発光のタイミング及び発光量をそれぞれに制御することができる。したがって、光源装置32は、スペクトルが異なる複数種類の照明光を、任意のタイミング及び任意の強度で内視鏡31に供給できる。例えば、本実施形態においては、光源装置32は、光源制御部47が行う制御により、白色光の他、紫色光、青色光、緑色光、赤色光、または、これら各色の光のうち2以上を任意の強度比で混合した光等を、任意のタイミング及び任意の強度で照明光として発光できる。この他、光源装置32は、発光デバイスの特性により、または、光学フィルタの使用により、特定の狭い波長帯域を有する光(いわゆる狭帯域光)を照明光として発光できる。例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光を発光できる。
プロセッサ装置33は、イメージセンサ41から内視鏡画像を取得し、または、イメージセンサ41から取得した内視鏡画像に画像処理を施した内視鏡画像を生成する内視鏡画像生成部48を備える。イメージセンサ41及び内視鏡画像生成部48は、内視鏡装置21において「内視鏡画像取得部」を構成する。内視鏡画像取得部は、照明光を使用して被写体を撮影することにより、被写体像を含む内視鏡画像を取得する。医療画像処理装置10は上記プロセッサ装置33と接続する。そして、医療画像取得部11は、内視鏡装置21の内視鏡画像生成部48から直接に内視鏡画像を取得する。
医療画像解析処理部12は、医療画像取得部11が取得した医療画像である内視鏡画像(以下、単に内視鏡画像という)を用いて解析処理をする。具体的には、図3に示すように、第1鑑別処理部51と、第2鑑別処理部52と、記憶部53と、を含む。
第1鑑別処理部51は、医療画像取得部11が取得した1または複数の医療画像のうち、特定のスペクトルを有する第1照明光を使用して撮影した第1医療画像を用いて、病変を検出し、かつ、検出した病変の進行度を鑑別する第1鑑別処理を行う。第1医療画像は、例えば、白色光を使用して撮影した医療画像であり、本実施形態において、第1医療画像は第1内視鏡画像111である。第1鑑別処理部51は、例えば、第1医療画像を用いて1または複数の所定の特徴量を算出し、算出した特徴量を用いて病変等を検出し、その進行度を鑑別する。所定の特徴量とは、病変等の検出または進行度の鑑別に必要となる特徴量であって、検出対象とする病変等の種類、または、進行度の鑑別方法によって異なる。所定の特徴量は、例えば、血管等の特定の組織または構造の形状、長さ、太さ、粘膜表面からの深さ、密度、大きさ、分布等の範囲、分岐数、複雑度、規則性の乱れ、または、その他の特徴に係る数量である。
医療画像取得部11が内視鏡画像を取得する場合、第1鑑別処理部51が病変等として検出する対象は、1または複数の病変、周辺の組織等と相違する色もしくは形状の特徴を有する領域、薬剤を散布等した領域、または、処置(生検、内視鏡的粘膜切除術(EMR(Endoscopic Mucosal Resection))、または、内視鏡的粘膜下層剥離術(ESD(Endoscopic Submucosal Dissection))等)を実施した領域、等の対象を含む領域である。医療画像が内視鏡画像である場合、病変等とは、例えば、炎症性疾患に係る炎症、または、ポリープ(隆起性病変)等である。ポリープとは、より具体的には、過形成ポリープ(HP:hyperplastic polyp)、SSA/P(sessile serrated adenoma/polyp)、腺腫、癌、等である。また、周辺の組織等と相違する色もしくは形状の特徴を有する領域とは、被写体の発赤、萎縮、憩室、または、治療痕、等である。
本実施形態においては、第1鑑別処理部51は、病変等として炎症性腸疾患である潰瘍性大腸炎を検出する。そして、進行度はいわゆる内視鏡所見分類にしたがって鑑別する。潰瘍性大腸炎の内視鏡所見分類とは、例えば、Mayo分類、Matts分類、UCEIS(Ulcerative Colitis Endoscopic. Index of Severity)分類等である。これら内視鏡所見分類のうち、本実施形態においては、第1鑑別処理において潰瘍性大腸炎の進行度をMayo分類にしたがって分類する。Mayo分類にはMayo0(グレード0)、Mayo1(グレード1)、Mayo2(グレード2)、及び、Mayo3(グレード3)の4段階のグレードがある。Mayo0は、正常または非活動性(寛解期を含む)を表すグレードである。Mayo1は、軽症を表すグレードであり、一般に、発赤、血管像不明瞭、または、軽度の易出血性が認められる状態である。Mayo2は、中等症を表すグレードであり、一般に、顕著な発赤、血管像の消失、易出血性、膿性分泌物の付着、粘膜粗造、糜爛、または、部分的な潰瘍等が認められる状態である。Mayo3は重症(活動期)を表すグレードであり、一般に、明らかな自然出血、浮腫、潰瘍(広範な潰瘍を含む)等が認められる状態である。なお、癌を対象病変とする場合の内視鏡所見分類は、NICE(The Narrow-band imaging International Colorectal Endoscopic)分類、またはJNET(The Japan NBI(Narrow Band Imaging)Expert Team)分類等がある。
第1鑑別処理部51は、医療画像の一部または全部について、病変等を検出し、かつ、病変を検出した場合にはその進行度を鑑別する。すなわち、第1鑑別処理部51は、病変等の検出及び進行度の鑑別を、画素ごとに、内視鏡画像を小領域に分ける場合にはその小領域ごとに、または、内視鏡画像の全体に対して、行うことができる。本実施形態においては、第1鑑別処理部51は、所定数の画素からなる小領域ごとに、病変等の検出及び進行度の鑑別をする。したがって、第1鑑別処理部51は、医療画像の1箇所または複数箇所において病変等を検出することができる。この他、第1鑑別処理部51は、少なくとも病変等の有無及び進行度と、病変等の検出及び進行度の鑑別の結果の確からしさを表す「確度」と、を判別結果に含めることができる。
第2鑑別処理部52は、医療画像のうち、第1照明光とはスペクトルが異なる第2照明光を使用して撮影した第2医療画像を用いて、検出した病変等の進行度を鑑別する第2鑑別処理を行う。第2医療画像は、第1照明光よりも波長帯域が狭い第2照明光を使用して撮影した医療画像であり、本実施形態において第2医療画像は、第2内視鏡画像121である。第1鑑別処理が、病変等を検出し、かつ、検出した病変等の進行度の粗く鑑別するためのある程度汎用な処理であるのに対し、第2鑑別処理は、病変等がある前提でその病変等の特性に合わせることで、第1鑑別処理よりも詳細に進行度を鑑別する処理である。第2鑑別処理部52は、例えば、第2医療画像を用いて1または複数の所定の特徴量を算出し、算出した特徴量を用いて病変等の進行度を鑑別する。第2鑑別処理部52が算出する所定の特徴量は、病変等の進行度を詳細に鑑別するために必要な特徴量であって、検出対象とする病変等の種類、または、進行度の鑑別方法によって異なる。第2鑑別処理部52は、第1鑑別処理部51が算出する所定の特徴量と同様に必要な任意の特徴量を算出できる。
なお、第2鑑別処理部52は、第2鑑別処理を必ず実施しても良く、または、第2鑑別処理を必要に応じて実施しても良い。例えば、第2鑑別処理部52は、第1鑑別処理において検出した病変等の種類が特定の種類の場合に、または、第1鑑別処理において検出した病変等の種類が特定の進行度の場合に、第2鑑別処理を行うようにしても良い。第2鑑別処理部52が第2鑑別処理を行う場合、第2鑑別処理の結果を最終鑑別結果として出力し、かつ、第2鑑別処理部が第2鑑別処理を行わない場合、第1鑑別処理の結果を最終鑑別結果として出力する。具体的には、第1鑑別処理部51が、病変等として潰瘍性大腸炎を検出し、かつ、潰瘍性大腸炎の進行度として内視鏡所見分類のグレードを鑑別する場合、第2鑑別処理部52は、潰瘍性大腸炎のグレードが特定のグレードの場合に第2鑑別処理を行う。そして、第2鑑別処理部52は、内視鏡所見分類のグレードをさらに細分化した鑑別結果を出力する。
本実施形態においては、第2鑑別処理部52は、第1鑑別処理において内視鏡所見分類に基づいて分類した進行度をさらに細分化する鑑別をする。具体的には、図4に示すように、第2鑑別処理部52は、潰瘍性大腸炎の進行度がMayo0またはMayo1の場合に第2鑑別処理を行い、かつ、Mayo2またはMayo3の場合には第2鑑別処理を行わない。そして、潰瘍性大腸炎がMayo分類における4段階のグレードのうちMayo0である場合、第2鑑別処理部52は、Mayo0をさらにMayo0-I、Mayo0-II、及び、Mayo0-IIIの3段階のグレードに細分化して進行度を鑑別する。Mayo0-Iは、Mayo0の中でもMayo1から最も遠い、ほぼ確実に正常または非活動性であることを表す。Mayo0-IIIは、Mayo0の中でもMayo1に近い進行度を表す。Mayo0-IIは、Mayo0-IとMayo0-IIIの中間の進行度であることを表す。また、潰瘍性大腸炎の進行度がMayo1である場合、第2鑑別処理部52は、Mayo1をさらにMayo1-I、Mayo1-II、及び、Mayo1-IIIの3段階に分けて進行度を鑑別する。Mayo1-Iは、Mayo1の中でもMayo0に近い進行度であることを表し、Mayo1-IIIはMayo1の中でもMayo2に近い進行度であることを表す。Mayo1-IIは、Mayo1-IとMayo1-IIIの中間の進行度であることを表す。
記憶部53は、検出対象とする病変等の種類または進行度ごとに、第1鑑別処理に用いる第1医療画像を取得するための第1照明光と、第2鑑別処理に用いる第2医療画像を取得するための第2照明光と、の組み合わせを予め記憶する。このため、第1鑑別処理部51は、設定により、検出及び鑑別の対象とする病変等の種類が定まると、記憶部53に記憶した上記組み合わせにしたがって、第1照明光を用いて撮影した第1医療画像を第1鑑別処理に使用する。同様に、第2鑑別処理部52は、設定により、検出及び鑑別の対象とする病変等の種類が定まると、記憶部53に記憶した上記組み合わせにしたがって、第2照明光を用いて撮影した第2医療画像を第2鑑別処理に使用する。記憶部53が記憶する第1照明光と第2照明光の組み合わせは、第1鑑別処理において検出する病変等の種類、または、第1鑑別処理において検出する病変等の進行度によって予め定める。
なお、医療画像取得部11は、第1鑑別処理部51及び第2鑑別処理部52が要求する可能性がある医療画像を予め取得することができる。また、医療画像取得部11は、第1鑑別処理部51または第2鑑別処理部52が要求した医療画像を未取得である場合、第1鑑別処理部51または第2鑑別処理部52の要求にしたがって、第2鑑別処理に使用する医療画像を取得する。
また、第1鑑別処理部51及び第2鑑別処理部52は、表示制御部15が表示用の医療画像である表示用の内視鏡画像101を表示部13に表示している間に、各々の鑑別処理を行う。但し、表示制御部15は、第1鑑別処理または第2鑑別処理を行っている途中で、表示部13に表示する表示用の内視鏡画像101を更新する場合がある。すなわち、「表示制御部15が表示用の医療画像である表示用の内視鏡画像101を表示部13に表示している間に、各々の鑑別処理を行う」とは、表示用の内視鏡画像101を表示部13に表示する表示制御のバックグラウンドで、第1鑑別処理及び第2鑑別処理を実行することを意味する。
表示部13は、医療画像取得部11が取得した医療画像、病変等の検出結果、及び、病変等の鑑別結果等を表示するディスプレイである。医療画像処理装置10が接続するデバイス等が含むモニタまたはディスプレイを共用し、医療画像処理装置10の表示部13として使用できる。
表示制御部15は、表示部13における医療画像、病変等の検出結果、及び、病変等の鑑別結果等の表示態様を制御する。本実施形態においては、表示制御部15は、少なくとも第2鑑別処理部52の鑑別結果を、表示部13等を用いて表示する。具体的には、第1鑑別処理部51が検出した病変等の位置を表示用の内視鏡画像101に重畳して表示し、かつ、第2鑑別処理部52の判別結果である病変等の進行度を表すメッセージ等を表示部13に表示する。なお、設定によっては、表示制御部15は、音(音声を含む)、光(表示用の内視鏡画像101の部分的な点滅等)、座標の表示等、その他の任意の方法で、検出した病変等の位置及び第2鑑別処理部52の鑑別結果を示すことができる。
入力受信部16は、医療画像処理装置10に接続するマウス、キーボード、その他操作デバイスからの入力を受け付ける。医療画像処理装置10の各部の動作はこれらの操作デバイスを用いて制御できる。
統括制御部17は、医療画像処理装置10の各部の動作を統括的に制御する。入力受信部16が操作デバイスを用いた操作入力を受信した場合には、統括制御部17は、その操作入力にしたがって医療画像処理装置10の各部を制御する。
保存部18は、医療画像処理装置10が含むメモリ等の記憶デバイス(図示しない)、または、内視鏡装置21等の医療装置もしくはPACS22が含む記憶デバイス(図示しない)に、必要に応じて、病変等の検出結果、進行度の鑑別結果、または、これらの両方、等を保存する。
以下、医療画像処理装置10の動作の流れを説明する。図5に示すように、医療画像取得部11は、自動的に、または、手動選択により、複数の表示用の内視鏡画像101を取得し(ステップS110)、表示制御部15は、医療画像取得部11が取得した表示用の内視鏡画像101を表示部13に順次表示する(ステップS111)。本実施形態においては、例えば、図6に示す表示用の内視鏡画像101を取得及び表示する。
一方、バックグランドでは、医療画像取得部11は、第1鑑別処理用の医療画像である第1医療画像を取得する(ステップS112)。本実施形態においては、潰瘍性大腸炎を検出対象とするので、図7に示すように、医療画像取得部11は、第1医療画像として、白色光(第1照明光)を用いて撮影した第1内視鏡画像111を取得する。
医療画像取得部11が第1内視鏡画像111を取得すると(取得した後に)、第1鑑別処理部51は第1内視鏡画像111を用いて第1鑑別処理をする(ステップS113)。例えば、第1鑑別処理部51は、第1内視鏡画像111から潰瘍性大腸炎に起因した炎症がある領域(以下、炎症領域という)112を検出する。そして、炎症領域112の特徴量を用いて、潰瘍性大腸炎の進行度を鑑別する。本実施形態においては、潰瘍性大腸炎の進行度は、Mayo分類においてMayo1のグレードであるとする。
第1鑑別処理部51が病変等の検出及び病変等の進行度の鑑別を完了すると(完了した後に)、第2鑑別処理部52は、第2鑑別処理の必要性を判断する(ステップS114)。そして、第2鑑別処理が必要な場合には(ステップS114:YES)、医療画像取得部11は第2鑑別処理用の医療画像である第2医療画像を取得する(ステップS115)。本実施形態においては、潰瘍性大腸炎を検出対象とするので、図8に示すように、医療画像取得部11は、第2医療画像として、白色光よりも特定の青色または特定の紫色を多く含む照明光(第2照明光)を使用して撮影した第2内視鏡画像121を取得する。第2内視鏡画像121は、白色光よりも特定の青色または特定の紫色を多く含む照明光を使用して撮影しているので、第1内視鏡画像111よりも、炎症領域112の組織または構造等がより詳細に観察できる。
医療画像取得部11が第2鑑別処理用の第2内視鏡画像121を取得すると(取得した後に)、第2鑑別処理部52は、第2内視鏡画像121を用いて第2鑑別処理をする(ステップS116)。具体的には、第2鑑別処理部52は、炎症領域112の組織または構造等が明瞭な炎症領域112について所定の特徴量(規則性の乱れ等)を算出し、算出した所定の特徴量を用いて、Mayo分類をさらに細分化した進行度を鑑別する。本実施形態においては、第2鑑別処理における潰瘍性大腸炎の鑑別結果は、Mayo1-Iであるとする。
上記のように、第2鑑別処理が完了すると(完了した後に)、表示制御部15は、例えば図9に示すように、表示用の内視鏡画像101において輪郭を示す等して炎症領域112の所在を示し、かつ、第2鑑別処理の鑑別結果である細分化したMayo分類のグレードを示す(ステップS117)。
上記のように、医療画像処理装置10は、第1段階として、病変等を検出し、かつ、分類にしたがって病変等の進行度を鑑別する。医療装置が診断等を支援するために提示する情報としてはこれで足りるが、医療画像処理装置10は、さらに、第2段階として、一般的な分類等をさらに細分化して、検出した病変等の進行度を鑑別し、その結果を医師等に提示する。医療画像処理装置10が提示する従来よりも細分化した鑑別結果を見れば、医師等は容易に鑑別診断できる。すなわち、医療画像処理装置10は、病変等について従来よりも詳細な情報を提供して、診断等をより効果的に支援することができる。
特に、潰瘍性大腸炎については、Mayo0からMayo1程度の進行度である場合、炎症等の特徴が比較的小さいため、鑑別診断が容易でなく、かつ、Mayo0からMayo1程度の進行度を正確に鑑別することが、潰瘍性大腸炎の治療等において特に重要である。例えば、Mayo1の進行度であっても、Mayo2に近い状態とMayo0に近い状態とでは対処が異なる場合があるからである。したがって、上記のようにMayo0またはMayo1の進行度をさらに細分化して鑑別し、その結果を提示するので、医療画像処理装置10は潰瘍性大腸炎の診断等を特に効果的に支援することができる。
上記第1実施形態においては、潰瘍性大腸炎を検出対象とし、かつ、その進行度をMayo分類にしたがって鑑別しているが、Mayo分類以外の内視鏡所見分類を用いて潰瘍性大腸炎の進行度を鑑別する場合も、上記第1実施形態と同様である。例えば、Matts分類のグレード1,グレード2,グレード3,及びグレード4は、それぞれMayo分類のグレード0,グレード2,グレード3,及びグレード4に概ね対応する。このため、潰瘍性大腸炎を検出対象とし、かつ、Matts分類にしたがって進行度を鑑別する場合、第2鑑別処理部52は、潰瘍性大腸炎の進行度がグレード3以上の場合には第2鑑別処理を行わず、かつ、潰瘍性大腸炎の進行度がグレード1またはグレード2の場合に第2鑑別処理を行う。
上記第1実施形態においては、第2鑑別処理部52は、第2鑑別処理において、Mayo1及びMayo0をさらに3段階のグレードに細分化して潰瘍性大腸炎の進行度を鑑別しているが、第2鑑別処理においてどのグレードをさらに細分化するかは任意である。また、何段階に細分化するかも任意である。潰瘍性大腸炎以外の病変等を検出する場合、または、Mayo分類以外の分類にしたがって第1鑑別処理をする場合においても同様である。
上記第1実施形態においては、第1鑑別処理部51は、病変等として炎症性腸疾患である潰瘍性大腸炎を検出しているが、第1鑑別処理部51は癌または癌に発展する可能性がある病態(腺腫等の他、癌に発展する可能性が低いが鑑別が必要な良性のポリープを含む。以下、癌等という)を検出できる。第1鑑別処理部51が、病変等として癌等を検出する場合、第2鑑別処理部52は、第1鑑別処理において検出した病変等が癌でない場合には第2鑑別処理を行わず、かつ、第1鑑別処理において癌を検出した場合に第2鑑別処理を行う。また、癌等を検出対象とする場合、第2鑑別処理部52は、進行度を従来よりも細分化して鑑別する代わりに、治療効果の予測に係る情報を鑑別結果として出力することができる。治療効果の予測に係る情報とは、例えば、特定の治療薬または治療方法が検出した癌等に有効であるか否か、または、特定の治療薬または治療方法が検出した癌等にどの程度有効であるか、等の内容を含む情報である。
上記第1実施形態においては、所定の特徴量を算出して第1鑑別処理及び第2鑑別処理を行っているが、第1鑑別処理部51または第2鑑別処理部52は、特徴量を使用する代わりに、例えば、テクスチャ解析または規則形状を用いたパターンマッチングにより、病変等を検出し、または、病変等の進行度を鑑別できる。
第1実施形態における第1鑑別処理部51、第2鑑別処理部52、及び記憶部53は、機械学習またはディープラーニング等により学習した、いわゆるAI(Artificial Intelligence)プログラムを用いて構成することができる。
[第2実施形態]
上記第1実施形態においては、医療画像処理装置10と内視鏡装置21は別個の装置であるが、内視鏡装置21は、医療画像処理装置10を含むことができる。この場合、図10に示す内視鏡装置510のように、医療画像処理装置10を構成する各部520は、プロセッサ装置33に設ける。但し、表示部13は、内視鏡装置21のモニタ34を共用できる。また、医療画像取得部11は、イメージセンサ41及び内視鏡画像生成部48が形成する「内視鏡画像取得部」に相当する。このため、プロセッサ装置33には医療画像取得部11及び表示部13以外の各部を設ければ足りる。その他の各部の構成は、第1実施形態と同様である。また、上記各実施形態及びその他変形例の医療画像処理装置10と、図2の内視鏡装置21と、の全体で新たな内視鏡装置を構成できる。
医療画像処理装置10を含む内視鏡装置510は、基本的にリアルタイムに被写体を観察する装置である。このため、内視鏡装置510は、医療画像である内視鏡画像の取得、第1鑑別処理、第2鑑別処理、及び、鑑別結果の表示処理等は、内視鏡画像を撮影しながらリアルタイムで、または、各種操作部等の操作に起因した任意のタイミングで実行できる。
以下、医療画像処理装置10を含む内視鏡装置21がリアルタイムに病変等の検出及び進行度の鑑別をする場合の動作の流れを説明する。図11に示すように、内視鏡装置510は、例えば、白色光を用いて被写体を逐次撮影し、表示用の内視鏡画像101を取得し(ステップS210)、取得した表示用の内視鏡画像101をモニタ34に表示する(ステップS211)。内視鏡装置510は、これらのステップを、例えば、所定のフレームレートで常時繰り返し実行する。このため、医師等は、被写体をリアルタイムに観察できる。
また、統括制御部17は、一連の表示用の内視鏡画像101の撮影の間に、表示用の内視鏡画像101の連続した表示に支障がない所定のタイミングで、間欠的に、第1鑑別処理用の撮影を割り込ませる。これにより、内視鏡画像取得部は、第1鑑別処理用の医療画像である第1内視鏡画像111を取得する(ステップS212)。但し、潰瘍性大腸炎が検出対象である場合、第1鑑別処理用の第1内視鏡画像111は、表示用の内視鏡画像101と同様に白色光を用いて撮影するので、このステップS212を省略し、表示用の内視鏡画像101を第1鑑別処理に利用できる。
第1鑑別処理部51は、上記のようにリアルタイムに取得した第1内視鏡画像111を用いて第1鑑別処理をする(ステップS213)。これにより、第1鑑別処理部51は、潰瘍性大腸炎に起因した炎症領域112を検出し、かつ、潰瘍性大腸炎の進行度を例えばMayo分類にしたがって鑑別する。これらは、第1実施形態と同様である。
その後、第2鑑別処理部52は、第2鑑別処理の必要性を判断する(ステップS214)。第2鑑別処理が必要な場合(ステップS214:YES)、統括制御部17は、一連の表示用の内視鏡画像101の撮影の間に、表示用の内視鏡画像101の連続した表示に支障がない所定のタイミングで、間欠的に、第2鑑別処理用の撮影を割り込ませる。すなわち、光源制御部47は、病変の種類または進行度に合わせて、照明光を第1照明光に対してスペクトルが異なる第2照明光に切り替え、イメージセンサ41は、第2照明光を用いて被写体を撮影する。これにより、内視鏡画像取得部は、第2鑑別処理用の医療画像である第2内視鏡画像121を取得する(ステップS216)。
なお、リアルタイムに病変等の検出及び進行度の鑑別をする場合、記憶部53は、検出対象とする病変等の種類または進行度ごとに、第1医療画像の撮影に利用する第1照明光と、第2医療画像の撮影に利用する第2照明光の組み合わせ(第1照明光と第2照明光の各スペクトル、または、特定のスペクトルを有する第1照明光と第2照明光を実現するための発光源の光量比等)を、予め記憶する。光源制御部47は、記憶部53に記憶した組み合わせを参照して光源部42を制御する。このため、光源部42は、第1鑑別処理用の撮影をする際には適切な第1照明光を発光し、かつ、第2鑑別処理用の撮影をする際には適切な第2照明光を発光する。
医療画像取得部11が第2鑑別処理用の第2内視鏡画像121を取得すると(取得した後に)、第2鑑別処理部52は、表示制御のバックグラウンドで、第2内視鏡画像121を用いてリアルタイムに第2鑑別処理を実行する(ステップS117)。第2鑑別処理が完了すると(完了した後に)、表示制御部15は、表示用の内視鏡画像101において輪郭を示す等して炎症領域112の所在を示し、かつ、第2鑑別処理の鑑別結果である細分化したMayo分類のグレードを示す(ステップS118)。
上記のように、医療画像処理装置10を含む内視鏡装置510は、リアルタイムに第1鑑別処理及び第2鑑別処理等を行って、リアルタイムに診断等を支援することができる。
なお、上記第2実施形態においては、内視鏡装置510が医療画像処理装置10を含んでいるが、図12に示すように、内視鏡装置21その他モダリティと組み合わせて使用する診断支援装置610は、上記実施形態及びその他変形例の医療画像処理装置10を含むことができる。また、図13に示すように、例えば内視鏡装置21を含む、第1検査装置621、第2検査装置622、…、第N検査装置623等の各種検査装置と任意のネットワーク626を介して接続する医療業務支援装置630は、上記実施形態及びその他変形例の医療画像処理装置10を含むことができる。
この他、医療画像処理装置10、及び、医療画像処理装置10を含む各種装置、及び、医療画像処理装置10の機能を内包する各種装置またはシステムは、以下の種々の変更等をして使用できる。
医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。
医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。
特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。
特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、可視域の赤色帯域である。
特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、585nm以上615nmまたは610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。
特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。
また、蛍光は、ピーク波長が390nm以上470nm以下である励起光を生体内に照射して得る蛍光を利用できる。
医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。
医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、790nm以上820nmまたは905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像取得部11は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。
特定の波長帯域の信号は、通常光画像に含むRGBまたはCMYの色情報に基づく演算により得ることができる。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。
内視鏡装置21については、内視鏡31としてカプセル内視鏡を使用できる。この場合、光源装置32と、プロセッサ装置33の一部と、はカプセル内視鏡に搭載できる。
上記各実施形態及び変形例において、医療画像取得部11、医療画像解析処理部12(医療画像解析処理部12を構成する各部)、表示制御部15、入力受信部16、統括制御部17、並びに、内視鏡装置21の内視鏡画像生成部48等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 医療画像処理装置
11 医療画像取得部
12 医療画像解析処理部
13 表示部
15 表示制御部
16 入力受信部
17 統括制御部
18 保存部
21,510 内視鏡装置
22 PACS
31 内視鏡
32 光源装置
33 プロセッサ装置
34 モニタ
41 イメージセンサ
42 光源部
43 V-LED
44 B-LED
45 G-LED
46 R-LED
47 光源制御部
48 内視鏡画像生成部
51 第1鑑別処理部
52 第2鑑別処理部
53 記憶部
101 表示用の内視鏡画像
111 第1内視鏡画像
112 炎症領域
121 第2内視鏡画像
520 医療画像処理装置を構成する各部
610 診断支援装置
621 第1検査装置
622 第2検査装置
623 第N検査装置
626 ネットワーク
630 医療業務支援装置
S110~S218 動作のステップ

Claims (19)

  1. 被写体像を含む医療画像を取得する医療画像取得部と、
    前記医療画像のうち、表示用の医療画像を表示部に表示させる表示制御部と、
    前記医療画像のうち、特定のスペクトルを有する第1照明光を使用して撮影した第1医療画像を用いて、病変を検出し、かつ、検出した前記病変の進行度を鑑別する第1鑑別処理を行う第1鑑別処理部と、
    前記医療画像のうち、前記第1照明光とはスペクトルが異なる第2照明光を使用して撮影した第2医療画像であって前記表示用の医療画像と撮影条件が異なる第2医療画像を用いて、前記病変の進行度を詳細鑑別する第2鑑別処理を行う第2鑑別処理部と、
    を備え、
    前記表示制御部は、前記第1鑑別処理部で検出した前記病変の位置を示す情報及び前記第2鑑別処理部で詳細鑑別した前記病変の進行度を前記表示用の医療画像に重畳して表示させる医療画像処理装置。
  2. 前記第1鑑別処理部及び前記第2鑑別処理部は、前記表示制御部が前記表示用の医療画像を前記表示部に表示している間に前記第1鑑別処理及び第2鑑別処理を実行する請求項1記載の医療画像処理装置。
  3. 前記第1鑑別処理部は、前記表示用の医療画像を前記第1医療画像として前記第1鑑別処理を実行する請求項1又は2に記載の医療画像処理装置。
  4. 前記表示用の医療画像は、前記第1医療画像と異なる撮影条件で取得された画像である請求項1又は2に記載の医療画像処理装置。
  5. 前記第1鑑別処理部及び第2鑑別処理部は、前記病変として炎症を検出し、
    前記第2医療画像は、前記第1照明光よりも特定の青色または特定の紫色を多く含む前記第2照明光を使用して撮影した前記医療画像である請求項1から4のいずれか1項に記載の医療画像処理装置。
  6. 前記第1照明光と、前記第2照明光と、の組み合わせを予め記憶する記憶部を備える請求項1から5のいずれか1項に記載の医療画像処理装置。
  7. 前記第1鑑別処理において検出する前記病変の種類、または、前記第1鑑別処理において検出する前記病変の進行度によって、前記第1照明光と前記第2照明光の組み合わせを定める請求項6に記載の医療画像処理装置。
  8. 前記第2医療画像は、前記第1照明光よりも波長帯域が狭い前記第2照明光を使用して撮影した前記医療画像である請求項1から7のいずれか1項に記載の医療画像処理装置。
  9. 前記第2医療画像は、前記第1照明光よりも特定の青色または特定の紫色を多く含む前記第2照明光を使用して撮影した前記医療画像である請求項1から4、及び6から8のいずれか1項に記載の医療画像処理装置。
  10. 前記第1医療画像は、白色光を使用して撮影した前記医療画像である請求項1から9のいずれか1項に記載の医療画像処理装置。
  11. 前記第1鑑別処理部は、前記病変として炎症性腸疾患または癌を検出する請求項1から10のいずれか1項に記載の医療画像処理装置。
  12. 前記第2鑑別処理部は、前記第1鑑別処理において検出した前記病変の種類が特定の種類の場合に、または、前記第1鑑別処理において検出した前記病変が特定の進行度の場合に、前記第2鑑別処理を行う請求項1から11のいずれか1項に記載の医療画像処理装置。
  13. 前記第2鑑別処理部が前記第2鑑別処理を行う場合、前記第2鑑別処理の結果を最終鑑別結果として出力し、かつ、前記第2鑑別処理部が前記第2鑑別処理を行わない場合、前記第1鑑別処理の結果を最終鑑別結果として出力する請求項12に記載の医療画像処理装置。
  14. 前記第1鑑別処理部が、前記病変として潰瘍性大腸炎を検出し、かつ、潰瘍性大腸炎の進行度として内視鏡所見分類のグレードを鑑別する場合、
    前記第2鑑別処理部は、潰瘍性大腸炎のグレードが特定のグレードの場合に前記第2鑑別処理を行う請求項11に記載の医療画像処理装置。
  15. 前記第2鑑別処理部は、前記内視鏡所見分類のグレードをさらに細分化した鑑別結果を出力する請求項14に記載の医療画像処理装置。
  16. 前記第1鑑別処理部が潰瘍性大腸炎の進行度としてMayo分類のグレードを鑑別する場合、
    前記第2鑑別処理部は、潰瘍性大腸炎の進行度がグレード2またはグレード3の場合には前記第2鑑別処理を行わず、かつ、潰瘍性大腸炎の進行度がグレード0またはグレード1の場合に前記第2鑑別処理を行う請求項14または15に記載の医療画像処理装置。
  17. 前記第1鑑別処理部が潰瘍性大腸炎の進行度としてMatts分類のグレードを鑑別する場合、
    前記第2鑑別処理部は、潰瘍性大腸炎の進行度がグレード3以上の場合には前記第2鑑別処理を行わず、かつ、潰瘍性大腸炎の進行度がグレード1またはグレード2の場合に前記第2鑑別処理を行う請求項14または15に記載の医療画像処理装置。
  18. 前記第1鑑別処理部が、前記病変として癌を検出する場合、
    前記第2鑑別処理部は、前記第1鑑別処理において検出した前記病変が癌でない場合には前記第2鑑別処理を行わず、かつ、前記第1鑑別処理において癌を検出した場合に前記第2鑑別処理を行う請求項11に記載の医療画像処理装置。
  19. スペクトルが異なる複数種類の照明光を発光する光源部と、
    前記照明光を使用して被写体を撮影することにより、被写体像を含む内視鏡画像を取得する内視鏡画像取得部と、
    前記内視鏡画像のうち、表示用の内視鏡画像を表示部に表示させる表示制御部と、
    前記内視鏡画像のうち、特定のスペクトルを有する第1照明光を使用して撮影した第1内視鏡画像を用いて、病変を検出し、かつ、検出した前記病変の進行度を鑑別する第1鑑別処理を行う第1鑑別処理部と、
    前記病変の種類または進行度に合わせて、前記照明光を前記第1照明光に対してスペクトルが異なる第2照明光に切り替える光源制御部と、
    前記第2照明光を使用して撮影した第2内視鏡画像であって前記表示用の内視鏡画像と撮影条件が異なる第2内視鏡画像を用いて、前記病変の進行度を詳細鑑別する第2鑑別処理を行う第2鑑別処理部と、
    を備え、
    前記表示制御部は、前記第1鑑別処理部で検出した前記病変の位置を示す情報及び前記第2鑑別処理部で詳細鑑別した前記病変の進行度を前記表示用の内視鏡画像に重畳して表示させる内視鏡装置。
JP2019549293A 2017-10-17 2018-10-16 医療画像処理装置、及び、内視鏡装置 Active JP7033146B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022027972A JP7296498B2 (ja) 2017-10-17 2022-02-25 医療画像処理装置、及び、内視鏡装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017201333 2017-10-17
JP2017201333 2017-10-17
PCT/JP2018/038496 WO2019078204A1 (ja) 2017-10-17 2018-10-16 医療画像処理装置、及び、内視鏡装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022027972A Division JP7296498B2 (ja) 2017-10-17 2022-02-25 医療画像処理装置、及び、内視鏡装置

Publications (2)

Publication Number Publication Date
JPWO2019078204A1 JPWO2019078204A1 (ja) 2020-10-22
JP7033146B2 true JP7033146B2 (ja) 2022-03-09

Family

ID=66174153

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019549293A Active JP7033146B2 (ja) 2017-10-17 2018-10-16 医療画像処理装置、及び、内視鏡装置
JP2022027972A Active JP7296498B2 (ja) 2017-10-17 2022-02-25 医療画像処理装置、及び、内視鏡装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022027972A Active JP7296498B2 (ja) 2017-10-17 2022-02-25 医療画像処理装置、及び、内視鏡装置

Country Status (5)

Country Link
US (2) US11574401B2 (ja)
EP (1) EP3698702B1 (ja)
JP (2) JP7033146B2 (ja)
CN (1) CN111212591B (ja)
WO (1) WO2019078204A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019122338A1 (en) * 2017-12-22 2019-06-27 Syddansk Universitet Dual-mode endoscopic capsule with image processing capabilities
JP7010774B2 (ja) * 2018-06-26 2022-01-26 トヨタ自動車株式会社 中間工程状態推定方法
WO2020012872A1 (ja) * 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
CN110599451B (zh) * 2019-08-05 2023-01-20 平安科技(深圳)有限公司 医学图像病灶检测定位方法、装置、设备及存储介质
CN114521122A (zh) * 2019-09-27 2022-05-20 富士胶片株式会社 图像处理装置、内窥镜系统及图像处理的工作方法
CN114585291A (zh) * 2019-10-23 2022-06-03 富士胶片株式会社 图像处理装置及其工作方法
US20220028547A1 (en) * 2020-07-22 2022-01-27 Iterative Scopes, Inc. Systems and methods for analysis of medical images for scoring of inflammatory bowel disease
WO2022071413A1 (ja) * 2020-10-02 2022-04-07 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JPWO2022209390A1 (ja) * 2021-03-31 2022-10-06
WO2023282144A1 (ja) * 2021-07-07 2023-01-12 富士フイルム株式会社 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006068488A (ja) 2004-08-31 2006-03-16 Olympus Corp カプセル内視鏡
WO2013140667A1 (ja) 2012-03-21 2013-09-26 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2015085152A (ja) 2013-09-26 2015-05-07 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP2016077756A (ja) 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2145232A1 (en) * 1994-03-24 1995-09-25 Arie Avny Viewing method and apparatus particularly useful for viewing the interior of the large intestine
JP3895400B2 (ja) * 1996-04-30 2007-03-22 オリンパス株式会社 診断支援装置
JP5178991B2 (ja) * 2004-08-27 2013-04-10 オリンパス株式会社 カプセル型内視鏡
US7153259B2 (en) 2003-09-01 2006-12-26 Olympus Corporation Capsule type endoscope
JP2006198106A (ja) 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
NZ562455A (en) * 2005-04-14 2010-05-28 Fujirebio Kk Method for determining pre-remission phase of ulcerative colitis using PGE-MUM and reagent kit for the same
JP2007260144A (ja) 2006-03-28 2007-10-11 Olympus Medical Systems Corp 医療用画像処理装置及び医療用画像処理方法
WO2008041809A1 (en) * 2006-10-02 2008-04-10 University Industry Cooperation Foundation Korea Aerospace University Capsule type endoscope device
US8849380B2 (en) * 2007-11-26 2014-09-30 Canfield Scientific Inc. Multi-spectral tissue imaging
JP5506443B2 (ja) * 2010-02-10 2014-05-28 オリンパス株式会社 蛍光観察装置
JP2011250926A (ja) * 2010-06-01 2011-12-15 Fujifilm Corp 電子内視鏡システム
JP2012000160A (ja) * 2010-06-14 2012-01-05 Fujifilm Corp 内視鏡装置
CA2805548A1 (en) * 2010-07-02 2012-01-05 Vib Vzw The role of fragile x mental retardation gene and protein in cancer metastasis
JP5486432B2 (ja) * 2010-07-28 2014-05-07 富士フイルム株式会社 画像処理装置、その作動方法およびプログラム
JP5335017B2 (ja) * 2011-02-24 2013-11-06 富士フイルム株式会社 内視鏡装置
EP3412309A1 (en) * 2011-03-31 2018-12-12 F. Hoffmann-La Roche AG Methods of administering beta7 integrin antagonists
US20130345510A1 (en) * 2011-05-10 2013-12-26 Ron Hadani Method and endoscopic device for examining or imaging an interior surface of a corporeal cavity
JP5611892B2 (ja) 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5502812B2 (ja) * 2011-07-14 2014-05-28 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
CN102429679A (zh) * 2011-09-09 2012-05-02 华南理工大学 基于胸部ct图像的肺气肿计算机辅助诊断系统
JP5816511B2 (ja) 2011-10-04 2015-11-18 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
US9795330B2 (en) * 2011-12-15 2017-10-24 Given Imaging Ltd. Device, system and method for in-vivo detection of bleeding in the gastrointestinal tract
JP6027803B2 (ja) 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
CN103834722B (zh) * 2013-06-19 2016-09-21 珠海华信解码医学科技有限公司 适用于结肠癌普查的核心基因芯片及探针
JP6154021B2 (ja) * 2013-11-11 2017-06-28 富士フイルム株式会社 放射線画像撮影装置、放射線画像撮影方法、及び放射線画像撮影プログラム
US9342881B1 (en) * 2013-12-31 2016-05-17 Given Imaging Ltd. System and method for automatic detection of in vivo polyps in video sequences
WO2016006371A1 (ja) * 2014-07-09 2016-01-14 オリンパス株式会社 内視鏡システム及び内視鏡用光源装置
WO2016080813A1 (en) * 2014-11-21 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for processing medical image
JP6469558B2 (ja) 2015-10-07 2019-02-13 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
TWI537762B (zh) * 2016-01-12 2016-06-11 Application of hyperfamily imaging to identification of cancerous lesions
JP6581923B2 (ja) 2016-03-03 2019-09-25 富士フイルム株式会社 画像処理装置とその作動方法および作動プログラム
CN107203778A (zh) * 2017-05-05 2017-09-26 平安科技(深圳)有限公司 视网膜病变程度等级检测系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006068488A (ja) 2004-08-31 2006-03-16 Olympus Corp カプセル内視鏡
WO2013140667A1 (ja) 2012-03-21 2013-09-26 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2015085152A (ja) 2013-09-26 2015-05-07 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP2016077756A (ja) 2014-10-21 2016-05-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Also Published As

Publication number Publication date
US11574401B2 (en) 2023-02-07
EP3698702A4 (en) 2020-11-25
US20200242764A1 (en) 2020-07-30
CN111212591A (zh) 2020-05-29
CN111212591B (zh) 2022-08-02
US20230119040A1 (en) 2023-04-20
JP7296498B2 (ja) 2023-06-22
JPWO2019078204A1 (ja) 2020-10-22
EP3698702A1 (en) 2020-08-26
JP2022060540A (ja) 2022-04-14
WO2019078204A1 (ja) 2019-04-25
EP3698702B1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
JP7033146B2 (ja) 医療画像処理装置、及び、内視鏡装置
JP6827557B2 (ja) 医療画像処理装置
JP6785941B2 (ja) 内視鏡システム及びその作動方法
JP6920931B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
JP7411618B2 (ja) 医療画像処理装置
JP7009636B2 (ja) 内視鏡システム
JP6936401B2 (ja) 医療画像処理システム
JP6785990B2 (ja) 医療画像処理装置、及び、内視鏡装置
JP7116176B2 (ja) 医療画像処理システム
JP6834019B2 (ja) 医療画像処理装置、及び、内視鏡装置
JP6866497B2 (ja) 医療画像処理装置、及び、内視鏡装置
US11830185B2 (en) Medical image processing system and learning method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220225

R150 Certificate of patent or registration of utility model

Ref document number: 7033146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150