JP6346576B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP6346576B2 JP6346576B2 JP2015037539A JP2015037539A JP6346576B2 JP 6346576 B2 JP6346576 B2 JP 6346576B2 JP 2015037539 A JP2015037539 A JP 2015037539A JP 2015037539 A JP2015037539 A JP 2015037539A JP 6346576 B2 JP6346576 B2 JP 6346576B2
- Authority
- JP
- Japan
- Prior art keywords
- score
- image
- pixel
- color
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 131
- 238000000034 method Methods 0.000 claims description 145
- 230000003902 lesion Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 31
- 229920006395 saturated elastomer Polymers 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 description 16
- 239000008280 blood Substances 0.000 description 14
- 210000004369 blood Anatomy 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 13
- 206010061218 Inflammation Diseases 0.000 description 11
- 238000012937 correction Methods 0.000 description 11
- 230000004054 inflammatory process Effects 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 11
- 230000014509 gene expression Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012854 evaluation process Methods 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 8
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 7
- 229910052760 oxygen Inorganic materials 0.000 description 7
- 239000001301 oxygen Substances 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 239000002131 composite material Substances 0.000 description 6
- 101001005165 Bos taurus Lens fiber membrane intrinsic protein Proteins 0.000 description 5
- 239000013256 coordination polymer Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 208000022559 Inflammatory bowel disease Diseases 0.000 description 4
- 208000025865 Ulcer Diseases 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 231100000397 ulcer Toxicity 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000002008 hemorrhagic effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図1は、本発明の電子内視鏡装置1の構成を示すブロック図である。図1に示されるように、電子内視鏡装置1は、電子スコープ100、プロセッサ200及びモニタ900を備えている。
次に、画像処理回路220が行う処理について説明する。
図4は、画像処理回路220が行う処理の手順を示すフローチャートである。AFE114から出力されたデジタル信号は、先ず基本処理部220aによって一般的な信号処理(基本処理S1)が行われて、通常観察画像データNが生成される。
次に、画像解析モードに設定されているか否かが判断される(S2)。本発明の実施形態に係る画像解析モードは、画像データの各画素について色情報を解析し、色情報の解析結果から所定の判定基準に基づいて病変部が写された画素(以下「病変画素」という。)であるか否かを判定して、病変画素を識別表示する動作モードである。判定する病変の種類は、検査内容に応じて選択することができる。以下に説明する例は、炎症性腸疾患(IBD)の病変である炎症(浮腫や易出血性を含む赤変病変)の観察像に特有な色域の画素を抽出して、識別表示するものである。
画像解析モードが選択されている場合は(S2:Yes)、次にTE処理部221によるTE処理S3が行われる。TE処理S3は、病変の判定精度を上げるために、通常観察画像データNの各原色信号R,G,Bに対して非線形なゲイン(利得)を与えるゲイン調整を行い、判定対象の病変に特有の色域(特にその境界部)付近におけるダイナミックレンジを実質的に広げて、色表現の実効的な分解能を高める処理である。具体的には、TE処理S3では、各原色信号R,G,Bに対して、図5に示すような非線形のゲインを与えて原色信号R´,G´,B´(TE画像データE)を取得する処理が行われる。例えば、図5のゲイン曲線は、潰瘍に特徴的な色域の境界領域RAから、炎症に特徴的な色域の境界領域RBにかけて、傾きが急峻になっている。このようなゲイン曲線に従ってゲインを与えることにより、境界領域RAから境界領域RBにかけて原色信号R´(原色信号Rに対してTE処理S3を施した信号)の実質的なダイナミックレンジを広げることができ、より精密な閾値判定が可能になる。
TE処理S3が完了すると、次にTE画像データEに対して有効画素判定部222による有効画素判定処理S4が行われる。なお、TE処理S3を省略して、通常観察画像データNに対して有効画素判定処理S4を行うこともできる。
0:画素データ無効
1:正常又は未判定(画素データ有効)
2:病変(炎症)
有効画素判定処理S4が完了すると、次にTE画像データEに対して色空間変換部223により色空間変換処理S5が行われる。色空間変換処理S5は、RGB3原色で定義されるRGB空間の画素値を、色相(Hew)・彩度(Saturation)・輝度(Intensity)の3要素で定義されるHSI(Heu-Saturation-Intensity)空間の画素値に変換する処理である。具体的には、色空間変換処理S5において、TE画像データEの各画素(x,y)の原色信号R´(x,y),G´(x,y),B´(x,y)が、色相H(x,y),彩度S(x,y),輝度I(x,y)に変換される。
色空間変換処理S5が完了すると、次に病変判定部224により判定用画像データJを用いた病変判定処理S6が行われる。病変判定処理S6は、内視鏡画像の各画素(x,y)について、判定用画像データJがHS空間(色相−彩度空間)上の後述する領域α、β(図8)のいずれにプロットされるかによって、その画素に写された生体組織の状態(炎症部であるか否か)を判定する処理である。なお、HS空間は、色度空間と同様に、色の質(明るさ・輝度を除いた色の要素)を表す空間である。例えば、CIE 1976 L*a*b*色空間等の他の色空間上で画像解析を行う場合には、病変判定部224は色度空間(例えばa*b*空間)上で行われる。
病変判定処理S6が完了すると、次にスコア計算処理S7が行われる。スコア計算処理S7は、判定用画像データJの画素値に基づいて、病変部の重症度の評価値であるスコアSc(x,y)を計算する処理である。スコア計算処理S7は、全ての画素(x,y)について順次行われる。なお、以下に説明するスコア計算のアルゴリズムは一例であり、本発明は様々なアルゴリズムにより算出したスコアの画面表示に適用することができる。
ここで、本実施形態のスコア計算の原理について簡単に説明する。炎症部は、血管の拡張及び血漿成分の血管外への漏出等を伴い、症状が進行するほど、表面の正常粘膜が脱落するため、血液の色に近付くことが知られている。そのため、炎症部の色と血液の色との相関の程度(後述する相関値CV)が、炎症部の重症度を示す良い指標となる。本実施形態では、各画素(x,y)の判定用画像データJ{H(x,y),S(x,y)}と血液の色(色相、彩度)との相関値CV(x,y)を計算して、これを炎症部の重症度を示すスコアSc(x,y)として使用する。
図9は、スコア計算処理S7の手順を示すフローチャートである。スコア計算処理S7では、まずフラグテーブルFTが読み出され、画素(x,y)に対応するフラグF(x,y)の値が「2」(炎症)であるか否かが判断される(S71)。
血液や血液を含有する生体組織の画像の彩度は、輝度に依存することが知られている。具体的には、輝度と彩度は負の相関を有し、明るいほど彩度が低下する。S72では、本発明者が開発した以下の補正式(数式6)を使用して、判定用画像データJ(x,y)の輝度I(x,y)による彩度S(x,y)の変動が補正される。この補正により、スコア計算の精度を高めることができる。
Icorr.(x,y):判定用画像データJの補正後の輝度
Scorr.(x,y):判定用画像データJの補正後の彩度
Iref:基準値となる血液サンプルデータの輝度
Sref:基準値となる血液サンプルデータの彩度
θ:血液サンプルデータの輝度値と彩度値との相関係数(cosθ)を与える角度
なお、血液サンプルの彩度と輝度の相関係数(実測値)は−0.86であり、θ=149.32(deg)が適用される。
次に、数式7により、色相距離DHUE(x,y)が計算される(S73)。色相距離DHUEは、血液サンプルデータの色相Hrefを基準とした、判定用画像データJ(x,y)の色相の相対値である。
次に、色相距離DHUE(x,y)から色相相関値HCV(x,y)が決定される(S74)。色相相関値HCV(x,y)は、炎症部の重症度と強い相関を有するパラメーターである。図10(a)は、色相距離DHUEと色相相関値HCVとの関係を図示したグラフである。色相距離DHUEは、±30°以内の範囲(以下「色相近似範囲R11」という。)において、炎症部の重症度と強い相関を有し、それ以外の範囲(以下「色相近似外範囲R12」という。)においては殆ど相関を有しない。そのため、本実施形態の色相相関値HCV(x,y)は、色相近似外範囲R12においては最小値の0.0に設定され、色相近似範囲R11においては色相距離DHUE(x,y)が0°に近づくほど線形的に増加するように設定されている。また、色相相関値HCV(x,y)は、最小値が0.0、最大値が1.0となるように規格化されている。
次に、数式8により、彩度距離DSAT(x,y)が計算される(S75)。彩度距離DSAT(x,y)は、血液サンプルデータの彩度Srefを基準とする、判定用画像データJ(x,y)の彩度の相対値である。
次に、彩度距離DSAT(x,y)から彩度相関値SCV(x,y)が決定される(S76)。彩度相関値SCV(x,y)も、炎症部の重症度と強い相関を有するパラメーターである。図10(b)は、彩度距離DSATと彩度相関値SCVとの関係を図示したグラフである。彩度距離DSATは、所定値以上の負の範囲(以下、「彩度近似範囲R22」という。)において、炎症部の重症度と強い相関を有し、負の所定値以下の範囲(以下「彩度近似外範囲R23」という。)においては殆ど相関を有しない。また、彩度距離DSATがゼロ以上の範囲、すなわち、病変画素の彩度が血液サンプルデータの彩度Sref以上となる範囲(以下「彩度一致範囲R21」という。)においては、重症度が極めて高いと考えられる。そのため、本実施形態の彩度相関値SCV(x,y)は、彩度一致範囲R21において最大値の1.0に設定され、彩度近似外範囲R23において最小値の0.0に設定され、彩度近似範囲R22において線形的に増加するように設定されている。また、彩度相関値SCV(x,y)も、最小値が0.0、最大値が1.0となるように規格化された値である。
次に、色相相関値HCV(x,y)と彩度相関値SCV(x,y)との乗算により、病変画素(x,y)の色と血液の色との相関値CV(x,y)を得る。なお、相関値CV(x,y)も、最小値が0.0、最大値が1.0となるように規格化された値となる。また、相関値CV(x,y)は、0.1ポイント刻みで11段階に区分される。
また、相関値CV(x,y)は炎症の重症度の良い指標となるため、スコアテーブルSTのスコアSc(x,y)の値が相関値CV(x,y)によって書き換えられる(S78)。
また、画素(x,y)が病変画素でない場合は(S71:No)、上述した相関値CV(x,y)の計算を行わずに、スコアテーブルSTのスコアSc(x,y)の値が「0」に書き換えられる(S79)。これにより、少ない計算量で全ての画素(x,y)に対してスコアSc(x,y)を与えることができる。
スコア計算処理S7の後、信頼性評価部230による信頼性評価処理S8が行われる。
信頼性評価処理S8では、まず、低輝度であるか否かを判定する低輝度判定処理S81が行われる。具体的には、輝度I(x,y)の値が所定の低輝度基準値(例えば0.3)を下回るか否かが判定される。輝度I(x,y)の値が低輝度基準値を下回る場合には(S81:Yes)、色情報の精度が過度に低い暗部である可能性があるため、続いて色相判定処理S82が行われる。また、輝度I(x,y)の値が低輝度基準値以上である場合には(S81:No)、次に高輝度判定処理S84が行われる。
色相判定処理S82では、色相H(x,y)の値が所定の正常範囲内(例えば60〜270°)であるか否かが判定される。この正常範囲は、赤い色合いの通常の内視鏡画像の色相の分布範囲である。色相H(x,y)の値が正常範囲内に無い場合(すなわち、色合いが赤色から外れる場合)、低輝度のために色相H(x,y)の精度が著しく低下していると考えられる。そのため、色相H(x,y)の値が60°未満又は270°を超える場合は(S82:No)、その画素(x,y)を「暗部」の画素と判定し、信頼性情報テーブルCTに「暗部」の判定結果を登録する暗部登録が行われる(S83)。
高輝度判定処理S84では、高輝度の画素であるか否かが判定される。具体的には、輝度I(x,y)の値が所定の高輝度基準値(例えば0.8)を上回るか否かが判定される。輝度I(x,y)の値が高輝度基準値を上回る場合には(S84:Yes)、色情報の精度が過度に低いハレーション部である可能性があるため、続いて彩度判定処理S85が行われる。また、輝度I(x,y)の値が高輝度基準値以下である場合には(S84:No)、次に処理S86が行われる。
彩度判定処理S85では、彩度S(x,y)の値が所定の正常範囲内(例えば0.3〜0.7)であるか否かが判定される。この正常範囲は、通常の内視鏡画像の彩度の分布範囲である。彩度S(x,y)の値が正常範囲内に無ければ、高輝度のために彩度S(x,y)の精度が著しく低下していると考えられる。そのため、彩度S(x,y)の値が0.3未満又は0.7を超える場合には(S85:No)、その画素(x,y)を「ハレーション」の画素(すなわち、ハレーションが生じている部分の画素)と判定し、信頼性情報テーブルCTに「ハレーション」の判定結果を登録するハレーション登録が行われる(S87)。
処理S86では、TE画像データEにおける飽和しているカラーチャンネルの数を検出し、全てのカラーチャンネルが飽和しているか否かが判定される。具体的には、TE画像データEの要素R´(x,y),G´(x,y),B´(x,y)の全てが、飽和基準値(例えば220)を上回るか否かが判定される。全ての要素R´(x,y),G´(x,y),B´(x,y)が飽和基準値を上回る場合には(S86:Yes)、その画素(x,y)を「ハレーション」の画素と判定し、信頼性情報テーブルCTに判定結果を登録する(S87)。
次に、スコアSc(x,y)に基づいて、TE画像データE(又は通常観察画像NP)上に病変部の位置や重症度を示す印を付すマーキング処理S9が行われる。
マーキング処理S9では、まず、スコア信頼度SRを計算するスコア信頼度計算処理S91が行われる。
NEP:TE画像EPの全画素数
Ndark:TE画像EPの暗部登録S83された画素数
Nhalation:TE画像EPのハレーション登録S87された画素数
スコア信頼度計算処理S91に続いて、マーキング画像MPを生成するマーキング画像生成処理S92が行われる。
図13は、マーキング画像生成処理S92の手順を示すフローチャートである。
図14は、マーキング画像生成処理S92で生成されるマーキング画像MP(正確には、TE画像EP上にマーキング画像MPがオーバーレイ合成処理された合成画像CP)である。
また、信頼度が比較的に低い(例えば、スコア信頼度SRが25%以上〜50%未満)場合には(S922:Yes)、図14(b−1)に示されるように、最大スコアScの画素上に所定の印(例えば▲記号)を付したマーキング画像MPを生成して記憶領域Pmに記憶させる第1種簡易マーキング処理S923が行われる。この構成によれば、ユーザは、最も重症度の高い箇所(病変部の中心付近である場合が多い)を確実に把握することができる。
また、信頼度が比較的に高い(例えば、スコア信頼度SRが50%以上〜75%未満)場合には(S924:Yes)、図14(c−1)、(c−2)に示されるように、スコアSc(x,y)の高い領域を囲むような印を付したマーキング画像MPを生成する、第2種簡易マーキング処理S925が行われる。なお、図14(c−1)は、スコアSc(x,y)が高い領域を囲むように配列された複数の符号や図形(例えば矢印)からなる印を付した例であり、図14(c−2)は、スコアSc(x,y)が高い領域を囲む環状の印を付した例である。
また、信頼度が極めて高く(例えば、スコア信頼度SRが75%以上)(S924:No)、スコアSc(x,y)の信頼性が過度に低い画素(x,y)が局在していない場合には(S926:No)、カラーマッピング処理S928(全体カラーマッピング処理)が行われる。カラーマッピング処理S928では、図14(d)に示されるように、病変部の画素をスコアSc(x,y)に応じた色で着色したカラーマップ画像がマーキング画像MPとして生成される。
0136
また、スコア信頼度SRが極めて高く(S924:No)、スコアSc(x,y)の信頼性の過度に低い画素(x,y)が局在している場合には(S926:Yes)、図14(f)に示されるように、スコアSc(x,y)の信頼性が過度に低い画素(x,y)が局在する領域LCを除いた領域に対してカラーマッピングを行う、部分カラーマッピング処理S927が行われる。領域LCには、信頼性の高いスコアSc(x,y)を有する画素(x,y)も含まれるが、そのような画素の数が少ないため有用なマッピング画像は形成されない。部分カラーマッピング処理S928では、信頼性の高いスコアSc(x,y)を有する画素(x,y)も含めて、領域LCを一括してカラーマッピングの対象外とすることにより、カラーマッピングに必要な計算量を大幅に軽減させることができる。また、領域LCを一括してカラーマッピングの対象外とすることにより、ユーザはスコアSc(x,y)の信頼性の低い領域LCを容易に把握することができる。
マーキング処理S9が完了すると、次に表示画面生成処理S10が行われる。表示画面生成処理S10は、画像メモリ227に記憶された各種画像データを使用して、モニタ900に表示するための表示画面データを生成する処理であり、画像処理回路220の表示画面生成部228によって行われる。表示画面生成部228は、システムコントローラ202の制御に応じて、複数種類の表示画面データを生成することができる。
表示画面生成処理S10により生成された表示画面データは、出力回路220bにより、ガンマ補正等の処理が行われた後、所定のビデオ・フォーマットのビデオ信号に変換され、モニタ900に出力される(出力処理S11)。
次に、本発明の第2実施形態について説明する。
図16は、第2実施形態のマーキング画像MP2(カラーマップ画像)である。
100 電子スコープ
200 電子内視鏡用プロセッサ
220 画像処理回路
220a 基本処理部
221 TE処理部
222 有効画素判定部
223 色空間変換部
224 病変判定部
225 スコア計算部
226 マーキング処理部
227 画像メモリ
228 メモリ
229 表示画面生成部
220b 出力回路
230 信頼性評価部
900 モニタ
Claims (15)
- 生体組織を撮影した画像データを取得する画像データ取得手段と、
前記画像データに基づき、該画像データが表す画像に写された前記生体組織の病変の重症度を示すスコアを画素毎に計算するスコア計算手段と、
前記画像データに基づき、前記スコアの信頼性を評価する信頼性評価手段と、
前記画像データの全画素のうち前記スコアが所定の信頼性を有する画素の割合を示すスコア信頼度を計算するスコア信頼度計算手段と、
を備えた、画像処理装置。 - 前記信頼性評価手段が、
画素値に基づきハレーションの画素か否かを判定するハレーション判定手段を備え、
ハレーションの画素と判定された画素を、前記スコアが所定の信頼性を有する画素から除外する、
請求項1に記載の画像処理装置。 - 前記信頼性評価手段が、
画素値に基づき暗部の画素か否かを判定する暗部判定手段を備え、
暗部の画素と判定された画素を、前記スコアが所定の信頼性を有する画素から除外する、
請求項1又は請求項2に記載の画像処理装置。 - 前記画像データの画素値をHSI(Heu-Saturation-Intensity)空間の画素値に変換する色空間変換手段を備え、
前記信頼性評価手段が、前記色空間変換手段から出力された画素の輝度に基づいて前記スコアの信頼性を評価する、
請求項1から請求項3のいずれか一項に記載の画像処理装置。 - 前記信頼性評価手段が、
画素値に基づきいずれかのカラーチャンネルが飽和した飽和画素か否かを判定する飽和判定手段を備え、
前記飽和画素と判定された画素を、前記スコアが所定の信頼性を有する画素から除外する、
請求項1から請求項4のいずれか一項に記載の画像処理装置。 - 前記飽和判定手段が、
画素値に基づき飽和したカラーチャンネル数を計数する飽和チャンネル数計数手段を備え、
飽和したカラーチャンネル数が所定数以上の画素を前記飽和画素と判定する、
請求項5に記載の画像処理装置。 - 前記スコアの分布を示す印を前記画像上に付すマーキング手段を備え、
前記マーキング手段が、
前記スコア信頼度に応じて前記印の態様を変更する、
請求項1から請求項6のいずれか一項に記載の画像処理装置。 - 前記マーキング手段が、
病変部の画素の色を前記スコアに応じた色に変更する第1カラーマッピングを行う、
請求項7に記載の画像処理装置。 - 前記マーキング手段が、
前記スコアの信頼性が低い画素が局在する前記画像の領域を、前記第1カラーマッピングを行う領域から除外する、
請求項8に記載の画像処理装置。 - 前記マーキング手段が、
前記スコアが所定の信頼性を有する画素と、該信頼性を有しない画素とで、それぞれ異なる色を使用して前記第1カラーマッピングを行う、
請求項8に記載の画像処理装置。 - 前記マーキング手段が、
前記画像において前記スコアが所定値以上の領域の上に印を付す第1種簡易マーキング処理を行う、
請求項7に記載の画像処理装置。 - 前記マーキング手段が、
前記画像において前記スコアが高い領域を囲むように印を付す第2種簡易マーキング処理を行う、
請求項7に記載の画像処理装置。 - 前記スコアの信頼性の評価結果を表示する信頼性表示手段を備えた、
請求項1から請求項12のいずれか一項に記載の画像処理装置。 - 前記画像のカラーバランスに基づいて、撮影条件の良否を判定する、
請求項1から請求項13のいずれか一項に記載の画像処理装置。 - 前記画像が、単一の広帯域照明光を用いて撮影された画像である、
請求項1から請求項14のいずれか一項に記載の画像処理装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015037539A JP6346576B2 (ja) | 2015-02-27 | 2015-02-27 | 画像処理装置 |
EP16727926.4A EP3269295B1 (en) | 2015-02-27 | 2016-02-23 | Image processing device |
PCT/JP2016/055144 WO2016136698A1 (ja) | 2015-02-27 | 2016-02-23 | 画像処理装置 |
US15/106,955 US10521901B2 (en) | 2015-02-27 | 2016-02-23 | Image processing apparatus |
CN201680000516.3A CN106102557B (zh) | 2015-02-27 | 2016-02-23 | 图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015037539A JP6346576B2 (ja) | 2015-02-27 | 2015-02-27 | 画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018100100A Division JP6531202B2 (ja) | 2018-05-25 | 2018-05-25 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016158681A JP2016158681A (ja) | 2016-09-05 |
JP6346576B2 true JP6346576B2 (ja) | 2018-06-20 |
Family
ID=56788836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015037539A Active JP6346576B2 (ja) | 2015-02-27 | 2015-02-27 | 画像処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10521901B2 (ja) |
EP (1) | EP3269295B1 (ja) |
JP (1) | JP6346576B2 (ja) |
CN (1) | CN106102557B (ja) |
WO (1) | WO2016136698A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6346576B2 (ja) * | 2015-02-27 | 2018-06-20 | Hoya株式会社 | 画像処理装置 |
CN106769891B (zh) * | 2015-11-19 | 2019-09-27 | 光宝电子(广州)有限公司 | 生化检测装置及方法 |
JP6467562B2 (ja) * | 2016-09-02 | 2019-02-13 | Hoya株式会社 | 内視鏡システム |
WO2018070474A1 (ja) * | 2016-10-14 | 2018-04-19 | Hoya株式会社 | 内視鏡システム |
DE102016125524A1 (de) * | 2016-12-22 | 2018-06-28 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Elektronisches Mikroskop |
WO2018229834A1 (ja) | 2017-06-12 | 2018-12-20 | オリンパス株式会社 | 内視鏡システム |
WO2018229831A1 (ja) * | 2017-06-12 | 2018-12-20 | オリンパス株式会社 | 内視鏡システム |
WO2018229832A1 (ja) | 2017-06-12 | 2018-12-20 | オリンパス株式会社 | 内視鏡システム |
WO2018229833A1 (ja) | 2017-06-12 | 2018-12-20 | オリンパス株式会社 | 内視鏡システム |
WO2018230098A1 (ja) * | 2017-06-15 | 2018-12-20 | オリンパス株式会社 | 内視鏡システム、内視鏡システムの作動方法 |
JP6891304B2 (ja) * | 2018-02-09 | 2021-06-18 | 富士フイルム株式会社 | 内視鏡システム |
WO2019159435A1 (ja) * | 2018-02-13 | 2019-08-22 | Hoya株式会社 | 内視鏡システム |
WO2019220916A1 (ja) | 2018-05-14 | 2019-11-21 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理方法及び内視鏡システム |
CN112236067B (zh) | 2018-06-05 | 2024-08-20 | 奥林巴斯株式会社 | 内窥镜系统 |
CN112203572B (zh) | 2018-06-05 | 2024-04-05 | 奥林巴斯株式会社 | 内窥镜系统 |
EP3851022A4 (en) | 2018-09-11 | 2021-10-27 | FUJIFILM Corporation | MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM AND ENDOSCOPIC SYSTEM |
US11957300B2 (en) | 2018-09-11 | 2024-04-16 | Nec Corporation | Information processing apparatus, control method, and program |
WO2020071086A1 (ja) | 2018-10-04 | 2020-04-09 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
WO2020170791A1 (ja) * | 2019-02-19 | 2020-08-27 | 富士フイルム株式会社 | 医療画像処理装置及び方法 |
WO2020184522A1 (ja) * | 2019-03-08 | 2020-09-17 | キヤノンメディカルシステムズ株式会社 | 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム |
JP6999597B2 (ja) * | 2019-03-27 | 2022-01-18 | 富士フイルム株式会社 | プロセッサ装置及びその作動方法並びに内視鏡システム |
EP3719746A1 (en) * | 2019-04-04 | 2020-10-07 | Koninklijke Philips N.V. | Identifying boundaries of lesions within image data |
JP7373335B2 (ja) * | 2019-09-18 | 2023-11-02 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム |
CN111064934A (zh) * | 2019-12-30 | 2020-04-24 | 元力(天津)科技有限公司 | 一种医用影像处理系统及方法 |
JP2021173665A (ja) * | 2020-04-27 | 2021-11-01 | ソニーグループ株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
WO2022225845A1 (en) * | 2021-04-18 | 2022-10-27 | Mary Hitchcock Memorial Hospital, For Itself And On Behalf Of Dartmouth-Hitchcock Clinic | System and method for automation of surgical pathology processes using artificial intelligence |
JP2023039392A (ja) * | 2021-09-08 | 2023-03-20 | 株式会社エビデント | 検査支援方法、検査支援装置、検査支援システム、およびプログラム |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS532984A (en) | 1976-06-30 | 1978-01-12 | Shimadzu Corp | Blood pressure measuring system |
US5016173A (en) * | 1989-04-13 | 1991-05-14 | Vanguard Imaging Ltd. | Apparatus and method for monitoring visually accessible surfaces of the body |
US20030165263A1 (en) * | 2002-02-19 | 2003-09-04 | Hamer Michael J. | Histological assessment |
US6956967B2 (en) * | 2002-05-20 | 2005-10-18 | Eastman Kodak Company | Color transformation for processing digital images |
DE602005012672D1 (de) * | 2005-02-21 | 2009-03-26 | Mitsubishi Electric Corp | Verfahren zum Detektieren von Gesichtsmerkmalen |
CA2947613C (en) * | 2005-04-04 | 2019-11-05 | Hypermed Imaging, Inc. | Hyperspectral imaging in diabetes and peripheral vascular disease |
JP4710426B2 (ja) * | 2005-06-14 | 2011-06-29 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US20070081699A1 (en) * | 2005-09-29 | 2007-04-12 | General Electric Company | Systems, methods and apparatus for diagnosis of disease from categorical indices |
US20070081700A1 (en) * | 2005-09-29 | 2007-04-12 | General Electric Company | Systems, methods and apparatus for creation of a database of images from categorical indices |
JP4832927B2 (ja) * | 2006-03-14 | 2011-12-07 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置及び医療用画像処理方法 |
JP4823725B2 (ja) | 2006-03-15 | 2011-11-24 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置 |
JP2010515557A (ja) * | 2007-01-16 | 2010-05-13 | オプタジア メディカル リミテッド | 画像処理システム、及び方法。 |
CA2700948A1 (en) * | 2007-09-25 | 2009-04-02 | Gifu University | Magnetic resonance imaging apparatus and operating method therefor, diagnostic imaging system, and diagnosis method |
US7995798B2 (en) * | 2007-10-15 | 2011-08-09 | Given Imaging Ltd. | Device, system and method for estimating the size of an object in a body lumen |
US8358846B2 (en) * | 2007-11-13 | 2013-01-22 | Symantec Corporation | Scanning images for pornography |
JP2010187756A (ja) * | 2009-02-16 | 2010-09-02 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP5658873B2 (ja) * | 2009-11-13 | 2015-01-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
JP5800468B2 (ja) | 2010-05-11 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
US20120052063A1 (en) * | 2010-08-31 | 2012-03-01 | The Board Of Trustees Of The University Of Illinois | Automated detection of breast cancer lesions in tissue |
US8351676B2 (en) * | 2010-10-12 | 2013-01-08 | Sony Corporation | Digital image analysis using multi-step analysis |
JP5670695B2 (ja) * | 2010-10-18 | 2015-02-18 | ソニー株式会社 | 情報処理装置及び方法、並びにプログラム |
US8913807B1 (en) * | 2010-12-30 | 2014-12-16 | Given Imaging Ltd. | System and method for detecting anomalies in a tissue imaged in-vivo |
JP5302984B2 (ja) * | 2011-01-12 | 2013-10-02 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法 |
US9678007B2 (en) * | 2011-10-14 | 2017-06-13 | Northwestern University | Biological tissue analysis by inverse spectroscopic optical coherence tomography |
JP6050223B2 (ja) * | 2011-11-02 | 2016-12-21 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像認識装置、画像認識方法、及び集積回路 |
US9245334B2 (en) * | 2012-02-28 | 2016-01-26 | Albert Einstein College Of Medicine, Inc. | Methods for quantitative assessment of volumetric image from a subject and uses therof |
JP6067264B2 (ja) * | 2012-07-17 | 2017-01-25 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
JP6027803B2 (ja) | 2012-07-17 | 2016-11-16 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
WO2014031086A1 (en) * | 2012-08-24 | 2014-02-27 | Agency For Science, Technology And Research | Methods and systems for automatic location of optic structures in an image of an eye, and for automatic retina cup-to-disc ratio computation |
US9786050B2 (en) * | 2013-03-15 | 2017-10-10 | The Board Of Trustees Of The University Of Illinois | Stain-free histopathology by chemical imaging |
JP6097629B2 (ja) * | 2013-04-26 | 2017-03-15 | Hoya株式会社 | 病変評価情報生成装置 |
JP5946800B2 (ja) * | 2013-07-22 | 2016-07-06 | 株式会社日立製作所 | 磁気共鳴イメージング装置、画像処理装置、画像処理方法、及び画像処理プログラム |
EP3100205B1 (en) * | 2014-01-28 | 2021-03-10 | Ventana Medical Systems, Inc. | Adaptive classification for whole slide tissue segmentation |
KR20150098119A (ko) * | 2014-02-19 | 2015-08-27 | 삼성전자주식회사 | 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법 |
JP6393106B2 (ja) * | 2014-07-24 | 2018-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6346576B2 (ja) * | 2015-02-27 | 2018-06-20 | Hoya株式会社 | 画像処理装置 |
JP6570460B2 (ja) * | 2016-02-25 | 2019-09-04 | 富士フイルム株式会社 | 評価装置、方法およびプログラム |
-
2015
- 2015-02-27 JP JP2015037539A patent/JP6346576B2/ja active Active
-
2016
- 2016-02-23 WO PCT/JP2016/055144 patent/WO2016136698A1/ja active Application Filing
- 2016-02-23 EP EP16727926.4A patent/EP3269295B1/en active Active
- 2016-02-23 US US15/106,955 patent/US10521901B2/en active Active
- 2016-02-23 CN CN201680000516.3A patent/CN106102557B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20170098301A1 (en) | 2017-04-06 |
US10521901B2 (en) | 2019-12-31 |
WO2016136698A1 (ja) | 2016-09-01 |
EP3269295A1 (en) | 2018-01-17 |
EP3269295A4 (en) | 2018-08-01 |
JP2016158681A (ja) | 2016-09-05 |
EP3269295B1 (en) | 2020-01-08 |
CN106102557A (zh) | 2016-11-09 |
CN106102557B (zh) | 2018-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6346576B2 (ja) | 画像処理装置 | |
US11701032B2 (en) | Electronic endoscope processor and electronic endoscopic system | |
JP6584090B2 (ja) | 画像処理装置 | |
CN110325100B (zh) | 内窥镜系统及其操作方法 | |
WO2016136700A1 (ja) | 画像処理装置 | |
JP6531202B2 (ja) | 画像処理装置 | |
US20140320620A1 (en) | Lesion evaluation information generator, and method and computer readable medium therefor | |
US20210259515A1 (en) | Electronic endoscope system | |
US11571108B2 (en) | Evaluation value calculation device and electronic endoscope system | |
US10512433B2 (en) | Correction data generation method and correction data generation apparatus | |
JPWO2020036121A1 (ja) | 内視鏡システム | |
CN112469324B (zh) | 内窥镜系统 | |
CN112351723A (zh) | 电子内窥镜系统与数据处理装置 | |
US10646102B2 (en) | Processor for electronic endoscope, and electronic endoscope system | |
CN109310303B (zh) | 电子内窥镜处理器以及电子内窥镜系统 | |
US20170273543A1 (en) | Evaluation value calculation device and electronic endoscope system | |
CN113747825A (zh) | 电子内窥镜系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170630 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180502 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6346576 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |