JP6591688B2 - 電子内視鏡用プロセッサ及び電子内視鏡システム - Google Patents
電子内視鏡用プロセッサ及び電子内視鏡システム Download PDFInfo
- Publication number
- JP6591688B2 JP6591688B2 JP2018537338A JP2018537338A JP6591688B2 JP 6591688 B2 JP6591688 B2 JP 6591688B2 JP 2018537338 A JP2018537338 A JP 2018537338A JP 2018537338 A JP2018537338 A JP 2018537338A JP 6591688 B2 JP6591688 B2 JP 6591688B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixel data
- color components
- types
- evaluation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 claims description 140
- 238000012937 correction Methods 0.000 claims description 119
- 201000010099 disease Diseases 0.000 claims description 55
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 55
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 25
- 208000024891 symptom Diseases 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 description 83
- 206010061218 Inflammation Diseases 0.000 description 79
- 230000004054 inflammatory process Effects 0.000 description 79
- 238000000034 method Methods 0.000 description 37
- 230000000875 corresponding effect Effects 0.000 description 32
- 230000008859 change Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 25
- 210000001519 tissue Anatomy 0.000 description 20
- 230000002757 inflammatory effect Effects 0.000 description 16
- 102000001554 Hemoglobins Human genes 0.000 description 14
- 108010054147 Hemoglobins Proteins 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 230000003902 lesion Effects 0.000 description 9
- 210000004400 mucous membrane Anatomy 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 210000004877 mucosa Anatomy 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 6
- 210000002429 large intestine Anatomy 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000241 respiratory effect Effects 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 206010009900 Colitis ulcerative Diseases 0.000 description 2
- 208000022559 Inflammatory bowel disease Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 2
- 201000006704 Ulcerative Colitis Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000007882 Gastritis Diseases 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000027866 inflammatory disease Diseases 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6002—Corrections within particular colour systems
- H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/644—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Description
変換されたm種類の色成分よりなる画素データを所定の色成分補正係数を用いて補正する色成分補正手段と、
補正されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する取得手段と、
を備える。
n(n≧3)種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをn種類よりも少ないm(m≧2)種類の色成分よりなる画素データに変換する変換手段と、
変換された前記m種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する取得手段と、
前記変換手段により変換された前記m種類の色成分よりなる画素データを所定の色成分補正係数を用いて補正する色成分補正手段、及び、前記取得手段で取得された評価結果を所定の評価結果補正係数を用いて補正する評価結果補正手段の少なくとも一方の補正手段と、
を備えることが好ましい。
変換されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する取得手段と、
取得された評価結果を所定の評価結果補正係数を用いて補正する評価結果補正手段と、
を備え、
前記評価結果補正係数は、前記評価結果をアフィン変換するアフィン変換係数である。
その際、本発明の一実施形態によれば、前記m種類の色成分よりなる変換された画素データを所定の色成分補正係数を用いて補正する色成分補正手段を更に備え、
前記取得手段は、前記色成分補正係数によって補正されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する、ことが好ましい。
変換されたm種類の色成分よりなる画素データを所定の色成分補正係数を用いて補正する色成分補正手段と、
補正されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する取得手段と、
を備え、
前記取得手段は、前記m種類の色成分より定義される色空間内において、所定の基準点から見た前記対象疾患に関する基準方向を設定しており、前記カラー画像の各画素について、前記色空間における前記変換された画素データに対応する画素対応点の前記基準点から見た方向の、前記基準方向からのずれの程度に基づいて、前記対象疾患に関する評価結果を取得する。
また、本発明の一実施形態に係る電子内視鏡用プロセッサは、nを3以上の自然数とし、mを2以上の自然数とし、n種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをn種類よりも少ないm種類の色成分よりなる画素データに変換する変換手段と、
変換されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する取得手段と、
取得された評価結果を所定の評価結果補正係数を用いて補正する評価結果補正手段と、
を備え、
前記取得手段は、前記m種類の色成分より定義される色空間内において、所定の基準点から見た前記対象疾患に関する基準方向を設定しており、前記カラー画像の各画素について、前記色空間における前記変換された画素データに対応する画素対応点の前記基準点から見た方向の、前記基準方向からのずれの程度に基づいて、前記対象疾患に関する評価結果を取得する。
前記取得手段は、前記色平面内において、前記基準点を通る、前記対象疾患が無い健常部位に関する第2基準軸を設定しており、
前記第1基準軸と前記第2基準軸の交差角度を最大角度として、前記角度θを正規化して評価値を算出する、ことが好ましい。
通常モード時のプロセッサ200での信号処理動作を説明する。
次に、特殊モード時のプロセッサ200での信号処理動作を説明する。図2に、特殊モード時に実行される特殊画像生成処理のフローチャートを示す。図2の特殊画像生成処理は、電子内視鏡システム1の動作モードが特殊モードに切り替えられた時点で開始される。
本処理ステップS11では、現フレームの各画素の画素データがプリプロセス回路220Aに入力される。各画素の画素データは、プリプロセス回路220Aによる信号処理後、プロセス回路220B及び補正回路220Dに入力される。
図3に、補正回路220Dの動作を概念的に説明するための図であって、互いに直交するR軸とG軸とによって定義されるRG平面を示す。なお、R軸は、R成分(Rの画素値)の軸であり、G軸は、G成分(Gの画素値)の軸である。
本処理ステップS13では、補正回路220Dにより、胃炎等の対象疾患の炎症強度を計算するために必要なRG平面内の基準軸が設定される。図4に、基準軸の説明を補助する図を示す。
補正回路220D内のメモリやメモリ222等の記憶媒体には、後述のキャリブレーションモード時に算出された補正マトリックス係数が保存されている。本処理ステップS14では、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつき、言い換えると、電子スコープの個体差を抑えるため、補正回路220Dにより、各画素の画素対応点てある画素データ(R,G)が補正マトリックス係数を用いて補正される。
Rnew :補正後の画素データ(R成分)
Gnew :補正後の画素データ(G成分)
M00〜M11:補正マトリックス係数
R :補正前の画素データ(R成分)
G :補正前の画素データ(G成分)
本処理ステップS15では、スコアリング回路220Eにより、処理ステップS14(画素データの補正)にて補正された、現フレームの全ての画素の画素データ(Rnew,Gnew)について、炎症強度を計算するための角度が算出される。具体的には、本処理ステップS15では、各画素について、ヘモグロビン変化軸AX1と粘膜変化軸AX2との交点である基準点O’と画素対応点(Rnew,Gnew)とを結ぶ線分Lと、ヘモグロビン変化軸AX1とがなす角度θ(図3参照)が算出される。なお、基準点O’は、座標(−150,−75)に位置する。
体腔内の生体組織の撮影画像の明るさが白色光Lの当たり具合によって変化すると、撮影画像の色味は、個人差、撮影箇所、炎症の状態等の影響があるものの、RG平面内において、概ね、症状レベルの最も高い炎症部位ではヘモグロビン変化軸AX1上に沿って変化し、症状レベルの最も低い炎症部位、すなわち健常部位では粘膜変化軸AX2上に沿って変化する。また、中間の症状レベルの炎症部位の撮影画像の色味も同じ傾向で変化するものと推定される。すなわち、炎症部位に対応する画素対応点は、白色光Lの当たり具合によって変化すると、基準点O’を起点とした方位角方向にシフトする。言い換えると、炎症部位に対応する画素対応点は、白色光Lの当たり具合によって変化すると、角度θが一定のまま移動して基準点O’との距離が変わる。これは、角度θが撮影画像の明るさの変化に実質的に影響を受けないパラメータであることを意味する。
本処理ステップS17では、スコアリング回路220Eにより、現フレームの全ての画素の炎症強度を平均化した平均値,又は全ての画素の炎症強度の積算値が撮影画像全体の暫定的な炎症評価値として計算される。
補正回路220D内のメモリあるいはメモリ222等の記憶媒体には、後述のキャリブレーションモード時に算出されたアフィン変換係数α、βが保存されている。本処理ステップS18では、同一の病変部を異なる電子内視鏡システムで撮影したときのスコア値のばらつき、言い換えると、電子スコープの個体差を抑えるため、処理ステップS17(炎症評価値の計算)にて計算された暫定的な炎症評価値が、次式に示されるように、アフィン変換係数α及びβを用いてアフィン変換されて確定値となる。また、本処理ステップS18では、確定値に変換された炎症評価値の表示データ(表示データ例:Score:○○)が生成される。
H = αH’十 β
H :炎症評価値(確定値)
H’:炎症評価値(暫定値)
本実施形態では、炎症強度に応じた表示色で撮影画像をモザイク化したカラーマップ画像を表示することができる。カラーマップ画像を表示可能とするため、炎症強度の値と所定の表示色とを対応付けたテーブルがスコアリング回路220Eの所定の記憶領域に記憶されている。このテーブルでは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、炎症強度の値が0〜5の範囲では黄色が対応付けられており、該値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該値が250〜255の範囲では赤色が対応付けられている。
本処理ステップS20では、マッピング回路220Fにより、現フレームの各画素の色データが、処理ステップS19(カラーマップ画像上での表示色の決定)にて決定された表示色のデータに変換され、変換された表示色で表示される画素よりなるカラーマップ画像データが生成される。
本処理ステップS21では、出力回路220Cにより、プロセス回路220Bより入力される通常のカラー画像データに基づく通常のカラー画像と、処理ステップS20(カラーマップ画像データの生成)にて生成されたカラーマップ画像データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画像データ(通常のカラー画像データ)と後者の画像データ(カラーマップ画像データ)とが加算される。
本処理ステップS22では、電子内視鏡システム1の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合(S22:NO)、図2の特殊画像生成処理は、処理ステップS11(現フレームの画素データの入力)に戻る。一方、別のモードに切り替えられたと判定される場合(S22:YES)、図2の特殊画像生成処理は終了する。
出力回路220Cは、図2の処理ステップS21(オーバレイ処理)にて加算処理された画像データに基づいて通常のカラー画像とカラーマップ画像とのオーバレイ画像の表示データを生成すると共にモニタ300の表示画面の周辺領域(画像表示領域の周囲)をマスクするマスキング処理を行い、更に、マスキング処理により生成されるマスク領域に炎症評価値を重畳した、モニタ表示用の画面データを生成する。出力回路220Cは、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換して、モニタ300に出力する。
次に、キャリブレーションモード時の電子内視鏡システム1の動作について説明する。キャリブレーションモード時に実行されるキャリブレーション処理では、対象疾患に関連する特定の色を補正対象としたキャリブレーションが行われる。
作業者は、モニタ300の表示画面に表示される撮影画像を視認しながら、指標404A及び404Bが電子スコープ1の画角に収まるように、測定箱402内における電子スコープ100の先端部の位置を調整する。本処理ステップS31では、作業者による操作入力に従い、画角内に収められた指標404A及び40Bが電子スコープ100によって撮影され、その撮影画像データがプロセッサ200に入力される。なお、指標404A、404Bは、別々に撮影されてもよい。作業者は、キャリブレーション用治具400を使用することにより、指標404Aと指標404Bを同一の条件で撮影することができる。
作業者による操作入力に従い又は指定枚数(ここでは一枚)の撮影後自動的に、本処理ステップS32の実行が開始される。
本処理ステップS33では、キャリブレーション用ソフトウェアにより、RGB色空間の実撮影データ点PD1(RD1,GD1,BD1)、実撮影データ点PD2(RD2,GD2,BD2)が、それぞれ、対象疾患と関連付けられたRG平面に正射影されて、実撮影データ点PD1(RD1,GD1)、実撮影データ点PD2(RD2,GD2)に変換される。
本処理ステップS34では、キャリブレーション用ソフトウェアにより、補正マトリックス係数が算出される。補正マトリックス係数は、次式に示されるように、実測値、すなわち、実撮影データ点PD1(RD1,GD1)、実撮影データ点PD2(RD2,GD2)を、目標値、すなわち補正目標点PT1(RT1,GT1)、補正目標点PT2(RT2,GT2)に補正する係数である。なお、補正目標点PT1(RT1,GT1)は、指標404Aが模す、ヘモグロビン変化軸AX1上の色に対応し、補正目標点PT2(RT2,GT2)は、指標404Bが模す、粘膜変化軸AX2上の色に対応する。
本処理ステップS35では、電子スコープ1を用いて複数のサンプル画像が撮影される。サンプル画像は、例示的には、測定箱402内にセットされた指標(指標404Aや404B又はこれらとは別の指標等)の撮影画像であったり、キャリブレーション用治具400とは別の手段を用いて撮影された指標の画像であったりする。
本処理ステップS36では、処理ステップS35(サンプル画像の撮影)にて撮影された各サンプル画像についてサンプル炎症評価値が計算される。
本処理ステップS37では、処理ステップS36(サンプル炎症評価値の計算)にて計算された各サンプル画像のサンプル炎症評価値を用いてアフィン変換係数α、βが算出される。なお、アフィン変換係数α、βの算出方法に関し、図2の処理ステップS18(炎症評価値の確定)にて列記した何れの方法を採用してもよく、また、これら以外の方法を採用してもよい。
本処理ステップS38では、処理ステップS34(補正マトリックス係数の算出)にて算出された補正マトリックス係数、及び処理ステップS37(アフィン変換係数の算出)にて算出されたアフィン変換係数α、βがプロセッサ200の補正回路220D内のメモリあるいはメモリ222等の記憶媒体に保存される。これにより、図6に示されるキャリプレーション処理が完了する。
100 電子スコープ
102 LCB
104 配光レンズ
106 対物レンズ
108 固体撮像素子
112 ドライバ信号処理回路
114 メモリ
200 プロセッサ
202 システムコントローラ
204 タイミングコントローラ
206 ランプ電源イグナイタ
208 ランプ
210 集光レンズ
212 絞り
214 モータ
216 ドライバ
218 操作パネル
220 信号処理回路
220A プリプロセス回路
220B プロセス回路
220C 出力回路
220D 補正回路
220E スコアリング回路
220F マッピング回路
222 メモリ
Claims (18)
- nを3以上の自然数とし、mを2以上の自然数とし、n種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをn種類よりも少ない、前記n種類の色成分のうちのm種類の色成分であって、(n−m)種類の色成分を含まない色成分よりなる画素データに変換する変換手段と、
変換されたm種類の色成分よりなる画素データを所定の色成分補正係数を用いて補正する色成分補正手段と、
補正されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する取得手段と、
を備える、電子内視鏡用プロセッサ。 - nを3以上の自然数とし、mを2以上の自然数とし、n種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをn種類よりも少ないm種類の色成分よりなる画素データに変換する変換手段と、
変換されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する取得手段と、
取得された評価結果を所定の評価結果補正係数を用いて補正する評価結果補正手段と、
を備える、電子内視鏡用プロセッサ。 - 前記m種類の色成分よりなる変換された画素データを所定の色成分補正係数を用いて補正する色成分補正手段を更に備え、
前記取得手段は、前記色成分補正係数によって補正されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する、
請求項2に記載の電子内視鏡用プロセッサ。 - 前記m種類の色成分は、前記n種類の色成分のうち、前記m種類の色成分であり、(n−m)種類の色成分を含まない、請求項2または3に記載の電子内視鏡用プロセッサ。
- 前記色成分補正係数は、前記m種類の色成分よりなる画素データを補正する所定の補正マトリックス係数である、
請求項1または3に記載の電子内視鏡用プロセッサ。 - nを3以上の自然数とし、mを2以上の自然数とし、n種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをn種類よりも少ないm種類の色成分よりなる画素データに変換する変換手段と、
変換されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する取得手段と、
取得された評価結果を所定の評価結果補正係数を用いて補正する評価結果補正手段と、
を備え、
前記評価結果補正係数は、前記評価結果をアフィン変換するアフィン変換係数である、
電子内視鏡用プロセッサ。 - 前記m種類の色成分よりなる変換された画素データを所定の色成分補正係数を用いて補正する色成分補正手段を更に備え、
前記取得手段は、前記色成分補正係数によって補正されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する、
請求項6に記載の電子内視鏡用プロセッサ。 - nを3以上の自然数とし、mを2以上の自然数とし、n種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをn種類よりも少ないm種類の色成分よりなる画素データに変換する変換手段と、
変換されたm種類の色成分よりなる画素データを所定の色成分補正係数を用いて補正する色成分補正手段と、
補正されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する取得手段と、
を備え、
前記取得手段は、前記m種類の色成分より定義される色空間内において、所定の基準点から見た前記対象疾患に関する基準方向を設定しており、前記カラー画像の各画素について、前記色空間における前記変換された画素データに対応する画素対応点の前記基準点から見た方向の、前記基準方向からのずれの程度に基づいて、前記対象疾患に関する評価結果を取得する、
電子内視鏡用プロセッサ。 - nを3以上の自然数とし、mを2以上の自然数とし、n種類の色成分よりなる体腔内の生体組織のカラー画像を構成する各画素データをn種類よりも少ないm種類の色成分よりなる画素データに変換する変換手段と、
変換されたm種類の色成分よりなる画素データに基づいて対象疾患に関する評価結果を取得する取得手段と、
取得された評価結果を所定の評価結果補正係数を用いて補正する評価結果補正手段と、
を備え、
前記取得手段は、前記m種類の色成分より定義される色空間内において、所定の基準点から見た前記対象疾患に関する基準方向を設定しており、前記カラー画像の各画素について、前記色空間における前記変換された画素データに対応する画素対応点の前記基準点から見た方向の、前記基準方向からのずれの程度に基づいて、前記対象疾患に関する評価結果を取得する、
電子内視鏡用プロセッサ。 - 前記取得手段は、前記m種類の色成分より定義される色平面内において、所定の基準点を通る、前記対象疾患に関する基準軸を設定しており、各画素について、該基準点と該画素データに対応する画素対応点とを結ぶ線分と、該基準軸と、がなす角度に基づいて、該対象疾患に関する評価結果を取得する、
請求項1から請求項7のいずれか一項に記載の電子内視鏡用プロセッサ。 - 前記基準軸を第1基準軸というとき、
前記取得手段は、前記色平面内において、前記基準点を通る、前記対象疾患が無い健常部位に関する第2基準軸を設定しており、
前記第1基準軸と前記第2基準軸の交差角度を最大角度として、前記角度を正規化して評価値を算出する、
請求項10に記載の電子内視鏡用プロセッサ。 - 前記変換手段は、前記n種類の色成分より定義される色空間における前記画素データを前記色平面に正射影する、
請求項10または11に記載の電子内視鏡用プロセッサ。 - 前記基準軸は、前記対象疾患について症状レベルが高くなるほど変換された前記画素対応点が収束する軸である、
請求項10から請求項12のいずれか一項に記載の電子内視鏡用プロセッサ。 - 前記色平面は、R成分の軸とG成分の軸を含む平面である、
請求項10から請求項13のいずれか一項に記載の電子内視鏡用プロセッサ。 - 前記変換された画素データのm種類の色成分のいずれも、波長帯域が互いに異なるように設定された色成分である、
請求項1から請求項14のいずれか一項に記載の電子内視鏡用プロセッサ。 - 前記評価結果は、前記対象疾患に関する評価を示す値と、該対象疾患に関する評価を示すカラー画像の少なくとも一方を含む、
請求項1から請求項15のいずれか一項に記載の電子内視鏡用プロセッサ。 - 請求項1から請求項16のいずれか一項に記載の電子内視鏡用プロセッサと、
前記電子内視鏡用プロセッサにて求められた前記評価結果を表示画面に表示するように構成した表示装置と、
を備える、電子内視鏡システム。 - 前記電子内視鏡用プロセッサは、前記カラー画像の各画素の色を、各画素の前記評価結果として算出される評価値に応じた色に変換してカラーマップ画像を取得するカラーマップ画像取得手段と、
前記カラーマップ画像を前記表示装置の表示画面に表示させる表示手段と、を備え、
前記表示装置は、前記評価値の代表値と前記カラーマップ画像を同時に表示するように構成されている、
請求項17に記載の電子内視鏡システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016169233 | 2016-08-31 | ||
JP2016169233 | 2016-08-31 | ||
PCT/JP2017/031126 WO2018043552A1 (ja) | 2016-08-31 | 2017-08-30 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018043552A1 JPWO2018043552A1 (ja) | 2019-01-31 |
JP6591688B2 true JP6591688B2 (ja) | 2019-10-16 |
Family
ID=61300812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018537338A Active JP6591688B2 (ja) | 2016-08-31 | 2017-08-30 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10659658B2 (ja) |
JP (1) | JP6591688B2 (ja) |
CN (1) | CN109310303B (ja) |
DE (1) | DE112017002943T8 (ja) |
WO (1) | WO2018043552A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6926242B2 (ja) * | 2018-01-19 | 2021-08-25 | Hoya株式会社 | 電子内視鏡用プロセッサ及び電子内視鏡システム |
JP6912608B2 (ja) * | 2018-02-07 | 2021-08-04 | Hoya株式会社 | 内視鏡システム |
TWI687899B (zh) * | 2019-06-27 | 2020-03-11 | 鈺緯科技開發股份有限公司 | 應用於內視鏡的顯示校正系統及其校正方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010045615A (ja) * | 2008-08-13 | 2010-02-25 | Olympus Corp | 撮像装置および内視鏡システム |
JP2010115243A (ja) | 2008-11-11 | 2010-05-27 | Hoya Corp | 電子内視鏡用画像信号処理装置 |
JP5581237B2 (ja) | 2011-01-24 | 2014-08-27 | Hoya株式会社 | 画像処理装置、電子内視鏡用プロセッサ装置、画像処理装置の作動方法および画像処理用コンピュータプログラム |
JP5851160B2 (ja) | 2011-08-31 | 2016-02-03 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
WO2014006930A1 (ja) * | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | カラー撮像素子および撮像装置 |
JP6027803B2 (ja) * | 2012-07-17 | 2016-11-16 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
JP6097629B2 (ja) * | 2013-04-26 | 2017-03-15 | Hoya株式会社 | 病変評価情報生成装置 |
JP6367683B2 (ja) * | 2014-10-21 | 2018-08-01 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
-
2017
- 2017-08-30 JP JP2018537338A patent/JP6591688B2/ja active Active
- 2017-08-30 US US16/308,445 patent/US10659658B2/en active Active
- 2017-08-30 WO PCT/JP2017/031126 patent/WO2018043552A1/ja active Application Filing
- 2017-08-30 CN CN201780035283.5A patent/CN109310303B/zh active Active
- 2017-08-30 DE DE112017002943.0T patent/DE112017002943T8/de active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018043552A1 (ja) | 2018-03-08 |
CN109310303A (zh) | 2019-02-05 |
US20190273840A1 (en) | 2019-09-05 |
DE112017002943T5 (de) | 2019-03-14 |
US10659658B2 (en) | 2020-05-19 |
JPWO2018043552A1 (ja) | 2019-01-31 |
DE112017002943T8 (de) | 2019-03-21 |
CN109310303B (zh) | 2021-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6581730B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
JP6125740B1 (ja) | 内視鏡システム及び評価値計算装置 | |
JP6427280B2 (ja) | 補正データ生成方法及び補正データ生成装置 | |
JP6113386B1 (ja) | 評価値計算装置及び電子内視鏡システム | |
JP6591688B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
US20230113382A1 (en) | Evaluation value calculation device and electronic endoscope system | |
JP6433634B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
JP6420358B2 (ja) | 内視鏡システム及び評価値計算装置 | |
JP6926242B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡システム | |
JP2018023497A (ja) | 色補正用治具及び電子内視鏡システム | |
JP2018011797A (ja) | 補正効果確認方法及び指標 | |
JP2018011796A (ja) | キャリブレーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190724 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6591688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |