JP2024023832A - 画像処理装置及び内視鏡システム並びに画像処理プログラム - Google Patents
画像処理装置及び内視鏡システム並びに画像処理プログラム Download PDFInfo
- Publication number
- JP2024023832A JP2024023832A JP2023217600A JP2023217600A JP2024023832A JP 2024023832 A JP2024023832 A JP 2024023832A JP 2023217600 A JP2023217600 A JP 2023217600A JP 2023217600 A JP2023217600 A JP 2023217600A JP 2024023832 A JP2024023832 A JP 2024023832A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- unit
- recognition
- image processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 claims description 62
- 230000008569 process Effects 0.000 claims description 55
- 238000001514 detection method Methods 0.000 claims description 45
- 238000011282 treatment Methods 0.000 claims description 24
- 238000005286 illumination Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 238000013473 artificial intelligence Methods 0.000 claims description 15
- 238000005507 spraying Methods 0.000 claims description 11
- 239000007788 liquid Substances 0.000 claims description 9
- 239000000049 pigment Substances 0.000 claims description 8
- 230000008827 biological function Effects 0.000 claims description 6
- 230000000740 bleeding effect Effects 0.000 claims description 6
- 239000012141 concentrate Substances 0.000 claims description 5
- 238000012143 endoscopic resection Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000012277 endoscopic treatment Methods 0.000 claims 1
- 230000003902 lesion Effects 0.000 description 30
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 14
- 238000001574 biopsy Methods 0.000 description 13
- 238000003780 insertion Methods 0.000 description 9
- 230000037431 insertion Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000003814 drug Substances 0.000 description 5
- 229940079593 drug Drugs 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 208000037062 Polyps Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 239000002775 capsule Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012326 endoscopic mucosal resection Methods 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 208000003200 Adenoma Diseases 0.000 description 1
- 206010001233 Adenoma benign Diseases 0.000 description 1
- 208000032544 Cicatrix Diseases 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 206010039580 Scar Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000023597 hemostasis Effects 0.000 description 1
- 208000017819 hyperplastic polyp Diseases 0.000 description 1
- KHLVKKOJDHCJMG-QDBORUFSSA-L indigo carmine Chemical compound [Na+].[Na+].N/1C2=CC=C(S([O-])(=O)=O)C=C2C(=O)C\1=C1/NC2=CC=C(S(=O)(=O)[O-])C=C2C1=O KHLVKKOJDHCJMG-QDBORUFSSA-L 0.000 description 1
- 229960003988 indigo carmine Drugs 0.000 description 1
- 235000012738 indigotine Nutrition 0.000 description 1
- 239000004179 indigotine Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
- A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
【課題】認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止する画像処理装置及び内視鏡システム並びに画像処理プログラムを提供する。【解決手段】認識部72は、被写体が撮影された画像を用いて、被写体を認識する認識処理を行う。判別部73は、被写体に対する操作を判別する。設定部74は、判別部73の判別結果を用いて、認識部72を有効または無効に設定する。報知部73は、認識部72の有効または無効の状態を報知する。【選択図】図3
Description
本発明は、内視鏡を用いて撮影した画像を用いて被写体の認識処理を行う画像処理装置及び内視鏡システム並びに画像処理プログラムに関する。
医療分野においては、光源装置、内視鏡、及び、プロセッサ装置を備える内視鏡システムが普及している。光源装置は、照明光を発生する。内視鏡は、イメージセンサを用いて被写体を撮影する。プロセッサ装置は、画像の生成及びその他の画像処理等を行う。
内視鏡システムは、観察のために被写体を撮影するだけでなく、付加的機能を有する場合がある。例えば、処置具の位置及び向きをタッチパネルで操作する「入力モード」を有する内視鏡システムが知られている(特許文献1)。この特許文献1の内視鏡システムにおいては、上記入力モードの状態を画面に表示する。また、内視鏡先端部の湾曲の状態を示す画像、及び、キャリブレーションが終了した旨等を告知する文字列を画面に表示して、システムの異常等を知らせる機能を有する内視鏡システムが知られている(特許文献2)。この他、フットスイッチのオンまたはオフの状態を画面に表示する内視鏡システム(特許文献3)、送気中を示すマークを画面に表示する内視鏡システム(特許文献4)、及び、録画のオンまたはオフの状態を画面に表示する内視鏡システム(特許文献5)が知られている。
また、処置具を検出し、その結果を利用する内視鏡システムが知られている。例えば、処置具の検出結果を用いて画像の補正強度を決定する内視鏡システムが知られている(特許文献6)。処置具を検出した場合に、オートフォーカス機能を停止する内視鏡システムが知られている(特許文献7)。
この他、近年においては、被写体を撮影した画像を用いて生体機能情報を算出等することにより、診断を支援する内視鏡システムも知られている(特許文献8)。
内視鏡を用いて撮影した画像(以下、内視鏡画像という)等の医療画像を用いて、特定の特徴を有する被写体または被写体の一部を認識することにより、診断を支援する情報(以下、診断支援情報という)を得る場合、特定の条件で撮影することにより、認識処理が機能し得る医療画像を使用する必要がある。認識処理が機能し得ない医療画像を使用すると、認識処理の結果が得られたとしても、認識処理の結果が不正確である場合があるからである。
しかし、通常は、認識処理が機能し得る医療画像を常に取得できるとは限らない。このため、不正確な認識処理の結果、または、不正確な認識処理の結果を用いて算出等した診断支援情報が、かえって被写体の観察または診断の妨げとなってしまう場合がある。例えば、内視鏡システムにおいては、内視鏡画像に処置具が写り込んでいる場合に、認識処理の精度が低下する場合がある。
上記のように不正確な認識処理の結果等を提供しないようにするためには、認識処理が機能し得る医療画像が取得できない場合に認識処理を行わないようにすることが考えられる。しかし、単に認識処理を行わないようにすると、ユーザである医師等は、認識処理の結果、または、認識処理を行わなかった結果を誤って認識してしまう場合がある。例えば、病変の候補を検出する認識処理を行う装置等を使用している場合、単に認識処理を行わないようにすると、これを使用する医師等は、認識処理を行った結果、病変の候補が検出されなかったと誤認してしまう場合がある。すなわち、医師等は、認識処理が行われなかったために認識処理の結果が表示されていないのか、認識処理を行った結果、認識する対象がなかったために認識処理の結果が表示されていないかを判別できない場合がある。
また、被写体に対する手術等を開始した場合、または、色素剤を散布して仔細な観察を開始した場合等においては、術者の操作の妨げにならないようにするために、自動的に認識処理または認識処理の結果の表示を無効とする場合がある。しかし、この場合も上記と同様に、医師等は、認識処理を行った結果または認識処理を行わなかった結果を誤認してしまう場合がある。この他、医師等が明示的に認識機能を無効にしていないにもかかわらず、自動的に認識機能が無効になった場合、医師等の集中力が低下する場合があるという問題もある。
本発明は、少なくとも、認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止する画像処理装置及び内視鏡システム並びに画像処理プログラムを提供することを目的とする。
本発明の画像処理装置は、被写体が撮影された画像を用いて、被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える。
被写体を認識するとは、被写体のうち特定の特徴を有する部分の有無を検出すること、被写体のうち特定の特徴を有する部分の種類もしくは進行度を鑑別すること、または、被写体の一部もしくは全部についての生体機能情報を得ることであることが好ましい。
認識部は、人工知能を含むことが好ましい。報知は、人工知能の使用による認識処理が有効か無効かの報知であることが好ましい。認識部は、特定の特徴を有する被写体の部分の有無を検出すること、及び、特定の特徴を有する被写体の部分の種類もしくは進行度を鑑別することの少なくとも一方が可能であることが好ましい。
認識部は、特定の特徴を有する被写体の部分の有無を検出すること、及び、特定の特徴を有する被写体の部分の種類もしくは進行度を鑑別することが可能であることが好ましい。判別部が、被写体に対する前記操作がない、または、被写体を洗浄したと判別した場合、検出及び鑑別の両方を有効とすることが好ましい。
設定部は、認識部の検出及び鑑別の有効または無効を独立して設定することが好ましい。判別部が、被写体からの出血を判別対象とした場合、検出を行い、鑑別を行わないことが好ましい。設定部は、検出及び鑑別の有効または無効をまとめて設定することが好ましい。判別部が、被写体に色素剤を散布されたことを判別した場合、検出を行わず鑑別を行うことが好ましい。報知部は、認識部の有効又は無効の状態を示す情報、判別部による判別の結果、判別部が判別した操作の種類、及び画像をモニタに一括して表示することが好ましい。
判別部は、処置具の有無、または、処置具の種類を判別することが好ましい。
判別部が判別する操作は、認識処理の精度が低下する操作、または、ユーザーが操作に集中する必要がある操作であることが好ましい。判別部が判別する操作は、処置具を使用すること、被写体の色彩を変化させること、または、被写体に対して液体を散布することであることが好ましい。操作は、生体組織の採取、内視鏡的切除または治療に係る処置、被写体に対する液体の散布、または被写体の洗浄を含むことが好ましい。
判別部が判別した操作の種類を報知することが好ましい。認識部を無効に設定するとは、認識処理を実行しないこと、または、認識処理の結果の報知をしないことであることが好ましい。
設定部は、被写体に対して操作がある場合に認識部を無効に設定し、かつ、被写体に対して操作が無い場合に、認識部を有効に設定することが好ましい。設定部は、被写体に対して特定の操作がある場合に認識部を無効に設定することが好ましい。
報知部は、認識部の有効又は無効の報知に加えて、判別部による判別の結果を報知することが好ましい。報知部は画像を表示する領域とは異なる領域に、認識部の有効または無効の状態を報知することが好ましい。認識部が複数種類の認識処理を行う場合、設定部は認識処理ごとに有効または無効を設定することが好ましい。
本発明の内視鏡システムは、上記記載の本発明の画像処理装置と、照明光を発生する光源装置と、照明光で照明された被写体を撮影する内視鏡と、光源装置及び内視鏡を制御して画像を生成するプロセッサ装置とを備え、画像処理装置は、プロセッサ装置から画像を取得する。
本発明の画像処理プログラムは、被写体が撮影された画像を用いて、前記被写体を認識する認識処理を行う機能と、被写体に対する操作を判別する機能と、判別部の判別結果を用いて、認識部を有効または無効に設定する機能と、認識部の有効または無効の状態を報知する機能と、をコンピュータに実行させる。
本発明によれば、認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止する内視鏡システムを提供できる。
[第1実施形態]
図1に示すように、内視鏡システム10(内視鏡装置)は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19と、を備える。内視鏡12は、被写体を撮影する。光源装置14は、照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、内視鏡12で画像等を表示する表示部である。コンソール19は、プロセッサ装置16等への設定入力等を行う入力デバイスである。
図1に示すように、内視鏡システム10(内視鏡装置)は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19と、を備える。内視鏡12は、被写体を撮影する。光源装置14は、照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、内視鏡12で画像等を表示する表示部である。コンソール19は、プロセッサ装置16等への設定入力等を行う入力デバイスである。
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。その結果、先端部12dが所望の方向に向く。また、操作部12bには、アングルノブ12eの他、処置具挿入口12f、ズーム操作部13a、及び、送水ボタン13bが設けられている。処置具挿入口12fは、生検鉗子、スネア、または、電気メス等の処置具を挿入する入り口である。処置具挿入口12fに挿入した処置具は、先端部12dから突出する。ズーム操作部13aを操作することによって、被写体を拡大または縮小して撮影できる。また、送水ボタン13bを操作することによって、送水タンク17に貯留した水等の液体が先端部12dから噴出する。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の動作を制御する光源制御部22と、を備える。
光源部20は、被写体を照明する照明光を発光する。照明光の発光には、照明光を発光するために使用する励起光等の発光を含む。光源部20は、例えば、レーザーダイオード(以下、LDという)、LED(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発光するために使用する励起光を発光する。白色には、内視鏡12を用いた被写体の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。光源部20は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部20は、被写体が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域を有する光を発光できる。
本実施形態においては、光源部20は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dの4色のLEDを有する。V-LED20aは、中心波長405nm、波長帯域380~420nmの紫色光VLを発光する。B-LED20bは、中心波長460nm、波長帯域420~500nmの青色光BLを発光する。G-LED20cは、波長帯域が480~600nmに及ぶ緑色光GLを発光する。R-LED20dは、中心波長620~630nmで、波長帯域が600~650nmに及ぶ赤色光RLを発光する。なお、V-LED20aとB-LED20bの中心波長は約±20nm、好ましくは約±5nmから約±10nm程度の幅を有する。
光源制御部22は、光源部20を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部20は、分光スペクトルが異なる複数種類の照明光を発光できる。本実施形態においては、光源制御部22は、各LED20a~20dの点灯や消灯、点灯時の発光量、光学フィルタの挿抜等を、各々に独立した制御信号を入力することにより、照明光の分光スペクトルを調節する。これにより、光源部20は白色光を発光する。また、光源部20は、少なくとも狭帯域の紫色光からなる照明光を発光できる。「狭帯域」とは、被写体の特性及び/またはイメージセンサ48が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、中心波長を基準に、波長帯域が例えば約±20nm以下(好ましくは約±10nm以下)である場合、この光は狭帯域である。
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が被写体に向けて出射する。
撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有する。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、被写体から戻る照明光の反射光等(反射光の他、散乱光、被写体が発光する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む)を用いて被写体を撮影する。ズームレンズ47は、ズーム操作部13aの操作をすることで移動し、被写体像を拡大または縮小する。
イメージセンサ48は、画素ごとに、複数色のカラーフィルタのうち1色のカラーフィルタを有する。本実施形態においては、イメージセンサ48は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ48は、赤色カラーフィルタ(Rフィルタ)を有するR画素と、緑色カラーフィルタ(Gフィルタ)を有するG画素と、青色カラーフィルタ(Bフィルタ)を有するB画素と、を有する。
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、W画素(ほぼ全波長帯域の光を受光するホワイト画素)等、上記以外の特性を有する画素を1または複数種類有する場合も同様である。また、本実施形態のイメージセンサ48はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、報知部65と、表示制御部66と、を有する(図2参照)。
制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。コンソール19等を用いて、各種設定の入力等をした場合には、制御部52は、その設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。
画像取得部54は、被写体を撮影した画像を取得する。より具体的には、画像取得部54は、イメージセンサ48から、各色の画素を用いて被写体を撮影した画像、すなわちRAW画像を取得する。また、RAW画像は、デモザイク処理を実施する前の画像である。デモザイク処理を実施する前の画像であれば、イメージセンサ48から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もRAW画像に含む。
画像取得部54は、取得したRAW画像に必要に応じて各種処理を施して内視鏡画像を生成するために、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を備える。
DSP56は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、補完処理部、リニアマトリクス処理部、及び、YC変換処理部、等(いずれも図示しない)を備える。DSP56は、これらを用いてRAW画像またはRAW画像を用いて生成した画像に対して各種処理を施す。
オフセット処理部は、RAW画像に対してオフセット処理を施す。オフセット処理は、RAW画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、RAW画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ48が製造工程または経時変化に起因する欠陥を有する画素(欠陥画素)を含む場合に、イメージセンサ48の欠陥画素に対応するRAW画素の画素値を補正または生成する処理である。デモザイク処理部は、各色のカラーフィルタに対応する各色のRAW画像に対してデモザイク処理を施す。デモザイク処理は、RAW画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、1または複数のRAW画像をRGB各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。YC変換処理部は、1または複数のRAW画像をRGB各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrを有する内視鏡画像に変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色のチャンネルを有する内視鏡画像に再変換する。
画像処理部61は、画像取得部54が出力する内視鏡画像に、必要な画像処理を施す。また、画像処理部61は、内視鏡画像を用いて、特定の特徴を有する被写体または被写体の一部を認識する認識処理を行う。具体的には、図3に示すように、画像処理部61は、画像生成部71、認識部72、判別部73、及び、設定部74等を備える。
画像生成部71は、画像取得部54から内視鏡画像を取得して、モニタ18への表示等に使用する内視鏡画像を生成する。例えば、画像生成部71は、画像取得部54から、B画素を用いて被写体を撮影したB画像と、G画素を用いて被写体を撮影したG画像と、R画素を用いて被写体を撮影したR画像と、を取得し、これらの全部または一部を用いて表示用の内視鏡画像を生成する。
また、画像生成部71は、表示用の内視鏡画像を生成する際に、画像取得部54から取得する内視鏡画像、または、画像取得部54から取得する内視鏡画像を用いて生成する画像に対して必要な画像処理を施す。画像生成部71が行う画像処理は、例えば、被写体または被写体の一部を強調する強調処理である。強調とは、他の組織または構造等と区別して、特定の部分の情報を得られるようにすることをいう。例えば、特定の特徴を有する部分を枠で囲み、輪郭を示し、または、他の部分(例えば正常な粘膜等)に対して相対的に色彩もしくは明るさを変更する等の処理は強調処理である。「情報を得られるようにすること」には、特定の部分の位置、形状、色彩もしくは明るさ、及び/または、大きさ(範囲)等を認識し得るようにすることの他、特定の部分について生体機能情報(例えば酸素飽和度または血管の密度等)を知得し得るようにすることを含む。
認識部72は、被写体を撮影した画像を用いて被写体を認識する認識処理を行う。「被写体を認識する」とは、特定の特徴を有する被写体の部分の有無を検出すること(被写体の全部を検出する場合を含む)、特定の特徴を有する被写体の部分の種類もしくは進行度を鑑別すること(被写体の全体について鑑別することを含む)、及び/または、被写体の一部もしくは全部についての生体機能情報を得る(算出等する)ことをいう。特定の特徴を有する被写体の部分とは、例えば、病変、病変の候補、または、処置の痕跡である処置痕等(以下、病変等という)である。すなわち、認識部72は、認識処理によって、病変等の有無を認識できる。また、認識部72は、認識処理によって、病変等の種類または進行度を認識できる。病変等の種類の認識とは、例えばその病変等がポリープである場合には、腺腫、過形成ポリープ、または、癌等の種別を鑑別することをいう。病変等の進行度の認識とは、例えばその病変等が癌であれば癌のステージ、その他、NICE(NBI(Narrow Band Imaging) International Colorectal Endoscopic Classification)分類もしくはJNET(The Japan NBI Expert Team)分類等を鑑別することをいう。本実施形態においては、被写体を撮影した画像は、画像取得部54から取得する内視鏡画像、または、画像生成部71が生成する内視鏡画像である。また、本実施形態においては、認識部72は認識処理によって病変等を検出する。
認識部72は、例えば、学習機能を有する人工知能(AI(Artificial Intelligence))である。具体的には、認識部72は、ニューラルネットワーク(NN(Neural Network))、畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))、アダブースト(adaboost)、ランダムフォレスト(Random Forest)等の機械学習アルゴリズムを用いて学習したAIである。また、認識部72は、特定の画像を用いて認識処理をするための学習をしているので、他の画像を用いた認識処理を行えるとしても、認識処理の結果の精度が低い場合がある。本実施形態においては、認識部72は、内視鏡画像を用いて病変等を検出する学習をしたAIである。「学習機能を有する」とは、学習できることをいい、学習済みであることを含む。なお、認識部72は、AIで構成する代わりに、画像から特徴量を算出し、算出した特徴量を用いて検出等を行う構成とすることができる。
本実施形態においては、認識部72は、検出部76と、鑑別部77と、を備える。検出部76は、内視鏡画像を用いて、病変等を検出する学習をしたAIである。鑑別部77は、内視鏡画像を用いて、病変等の進行度を鑑別する学習をしたAIである。
認識部72は、認識処理の結果を、認識処理の内容にしたがって画像生成部71または表示制御部66に入力する。認識部72が認識処理の結果を画像生成部71に入力する場合、画像生成部71は認識処理の結果を反映した表示用の内視鏡画像生成する。認識部72が認識処理の結果を表示制御部66に入力する場合、表示制御部66は画像生成部71から取得する内視鏡画像とともに、認識処理の結果をモニタ18の画面に表示する。認識部72が認識処理の結果を画像生成部71に入力するのは、例えば、認識処理の結果である生体機能情報の値を用いて表示用の内視鏡画像の色彩等を変更する場合である。認識部72が認識処理の結果を表示制御部66に入力するのは、例えば、認識処理の結果である病変等の位置等を、内視鏡画像に重畳した枠の表示等で示す場合である。本実施形態においては、認識部72は、認識処理の結果である検出した病変等の位置等の情報を画像生成部71に入力する。そして、画像生成部71は、病変等がある部分について強調処理をした表示用の内視鏡画像を生成する。
判別部73は、被写体に対する操作を判別する。被写体に対する操作とは、被写体に対して何らかの(任意の)作用を与える行為をいう。例えば、生体組織検査(生検)に用いる生体組織の採取もしくは内視鏡的切除術(EMR:Endoscopic mucosal resection)等の手術もしくは治療に係る処置、被写体に対する液体の散布等または、被写体の洗浄等は、被写体に対する操作である。被写体に対する液体の散布とは、被写体に液体状の薬剤を投与し、または、水を散布することをいう。水の散布とは、被写体の一部または全部に対して、水をかけることをいう。また、薬剤の投与とは、被写体にインジゴカルミン等の色素剤等を散布することの他、被写体にインドシアニングリーン(ICG)等の蛍光薬剤を静脈注射することを含む。被写体の洗浄とは、被写体に付着した残渣、残液、または、血液等の観察の妨げになる物質等を、水もしくは空気等によって洗い流し、観察すべき被写体を内視鏡12に露呈することをいう。なお、結果として被写体に作用が及ばなかったとしても、被写体に対して作用を及ぼし得る行為は「被写体に対する操作」に含む。例えば、被写体を洗浄するためにエア(空気)を噴出する行為は、結果として被写体が清浄にならなかった場合でも、被写体に対する操作に該当する。また、「被写体に対する操作」は、被写体に対して作用を及ぼす前後の関連する一連の行為を含む。例えば、生検をする場合に鉗子を内視鏡12から突出する行為は、組織の採取前であっても、生検に関連する一連の行為であり、被写体に対する操作に含む。
被写体に対する操作の判別とは、被写体に対して操作をすることを検出すること、または、被写体に対して操作がされたことを検出することをいう。操作の判別は、例えば、処置具の使用の検出、処置痕の検出(手術痕の検出の他、処置によって生じた出血の検出、色素剤の散布等によって色彩等が変化した組織もしくは構造の検出等を含む)、または、送水ボタン13b等の操作の検出等によって行う。判別部73は、処置具の使用は、内視鏡画像または設定情報等を用いて、処置具の有無、または、処置具の種類(形状等)を検出することができる。判別部73は、上記処置具等(水の散布を含む)の検出を内視鏡画像の解析によって行うことできる。また、判別部73は、制御部52から信号または設定情報を取得することにより、送水ボタン13b等の操作の検出できる。
被写体に対する操作の判別には、被写体に対する操作の有無を判別すること、及び、被写体に対する操作の種類を判別すること、を含む。操作の有無の判別には、操作の種類を問わず、検出対象の「被写体に対する操作」を検出することを含む。また、被写体に対する操作の種類の判別とは、操作の内容(例えば、生検であるのか、薬剤の投与であるのか等)を区別して被写体に対する操作を判別することをいう。本実施形態においては、判別部73は、被写体に対する操作の有無を判別する。
設定部74は、判別部73の判別結果を用いて、認識部72を有効または無効に設定する。判別部73の判別結果とは、被写体に対する操作の有無、及び/または、被写体に対する操作の種類である。「認識部72を有効に設定する」とは、認識部72が行う認識処理を有効とし、認識部72が認識処理を実行する設定をすること、認識処理の結果の報知をする設定をすること、または、認識部72が認識処理の結果の出力をする設定をすることをいう。「認識部72を無効に設定する」とは、認識部72が行う認識処理を無効とし、認識部72が認識処理を実行しない設定をすること、または、認識処理の結果の報知しない設定をすること、または、認識処理の結果を出力しない設定をすることをいう。すなわち、「認識部72を有効または無効に設定する」とは、認識部72が行う認識処理を有効もしくは無効にすること、または、認識処理の結果の報知(もしくは認識処理結果の出力)を有効もしくは無効にすること、をいう。「認識処理の結果の報知」とは、認識処理の結果を、医師等が認識し得る状態にするこという。「認識処理の結果の出力」とは、認識部72が、認識処理の結果を、画像生成部71等の他の処理部等に引き渡すことをいう。本実施形態においては、設定部74は、認識部72が行う認識処理自体を有効または無効に設定する。
判別部73が被写体に対する操作の有無を判別する場合、設定部74は、被写体に対して操作がある場合に認識部72を無効に設定し、かつ、被写体に対して操作がない場合に認識部72を有効に設定する。被写体への操作がある場合には、認識処理の精度が低下する可能性があるか、または、医師等が操作に集中する必要がある状況だからである。
判別部73が被写体に対する操作の種類を判別する場合、設定部74は、被写体に対して特定の操作がある場合に、認識部72を無効にする。特定の操作とは、認識部72が行う認識処理の精度が低下する操作、または、医師等が操作に集中する必要がある操作である。したがって、判別部73が被写体に対する操作の種類を判別する場合、操作の種類によっては、設定部74は、認識部72を有効に設定することができる。このため、状況に応じて適切な診断支援を継続することができる。
また、認識部72が複数種類の認識処理をする場合、設定部74は、認識処理ごとに有効または無効と設定できる。例えば、設定部74は、認識部72を有効または無効に設定する場合に、検出部76を有効または無効に設定し、かつ、検出部76の有効または無効の設定に依存せずに鑑別部77を有効または無効に設定できる。もちろん、設定部74は、検出部76と鑑別部77の両方をまとめて、認識部72の全体を有効または無効に設定できる。本実施形態においては、設定部74は、認識部72の全体、すなわち、検出部76及び鑑別部77をまとめて有効または無効に設定する。
報知部65は、例えば判別部73から判別結果を得て(または設定部74から認識部72の設定に係る情報を得て)、認識部72の有効または無効の状態を報知する。認識部72の有効または無効の状態について「報知する」とは、ユーザである医師等が、認識部72の有効または無効の状態を知得し得る状態にすることをいう。例えば、報知部65は、モニタ18の画面にメッセージ(文字列)、文字、図形、及び/または、記号等(マーク、アイコン、もしくはインジケータ等の表示を含む)を表示すること、これらを表示しないこと、もしくは、これらの表示を変更することにより、認識部72の有効または無効の状態を報知できる。この他、報知部65は、ランプの点灯、消灯もしくは点滅等、音(音声を含む)、振動機能を有する部材の振動、または、これらの変更等によって、認識部72の有効または無効の状態を報知できる。もちろん、報知部65は、文字列等と、ランプの点灯等と、を組み合わせて、認識部72の有効または無効の状態を報知できる。本実施形態においては、報知部65は、モニタ18の画面に、認識部72の有効または無効の状態を示す表示をする。
表示制御部66は、画像処理部61が出力する内視鏡画像を表示に適した形式に変換してモニタ18に出力する。これにより、モニタ18は内視鏡画像を表示する。また、本実施形態においては、報知部65が、認識部72の有効または無効の状態を示す情報を入力する。このため、表示制御部66は、モニタ18の画面にその情報を表示する。
上記のように構成する内視鏡システム10は、認識部72の有効または無効の状態の報知について以下のように動作する。図4に示すように、内視鏡12を用いて被写体を撮影すると(ステップS111)、画像取得部54が内視鏡画像を取得する。そして、画像生成部71が必要な画像処理を施して表示用の内視鏡画像を生成する(ステップS112)。
その後、または、表示用の内視鏡画像と並行して、判別部73は、例えば表示用の内視鏡画像を用いて、被写体に対する操作を判別する(ステップS113)。被写体に対する操作がない場合(ステップS113:YES)、設定部74は認識部72を有効に設定する(ステップS114)。このため、認識部72は、例えば表示用の内視鏡画像に対して認識処理を実行する(ステップS115)。本実施形態においては、認識部72は検出部76と鑑別部77があり、設定部74はこれらをまとめて有効または無効に設定するので、被写体に対する操作がない場合、認識部72は病変等の検出と鑑別の両方の認識処理を実行する。その後、認識部72は、認識結果を画像生成部71に出力するので、画像生成部71は認識結果を用いて、例えば病変等を強調等した表示用の内視鏡画像を生成し、表示制御部66に出力する。これにより、モニタ18は、画面に内視鏡画像を表示する。また、報知部65は、認識部72の有効の状態を報知する(ステップS116)。ここでは設定部74が認識部72を有効に設定するので、報知部65は、認識部72が有効である状態を示す文字列等をモニタ18の画面に表示する。例えば、図5に示すように、報知部65は、内視鏡画像121を表示するモニタ18の画面に、「AI: ON」の表示122をする。これにより、認識部72が有効である状態を報知する。なお、内視鏡画像121は、被写体に対する操作がなく、かつ、病変等もない画像である。
一方、判別部73が被写体への操作を検出した場合(ステップS113:NO)、設定部74は、認識部72を無効に設定する(ステップS117)。このため、認識部72は検出及び鑑別のいずれをも実行せず、画像生成部71は、生成した表示用の内視鏡画像を表示制御部66に出力する。これにより、モニタ18は、画面に内視鏡画像を表示する。また、報知部65は、認識部72の無効の状態を報知する(ステップS118)。例えば、図6に示すように、報知部65は、内視鏡画像126を表示するモニタ18の画面に、「AI: OFF」の表示127を表示する。これにより、認識部72が無効である状態を報知する。なお、内視鏡画像126は、生検用の鉗子128がある。このため、認識部72は無効となっている。
上記のように、内視鏡システム10は、判別部73が被写体に対する操作を判別し、設定部74が判別部73の判別結果を用いて認識部72を有効または無効に設定する。このため、内視鏡システム10が、観察の状況に応じて認識部72を有効または無効するため、ユーザである医師等は、観察の途中において、自ら手動で認識部72を有効または無効に設定しなくてもよいという利便性がある。しかし、認識部72の有効または無効を自動的に設定するだけでは、医師等は認識処理の結果または認識処理を行わなかった結果を誤認する場合がある。例えば、認識部72が有効であるという先入観がある場合、自動的に認識部72が無効となって認識処理の結果が表示されなくなると、病変等があったとしても、医師等は、認識部72が認識処理を行った結果、病変等がないと示していると誤認してしまう場合がある。そこで、内視鏡システム10においては、報知部65が、認識部72の有効または無効の状態を報知する。このため、「AI: ON」の表示122、または、「AI: OFF」の表示127を見れば認識部72が認識処理を行っているか否かが明瞭であるから、上記のような誤認を防止できる。その結果、誤診を防止できる。
[第2実施形態]
設定部74が、認識処理ごとに有効または無効の設定をする場合、報知部65は、認識処理ごとに有効または無効の状態を報知できる。例えば、認識部72が検出部76と鑑別部77を有し、かつ、設定部74が検出部76と鑑別部77をそれぞれに有効または無効に設定する場合、図7に示すように、報知部65は、認識部72の有効または無効の状態を示す表示欄222に、検出部76の有効または無効の状態を示す表示223と、鑑別部77の有効または無効の状態を示す表示224と、をそれぞれ表示し、これらの状態を報知できる。例えば、「検出: ON」の表示223は、検出部76が有効の状態を示す表示であり、かつ、「検出: OFF」(図示しない)の表示は、検出部76が無効の状態を示す表示である。同様に、「鑑別: ON」の表示224は、鑑別部77が有効の状態を示す表示であり、かつ、「鑑別: OFF」(図示しない)の表示は、鑑別部77が無効の状態を示す表示である。
設定部74が、認識処理ごとに有効または無効の設定をする場合、報知部65は、認識処理ごとに有効または無効の状態を報知できる。例えば、認識部72が検出部76と鑑別部77を有し、かつ、設定部74が検出部76と鑑別部77をそれぞれに有効または無効に設定する場合、図7に示すように、報知部65は、認識部72の有効または無効の状態を示す表示欄222に、検出部76の有効または無効の状態を示す表示223と、鑑別部77の有効または無効の状態を示す表示224と、をそれぞれ表示し、これらの状態を報知できる。例えば、「検出: ON」の表示223は、検出部76が有効の状態を示す表示であり、かつ、「検出: OFF」(図示しない)の表示は、検出部76が無効の状態を示す表示である。同様に、「鑑別: ON」の表示224は、鑑別部77が有効の状態を示す表示であり、かつ、「鑑別: OFF」(図示しない)の表示は、鑑別部77が無効の状態を示す表示である。
上記のように、設定部74が認識処理ごとに有効または無効の設定をする場合、観察の状況に適切な認識処理を有効とし、それ以外の認識処理を無効とすることができる。このため、内視鏡システム10は最適な診断支援をすることができる。その上で、報知部65が認識処理ごとに有効または無効の状態を報知するので、医師等は、各認識処理の有効または無効を正確に把握できる。このため、認識処理の結果または認識処理を行わなかった結果の誤認を防止でき、その結果、誤診を防止できる。
上記第2実施形態においては、検出部76及び鑑別部77の両方が有効である例を示しているが、図8に示すように、判別部73の判別状況によっては、検出部76のみが有効とすることが適切である場合、鑑別部77のみが有効とすることが適切な場合、または、検出部76及び鑑別部77の両方を無効とすることが適切である場合がある。
「判別状況1」は、検出部76及び鑑別部77の両方を有効とすることが適切な状況であり、例えば、被写体に対する操作がない場合、または、水等を用いて被写体を洗浄した場合等である。これらは病変等を検出及び鑑別することが求められている可能性が高い状況である。
「判別状況2」は、検出部76を有効とし、かつ、鑑別部77を無効とすることが適切な状況である。例えば、生検または手術等をする際に、被写体からの出血を判別部73の判別対象(検出対象)とする場合等、すなわち、止血の確認等のために出血の検出は必要であるが、既に手術等に及んでいるため、鑑別は不要という状況等である。判別部73は、例えば、被写体に対する操作の種類により、上記状況を判別できる。
「判別状況3」は、検出部76を無効とし、かつ、鑑別部77を有効とすることが適切な状況である。例えば、既に病変等を発見しているため、改めて病変等の検出することを要せず、かつ、発見した病変等についての診断において、内視鏡システム10から、より詳細な診断支援を受けたい場合等である。具体的には、被写体に色素剤を散布し、病変等の進行度を鑑別したい場合である。判別部73は、例えば、被写体に対する操作の種類により、上記状況を判別できる。
「判別状況4」は、検出部76及び鑑別部77の両方を無効とすることが適切な状況である。例えば、病変等の検出及び鑑別が済んでおり、操作に集中する必要がある生検または手術等をする場合等である。判別部73は、操作の種類により、上記状況を判別できる。判別部73が被写体からの出血を検出した場合には、例えば、判別状況3となる。
なお、上記第2実施形態においては、検出部76及び鑑別部77の有効または無効を「ON」または「OFF」で表しているが、検出部76及び鑑別部77の有効または無効は、他の表示で表すことができる。例えば、「OFF」の表示の代わりに「非対応」等の表示を用いてもよい。また、検出部76または鑑別部77が有効の状態であっても、認識処理の精度(確度もしくは信頼度)が低い場合には、「ON」の表示の代わりに、「Unsupported」(非対応)等の表示をすることができる。例えば、判別状況3において、鑑別部77が色素剤を散布した被写体の鑑別に対応していない場合、鑑別の精度が低下するので、「検出: OFF」かつ「鑑別: Unsupported」の表示をすることができる。これらの表示態様の変更等は、第1実施形態についても同様に行うことができる。
[第3実施形態]
上記第1実施形態及び第2実施形態においては、報知部65は、認識部72の有効または無効の状態を報知しているが、報知部65は、さらに、判別部73が判別した操作の有無、または、操作の種類を報知できる。すなわち、報知部65は、認識部72の有効または無効の状態に加えて、判別部73の判別結果を報知することができる。
上記第1実施形態及び第2実施形態においては、報知部65は、認識部72の有効または無効の状態を報知しているが、報知部65は、さらに、判別部73が判別した操作の有無、または、操作の種類を報知できる。すなわち、報知部65は、認識部72の有効または無効の状態に加えて、判別部73の判別結果を報知することができる。
例えば、判別部73が被写体への操作を検出した場合、図9に示すように、報知部65は、「AI: OFF」の表示127等の認識部72の有効または無効の報知に加えて、「Actions」(「操作」)の表示301等により、被写体への操作を検出した旨を報知できる。なお、内視鏡画像310は、被写体に色素剤311を散布した内視鏡画像である。
上記のように、報知部65が被写体に対する操作の有無を報知する場合、医師等は、認識部72の有効または無効の原因を認識できる。その結果、より確実に、認識処理の結果または認識処理を行わなかった結果の誤認を防止でき、かつ、誤診を防止できる。
また、報知部65は、判別部73が判別した操作の種類を報知できる。例えば、図10に示すように、報知部65は、操作の種類表示欄313に、生検を表す「Biopsy」、色素剤の散布を表す「Chromo」、及び、内視鏡的切除術を表す「Resection」を一覧表示し、かつ、判別部73が判別した操作の種類(図10においては「Chromo」)にチェックマーク(「レ」)を付す等して、判別部73が判別した操作の種類を報知できる。
上記のように、判別部73が操作の種類を判別する場合に、報知部65が、判別部73が判別した操作の種類を報知すると、医師等は、認識部72の有効または無効の原因を詳細に認識できる。その結果、より確実に、認識処理の結果または認識処理を行わなかった結果の誤認を防止でき、かつ、誤診を防止できる。
なお、上記第3実施形態の被写体に対する操作の有無または操作の種類の報知は、第2実施形態のように、認識処理ごとに有効または無効の設定及び報知をする場合にも適用できる。この場合、認識部72の有効または無効の状態を示す表示欄222(図7参照)と、「Actions」の表示301または操作の種類表示欄313と、をモニタ18に表示すればよい。
また、上記第3実施形態においては、被写体に対する操作の有無または操作の種類は、文字または文字列以外の表示により報知できる。例えば、図11に示すように、操作の種類表示欄313に、生検を示すアイコン331と、色素剤の散布を表すアイコン332と、内視鏡的切除術を表すアイコン333と、を一覧表示し、判別部73が判別した操作の種類に該当するアイコンに色を付す等して、判別部73が判別した操作の種類を報知できる。なお、図11においては、内視鏡画像321に生検用の鉗子128があるため、生検を示すアイコン331に色が付されている。
上記のように、操作の種類をアイコンで示す場合、図12に示すように、操作の種類表示欄313には、判別部73が判別した操作の種類に該当するアイコンのみを表示することができる。被写体に対する操作の種類を、操作の種類表示欄313に文字列で表示する場合(図10参照)についても同様であり、操作の種類表示欄313には、判別部73が判別した操作の種類を示す文字列等のみを表示できる。
第1実施形態、第2実施形態、及び、第3実施形態においては、設定部74は、認識部72が行う認識処理を有効または無効に設定するが、代わりに、設定部74は、認識処理の結果の報知を有効または無効に設定することによって、認識部72の有効または無効を設定できる。この場合において、認識処理の結果の報知を無効に設定する際には、設定部74は、検出部76及び鑑別部77を有効に設定したまま、例えば画像生成部71等への認識結果の出力を停止し、医師等が認識結果を知り得ない状態に留める。その結果、認識処理自体の有効または無効を設定する場合よりも、簡便かつ迅速に、認識部72の有効または無効を設定できる。
第1実施形態、第2実施形態、及び、第3実施形態においては、報知部65は、モニタ18の画面における表示によって、認識部72の有効または無効の状態を報知するが、モニタ18の画面における表示以外の態様で認識部72の有効または無効の状態を報知する場合、図13に示すように、プロセッサ装置16は、報知デバイス171を備えることができる。報知デバイス171は、音もしくは音声を発するスピーカー、LED等の発光素子で構成するインジケータ、または、モータもしくは圧電素子等の振動素子等である。この他、報知部65は、内視鏡システム10が備える素子等を、報知デバイス171として使用できる。また、プロセッサ装置16以外、すなわち、内視鏡12または光源装置14に報知デバイス171を設けてもよい。
なお、図14に示すように、認識部72、判別部73、設定部74、及び/または、報知部65は、例えばプロセッサ装置16と通信して内視鏡システム10と連携する医療画像処理装置901に設けることができる。また、図15に示すように、認識部72、判別部73、設定部74、及び/または、報知部65は、例えば内視鏡システム10(報知部65等を有しないものを含む)から直接的に、または、PACS(Picture Archiving and Communication Systems)910から間接的に、内視鏡12で撮影したRAW画像を取得する診断支援装置911に設けることができる。また、図16に示すように、内視鏡システム10を含む、第1検査装置921、第2検査装置922、…、第K検査装置923等の各種検査装置と、ネットワーク926を介して接続する医療業務支援装置930に、認識部72、判別部73、設定部74、及び/または、報知部65を設けることができる。
すなわち、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える医療画像処理装置及びその作動方法を含む。また、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える診断支援装置及びその作動方法を含む。同様に、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える医療業務支援装置及びその作動方法を含む。
また、本発明は、画像取得部が被写体を撮影した画像を取得するステップと、認識部が画像を用いて被写体を認識する認識処理を行うステップと、設定部が、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定するステップと、報知部が、認識部の有効または無効の状態を報知するステップと、を備える内視鏡システムの作動方法を含む。また、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備えるプロセッサ装置及びその作動方法を含む。
なお、内視鏡12としてカプセル内視鏡を使用できる。この場合、光源装置14と、プロセッサ装置16の一部と、はカプセル内視鏡に搭載できる。
上記実施形態において、認識部72、判別部73、設定部74、または報知部65等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成してもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像(動画を含む)を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、X線画像撮影装置(CT(Computed Tomography)検査装置及びマンモグラフィ装置等を含む)、MRI(magnetic resonance imaging)装置、等に適用できる。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f 処置具挿入口
13a ズーム操作部
13b 送水ボタン
14 光源装置
16 プロセッサ装置
17 送水タンク
18 モニタ
19 コンソール
20 光源部
22 光源制御部
30a 照明光学系
30b 撮影光学系
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61 画像処理部
65 報知部
66 表示制御部
71 画像生成部
72 認識部
73 判別部
74 設定部
76 検出部
77 鑑別部
121、126、310、321 内視鏡画像
122、127、223、224、301 表示
128 鉗子
171 報知デバイス
222 表示欄
311 色素剤
313 種類表示欄
331、332、333 アイコン
901 医療画像処理装置
910 PACS
911 診断支援装置
921 第1検査装置
922 第2検査装置
923 第K検査装置
926 ネットワーク
930 医療業務支援装置
S111~S118 動作のステップ
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f 処置具挿入口
13a ズーム操作部
13b 送水ボタン
14 光源装置
16 プロセッサ装置
17 送水タンク
18 モニタ
19 コンソール
20 光源部
22 光源制御部
30a 照明光学系
30b 撮影光学系
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61 画像処理部
65 報知部
66 表示制御部
71 画像生成部
72 認識部
73 判別部
74 設定部
76 検出部
77 鑑別部
121、126、310、321 内視鏡画像
122、127、223、224、301 表示
128 鉗子
171 報知デバイス
222 表示欄
311 色素剤
313 種類表示欄
331、332、333 アイコン
901 医療画像処理装置
910 PACS
911 診断支援装置
921 第1検査装置
922 第2検査装置
923 第K検査装置
926 ネットワーク
930 医療業務支援装置
S111~S118 動作のステップ
Claims (25)
- 被写体が撮影された画像を用いて、前記被写体を認識する認識処理を行う認識部と、
前記被写体に対する操作を判別する判別部と、
前記判別部の判別結果を用いて、前記認識部を有効または無効に設定する設定部と、
前記認識部の有効または無効の状態を報知する報知部と、
を備える画像処理装置。 - 前記被写体を認識するとは、前記被写体のうち特定の特徴を有する部分の有無を検出すること、前記被写体のうち特定の特徴を有する部分の種類もしくは進行度を鑑別すること、または、前記被写体の一部もしくは全部についての生体機能情報を得ることである請求項1記載の画像処理装置。
- 前記認識部は、人工知能を含む請求項1または2記載の画像処理装置。
- 前記報知は、前記人工知能の使用による認識処理が有効か無効かの報知である請求項3記載の画像処理装置。
- 前記認識部は、特定の特徴を有する被写体の部分の有無を検出すること、及び、特定の特徴を有する被写体の部分の種類もしくは進行度を鑑別することの少なくとも一方が可能である請求項1ないし4いずれか1項記載の画像処理装置。
- 前記認識部は、特定の特徴を有する被写体の部分の有無を検出すること、及び、特定の特徴を有する被写体の部分の種類もしくは進行度を鑑別することが可能である請求項5記載の画像処理装置。
- 前記判別部が、前記被写体に対する前記操作がない、または、前記被写体を洗浄したと判別した場合、前記検出及び前記鑑別の両方を有効とする請求項6記載の画像処理装置。
- 前記設定部は、認識部の前記検出及び前記鑑別の有効または無効を独立して設定する請求項6または7記載の画像処理装置。
- 前記判別部が、前記被写体からの出血を判別対象とした場合、前記検出を行い、前記鑑別を行わない請求項6または8記載の画像処理装置。
- 前記設定部は、前記検出及び前記鑑別の有効または無効をまとめて設定する請求項6または7記載の画像処理装置。
- 前記判別部が、前記被写体に色素剤を散布されたことを判別した場合、前記検出を行わず前記鑑別を行う請求項8記載の画像処理装置。
- 前記報知部は、前記認識部の有効又は無効の状態を示す情報、前記判別部による判別の結果、前記判別部が判別した前記操作の種類、及び前記画像をモニタに一括して表示する請求項1ないし11いずれか1項記載の画像処理装置。
- 前記判別部は、処置具の有無、または、処置具の種類を判別する請求項1ないし12いずれか1項記載の画像処理装置。
- 前記判別部が判別する前記操作は、前記認識処理の精度が低下する操作、または、ユーザーが操作に集中する必要がある操作である請求項1ないし12いずれか1項記載の画像処理装置。
- 前記判別部が判別する前記操作は、処置具を使用すること、被写体の色彩を変化させること、または、前記被写体に対して液体を散布することである請求項1ないし12いずれか1項記載の画像処理装置。
- 前記操作は、生体組織の採取、内視鏡的切除または治療に係る処置、被写体に対する液体の散布、または被写体の洗浄を含む請求項1ないし12いずれか1項記載の画像処理装置。
- 前記判別部が判別した前記操作の種類を報知する請求項1ないし16いずれか1項記載の画像処理装置。
- 前記認識部を無効に設定するとは、前記認識処理を実行しないこと、または、前記認識処理の結果の報知をしないことである請求項1ないし17いずれか1項記載の画像処理装置。
- 前記設定部は、前記被写体に対して操作がある場合に前記認識部を無効に設定し、かつ、前記被写体に対して操作が無い場合に、前記認識部を有効に設定する請求項1ないし17いずれか1項記載の画像処理装置。
- 前記設定部は、前記被写体に対して特定の操作がある場合に前記認識部を無効に設定する請求項1ないし17いずれか1項記載の画像処理装置。
- 前記報知部は、前記認識部の有効又は無効の報知に加えて、前記判別部による判別の結果を報知する請求項1ないし20いずれか1項記載の画像処理装置。
- 前記報知部は前記画像を表示する領域とは異なる領域に、前記認識部の有効または無効の状態を報知する請求項1ないし21いずれか1項記載の画像処理装置。
- 前記認識部が複数種類の認識処理を行う場合、前記設定部は前記認識処理ごとに有効または無効を設定する請求項1ないし22いずれか1項記載の画像処理装置。
- 請求項1ないし23いずれか1項記載の画像処理装置と、
照明光を発生する光源装置と、
前記照明光で照明された前記被写体を撮影する内視鏡と、
前記光源装置及び前記内視鏡を制御して前記画像を生成するプロセッサ装置を備え、
前記画像処理装置は前記プロセッサ装置から前記画像を取得する内視鏡システム。 - 被写体が撮影された画像を用いて、前記被写体を認識する認識処理を行う機能と、
前記被写体に対する操作を判別する機能と、
前記判別部の判別結果を用いて、前記認識部を有効または無効に設定する機能と、
前記認識部の有効または無効の状態を報知する機能と、
をコンピュータに実行させる画像処理プログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018153733 | 2018-08-17 | ||
JP2018153733 | 2018-08-17 | ||
JP2022003044A JP7190597B2 (ja) | 2018-08-17 | 2022-01-12 | 内視鏡システム |
JP2022194135A JP7411772B2 (ja) | 2018-08-17 | 2022-12-05 | 内視鏡システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022194135A Division JP7411772B2 (ja) | 2018-08-17 | 2022-12-05 | 内視鏡システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024023832A true JP2024023832A (ja) | 2024-02-21 |
Family
ID=69525443
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020537111A Active JP7009636B2 (ja) | 2018-08-17 | 2019-08-16 | 内視鏡システム |
JP2022003044A Active JP7190597B2 (ja) | 2018-08-17 | 2022-01-12 | 内視鏡システム |
JP2022194135A Active JP7411772B2 (ja) | 2018-08-17 | 2022-12-05 | 内視鏡システム |
JP2023217600A Pending JP2024023832A (ja) | 2018-08-17 | 2023-12-25 | 画像処理装置及び内視鏡システム並びに画像処理プログラム |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020537111A Active JP7009636B2 (ja) | 2018-08-17 | 2019-08-16 | 内視鏡システム |
JP2022003044A Active JP7190597B2 (ja) | 2018-08-17 | 2022-01-12 | 内視鏡システム |
JP2022194135A Active JP7411772B2 (ja) | 2018-08-17 | 2022-12-05 | 内視鏡システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210177248A1 (ja) |
EP (1) | EP3838109A4 (ja) |
JP (4) | JP7009636B2 (ja) |
CN (1) | CN112566538A (ja) |
WO (1) | WO2020036224A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020194568A1 (ja) * | 2019-03-27 | 2020-10-01 | Hoya株式会社 | 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法 |
EP4202527A4 (en) * | 2020-08-24 | 2024-02-14 | Fujifilm Corp | IMAGE PROCESSING DEVICE, METHOD AND PROGRAM |
EP4201301A4 (en) | 2020-08-24 | 2024-02-21 | Fujifilm Corp | DEVICE FOR PROCESSING MEDICAL IMAGES, METHOD FOR PROCESSING MEDICAL IMAGES, ENDOSCOPE SYSTEM AND PROGRAM FOR PROCESSING MEDICAL IMAGES |
JP7478245B2 (ja) | 2020-09-24 | 2024-05-02 | 富士フイルム株式会社 | 医療画像装置及びその作動方法 |
WO2023282143A1 (ja) * | 2021-07-07 | 2023-01-12 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置 |
WO2023100446A1 (ja) * | 2021-11-30 | 2023-06-08 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63259614A (ja) | 1987-04-17 | 1988-10-26 | Olympus Optical Co Ltd | 内視鏡画面の表示方法 |
EP0890400B1 (de) | 1997-06-17 | 2002-07-31 | Wärtsilä Schweiz AG | Giessverfahren zum Herstellen metallischer Giesslinge |
JP4616576B2 (ja) | 2004-04-20 | 2011-01-19 | ユキワ精工株式会社 | チャック装置 |
JP2007330405A (ja) | 2006-06-13 | 2007-12-27 | Olympus Medical Systems Corp | 内視鏡システム |
JP2008142180A (ja) | 2006-12-07 | 2008-06-26 | Pentax Corp | 電子内視鏡装置 |
JP4891823B2 (ja) | 2007-03-29 | 2012-03-07 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置 |
JP5004736B2 (ja) | 2007-09-25 | 2012-08-22 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
US8768024B1 (en) | 2010-06-01 | 2014-07-01 | Given Imaging Ltd. | System and method for real time detection of villi texture in an image stream of the gastrointestinal tract |
JP5634755B2 (ja) * | 2010-06-08 | 2014-12-03 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法 |
EP2532299B1 (en) * | 2010-09-14 | 2014-11-05 | Olympus Medical Systems Corp. | Endoscope system and low visibility determining method |
JP5663283B2 (ja) | 2010-12-02 | 2015-02-04 | オリンパス株式会社 | 内視鏡画像処理装置及びプログラム |
JP5953049B2 (ja) | 2012-01-24 | 2016-07-13 | オリンパス株式会社 | 内視鏡システム |
JP6265630B2 (ja) * | 2013-06-13 | 2018-01-24 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の作動方法 |
JP5905130B2 (ja) | 2015-01-30 | 2016-04-20 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理装置の作動方法 |
CN112274250A (zh) * | 2015-03-17 | 2021-01-29 | 直观外科手术操作公司 | 用于在远程操作医疗系统中呈现器械的屏幕识别的系统和方法 |
DE112015006531T5 (de) * | 2015-06-11 | 2018-02-15 | Olympus Corporation | Endoskopvorrichtung und Verfahren zum Bedienen der Endoskopvorrichtung |
WO2017002184A1 (ja) * | 2015-06-29 | 2017-01-05 | オリンパス株式会社 | 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム |
WO2017072853A1 (ja) | 2015-10-27 | 2017-05-04 | オリンパス株式会社 | 撮像装置、内視鏡装置及び撮像装置の作動方法 |
EP3360461A4 (en) * | 2015-11-10 | 2019-05-08 | Olympus Corporation | ENDOSCOPE DEVICE |
JP6488249B2 (ja) | 2016-03-08 | 2019-03-20 | 富士フイルム株式会社 | 血管情報取得装置、内視鏡システム及び血管情報取得方法 |
CN110049709B (zh) * | 2016-12-07 | 2022-01-11 | 奥林巴斯株式会社 | 图像处理装置 |
WO2018216188A1 (ja) * | 2017-05-26 | 2018-11-29 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
CN114145693A (zh) * | 2017-06-02 | 2022-03-08 | 富士胶片株式会社 | 医疗图像处理装置 |
JP2018051364A (ja) | 2017-12-27 | 2018-04-05 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法 |
-
2019
- 2019-08-16 JP JP2020537111A patent/JP7009636B2/ja active Active
- 2019-08-16 CN CN201980053740.2A patent/CN112566538A/zh active Pending
- 2019-08-16 EP EP19849595.4A patent/EP3838109A4/en active Pending
- 2019-08-16 WO PCT/JP2019/032166 patent/WO2020036224A1/ja unknown
-
2021
- 2021-02-03 US US17/167,046 patent/US20210177248A1/en active Pending
-
2022
- 2022-01-12 JP JP2022003044A patent/JP7190597B2/ja active Active
- 2022-12-05 JP JP2022194135A patent/JP7411772B2/ja active Active
-
2023
- 2023-12-25 JP JP2023217600A patent/JP2024023832A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2020036224A1 (ja) | 2020-02-20 |
JP2022044652A (ja) | 2022-03-17 |
JP2023014380A (ja) | 2023-01-26 |
JP7411772B2 (ja) | 2024-01-11 |
EP3838109A1 (en) | 2021-06-23 |
JP7190597B2 (ja) | 2022-12-15 |
JP7009636B2 (ja) | 2022-01-25 |
JPWO2020036224A1 (ja) | 2021-08-26 |
CN112566538A (zh) | 2021-03-26 |
EP3838109A4 (en) | 2021-10-06 |
US20210177248A1 (en) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7411772B2 (ja) | 内視鏡システム | |
JP6785941B2 (ja) | 内視鏡システム及びその作動方法 | |
US20210153730A1 (en) | Endoscope system | |
JP6785948B2 (ja) | 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 | |
JP7135082B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、及びプログラム | |
US11969148B2 (en) | Medical image processing device | |
WO2018159083A1 (ja) | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 | |
WO2020036109A1 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
US20210233648A1 (en) | Medical image processing apparatus, medical image processing method, program, and diagnosis support apparatus | |
US20230027950A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
JP7130043B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP6785990B2 (ja) | 医療画像処理装置、及び、内視鏡装置 | |
US20230237659A1 (en) | Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium | |
JP6834019B2 (ja) | 医療画像処理装置、及び、内視鏡装置 | |
US20230101620A1 (en) | Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium | |
WO2022014235A1 (ja) | 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム | |
JP6866497B2 (ja) | 医療画像処理装置、及び、内視鏡装置 | |
JP2023178526A (ja) | 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231225 |