JPWO2019198637A1 - 画像処理装置、内視鏡システム、及び画像処理方法 - Google Patents
画像処理装置、内視鏡システム、及び画像処理方法 Download PDFInfo
- Publication number
- JPWO2019198637A1 JPWO2019198637A1 JP2020513241A JP2020513241A JPWO2019198637A1 JP WO2019198637 A1 JPWO2019198637 A1 JP WO2019198637A1 JP 2020513241 A JP2020513241 A JP 2020513241A JP 2020513241 A JP2020513241 A JP 2020513241A JP WO2019198637 A1 JPWO2019198637 A1 JP WO2019198637A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- information
- lesion
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 108
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000003902 lesion Effects 0.000 claims abstract description 145
- 201000010099 disease Diseases 0.000 claims abstract description 97
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 97
- 238000007689 inspection Methods 0.000 claims abstract description 96
- 238000003860 storage Methods 0.000 claims abstract description 68
- 238000004458 analytical method Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000003780 insertion Methods 0.000 claims description 15
- 230000037431 insertion Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 16
- 238000010191 image analysis Methods 0.000 description 16
- 208000037062 Polyps Diseases 0.000 description 15
- 238000005286 illumination Methods 0.000 description 14
- 102000001554 Hemoglobins Human genes 0.000 description 12
- 108010054147 Hemoglobins Proteins 0.000 description 12
- 230000001678 irradiating effect Effects 0.000 description 12
- 238000012323 Endoscopic submucosal dissection Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 206010028980 Neoplasm Diseases 0.000 description 8
- 201000011510 cancer Diseases 0.000 description 8
- 230000001575 pathological effect Effects 0.000 description 7
- 238000004321 preservation Methods 0.000 description 7
- 230000008033 biological extinction Effects 0.000 description 6
- 238000001574 biopsy Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000001727 in vivo Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 230000003647 oxidation Effects 0.000 description 4
- 238000007254 oxidation reaction Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000012326 endoscopic mucosal resection Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 208000032544 Cicatrix Diseases 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 208000017819 hyperplastic polyp Diseases 0.000 description 2
- 230000001613 neoplastic effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 231100000241 scar Toxicity 0.000 description 2
- 230000037387 scars Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 208000000151 Colon Diverticulum Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- DPKHZNPWBDQZCN-UHFFFAOYSA-N acridine orange free base Chemical compound C1=CC(N(C)C)=CC2=NC3=CC(N(C)C)=CC=C3C=C21 DPKHZNPWBDQZCN-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000001815 ascending colon Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- DZBUGLKDJFMEHC-UHFFFAOYSA-N benzoquinolinylidene Natural products C1=CC=CC2=CC3=CC=CC=C3N=C21 DZBUGLKDJFMEHC-UHFFFAOYSA-N 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 210000004534 cecum Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000001731 descending colon Anatomy 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000002795 fluorescence method Methods 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003800 pharynx Anatomy 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000932 sedative agent Substances 0.000 description 1
- 230000001624 sedative effect Effects 0.000 description 1
- 210000001599 sigmoid colon Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000003384 transverse colon Anatomy 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Astronomy & Astrophysics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Endoscopes (AREA)
Abstract
Description
図1は、第1の実施形態に係る内視鏡システム10(画像処理装置、診断支援装置、内視鏡システム、医療画像処理装置)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(プロセッサ、画像処理装置、医療画像処理装置)、光源装置300(光源装置)、及びモニタ400(表示装置)から構成される。
内視鏡本体100は、手元操作部102(手元操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体(生体)の体内に挿入して観察する。また、手元操作部102には送気送水ボタン141、吸引ボタン142、及び各種の機能を割り付けられる機能ボタン143、及び撮影指示操作を受け付ける撮影ボタン144が設けられている。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。すなわち、先端硬質部116の基端側に湾曲部114が接続され、湾曲部114の基端側に軟性部112が接続される。挿入部104の基端側に手元操作部102が接続される。ユーザは、手元操作部102を操作することにより湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮影光学系130(撮像部)、照明部123、鉗子口126等が設けられる(図1〜図3参照)。
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、観察光をライトガイド170に入射させる。光源310は、それぞれ赤色、緑色、青色の狭帯域光を照射する赤色光源310R、緑色光源310G、青色光源310Bを備えており、赤色、緑色、及び青色の狭帯域光を照射することができる。光源310による観察光の照度は光源制御部350により制御され、必要に応じて観察光の照度を下げること、及び照明を停止することができる。
光源310は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、390nm以上450nm以下、または530nm以上550nm以下の波長帯域を含み、かつ、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、585nm以上615nm以下、または610nm以上730nm以下、の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有していてもよい。
図2に基づきプロセッサ200の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号(動画像及び/または静止画像の画像信号)を画像入力コントローラ202を介して入力し、画像処理部204で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像(生体内画像)が表示される。また、プロセッサ200は、レポート情報及び解析、病変動画像の解析等を行う。これらの処理はCPU210(CPU:Central Processing Unit)の制御下で行われる。すなわち、CPU210は動画像取得部、レポート情報取得部、レポート情報解析部、動画像保存部としての機能を有する。記憶部207には、被写体の画像(動画像、静止画像)、取得したレポート情報及びその解析結果等が記憶される(後述)。音声処理部209は、CPU210及び画像処理部204の制御により、関心領域の検出及び/または分類の結果に応じたメッセージ(音声)等をスピーカ209Aから出力する。
図4は画像処理部204(医療画像取得部、医療画像解析処理部、医療画像解析結果取得部)の機能構成を示す図である。画像処理部204は動画像取得部204A(動画像取得部)、静止画像取得部204B、レポート情報取得部204C(レポート情報取得部)、レポート情報解析部204D(レポート情報解析部)、動画像保存部204E(動画像保存部)、及び表示制御部204F(画像補正部)を有する。レポート情報解析部204Dは医療画像解析処理部としても動作する。
プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチ等を備えており、観察光の波長(白色光か狭帯域光か、狭帯域光の場合いずれの狭帯域光を用いるか)を設定することができる。また、操作部208は図示せぬキーボード及びマウスを含み、ユーザはこれらデバイスを介して撮影条件、表示条件、及び動画像の保存条件等の設定操作を行うことができる。これらの設定操作は図示せぬフットスイッチを介して行っても良いし、音声、視線、ジェスチャ等により行ってもよい。なお、操作モードの設定は、上述のように手元操作部102の機能ボタン143(図1参照)に操作モード設定機能を割り付けて行ってもよい。
記憶部207(記録装置)は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体を含んで構成され、図5に示すように検査動画像207A、レポート情報207B、レポート情報解析結果207C、及び病変動画像207Dが記憶(保存)される。これらの画像及び情報は、操作部208を介した操作、CPU210及び/または画像処理部204の制御によりモニタ400に表示される。
モニタ400(表示装置)は、操作部208を介した操作、CPU210及び/または画像処理部204の制御により検査で取得した動画像及び/または静止画像、病変動画像、撮影条件設定画面、表示条件設定画面、レポート情報、レポート情報の解析結果(抽出結果)を示す情報等を表示する。また、モニタ400は撮影条件設定操作及び/または表示条件設定操作を行うための図示せぬタッチパネルを有する。
内視鏡システム10を用いた画像処理方法について説明する。図6は第1の実施形態に係る画像処理方法の処理を示すフローチャートである。
動画像取得部204Aは、内視鏡による検査動画像を取得(撮影)する(ステップS100:動画像取得工程)。検査では、挿入部104を被検体内に挿入、手元操作部102の操作(押し引き、上下左右に屈曲等)により先端硬質部116を所望の部位に位置させる。動画像の取得開始及び終了はユーザ操作によらず自動的に行ってもよいし、撮影ボタン144等に対するユーザの操作に応じて行ってもよい。検査動画像の取得は挿入部104の挿入時に行ってもよいし、引抜き時に行ってもよい。取得した検査動画像は、検査動画像207Aとして記憶部207に保存される。また、静止画像取得部204Bは自動的に、またはユーザの操作に応じて静止画像を撮影し、記憶部207に保存する。
レポート情報取得部204Cは、ステップS100で取得した検査動画像に対応する検査のレポート情報を取得する(ステップS110:レポート情報取得工程)。ステップS110で取得するレポート情報は、検査動画像に対応する検査において取得された静止画像の被写体情報と静止画像の取得時間情報とのうち少なくとも一方を含む。ステップS110では、ユーザがステップS100で取得した検査動画像、静止画像等を基に内視鏡システム10を用いて作成され記憶部207に記憶されたレポート情報207Bを取得してもよいし(この場合、画像処理部204にレポート作成支援機能を設けることができる)、通信制御部205及びレポート情報取得部204Cが、別途作成されたレポートの情報を図示せぬ外部サーバ、データベース等から取得してもよい。また、レポート情報は検査情報を含んでいてもよい。検査情報とは例えば患者情報、医師情報、機器情報、病変情報(位置、サイズ、内視鏡所見、治療状況、病理検査結果など)、手技情報(挿入時間及び/または抜去時間、鎮静剤、処置具、色素剤、IEE(Image Enhanced Endoscopy:画像強調内視鏡)の使用状況など)などを指す。検査情報はユーザが入力した情報でもよい。
レポート情報解析部204Dは、ステップS110で取得したレポート情報から、病変画像の被写体情報と病変画像の取得時間情報とのうち少なくとも一方を抽出する(ステップS120:レポート情報解析工程)。情報の抽出は、例えば静止画像が病変画像であるか否かを示す病変情報を含むレポート情報をレポート情報取得部204Cが取得し、取得した病変情報に基づいてレポート情報解析部204Dが病変画像の被写体情報及び/または取得時間情報を抽出することにより行うことができる。これらの病変情報、病変画像の被写体情報及び取得時間情報は、ユーザが操作部208を介してレポートに入力した情報でもよい。レポート情報解析部204Dは、レポート情報に含まれる検査情報から病変画像の被写体情報及び/または取得時間情報を抽出してもよい。
動画像保存部204Eは、上述したレポート情報の解析結果(抽出結果)に基づいて、「検査動画像のうち病変画像を含む時間範囲についての動画像」である病変動画像を、病変動画像207Dとして記憶部207に保存する(ステップS130:動画像保存工程)。動画像保存部204Eは、ステップS120での解析(抽出)の結果に基づいて病変動画像を保存するか否か決定することができる。具体的には、レポート情報に病変画像及び/または病変情報が含まれている場合は病変動画像を保存し、含まれていない場合は「検査動画像には病変(関心領域)が含まれていない」と判断して病変動画像の保存処理を中止してもよい。例えば、図7の(a)部分に示すように時刻t1〜t6にわたって取得された検査動画像1010の網掛け部分(時刻t2〜t3及び時刻t4〜t5)が病変の映った時間範囲である場合、図7の(c)部分に示すように、動画像保存部204Eは検査動画像1010を病変動画像(病変画像を含む時間範囲についての動画像)として保存することができる。これに対して、図7の(b)部分に示すように検査動画像1020に全く病変が映っていない場合、図7の(c)部分に示すように、動画像保存部204Eは検査動画像1020を保存しなくてよい(あるいは、いったん保存した画像を削除する)。
病変動画像については、上述のように病変が発見された検査について保存するほか、レポート情報の取得結果及び解析結果に基づいて、特定の病変(有病率の低いもの、検出困難症例等)が発見された検査について保存してもよい。例えば、病変のサイズが小さい場合、あるいは病変の形状が平坦で隆起がほとんどない場合に「検出が困難な病変」として病変動画像を保存することができる。また、例えば病理生検を行った場合(この場合、「生検をとる病変は、内視鏡所見で判断することが難しい」と考えられる)、あるいは病理生検の結果と内視鏡所見とに不整合がある場合(例えば、内視鏡所見では「線種疑い」となり生検をとったが病理結果は過形成ポリープであった、など)に「診断が困難な病変」として病変動画像を保存することができる。さらに、後述するように病変動画像を入力として機械学習により学習器を構築する場合、学習器の利用目的に応じて病変動画像を保存してもよい。例えば、スクリーニング中の病変検出(拾い上げ)を目的とする学習器を構築する場合はスクリーニング目的の検査のみ保存する(ESD(Endoscopic Submucosal Dissection:内視鏡的粘膜下層剥離術)などの手技動画は機械学習等での利用価値が低い)、癌のステージ判別(粘膜内癌、進行癌など)を目的とする学習器を構築する場合はESD、EMR(EMR:Endoscopic Mucosal Resection)等治療目的の検査についての病変動画像のみを保存する、等が考えられる。
ステップS100〜S130における処理は、例えば以下の態様により行うことができる。図8は、病変動画像の保存における、内視鏡システム10の各部、及び処理に使用する情報の関係を示す図である。例えば図8の(a)部分に示すように、ステップS100で取得した検査動画像を動画像取得部204AがRAM212に一時的に保存し、動画像保存部204Eが、必要な部分を病変動画像207Dとして記憶部207に保存することができる(具体的な保存パターンについては、後述する図9〜12を参照)。また、図8の(b)部分に示すように、動画像取得部204A(及び動画像保存部204E)が、ステップS100で取得した検査動画像を病変動画像207Dとして記憶部207に保存し、不要な部分を動画像保存部204Eが削除してもよい。このように必要な部分を保存(あるいは不要な部分を削除)する処理は、例えばレポート情報解析部204D(レポート情報解析部)が被写体情報を検査動画像とマッチングして検査動画像のうち病変画像を含む時間範囲を決定し、決定した時間範囲を動画像保存部204Eが保存することにより行うことができる。また、被写体情報がない場合でも、レポート情報の解析により病変画像の取得時間情報が抽出できれば病変動画像を保存することができる。
病変動画像の保存パターン(最終的な保存形態を意味し、図8のいずれのパターンにより処理されるかを問わない)について、以下説明する。これらのパターンのいずれにより処理するかは、ユーザの指示によらずに画像処理部204が決定してもよいし、操作部208を介したユーザの指示に応じて決定してもよい。
動画像保存部204Eは、検査動画の時間的に離れた部分を別の動画像として保存することができる。例えば、図9の(a)部分に示すように元の検査動画像1010のうち病変が映っている時刻t2〜t3までを1つの病変動画像1010Aとして記憶部207に保存し、病変が映っている時刻t4〜t5までを別の病変動画像1010Bとして保存することができる。この際、図9の(b)部分に示すように、(時刻t2−Δt)〜(時刻t3+Δt)にわたっての病変動画像1010C、及び/または(時刻t4−Δt)〜(時刻t5+Δt)にわたっての病変動画像1010Dを保存してもよい(Δtの期間は病変が映っていない期間である。Δtの長さは動画像のデータ量に対する制約等を考慮して設定することができる)。Δtの期間については元の検査動画像の一部を用いてもよいし、画像処理により作成した画像を用いてもよい。
動画像保存部204Eは、検査動画の時間的に離れた部分を1つの動画像として保存することができる。例えば、図9の(a)部分に示す病変動画像1010A,1010Bをまとめて、図10の(a)部分に示すように1つの病変動画像1040として保存することができる。この際、図10の(b)部分に示す病変動画像1050のように、病変動画像1010A,1010Bの部分の間に長さΔtの期間(病変が映っていない期間)を設けてもよい。
上述のように病変動画像を保存する場合、画像の管理、利用等を考慮すると、元の検査動画像と病変動画像とを関連づけておくことが好ましい。例えば、図9の(a)部分に示すように検査動画像1010の一部を独立した病変動画像1010A,1010Bとして保存する場合、図11に示すように病変動画像207Dの保存領域(記憶部207)における同一のフォルダ1010F(例えば検査ごとに、あるいは検査動画像ごとに作成したフォルダで、検査動画像1010を保存したフォルダ)に病変動画像1010A,1010Bを保存することにより、これら画像を関連づけておくことができる(図11は、病変動画像1010A,1010Bの保存に伴い元の検査動画像1010を削除した状態を示している)。異なるフォルダに保存する場合でも、例えば最終的な病変動画像のファイルのヘッダ部分に元の検査動画像及び/または他の病変動画像の識別情報を記録することにより、関連づけを行うことができる。
動画像保存部204Eは、検査動画像について病変動画像を保存する場合、病変画像が含まれる時間範囲以外についてフレームレートを下げる処理、及び/または時間範囲以外について解像度を下げる処理を検査動画像に施すことにより、検査動画像よりもデータ容量を少なくした小容量動画像を保存してもよい。例えば図12に示すように、動画像保存部204Eは、元の検査動画像1010に対し病変が映っていない期間(病変画像を含む時間範囲以外:図12では時刻t1〜t2、t3〜t4、t5〜t6)のフレームレート(あるいは解像度)をHighからLowに下げる処理を施すことにより元の検査動画像1010よりもデータ容量を少なくした小容量動画像1011(小容量動画像)を病変動画像として保存することができる。このような処理により、病変動画像を効率的に保存することができる。なお、病変画像が含まれる時間範囲以外だけでなく、病変画像が含まれる時間範囲についても、画像内容に応じてフレームレート及び/または解像度を変更してもよい。例えば、有病率の低いもの、検出困難症例等特定の病変を含む場合は、その他の場合よりもフレームレート及び/または解像度を相対的に高くすることができる。この場合「特定の病変の検出、検査内容等に応じた病変動画像の保存」の項で上述したのと同様のケースを「特定の病変」とすることできる。また、同項で上述したように機械学習の目的に応じ特定種類の検査について病変動画像を保存する場合に、その他の検査について病変動画像を保存する場合よりもフレームレート及び/または解像度を相対的に高くしてもよい。
上述の処理により保存した病変動画像を入力として、病変の自動検出用の学習器を生成することができる。例えば、図13の(a)部分に示すように、病変動画像207Dを学習データとして入力し、学習器構築部204Gが学習器204Hを構築することができる。学習器204Hを構築する際、病変である旨、及び/または病変の種類等をラベルとして画像に付して教師データとしてもよい。なお、学習器構築部204G、学習器204Hを内視鏡システム10(画像処理部204)の構成要素としてもよいし、独立した装置を用いてもよい。上述したように、内視鏡システム10では検査動画像のうち病変画像を含む時間範囲についての動画像である病変動画像を保存するので、この病変動画像を入力として効率良く学習を行って学習器を構築することができる。
学習器構築部204Gは、深層学習の手法を用いる学習器を構築してもよい。例えば、病変動画像に対し深層学習アルゴリズムに基づき深層学習(ディープラーニング)を用いた画像解析処理を行うことにより入力画像に病変が含まれるか否かを解析する学習器を構築してもよい。深層学習アルゴリズムは、コンボリューションニューラルネットワーク(畳み込みニューラルネットワーク)の手法、すなわち畳み込み層及びプーリング層の繰り返しと、全結合層と、出力層とを経て、画像に病変(関心領域)が含まれている否かを認識するアルゴリズムである。
上述のように構築した学習器204Hを用いて、検査動画像から病変を検出することができる。図13の(b)部分は、検査で取得した検査動画像207Aを学習器204Hに入力して、病変(関心領域)についての検出結果207Eを得る様子を示している。学習器204Hで検出する病変の例としては、ポリープ、癌、大腸憩室、炎症、治療痕(EMR瘢痕(EMR:Endoscopic Mucosal Resection)、ESD瘢痕(ESD:Endoscopic Submucosal Dissection)、クリップ箇所等)、出血点、穿孔、血管異型性などを挙げることができる。
学習器204Hを用いて、検査動画像207Aから検出した病変を分類してもよい。分類の例としては、ポリープの分類(腫瘍性か非腫瘍性か)、癌のステージ診断、管腔内の現在位置(上部であれば咽頭、食道、胃、十二指腸等、下部であれば盲腸、上行結腸、横行結腸、下行結腸、S状結腸、直腸等)等を挙げることができる。病変の分類は検出と一体として行ってもよい。
内視鏡システム10において、表示制御部204Fは、検査動画像207A、病変動画像207D、自動的にまたはユーザの操作に応じて撮影した静止画像等の画像をモニタ400(表示装置)に表示させることができる。画像を表示する際に画像から病変を検出する処理を行い、検出結果に応じて病変を識別表示してもよい。この検出処理は、公知のCADシステム(CAD:Computer Aided Diagnosis)を利用した検出部、上述した学習器等を画像処理部204に設けることにより行うことができる。
上述した実施形態の各態様に加えて、以下に記載の構成も本発明の範囲に含まれる。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
蛍光は、ピークが390以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
特定の波長帯域の信号は、通常光画像に含まれるRGBあるいはCMYの色情報に基づく演算により得る医療画像処理装置。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
付記1から18のいずれか1つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
付記1から18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
付記1から18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
100 :内視鏡本体
102 :手元操作部
104 :挿入部
106 :ユニバーサルケーブル
108 :ライトガイドコネクタ
112 :軟性部
114 :湾曲部
116 :先端硬質部
116A :先端側端面
123 :照明部
123A :照明用レンズ
123B :照明用レンズ
126 :鉗子口
130 :撮影光学系
132 :撮影レンズ
134 :撮像素子
136 :駆動回路
138 :AFE
141 :送気送水ボタン
142 :吸引ボタン
143 :機能ボタン
144 :撮影ボタン
170 :ライトガイド
200 :プロセッサ
202 :画像入力コントローラ
204 :画像処理部
204A :動画像取得部
204B :静止画像取得部
204C :レポート情報取得部
204D :レポート情報解析部
204E :動画像保存部
204F :表示制御部
204G :学習器構築部
204H :学習器
205 :通信制御部
206 :ビデオ出力部
207 :記憶部
207A :検査動画像
207B :レポート情報
207C :レポート情報解析結果
207D :病変動画像
207E :検出結果
208 :操作部
209 :音声処理部
209A :スピーカ
210 :CPU
211 :ROM
212 :RAM
300 :光源装置
310 :光源
310B :青色光源
310G :緑色光源
310R :赤色光源
330 :絞り
340 :集光レンズ
350 :光源制御部
400 :モニタ
500 :第1の画像表示領域
502 :画像
503 :画像
504A :ポリープ
504B :ポリープ
504C :ポリープ
506A :枠
506B :枠
506C :枠
506D :枠
510 :第2の画像表示領域
512 :画像
514 :画像
516 :画像
518 :画像
520 :患者情報表示領域
1010 :検査動画像
1010A :病変動画像
1010B :病変動画像
1010C :病変動画像
1010D :病変動画像
1010F :フォルダ
1011 :小容量動画像
1020 :検査動画像
1040 :病変動画像
1050 :病変動画像
S100〜S130 :画像処理方法の各ステップ
病変動画像については、上述のように病変が発見された検査について保存するほか、レポート情報の取得結果及び解析結果に基づいて、特定の病変(有病率の低いもの、検出困難症例等)が発見された検査について保存してもよい。例えば、病変のサイズが小さい場合、あるいは病変の形状が平坦で隆起がほとんどない場合に「検出が困難な病変」として病変動画像を保存することができる。また、例えば病理生検を行った場合(この場合、「生検をとる病変は、内視鏡所見で判断することが難しい」と考えられる)、あるいは病理生検の結果と内視鏡所見とに不整合がある場合(例えば、内視鏡所見では「腺種疑い」となり生検をとったが病理結果は過形成ポリープであった、など)に「診断が困難な病変」として病変動画像を保存することができる。さらに、後述するように病変動画像を入力として機械学習により学習器を構築する場合、学習器の利用目的に応じて病変動画像を保存してもよい。例えば、スクリーニング中の病変検出(拾い上げ)を目的とする学習器を構築する場合はスクリーニング目的の検査のみ保存する(ESD(Endoscopic Submucosal Dissection:内視鏡的粘膜下層剥離術)などの手技動画は機械学習等での利用価値が低い)、癌のステージ判別(粘膜内癌、進行癌など)を目的とする学習器を構築する場合はESD、EMR(EMR:Endoscopic Mucosal Resection)等治療目的の検査についての病変動画像のみを保存する、等が考えられる。
動画像保存部204Eは、検査動画像の時間的に離れた部分を別の動画像として保存することができる。例えば、図9の(a)部分に示すように元の検査動画像1010のうち病変が映っている時刻t2〜t3までを1つの病変動画像1010Aとして記憶部207に保存し、病変が映っている時刻t4〜t5までを別の病変動画像1010Bとして保存することができる。この際、図9の(b)部分に示すように、(時刻t2−Δt)〜(時刻t3+Δt)にわたっての病変動画像1010C、及び/または(時刻t4−Δt)〜(時刻t5+Δt)にわたっての病変動画像1010Dを保存してもよい(Δtの期間は病変が映っていない期間である。Δtの長さは動画像のデータ量に対する制約等を考慮して設定することができる)。Δtの期間については元の検査動画像の一部を用いてもよいし、画像処理により作成した画像を用いてもよい。
動画像保存部204Eは、検査動画像の時間的に離れた部分を1つの動画像として保存することができる。例えば、図9の(a)部分に示す病変動画像1010A,1010Bをまとめて、図10の(a)部分に示すように1つの病変動画像1040として保存することができる。この際、図10の(b)部分に示す病変動画像1050のように、病変動画像1010A,1010Bの部分の間に長さΔtの期間(病変が映っていない期間)を設けてもよい。
医療画像解析結果取得部は、
医療画像の解析結果を、それを記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
Claims (10)
- 内視鏡による検査動画像を取得する動画像取得部と、
前記検査動画像に対応する検査のレポート情報であって、前記検査において取得された静止画像の被写体情報と前記静止画像の取得時間情報とのうち少なくとも一方を含むレポート情報を取得するレポート情報取得部と、
前記レポート情報から、病変画像の被写体情報と前記病変画像の取得時間情報とのうち少なくとも一方を抽出するレポート情報解析部と、
前記抽出の結果に基づいて、前記検査動画像のうち前記病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存部と、
を備える画像処理装置。 - 前記レポート情報取得部は、前記静止画像が前記病変画像であるか否かを示す病変情報を含む前記レポート情報を取得し、
前記レポート情報解析部は、前記病変情報に基づいて前記病変画像の前記被写体情報及び/または前記取得時間情報を抽出する請求項1に記載の画像処理装置。 - 前記動画像保存部は、前記抽出の結果に基づいて前記病変動画像を保存するか否か決定する請求項1または2に記載の画像処理装置。
- 前記レポート情報解析部は、前記レポート情報に含まれる前記被写体情報を前記検査動画像とマッチングすることにより、前記検査動画像のうち前記病変画像を含む前記時間範囲を決定し、
前記動画像保存部は、前記決定した前記時間範囲について前記病変動画像を保存する請求項1から3のいずれか1項に記載の画像処理装置。 - 前記レポート情報解析部は前記病変画像の前記取得時間情報を抽出し、
前記動画像保存部は前記抽出した前記取得時間情報に基づいて前記検査動画像を保存する請求項1から4のいずれか1項に記載の画像処理装置。 - 前記レポート情報取得部は、ユーザが入力した取得時間情報を前記静止画像の前記取得時間情報として取得し、
前記レポート情報解析部は、前記レポート情報取得部が取得した前記取得時間情報を前記病変画像の前記取得時間情報として抽出する請求項1から5のいずれか1項に記載の画像処理装置。 - 前記動画像保存部は、前記検査動画像のうち異なる病変が映された時間範囲を独立した動画像として保存する請求項1から6のいずれか1項に記載の画像処理装置。
- 前記動画像保存部は、前記検査動画像について前記病変動画像を保存する場合、前記検査動画像に対し前記時間範囲以外についてフレームレートを下げる処理及び/または前記時間範囲以外について解像度を下げる処理を施すことにより、前記検査動画像よりもデータ容量を少なくした小容量動画像を保存する請求項1から7のいずれか1項に記載の画像処理装置。
- 請求項1から8のいずれか1項に記載の画像処理装置と、
被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された手元操作部と、を有する内視鏡と、
前記先端硬質部に設けられ前記被検体の光学像を結像させる撮影レンズと、前記撮影レンズにより前記光学像が結像する撮像素子と、を有する撮像部と、
を備え、
前記動画像取得部は前記撮像部により撮影した前記検査動画像を取得する内視鏡システム。 - 内視鏡による検査動画像を取得する動画像取得工程と、
前記検査動画像に対応する検査のレポート情報であって、前記検査において取得された静止画像の被写体情報と前記静止画像の取得時間情報とのうち少なくとも一方を含むレポート情報を取得するレポート情報取得工程と、
前記レポート情報から、病変画像の被写体情報と前記病変画像の取得時間情報とのうち少なくとも一方を抽出するレポート情報解析工程と、
前記抽出の結果に基づいて、前記検査動画像のうち前記病変画像を含む時間範囲についての動画像である病変動画像を保存する動画像保存工程と、
を有する画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018077661 | 2018-04-13 | ||
JP2018077661 | 2018-04-13 | ||
PCT/JP2019/015134 WO2019198637A1 (ja) | 2018-04-13 | 2019-04-05 | 画像処理装置、内視鏡システム、及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019198637A1 true JPWO2019198637A1 (ja) | 2021-04-15 |
JP7170032B2 JP7170032B2 (ja) | 2022-11-11 |
Family
ID=68164075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020513241A Active JP7170032B2 (ja) | 2018-04-13 | 2019-04-05 | 画像処理装置、内視鏡システム、及び画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11992178B2 (ja) |
EP (1) | EP3777644A4 (ja) |
JP (1) | JP7170032B2 (ja) |
CN (1) | CN111936032B (ja) |
WO (1) | WO2019198637A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020023377A1 (en) * | 2018-07-23 | 2020-01-30 | The Regents Of The University Of California | Oral and oropharyngeal cancer screening system and methods of use |
WO2020036109A1 (ja) * | 2018-08-17 | 2020-02-20 | 富士フイルム株式会社 | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 |
CN112566540B (zh) * | 2019-03-27 | 2023-12-19 | Hoya株式会社 | 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法 |
DE112020004438T5 (de) * | 2019-09-20 | 2022-06-23 | Hoya Corporation | Prozessor für ein endoskop, programm, informationsverarbeitungsverfahren und informationsverarbeitungsvorrichtung |
JP2021065293A (ja) * | 2019-10-18 | 2021-04-30 | 国立大学法人鳥取大学 | 画像処理方法、画像処理装置、画像処理プログラム、教師データ生成方法、教師データ生成装置、教師データ生成プログラム、学習済みモデル生成方法、学習済みモデル生成装置、診断支援方法、診断支援装置、診断支援プログラム、およびそれらのプログラムを記録した記録媒体 |
JP7441452B2 (ja) * | 2019-10-28 | 2024-03-01 | 国立大学法人鳥取大学 | 教師データ生成方法、学習済みモデル生成方法、および発病予測方法 |
WO2021075418A1 (ja) * | 2019-10-18 | 2021-04-22 | 国立大学法人鳥取大学 | 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体 |
WO2021144951A1 (ja) * | 2020-01-17 | 2021-07-22 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び、画像処理プログラム |
CN115460969A (zh) * | 2020-05-08 | 2022-12-09 | 奥林巴斯株式会社 | 内窥镜系统以及照明控制方法 |
JP7377769B2 (ja) * | 2020-06-08 | 2023-11-10 | Hoya株式会社 | プログラム、情報処理方法及び情報処理装置 |
WO2023089719A1 (ja) * | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 映像編集装置、映像編集方法、及び、記録媒体 |
WO2023089718A1 (ja) * | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
WO2023166647A1 (ja) * | 2022-03-03 | 2023-09-07 | オリンパスメディカルシステムズ株式会社 | 医療支援システムおよび画像表示方法 |
CN115277985A (zh) * | 2022-06-24 | 2022-11-01 | 江苏济远医疗科技有限公司 | 一种多功能内窥镜图像处理装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007075163A (ja) * | 2005-09-09 | 2007-03-29 | Olympus Medical Systems Corp | 画像表示装置 |
JP2008301968A (ja) * | 2007-06-06 | 2008-12-18 | Olympus Medical Systems Corp | 内視鏡画像処理装置 |
JP2012014129A (ja) * | 2010-07-05 | 2012-01-19 | Olympus Corp | 内視鏡装置及び内視鏡装置を用いた検査方法 |
WO2012165381A1 (ja) * | 2011-05-30 | 2012-12-06 | オリンパスメディカルシステムズ株式会社 | 医療情報記録装置 |
JP2014079562A (ja) * | 2012-09-27 | 2014-05-08 | Olympus Corp | 画像処理装置、プログラム及び画像処理方法 |
JP2015195845A (ja) * | 2014-03-31 | 2015-11-09 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4594835B2 (ja) * | 2005-09-09 | 2010-12-08 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
JP5019589B2 (ja) | 2007-03-28 | 2012-09-05 | 富士フイルム株式会社 | カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の作動方法 |
JP2014042727A (ja) | 2012-08-28 | 2014-03-13 | Fujifilm Corp | 医療画像記録装置及びその記録方法並びに医療画像記録プログラム |
JP6230237B2 (ja) * | 2013-01-31 | 2017-11-15 | オリンパス株式会社 | 内視鏡装置 |
WO2015020093A1 (ja) * | 2013-08-08 | 2015-02-12 | オリンパスメディカルシステムズ株式会社 | 手術画像観察装置 |
CN105142493A (zh) | 2013-08-30 | 2015-12-09 | 奥林巴斯株式会社 | 图像管理装置 |
JPWO2017104192A1 (ja) * | 2015-12-17 | 2017-12-14 | オリンパス株式会社 | 医用観察システム |
JP6875709B2 (ja) * | 2017-06-09 | 2021-05-26 | 株式会社Aiメディカルサービス | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
WO2019131327A1 (ja) * | 2017-12-28 | 2019-07-04 | アイリス株式会社 | 口内撮影装置、医療装置及びプログラム |
WO2020079696A1 (en) * | 2018-10-19 | 2020-04-23 | Given Imaging Ltd. | Systems and methods for generating and displaying a study of a stream of in vivo images |
JP7246912B2 (ja) * | 2018-12-18 | 2023-03-28 | キヤノンメディカルシステムズ株式会社 | 医用情報処理装置及び医用情報処理システム |
KR102140402B1 (ko) * | 2019-09-05 | 2020-08-03 | 주식회사 루닛 | 기계학습을 이용한 의료 영상 판독의 품질 관리 방법 및 장치 |
-
2019
- 2019-04-05 EP EP19784471.5A patent/EP3777644A4/en active Pending
- 2019-04-05 JP JP2020513241A patent/JP7170032B2/ja active Active
- 2019-04-05 WO PCT/JP2019/015134 patent/WO2019198637A1/ja active Application Filing
- 2019-04-05 CN CN201980023991.6A patent/CN111936032B/zh active Active
-
2020
- 2020-09-29 US US17/035,738 patent/US11992178B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007075163A (ja) * | 2005-09-09 | 2007-03-29 | Olympus Medical Systems Corp | 画像表示装置 |
JP2008301968A (ja) * | 2007-06-06 | 2008-12-18 | Olympus Medical Systems Corp | 内視鏡画像処理装置 |
JP2012014129A (ja) * | 2010-07-05 | 2012-01-19 | Olympus Corp | 内視鏡装置及び内視鏡装置を用いた検査方法 |
WO2012165381A1 (ja) * | 2011-05-30 | 2012-12-06 | オリンパスメディカルシステムズ株式会社 | 医療情報記録装置 |
JP2014079562A (ja) * | 2012-09-27 | 2014-05-08 | Olympus Corp | 画像処理装置、プログラム及び画像処理方法 |
JP2015195845A (ja) * | 2014-03-31 | 2015-11-09 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019198637A1 (ja) | 2019-10-17 |
US20210012495A1 (en) | 2021-01-14 |
JP7170032B2 (ja) | 2022-11-11 |
CN111936032B (zh) | 2024-03-26 |
EP3777644A1 (en) | 2021-02-17 |
CN111936032A (zh) | 2020-11-13 |
US11992178B2 (en) | 2024-05-28 |
EP3777644A4 (en) | 2021-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7170032B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP7430287B2 (ja) | 医用画像処理装置及び内視鏡システム | |
JP6941233B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理方法 | |
JP7176041B2 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
JP7326308B2 (ja) | 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
CN112105284B (zh) | 图像处理装置、内窥镜系统及图像处理方法 | |
JP2020069300A (ja) | 医療診断支援装置、内視鏡システム、及び医療診断支援方法 | |
WO2020162275A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 | |
JP6907324B2 (ja) | 診断支援システム、内視鏡システム及び診断支援方法 | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
CN111065314B (zh) | 诊断支持系统、内窥镜系统、处理器及诊断支持方法 | |
JP2023026480A (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
WO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
JP7289241B2 (ja) | ファイリング装置、ファイリング方法及びプログラム | |
CN116234487A (zh) | 医疗图像处理装置、医疗图像处理方法、内窥镜系统及医疗图像处理程序 | |
JP7470776B2 (ja) | 内視鏡システム、制御方法、及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20200929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201117 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220331 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220810 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220829 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221007 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7170032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |