JP6877486B2 - 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム - Google Patents
情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム Download PDFInfo
- Publication number
- JP6877486B2 JP6877486B2 JP2019100647A JP2019100647A JP6877486B2 JP 6877486 B2 JP6877486 B2 JP 6877486B2 JP 2019100647 A JP2019100647 A JP 2019100647A JP 2019100647 A JP2019100647 A JP 2019100647A JP 6877486 B2 JP6877486 B2 JP 6877486B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- image
- endoscopic image
- prediction
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 35
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000000034 method Methods 0.000 claims description 70
- 230000008569 process Effects 0.000 claims description 52
- 201000010099 disease Diseases 0.000 claims description 51
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 51
- 230000003902 lesion Effects 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 9
- 238000001839 endoscopy Methods 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 description 44
- 238000012545 processing Methods 0.000 description 44
- 206010009900 Colitis ulcerative Diseases 0.000 description 33
- 201000006704 Ulcerative Colitis Diseases 0.000 description 33
- 206010015150 Erythema Diseases 0.000 description 24
- 238000010586 diagram Methods 0.000 description 24
- 208000025865 Ulcer Diseases 0.000 description 17
- 231100000397 ulcer Toxicity 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 210000004204 blood vessel Anatomy 0.000 description 12
- 238000000611 regression analysis Methods 0.000 description 12
- 208000037062 Polyps Diseases 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 230000002792 vascular Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010219 correlation analysis Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000002594 fluoroscopy Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 208000011231 Crohn disease Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000002429 large intestine Anatomy 0.000 description 3
- 206010061218 Inflammation Diseases 0.000 description 2
- 208000022559 Inflammatory bowel disease Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000012326 endoscopic mucosal resection Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 231100000321 erythema Toxicity 0.000 description 2
- 230000004054 inflammatory process Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 230000028327 secretion Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000035977 Rare disease Diseases 0.000 description 1
- 241000212749 Zesius chrysomallus Species 0.000 description 1
- 208000002399 aphthous stomatitis Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000004534 cecum Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012277 endoscopic treatment Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- General Business, Economics & Management (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
本実施の形態においては、潰瘍性大腸炎の診断を支援する診断支援システム10を例にして説明する。潰瘍性大腸炎は、大腸の粘膜に炎症が生じる炎症性腸疾患の一つである。患部は直腸から大腸の全周にわたって発生し、口側に向けて進行することが知られている。
図7は、第1変形例の診断支援システム10の概要を説明する説明図である。図2との相違点以外は説明を省略する。表示装置16は、第1表示装置161と第2表示装置162とを含む。第1表示装置161は、表示装置I/F26に接続されている。第2表示装置162は、内視鏡用プロセッサ11に接続されている。第1表示装置161と第2表示装置162とは、隣接して配置されていることが望ましい。
図8は、第2変形例の画面表示を説明する説明図である。図1の下部との相違点以外は説明を省略する。本変形例においては、CPU21は、第1結果欄71および第2結果欄72をグラフ形式で出力する。
図9は、第3変形例の画面表示を説明する説明図である。図9は、クローン病の診断を支援する診断支援システム10が表示する画面である。クローン病も、潰瘍性大腸炎と同様に炎症性腸疾患の一種である。図9では、第1スコアは腸管の長さ方向に延びる縦走潰瘍の程度を、第2スコアは密集した粘膜隆起である敷石像の程度を、第3スコアは、赤い斑点のアフタの程度をそれぞれ示す。
図10は、第4変形例の動作を模式的に説明するタイムチャートである。図5と共通する部分については、説明を省略する。図10は、第1モデル61および第2モデル62を用いた処理に長い時間を要する場合のタイムチャートの例を示す。
本実施の形態は、第1モデル61および第2モデル62を生成するモデル生成システム19に関する。実施の形態1と共通する部分については、説明を省略する。
本実施の形態は、第2モデル62の中間層532から抽出した特徴量に基づいて、診断基準に沿ったスコアを出力する診断支援システム10に関する。実施の形態1または実施の形態2と共通する部分については、説明を省略する。
本実施の形態は、深層学習以外の手法に基づいて診断基準予測を算出する情報処理システムに関する。実施の形態1または実施の形態2と共通する部分については、説明を省略する。
本実施の形態は、がん、またはポリープ等の、限局性に発生する疾病の診断を支援する診断支援システム10に関する。実施の形態1または実施の形態2と共通する部分については、説明を省略する。
本実施の形態は、第1モデル61が疾病に関する診断基準に定められたそれぞれのカテゴリである確率を出力する診断支援システム10に関する。実施の形態1と共通する部分については、説明を省略する。
本実施の形態は、第1モデル61による出力と、第2モデル62による出力との間に齟齬がある場合に、注意喚起の表示を行なう診断支援システム10に関する。実施の形態1と共通する部分については、説明を省略する。
本実施の形態は、内視鏡用プロセッサ11と情報処理装置20とが一体である診断支援システム10に関する。実施の形態1と共通する部分については、説明を省略する。
図34は、実施の形態9の情報処理装置20の機能ブロック図である。情報処理装置20は、画像取得部281、第1取得部282および出力部283を有する。画像取得部281は、内視鏡画像49を取得する。
本実施の形態は、汎用のコンピュータ90とプログラム97とを組み合わせて動作させることにより、本実施の形態の診断支援システム10を実現する形態に関する。図35は、実施の形態10の診断支援システム10の構成を示す説明図である。実施の形態1と共通する部分については、説明を省略する。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
内視鏡画像と、疾病の診断に用いられる診断基準について判定された判定結果とを関連づけて記録した複数の組の教師データを取得し、
前記教師データを用いて、内視鏡画像が入力された場合に疾病の診断基準について予測した診断基準予測を出力する第1モデルを生成する
モデルの生成方法。
前記教師データは、前記診断基準に含まれる複数の診断基準項目のそれぞれについて判定した判定結果を含み、
前記第1モデルは、複数の前記診断基準項目のそれぞれに対応して生成される
付記1に記載のモデルの生成方法。
前記第1モデルは、取得した内視鏡画像が入力層に入力された場合に、取得した判定結果が出力層から出力されるように中間層のパラメータを調整する深層学習により生成される
付記1または付記2に記載のモデルの生成方法。
前記第1モデルは、
内視鏡画像が入力された場合に前記疾病の診断予測を出力するニューラルネットワークモデルに、取得した教師データ中の内視鏡画像を入力し、
前記ニューラルネットワークモデルの中間層を構成するノードから、入力した内視鏡画像に関する複数の特徴量を取得し、
取得した複数の特徴量から、前記内視鏡画像に関連づけられた判定結果との相関が高い特徴量を選択し、
選択した特徴量と、前記判定結果を数値化したスコアとの回帰分析により、選択した特徴量に基づいて前記スコアを算出する計算方法を定めることにより生成する
付記1または付記2に記載のモデルの生成方法。
前記第1モデルは、
取得した内視鏡画像から複数の特徴量を抽出し、
抽出した複数の特徴量から、前記内視鏡画像に関連づけられた判定結果との相関が高い特徴量を選択し、
選択した特徴量と、前記判定結果を数値化したスコアとの回帰分析により、選択した特徴量に基づいて前記スコアを算出する計算方法を定めることにより生成する
付記1または付記2に記載のモデルの生成方法。
前記疾病は、潰瘍性大腸炎であり、
前記診断基準予測は、内視鏡画像の赤み、血管透見、または、潰瘍の重症度に関する予測である
付記1から付記5のいずれか一つに記載のモデルの生成方法。
内視鏡画像と、疾病の診断に用いられる診断基準について判定された判定結果とを関連づけて記録した複数の組の教師データを取得し、
内視鏡画像が入力された場合に前記疾病の診断予測を出力するニューラルネットワークモデルに、取得した教師データ中の内視鏡画像を入力し、
前記ニューラルネットワークモデルの中間層を構成するノードから、入力した内視鏡画像に関する複数の特徴量を取得し、
取得した複数の特徴量を、入力した内視鏡画像に関連づけられた判定結果を数値化したスコアと関連づけて記録し、
記録した複数の特徴量のそれぞれと前記スコアとの相関に基づいて、前記スコアとの相関が高い特徴量を選択し、
選択した特徴量と、前記スコアとの回帰分析により、選択した特徴量に基づいて前記スコアを算出する計算方法を定めることにより、内視鏡画像が入力された場合に前記疾病の診断基準について予測した診断基準予測を出力する第1モデルを生成する
処理をコンピュータに実行させるプログラム。
11 内視鏡用プロセッサ
12 内視鏡接続部
14 内視鏡
141 撮像素子
142 挿入部
15 内視鏡コネクタ
16 表示装置
161 第1表示装置
162 第2表示装置
17 キーボード
19 モデル生成システム
20 情報処理装置
21 制御部
22 主記憶装置
23 補助記憶装置
24 通信部
26 表示装置I/F
27 入力装置I/F
281 画像取得部
282 第1取得部
283 出力部
29 読取部
30 サーバ
31 制御部
32 主記憶装置
33 補助記憶装置
34 通信部
40 クライアント
41 制御部
42 主記憶装置
43 補助記憶装置
44 通信部
46 表示部
47 入力部
49 内視鏡画像
53 ニューラルネットワークモデル
531 入力層
532 中間層
533 出力層
61 第1モデル
611 第1スコア学習モデル
612 第2スコア学習モデル
613 第3スコア学習モデル
62 第2モデル
63 変換器
631 第1変換器
632 第2変換器
633 第3変換器
64 教師データDB
65 特徴量
651 第1特徴量
652 第2特徴量
653 第3特徴量
71 第1結果欄
711 第1停止ボタン
72 第2結果欄
722 第2停止ボタン
73 内視鏡画像欄
74 病変領域
75 警告欄
81 第1入力欄
811 第1スコア入力欄
812 第2スコア入力欄
813 第3スコア入力欄
82 第2入力欄
86 患者ID欄
87 疾病名欄
88 モデルボタン
89 次ボタン
90 コンピュータ
96 可搬型記録媒体
97 プログラム
98 半導体メモリ
Claims (11)
- 内視鏡画像を取得する画像取得部と、
病変領域の内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力する第1モデルに、前記画像取得部が取得した内視鏡画像を入力して、出力される診断基準予測を取得する第1取得部と、
前記第1取得部が取得した診断基準予測を、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測と関連づけて出力する出力部とを備え、
前記診断予測は、内視鏡画像が入力された場合に前記疾病が含まれる病変領域に関する領域予測を出力する第2モデルに、前記画像取得部が取得した内視鏡画像を入力して、出力された病変領域に関する領域予測であり、
前記第1取得部は、前記画像取得部が取得した内視鏡画像のうち前記第2モデルから出力された領域予測に対応する部分を、前記疾病の診断基準に含まれる複数の項目の診断基準予測をそれぞれ出力する複数の第1モデルにそれぞれ入力して、出力されるそれぞれの項目の診断基準予測を取得する
情報処理装置。 - 前記第1モデルは、機械学習により生成された学習モデルである
請求項1に記載の情報処理装置。 - 前記第1モデルは、前記画像取得部が取得した内視鏡画像に基づいて算出した数値を出力する
請求項1に記載の情報処理装置。 - 前記第1取得部の動作停止指示を受け付ける第1受付部を備える
請求項1から請求項3のいずれか一つに記載の情報処理装置。 - 前記第2モデルは、機械学習により生成された学習モデルである
請求項1から請求項4のいずれか一つに記載の情報処理装置。 - 前記診断予測の取得を停止する指示を受け付ける第2受付部を備える
請求項1から請求項5のいずれか一つに記載の情報処理装置。 - 前記出力部は、前記画像取得部が取得した内視鏡画像も出力する
請求項1から請求項6のいずれか一つに記載の情報処理装置。 - 前記画像取得部は、内視鏡検査中に撮影された内視鏡画像をリアルタイムで取得し、
前記出力部は、前記画像取得部による内視鏡画像の取得と同期して出力を行なう
請求項1から請求項7のいずれか一つに記載の情報処理装置。 - 内視鏡が接続される内視鏡接続部と
前記内視鏡接続部に接続された内視鏡から取得した映像信号に基づいて内視鏡画像を生成する画像生成部と、
病変領域の内視鏡画像が入力された場合に疾病の診断基準に関する診断基準予測を出力する第1モデルに、前記画像生成部が取得した内視鏡画像を入力して、出力される診断基準予測を取得する第1取得部と、
前記第1取得部が取得した診断基準予測を、前記内視鏡画像に基づいて取得した前記疾病の状態に関する診断予測と関連づけて出力する出力部とを備え、
前記診断予測は、内視鏡画像が入力された場合に前記疾病が含まれる病変領域に関する領域予測を出力する第2モデルに、前記画像生成部が生成した内視鏡画像を入力して、出力された病変領域に関する領域予測であり、
前記第1取得部は、前記画像生成部が生成した内視鏡画像のうち前記第2モデルから出力された領域予測に対応する部分を、前記疾病の診断基準に含まれる複数の項目の診断基準予測をそれぞれ出力する複数の第1モデルにそれぞれ入力して、出力されるそれぞれの項目の診断基準予測を取得する
内視鏡用プロセッサ。 - 内視鏡画像を取得し、
内視鏡画像が入力された場合に疾病が含まれる病変領域に関する領域予測を出力する第2モデルに、取得した内視鏡画像を入力して、出力された病変領域に関する領域予測を取得し、
病変領域の内視鏡画像が入力された場合に前記疾病の診断基準に含まれる複数の項目の診断基準予測をそれぞれ出力する複数の第1モデルに、取得した内視鏡画像のうち前記第2モデルから出力された領域予測に対応する部分をそれぞれ入力して、出力されるそれぞれの項目の診断基準予測を取得し、
取得した前記診断基準予測を、取得した前記領域予測と関連づけて出力する
処理をコンピュータが実行する情報処理方法。 - 内視鏡画像を取得し、
内視鏡画像が入力された場合に疾病が含まれる病変領域に関する領域予測を出力する第2モデルに、取得した内視鏡画像を入力して、出力された病変領域に関する領域予測を取得し、
病変領域の内視鏡画像が入力された場合に前記疾病の診断基準に含まれる複数の項目の診断基準予測をそれぞれ出力する複数の第1モデルに、取得した内視鏡画像のうち前記第2モデルから出力された領域予測に対応する部分をそれぞれ入力して、出力されるそれぞれの項目の診断基準予測を取得し、
取得した前記診断基準予測を、取得した前記領域予測と関連づけて出力する
処理をコンピュータに実行させるプログラム。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112019006011.2T DE112019006011T5 (de) | 2018-12-04 | 2019-11-13 | Informationsverarbeitungsvorrichtung und modellerzeugungsverfahren |
CN201980043891.XA CN112399816B (zh) | 2018-12-04 | 2019-11-13 | 信息处理装置和模型生成方法 |
US17/252,942 US20210407077A1 (en) | 2018-12-04 | 2019-11-13 | Information processing device and model generation method |
PCT/JP2019/044578 WO2020116115A1 (ja) | 2018-12-04 | 2019-11-13 | 情報処理装置およびモデルの生成方法 |
CN202410051899.3A CN117814732A (zh) | 2018-12-04 | 2019-11-13 | 模型生成方法 |
JP2021075220A JP7155330B2 (ja) | 2018-12-04 | 2021-04-27 | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862775197P | 2018-12-04 | 2018-12-04 | |
US62/775,197 | 2018-12-04 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021075220A Division JP7155330B2 (ja) | 2018-12-04 | 2021-04-27 | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020089710A JP2020089710A (ja) | 2020-06-11 |
JP2020089710A5 JP2020089710A5 (ja) | 2021-01-14 |
JP6877486B2 true JP6877486B2 (ja) | 2021-05-26 |
Family
ID=71011993
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019100649A Active JP6872581B2 (ja) | 2018-12-04 | 2019-05-29 | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム |
JP2019100647A Active JP6877486B2 (ja) | 2018-12-04 | 2019-05-29 | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム |
JP2019100648A Active JP7015275B2 (ja) | 2018-12-04 | 2019-05-29 | モデルの生成方法、教師データの生成方法、および、プログラム |
JP2021075220A Active JP7155330B2 (ja) | 2018-12-04 | 2021-04-27 | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019100649A Active JP6872581B2 (ja) | 2018-12-04 | 2019-05-29 | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019100648A Active JP7015275B2 (ja) | 2018-12-04 | 2019-05-29 | モデルの生成方法、教師データの生成方法、および、プログラム |
JP2021075220A Active JP7155330B2 (ja) | 2018-12-04 | 2021-04-27 | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
JP (4) | JP6872581B2 (ja) |
CN (1) | CN112399816B (ja) |
DE (1) | DE112019006011T5 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7440388B2 (ja) | 2020-09-28 | 2024-02-28 | 株式会社日立製作所 | 画像診断支援装置および画像処理方法 |
KR102253398B1 (ko) * | 2020-11-19 | 2021-05-18 | 주식회사 웨이센 | 인공지능 기반의 영상 처리 및 사용자 이벤트를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치 |
WO2022114357A1 (ko) * | 2020-11-25 | 2022-06-02 | 주식회사 아이도트 | 영상 병변 진단 시스템 |
KR102268771B1 (ko) * | 2020-11-26 | 2021-06-24 | 주식회사 웨이센 | 인공지능 기반의 영상 처리를 통한 사용자 인터페이스 제공 방법 및 해당 방법을 이용하는 영상 수신 장치 |
KR102505791B1 (ko) * | 2021-01-11 | 2023-03-03 | 한림대학교 산학협력단 | 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램 |
JP7413295B2 (ja) * | 2021-02-05 | 2024-01-15 | 株式会社日立製作所 | 画像処理装置、画像処理方法及びプログラム |
WO2022200624A2 (en) * | 2021-03-26 | 2022-09-29 | Datawalk Spolka Akcyjna | Systems and methods for end-to-end machine learning with automated machine learning explainable artificial intelligence |
CN117396124A (zh) * | 2021-05-24 | 2024-01-12 | 阿瑙特株式会社 | 信息处理装置、信息处理方法、以及计算机程序 |
WO2023032317A1 (ja) * | 2021-09-02 | 2023-03-09 | ソニーグループ株式会社 | プログラム、情報処理装置、情報処理方法 |
CN115206512B (zh) * | 2022-09-15 | 2022-11-15 | 武汉大学人民医院(湖北省人民医院) | 基于物联网的医院信息管理方法及装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3823494C2 (de) * | 1988-07-11 | 1997-11-27 | En Versorgung Schwaben Ag | Verfahren und Vorrichtung zur Feuerungsdiagnose und dessen Ergebnisse verwendende Feuerungsregelung |
JPH08305855A (ja) * | 1995-05-01 | 1996-11-22 | Nippon Telegr & Teleph Corp <Ntt> | 画像のパターン認識方法及び装置 |
JPH08249300A (ja) * | 1995-03-13 | 1996-09-27 | Minolta Co Ltd | ニューラルネットワーク及びその作成方法 |
JP2000155840A (ja) * | 1998-11-18 | 2000-06-06 | Olympus Optical Co Ltd | 画像処理方法 |
JP2003126045A (ja) * | 2001-10-22 | 2003-05-07 | Olympus Optical Co Ltd | 診断支援装置 |
EP1394715A1 (en) * | 2002-08-02 | 2004-03-03 | Europroteome AG | An expert system for clinicial outcome prediction |
JP2004188026A (ja) * | 2002-12-12 | 2004-07-08 | Olympus Corp | 情報処理装置 |
US7538761B2 (en) * | 2002-12-12 | 2009-05-26 | Olympus Corporation | Information processor |
AU2004251359B2 (en) * | 2003-06-25 | 2009-01-22 | Siemens Medical Solutions Usa, Inc. | Systems and methods for automated diagnosis and decision support for breast imaging |
JP2005124755A (ja) * | 2003-10-22 | 2005-05-19 | Olympus Corp | 内視鏡用画像処理装置 |
JP4451460B2 (ja) * | 2007-03-16 | 2010-04-14 | オリンパス株式会社 | 内視鏡診断支援装置 |
JP5738720B2 (ja) * | 2011-03-24 | 2015-06-24 | 日本メナード化粧品株式会社 | メラニン合成能力評価方法及び美容アドバイス方法並びにそれらを用いるメラニン合成能力評価システム及び美容アドバイスシステム |
JP6027803B2 (ja) * | 2012-07-17 | 2016-11-16 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
JP6027065B2 (ja) * | 2014-08-21 | 2016-11-16 | 富士フイルム株式会社 | 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム |
WO2016121811A1 (ja) * | 2015-01-29 | 2016-08-04 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法、並びに内視鏡システム |
JP6420492B2 (ja) * | 2015-09-28 | 2018-11-07 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 |
WO2017057572A1 (ja) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2017057573A1 (ja) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
JP6580446B2 (ja) | 2015-10-09 | 2019-09-25 | サイバネットシステム株式会社 | 画像処理装置及び画像処理方法 |
CN109475278A (zh) * | 2016-07-25 | 2019-03-15 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法和程序 |
CN110325100B (zh) * | 2017-03-01 | 2021-09-24 | 富士胶片株式会社 | 内窥镜系统及其操作方法 |
EP3590415A4 (en) * | 2017-03-03 | 2020-03-18 | Fujifilm Corporation | ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD OF THE ENDOSCOPE SYSTEM |
WO2019087971A1 (ja) * | 2017-10-30 | 2019-05-09 | 富士フイルム株式会社 | 医療画像処理装置、及び、内視鏡装置 |
JP6967602B2 (ja) * | 2017-10-31 | 2021-11-17 | 富士フイルム株式会社 | 検査支援装置、内視鏡装置、内視鏡装置の作動方法、及び検査支援プログラム |
JP6889282B2 (ja) * | 2017-12-22 | 2021-06-18 | 富士フイルム株式会社 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
WO2019142243A1 (ja) * | 2018-01-16 | 2019-07-25 | オリンパス株式会社 | 画像診断支援システムおよび画像診断支援方法 |
WO2019230302A1 (ja) * | 2018-05-28 | 2019-12-05 | 富士フイルム株式会社 | 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置 |
-
2019
- 2019-05-29 JP JP2019100649A patent/JP6872581B2/ja active Active
- 2019-05-29 JP JP2019100647A patent/JP6877486B2/ja active Active
- 2019-05-29 JP JP2019100648A patent/JP7015275B2/ja active Active
- 2019-11-13 CN CN201980043891.XA patent/CN112399816B/zh active Active
- 2019-11-13 DE DE112019006011.2T patent/DE112019006011T5/de active Pending
-
2021
- 2021-04-27 JP JP2021075220A patent/JP7155330B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021119996A (ja) | 2021-08-19 |
DE112019006011T5 (de) | 2021-09-09 |
CN112399816B (zh) | 2024-01-05 |
JP2020089711A (ja) | 2020-06-11 |
JP2020089712A (ja) | 2020-06-11 |
JP7015275B2 (ja) | 2022-02-02 |
CN112399816A (zh) | 2021-02-23 |
JP6872581B2 (ja) | 2021-05-19 |
JP2020089710A (ja) | 2020-06-11 |
JP7155330B2 (ja) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6877486B2 (ja) | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム | |
Sevakula et al. | State‐of‐the‐art machine learning techniques aiming to improve patient outcomes pertaining to the cardiovascular system | |
WO2020116115A1 (ja) | 情報処理装置およびモデルの生成方法 | |
Rath et al. | Heart disease detection using deep learning methods from imbalanced ECG samples | |
Dray et al. | Artificial intelligence in small bowel capsule endoscopy‐current status, challenges and future promise | |
Shilaskar et al. | Feature selection for medical diagnosis: Evaluation for cardiovascular diseases | |
US20180047164A1 (en) | Computer aided diagnosis apparatus and method based on size model of region of interest | |
JP2021513435A (ja) | 胃腸腫瘍を診断するシステム及び方法 | |
WO2020195807A1 (ja) | 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法 | |
CN112466466B (zh) | 基于深度学习的消化道辅助检测方法、装置和计算设备 | |
US20220301159A1 (en) | Artificial intelligence-based colonoscopic image diagnosis assisting system and method | |
CN113129293A (zh) | 医学图像分类方法、装置、计算机设备和存储介质 | |
KR102261408B1 (ko) | 의료영상을 이용한 질환정보 제공 방법 | |
Fernández et al. | Analyzing the use of artificial intelligence for the management of chronic obstructive pulmonary disease (COPD) | |
CN114445406A (zh) | 肠镜图像分析方法、装置和医学图像处理设备 | |
US20220277445A1 (en) | Artificial intelligence-based gastroscopic image diagnosis assisting system and method | |
Tang et al. | A neural network to pulmonary embolism aided diagnosis with a feature selection approach | |
US11742072B2 (en) | Medical image diagnosis assistance apparatus and method using plurality of medical image diagnosis algorithms for endoscopic images | |
CN117059263B (zh) | 基于双视图胸片的肺动脉高压发生概率的确定方法及系统 | |
KR20240047900A (ko) | 캡슐내시경 영상을 이용한 위장관 분류 및 전환 영역 식별을 수행하는 전자장치 및 방법 | |
EP4365909A1 (en) | Skin cancer diagnosis method based on image analysis using artificial intelligence | |
EP4230108A1 (en) | Computer aided assistance system and method | |
Sasikala et al. | Transforming Healthcare with Deep Learning Cardiovascular Disease Prediction | |
Lin et al. | A Self-Supervised Semantic Segmentation Method for Identifying Barrett's Esophagus in Endoscopic Images | |
KR20220143184A (ko) | 인공지능 기반 담낭암 진단 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201126 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201126 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210427 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6877486 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE Ref document number: 6877486 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |