JP7289296B2 - 画像処理装置、内視鏡システム及び画像処理装置の作動方法 - Google Patents
画像処理装置、内視鏡システム及び画像処理装置の作動方法 Download PDFInfo
- Publication number
- JP7289296B2 JP7289296B2 JP2020528760A JP2020528760A JP7289296B2 JP 7289296 B2 JP7289296 B2 JP 7289296B2 JP 2020528760 A JP2020528760 A JP 2020528760A JP 2020528760 A JP2020528760 A JP 2020528760A JP 7289296 B2 JP7289296 B2 JP 7289296B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- light
- observation
- endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Description
図1は、本発明に係る内視鏡システム10の外観を示す斜視図である。
図2は、内視鏡システム10の電気的構成を示すブロック図である。
次に、本発明に係る認識器15について説明する。
図6は、本発明に係る内視鏡システム10の作用を説明するために用いた主要構成を示すブロック図である。
撮像素子45(カラー撮像素子)の代わりに、カラーフィルタを有さないモノクロの撮像素子を備えた内視鏡スコープによりカラーの内視鏡画像を取得する場合、異なる色の観察光により被検体を順次照明し、観察光毎に画像を撮像する(面順次で撮像する)。
図8は、本発明に係る画像処理方法の実施形態を示すフローチャートであり、図2に示した内視鏡システム10の各部の処理手順に関して示している。
本実施形態では、内視鏡スコープ11等を含む内視鏡システム10について説明したが、本発明は、内視鏡システム10に限らず、内視鏡プロセッサ13と認識器15とにより構成される画像処理装置でもよい。この場合、内視鏡プロセッサ13と認識器15とは一体化されたものでもよいし、別体のものでもよい。
11 内視鏡スコープ
12 光源装置
12a 光源操作部
13 内視鏡プロセッサ
13a プロセッサ操作部
14 表示器
15 認識器(CNN)
15A 入力層
15B 中間層
15C 出力層
16 挿入部
16a 挿入部先端部
16b 湾曲部
16c 可撓管部
17 手元操作部
18 ユニバーサルコード
20 被検体
21 アングルノブ
22 操作ボタン
23 鉗子入口
25a コネクタ部
25b コネクタ部
26 観察用画像
28 指標
31 光源制御部
32 光源ユニット
32a V-LED
32b B-LED
32c G-LED
32d R-LED
40 ライトガイド
42 照明レンズ
44 対物レンズ
45 撮像素子
46 内視鏡操作部
47 内視鏡制御部
48,62 ROM
61 プロセッサ制御部
65 画像処理部
66 表示制御部
67 記憶部
F1 フィルタ
S 画像セット
S10 ステップ
S12 ステップ
S14 ステップ
S16 ステップ
S18 ステップ
S20 ステップ
Claims (11)
- 複数の異なる観察光を用いて順次取得された複数の画像からなる画像セットを受け付け、前記画像セットに対する認識結果を出力する1つの認識器と、
前記複数の画像の一部もしくは前記複数の画像を用いて算出された観察用画像及び前記認識結果を表示部に表示させる表示制御部と、を備え、
前記複数の画像は、内視鏡スコープにより面順次で撮像された第1内視鏡画像と前記第1内視鏡画像とは異なる観察光を用いて取得された第2内視鏡画像とを含み、
前記第1内視鏡画像は、通常光で撮像された通常光画像であり、前記第2内視鏡画像は、特殊光で撮像された特殊光画像であり、
前記認識器は、学習用の前記画像セットと病変の位置又は病変の種類を示す正解データとをセットにして学習した学習済みモデルを有し、認識用の前記画像セットを受け付ける毎に前記学習済みモデルに基づいて前記認識用の前記画像セットに含まれる病変の位置又は病変の種類を示す前記認識結果を出力する、
画像処理装置。 - 前記学習済みモデルは、畳み込みニューラルネットワークで構成される請求項1に記載の画像処理装置。
- 前記特殊光画像は、2以上の異なる特殊光により撮像された2以上の特殊光画像を含む請求項1又は2に記載の画像処理装置。
- 前記表示制御部は、前記複数の画像の一部もしくは前記複数の画像を用いて算出された観察用画像を、動画として前記表示部に表示させる請求項1から3のいずれか1項に記載の画像処理装置。
- 前記認識器は、前記複数の画像に含まれる注目領域を認識し、
前記表示制御部は、前記認識された前記注目領域を示す指標を、前記表示部に表示された前記観察用画像上に重畳して表示させる請求項1から4のいずれか1項に記載の画像処理装置。 - 前記認識器は、前記複数の画像に含まれる注目領域を認識し、
前記表示制御部は、前記注目領域の有無を表す情報を前記表示部に表示された前記観察用画像と重ならないように表示させる請求項1から4のいずれか1項に記載の画像処理装置。 - 前記認識器は、前記複数の画像に基づいて病変に関する鑑別を実行して鑑別結果を出力し、
前記表示制御部は、前記鑑別結果を前記表示部に表示させる請求項1から6のいずれか1項に記載の画像処理装置。 - 第1観察光と前記第1観察光と異なる第2観察光とを順次発生する光源装置と、
前記第1観察光と前記第2観察光により順次照明された観察対象を順次撮像することにより前記複数の画像を撮像する内視鏡スコープと、
前記表示部と、
請求項1から7のいずれか1項に記載の画像処理装置と、を備え、
前記認識器は、前記内視鏡スコープが撮像する前記複数の画像からなる前記画像セットを受け付ける内視鏡システム。 - 前記内視鏡スコープが撮像する前記複数の画像を受け付け、前記複数の画像の画像処理を行う内視鏡プロセッサを備え、
前記認識器は、前記内視鏡プロセッサによる画像処理後の前記複数の画像を受け付ける請求項8に記載の内視鏡システム。 - 1つの認識器と表示制御部とを有する画像処理装置の作動方法であって、
前記認識器が、複数の異なる観察光を用いて取得された複数の画像からなる画像セットを受け付ける第1ステップと、
前記認識器が、前記画像セットに対する認識結果を出力する第2ステップと、
前記表示制御部が、前記複数の画像の一部もしくは前記複数の画像を用いて算出された観察用画像及び前記認識結果を表示部に表示させる第3ステップと、を含み、
前記第1ステップから前記第3ステップの処理を繰り返し実行し、
前記複数の画像は、内視鏡スコープにより面順次で撮像された第1内視鏡画像と前記第1内視鏡画像とは異なる観察光を用いて取得された第2内視鏡画像とを含み、
前記第1内視鏡画像は、通常光で撮像された通常光画像であり、前記第2内視鏡画像は、特殊光で撮像された特殊光画像であり、
前記第2ステップは、学習用の前記画像セットと病変の位置又は病変の種類を示す正解データとにより学習した学習済みモデルを有する前記認識器が、認識用の前記画像セットを受け付ける毎に前記学習済みモデルに基づいて前記認識用の前記画像セットに含まれる病変の位置又は病変の種類を示す前記認識結果を出力する、
画像処理装置の作動方法。 - 前記学習済みモデルは、畳み込みニューラルネットワークで構成される請求項10に記載の画像処理装置の作動方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022168121A JP2022189900A (ja) | 2018-07-05 | 2022-10-20 | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018128168 | 2018-07-05 | ||
JP2018128168 | 2018-07-05 | ||
PCT/JP2019/023492 WO2020008834A1 (ja) | 2018-07-05 | 2019-06-13 | 画像処理装置、方法及び内視鏡システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022168121A Division JP2022189900A (ja) | 2018-07-05 | 2022-10-20 | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020008834A1 JPWO2020008834A1 (ja) | 2021-06-24 |
JP7289296B2 true JP7289296B2 (ja) | 2023-06-09 |
Family
ID=69059546
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020528760A Active JP7289296B2 (ja) | 2018-07-05 | 2019-06-13 | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 |
JP2022168121A Pending JP2022189900A (ja) | 2018-07-05 | 2022-10-20 | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022168121A Pending JP2022189900A (ja) | 2018-07-05 | 2022-10-20 | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7289296B2 (ja) |
WO (1) | WO2020008834A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7044120B2 (ja) | 2020-02-07 | 2022-03-30 | カシオ計算機株式会社 | 識別装置、識別器学習方法、識別方法及びプログラム |
JP7411515B2 (ja) * | 2020-07-16 | 2024-01-11 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JP2022038390A (ja) * | 2020-08-26 | 2022-03-10 | 株式会社東芝 | 推論装置、方法、プログラムおよび学習装置 |
JPWO2023281607A1 (ja) * | 2021-07-05 | 2023-01-12 | ||
WO2023007896A1 (ja) * | 2021-07-28 | 2023-02-02 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置及びその作動方法 |
WO2023026538A1 (ja) * | 2021-08-27 | 2023-03-02 | ソニーグループ株式会社 | 医療支援システム、医療支援方法及び評価支援装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007123028A1 (ja) | 2006-04-20 | 2007-11-01 | Olympus Medical Systems Corp. | 生体観測システム |
WO2017203560A1 (ja) | 2016-05-23 | 2017-11-30 | オリンパス株式会社 | 内視鏡画像処理装置 |
WO2018008593A1 (ja) | 2016-07-04 | 2018-01-11 | 日本電気株式会社 | 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体 |
WO2018105063A1 (ja) | 2016-12-07 | 2018-06-14 | オリンパス株式会社 | 画像処理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6140056B2 (ja) * | 2013-09-26 | 2017-05-31 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法 |
JP6656357B2 (ja) * | 2016-04-04 | 2020-03-04 | オリンパス株式会社 | 学習方法、画像認識装置およびプログラム |
EP3705025A4 (en) * | 2017-10-30 | 2021-09-08 | Japanese Foundation For Cancer Research | IMAGE DIAGNOSIS ASSISTANT APPARATUS, DATA COLLECTION PROCESS, IMAGE DIAGNOSIS ASSISTANCE PROCESS AND IMAGE DIAGNOSIS ASSISTANCE PROGRAM |
-
2019
- 2019-06-13 JP JP2020528760A patent/JP7289296B2/ja active Active
- 2019-06-13 WO PCT/JP2019/023492 patent/WO2020008834A1/ja active Application Filing
-
2022
- 2022-10-20 JP JP2022168121A patent/JP2022189900A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007123028A1 (ja) | 2006-04-20 | 2007-11-01 | Olympus Medical Systems Corp. | 生体観測システム |
WO2017203560A1 (ja) | 2016-05-23 | 2017-11-30 | オリンパス株式会社 | 内視鏡画像処理装置 |
WO2018008593A1 (ja) | 2016-07-04 | 2018-01-11 | 日本電気株式会社 | 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体 |
WO2018105063A1 (ja) | 2016-12-07 | 2018-06-14 | オリンパス株式会社 | 画像処理装置 |
Non-Patent Citations (6)
Title |
---|
Abhinav Valada,et al.,"Deep Multispectral Semantic Scene Understanding of Forested Environments using Multimodal Fusion",2016 International Symposium on Experimental Robotics,2016年,pp.1-12 |
Dhanesh Ramachandram,et al.,"Deep Multimodal Learning A survey on recent advances and trends",IEEE SIGNAL PROCESSING MAGAZINE,2017年11月,p.96-108 |
Michael Giering,et al.,"Multi-modal Sensor Registration for Vehicle Perception via Deep Neural Networks",2015 IEEE High Performance Extreme Computing Conference(HPEC),2015年 |
Sun Young Park, et al.,"Colonoscopic Polyp Detection using Convolutional Neural Networks",Proc.of SPIE,2016年,Vol.9785,pp.978528-1 - 978528-6 |
宮崎祐太 他4名,「畳み込みニューラルネットワークを用いたカプセル内視鏡画像における小腸病変の位置検出」,情報処理学会研究報告,2016年5月12日,Vol.2016-VIM-202,No.23,pp.1-8 |
岩堀祐之 他5名,「医療支援診断のための内視鏡画像の分類と大きさ・形状の復元」,総合工学,2018年,第30巻,18-36頁 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020008834A1 (ja) | 2021-06-24 |
WO2020008834A1 (ja) | 2020-01-09 |
JP2022189900A (ja) | 2022-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7289296B2 (ja) | 画像処理装置、内視鏡システム及び画像処理装置の作動方法 | |
JP7135082B2 (ja) | 内視鏡装置、内視鏡装置の作動方法、及びプログラム | |
US20120190922A1 (en) | Endoscope system | |
JPWO2018159363A1 (ja) | 内視鏡システム及びその作動方法 | |
WO2020075578A1 (ja) | 医用画像処理装置、内視鏡システム、及び医用画像処理方法 | |
US20210343011A1 (en) | Medical image processing apparatus, endoscope system, and medical image processing method | |
WO2020066807A1 (ja) | 電子内視鏡システム | |
JP7374280B2 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 | |
US20210076917A1 (en) | Image processing apparatus, endoscope system, and image processing method | |
JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JP7015385B2 (ja) | 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム | |
WO2020066670A1 (ja) | 電子内視鏡システム及びデータ処理装置 | |
JPWO2020031851A1 (ja) | 画像処理方法及び画像処理装置 | |
WO2020170809A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 | |
JP2020065685A (ja) | 内視鏡システム | |
JP7387859B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
JP7402314B2 (ja) | 医用画像処理システム、医用画像処理システムの作動方法 | |
WO2021157487A1 (ja) | 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム | |
WO2021059889A1 (ja) | 内視鏡システム | |
US20230389774A1 (en) | Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program | |
WO2023007896A1 (ja) | 内視鏡システム、プロセッサ装置及びその作動方法 | |
CN114627045A (zh) | 医用图像处理系统、医用图像处理系统的工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220607 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221020 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221020 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221031 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221101 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20221216 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20221222 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230309 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20230427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230530 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7289296 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |