JPWO2019123986A1 - 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム - Google Patents
医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム Download PDFInfo
- Publication number
- JPWO2019123986A1 JPWO2019123986A1 JP2019560908A JP2019560908A JPWO2019123986A1 JP WO2019123986 A1 JPWO2019123986 A1 JP WO2019123986A1 JP 2019560908 A JP2019560908 A JP 2019560908A JP 2019560908 A JP2019560908 A JP 2019560908A JP WO2019123986 A1 JPWO2019123986 A1 JP WO2019123986A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- unit
- recognition result
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 204
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000008859 change Effects 0.000 claims abstract description 40
- 230000008569 process Effects 0.000 claims description 50
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 19
- 238000003672 processing method Methods 0.000 claims description 5
- 230000004397 blinking Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 19
- 238000005286 illumination Methods 0.000 description 18
- 230000003902 lesion Effects 0.000 description 15
- 238000010191 image analysis Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000003780 insertion Methods 0.000 description 12
- 230000037431 insertion Effects 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 10
- 230000001678 irradiating effect Effects 0.000 description 10
- 102000001554 Hemoglobins Human genes 0.000 description 8
- 108010054147 Hemoglobins Proteins 0.000 description 8
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012327 Endoscopic diagnosis Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000008400 supply water Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000001727 in vivo Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000003200 Adenoma Diseases 0.000 description 1
- 206010001233 Adenoma benign Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000002390 hyperplastic effect Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000004876 tela submucosa Anatomy 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Astronomy & Astrophysics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
図1は、本発明の実施形態に係る内視鏡システムの概略構成を示した全体構成図である。内視鏡システム10は、電子内視鏡12と、光源装置14と、プロセッサ装置16と、を含む。プロセッサ装置16には、表示装置18と入力装置19とが接続される。電子内視鏡12は、「スコープ」、「電子スコープ」、或いは単に「内視鏡」と呼ばれる場合がある。
プロセッサ装置16は、電子内視鏡12から受信した画像を画像認識する画像認識部を含む。画像認識の処理には、例えば、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)が用いられる。画像認識部は、例えば、画像内に含まれる病変をNICE分類又はJNET分類などに従って複数のカテゴリーに分類する画像分類のタスクを実施する。「NICE」は、NBI(Narrow band imaging) International Colorectal Endoscopic の略語である。「JNET」は、「the Japan NBI Expert Team」の略語である。
プロセッサ装置16は、本発明の実施形態に係る医療画像処理装置の一例である。図4は、本発明の第一実施形態に係る医療画像処理装置の機能を示すブロック図である。図4に示す医療画像処理装置160は、画像取得部162と、画像認識部164と、判定部166と、認識結果保存部168と、変更処理部170と、表示制御部172と、表示部174と、を備える。
図5は、第一実施形態に係る医療画像処理装置の動作を示すフローチャートである。医療画像処理装置の動作は、医療画像処理方法と理解してもよいし、医療画像処理装置の作動方法、若しくはプロセッサ装置の作動方法と理解してもよい。
図5のフローチャートには示していないが、プロセッサ装置16は、認識に不適な画像が一定期間継続して取得された場合、つまり、画像認識部164の認識結果を認識結果保存部168に保存されている認識結果に変更した医療画像の取得が一定期間続いた場合に、画像認識部164の認識処理を停止してもよい。この場合、表示部174に、警告メッセージなどを表示して、ユーザに注意を喚起する構成が好ましい。表示部174は「報知部」の一例である。
図4に示した第一実施形態では「第1の認識処理」と「第2の認識処理」を段階的に実施する例を示したが、このような2段階の認識処理を行う構成に代えて、1回の認識処理で「認識に不適な画像」の分類を含む複数のカテゴリーに分類する構成を採用してもよい。
図7は、第二実施形態に係る医療画像処理装置の動作を示すフローチャートである。図7において、図5に示したフローチャートと同一又は類似のステップには同一のステップ番号を付し、重複する説明は省略する。図5との相違点を説明する。
図8は、表示部174に表示される内視鏡診断支援画面の一例である。図8に例示したウインドウ300は、画像表示エリア301と、認識結果表示エリア310と、を含む。図8には、認識に適する画像が取得されている場合の表示例が示されている。画像表示エリア301には、電子内視鏡12を用いて撮影された医療画像302の画像内容がリアルタイムで表示される。図8では、医療画像302の画像内に、病変領域303が含まれている例が示されている。なお、1枚の画像内に複数の病変領域が含まれる場合がある。
認識結果保存部168に保存されている認識結果であることを示す表示は、画像認識部164の認識結果をそのまま表示する場合と比べて、表示色を異ならせた異色表示、特定の記号を付加した記号表示、特定の文字列を付加した文字列表示、及び点滅表示のうち少なくとも一つの表示形態を含むものであればよく、これらの任意の組み合わせであってよい。図9に示したアイコン312は、記号表示の一例である。異色表示には、文字の色を変える態様に限らず、背景色を変える態様も含まれる。
上述した実施形態の構成によれば、次のような作用効果が得られる。
本発明に係る医療画像処理装置は、図1に例示した内視鏡システム10のプロセッサ装置16に適用する形態に限らず、様々な応用が可能である。例えば、医療画像処理装置は、内視鏡画像を含む様々な医療情報を管理する医療情報管理システムに応用することができる。
図4及び図6で説明した医療画像処理装置160の画像取得部162、画像認識部164、判定部166、認識結果保存部168、変更処理部170、及び表示制御部172などの各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。
電子内視鏡は、軟性内視鏡に限らず、硬性内視鏡であってもよいし、カプセル内視鏡であってもよい。また、被写体像を含む時系列の医療画像を生成する装置は、電子内視鏡に限らず、例えば、超音波診断装置などであってもよい。
本開示の医療画像処理装置は、医師等による診察、治療、又は診断などを支援する診断支援装置として用いることができる。「診断支援」という用語は、診察支援、及び/又は治療支援の概念を含む。
観察光は、白色光、或いは1又は複数の特定の波長帯域の光、或いはこれらの組み合わせなど観察目的に応じた各種波長帯域の光が選択される。白色光は、白色の波長帯域の光又は複数の波長帯域の光である。「特定の波長帯域」は、白色の波長帯域よりも狭い帯域である。特定の波長帯域に関する具体例を以下に示す。
特定の波長帯域の第1例は、例えば可視域の青色帯域又は緑色帯域である。この第1例の波長帯域は、390nm以上450nm以下の波長帯域又は530nm以上550nm以下の波長帯域を含み、且つ第1例の光は、390nm以上450nm以下の波長帯域内又は530nm以上550nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第2例は、例えば可視域の赤色帯域である。この第2例の波長帯域は、585nm以上615nm以下の波長帯域又は610nm以上730nm以下の波長帯域を含み、且つ第2例の光は、585nm以上615nmの波長帯域内以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第3例は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、且つ第3例の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する。この第3例の波長帯域は、400±10nm、440±10nmの波長帯域、470±10nmの波長帯域、又は600nm以上750nm以下の波長帯域を含み、且つ第3例の光は、上記400±10nm、440±10nm、470±10nm、又は600nm以上750nm以下の波長帯域内にピーク波長を有する。
特定の波長帯域の第4例は、生体内の蛍光物質が発する蛍光の観察(蛍光観察)に用いられ、且つこの蛍光物質を励起させる励起光の波長帯域、例えば、390nmから470nmである。
特定の波長帯域の第5例は、赤外光の波長帯域である。この第5例の波長帯域は、790nm以上820nm以下の波長帯域又は905nm以上970nm以下の波長帯域を含み、且つ第5例の光は、790nm以上820nm以下の波長帯域内又は905nm以上970nm以下の波長帯域内にピーク波長を有する。
光源の種類は、レーザ光源、キセノン光源、若しくは、LED光源(LED:Light-Emitting Diode)又はこれらの適宜の組み合わせを採用し得る。光源の種類、波長、フィルタの有無等は被写体の種類、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、観察の目的等に応じて照明光の波長を組み合わせ及び/又は切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過又は遮光するフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることにより、照射する光の波長を切り替えてもよい。
プロセッサ装置16は、白色光を用いて撮像して得られた通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を生成してもよい。なお、ここでいう生成には「取得」の概念が含まれる。この場合、プロセッサ装置16は、特殊光画像取得部として機能する。プロセッサ装置16は、特定の波長帯域の信号を、通常光画像に含まれる赤(R)、緑(G)、及び青(B)、或いはシアン(C)、マゼンタ(M)、及びイエロー(Y)の色情報に基づく演算を行うことで得ることができる。
プロセッサ装置16は、医療画像として、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像、並びに特定の波長帯域の光を照射して得る特殊光画像の少なくともいずれかに基づく演算を用いて、特徴量画像を生成し得る。特徴量画像は医療画像の一形態である。
上述の実施形態で説明した医療画像処理装置の機能をコンピュータに実現させるプログラムを光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。またこのような有体物たる非一時的な情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
本明細書は、上述した各実施形態及び変形例等に加えて、以下に記載の構成発明の開示を含む。
医療画像処理装置は、医療画像解析処理部と、医療画像解析結果取得部と、を有し、医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
医療画像解析結果取得部は、医療画像の解析結果を記録する記録装置から取得し、解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、若しくは両方である医療画像処理装置。
医療画像は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
医療画像は、特定の波長帯域の光を照射して得た画像であり、特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
特定の波長帯域は、可視域の青色若しくは、緑色帯域である医療画像処理装置。
特定の波長帯域は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下又は530nm以上550nm以下の波長帯域内にピーク波長を有する 医療画像処理装置。
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
特定の波長帯域は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下又は610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
特定の波長帯域は、400±10nm、440±10nm、470±10nm、又は、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、又は、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像は生体内を写した生体内画像であり、生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
蛍光は、ピークが390nm以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
医療画像は生体内を写した生体内画像であり、特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
特定の波長帯域は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下又は905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
医療画像取得部は、白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、医療画像は特殊光画像である医療画像処理装置。
特定の波長帯域の信号は、通常光画像に含まれるRGB或いはCMYの色情報に基づく演算により得る医療画像処理装置。
白色帯域の光、又は白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、医療画像は特徴量画像である医療画像処理装置。
付記1から付記18のいずれか1つに記載の医療画像処理装置と、白色の波長帯域の光、又は、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、を備える内視鏡装置。
付記1から付記18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
付記1から付記18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、又は削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で同等関連分野の通常の知識を有する者により、多くの変形が可能である。
12 電子内視鏡
14 光源装置
16 プロセッサ装置
18 表示装置
19 入力装置
20 挿入部
22 先端硬質部
22A 先端面
24 湾曲部
26 軟性部
30 操作部
31 アングルノブ
32 送気送水ボタン
33 吸引ボタン
34 モード切替スイッチ
35 ズーム操作部
36 処置具導入口
40 ユニバーサルコード
42 コネクタ
42A ビデオコネクタ
42B ライトガイドコネクタ
42C 送水コネクタ
44 送水タンク
50 照明窓
52 観察窓
54 鉗子出口
56 送気送水用ノズル
60 対物光学系
62 撮像素子
64 アナログフロントエンド回路
65 タイミングジェネレータ
66 CPU
68 撮像チップ
70 CPU
72 ROM
74 RAM
76 デジタル信号処理回路
78 表示制御回路
100 第1光源
101 第1光源駆動回路
102 第2光源
103 第2光源駆動回路
104 CPU
105 合波部
120 ライトガイド
121 入射端
122 出射端
124 蛍光体
160 医療画像処理装置
162 画像取得部
164 画像認識部
164A 第1の認識部
164B 第2の認識部
166 判定部
168 認識結果保存部
170 変更処理部
172 表示制御部
174 表示部
200 医療情報管理システム
202 画像取込端末
204 画像保存サーバ
210 情報管理装置
218 表示装置
219 入力装置
230 電気通信回線
300 ウインドウ
301 画像表示エリア
302 医療画像
303 病変領域
310 認識結果表示エリア
312 アイコン
IM1、IM2、IM3 画像
S12〜S26 医療画像処理装置における処理のステップ
Claims (27)
- 被写体像を含む時系列の医療画像を取得する画像取得部と、
前記医療画像から画像認識を行う画像認識部と、
前記画像認識部の認識結果を保存する認識結果保存部と、
前記画像認識部の認識結果に応じて、前記画像認識部の認識結果を、前記認識結果保存部に保存されている認識結果に変更する変更処理部と、
を備える医療画像処理装置。 - 前記画像認識部の認識結果に応じて、前記画像認識部の認識結果を保存するか否かを判定する判定部を備え、
前記判定部の判定結果に従い、前記画像認識部の認識結果が前記認識結果保存部に保存される請求項1に記載の医療画像処理装置。 - 前記変更処理部は、前記判定部が認識結果を非保存とする判定を与えた前記医療画像についての前記画像認識部の認識結果を、前記認識結果保存部に保存されている認識結果に変更する請求項2に記載の医療画像処理装置。
- 前記画像認識部は、前記画像取得部から取得された前記医療画像が認識に不適な画像であると認識するタスクを含み、
前記判定部は、前記画像認識部が認識に不適な画像であると認識した場合に、前記不適な画像であると認識した前記医療画像についての認識結果を非保存とする判定を行う請求項3に記載の医療画像処理装置。 - 前記画像認識部は、前記画像取得部から取得された前記医療画像が認識に不適な画像であると認識するタスクを含み、
前記変更処理部は、前記画像認識部が認識に不適な画像であると認識した場合に、前記画像認識部の認識結果を前記認識結果保存部に保存されている認識結果に変更する請求項1から3のいずれか一項に記載の医療画像処理装置。 - 前記画像認識部が認識に不適な画像であると認識した前記医療画像についての認識結果は、前記認識結果保存部に非保存とされる請求項5に記載の医療画像処理装置。
- 前記不適な画像は、被写体がボケている画像である請求項4から6のいずれか一項に記載の医療画像処理装置。
- 前記不適な画像は、被写体がぶれている画像である請求項4から6のいずれか一項に記載の医療画像処理装置。
- 前記不適な画像は、被写体に水がかぶっている画像である請求項4から6のいずれか一項に記載の医療画像処理装置。
- 前記不適な画像は、被写体に残渣がある画像である請求項4から6のいずれか一項に記載の医療画像処理装置。
- 前記画像認識部が行う前記画像認識には、注目領域を検出するタスクが含まれる請求項1から10のいずれか一項に記載の医療画像処理装置。
- 前記画像認識部が行う前記画像認識には、画像分類が含まれる請求項1から11のいずれか一項に記載の医療画像処理装置。
- 前記画像認識部は、前記画像取得部から取得された前記医療画像が認識に不適な画像であるか否かを認識する第1の認識部と、
前記画像取得部から取得された前記医療画像から注目領域の検出、及び前記医療画像の画像分類のうち少なくとも一方の処理を行う第2の認識部と、
を含み、
前記第1の認識部が認識に不適な画像であると認識した前記医療画像について、前記第2の認識部における処理を不実施とする請求項1から12のいずれか一項に記載の医療画像処理装置。 - 前記画像認識部は、時系列で取得される前記医療画像ごとに前記画像認識を行い、
前記医療画像ごとに認識結果を出力する請求項1から13のいずれか一項に記載の医療画像処理装置。 - 前記変更処理部による前記変更の処理を受けずに、前記画像認識部の認識結果が維持された前記医療画像についての認識結果が前記認識結果保存部に保存される請求項1から14のいずれか一項に記載の医療画像処理装置。
- 前記変更処理部は、前記画像認識部の認識結果を、前記認識結果保存部に保存されている最新の認識結果に変更する請求項1から15のいずれか一項に記載の医療画像処理装置。
- 前記画像認識部の認識結果を表示する表示部を備え、
前記画像認識部の認識結果に応じて、前記認識結果保存部に保存されている認識結果が前記表示部に表示される請求項1から16のいずれか一項に記載の医療画像処理装置。 - 前記表示部は、前記認識結果保存部に保存されている認識結果を表示する場合に、前記認識結果保存部に保存されている認識結果であることを示す表示を行う請求項17に記載の医療画像処理装置。
- 前記認識結果保存部に保存されている認識結果であることを示す表示は、前記画像認識部の認識結果をそのまま表示する場合と比べて、表示色を異ならせた異色表示、特定の記号を付加した記号表示、特定の文字列を付加した文字列表示、及び点滅表示のうち少なくとも1つの表示形態を含む請求項18に記載の医療画像処理装置。
- 前記画像認識部の認識結果を前記認識結果保存部に保存されている認識結果に変更した前記医療画像の取得が一定期間続いた場合に、前記画像認識部の認識処理を停止する請求項1から19のいずれか一項に記載の医療画像処理装置。
- 前記医療画像は、内視鏡から得られる内視鏡画像又は超音波診断装置から得られる超音波画像である請求項1から20のいずれか一項に記載の医療画像処理装置。
- 被写体像を含む時系列の医療画像を取得する画像取得ステップと、
前記医療画像から画像認識を行う画像認識ステップと、
部と、
前記画像認識ステップの認識結果を認識結果保存部に保存する認識結果保存ステップと、
前記画像認識ステップの認識結果に応じて、前記画像認識ステップの認識結果を、前記認識結果保存部に保存されている認識結果に変更する変更処理ステップと、
を含む医療画像処理方法。 - 体腔内を撮影する電子内視鏡と、
前記電子内視鏡から得られる画像信号を処理するプロセッサ装置と、を含む内視鏡システムであって、
前記プロセッサ装置は、
前記電子内視鏡を用いて撮影された被写体像を含む時系列の医療画像を取得する画像取得部と、
前記医療画像から画像認識を行う画像認識部と、
前記画像認識部の認識結果を保存する認識結果保存部と、
前記画像認識部の認識結果に応じて、前記画像認識部の認識結果を、前記認識結果保存部に保存されている認識結果に変更する変更処理部と、
を備える内視鏡システム。 - 電子内視鏡から得られる画像信号を処理するプロセッサ装置であって、
前記電子内視鏡を用いて撮影された被写体像を含む時系列の医療画像を取得する画像取得部と、
前記医療画像から画像認識を行う画像認識部と、
前記画像認識部の認識結果を保存する認識結果保存部と、
前記画像認識部の認識結果に応じて、前記画像認識部の認識結果を、前記認識結果保存部に保存されている認識結果に変更する変更処理部と、
を備えるプロセッサ装置。 - 被写体像を含む時系列の医療画像を取得する画像取得部と、
前記医療画像から画像認識を行う画像認識部と、
前記画像認識部の認識結果を保存する認識結果保存部と、
前記画像認識部の認識結果に応じて、前記画像認識部の認識結果を、前記認識結果保存部に保存されている認識結果に変更する変更処理部と、
前記画像認識部の認識結果を報知する報知部と、
を備える診断支援装置。 - コンピュータに、
被写体像を含む時系列の医療画像を取得する画像取得ステップと、
前記医療画像から画像認識を行う画像認識ステップと、
前記画像認識ステップの認識結果を認識結果保存部に保存する認識結果保存ステップと、
前記画像認識ステップの認識結果に応じて、前記画像認識ステップの認識結果を、前記認識結果保存部に保存されている認識結果に変更する変更処理ステップと、
を実行させるプログラム。 - 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
被写体像を含む時系列の医療画像を取得する画像取得ステップと、
前記医療画像から画像認識を行う画像認識ステップと、
前記画像認識ステップの認識結果を認識結果保存部に保存する認識結果保存ステップと、
前記画像認識ステップの認識結果に応じて、前記画像認識ステップの認識結果を、前記認識結果保存部に保存されている認識結果に変更する変更処理ステップと、
をコンピュータに実行させる記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021085460A JP7176041B2 (ja) | 2017-12-22 | 2021-05-20 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
JP2022179248A JP7383105B2 (ja) | 2017-12-22 | 2022-11-09 | 医療画像処理装置及び内視鏡システム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017246464 | 2017-12-22 | ||
JP2017246464 | 2017-12-22 | ||
PCT/JP2018/043380 WO2019123986A1 (ja) | 2017-12-22 | 2018-11-26 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021085460A Division JP7176041B2 (ja) | 2017-12-22 | 2021-05-20 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019123986A1 true JPWO2019123986A1 (ja) | 2020-12-03 |
JP6889282B2 JP6889282B2 (ja) | 2021-06-18 |
Family
ID=66992614
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019560908A Active JP6889282B2 (ja) | 2017-12-22 | 2018-11-26 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
JP2021085460A Active JP7176041B2 (ja) | 2017-12-22 | 2021-05-20 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
JP2022179248A Active JP7383105B2 (ja) | 2017-12-22 | 2022-11-09 | 医療画像処理装置及び内視鏡システム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021085460A Active JP7176041B2 (ja) | 2017-12-22 | 2021-05-20 | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム |
JP2022179248A Active JP7383105B2 (ja) | 2017-12-22 | 2022-11-09 | 医療画像処理装置及び内視鏡システム |
Country Status (2)
Country | Link |
---|---|
JP (3) | JP6889282B2 (ja) |
WO (1) | WO2019123986A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117814732A (zh) * | 2018-12-04 | 2024-04-05 | Hoya株式会社 | 模型生成方法 |
JP6872581B2 (ja) * | 2018-12-04 | 2021-05-19 | Hoya株式会社 | 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム |
JP7373335B2 (ja) * | 2019-09-18 | 2023-11-02 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム |
CN115209782A (zh) * | 2020-02-27 | 2022-10-18 | 奥林巴斯株式会社 | 内窥镜系统和基于内窥镜系统的管腔扫描方法 |
JP7402314B2 (ja) * | 2020-04-02 | 2023-12-20 | 富士フイルム株式会社 | 医用画像処理システム、医用画像処理システムの作動方法 |
US20230230364A1 (en) * | 2020-05-26 | 2023-07-20 | Nec Corporation | Image processing device, control method and storage medium |
JP7478245B2 (ja) | 2020-09-24 | 2024-05-02 | 富士フイルム株式会社 | 医療画像装置及びその作動方法 |
WO2023053991A1 (ja) * | 2021-09-30 | 2023-04-06 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005011121A (ja) * | 2003-06-19 | 2005-01-13 | Olympus Corp | 情報処理装置及び方法 |
WO2006046637A1 (ja) * | 2004-10-29 | 2006-05-04 | Olympus Corporation | 画像処理方法及びカプセル型内視鏡装置 |
WO2010109726A1 (ja) * | 2009-03-23 | 2010-09-30 | オリンパスメディカルシステムズ株式会社 | 画像処理システム、外部装置およびその画像処理方法 |
JP2011255006A (ja) * | 2010-06-09 | 2011-12-22 | Olympus Corp | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 |
JP2012170641A (ja) * | 2011-02-22 | 2012-09-10 | Olympus Corp | 蛍光観察装置 |
WO2014103511A1 (ja) * | 2012-12-25 | 2014-07-03 | 日立アロカメディカル株式会社 | 超音波診断装置及び弾性解析方法 |
JP2015198672A (ja) * | 2012-08-10 | 2015-11-12 | 日立アロカメディカル株式会社 | 医用画像診断装置 |
WO2016203548A1 (ja) * | 2015-06-16 | 2016-12-22 | オリンパス株式会社 | 内視鏡システム及びカプセル内視鏡装置 |
JP2017158628A (ja) * | 2016-03-07 | 2017-09-14 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5438634B2 (ja) | 2010-08-31 | 2014-03-12 | 富士フイルム株式会社 | 電子内視鏡システム |
WO2012035923A1 (ja) | 2010-09-14 | 2012-03-22 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム及び視界不良判定方法 |
US20120113239A1 (en) * | 2010-11-08 | 2012-05-10 | Hagai Krupnik | System and method for displaying an image stream |
JP6196599B2 (ja) * | 2014-09-30 | 2017-09-13 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法 |
JP6594679B2 (ja) | 2015-07-06 | 2019-10-23 | オリンパス株式会社 | 内視鏡検査データ記録システム |
-
2018
- 2018-11-26 JP JP2019560908A patent/JP6889282B2/ja active Active
- 2018-11-26 WO PCT/JP2018/043380 patent/WO2019123986A1/ja active Application Filing
-
2021
- 2021-05-20 JP JP2021085460A patent/JP7176041B2/ja active Active
-
2022
- 2022-11-09 JP JP2022179248A patent/JP7383105B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005011121A (ja) * | 2003-06-19 | 2005-01-13 | Olympus Corp | 情報処理装置及び方法 |
WO2006046637A1 (ja) * | 2004-10-29 | 2006-05-04 | Olympus Corporation | 画像処理方法及びカプセル型内視鏡装置 |
WO2010109726A1 (ja) * | 2009-03-23 | 2010-09-30 | オリンパスメディカルシステムズ株式会社 | 画像処理システム、外部装置およびその画像処理方法 |
JP2011255006A (ja) * | 2010-06-09 | 2011-12-22 | Olympus Corp | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 |
JP2012170641A (ja) * | 2011-02-22 | 2012-09-10 | Olympus Corp | 蛍光観察装置 |
JP2015198672A (ja) * | 2012-08-10 | 2015-11-12 | 日立アロカメディカル株式会社 | 医用画像診断装置 |
WO2014103511A1 (ja) * | 2012-12-25 | 2014-07-03 | 日立アロカメディカル株式会社 | 超音波診断装置及び弾性解析方法 |
WO2016203548A1 (ja) * | 2015-06-16 | 2016-12-22 | オリンパス株式会社 | 内視鏡システム及びカプセル内視鏡装置 |
JP2017158628A (ja) * | 2016-03-07 | 2017-09-14 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2023015232A (ja) | 2023-01-31 |
JP2021121348A (ja) | 2021-08-26 |
JP7176041B2 (ja) | 2022-11-21 |
JP7383105B2 (ja) | 2023-11-17 |
WO2019123986A1 (ja) | 2019-06-27 |
JP6889282B2 (ja) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6889282B2 (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
JP7346285B2 (ja) | 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム | |
US20230086972A1 (en) | Medical image processing device, endoscope system, medical image processing method, and program | |
CN111936032B (zh) | 图像处理装置、内窥镜系统及图像处理方法 | |
JP7326308B2 (ja) | 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
JP2010172673A (ja) | 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法 | |
JP7289373B2 (ja) | 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム | |
JP7333805B2 (ja) | 画像処理装置、内視鏡システム、及び画像処理装置の作動方法 | |
JP7335399B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
JPWO2020008834A1 (ja) | 画像処理装置、方法及び内視鏡システム | |
WO2020184257A1 (ja) | 医用画像処理装置及び方法 | |
WO2020054255A1 (ja) | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法 | |
JP7389257B2 (ja) | 内視鏡システム及びその作動方法 | |
US20220351350A1 (en) | Endoscope processor, method for operating endoscope processor, and storage medium | |
JP2023014288A (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
CN116134363A (zh) | 内窥镜系统及其工作方法 | |
WO2022264688A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
CN112739250A (zh) | 医用图像处理装置、处理器装置、医用图像处理方法及程序 | |
CN114627045A (zh) | 医用图像处理系统、医用图像处理系统的工作方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6889282 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |