JP7478245B2 - 医療画像装置及びその作動方法 - Google Patents

医療画像装置及びその作動方法 Download PDF

Info

Publication number
JP7478245B2
JP7478245B2 JP2022551994A JP2022551994A JP7478245B2 JP 7478245 B2 JP7478245 B2 JP 7478245B2 JP 2022551994 A JP2022551994 A JP 2022551994A JP 2022551994 A JP2022551994 A JP 2022551994A JP 7478245 B2 JP7478245 B2 JP 7478245B2
Authority
JP
Japan
Prior art keywords
display
medical
image
recognition
recognition processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022551994A
Other languages
English (en)
Other versions
JPWO2022065301A5 (ja
JPWO2022065301A1 (ja
Inventor
尭之 辻本
正明 大酒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2022065301A1 publication Critical patent/JPWO2022065301A1/ja
Publication of JPWO2022065301A5 publication Critical patent/JPWO2022065301A5/ja
Application granted granted Critical
Publication of JP7478245B2 publication Critical patent/JP7478245B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Description

本発明は、AI(Artificial Intelligence)などの認識処理を用いる医療画像装置及びその作動方法に関する。
現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムなどのように、医療画像を用いる医療画像処理システムが普及している。また、近年においては、内視鏡画像などの医療画像から、AI(Artificial Intelligence)などの認識処理により関心領域を検出する機能や、病変部の鑑別分類又はセグメンテーションを行う診断支援機能が用いられつつある。例えば、特許文献1では、画像処理を用いて、病変部の鑑別分類を行うことが示されている。
国際公開第2018/105063号
内視鏡診断においては、大腸など体組織は静止しておらず内視鏡の先端部を病変部に対して一定距離保つことは困難である。そのため、同じ病変を撮影し続けても病変が明瞭に映っている画像やボケの画像が少なからず存在する。明瞭に撮影された画像に対しては正しい認識処理の結果を得ることが高く期待される。一方、ボケの画像に対しては病変の表面構造を捉えることが困難なため、正しい認識処理の結果を得られる期待が薄く、医師の診断を妨げてしまうおそれがある。これに関して、特許文献1には、内視鏡の先端部が静止状態か否かどうかで、鑑別状態にあるかどうかを判定しているが、画像ボケと鑑別状態との関連性については、記載及び示唆がされていない。
本発明は、画像ボケの状態に応じて、認識処理の結果を適切に表示することができる医療画像装置及びその作動方法を提供することを目的とする。
本発明の医療画像装置は、医療画像を順次取得し、医療画像に対して認識処理を施し、医療画像のボケに応じて、ディスプレイに認識処理の結果を表示すること又は非表示にすることを決定し、決定に従って認識処理の表示を制御するプロセッサを備える。
プロセッサは、医療画像に対して認識処理を施してから認識処理の結果が得られるまでの中間画像特徴量を取得し、中間画像特徴量に対してパターン分類するパターン分類処理を行い、パターン分類処理の結果に基づいて、認識処理の結果の表示又は非表示を決定することが好ましい。認識処理はCNN(Convolutional Neural Network)であることが好ましい。パターン分類処理はSVM(Support Vector Machine)であることが好ましい。
プロセッサは、医療画像から画素勾配を算出する画素勾配算出処理を行い、画素勾配の代表値を算出し、代表値に基づいて、認識処理の結果の表示又は非表示を決定することが好ましい。画素勾配算出処理は、Sobelフィルタ、Laplacianフィルタ、Logフィルタ、又はCannyフィルタのいずれかであることが好ましい。代表値は、医療画像内の画素勾配の総和値、又は、平均値であることが好ましい。
医療画像は、体内を内視鏡で撮像して得られる内視鏡画像であることが好ましい。プロセッサは、内視鏡画像を処理する内視鏡プロセッサ装置から、医療画像として、内視鏡画像を取得することが好ましい。
本発明の医療画像装置の作動方法は、プロセッサが、医療画像を順次取得するステップと、医療画像に対して認識処理を施すステップと、医療画像のボケに応じて、ディスプレイに認識処理の結果を表示すること又は非表示にすることを決定するステップと、決定に従って認識処理の表示を制御するステップとを実行する。
本発明によれば、画像ボケの状態に応じて、認識処理の結果を適切に表示することができる。
医療画像装置及び内視鏡システムの機能を示すブロック図である。 認識処理用プロセッサ装置の機能を示すブロック図である。 認識処理を示す説明図である。 第1実施形態の認識結果表示決定部の機能を示すブロック図である。 認識処理の詳細及び第1~第N中間画像特徴量を示す説明図である。 パターン分類部の機能を示すブロック図である。 第1実施形態における認識処理の結果の表示制御を示す説明図である。 認識処理の結果の表示制御に関するフローチャートである。 第2実施形態の認識結果表示決定部の機能を示すブロック図である。 画素勾配算出部の機能を示すブロック図である。 第2実施形態における認識処理の結果の表示制御を示す説明図である。
[第1実施形態]
図1に示すように、第1実施形態の医療画像装置10は、内視鏡画像などの医療画像に対して、病変検出又は鑑別などの認識処理を施し、認識処理の結果を表示する。医療画像装置10、消化管などの体内を撮影して得られる内視鏡画像を取得する内視鏡システム100に接続されている。
内視鏡システム100は、光源装置101、内視鏡102、内視鏡プロセッサ装置103、及び、ディスプレイ104を備えている。光源装置101は、被写体内に照射するための照明光を内視鏡102に供給する。内視鏡102は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影することにより、内視鏡画像を取得する。内視鏡102が照明光に使用する特定の波長帯域の光は、例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光である。
内視鏡プロセッサ装置103は、内視鏡102からの内視鏡画像を順次取得し、取得した内視鏡画像に対して各種の画像処理を施す。各種の画像処理が施された内視鏡画像は、ディスプレイ104に表示される。また、各種の画像処理を施す前又は後の内視鏡画像は、病変の認識処理のために、内視鏡プロセッサ装置103から医療画像装置10に送信される。
なお、医療画像は静止画像または動画(いわゆる検査動画)である。医療画像が動画である場合、検査後に動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する1つの代表フレームの静止画像を表示することのほか、動画を1または複数回、再生することを含む。また、医療画像には、医師が内視鏡102などを操作して撮影した画像の他、医師の撮影指示に依らず自動的に撮影した画像を含む。
また、医療画像装置10が複数の医療画像を取得し得る場合、これらの医療画像のうち1または複数の医療画像を選択的に取得できる。また、医療画像装置10は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像装置は、任意に医療画像を取得できる。
医療画像装置10は、認識処理用プロセッサ装置11と、ディスプレイ12とを備えている。なお、ディスプレイ12は、内視鏡システム100のディスプレイ104と別に設けられたものであるが、医療画像装置10において、ディスプレイ12を無くして、ディスプレイ104を兼用してもよい。
認識処理用プロセッサ装置11は、内視鏡システム100からの医療画像を取得し、医療画像に対して認識処理を施す。図2に示すように、認識処理用プロセッサ装置11は、画像取得部15、認識処理部16、認識結果表示決定部17、及び、表示制御部18を備えている。画像取得部15は、内視鏡システム100の内視鏡プロセッサ装置103から送信された医療画像を順次取得する。
認識処理用プロセッサ装置11においては、各種処理に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。認識処理用プロセッサ装置11には、プロセッサによって構成される中央制御部(図示しない)が設けられている。中央制御部がプログラム用メモリ内のプログラムを実行することによって、画像取得部15、認識処理部16、認識結果表示決定部17、及び、表示制御部18の機能が実現する。
認識処理部16は、医療画像に対して認識処理を施す。認識処理には、医療画像から病変部などの関心領域ROIを検出する領域検出処理と、病変部の種類、ステージなどを鑑別する、関心領域ROIの鑑別処理が含まれる。認識結果表示決定部17は、医療画像のボケに応じて、ディスプレイ12に認識処理の結果を表示すること又は非表示にすることを決定する。認識結果表示決定部17の詳細は後述する。表示制御部18は、認識結果表示決定部17での決定に従って認識処理の表示を制御する。なお、鑑別処理は、画像全体に対するセグメンテーションで実施されてもよく、病変として検出された領域のみに対して分類処理を行うことで実施されてもよい。また、医療画像のボケは、内視鏡のブレにより生ずる他、大腸などの体動よって生ずるものなどが含まれる。
ディスプレイ12に認識処理の結果を表示することに決定した場合には、図3に示すように、関心領域ROIを含む医療画像PSに対して認識処理を行うことにより、領域検出結果として、関心領域ROIが検出されたことを示すバンディングボックスBBと、鑑別結果として、関心領域ROが示す病変の名前DN(neoplastic)がディスプレイ12に表示される。
本実施形態の認識処理としては、機械学習済み学習モデルに用いられる機械学習用処理であることが好ましい。機械学習用処理としては、CNN(Convolutional Neural Network)の他、NN(Neural Network)、Adaboost、ランダムフォレストを用いる処理であることが好ましい。すなわち、認識処理では、医療画像の入力に対して、領域検出結果、及び/又は、鑑別結果を出力することが好ましい。また、認識処理として、医療画像の色情報、画素値の勾配等で得られる特徴量を元に、関心領域の検出を行ってもよい。なお、画素値の勾配等は、例えば、被写体の形状(粘膜の大局的な起伏または局所的な陥凹もしくは隆起等)、色(炎症、出血、発赤、または萎縮に起因した白化等の色)、組織の特徴(血管の太さ、深さ、密度、もしくはこれらの組み合わせ等)、または、構造の特徴(ピットパターン等)等によって、変化が表れる。
なお、認識処理で検出される関心領域は、例えば、がんに代表される病変部、処理の跡、手術の跡、出血箇所、良性腫瘍部、炎症部(いわゆる炎症の他、出血または萎縮等の変化がある部分を含む)、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査(いわゆる生検)を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域(ヒダ(襞)の裏、管腔奥のため観察光が届きにくい領域)など病変の可能性にかかわらず詳細な観察が必要である領域等が関心領域になり得る。認識処理は、病変部、処理の跡、手術の跡、出血箇所、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を関心領域として検出する。
認識結果表示決定部17は、医療画像のボケに応じて、ディスプレイ12に認識処理の結果を表示すること、又は、非表示にすることを決定する。これは、医療画像のボケによっては、認識処理の結果が正確でない場合があることから、認識処理の結果の表示又は非表示を制御できるようにしている。例えば、図3において、医療画像PSにボケが少ない場合には、認識処理の結果として、正解の「neoplastic」が得られるため、この場合には、認識処理の結果「neoplastic」を表示する。一方、医療画像PSにボケが多く、関心領域ROIが不鮮明などの場合には、認識処理の結果として、不正解の「hyperplastic」が得られる。この場合には、不正解の「hyperplastic」をそのままディスプレイ12に表示すると、ユーザーに間違った情報を与えることになる。そこで、本実施形態では、医療画像のボケに応じて、認識処理の結果を表示又は非表示になるようにしている。
図4に示すように、認識結果表示決定部17は、中間画像特徴量取得部20、パターン分類部21、及び、第1決定部22を備えている。中間画像特徴量取得部20は、医療画像に対して認識処理を施してから認識処理の結果が得られるまでの中間画像特徴量を取得する。図5に示すように、認識処理がCNN(Convolutional Neural Network)である場合には、認識処理部16では、第1畳み込み処理、第2畳み込み処理、・・・、第N畳み込み処理(Nは自然数)など複数の畳み込み処理が実行される。例えば、第1畳み込み処理では、縦の画素数がX1、横の画素数がY1の医療画像に対して、特定のカーネルに基づく畳み込み処理を行うことによって、縦の画素数がX2(<X1)、横の画素数がY2(<Y1)の第1中間画像特徴量が得られる。第2畳み込み処理では、第中間画像特徴量に対して、特定のカーネルに基づく畳み込み処理を行うことによって、縦の画素数がX3(<X2)、横の画素数がY3(<Y2)の第2中間画像特徴量が得られる。
同様にして、第N畳み込み処理まで行うことによって、第1~第N中間画像特徴量を算出する。認識処理部16では、第N中間画像特徴量に基づいて、認識処理の結果を出力する。中間画像特徴量取得部20は、第1~第N中間画像特徴量のいずれか、又は、第1~第N中間画像特徴量を重み付け演算して得られる組み合わせ特徴量を、中間画像特徴量として取得する。
図6に示すように、パターン分類部21は、中間画像特徴量に対してパターン分類するパターン分類処理を行う。パターン分類処理としては、例えば、SVM(Support Vector Machine)を用いることが好ましい。パターン分類処理により、中間画像特徴量を、画像ボケの特徴を示すパターンと、画像ボケの特徴を示さないパターンの2つを含む分類処理の結果が得られる。
第1決定部22は、分類処理の結果に基づいて、認識処理の結果の表示又は非表示を決定する。図7に示すように、画像ボケの特徴を示すパターンの中間特徴量が第1特徴量用閾値未満である場合、又は、画像ボケの特徴を示さないパターンの中間特徴量が第2特徴量用閾値以上である場合には、第1決定部22は、ボケ無しと判断し、表示制御部18は、認識処理の結果であるバンディングボックスBB及び/又は鑑別結果である病変の名前DNをディスプレイ12に表示する。一方、画像ボケの特徴を示すパターンの中間特徴量が第1特徴量用閾値以上である場合、又は、画像ボケの特徴を示さないパターンの中間特徴量が第2特徴量用閾値未満である場合には、第1決定部22は、ボケ有りと判断し、表示制御部18は、バンディングボックスBB及び/又は病変の名前DNを非表示とする。なお、認識処理の結果を表示する場合と表示しない場合のいずれにおいても、認識処理を行った元の医療画像を表示することが好ましい。
次に、医療画像のボケに応じて、認識処理の結果の表示を制御する一連の流れを、図8に示すフローチャートに沿って説明する。画像取得部15は、内視鏡プロセッサ装置103から医療画像を順次取得する。認識処理部16は、医療画像に対して認識処理を施す。認識結果表示決定部17は、医療画像のボケに応じて、ディスプレイ12に認識処理の結果を表示すること、又は、非表示することを決定する。認識結果表示決定部17にて認識処理の結果を表示することに決定した場合には、ディスプレイ12に認識処理の結果を表示する。一方、認識結果表示決定部17にて認識処理の結果を非表示にすることに決定した場合には、ディスプレイ12に認識処理の結果を表示しない。これにより、画像のボケによって認識処理の結果が正しくない場合には、認識処理の結果がディスプレイ12に表示されないため、ユーザーに誤った情報を与えるおそれがなくなる。なお、認識処理の結果の表示制御については、認識処理の実行が継続している間、繰り返し行われる。
[第2実施形態]
第2実施形態では、医療画像の画素勾配などを用いて、認識処理の結果の表示を制御する。認識処理の結果の表示に関連する部分以外は、第1実施形態と同様であるため、省略する。
第2実施形態においては、第1実施形態の認識結果表示決定部17と異なる認識結果表示決定部30が認識処理用プロセッサ装置11に設けられる。図9に示すように、認識結果表示決定部30は、画素勾配算出部31、代表値算出部32、及び、第2決定部33を備えている。
画素勾配算出部31は、図10に示すように、医療画像から画素勾配を算出する画素勾配算出処理を行う。画素勾配算出処理としては、例えば、Sobelフィルタ(1次微分を利用して輪郭を抽出)、Laplacianフィルタ(2次微分を利用して輪郭を抽出)、Logフィルタ(対数化により輪郭を強調)、Cannyフィルタ(微分処理の前に平滑化処理を施すことでノイズが強調、抽出されることを抑制する)のいずれかであることが好ましい。画素勾配算出処理によって、画素勾配データが得られる。画素勾配データにおいては、関心領域ROIの輪郭部分の画素が比較的大きい画素勾配を有する一方、輪郭以外の部分は比較的小さい画素勾配となっている
代表値算出部32は、画素勾配の代表値を算出する。代表値は、医療画像内の画素勾配の総和、又は、平均値であることが好ましい。代表値算出部32で算出した代表値が、関心領域ROIの画素勾配を代表する値となる。例えば、画像ボケが低いほど、代表値が高くなる場合には、代表値が高いほど、画像ボケが無く、関心領域ROIが明瞭であることを示す一方、代表値が低いほど、画像ボケが有って、関心領域ROIが不明瞭であることを示している。
第2決定部33は、代表値算出部32で算出した代表値に基づいて、認識処理の結果の表示又は非表示を決定する。例えば、画像ボケが低いほど、代表値が高くなる場合には、図11に示すように、代表値が代表値用閾値以上である場合には、第2決定部33は、ボケ無しと判断し、表示制御部18は、認識処理の結果であるバンディングボックスBB及び/又は鑑別結果である病変の名前DNをディスプレイ12に表示する。一方、代表値が代表値用閾値未満である場合には、第2決定部33は、ボケ有りと判断し、表示制御部18は、バンディングボックスBB及び/又は病変の名前DNを非表示とする。
医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。
医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。
特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。
特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、可視域の赤色帯域である。
特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、585nm以上615nmまたは610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有することが好ましい。
特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。
特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。
また、蛍光は、ピーク波長が390nm以上470nm以下である励起光を生体内に照射して得る蛍光を利用できる。
医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。
医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、790nm以上820nmまたは905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有することが好ましい。
医療画像装置は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。
特定の波長帯域の信号は、通常光画像に含むRGBまたはCMYの色情報に基づく演算により得ることができる。
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。
内視鏡システム100については、内視鏡102としてカプセル内視鏡を使用できる。この場合、光源装置101と、内視鏡プロセッサ装置103の一部と、はカプセル内視鏡に搭載できる。
上記実施形態及び変形例において、画像取得部15、認識処理部16、認識結果表示決定部17、表示制御部18、中間画像特徴量取得部20、パターン分類部21、第1決定部22、認識結果表示決定部30、画素勾配算出部31、代表値算出部32、第2決定部33といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路、画像処理などの処理を大量に並列に行うGPU (Graphical Processing Unit)などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 医療画像装置
11 認識処理用プロセッサ装置
12 ディスプレイ
15 画像取得部
16 認識処理部
17 認識結果表示決定部
18 表示制御部
20 中間画像特徴量取得部
21 パターン分類部
22 第1決定部
30 認識結果表示決定部
31 画素勾配算出部
32 代表値算出部
33 第2決定部
100 内視鏡システム
101 光源装置
102 内視鏡
103 内視鏡プロセッサ装置
104 ディスプレイ
DN 病変の名前
PS 医療画像
ROI 関心領域

Claims (10)

  1. 医療画像を順次取得し、
    前記医療画像に対して認識処理を施し、
    前記医療画像のボケに応じて、ディスプレイに前記認識処理の結果を表示すること又は非表示にすることを決定し、
    前記決定に従って前記認識処理の表示を制御するプロセッサを備え、
    前記プロセッサは、
    前記医療画像に対して前記認識処理を施してから前記認識処理の結果が得られるまでの中間画像特徴量を取得し、
    前記中間画像特徴量に対してパターン分類するパターン分類処理を行い、
    前記パターン分類処理の結果に基づいて、前記認識処理の結果の表示又は非表示を決定する医療画像装置。
  2. 前記認識処理はCNN(Convolutional Neural Network)である請求項記載の医療画像装置。
  3. 前記パターン分類処理はSVM(Support Vector Machine)である請求項または記載の医療画像装置。
  4. 医療画像を順次取得し、
    前記医療画像に対して認識処理を施し、
    前記医療画像のボケに応じて、ディスプレイに前記認識処理の結果を表示すること又は非表示にすることを決定し、
    前記決定に従って前記認識処理の表示を制御するプロセッサを備え、
    前記プロセッサは、
    前記医療画像から画素勾配を算出する画素勾配算出処理を行い、
    前記画素勾配の代表値を算出し、
    前記代表値に基づいて、前記認識処理の結果の表示又は非表示を決定する医療画像装置。
  5. 前記画素勾配算出処理は、Sobelフィルタ、Laplacianフィルタ、Logフィルタ、又はCannyフィルタのいずれかである請求項記載の医療画像装置。
  6. 前記代表値は、前記医療画像内の前記画素勾配の総和値、又は、平均値である請求項または記載の医療画像装置。
  7. 前記医療画像は、体内を内視鏡で撮像して得られる内視鏡画像である請求項1ないしいずれか1項記載の医療画像装置。
  8. 前記プロセッサは、前記内視鏡画像を処理する内視鏡プロセッサ装置から、前記医療画像として、前記内視鏡画像を取得する請求項記載の医療画像装置。
  9. プロセッサが、
    医療画像を順次取得するステップと、
    前記医療画像に対して認識処理を施すステップと、
    前記医療画像のボケに応じて、ディスプレイに前記認識処理の結果を表示すること又は非表示にすることを決定するステップと、
    前記決定に従って前記認識処理の表示を制御するステップとを有し、
    前記プロセッサは、
    前記医療画像に対して前記認識処理を施してから前記認識処理の結果が得られるまでの中間画像特徴量を取得し、
    前記中間画像特徴量に対してパターン分類するパターン分類処理を行い、
    前記パターン分類処理の結果に基づいて、前記認識処理の結果の表示又は非表示を決定する医療画像装置の作動方法。
  10. プロセッサが、
    医療画像を順次取得するステップと、
    前記医療画像に対して認識処理を施すステップと、
    前記医療画像のボケに応じて、ディスプレイに前記認識処理の結果を表示すること又は非表示にすることを決定するステップと、
    前記決定に従って前記認識処理の表示を制御するステップとを有し、
    前記プロセッサは、
    前記医療画像から画素勾配を算出する画素勾配算出処理を行い、
    前記画素勾配の代表値を算出し、
    前記代表値に基づいて、前記認識処理の結果の表示又は非表示を決定する医療画像装置の作動方法。
JP2022551994A 2020-09-24 2021-09-21 医療画像装置及びその作動方法 Active JP7478245B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020159622 2020-09-24
JP2020159622 2020-09-24
PCT/JP2021/034569 WO2022065301A1 (ja) 2020-09-24 2021-09-21 医療画像装置及びその作動方法

Publications (3)

Publication Number Publication Date
JPWO2022065301A1 JPWO2022065301A1 (ja) 2022-03-31
JPWO2022065301A5 JPWO2022065301A5 (ja) 2023-05-22
JP7478245B2 true JP7478245B2 (ja) 2024-05-02

Family

ID=80845465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022551994A Active JP7478245B2 (ja) 2020-09-24 2021-09-21 医療画像装置及びその作動方法

Country Status (3)

Country Link
US (1) US20230210349A1 (ja)
JP (1) JP7478245B2 (ja)
WO (1) WO2022065301A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087791A1 (ja) 2017-10-31 2019-05-09 富士フイルム株式会社 診断支援装置、内視鏡装置、管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラム
WO2019123986A1 (ja) 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2020036224A1 (ja) 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
WO2020036121A1 (ja) 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
WO2020054543A1 (ja) 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087791A1 (ja) 2017-10-31 2019-05-09 富士フイルム株式会社 診断支援装置、内視鏡装置、管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラム
WO2019123986A1 (ja) 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
WO2020036224A1 (ja) 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
WO2020036121A1 (ja) 2018-08-17 2020-02-20 富士フイルム株式会社 内視鏡システム
WO2020054543A1 (ja) 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム

Also Published As

Publication number Publication date
JPWO2022065301A1 (ja) 2022-03-31
US20230210349A1 (en) 2023-07-06
WO2022065301A1 (ja) 2022-03-31

Similar Documents

Publication Publication Date Title
EP3922163A1 (en) Medical image processing device, endoscope system, and medical image processing method
JP7411772B2 (ja) 内視鏡システム
US8351667B2 (en) Methods of contrast enhancement for images having blood vessel structures
US11867896B2 (en) Endoscope system and medical image processing system
JP6936401B2 (ja) 医療画像処理システム
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
US20180220893A1 (en) Region of interest tracing apparatus
JP2023026480A (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
WO2020184257A1 (ja) 医用画像処理装置及び方法
CN112584739B (zh) 医疗图像处理系统
CN112512398B (zh) 医疗图像处理装置
JP6785990B2 (ja) 医療画像処理装置、及び、内視鏡装置
JP6834019B2 (ja) 医療画像処理装置、及び、内視鏡装置
JP7478245B2 (ja) 医療画像装置及びその作動方法
CN116205814A (zh) 医用内窥镜图像增强方法、系统及计算机设备
EP4189643A1 (en) Processing of multiple luminescence images globally for their mapping and/or segmentation
JP2018126234A (ja) 時間強度曲線測定装置
US11830185B2 (en) Medical image processing system and learning method
JP6866497B2 (ja) 医療画像処理装置、及び、内視鏡装置
JPWO2022065301A5 (ja)
Imtiaz Color Image Enhancement Techniques for Endoscopic images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240419

R150 Certificate of patent or registration of utility model

Ref document number: 7478245

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150