WO2022074992A1 - 医療画像処理装置およびその作動方法 - Google Patents

医療画像処理装置およびその作動方法 Download PDF

Info

Publication number
WO2022074992A1
WO2022074992A1 PCT/JP2021/032880 JP2021032880W WO2022074992A1 WO 2022074992 A1 WO2022074992 A1 WO 2022074992A1 JP 2021032880 W JP2021032880 W JP 2021032880W WO 2022074992 A1 WO2022074992 A1 WO 2022074992A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
medical
images
switching
image processing
Prior art date
Application number
PCT/JP2021/032880
Other languages
English (en)
French (fr)
Inventor
駿平 加門
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022555314A priority Critical patent/JPWO2022074992A1/ja
Priority to EP21877295.2A priority patent/EP4227725A4/en
Priority to CN202180068968.6A priority patent/CN116324572A/zh
Publication of WO2022074992A1 publication Critical patent/WO2022074992A1/ja
Priority to US18/297,402 priority patent/US20230245312A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/034Recognition of patterns in medical or anatomical images of medical instruments

Abstract

レポートに載せるキー画像を自動選定した場合において、選定結果に対して医師が行う作業を軽減することができる医療画像処理装置及びその作動方法を提供することを目的とする。複数の医療画像(12)を取得する画像取得部(20)と、医療画像(12)を複数のカテゴリに分類する画像分類部(30)、分類結果に基づいて医療画像(12)の内少なくとも1枚を自動選定画像(54)として画面表示する画像表示部(50)、表示された自動選定画像(54)の中から、キー画像(13)に要再選定する画像を選択画像(55)としてユーザが選択する入力を受け付ける入力受付部(70)、選択画像(55)を表示することに代えて、カテゴリごとに分類された複数の医療画像(12)のうち自動選定画像(54)以外の非自動選定画像(57)を、切替画像(56)として切替表示する表示制御部(51)とを有する医療画像処理装置(10)による。

Description

医療画像処理装置およびその作動方法
 本発明は、レポート用キーイメージ画像の取得を行う医療画像処理装置およびその作動方法に関する。
 医療分野においては、内視鏡や超音波検査時に医師は機器を操作しながら患者を診断する。診断後に、取得した検査画像からレポートに載せる注目領域等を含むキー画像を取得する。レポートに載せるキー画像は施設又は医師によって基準やルールが異なるため、診断時に大量に撮影した検査画像からキー画像を医師自身が選定している。
 取得した検査画像を1枚ずつ確認し、病変等の注目領域を含むキー画像の特定を行うことは時間や労力がかかり、医師の負担となるため、キー画像を容易に取得することを支援する技術が開発されつつある。
 具体的には、特許文献1では、出血等の部位のフレーム画像は自動的に強調表示すること、及び、一覧表示においてユーザ選択した画像フレームの前後を再生することが記載されている。
国際公開第2009/008125号
 特許文献1では、出血等の部位のフレーム画像は自動的に強調表示することでユーザがキー画像候補の特定をしやすくしている。また、ユーザ選択した画像フレームの前後を表示することで類似した、ユーザが選択したキー画像候補以上にキー画像に適した画像を特定しやすくしている。しかし、自動で表示される画像の中にユーザが求める特徴を有する画像が無い場合、負担の軽減にはならないことがある。
 医師による検査終了後に、検査中に撮影された画像群からレポート向けに複数枚の画像を自動選定された場合を想定する。診断上の有用性やレポートの様式を学習して自動でキー画像候補を選定するが、推論ミスによる不適切な画像を選定する、医師の嗜好を反映できない、特殊な検査などへの対応ができないといった問題がある。そのため、選定結果に対して医師が確認を行う作業が必須となるが、この作業の負担が大きければ結果的に作業負担が軽減されないという問題が発生する。
 本発明は、レポートに載せるキー画像を自動選定した場合において、選定結果に対して医師が行う作業を軽減することができる医療画像処理装置及びその作動方法を提供することを目的とする。
 本発明の医療画像処理装置は、プロセッサを備え、プロセッサは、複数の医療画像を取得し、医療画像を複数のカテゴリの少なくとも1つに分類し、分類の結果に基づいて複数の医療画像の内の少なくとも1枚を自動選定画像として画面表示し、表示された自動選定画像の中から、キー画像に要再選定の画像を選択画像としてユーザが選択する入力を受け付け、選択画像を表示することに代えて、カテゴリに分類された複数の医療画像のうち自動選定画像以外の非自動選定画像を、切替画像として切替表示する。
 プロセッサは、複数のカテゴリに応じて、選択画像から切替画像を切替表示することを特徴とすることが好ましい。
 プロセッサは、選択画像と同一のカテゴリに分類された切替画像を切替表示することを特徴とすることが好ましい。
 プロセッサは、切替画像の候補である複数の切替候補画像を画面表示し、表示された複数の切替候補画像から切替画像を決定するユーザ入力を受け付けることが好ましい。
 切替候補画像は、選択画像と同一のカテゴリの画像を含むことを特徴とすることが好ましい。
 プロセッサは、自動選定画像のカテゴリに応じて、切替画像を複数の医療画像から選択する際に、医療画像の撮影条件を加味することを特徴とすることが好ましい。
 プロセッサは、自動選定画像のカテゴリに応じて、切替画像を複数の医療画像から選択する際に、医療画像の診断上の有用性を加味することを特徴とすることが好ましい。
 プロセッサは、各画像をカテゴリに応じた文字または記号情報を付与して表示することが好ましい。
 プロセッサは、各画像の表示態様をカテゴリに応じて変更することが好ましい。
 プロセッサは、切替画像と自動選定画像を異なる態様で表示することが好ましい。
 プロセッサは、画面表示する各画像をキー画像に承認する入力を受け付け、承認を受け付けたか否かに応じて異なる態様で表示することが好ましい。
 プロセッサは、複数の医療画像を含む画像群を用いて学習することにより得られた学習済CNNモデルによって画像を分類することが好ましい。
 カテゴリは、被写体の部位に関する情報であることが好ましい。
 カテゴリは、画像に注目領域が含まれるか否かに関する情報であることが好ましい。
 カテゴリは、画像に処置具が含まれるか否かまたは含まれる処置具の種類に関する情報であることが好ましい。
 カテゴリは、画像内の色素剤または染色剤の散布状態に関する情報であることが好ましい。
 本発明の医療画像処理装置の作動方法は、複数の医療画像を取得するステップと、医療画像を複数のカテゴリの少なくとも1つに分類するステップと、分類の結果に基づいて複数の医療画像の内の少なくとも1枚を自動選定画像として画面表示するステップと、表示された自動選択画像の中から、キー画像に要再選定の画像を選択画像としてユーザが選択する入力を受け付けるステップと、選択画像を表示することに代えて、カテゴリに分類された複数の医療画像のうち自動選定画像以外の非自動選定画像を、切替画像として切替表示するステップとを有する。
 本発明は、大量の医療画像の中からユーザがレポート使用する画像を選択する際にユーザの負担を減らし、レポート作成の支援を行う。
医療画像処理装置との接続機器を示す概略図である。 医療画像処理装置の機能を示すブロック図である。 自動選定画像をディスプレイに表示する説明図である。 キー画像に要再選定の画像を選択し、画像を切替表示する説明図である。 ディスプレイに画像を切り替え表示する際の概念図である。 表示画像に付属するカテゴリや有用性の情報を表示する説明図である。 キー画像承認を個別で行う際に、承認済み画像の表示を区別する説明図である。 キー画像を用いたレポート作成画面の説明図である。 第2実施形態における切替候補画像表示欄を用いる説明図である。 切替候補画像表示欄のページ切替を示す説明図である。 選択画像を切替画像に切替表示する一連の流れを示すフローチャートである。
[第1実施形態]
 医療画像処理装置10は、各種処理に関するプログラムがプログラム用メモリ(図示しない)に組み込まれている。医療画像処理装置10には、プロセッサによって構成される中央制御部(図示しない)が設けられている。中央制御部によってプログラムメモリ内のプログラムが実行されることによって、画像取得部20、画像分類部30、有用性判定部40、画像表示部50、表示制御部51、入力受付部70、キー画像保存メモリ80、レポート作成装置90の機能が実現する。
 画像取得部20は、内視鏡システム11から複数の医療画像12を取得し、画像分類部30に送信する。医療画像12の中からレポート作成に用いるキー画像13を見つける。キー画像13とは、レポートに掲載する、検査結果が一目で伝わるような画像であり、病変などの特徴が明確であることが好ましい。
 画像分類部30は、画像取得部20から送信された医療画像12の画像情報を抽出し、カテゴリ情報の取得や画質情報の算出を行う。取得したカテゴリ情報に従い、医療画像12をそれぞれのカテゴリに分類する。分類するカテゴリは撮影部位、病変の有無や種類、処置具の使用状態、色素剤の散布状態などのいずれかまたはそれらの組み合わせである。画質情報においては、画像の明るさやノイズ、ボケ度合いなどの情報を取得し、医療画像12に付属させる。画像情報の抽出には学習済みCNN(Convolutional neural network)モデルで行う。学習済みCNNモデルは複数の医療画像12を少なくとも含む画像群を用いて学習することによって得られる。内視鏡システム11での撮影時に取得し、医療画像12に付属したカテゴリ情報や画質情報は学習済みCNNモデルで抽出した情報よりも優先することが好ましい。カテゴリ分類後の医療画像12は有用性判定部40に送信される。
 有用性判定部40では、画像分類部30で得た分類結果や画質情報を基に医療画像12の診断上の有用性の判定を行う。診断上の有用性が高いほど、キー画像13に適した画像である可能性が高くなる。有用性の評価は例えば、段階評価などで表される。カテゴリの分類結果では病変などの項目を有し、画質評価ではボケ度合いが低い医療画像12は有用性が高いと評価できる。カテゴリ情報が無い、ボケ度合いが大きい、明度が高すぎる、もしくは、明度が低すぎる場合では、有用性は低くなる。有用性の判定が終わった医療画像12は、画像表示部50に送信される。有用性は評価し、評価の閾値はユーザが任意に設定できる。
 画像表示部50では、表示制御部51により有用性判定部40から送信された医療画像12は、分類されたカテゴリに従ってディスプレイ52に表示される。
 入力受付部70は、切替表示するための画像選択、ページ変更、実施形態の切替、カテゴリ表示切替、レイアウト変更、キー画像保存といったユーザ入力を受け付ける。
 キー画像保存メモリ80では、レポートに使用するキー画像13が保存される。
 レポート作成装置90では、キー画像13を用いて、検査結果のレポートを作成する。レポートの作成はキー画像13の取得後、自動的に行われることが好ましい。
 図1に示すように、内視鏡システム11は、光源装置11a、内視鏡11b、およびプロセッサ装置11cにより大量の医療画像12を取得する。内視鏡システム11は医療画像処理装置10に接続しており、取得した医療画像12を医療画像処理装置10に送信する。
 図2に示すように、内視鏡システム11から送信された医療画像12は、画像取得部20が受け取り、画像分類部30、有用性判定部40を介して画像表示部50に送られる。画像表示部50は表示制御部51と、ディスプレイ52を備える。画像表示部50において、画像分類部30でカテゴリごとに分類された医療画像12のうちの少なくとも1枚の画像が自動選定画像54として選定される。自動選定画像54は、カテゴリ分類や有用性判定の結果に応じて選定される画像であって、レポートに掲載するキー画像13の候補となり得る画像である。自動選定画像54は、ディスプレイ52に表示される。表示された自動選定画像54は、入力受付部70が受け付けるユーザ入力によりキー画像13とする承認を行い、キー画像保存メモリ80に保存される。
 図3に示すように、取得した医療画像12は、ディスプレイ52に分類されたカテゴリに応じ、自動選定画像54として表示される。ディスプレイ52では、画像表示欄53が設けられ、その中に自動選定画像54が一覧表示される。自動選定画像54は、所定のカテゴリを全て含むように選定されることが好ましく、また、一覧表示される自動選定画像54は一定以上の有用性があると評価されたものであり、画像取得した時間順であることが好ましい。ディスプレイ52には、マウス操作等によるユーザ操作を反映するカーソル71、表示切替ボタン73、承認ボタン74を有する。
 図4に示すように、第1実施形態ではディスプレイ52の画像表示欄53に一覧表示された自動選定画像54の中からキー画像13に要再選定の画像がある場合、それをマウス操作等でカーソル71を介して選択画像55とする。選択画像55はカテゴリ情報に基づいて、一覧表示されていない画像群から自動で選択された画像を切替画像56として切替表示する。なお、キー画像13に要再選定の画像は、ユーザの判断でキー画像13の承認を保留とし、一旦非表示にする画像である。また、切替画像56と切替表示をした後、元に戻す場合もある。
 切替画像56として選択する画像は「選択画像55と同じ撮影部位の画像」、「選択画像55の撮影部位と近い部位の画像」、「選択画像55が処置具使用中であれば処置具未使用の画像」、「選択画像55が色素散布中であれば色素散布していない画像」、「選択画像55と同じ光源モードの画像」、などが挙げられる。他にも、画像の撮影時間や撮影モード(拡大または非拡大など)、または画質評価による診断上の有用性の情報を加味して切替画像56選択してもよい。具体的には「撮影時間が近い画像」、「ボケ度合いが低い画像」、「明度が適切な画像」などである。画像表示欄53において、切替画像56は、画像の枠を強調することで、切替表示したことを一目で判別可能にすることが好ましい。なお、承認ボタン74を選択することによるキー画像13の承認は表示されてる画像に対して一括で行われる。切替表示する必要のない場合は、最初に表示された自動選定画像54全部をそのままキー画像13として承認する。
 図5は選択画像55と、切替画像56の表示切替の変化を示す概念図である。選択画像55がユーザに選択されると、表示制御部51は、選択画像55が分類されているカテゴリや付属している画質情報などから切替表示する切替画像56を検出する。切替画像56は、画像分類部30でカテゴリごとに分類された医療画像12のうち、自動選定画像54以外の非自動選定画像57の中から検出される。図5では、カテゴリ分類済画像群58は、自動選定により得られる自動選定画像54を含む自動選定画像群59と、自動選定画像54として選定されなかった非自動選定画像群60とから構成される。切替画像56は、非自動選定画像群60の中から自動的に選定される。
 ディスプレイ52の画像表示欄53に一覧表示された自動選定画像54および、切替画像56のいずれもキー画像13と承認する場合、承認ボタン74をする。承認ボタン74が選択されると、一覧表示されている画像は一括でキー画像13としてキー画像保存メモリ80への保存処理が行われるとともに、レポート作成装置90にも送信され、各キー画像13はレポート作成に使用される。
 図6では画像表示欄53に表示される、自動選定画像54および切替画像56の表示態様について説明する。表示制御部51がカテゴリ情報を視覚化して各画像に付随して表示する。また、表示切替ボタン73によって、表示on/offしてもよいし、表示する情報を切り替えてもよい。例えば、通常の表示を「表示a」とすると、「表示b」では画像表示欄53に表示してる各画像の下部に画像情報表示欄61を展開し、それぞれの画像が分類されたカテゴリを文字で表示する。また、「表示c」では、有用性判定部40で算出された有用性の評価を画像情報表示欄61に表示する。上記表示形態を活用することでより適切なキー画像13の選定ができる。また、上記の表示形態を組み合わせた形態を設けて表示してもよい。
 図7では、承認ボタン74による承認処理の別パターンについて説明する。キー画像13の承認処理は画像表示欄53の画像4に対して一括で行うが、表示している画像を1枚ずつ個別に承認処理を行ってもよい。その場合、承認済み画像と未承認画像の区別をつくように表示する必要がある。例えば、承認処置を行った画像に対して、網掛け表示や、画像の周りを囲む、マークを乗せる、といった表示パターンを用いて一目で承認処理したとわかるようにする。
 図8に示すように、承認処理したキー画像13はレポート作成装置90に送信されてレポート91の作成に使用される。承認処理終了後、ディスプレイ52の画面表示は画像表示欄53からレポート91に切り替わり、ユーザはキー画像13の承認後すぐにレポート91を作成できる。レポート91はあらかじめ入力された患者の情報、ユーザ情報、などが自動で入力される。ユーザは所見入力欄92に所見の入力等を行い、レポートを作成する。
[第2実施形態]
 第2実施形態には選択画像55から切替画像56への切り替えにおいて、自動での切り替えではなく、選択画像55を選択した際に、複数の切替候補画像63を表示し、ユーザがその中から任意の切替画像56を選択する。なお、第1実施形態と共通する内容に関しては省略する。
 図9に示すように、第2実施形態では、第1実施形態同様に、カテゴリ分類された状態でユーザが再選定を要する選択画像55を選択する。ユーザが選択画像55を選択した際に、切替画像56を切替表示するのではなくディスプレイ52に複数の切替候補画像63を一覧表示する切替候補画像表示欄62が展開され、ユーザは、複数の切替候補画像63の中から切替画像56を選択する。切替画像56が選択されると、切替候補画像表示欄62の展開は終わり、選択画像55と切替画像56が切り替えられる。これにより、第1実施形態に比べてよりユーザの嗜好を反映させたキー画像13をレポート向けに選択できる。切替候補画像63は一覧表示されていない全ての医療画像12を表示するのではなく、選択画像55のカテゴリに基づいて選択された一部の画像群である。
 切替候補画像表示欄62に表示される切替候補画像63の画像群は、「選択画像55と同じ撮影部位の画像群」、「選択画像55と撮影部位が近い部位の画像群」、「選択画像55が処置具使用中であれば処置具未使用の画像群」、「選択画像55が色素散布中であれば色素散布していない画像群」などが挙げられる。また、切替候補画像63として表示する画像群は上記条件に一致する全ての医療画像12を表示するのではなく、それらの中から所定枚数に制限して表示する構成にしてもよい。これにより選択時に確認すべき枚数が制限されるため、より作業負担を軽減できる。さらに、画像の撮影時間や撮影モード、または画質評価による診断上の有用性を加味して所定の枚数の画像を選択してもよい。
 図10に示すように、一覧表示される切替候補画像63は、同様に切替候補画像表示欄62上に設けられたページ切替ボタン75を操作することで更に他の切替候補画像63を表示することができる。ページ切替ボタン75は「進む」、「戻る」の2つがあり、ユーザが任意に操作してページ切替が行われる。また、ページ切替ボタンの中央部では表示しているページ番号を記載することが好ましい。ページ切替で表示されるのは、切替候補画像63とカテゴリが同じで、有用性が高いと判定されたものから表示されるのが好ましい。
 図11は、選択画像を切替画像に切替表示する一連の流れを示すフローチャートである。医療画像処理装置10は、画像取得部20にて内視鏡システム11が撮影した医療画像12を取得する。取得した医療画像12は、画像分類部30に送信し、カテゴリの分類を行う。
 画像分類部30では医療画像12の画像情報を抽出し、もとの医療画像12にカテゴリ情報と画質情報として付属させ、カテゴリ情報をもとに各医療画像12を所定のカテゴリに分類する。画像情報の抽出は学習済みCNN(Convolutional neural network)モデルによって行う。カテゴリ分類後の医療画像12は有用性判定部40に送信される。
 有用性判定部40では、医療画像12のカテゴリ情報及び画質情報から有用性を判定し、判定結果を元の医療画像12に付属させる。有用性判定後の医療画像12は画像表示部50に送信される。
 画像表示部50では、医療画像12をカテゴリ分類及び有用性判定の結果に従って、自動選定画像54としてディスプレイ52に一覧表示する。一覧表示する画像は、所定のカテゴリを全て含むように選定されること、および有用性の判定で評価が高いことが好ましい。
 ユーザは、一覧表示された自動選定画像54の中からキー画像13に要再選定の画像があるかを観察し、ある場合はその画像を選択し、他の画像に切替表示する。ない場合は承認ボタン74を選択する。
 切替表示した切替画像56は、選択画像55のカテゴリや有用性に応じたものが選択され、有用性が高いことが好ましい。
 切替画像56がキー画像13に承認できるまで、切替画像56の再選定を繰り返す。一覧表示した画像で再選定となる画像が無くなったら承認ボタン74を選択する。
 承認ボタンの選択後、キー画像13は、キー画像保存メモリ80に送信及びレポート作成装置90に送信される。
 上記実施形態において、画像取得部20、画像分類部30、有用性判定部40、画像表示部50、表示制御部51、入力受付部70、キー画像保存メモリ80、レポート作成装置90といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
10 医療画像処理装置
11 内視鏡システム
11a 光源装置
11b 内視鏡
11c プロセッサ装置
12 医療画像
13 キー画像
20 画像取得部
30 画像分類部
40 有用性判定部
50 画像表示部
51 表示制御部
52 ディスプレイ
53 画像表示欄
54 自動選定画像
55 選択画像
56 切替画像
57 非自動選定画像
58 カテゴリ分類済画像群
59 自動選定画像群
60 非自動選定画像群
61 画像情報表示欄
62 切替候補画像表示欄
63 切替候補画像
70 入力受付部
71 カーソル
73 表示切替ボタン
74 承認ボタン
75 ページ切替ボタン
80 キー画像保存メモリ
90 レポート作成装置
91 レポート
92 所見入力欄

Claims (17)

  1.  プロセッサを備え、前記プロセッサは、
     複数の医療画像を取得し、
     前記医療画像を複数のカテゴリの少なくとも1つに分類し、
     前記分類の結果に基づいて複数の前記医療画像の内の少なくとも1枚を自動選定画像として画面表示し、
     表示された前記自動選定画像の中から、キー画像に要再選定の画像を選択画像としてユーザが選択する入力を受け付け、
     前記選択画像を表示することに代えて、前記カテゴリに分類された複数の前記医療画像のうち前記自動選定画像以外の非自動選定画像を、切替画像として切替表示する医療画像処理装置。
  2.  前記プロセッサは、
     複数の前記カテゴリに応じて、前記選択画像から前記切替画像を切替表示することを特徴とする請求項1に記載の医療画像処理装置。
  3.  前記プロセッサは、
     前記選択画像と同一の前記カテゴリに分類された前記切替画像を切替表示することを特徴とする請求項1または2に記載の医療画像処理装置。
  4.  前記プロセッサは、
     前記切替画像の候補である複数の切替候補画像を画面表示し、
     表示された複数の前記切替候補画像から前記切替画像を決定するユーザ入力を受け付ける請求項1に記載の医療画像処理装置。
  5.  前記切替候補画像は、
     前記選択画像と同一の前記カテゴリの画像を含むことを特徴とする請求項4に記載の医療画像処理装置。
  6.  前記プロセッサは、
     前記自動選定画像の前記カテゴリに応じて、前記切替画像を複数の前記医療画像から選択する際に、前記医療画像の撮影条件を加味することを特徴とする請求項1に記載の医療画像処理装置。
  7.  前記プロセッサは、
     前記自動選定画像の前記カテゴリに応じて、前記切替画像を複数の前記医療画像から選択する際に、前記医療画像の診断上の有用性を加味することを特徴とする請求項1に記載の医療画像処理装置。
  8.  前記プロセッサは、
     各画像を前記カテゴリに応じた文字または記号情報を付与して表示する請求項1ないし3、5ないし7いずれか1項に記載の医療画像処理装置。
  9.  前記プロセッサは、
     各画像の表示態様を前記カテゴリに応じて変更する請求項1ないし3、5ないし8いずれか1項に記載の医療画像処理装置。
  10.  前記プロセッサは、
     前記切替画像と前記自動選定画像を異なる態様で表示する請求項1、6または7いずれか1項に記載の医療画像処理装置。
  11.  前記プロセッサは、
     画面表示する各画像を前記キー画像に承認する入力を受け付け、
     承認を受け付けたか否かに応じて異なる態様で表示する請求項1に記載の医療画像処理装置。
  12.  前記プロセッサは、
     複数の医療画像を含む画像群を用いて学習することにより得られた学習済CNNモデルによって画像を分類する請求項1に記載の医療画像処理装置。
  13.  前記カテゴリは、被写体の部位に関する情報である請求項1ないし3、5ないし9いずれか1項に記載の医療画像処理装置。
  14.  前記カテゴリは、画像に注目領域が含まれるか否かに関する情報である請求項1ないし3、5ないし9いずれか1項に記載の医療画像処理装置。
  15.  前記カテゴリは、画像に処置具が含まれるか否かまたは含まれる処置具の種類に関する情報である請求項1ないし3、5ないし9いずれか1項に記載の医療画像処理装置。
  16.  前記カテゴリは、画像内の色素剤または染色剤の散布状態に関する情報である請求項1ないし3、5ないし9いずれか1項に記載の医療画像処理装置。
  17.  複数の医療画像を取得するステップと、
     前記医療画像を複数のカテゴリの少なくとも1つに分類するステップと、
     前記分類の結果に基づいて複数の前記医療画像の内の少なくとも1枚を自動選択画像として画面表示するステップと、
     表示された前記自動選択画像の中から、キー画像に要再選定の画像を選択画像としてユーザが選択する入力を受け付けるステップと、
     前記選択画像を表示することに代えて、前記カテゴリに分類された複数の前記医療画像のうち前記自動選定画像以外の非自動選定画像を、切替画像として切替表示するステップとを有する医療画像処理装置の作動方法。
PCT/JP2021/032880 2020-10-09 2021-09-07 医療画像処理装置およびその作動方法 WO2022074992A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022555314A JPWO2022074992A1 (ja) 2020-10-09 2021-09-07
EP21877295.2A EP4227725A4 (en) 2020-10-09 2021-09-07 MEDICAL IMAGE PROCESSING DEVICE AND METHOD OF OPERATING THE SAME
CN202180068968.6A CN116324572A (zh) 2020-10-09 2021-09-07 医疗图像处理装置及其工作方法
US18/297,402 US20230245312A1 (en) 2020-10-09 2023-04-07 Medical image processing apparatus and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-171577 2020-10-09
JP2020171577 2020-10-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/297,402 Continuation US20230245312A1 (en) 2020-10-09 2023-04-07 Medical image processing apparatus and operation method thereof

Publications (1)

Publication Number Publication Date
WO2022074992A1 true WO2022074992A1 (ja) 2022-04-14

Family

ID=81126460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032880 WO2022074992A1 (ja) 2020-10-09 2021-09-07 医療画像処理装置およびその作動方法

Country Status (5)

Country Link
US (1) US20230245312A1 (ja)
EP (1) EP4227725A4 (ja)
JP (1) JPWO2022074992A1 (ja)
CN (1) CN116324572A (ja)
WO (1) WO2022074992A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724669A (zh) * 2022-05-07 2022-07-08 丹阳慧创医疗设备有限公司 用于近红外脑功能成像装置的医学报告生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009008125A1 (ja) 2007-07-12 2009-01-15 Olympus Medical Systems Corp. 画像処理装置、該動作方法及び該プログラム
WO2018225448A1 (ja) * 2017-06-09 2018-12-13 智裕 多田 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2019039354A1 (ja) * 2017-08-23 2019-02-28 富士フイルム株式会社 光源装置及び内視鏡システム
WO2019064704A1 (ja) * 2017-09-29 2019-04-04 オリンパス株式会社 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017055412A1 (en) * 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
WO2020183770A1 (ja) * 2019-03-08 2020-09-17 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009008125A1 (ja) 2007-07-12 2009-01-15 Olympus Medical Systems Corp. 画像処理装置、該動作方法及び該プログラム
WO2018225448A1 (ja) * 2017-06-09 2018-12-13 智裕 多田 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2019039354A1 (ja) * 2017-08-23 2019-02-28 富士フイルム株式会社 光源装置及び内視鏡システム
WO2019064704A1 (ja) * 2017-09-29 2019-04-04 オリンパス株式会社 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4227725A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114724669A (zh) * 2022-05-07 2022-07-08 丹阳慧创医疗设备有限公司 用于近红外脑功能成像装置的医学报告生成方法及装置
CN114724669B (zh) * 2022-05-07 2023-08-22 丹阳慧创医疗设备有限公司 用于近红外脑功能成像装置的医学报告生成方法及装置

Also Published As

Publication number Publication date
US20230245312A1 (en) 2023-08-03
CN116324572A (zh) 2023-06-23
EP4227725A1 (en) 2023-08-16
EP4227725A4 (en) 2024-04-10
JPWO2022074992A1 (ja) 2022-04-14

Similar Documents

Publication Publication Date Title
US8442280B2 (en) Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading
Niemeijer et al. Retinopathy online challenge: automatic detection of microaneurysms in digital color fundus photographs
EP1662415A1 (en) Digital medical image analysis
US20210295510A1 (en) Heat map based medical image diagnostic mechanism
US20230245312A1 (en) Medical image processing apparatus and operation method thereof
US20220044147A1 (en) Teaching data extending device, teaching data extending method, and program
US20230245758A1 (en) Medical image processing apparatus and operation method thereof
US20230100147A1 (en) Diagnosis support system, diagnosis support method, and storage medium
JP6903041B2 (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
US8433112B2 (en) Method and apparatus for processing chest X-ray images
JP7109910B2 (ja) 読影レポート作成支援装置及び読影レポート作成支援方法
JP6336252B2 (ja) レポート作成支援装置、その制御方法、及びプログラム
JP2011215680A (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
US20230222663A1 (en) Medical imaging apparatus and operation method for medical imaging apparatus
JP2019200770A (ja) 表示制御装置、表示制御方法、及び表示制御プログラム
EP4123501A1 (en) Medical diagnosis assistance system and method
US20230317249A1 (en) Medical support device, and operation method and operation program of medical support device
US20240013524A1 (en) Information processing apparatus, method of operating information processing apparatus, and program for operating information processing apparatus
US20230298178A1 (en) Medical image display system, medical image display method, and recording medium
JP2008289901A (ja) コンピュータ支援診断装置
US20230177690A1 (en) Image processing apparatus, image processing method, and storage medium
JP2022190920A (ja) 情報処理装置、クラス判定方法、プログラム
JP2023029106A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2019198627A1 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2021171117A (ja) 類似症例検索プログラム、類似症例検索方法及び類似症例検索システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877295

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022555314

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021877295

Country of ref document: EP

Effective date: 20230509