JP7483008B2 - 管理装置、検査画像評価方法、医療システム - Google Patents

管理装置、検査画像評価方法、医療システム Download PDF

Info

Publication number
JP7483008B2
JP7483008B2 JP2022536074A JP2022536074A JP7483008B2 JP 7483008 B2 JP7483008 B2 JP 7483008B2 JP 2022536074 A JP2022536074 A JP 2022536074A JP 2022536074 A JP2022536074 A JP 2022536074A JP 7483008 B2 JP7483008 B2 JP 7483008B2
Authority
JP
Japan
Prior art keywords
images
image
evaluation
evaluation value
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022536074A
Other languages
English (en)
Other versions
JPWO2022014017A1 (ja
JPWO2022014017A5 (ja
Inventor
晴彦 坂従
和義 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2022014017A1 publication Critical patent/JPWO2022014017A1/ja
Publication of JPWO2022014017A5 publication Critical patent/JPWO2022014017A5/ja
Application granted granted Critical
Publication of JP7483008B2 publication Critical patent/JP7483008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡検査を支援する医療システムに関する。
病院等の医療施設では、医師の経験やスキルの違いから臓器の観察方法に違いが出ないようにするために、検査の手順を示す検査プロトコルを定めることが有効とされている(たとえば特許文献1)。検査プロトコルは、観察する臓器の部位および部位を観察する順序を定義する。医師は検査プロトコルにしたがって検査を進めることで臓器を漏れなく観察でき、さらには検査を効率的に進めることで、患者の負担軽減にも役立つ。
特開2017-108792号公報
経験が浅い非熟練医が内視鏡検査を行った場合、熟練医が、非熟練医により撮像された画像を観察して、所見の見落としが無いか、診断の誤りが無いか等のダブルチェックを実施することが一般的である。その際、非熟練医が撮像した画像枚数が少なすぎると、観察漏れが生じる可能性があり、撮像した画像枚数が多すぎると、ダブルチェックに要する時間が長くなる。また不鮮明な画像や、色調や輝度が異常な画像は、そもそも観察する画像として適切でなく、ダブルチェックの妨げとなる。本来であればダブルチェックを行った熟練医が、チェック結果をもとに非熟練医を丁寧に指導することが好ましいが、熟練医は多忙であるため、指導に十分な時間をとれないことが多い。そこで熟練医の手を煩わせることなく、非熟練医が撮像した画像をコンピュータで画像解析した結果をもとに、改善するべき点や注意するべき点などを非熟練医に認識させる仕組みを構築することが好ましい。
本発明はこうした状況に鑑みなされたものであり、その目的は、医師による内視鏡検査を支援する技術を提供することにある。
上記課題を解決するために、本発明のある態様の医療システムは、内視鏡検査において撮像された複数の画像を画像解析した複数の画像情報を取得する情報取得部と、取得した複数の画像情報を記憶する画像情報記憶部と、内視鏡検査の対象となる部位ごとの適正撮像枚数を保持する適正枚数保持部と、一つの部位を撮像した枚数が当該部位の適正撮像枚数と異なっているときの評価結果となる第1評価値を保持する第1評価値保持部と、画像情報により不適切な画像であることが示されるときの評価結果となる第2評価値を保持する第2評価値保持部と、記憶した複数の画像情報にもとづいて各部位の撮像枚数を導出し、導出した部位の撮像枚数が適正撮像枚数と異なるときに、当該部位の評価結果に第1評価値を付与する枚数評価部と、記憶した複数の画像情報の中から不適切な画像であることを示す画像情報を抽出し、抽出した画像情報の部位の評価結果に第2評価値を付与する画像評価部と、記憶した複数の画像情報にもとづいて生成される評価結果であって、第1評価値および第2評価値を含む評価結果を記憶する評価結果記憶部と、を備える。
本発明の別の態様もまた医療システムであって、内視鏡検査の実施中に、撮像された画像を画像解析装置で画像解析した画像情報を取得する情報取得部と、取得した画像情報を記憶する画像情報記憶部と、内視鏡検査の対象となる部位ごとの適正撮像枚数を保持する適正枚数保持部と、ある部位を撮像した枚数が当該部位の適正撮像枚数より少ない場合に、撮像枚数不足を判定する枚数評価部と、枚数評価部が、当該部位の撮像枚数不足を判定した場合に、内視鏡検査を実施している医師に、当該部位の撮像枚数不足を通知する通知部と、を備える。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明の実施形態にかかる医療システムの構成を示す図である。 管理装置の機能ブロックを示す図である。 画像情報の例を示す図である。 適正撮像枚数の例を示す図である。 第1評価値の例を示す図である。 第2評価値の例を示す図である。 第1評価値および第2評価値を含む評価結果の例を示す図である。 ランクテーブルの例を示す図である。 テンプレート保持部の保持内容の例を示す図である。 指導文書の例を示す図である。 管理装置の機能ブロックを示す図である。
図1は、本発明の実施形態にかかる医療システム1の構成を示す。実施形態の医療システム1は病院などの医療施設に設けられ、内視鏡観察装置3、画像記憶装置6、画像解析装置7、情報処理装置8および管理装置10を備える。内視鏡観察装置3、画像記憶装置6、画像解析装置7、情報処理装置8および管理装置10は、LAN(ローカルエリアネットワーク)などのネットワーク2によって通信可能に接続される。
内視鏡観察装置3は検査室に設けられ、患者の消化管に挿入される内視鏡5を接続されて、内視鏡5が撮影している消化管内の画像を表示装置4に表示する。医師は、検査の手順を定義した検査プロトコルにしたがって臓器の部位を順番に観察し、内視鏡のレリーズスイッチを操作して、各部位で定められた適正枚数の画像を撮像する。たとえば検査プロトコルは、上部消化管の部位を食道から十二指腸に向けて観察すること、および各部位につき1~2枚の画像を撮像することを定めている。医師は病変を見つけると、病変を含む画像を撮像する。内視鏡観察装置3は、レリーズスイッチが操作されたタイミングで画像をキャプチャして、キャプチャした画像を画像記憶装置6に送信する。なお内視鏡観察装置3は、検査終了後に、キャプチャした複数の画像をまとめて画像記憶装置6に送信してもよい。
画像記憶装置6は、内視鏡検査で撮像された画像を記憶する画像サーバであり、内視鏡観察装置3から送信される画像を検査オーダに紐付けて蓄積する。撮像画像にはメタデータとして、撮像日時、内視鏡5の識別番号、検査オーダに関する情報等が付加されてよい。
画像解析装置7は、内視鏡検査で撮像された画像を画像解析する装置であって、人工知能を活用した医用画像コンピュータ支援診断(CAD:Computer-Aided Diagnosis/Detection)機能を有する。実施形態の画像解析装置7は、撮像画像を解析し、各撮像画像について、解析結果である画像情報を生成する。画像情報には、臓器情報、部位情報、不適切情報、病変有無情報が含まれる。
(1)臓器情報
臓器情報は、撮像された臓器を特定する情報である。画像解析装置7は、撮像画像を解析して、どの臓器を撮像した画像であるか特定する。たとえば上部内視鏡検査で、臓器情報は、上部消化管である「食道」、「胃」、「十二指腸」のいずれかを示す情報となる。
(2)部位情報
部位情報は、撮像された部位を特定する情報である。画像解析装置7は、撮像画像を解析して臓器を特定するとともに、撮像された部位も特定する。たとえば「食道」は、「上部食道」、「中部食道」、「下部食道」と3つに区分けされている。
(3)不適切情報
不適切情報は、内視鏡画像が観察に適切でないことを示す情報である。たとえば色調や輝度が異常であってり、ボケやブレが生じている画像に対して、画像解析装置7は、不適切な理由を示す情報(不適切情報)を生成する。また残渣が多い画像は、観察に不向きであるため、画像解析装置7は、画像解析により残渣が多いことを判定すると、残渣が多いことを示す不適切情報を生成する。鮮明であって観察に適した画像に、不適切情報は生成されない。
(4)病変有無情報
画像解析装置7は、画像を解析して病変が存在することを判定すると、当該画像に対して、病変が含まれていることを示す情報を生成する。なお画像解析装置7が画像解析により、病変が存在しないことを判定すると、当該画像に対して、病変が含まれていないことを示す情報を生成する。病変有無情報は、医師による画像診断の際の参考情報として利用される。
画像解析装置7が画像記憶装置6に対して、検査オーダを特定した画像提供要求を送信すると、画像記憶装置6は、検査オーダに紐付けられた複数の内視鏡画像を画像解析装置7に提供する。たとえば画像解析装置7は、非熟練医による検査の終了を契機として、当該検査の検査オーダを特定した画像提供要求を画像記憶装置6に送信してよい。また非熟練医が情報処理装置8から検査の評価結果を表示装置9に表示させようとしたときに、画像解析装置7が、検査オーダを特定した画像提供要求を画像記憶装置6に送信してよい。このように画像解析装置7は、検査で撮像された画像を、検査終了後に取得して画像解析する。なお画像解析装置7は、検査で撮像された画像を、検査中に、つまりリアルタイムで取得して、画像解析することも可能である。画像解析装置7は、撮像画像を解析すると、解析結果となる画像情報を管理装置10に送信する。
情報処理装置8は、各種アプリケーションを実行可能なパーソナルコンピュータ(PC)であってよく、非熟練医によって検査レポートの作成等に利用される。実施形態の情報処理装置8は、非熟練医による検査終了後に、管理装置10が画像解析装置7から送信された画像情報をもとに生成した検査の評価結果を表示装置9に表示する。非熟練医は、評価結果を見ることで、改善すべき点を認識できる。
実施形態の管理装置10は、非熟練医による内視鏡検査を支援するための複数の機能をもつ。管理装置10の一つの機能は、非熟練医による検査終了後に、画像解析装置7が解析した画像情報を用いて、撮像した画像の評価を含む評価結果を生成する。管理装置10の別の機能は、非熟練医による検査開始前に、当該非熟練医が過去に実施した検査の評価結果にもとづいて、これから実施する検査で注意するべき点などを通知する。管理装置10のさらに別の機能は、適切な撮像行為に関するメッセージを、検査実施中に通知する。以下、管理装置10の各機能について説明する。
<実施例1>
実施例1では、管理装置10が、撮像画像の評価を含む評価結果を生成する機能を備える。
図2は、実施例1における管理装置10の機能ブロックを示す。管理装置10は、処理部20および記憶装置50を備える。処理部20は、情報取得部22、枚数評価部24、画像評価部26、総合評価部28、評価結果生成部30、文書作成部32および通知部34を備え、記憶装置50は、画像情報記憶部52、評価結果記憶部54、適正枚数保持部56、第1評価値保持部58、第2評価値保持部60、ランクテーブル62およびテンプレート保持部64を備える。
図2に示す構成はハードウエア的には、任意のプロセッサ、メモリ、補助記憶装置、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされた評価生成アプリケーションプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
非熟練医による検査の終了時、画像記憶装置6は、当該検査で撮像された全ての画像を記憶する。上記したように内視鏡観察装置3は、医師によるレリーズスイッチの操作によりキャプチャした画像を、キャプチャする度に画像記憶装置6に送信してよく、またキャプチャした画像を蓄積して、検査の終了を契機にまとめて画像記憶装置6に送信してよい。
画像解析装置7は、検査終了を内視鏡観察装置3から通知されると、画像記憶装置6に、当該検査の検査オーダを特定した画像提供要求を送信する。画像記憶装置6は、検査オーダに紐付けられた全ての撮像画像を画像解析装置7に送信する。画像解析装置7は全ての撮像画像を、医用画像コンピュータ支援診断機能により解析して、各撮像画像の画像情報を生成する。画像解析装置7は、検査オーダに紐付けた複数の画像情報を管理装置10に送信する。
管理装置10において、情報取得部22は画像解析装置7から、複数の撮像画像を画像解析した複数の画像情報を取得する。画像情報記憶部52は、情報取得部22が取得した複数の画像情報を、検査オーダに紐付けて記憶する。
図3は、画像情報記憶部52に記憶された画像情報の例を示す。画像情報は、撮像画像に関する臓器情報、部位情報、不適切情報、病変有無情報を含んで構成される。なお図3は、上部内視鏡検査(一般)で撮像された画像の画像情報の一部を示しており、実際には、十二指腸を撮像した画像の画像情報も含まれることに留意されたい。画像情報は、撮像画像のメタデータとして取り扱われる。
たとえば画像1には、臓器情報が「食道」、部位情報が「上部食道」、不適切情報が「なし」、病変有無情報が「なし」とする画像情報が設定されており、画像2には、臓器情報が「食道」、部位情報が「中部食道」、不適切情報が「残渣有り」、病変有無情報が「なし」とする画像情報が設定されている。
「不適切情報」は、画像が観察に適切でない理由を示す情報であり、画像2に設定されている「残渣有り」は、画像に残渣が多く写り込んでいるため観察に適さないことを意味する。画像6に設定されている「ブレ有り」は、キャプチャ時に内視鏡カメラが動いて画像がブレているため、観察に適さないことを意味する。なお1回の検査で撮像された全ての画像に不適切情報が設定されていなければ、その検査における撮像画像は、全て鮮明で観察に問題ないことを意味する。
「病変有無情報」は、画像に病変が含まれているか否かを示す情報であり、医師が画像診断する際の参考情報として利用される。図3に示す例では、画像4と画像5に、病変が含まれていることを示す情報が設定されている。病変有無情報が設定されることで、医師は画像診断の際、画像4と画像5をより慎重に観察できる。
適正枚数保持部56は、内視鏡検査の対象となる部位ごとの適正撮像枚数を保持する。
図4は、適正枚数保持部56に記憶された適正撮像枚数の例を示す。適正枚数保持部56は、部位に対応づけて、撮像する画像の適正枚数(適正撮像枚数)を保持する。この例で適正枚数保持部56は、上部食道、中部食道、下部食道、食道胃接合部、胃体上部後壁、胃体中部後壁、胃体下部後壁のそれぞれにおける適正撮像枚数が、1~2枚であることを保持している。
医師が遵守する検査プロトコルは、観察する部位の順番と、各部位の適正撮像枚数とを少なくとも規定する。実施例1では、検査プロトコルが、上部消化管の部位を食道から十二指腸に向けて観察することと、各部位で撮像する画像の適正枚数の範囲とを定めている。そのため医師は、各部位において画像を適正撮像枚数だけ撮像しなければならず、撮像した部位の画像が適正撮像枚数より少なかったり、逆に多かったりした場合には、当該部位の撮像行為が適切でないとして、当該部位の撮像行為に対する評価を下げられる。
図5は、第1評価値保持部58に記憶された第1評価値の例を示す。第1評価値保持部58は、一つの部位を実際に撮像した枚数が当該部位の適正撮像枚数と異なっているときの評価結果となる第1評価値を保持する。図5に示す例では、部位の適正撮像枚数に対して、実際に撮像した枚数が少ない場合と多い場合に、その部位の撮像行為に対する評価結果として、-5点の第1評価値が設定されている。また撮像していない(撮像し忘れた)部位の撮像行為に対する評価結果として、-10点の第1評価値が設定されている。
枚数評価部24は、各部位の実際の撮像枚数と、適正枚数保持部56に保持された各部位の適正撮像枚数とを比較し、実際の撮像枚数が適正撮像枚数と異なるときに、当該部位の評価結果に第1評価値を付与する。ここで図4に示す適正撮像枚数は1~2枚となっているため、実際の撮像枚数が適正撮像枚数より少ないケースは、実際の撮像枚数が0枚のときであるが、実際の撮像枚数が0枚のときは、枚数評価部24が、枚数不足の第1評価値(-5点)ではなく、未撮像の第1評価値(-10点)を付与する。そのため適正撮像枚数の最低枚数が2枚以上に設定されており、実際の撮像枚数が1枚以上且つ適正撮像枚数の最低枚数未満である場合に、枚数評価部24は、実際の撮像枚数が適正撮像枚数より少ないことを判定して、枚数不足の第1評価値(-5点)を付与することになる。
具体的に枚数評価部24は、画像情報記憶部52に記憶した複数の画像情報にもとづいて各部位の実際の撮像枚数を導出する。図3に示す画像情報を参照すると、各部位の実際の撮像枚数が、以下のように導出される。
・ 上部食道 1枚
・ 中部食道 1枚
・ 下部食道 3枚
・ 食道胃接合部 0枚
・ 胃体上部後壁 1枚
・ 胃体中部後壁 3枚
・ 胃体下部後壁 1枚
枚数評価部24は、導出した部位の実際の撮像枚数が適正撮像枚数と異なるときに、その異なっている理由に応じて、当該部位の評価結果に第1評価値を付与する。つまり実際の撮像枚数が不足または超過している場合には、当該部位の撮像行為に対する評価結果として、-5点を付与し、実際の撮像枚数が0のとき、すなわち未撮像である場合には、当該部位の撮像行為に対する評価結果として、-10点を付与する。
図4を参照して、各部位の適正撮像枚数は1~2枚であるため、この適正撮像枚数と実際の撮像枚数とが異なる部位は、「下部食道」、「食道胃接合部」、「胃体中部後壁」である。このうち「下部食道」、「胃体中部後壁」については、撮像枚数が超過しており、「食道胃接合部」については、撮像が行われていない。そこで枚数評価部24は、「下部食道」、「胃体中部後壁」の評価結果に、-5点を付与し、「食道胃接合部」の評価結果に、-10点を付与してよい。
なお枚数評価部24は、ある部位に関して実際の撮像枚数が適正撮像枚数より多い場合であっても、当該部位に病変が存在している場合には、当該部位の評価結果に第1評価値を付与しなくてもよい。病変が存在する部位については、より詳細に観察する必要があるため、撮像枚数は多い方が好ましいためである。実施例1では、「下部食道」に病変が存在することが確認されているため、枚数評価部24は、「下部食道」の評価結果を-5点とするのではなく、減点なしと評価することが好ましい。
図6は、第2評価値保持部60に記憶された第2評価値の例を示す。第2評価値保持部60は、画像情報により不適切な画像であることが示されるときの評価結果となる第2評価値を保持する。図6に示す例では、画像が観察に不適切である理由に対して、-1点の第2評価値が設定されている。この例では、全ての第2評価値が同じ減点であるが、異なる減点が設定されてもよい。
画像評価部26は、画像情報記憶部52に記憶した複数の画像情報の中から不適切な画像であることを示す画像情報を抽出する。図3に示す画像情報を参照すると、画像2と画像6の画像情報に不適切情報が設定されている。そこで画像評価部26は、抽出した画像2と画像6の画像情報の部位の評価結果に第2評価値を付与する。つまり画像評価部26は、「中部食道」と「胃体上部後壁」の評価結果に、-1点を付与する。
評価結果生成部30は、画像情報記憶部52に記憶した複数の画像情報にもとづいて、評価結果を生成する。評価結果生成部30は、枚数評価部24により付与された第1評価値および画像評価部26により付与された第2評価値を、評価結果に含ませる。評価結果記憶部54は、評価結果生成部30により生成された評価結果を記憶する。
図7は、第1評価値および第2評価値を含む評価結果の例を示す。評価結果生成部30は、医師により撮像された画像を部位ごとに評価した評価結果を生成する。「枚数評価結果」の欄には、適正撮像枚数、実際の撮像枚数、病変有無、第1評価値が表示される。上記したように、「下部食道」に関しては、実際の撮像枚数が適正撮像枚数を上回っているものの、病変が存在する部位であるため、減点なしの評価となっている。「画像評価結果」の欄には、画像の不適切理由、第2評価値が表示される。
評価結果記憶部54は、複数の画像情報にもとづいて生成される評価結果であって、第1評価値および第2評価値を含む評価結果を記憶する。非熟練医は、検査の終了後、情報処理装置8から管理装置10にアクセスして評価結果を取得し、表示装置9に表示させることができる。
総合評価部28は、評価結果に含まれる第1評価値と第2評価値を合計する。実施例1において、撮像画像の評価は減点方式で実施され、したがって合計したマイナス点数が多いほど、低い評価であることを示す。総合評価部28は、第1評価値と第2評価値の合計点数にもとづいて、実施された内視鏡検査の良否を判定する。
図8は、ランクテーブル62の例を示す。ランクテーブル62は、ランクと合計点数とを対応づけたテーブルであり、ランクA、Bは合格、ランクC以下は不合格を示す。総合評価部28は、合計点数からランクを特定し、ランクAまたはBであれば、内視鏡検査が良好に実施されたことを判定する。一方で総合評価部28は、特定したランクがC以下であれば、内視鏡検査が良好に実施されなかったことを判定する。図8に示すランクテーブル62では、ランクC以降に、熟練医による指導が実施されるべきことが定められており、たとえば指導医が、非熟練医の指導をすることを義務づけられる。このような運用は、医療施設において適宜定められればよく、たとえば複数回ランクCと評価された非熟練医に対して、指導医による指導が義務づけられてもよい。
文書作成部32は、評価結果記憶部54に記憶した評価結果をもとに、非熟練医への指導文書を作成する機能をもつ。文書作成部32が評価結果にもとづいて指導文書を自動生成することで、指導医の手を煩わせることなく、改善点を的確に非熟練医に伝えることが可能となる。
図9(a)は、テンプレート保持部64に保持された文章テンプレートの例を示す。文章テンプレートは部位ごとに用意され、文書作成部32は、不適切情報が設定された部位に対応する改善アドバイスを、指導文書に挿入する。なお改善アドバイスをサポートするための参考画像および/または参考動画が登録されていてもよい。
図9(b)は、テンプレート保持部64に保持された変換テーブルの例を示す。変換テーブルは、撮像画像や枚数に関する不適切理由ごとに用意され、文書作成部32は、第1評価値および第2評価値を設定された部位に関する概要を生成して、指導文書に挿入する。
図10は、文書作成部32が作成した指導文書の例を示す。文書作成部32は、総合評価部28により評価されたランク、文書作成部32が作成した概要および改善アドバイス、評価結果生成部30により生成された評価結果を含む指導文書を作成する。非熟練医は、検査の終了後、情報処理装置8から管理装置10にアクセスして、文書作成部32が作成する指導文書を取得し、表示装置9に表示させることができる。指導文書には、評価結果のみならず、改善アドバイス等が含まれており、非熟練医は、これからの検査に役立てることができる。
以上のように実施例1では、管理装置10が、検査終了後に、撮像行為に関する評価結果を生成する。この評価結果は、非熟練医による検査の振り返りに利用されるが、当該非熟練医が新たに検査を実施する際にアドバイスするために利用されてもよい。
通知部34は、医師が内視鏡検査を開始する際に、評価結果記憶部54に記憶された評価結果に含まれる評価結果にもとづくアドバイスを通知する。アドバイスは、検査室において内視鏡観察装置3に接続された表示装置4に表示されてよく、また検査室に設けられた端末装置の表示装置(図示せず)に表示されてもよい。
検査室において医師が内視鏡検査を開始する際、通知部34は、当該医師が実施した過去の内視鏡検査に関する評価結果を評価結果記憶部54から取得し、第1評価値および第2評価値が付与された部位に関するアドバイスを生成する。たとえば通知部34は、「前回検査で、食道胃接合部の撮り忘れがあったため、忘れずに撮影してください。」や、「前回検査で、胃体上部後壁でブレのある画像が撮影されていたため、注意して撮影してください。」のようなアドバイス文を作成して、検査室内の表示装置に表示する。通知部34は、アドバイス文を音声で出力してもよい。医師は、検査開始前に過去の検査における失敗を認識することで、今回の検査をより注意深く実施するようになる。
<実施例2>
実施例2では、管理装置10が、内視鏡検査の実施中に撮像された画像をリアルタイムで評価する機能を備える。
図11は、実施例2における管理装置10の機能ブロックを示す。管理装置10は、処理部20および記憶装置50を備える。処理部20は、情報取得部42、枚数評価部44および通知部46を備え、記憶装置50は、画像情報記憶部52および適正枚数保持部56を備える。
図11に示す構成はハードウエア的には、任意のプロセッサ、メモリ、補助記憶装置、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされた評価生成アプリケーションプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
非熟練医による内視鏡検査の実施中、内視鏡観察装置3は、医師によるレリーズスイッチの操作によりキャプチャした画像を、キャプチャする度に画像記憶装置6および画像解析装置7に送信する。画像解析装置7は、撮像画像を医用画像コンピュータ支援診断機能により解析して、撮像画像の画像情報を生成し、検査オーダに紐付けて画像情報を管理装置10に送信する。したがって実施例2では、検査の実施中、画像が撮像されるとすぐに画像情報が生成されて、管理装置10に送信される。
管理装置10において、情報取得部42が画像解析装置7から画像情報を取得すると、画像情報記憶部52が、取得した画像情報を記憶する。実施例2における適正枚数保持部56は、実施例1と同様に、内視鏡検査の対象となる部位ごとの適正撮像枚数を保持している(図4参照)。枚数評価部44は、部位ごとに撮像画像の枚数をカウントし、適正撮像枚数より少ないか否かを判定する。実施例2において医師が遵守する検査プロトコルは、観察する部位の順番と、各部位の適正撮像枚数とを規定する。具体的に検査プロトコルは、上部消化管の部位を食道から十二指腸に向けて観察することと、各部位で撮像する画像の適正枚数の範囲とを定めている。
枚数評価部44は、検査プロトコルにしたがって、各部位の画像が適正な枚数撮像されているか監視する。たとえば検査プロトコルにおいて、上部食道、中部食道、下部食道、食道胃接合部、胃体上部後壁、胃体中部後壁、胃体下部後壁・・・の順番に撮像することが定められているとする。内視鏡検査の開始後、情報取得部42が、上部食道の画像情報、中部食道の画像情報、食道胃接合部の画像情報を順番に取得すると、枚数評価部44は、下部食道を撮像した枚数が下部食道の適正撮像枚数(1~2枚)より少ないこと(この場合は、未撮像であること)を判定し、撮像枚数が不足していることを判定する。
このように枚数評価部44は、検査プロトコルにしたがって各部位の撮像枚数を監視し、ある部位を撮像した枚数が当該部位の適正撮像枚数より少ない場合に、当該部位の撮像枚数不足を判定する機能をもつ。この判定結果は、ただちに通知部46に伝えられ、通知部46は、内視鏡検査を実施している医師に、当該部位の撮像枚数不足を通知する。通知部46は、検査室において内視鏡観察装置3に接続された表示装置4に撮像枚数不足であることを表示してよく、また検査室に設けられた端末装置の表示装置(図示せず)に撮像枚数不足であることを表示してもよい。
なお、内視鏡的粘膜下層はく離術(Endoscopic submucosal dissection: ESD)では、専用の処置具を使って病変を切り取る処置を行うが、処置の際には撮像する部位の順番が前後することが発生しうる。そのため特定の検査、たとえば上部のルーチン検査を実施している場合に限って、枚数評価部44が、各部位の撮像枚数を監視してもよい。
なお通知部46は、画像情報が不適切な画像であることを示す不適切情報を含む場合に、撮像した画像が不適切であることを、内視鏡検査を実施している医師に通知する。その際、不適切理由に沿った通知を行うことが好ましく、たとえば胃体上部後壁でブレ画像が撮像されていれば、「胃体上部後壁でブレのある画像が撮影されました。もう一度注意して撮影してください。」と通知してよい。
以上、本発明を実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施形態において画像記憶装置6および画像解析装置7は、医療施設に設けられることを説明したが、画像記憶装置6および/または画像解析装置7の機能は、インターネットに接続したクラウドサーバによって実現されてよい。
本発明は、内視鏡検査を支援する分野に利用できる。
1・・・医療システム、2・・・ネットワーク、3・・・内視鏡観察装置、4・・・表示装置、5・・・内視鏡、6・・・画像記憶装置、7・・・画像解析装置、8・・・情報処理装置、9・・・表示装置、10・・・管理装置、20・・・処理部、22・・・情報取得部、24・・・枚数評価部、26・・・画像評価部、28・・・総合評価部、30・・・評価結果生成部、32・・・文書作成部、42・・・情報取得部、44・・・枚数評価部、46,34・・・通知部、50・・・記憶装置、52・・・画像情報記憶部、54・・・評価結果記憶部、56・・・適正枚数保持部、58・・・第1評価値保持部、60・・・第2評価値保持部、62・・・ランクテーブル、64・・・テンプレート保持部。

Claims (20)

  1. 管理装置であって、ハードウェアを有するプロセッサを備え、
    前記プロセッサは、
    内視鏡検査において撮像された複数の画像を画像解析した複数の画像情報を取得し、
    取得した複数の前記画像情報に含まれる撮像された部位を特定する部位情報にもとづいて、内視鏡検査の対象となる各部位の撮像枚数を導出し、
    導出した部位の前記撮像枚数が適正撮像枚数と異なるときに、当該部位の評価結果に第1評価値を付与し、
    取得した複数の前記画像情報の中から不適切な画像であることを示す画像情報を抽出し、
    抽出した前記画像情報の部位の評価結果に第2評価値を付与し、
    取得した複数の前記画像情報にもとづいて生成される評価結果であって、第1評価値および第2評価値を含む評価結果を生成する、
    管理装置。
  2. 前記プロセッサは、
    前記評価結果に含まれる第1評価値と第2評価値を合計する、
    請求項1に記載の管理装置。
  3. 前記プロセッサは、
    第1評価値と第2評価値の合計値にもとづいて、実施された内視鏡検査の良否を判定する、
    請求項2に記載の管理装置。
  4. 前記プロセッサは、
    ある部位に関して撮像枚数が適正撮像枚数より多い場合であっても、当該部位に病変が存在している場合には、当該部位の評価結果に第1評価値を付与しない、
    請求項1に記載の管理装置。
  5. 前記プロセッサは、
    前記評価結果をもとに、医師への指導文書を作成する、
    請求項1に記載の管理装置。
  6. 前記プロセッサは、
    医師が内視鏡検査を開始する際に、前記評価結果にもとづくアドバイスを通知する、
    請求項1に記載の管理装置。
  7. 前記プロセッサは、
    ある部位を撮像した枚数が当該部位の適正撮像枚数より少ない場合に、内視鏡検査を実施している医師に、当該部位の撮像枚数不足を通知する、
    請求項1に記載の管理装置。
  8. 前記プロセッサは、
    前記画像情報が不適切な画像であることを示す情報を含む場合に、撮像した画像が不適切であることを通知する、
    請求項1に記載の管理装置。
  9. 検査画像を評価する方法であって、
    内視鏡検査において撮像された複数の画像を画像解析した複数の画像情報を取得し、
    取得した複数の前記画像情報に含まれる撮像された部位を特定する部位情報にもとづいて、内視鏡検査の対象となる各部位の撮像枚数を導出し、
    導出した部位の撮像枚数が適正撮像枚数と異なるときに、当該部位の評価結果に第1評価値を付与し、
    取得した複数の前記画像情報の中から不適切な画像であることを示す画像情報を抽出し、
    抽出した前記画像情報の部位の評価結果に第2評価値を付与し、
    取得した複数の前記画像情報にもとづいて生成される評価結果であって、第1評価値および第2評価値を含む評価結果を生成する、
    検査画像評価方法。
  10. 評価結果に含まれる第1評価値と第2評価値を合計し、合計値にもとづいて、実施された内視鏡検査の良否を判定する、
    請求項9に記載の検査画像評価方法。
  11. ある部位に関して撮像枚数が適正撮像枚数より多い場合であっても、当該部位に病変が存在している場合には、当該部位の評価結果に第1評価値を付与しない、
    請求項9に記載の検査画像評価方法。
  12. 前記評価結果をもとに、医師への指導文書を作成する、
    請求項9に記載の検査画像評価方法。
  13. 医師が内視鏡検査を開始する際に、前記評価結果にもとづくアドバイスを通知する、
    請求項9に記載の検査画像評価方法。
  14. 記憶装置と、ハードウェアを有するプロセッサとを備えた医療システムであって、前記記憶装置は、
    内視鏡検査の対象となる部位ごとの適正撮像枚数を保持し、
    一つの部位を撮像した枚数が当該部位の適正撮像枚数と異なっているときの評価結果となる第1評価値を保持し、
    画像情報により不適切な画像であることが示されるときの評価結果となる第2評価値を保持しており、
    前記プロセッサは、
    内視鏡検査において撮像された複数の画像を画像解析した複数の画像情報を取得し、
    取得した複数の前記画像情報にもとづいて、内視鏡検査の対象となる各部位の撮像枚数を導出し、
    導出した部位の撮像枚数が適正撮像枚数と異なるときに、当該部位の評価結果に第1評価値を付与し、
    取得した複数の前記画像情報の中から不適切な画像であることを示す画像情報を抽出し、
    抽出した前記画像情報の部位の評価結果に第2評価値を付与し、
    取得した複数の前記画像情報にもとづいて生成される評価結果であって、第1評価値および第2評価値を含む評価結果を生成する、
    医療システム。
  15. 前記プロセッサは、
    前記評価結果に含まれる第1評価値と第2評価値を合計する、
    請求項14に記載の医療システム。
  16. 前記プロセッサは、
    第1評価値と第2評価値の合計値にもとづいて、実施された内視鏡検査の良否を判定する、
    請求項15に記載の医療システム。
  17. 前記プロセッサは、
    ある部位に関して撮像枚数が適正撮像枚数より多い場合であっても、当該部位に病変が存在している場合には、当該部位の評価結果に第1評価値を付与しない、
    請求項14に記載の医療システム。
  18. 前記プロセッサは、
    前記評価結果をもとに、医師への指導文書を作成する、
    請求項14に記載の医療システム。
  19. 前記プロセッサは、
    医師が内視鏡検査を開始する際に、前記評価結果にもとづくアドバイスを通知する、
    請求項14に記載の医療システム。
  20. 前記プロセッサは、
    ある部位を撮像した枚数が当該部位の適正撮像枚数より少ない場合に、内視鏡検査を実施している医師に、当該部位の撮像枚数不足を通知する、
    請求項14に記載の医療システム。
JP2022536074A 2020-07-16 2020-07-16 管理装置、検査画像評価方法、医療システム Active JP7483008B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/027704 WO2022014017A1 (ja) 2020-07-16 2020-07-16 医療システム

Publications (3)

Publication Number Publication Date
JPWO2022014017A1 JPWO2022014017A1 (ja) 2022-01-20
JPWO2022014017A5 JPWO2022014017A5 (ja) 2023-03-24
JP7483008B2 true JP7483008B2 (ja) 2024-05-14

Family

ID=79554608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022536074A Active JP7483008B2 (ja) 2020-07-16 2020-07-16 管理装置、検査画像評価方法、医療システム

Country Status (3)

Country Link
US (1) US20230177689A1 (ja)
JP (1) JP7483008B2 (ja)
WO (1) WO2022014017A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011235177A (ja) 2011-08-15 2011-11-24 Olympus Corp 内視鏡挿入方向検出方法
JP2012070936A (ja) 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡システム、内視鏡画像取得支援方法、及びプログラム
JP2014067229A (ja) 2012-09-26 2014-04-17 Ge Medical Systems Global Technology Co Llc 読影レポート管理装置、医用ネットワークシステムおよびプログラム
JP2017108792A (ja) 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2019008737A1 (ja) 2017-07-07 2019-01-10 オリンパス株式会社 内視鏡用トレーニングシステム
WO2019142243A1 (ja) 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012070936A (ja) 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡システム、内視鏡画像取得支援方法、及びプログラム
JP2011235177A (ja) 2011-08-15 2011-11-24 Olympus Corp 内視鏡挿入方向検出方法
JP2014067229A (ja) 2012-09-26 2014-04-17 Ge Medical Systems Global Technology Co Llc 読影レポート管理装置、医用ネットワークシステムおよびプログラム
JP2017108792A (ja) 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2019008737A1 (ja) 2017-07-07 2019-01-10 オリンパス株式会社 内視鏡用トレーニングシステム
WO2019142243A1 (ja) 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法

Also Published As

Publication number Publication date
JPWO2022014017A1 (ja) 2022-01-20
US20230177689A1 (en) 2023-06-08
WO2022014017A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
US10169535B2 (en) Annotation of endoscopic video using gesture and voice commands
JP5504028B2 (ja) 観察支援システムおよび方法並びにプログラム
JP6830082B2 (ja) 歯科分析システムおよび歯科分析x線システム
JP2017108792A (ja) 内視鏡業務支援システム
US11439466B2 (en) Operating method for a medical system, and medical system for performing a surgical procedure
JP4009583B2 (ja) 医療用画像記録システム
WO2019132165A1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
JP2016002206A (ja) 医療情報処理システム
JP2008259661A (ja) 検査情報処理システム及び検査情報処理装置
JP7013317B2 (ja) 医療情報処理システム
JP7483008B2 (ja) 管理装置、検査画像評価方法、医療システム
JP6359264B2 (ja) 手術情報管理装置
JP2019208832A (ja) 歯科分析システムおよび歯科分析x線システム
CN111937377B (zh) 内窥镜业务辅助系统、内窥镜业务辅助方法和记录介质
JP2010282355A (ja) 医療検査情報管理システム
JP6785557B2 (ja) 内視鏡レポート作成支援システム
JP5142633B2 (ja) 医用画像表示装置及び医用画像表示方法
JP2006271528A (ja) 画像診断支援システム及び画像診断支援プログラム
WO2018225326A1 (ja) 医療情報処理システム
CN110709937B (zh) 医疗信息处理系统和医疗信息通知方法
WO2023135815A1 (ja) 医療支援システムおよび医療支援方法
JP7164877B2 (ja) 情報共有システム
WO2023135816A1 (ja) 医療支援システムおよび医療支援方法
JP2006055507A (ja) 即時医療映像自動的サーチ対照方法及びそのシステム
WO2023089719A1 (ja) 映像編集装置、映像編集方法、及び、記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240430

R150 Certificate of patent or registration of utility model

Ref document number: 7483008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150