JPWO2019230302A1 - 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置 - Google Patents

学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置 Download PDF

Info

Publication number
JPWO2019230302A1
JPWO2019230302A1 JP2020521812A JP2020521812A JPWO2019230302A1 JP WO2019230302 A1 JPWO2019230302 A1 JP WO2019230302A1 JP 2020521812 A JP2020521812 A JP 2020521812A JP 2020521812 A JP2020521812 A JP 2020521812A JP WO2019230302 A1 JPWO2019230302 A1 JP WO2019230302A1
Authority
JP
Japan
Prior art keywords
image
diagnosis information
endoscopic
finding
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020521812A
Other languages
English (en)
Other versions
JP7042907B2 (ja
Inventor
悟朗 三浦
悟朗 三浦
正明 大酒
正明 大酒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019230302A1 publication Critical patent/JPWO2019230302A1/ja
Application granted granted Critical
Publication of JP7042907B2 publication Critical patent/JP7042907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Endoscopes (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

内視鏡画像から病変を識別するモデルを学習させるための学習データを容易に収集する学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置を提供する。内視鏡画像と所見診断情報とを紐付け、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる際に、所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる。

Description

本発明は、学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置に係り、特に、内視鏡画像から病変を識別する技術に関する。
内視鏡画像を保管する内視鏡ファイリングシステムや、内視鏡検査情報、患者情報、及び内視鏡画像を保管する内視鏡管理システムが市場に存在する。さらに、内視鏡検査時に、病変の検出や病変の鑑別を行う内視鏡ＣＡＤ（Computer Aided Diagnosis）システムが実用化に向けて研究されている。
特許文献１には、医用画像の関心領域に対応する画像特徴セットを所定個数の画像所見に分類するための識別器が記載されている。
特開２０１７−０６８８３８号公報
特許文献１には、画像診断医により予め定められた１０個の画像所見のそれぞれについて、予め収集された数百〜数千個の画像から画像特徴セットを抽出し、抽出した画像特徴セットを用いて学習させることで識別器を生成する技術が記載されている。
また、内視鏡ＣＡＤシステムに搭載されるＡＩ（Artificial Intelligence）エンジンを学習させるためには、病変画像、病変画像を撮影した際の所見診断情報、及び内視鏡検査時に記録した検査動画等を、医師が内視鏡管理システム、内視鏡ファイリングシステム等のそれぞれのシステムから個別に取得し、ＡＩ学習を行える形式に変換する必要がある。
このように、モデルを学習させるためには大量の症例等の学習データを収集する必要があり、大量の学習データを収集するには多大な労力が必要であるという課題があった。
本発明はこのような事情に鑑みてなされたものであり、内視鏡画像から病変を識別するモデルを学習させるための学習データを容易に収集する学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置を提供することを目的とする。
上記目的を達成するために学習データ収集装置の一の態様は、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御部と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付部と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付部と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御部と、を備え、表示制御部は、紐付部において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集装置である。
本態様によれば、所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させるようにしたので、所見診断情報のグループ毎に内視鏡画像を確認することができる。
受付部は、入力装置によって１つのタブを選択する操作を受け付け、表示制御部は、選択されたタブのグループに分類された内視鏡画像を画像表示エリアに表示させることが好ましい。これにより、選択したタブのグループの内視鏡画像を確認することができる。
表示制御部は、選択可能な全ての内視鏡画像を１つのグループとして分類することが好ましい。これにより、選択可能な全ての内視鏡画像を確認することができる。
受付部は、画像表示エリアに表示された内視鏡画像のうちの少なくとも１つの内視鏡画像を所見診断情報表示エリアに表示された所見診断情報にドラッグアンドドロップする操作を受け付け、紐付部は、ドラッグアンドドロップされた内視鏡画像と所見診断情報とを紐付けることが好ましい。これにより、内視鏡画像とその内視鏡画像に関連する所見診断情報とを適切に選択することができる。
受付部は、所見診断情報表示エリアに表示された所見診断情報のうちの少なくとも１つの所見診断情報を画像表示エリアに表示された内視鏡画像にドラッグアンドドロップする操作を受け付け、紐付部は、ドラッグアンドドロップされた内視鏡画像と所見診断情報とを紐付けることが好ましい。これにより、内視鏡画像とその内視鏡画像に関連する所見診断情報とを適切に選択することができる。
表示制御部は、内視鏡画像に付属させて紐付けられた所見診断情報を示す識別情報を画像表示エリアに表示させることが好ましい。これにより、内視鏡画像毎に紐付けられた所見診断情報を確認することができる。
表示制御部は、識別情報をタブに表示させることが好ましい。これにより、タブを適切に識別することができる。
識別情報は、所見診断情報に対応する番号であることが好ましい。これにより、識別情報を適切に表示することができる。
表示制御部は、所見診断情報に付属させて識別情報を所見診断情報表示エリアに表示させることが好ましい。これにより、所見診断情報と番号の対応をユーザに認識させることができる。
表示制御部は、選択された画像を重ねて表示することが好ましい。これにより、表示画像数を削減することができ、内視鏡画像を選択しやすくすることができる。
受付部は、内視鏡画像に写った病変の位置情報を指定する操作を受け付け、記録制御部は、指定された位置情報を学習データとして記録装置に記録させることが好ましい。これにより、病変の位置情報を学習データに含めることができる。
上記目的を達成するために学習システムの一の態様は、表示装置と、入力装置と、記録装置と、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御部と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付部と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付部と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御部と、を備え、表示制御部は、紐付部において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集装置と、モデルを用いて内視鏡画像から病変を識別する識別器と、を備え、学習データを用いてモデルを学習させる学習システムである。
本態様によれば、所見診断情報毎の内視鏡画像を確認することができる学習データ収集装置によって収集された学習データによってモデルを適切に学習させることができる。
上記目的を達成するために学習済みモデルの一の態様は、表示装置と、入力装置と、記録装置と、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御部と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付部と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付部と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御部と、を備え、表示制御部は、紐付部において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集装置と、モデルを用いて内視鏡画像から病変を識別する識別器と、を備え、学習データを用いてモデルを学習させる学習システムによって学習された学習済みモデルである。
本態様によれば、適切に収集された学習データによって学習した学習済みモデルを取得することができる。
上記目的を達成するために内視鏡画像処理装置の一の態様は、モデルを用いて内視鏡画像から病変を識別する識別器を備え、学習データを用いてモデルを学習させる学習システムによって学習された学習済みモデルを用いて内視鏡画像を解析する内視鏡画像処理装置であって、学習システムは、表示装置と、入力装置と、記録装置と、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御部と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付部と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付部と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御部と、を備え、表示制御部は、紐付部において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集装置と、を備え、学習データを用いてモデルを学習させる学習システムである。
本態様によれば、適切に収集された学習データによって学習した学習済みモデルを用いて内視鏡画像を解析することができる。
上記目的を達成するために学習データ収集方法の一の態様は、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御工程と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付工程と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付工程と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御工程と、を備え、表示制御工程は、紐付工程において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集方法である。
本態様によれば、所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させるようにしたので、所見診断情報のグループ毎に内視鏡画像を確認することができる。
上記目的を達成するために学習データ収集方法をコンピュータに実行させるためのプログラムの一の態様は、内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を表示装置の所見診断情報表示エリアに表示させる表示制御工程と、入力装置による操作であって、画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、所見診断情報表示エリアに表示された所見診断情報のうち少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付工程と、選択された内視鏡画像と選択された所見診断情報とを紐付ける紐付工程と、紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御工程と、を備え、表示制御工程は、紐付工程において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させる学習データ収集方法をコンピュータに実行させるためのプログラムである。
本態様によれば、所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に内視鏡画像を切り替え表示させるようにしたので、所見診断情報のグループ毎に内視鏡画像を確認することができる。
本態様によれば、内視鏡画像から病変を識別するモデルを学習させるための学習データを容易に収集することができる。
内視鏡画像学習システムの構成の一例を示すブロック図である。 内視鏡管理レポート端末の構成の一例を示すブロック図である。 ＡＩエンジンの構成の一例を示すブロック図である。 学習方法の処理を示すフローチャートである。 内視鏡検査実施工程の詳細の処理を示すフローチャートである。 内視鏡レポート作成工程の詳細の処理を示すフローチャートである。 内視鏡レポート作成画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け工程の詳細の処理を示すフローチャートである。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 ＡＩ学習画像紐付け画面の一例を示す図である。 病理依頼工程の詳細の処理を示すフローチャートである。 ＡＩ学習データ出力工程の詳細の処理を示すフローチャートである。 内視鏡管理レポート端末の構成の一例を示すブロック図である。 病変位置情報入力方法の処理を示すフローチャートである。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 病変位置情報入力画面の一例を示す図である。 内視鏡装置の構成の一例を示すブロック図である。
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
＜第１の実施形態＞
〔内視鏡画像学習システムの構成〕
図１は、内視鏡画像学習システム１０の構成の一例を示すブロック図である。内視鏡画像学習システム１０は、病院内に構築される院内ＬＡＮ（Local Area Network）２０、病院の内視鏡部門内に構築される内視鏡部門ローカルＬＡＮ３０、病院内又は病院外に構築されるＡＩ（Artificial Intelligence）学習ＬＡＮ５０等を有している。
院内ＬＡＮ２０には、電子カルテシステム２２、及び病理システム２４が接続されている。
電子カルテシステム２２は、病院内の全患者の検査情報を管理するシステムである。また、病理システム２４は、病理検体及び病理診断情報を管理するシステムである。電子カルテシステム２２及び病理システム２４は、１台のコンピュータで構成されていてもよいし、複数のコンピュータに分散された構成であってもよい。
内視鏡部門ローカルＬＡＮ３０には、内視鏡管理レポート端末３２、ビデオキャプチャ端末３８、内視鏡管理サーバー４０、及び動画格納ＮＡＳ（Network Attached Storage）４６が接続されている。
内視鏡管理レポート端末３２は、不図示の内視鏡装置によって行われた内視鏡検査に関する内視鏡レポート４２（後述）を医師が作成するための端末である。
図２は、内視鏡管理レポート端末３２の構成の一例を示すブロック図である。内視鏡管理レポート端末３２は、入力デバイス３４、ディスプレイ３６、及び学習データ収集装置８０を備えている。
入力デバイス３４（入力装置の一例）は、例えばマウス、又はキーボードが適用される。ディスプレイ３６（表示装置の一例）は、例えば液晶モニタが適用される。タッチパネル付きディスプレイを用いて、入力デバイス３４とディスプレイ３６とを兼ねてもよい。
学習データ収集装置８０は、内視鏡画像から病変を識別するモデルの学習に使用する学習データを収集する。学習データ収集装置８０は、受付部８２、表示制御部８４、紐付部８６、及び記録制御部８８を備えている。
受付部８２は、入力デバイス３４による操作を受け付ける。表示制御部８４は、内視鏡画像及び所見診断情報をディスプレイ３６に表示させる。紐付部８６は、受付部８２によって受け付けた後述する紐付操作に基づいて、内視鏡画像と所見診断情報とを紐付ける。記録制御部８８は、紐付部８６によって紐付けられた内視鏡画像と所見診断情報とを、内視鏡管理サーバー４０に記録させる。
図１の説明に戻り、ビデオキャプチャ端末３８は、不図示の内視鏡装置のカメラが撮影した動画を取り込み、動画格納ＮＡＳ４６に送信する。また、ビデオキャプチャ端末３８は、不図示の内視鏡装置のカメラが撮影した静止画を取り込み、内視鏡管理サーバー４０に送信する。
内視鏡管理サーバー４０は、内視鏡管理レポート端末３２を介して不図示の内視鏡装置を管理する。また、内視鏡管理サーバー４０は、内視鏡管理レポート端末３２によって作成された内視鏡レポート４２、及び内視鏡装置のカメラによって撮影された静止画である検査画像４４を記録する。
動画格納ＮＡＳ４６は、内視鏡装置のカメラによって撮影された動画を記録する。
ＡＩ学習ＬＡＮ５０には、ＡＩエンジン５２が接続されている。ＡＩエンジン５２は、入力された内視鏡画像に含まれる病変を識別し、識別した病変の情報を出力する。ＡＩエンジン５２は、例えばＧＰＵ（Graphics Processing Unit）により構成される。
図３は、ＡＩエンジン５２の構成の一例を示すブロック図である。ＡＩエンジン５２は、入力部５４、特徴量抽出部５６、識別部５８、出力部６０、学習データ入力部６２、及び学習部６４を備えている。
入力部５４には、内視鏡画像が入力される。内視鏡画像は、静止画に限定されず、動画でもよい。
特徴量抽出部５６は、入力部５４に入力された内視鏡画像から特徴量を抽出する。識別部５８（識別器の一例）は、特徴量抽出部５６によって抽出された特徴量から、モデルを用いて内視鏡画像に含まれる病変を識別する。出力部６０は、識別部５８が識別した病変の情報を出力する。
学習データ入力部６２は、モデルを学習させるための学習データが入力される。学習部６４は、識別部５８と同様のモデルを備えている。学習部６４は、学習データ入力部６２に入力された学習データによってモデルを学習させる。学習部６４によって学習された学習済みモデルは、識別部５８に入力される。これにより、識別部５８のモデルが学習済みモデルに更新される。
特徴量抽出部５６及び識別部５８においてモデルを用いて内視鏡画像に含まれる病変を識別する構成とし、学習部６４は、特徴量抽出部５６及び識別部５８のモデルを学習して学習済みモデルに更新してもよい。
再び図１の説明に戻り、電子カルテシステム２２と内視鏡管理サーバー４０とは、オーダーゲートウェイ７０を介して接続されている。オーダーゲートウェイ７０は、１台のコンピューターサーバーから構成される。オーダーゲートウェイ７０は、電子カルテシステム２２又は不図示のオーダーリングシステムから、検査情報及び患者情報を受信し、内視鏡管理サーバー４０に検査オーダー情報を送信する。内視鏡管理サーバー４０は、受信した検査オーダーを記録する。
また、オーダーゲートウェイ７０は、内視鏡管理サーバー４０から内視鏡レポート４２及び検査実績情報を受信し、電子カルテシステム２２又は不図示の医事会計システムに送信する。
病理システム２４と内視鏡管理サーバー４０とは、病理システムゲートウェイ７２を介して接続されている。病理システムゲートウェイ７２は、１台のコンピューターサーバーから構成される。病理システムゲートウェイ７２は、病理システム２４から病理診断結果を取得し、内視鏡管理サーバー４０に病理診断結果を送信する。内視鏡管理サーバー４０は、受信した病理診断結果を記録する。
ＡＩエンジン５２と内視鏡管理サーバー４０とは、ＡＩ学習データ出力ゲートウェイ７４を介して接続されている。ＡＩ学習データ出力ゲートウェイ７４は、内視鏡管理サーバー４０から学習データを受信し、ＡＩエンジン５２に送信する。
〔学習方法〕
内視鏡画像学習システム１０は、内視鏡画像と所見診断情報とを学習データとして、内視鏡画像から病変を識別するモデルを学習させる。図４は、内視鏡画像学習システム１０を用いた学習方法の処理を示すフローチャートである。学習方法は、内視鏡検査実施工程（ステップＳ１０）、内視鏡レポート作成工程（ステップＳ２０）、ＡＩ学習画像紐付け工程（ステップＳ３０）、病理依頼工程（ステップＳ４０）、ＡＩ学習データ出力工程（ステップＳ５０）、及びＡＩ学習工程（ステップＳ６０）を有する。
〔内視鏡検査実施工程の詳細〕
内視鏡検査実施工程では、患者に対して内視鏡検査を実施する。図５は、内視鏡検査実施工程の詳細の処理を示すフローチャートである。内視鏡検査実施工程は、検査情報取得工程（ステップＳ１１）、動画撮影開始工程（ステップＳ１２）、病変部位静止画撮影工程（ステップＳ１３）、静止画サーバー転送工程（ステップＳ１４）、動画撮影終了工程（ステップＳ１５）、及び動画サーバー転送工程（ステップＳ１６）を有している。
〈検査情報取得工程（ステップＳ１１）〉
検査情報取得工程では、実施する内視鏡検査の検査情報を取得する。検査情報は、医師が内視鏡管理レポート端末３２の入力デバイス３４を用いて入力する。検査情報には、検査部位情報、検査日、患者の氏名、年齢、性別等の情報が含まれる。入力された検査情報は、内視鏡管理レポート端末３２から内視鏡管理サーバー４０に送信される。
〈動画撮影開始工程（ステップＳ１２）〉
動画撮影開始工程では、動画の内視鏡画像の撮影を開始する。医師は、不図示の内視鏡装置のカメラを操作し、動画を撮影する。撮影された動画は、不図示の内視鏡装置の表示装置にリアルタイムに表示される。また、撮影された動画は、ビデオキャプチャ端末３８に随時入力される。
〈病変部位静止画撮影工程（ステップＳ１３）〉
病変部位静止画撮影工程では、病変部位の静止画の内視鏡画像を撮影する。医師は、内視鏡装置の表示装置により撮影した動画を観察し、動画に病変部位が写った場合に不図示のカメラを操作し、静止画を撮影する。
〈静止画サーバー転送工程（ステップＳ１４）〉
静止画サーバー転送工程では、撮影した静止画を内視鏡管理サーバー４０に転送する。病変部位静止画撮影工程によって撮影された静止画は、不図示の内視鏡装置のカメラから、ビデオキャプチャ端末３８に送信される。ビデオキャプチャ端末３８は、受信した静止画を内視鏡管理サーバー４０に送信する。内視鏡管理サーバー４０は、受信した静止画を検査画像４４として記録する。内視鏡管理サーバー４０は、検査画像４４と共に、検査画像のサイズを縮小させたサムネイル画像を記録してもよい。
〈動画撮影終了工程（ステップＳ１５）〉
動画撮影終了工程では、動画の撮影を終了させる。医師は、内視鏡検査が終了すると、不図示の内視鏡装置のカメラによる動画の撮影を終了する。
〈動画サーバー転送工程（ステップＳ１６）〉
動画サーバー転送工程では、撮影した動画を動画格納ＮＡＳ４６に転送する。撮影された動画は、ビデオキャプチャ端末３８に随時転送され、動画サーバー転送工程においてビデオキャプチャ端末３８から動画格納ＮＡＳ４６に転送される。動画格納ＮＡＳ４６は、転送された動画を検査画像として記録する。
以上により内視鏡検査実施工程が終了する。
〔内視鏡レポート作成工程の詳細〕
内視鏡レポート作成工程では、内視鏡検査実施工程において行った内視鏡検査に関する内視鏡レポート４２を作成する。内視鏡レポート４２は、医師により内視鏡管理レポート端末３２を用いて作成される。
図６は、内視鏡レポート作成工程の詳細の処理を示すフローチャートである。内視鏡レポート作成工程は、キー画像選択工程（ステップＳ２１）、病変マーク工程（ステップＳ２２）、所見診断情報入力工程（ステップＳ２３）、及び終了判定工程（ステップＳ２４）を有している。
〈キー画像選択工程（ステップＳ２１）〉
キー画像選択工程では、医師が内視鏡レポート４２の作成に使用するキー画像を選択する。キー画像とは、例えば病変が明確に写った画像である。表示制御部８４は、内視鏡管理サーバー４０に記録された検査画像をディスプレイ３６に表示する。医師は、入力デバイス３４を用いて、表示された検査画像の中からキー画像を選択する。キー画像の数は限定されない。
〈病変マーク工程（ステップＳ２２）〉
病変マーク工程では、病変の位置を示す病変マークをキー画像に付加する。医師は、入力デバイス３４を用いて、ディスプレイ３６に表示されたキー画像に病変マークを付加する。
〈所見診断情報入力工程（ステップＳ２３）〉
所見診断情報入力工程では、所見情報及び診断情報からなる所見診断情報を入力する。医師は、入力デバイス３４を用いて、内視鏡検査及びキー画像に関する所見診断情報を入力する。
〈終了判定工程（ステップＳ２４）〉
終了判定工程では、選択したキー画像について全ての入力が終了したか否かを判定する。入力が終了していない場合は、ステップＳ２２に戻り、同様の処理を行う。全ての入力が終了した場合は、医師が入力デバイス３４を用いてその旨の入力を行うことで内視鏡レポート４２が完成し、内視鏡レポート作成工程が終了する。
〔ＡＩ学習画像紐付け工程の詳細〕
ＡＩ学習画像紐付け工程では、内視鏡画像と所見診断情報とを紐付けて、ＡＩエンジン５２の学習に使用する学習データを作成する（学習データ収集方法の一例）。ＡＩ学習画像紐付け工程は、内視鏡管理レポート端末３２を用いて行われる。
図７は、ディスプレイ３６に表示された内視鏡レポート作成画面１００の一例を示す図である。前述した内視鏡レポート作成工程（ステップＳ２０）は、内視鏡レポート作成画面１００において行われる。
内視鏡レポート作成画面１００には、症例収録ボタン１０２が表示されている。内視鏡レポート４２の作成後、医師は、入力デバイス３４のマウス等のポインティングデバイスを使用して症例収録ボタン１０２にポインタを合わせてクリックする。この操作により、ディスプレイ３６の表示は、ＡＩ学習画像紐付け画面１１０に移行する。この操作を、終了判定工程（ステップＳ２４）の終了の入力としてもよい。
図８は、ディスプレイ３６に表示されたＡＩ学習画像紐付け画面１１０の一例を示す図である。ＡＩ学習画像紐付け工程は、ＡＩ学習画像紐付け画面１１０において行われる。図８に示すように、ＡＩ学習画像紐付け画面１１０は、画像表示エリア１１２及び所見診断情報表示エリア１１４を有している。
表示制御部８４は、ディスプレイ３６にＡＩ学習画像紐付け画面１１０を表示させる。また、内視鏡管理サーバー４０から、内視鏡レポート作成工程において内視鏡レポート４２が作成された患者の検査画像４４を読み出し、画像表示エリア１１２に表示させる（表示制御工程の一例）。
表示制御部８４は、いずれか１つがアクティブとなる複数のタブを画像表示エリア１１２に表示させる。図８に示す例では、タブ１１６−１、１１６−２、及び１１６−３を表示させている。
表示制御部８４は、紐付け可能な全ての検査画像を１つのグループとして分類し、このグループの検査画像をタブ１１６−１に関連する領域に表示させる。検査画像が静止画であれば静止画のサムネイル画像を表示してもよいし、検査画像が動画であれば動画の先頭画像等の代表画像を表示してもよい。図８に示す例では、タブ１１６−１がアクティブとなっており、紐付け可能な検査画像が画像表示エリア１１２に表示されている。タブ１１６−１には、タブの種類を識別するために「ＡＬＬ」の文字が表示されている。
なお、画像表示エリア１１２における表示画像の大きさは適宜選択可能となっている。図８に示す例では、画像表示エリア１１２に２つの検査画像１１８−１及び１１８−２が表示されているが、表示画像の大きさを相対的に小さく設定することで、表示画像の数量を相対的に多くすることができる。
また、表示制御部８４は、内視鏡管理サーバー４０から内視鏡レポート作成工程において内視鏡レポート４２が作成された患者の所見診断情報を読み出し、所見診断情報表示エリア１１４に表示させる（表示制御工程の一例）。図８に示す例では、２つの所見診断情報１２０−１及び１２０−２が表示されている。所見診断情報１２０−１及び１２０−２には、それぞれ所見診断情報に対応する識別情報１２２−１である番号「１」、及び識別情報１２２−２に対応する番号「２」が付されている。
画像表示エリア１１２に表示されたタブ１１６−２及び１１６−３は、それぞれ所見診断情報１２０−１及び１２０−２に関連したタブである。タブ１１６−２及び１１６−３には、タブの種類を識別するために識別情報１２２−１の番号「１」及び識別情報１２２−２の番号「２」が表示されている。
図９は、ＡＩ学習画像紐付け工程の詳細の処理を示すフローチャートである。ＡＩ学習画像紐付け工程は、ＡＩ学習画像選択工程（ステップＳ３１）、紐付工程（ステップＳ３２）、全画像判定工程（ステップＳ３３）、及び全所見診断情報判定工程（ステップＳ３４）を有している。
〈ＡＩ学習画像選択工程（ステップＳ３１）〉
ＡＩ学習画像選択工程では、ＡＩ学習に使用する検査画像と、その検査画像に関する所見診断情報とを選択する。
医師は、ＡＩ学習画像紐付け画面１１０の画像表示エリア１１２に表示された検査画像のうちの少なくとも１つの検査画像を選択する。また、所見診断情報表示エリア１１４に表示された所見診断情報のうち、選択した検査画像と紐付ける所見診断情報を選択する（受付工程の一例）。そして、入力デバイス３４を用いて、選択した検査画像を選択した所見診断情報の位置にドラッグアンドドロップ操作する。
ドラッグ操作とは、マウスを使用した場合であれば、選択した検査画像の位置にマウスポインタの位置を合わせた状態でマウスの左ボタンをクリック操作し、クリック操作を維持した状態でマウスポインタを移動させる操作である。ドラッグ操作中は、マウスポインタの移動に伴って選択された検査画像が複写されて移動する。また、ドロップ操作とは、ドラッグ操作したマウスポインタ又は複写された検査画像の位置を、選択した所見診断情報の位置に合わせた状態で、マウスの左ボタンを解除する操作である。
図１０は、ＡＩ学習画像紐付け画面１１０において、選択した検査画像１１８−１を、選択した所見診断情報１２０−１に向けてドラッグ操作している状態の一例を示す図である。ドラッグ操作中は、選択した検査画像１１８−１の複写画像１２６がマウスポインタ１２４と共に移動する。
〈紐付工程（ステップＳ３２）〉
紐付工程では、選択された検査画像と所見診断情報とを紐付ける。ここでは、紐付部８６は、ＡＩ学習画像選択工程においてドラッグアンドドロップされた検査画像と所見診断情報とを紐付ける。図１０に示した例では、検査画像１１８−１と所見診断情報１２０−１とが紐付けされる。
このように、検査画像を所見診断情報にドラッグアンドドロップすることで、検査画像と所見診断情報との紐付けを容易に行うことができる。
図１１は、検査画像１１８−１と所見診断情報１２０−１とが紐付けされた後のＡＩ学習画像紐付け画面１１０の一例を示す図である。表示制御部８４は、検査画像１１８−１に紐付けられた所見診断情報１２０−１を示す識別情報１２２−１の番号「１」を、付属表示１２８−１として検査画像１１８−１に付属して表示する。これにより、医師は、検査画像１１８−１が所見診断情報１２０−１に紐付けられたことを確認することができる。
図１２は、さらに検査画像１１８−２と所見診断情報１２０−１との紐付け、及び検査画像１１８−２と所見診断情報１２０−２との紐付けを行った後のＡＩ学習画像紐付け画面１１０の一例を示す図である。
検査画像１１８−２には、識別情報１２２−１の番号「１」を示す付属表示１２８−２、及び識別情報１２２−１の番号「２」を示す付属表示１２８−３が付属して表示されている。これにより、医師は、検査画像１１８−２が所見診断情報１２０−１及び１２０−２に紐付けられたことを確認することができる。
このように、紐付け後の画像に所見診断情報の識別情報を示す付属表示を表示することで、どの所見診断情報に画像を紐付けたのかを識別することが可能となる。また、１つの検査画像を複数の所見診断情報に紐付けた場合に、それぞれの所見診断情報の識別情報が表示されるため、紐付けた全ての所見診断情報を識別することが可能となる。
図９〜図１２に示したＡＩ学習画像紐付け画面１１０は、タブ１１６−１がアクティブにされていたが、医師は入力デバイス３４によりタブ１１６−２又は１１６−３のタブをアクティブにすることができる。
図１３は、図１２に示すＡＩ学習画像紐付け画面１１０において、医師が入力デバイス３４を用いてタブ１１６−２を選択することで、タブ１１６−２がアクティブにされた場合のＡＩ学習画像紐付け画面１１０の一例を示す図である。タブ１１６−２は、所見診断情報１２０−１に関連したタブである。表示制御部８４は、所見診断情報１２０−１に紐付けられた検査画像を１つのグループとして分類し、このグループの検査画像をタブ１１６−２に関連する領域に表示させる。したがって、タブ１１６−２が選択されると、表示制御部８４は、所見診断情報１２０−１に紐付けられた検査画像を画像表示エリア１１２に表示させる。図１３に示す例では、所見診断情報１２０−１に紐付けられた検査画像１１８−１及び１１８−２が表示されている。
また、図１４は、図１２に示すＡＩ学習画像紐付け画面１１０において、医師が入力デバイス３４を用いてタブ１１６−３を選択することで、タブ１１６−３がアクティブにされた場合のＡＩ学習画像紐付け画面１１０の一例を示す図である。タブ１１６−３は所見診断情報１２０−２に関連したタブである。表示制御部８４は、所見診断情報１２０−２に紐付けられた検査画像を１つのグループとして分類し、このグループの検査画像をタブ１１６−３に関連する領域に表示させる。したがって、タブ１１６−３が選択されると、表示制御部８４は所見診断情報１２０−２に紐付けられた検査画像を画像表示エリア１１２に表示させる。図１４に示す例では、所見診断情報１２０−２に紐付けられた検査画像１１８−２が表示されている。
このように、表示制御部８４は、所見診断情報に紐付けられた検査画像を所見診断情報毎のグループに分類し、かつタブを用いてグループ毎に検査画像を切り替え表示させる。したがって、画像表示エリア１１２に表示された複数のタブのうち所望のタブを選択することで、選択したタブに関連する所見診断情報に紐付けされた検査画像のみを表示させることができる。これにより、所見診断情報に紐付けられた画像の抜け漏れを確認することができる。医師は、所見診断情報毎に必要な画像が揃っていることを確認し、過不足があれば再度選択操作を行う。
ここでは１つの検査画像毎にドラッグアンドドロップ操作する例を説明したが、複数の検査画像を選択画像としてドラッグアンドドロップ操作してもよい。図１５は、ＡＩ学習画像紐付け画面１１０において、画像表示エリア１１２に表示された検査画像１１８−３〜１１８−１０のうち、検査画像１１８−３、１１８−７、１１８−８、及び１１８−９を選択した状態の一例を示す図である。ここでは、検査画像１１８−３、１１８−７、１１８−８、及び１１８−９が選択済みであることが認識できるように、外枠を太線で囲み、チェックボックスにチェックを入れている。
この状態から検査画像１１８−３、１１８−７、１１８−８、及び１１８−９をまとめてドラッグアンドドロップ操作することで、一度の操作で検査画像１１８−３、１１８−７、１１８−８、及び１１８−９を所望の所見診断情報に紐付けることができる。
また、複数の検査画像を選択した場合に、選択した検査画像を重ねて表示してもよい。図１６は、ＡＩ学習画像紐付け画面１１０において、選択された検査画像１１８−３、１１８−７、１１８−８、及び１１８−９が重ねて表示されている一例を示す図である。このように選択済み画像を重ねて表示することで、表示画像数を削減することができ、医師が検査画像を選択しやすい表示とすることができる。
図１５に示す場合と同様に、重ねて表示されている状態から検査画像１１８−３、１１８−７、１１８−８、及び１１８−９をまとめてドラッグアンドドロップ操作することで、一度の操作で検査画像１１８−３、１１８−７、１１８−８、及び１１８−９を所望の所見診断情報に紐付けることができる。
ここでは、検査画像を所見診断情報にドラッグアンドドロップ操作する場合について説明したが、所見診断情報を検査画像にドラッグアンドドロップ操作してもよい。
また、紐付操作は、ドラッグアンドドロップ操作に限定されない。図１７は、ＡＩ学習画像紐付け画面１１０において、検査画像を選択後にマウスの右ボタンのクリック操作が行われた状態の一例を示す図である。ここでは、検査画像１１８−３、１１８−７、１１８−８、及び１１８−９が選択されており、その後のクリック操作により右クリックメニュー１３０が表示されている。
右クリックメニュー１３０には、選択した検査画像を所見診断情報１２０−１と紐付けるための「１に紐付け」の選択項目、及び選択した検査画像を所見診断情報１２０−２と紐付けるための「２に紐付け」の選択項目が含まれている。
医師は、右クリックメニュー１３０の「１に紐付け」又は「２に紐付け」の選択項目の位置にマウスポインタを合わせてマウスの左ボタンをクリック操作することで、検査画像１１８−３、１１８−７、１１８−８、及び１１８−９を所見診断情報１２０−１又は１２０−２と紐付けることができる。
〈全画像判定工程（ステップＳ３３）〉
全画像判定工程では、全ての検査画像について所見診断情報を紐付けたか否かを判定する。ここでは、タブ１１６−１に関連する領域に表示された全ての検査画像について判定する。所見診断情報を紐付けていない検査画像が存在する場合は、ステップＳ３１に戻り、同様の処理を行う。全ての検査画像について所見診断情報を紐付けた場合は、ステップＳ３４に移行する。
〈全所見診断情報判定工程（ステップＳ３４）〉
全所見診断情報判定工程では、全ての所見診断情報について検査画像を紐付けたか否かを判定する。ここでは、所見診断情報表示エリア１１４に表示された全ての所見診断情報について判定する。検査画像を紐付けていない所見診断情報が存在する場合は、ステップＳ３１に戻り、同様の処理を行う。
全ての所見診断情報について検査画像を紐付けた場合は、記録制御部８８は、紐付けられた検査画像と所見診断情報とを学習データとして内視鏡管理サーバー４０（記録装置の一例）に記録させ（記録制御工程の一例）、本フローチャートの処理を終了してＡＩ学習画像紐付け工程を終了する。
なお、内視鏡画像と所見診断情報とを紐付けた際に、内視鏡管理サーバー４０に順次記録させてもよい。また、全ての検査画像について所見診断情報を紐付けていない場合、又は全ての所見診断情報について検査画像を紐付けていない場合であっても、ＡＩ学習画像紐付け工程を終了させるようにしてもよい。
〔病理依頼工程の詳細〕
病理依頼工程では、内視鏡検査において採取した病理検体について行うべき病理診断について、依頼書の作成及び病理診断結果の取得を行う。図１８は、病理依頼工程の詳細の処理を示すフローチャートである。病理依頼工程は、生検有無判定工程（ステップＳ４１）、病理依頼作成工程（ステップＳ４２）、病理依頼送信工程（ステップＳ４３）、病理依頼診断工程（ステップＳ４４）、及び全病理依頼終了判定工程（ステップＳ４５）を有している。
〈生検有無判定工程（ステップＳ４１）〉
生検有無判定工程では、医師が病理診断すべき検体が存在するか否かを判定する。病理診断すべき検体が存在しない場合は、本フローチャートの処理を終了し、病理依頼工程を終了する。病理診断すべき検体が存在する場合は、ステップＳ４２に移行する。
〈病理依頼作成工程（ステップＳ４２）〉
病理依頼作成工程では、医師は、内視鏡管理レポート端末３２において、内視鏡検査において取得した病理検体について、内視鏡的所見と病理検体を識別する情報を元に病理依頼を作成する。
〈病理依頼送信工程（ステップＳ４３）〉
病理依頼送信工程では、病理依頼作成工程において作成された病理依頼を、オーダーゲートウェイ７０を経由して電子カルテシステム２２に送信する。電子カルテシステム２２は、受信した病理依頼をオーダーとして管理し、病理システム２４に病理診断を依頼する。
〈病理診断受信工程（ステップＳ４４）〉
病理診断受信工程では、病理システムゲートウェイ７２が病理依頼済み、かつ病理診断結果未受信の検査に対して、病理システム２４から病理診断結果を受信し、内視鏡管理サーバー４０に送信する。内視鏡管理サーバー４０は、受信した病理診断結果を、紐付けられた検査画像及び所見診断情報にさらに紐付けて格納する。
〈全病理依頼終了判定工程（ステップＳ４５）〉
全病理依頼終了判定工程では、取得した全ての病理検体について病理依頼を行ったか否かを判定する。病理依頼を行っていない病理検体がある場合は、ステップＳ４２に戻り、同様の処理を繰り返す。全ての病理検体について病理依頼を行った場合は、本フローチャートの処理を終了し、病理依頼工程を終了する。
〔ＡＩ学習データ出力工程の詳細〕
ＡＩ学習データ出力工程では、ＡＩ学習画像紐付け工程において紐付けられた検査画像及び所見診断情報を、学習データとして出力する。図１９は、ＡＩ学習データ出力工程の詳細の処理を示すフローチャートである。ＡＩ学習データ出力工程は、学習データ検索工程（ステップＳ５１）、静止画及び動画検索工程（ステップＳ５２）、静止画及び動画データ出力工程（ステップＳ５３）を有している。
〈学習データ検索工程（ステップＳ５１）〉
学習データ検索工程では、ＡＩ学習データ出力ゲートウェイ７４は、内視鏡管理サーバー４０に記録された学習データの中から、学習部６４において学習を行っていない未学習データを検索する。例えば、前回ＡＩエンジン５２に学習データを送信した時点での内視鏡管理サーバー４０に記録された学習データと現在の内視鏡管理サーバー４０に記録された学習データとの差分を抽出することで、学習部６４において学習を行っていない学習データを検索する。
〈静止画及び動画検索工程（ステップＳ５２）〉
静止画及び動画検索工程では、ＡＩ学習データ出力ゲートウェイ７４は、内視鏡管理サーバー４０に記録された静止画及び動画格納ＮＡＳ４６の中から、学習データ検索工程において検索された未学習データの静止画及び動画を検索する。
〈静止画及び動画データ出力工程（ステップＳ５３）〉
静止画及び動画データ出力工程では、ＡＩ学習データ出力ゲートウェイ７４は、静止画及び動画検索工程において検索された静止画データ及び動画データと、その静止画及び動画に紐付けられた所見診断情報とを、ＡＩエンジン５２に送信する。病理診断結果が紐付けられている場合は、ＡＩ学習データ出力ゲートウェイ７４は、その病理診断結果を併せてＡＩエンジン５２に送信する。送信された静止画データ等は、学習データ入力部６２から学習部６４に入力される。
〔ＡＩ学習工程（ステップＳ６０）〕
ＡＩ学習工程では、学習部６４は、学習データ入力部６２に入力された学習データによってモデルを学習させる。学習部６４によって学習された学習済みモデルは、識別部５８に入力され、識別部５８のモデルが学習済みモデルに更新される。
以上のように、本実施形態によれば、モデルを適切に学習させることができる。
＜第２の実施形態＞
〔病変位置情報の入力〕
第２の実施形態では、学習データとして検査画像の病変位置情報をさらに含める。病変位置情報は、医師が内視鏡管理レポート端末３２を用いて入力する。本実施形態では、病変位置をバウンディングボックスで記録する。バウンディングボックスとは、病変を含む矩形領域であり、ここでは少なくとも２つの座標位置により特定される。
図２０は、第２の実施形態に係る内視鏡管理レポート端末３２の構成の一例を示すブロック図である。なお、図６に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
内視鏡管理レポート端末３２の受付部８２は、座標受信部８３を備えている。座標受信部８３は、入力デバイス３４から入力されたバウンディングボックスの少なくとも２つの座標位置を受信して受け付ける。
図２１は、病変位置情報入力方法の処理を示すフローチャートである。ここでは、１回の内視鏡検査によって撮影された複数の検査画像について、順に病変位置情報を入力する方法について説明する。病変位置情報入力方法は、検査画像表示工程（ステップＳ７１）、矩形領域入力工程（ステップＳ７２）、病変位置情報紐付工程（ステップＳ７３）、及び終了判定工程（ステップＳ７４）を有している。
〈検査画像表示工程（ステップＳ７１）〉
検査画像表示工程では、表示制御部８４は、内視鏡管理サーバー４０に記録された検査画像のうち該当する内視鏡検査の検査画像の１つをディスプレイ３６に表示する。
図２２は、ディスプレイ３６に表示された病変位置情報入力画面１４０の一例を示す図である。病変位置情報入力は、病変位置情報入力画面１４０において行われる。図２２に示す病変位置情報入力画面１４０には、検査画像１４２−１が表示されている。また、検査画像１４２−１には、病変Ｌが含まれている。
〈矩形領域入力工程（ステップＳ７２）〉
矩形領域入力工程では、ディスプレイ３６に表示された検査画像に対して、医師が病変位置を含む矩形領域を入力する。矩形領域の入力は、矩形領域の左上の１点目を指定し、さらに矩形領域の１点目の対角となる右下の２点目を指定することで行う。１点目及び２点目の指定は、例えば入力デバイス３４のマウスの操作、又はタッチパネルによる指の操作等によって行う。
図２２〜図２５は、病変位置情報入力画面１４０において、マウスの操作によって矩形領域を入力する一例を示す図である。検査画像１４２−１の病変Ｌを含む最小面積の矩形領域は、左上の位置が位置Ｐ１、右下の位置が位置Ｐ２であるとする。ここでは、左上の位置が位置Ｐ１、右下の位置が位置Ｐ２である矩形領域を入力する場合について説明する。
表示制御部８４は、病変位置情報入力画面１４０に、マウスポインタ１４４、ガイドライン１４６、及びガイドライン１４８を表示させる。即ち、図２２に示すように、病変位置情報入力画面１４０には、マウスポインタ１４４が表示される。また、病変位置情報入力画面１４０には、マウスポインタ１４４の垂直方向位置及び水平方向位置を見やすく示すための垂直方向のガイドライン１４６、及び水平方向のガイドライン１４８が表示される。ガイドライン１４６及び１４８の交点がマウスポインタ１４４の位置である。
医師が矩形領域を入力するには、最初に、図２２に示すように、マウスポインタ１４４を位置Ｐ１に移動させる。続いて、マウスポインタ１４４を位置Ｐ１に合わせた状態でマウスの左ボタンを押すクリック操作を行い、クリック操作を維持した状態でマウスポインタ１４４を位置Ｐ２に向けて移動させるドラッグ操作を行う。図２３は、位置Ｐ１から位置Ｐ２に到達するまでのドラッグ操作中の状態を示す図である。図２３に示すように、ドラッグ操作中は、ドラッグ開始位置（ここでは位置Ｐ１）と現在のマウスポインタ１４４の位置とを対角とする矩形１５０が表示される。
さらにドラッグ操作を継続し、図２４に示すようにマウスポインタ１４４を位置Ｐ２へ移動させたら、マウスポインタ１４４が位置Ｐ２に合わせた状態でマウスのクリック操作を解除する。
この操作により、左上の位置が位置Ｐ１、右下の位置が位置Ｐ２である矩形１５０がバウンディングボックス１５２として確定する。受付部８２の座標受信部８３は、バウンディングボックス１５２の左上の位置Ｐ１のディスプレイ３６内の座標（Ｘ１，Ｙ１）、及び右下の位置Ｐ２のディスプレイ３６内の座標（Ｘ２，Ｙ２）を受信する。
なお、ここでは、病変Ｌを含む最小面積の矩形領域を入力したが、矩形領域が病変Ｌを含んでいれば最小面積の矩形領域でなくてもよい。
タッチパネルを用いて矩形領域を入力する場合は、例えば、矩形領域の１点目とする位置に指で触れ、タッチパネルに指を触れたまま、矩形領域の２点目とする位置まで指を移動させ、タッチパネルから離せばよい。また、２本の指を用いて１点目及び２点目を同時に指定してもよい。
〈病変位置情報紐付工程（ステップＳ７３）〉
病変位置情報紐付工程では、紐付部８６は、矩形領域入力工程において入力された矩形領域から病変位置情報を算出し、算出した病変位置情報を検査画像に紐付ける。
紐付部８６は、表示制御部８４がディスプレイ３６に表示させた検査画像１４２−１のディスプレイ３６内の座標を取得する。この検査画像１４２−１のディスプレイ３６内の座標とバウンディングボックス１５２のディスプレイ３６内の座標とから、検査画像１４２−１内におけるバウンディングボックス１５２の座標を病変位置情報として算出する。
記録制御部８８は、算出した病変位置情報を検査画像に紐付けて内視鏡管理サーバー４０に記録させる。
〈終了判定工程（ステップＳ７４）〉
終了判定工程では、全ての検査画像について病変位置情報を紐付けたか否かを判定する。病変位置情報を紐付けていない検査画像が存在する場合は、ステップＳ７１へ戻り、同様の処理を繰り返す。即ち、図２５に示すように、表示制御部８４は、検査画像１４２−１の次の検査画像である検査画像１４２−２をディスプレイ３６に表示する。
矩形領域入力工程においてドラッグ操作を終了し、検査画像１４２−１の矩形領域の入力が終了すると、ただちに検査画像１４２−２が表示される。このように、ドラッグ操作終了以外の操作を待たずに次の検査画像を表示させることで、矩形領域の入力を迅速に行うことができる。なお、ドラッグ操作終了後に次の検査画像を表示させるためのボタン等をクリックすることで、次の検査画像を表示させてもよい。このように次の検査画像を表示させることで、１つの画像について複数の矩形領域を入力させることができる。
全ての検査画像について病変位置情報を紐付けた場合は、本フローチャートの処理を終了する。
本実施形態に係る病変位置情報の入力は、例えば、第１実施形態のＡＩ学習画像選択工程（ステップＳ３１）の前に行うことができる。また、紐付工程（ステップＳ３２）の後に、所見診断情報が紐付けられた検査画像に対してのみ行うことが考えられる。病変マーク工程（ステップＳ２２）において、同様の処理を行ってもよい。
また、学習データ検索工程（ステップＳ５１）において、病変位置情報が付加されている条件で検索を行うようにすることも考えられる。また、検索条件として病変位置情報の面積を使用することも考えられる。
本実施形態では、矩形領域の１点目を左上、２点目を右下として指定したが、対角となる２点を指定できればよく、指定する位置と順序は限定されない。また、矩形領域の角は丸まっていてもよい。病変位置情報は円形領域であってもよい。
図２６は、円形領域を入力する一例について示す図である。マウスポインタ１４４を病変Ｌの中心位置である位置Ｐ３に合わせた状態でマウスの左ボタンを押してドラッグ操作を行うと、位置Ｐ３を中心とする円形領域１５４が広がる。この円形領域１５４が病変Ｌを含む位置においてドラッグ操作を解除することで、円形領域を入力することができる。
紐付部８６は、ディスプレイ３６における円形領域１５４の中心座標と中心座標からの距離（円形領域の半径）を検査画像１４２−１内における中心座標及び中心座標からの距離に変換し、病変位置情報として取得する。
また、３つの点を指定することで楕円領域を入力してもよい。この場合、１点目に中心座標、２点目に水平方向の中心座標からの距離、３点目に垂直方向の中心座標からの距離を指定する等が考えられる。
さらに、検査画像表示工程において新たな検査画像を表示する際に、１つ前の検査画像の矩形領域入力で用いたバウンディングボックスを表示させてもよい。図２７に示す例では、２つ目の検査画像１４２−２の矩形領域入力の際に、１つ目の検査画像１４２−１のバウンディングボックス１５６を表示している。また、図２８に示す例では、２つ目の検査画像１４２−２の円形領域入力の際に、１つ目の検査画像１４２−１の円形領域１５８を表示している。
同じ病変の場合は同様の位置及び同様の大きさで写ることが多いため、以前に指定した位置を目安として表示することで、病変位置の指定が容易になる。
＜第３の実施形態＞
第１の実施形態において生成された学習済みモデルを用いて医療画像を解析する医療画像処理装置を備えた内視鏡装置について説明する。
図２９は、内視鏡装置９０の構成の一例を示すブロック図である。内視鏡装置９０は、例えば内視鏡部門ローカルＬＡＮ３０（図１参照）に接続される。内視鏡装置９０は、内視鏡９１、医療画像処理装置９４、及び表示装置９８を備えている。
内視鏡９１は、光源９２及びカメラ９３を備えている。光源９２は、患者の体腔内の被観察領域に照射光を照射する。カメラ９３は、被観察領域からの反射光を受光して被観察領域の内視鏡画像を撮影する。
医療画像処理装置９４（内視鏡画像処理装置の一例）は、医療画像取得部９５、医療画像解析処理部９６、及び医療画像解析結果取得部９７を備えている。
医療画像取得部９５は、医療画像を取得する。本実施形態では、内視鏡９１によって撮影された内視鏡画像を取得する。
医療画像解析処理部９６は、医療画像取得部９５によって取得された医療画像を解析する。本実施形態では、第１の実施形態において生成された学習済みモデルを用いて内視鏡画像から病変を識別する。
医療画像解析結果取得部９７は、医療画像解析処理部９６における解析結果を取得する。
表示装置９８は、例えば液晶モニタが適用される。表示装置９８には、内視鏡９１により撮影された内視鏡画像、及び医療画像解析結果取得部９７において取得された解析結果が表示される。本実施形態では、識別した病変の領域を着色して内視鏡画像に重畳表示させる。病変の領域を枠で囲んで重畳表示させてもよい。
このように構成された内視鏡装置９０によれば、撮影中の内視鏡画像から学習済みモデルによって病変を識別し、内視鏡検査を行う医師に病変を認識させることができる。
ここでは、医療画像処理装置９４を内視鏡装置９０に設けた場合について説明したが、内視鏡管理レポート端末３２、又はビデオキャプチャ端末３８に設けてもよい。
＜付記＞
上述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
〔付記１〕
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
〔付記２〕
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
〔付記３〕
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
〔付記４〕
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
〔付記５〕
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
〔付記６〕
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
〔付記７〕
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
〔付記８〕
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
〔付記９〕
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
〔付記１０〕
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
〔付記１１〕
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
〔付記１２〕
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
〔付記１３〕
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
〔付記１４〕
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
〔付記１５〕
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
〔付記１６〕
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
〔付記１７〕
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Red Green Blue）あるいはＣＭＹ（Cyan, Magenta, Yellow）の色情報に基づく演算により得る医療画像処理装置。
〔付記１８〕
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
〔付記１９〕
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
〔付記２０〕
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
〔付記２１〕
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
＜その他＞
上記の画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
ここまで説明した実施形態において、例えば、学習データ収集装置８０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバー及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０…内視鏡画像学習システム
２０…院内ＬＡＮ
２２…電子カルテシステム
２４…病理システム
３０…内視鏡部門ローカルＬＡＮ
３２…内視鏡管理レポート端末
３４…入力デバイス
３６…ディスプレイ
３８…ビデオキャプチャ端末
４０…内視鏡管理サーバー
４２…内視鏡レポート
４４…検査画像
４６…動画格納ＮＡＳ
５０…ＡＩ学習ＬＡＮ
５２…ＡＩエンジン
５４…入力部
５６…特徴量抽出部
５８…識別部
６０…出力部
６２…学習データ入力部
６４…学習部
７０…オーダーゲートウェイ
７２…病理システムゲートウェイ
７４…ＡＩ学習データ出力ゲートウェイ
８０…学習データ収集装置
８２…受付部
８３…座標受信部
８４…表示制御部
８６…紐付部
８８…記録制御部
９０…内視鏡装置
９１…内視鏡
９２…光源
９３…カメラ
９４…医療画像処理装置
９５…医療画像取得部
９６…医療画像解析処理部
９７…医療画像解析結果取得部
１００…内視鏡レポート作成画面
１０２…症例収録ボタン
１１０…ＡＩ学習画像紐付け画面
１１２…画像表示エリア
１１４…所見診断情報表示エリア
１１６−１〜１１６−３…タブ
１１８−１〜１１８−１０…検査画像
１２０−１，１２０−２…所見診断情報
１２２−１，１２２−２…識別情報
１２４，１４４…マウスポインタ
１２６…複写画像
１２８−１〜１２８−３…付属表示
１３０…右クリックメニュー
１４０…病変位置情報入力画面
１４２−１，１４２−２…検査画像
１４６，１４８…ガイドライン
１５０…矩形
１５２，１５６…バウンディングボックス
１５４，１５８…円形領域
Ｓ１０〜Ｓ６０…学習方法の各工程
Ｓ７１〜Ｓ７４…病変位置情報入力方法の各工程
学習データ入力部６２は、モデルを学習させるための学習データが入力される。学習部６４は、識別部５８のモデルと同様のモデルを備えている。学習部６４は、学習データ入力部６２に入力された学習データによってモデルを学習させる。学習部６４によって学習された学習済みモデルは、識別部５８に入力される。これにより、識別部５８のモデルが学習済みモデルに更新される。
再び図１の説明に戻り、電子カルテシステム２２と内視鏡管理サーバー４０とは、オーダーゲートウェイ７０を介して接続されている。オーダーゲートウェイ７０は、１台のコンピューターサーバーから構成される。オーダーゲートウェイ７０は、電子カルテシステム２２又は不図示のオーダーリングシステムから、検査情報及び患者情報を受信し、内視鏡管理サーバー４０に検査オーダー情報を送信する。内視鏡管理サーバー４０は、受信した検査オーダー情報を記録する。
検査画像１１８−２には、識別情報１２２−１の番号「１」を示す付属表示１２８−２、及び識別情報１２２−２の番号「２」を示す付属表示１２８−３が付属して表示されている。これにより、医師は、検査画像１１８−２が所見診断情報１２０−１及び１２０−２に紐付けられたことを確認することができる。
〔病理依頼工程の詳細〕
病理依頼工程では、内視鏡検査において採取した病理検体について行うべき病理診断について、依頼書の作成及び病理診断結果の取得を行う。図１８は、病理依頼工程の詳細の処理を示すフローチャートである。病理依頼工程は、生検有無判定工程（ステップＳ４１）、病理依頼作成工程（ステップＳ４２）、病理依頼送信工程（ステップＳ４３）、病理診断受診工程（ステップＳ４４）、及び全病理依頼終了判定工程（ステップＳ４５）を有している。
〈静止画及び動画検索工程（ステップＳ５２）〉
静止画及び動画検索工程では、ＡＩ学習データ出力ゲートウェイ７４は、内視鏡管理サーバー４０に記録された静止画及び動画格納ＮＡＳ４６に記録された動画の中から、学習データ検索工程において検索された未学習データの静止画及び動画を検索する。
図２０は、第２の実施形態に係る内視鏡管理レポート端末３２の構成の一例を示すブロック図である。なお、図２に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
本実施形態では、矩形領域の１点目を左上、２点目を右下として指定したが、対角となる２点を指定できればよく、指定する位置と順序は限定されない。また、矩形領域の角は丸まっていてもよい。病変位置情報は円形領域で入力されてもよい。

Claims (17)

  1. 内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を前記表示装置の所見診断情報表示エリアに表示させる表示制御部と、
    入力装置による操作であって、前記画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、前記所見診断情報表示エリアに表示された所見診断情報のうち前記少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付部と、
    前記選択された内視鏡画像と前記選択された所見診断情報とを紐付ける紐付部と、
    前記紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御部と、
    を備え、
    前記表示制御部は、前記紐付部において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いて前記グループ毎に内視鏡画像を切り替え表示させる学習データ収集装置。
  2. 前記受付部は、前記入力装置によって１つのタブを選択する操作を受け付け、
    前記表示制御部は、前記選択されたタブのグループに分類された内視鏡画像を前記画像表示エリアに表示させる請求項１に記載の学習データ収集装置。
  3. 前記表示制御部は、選択可能な全ての内視鏡画像を１つのグループとして分類する請求項１又は２に記載の学習データ収集装置。
  4. 前記受付部は、前記画像表示エリアに表示された内視鏡画像のうちの少なくとも１つの内視鏡画像を前記所見診断情報表示エリアに表示された所見診断情報にドラッグアンドドロップする操作を受け付け、
    前記紐付部は、前記ドラッグアンドドロップされた内視鏡画像と所見診断情報とを紐付ける請求項１から３のいずれか１項に記載の学習データ収集装置。
  5. 前記受付部は、前記所見診断情報表示エリアに表示された所見診断情報のうちの少なくとも１つの所見診断情報を前記画像表示エリアに表示された内視鏡画像にドラッグアンドドロップする操作を受け付け、
    前記紐付部は、前記ドラッグアンドドロップされた内視鏡画像と所見診断情報とを紐付ける請求項１から４のいずれか１項に記載の学習データ収集装置。
  6. 前記表示制御部は、内視鏡画像に付属させて前記紐付けられた所見診断情報を示す識別情報を前記画像表示エリアに表示させる請求項１から５のいずれか１項に記載の学習データ収集装置。
  7. 前記表示制御部は、前記識別情報を前記タブに表示させる請求項６に記載の学習データ収集装置。
  8. 前記識別情報は、所見診断情報に対応する番号である請求項６又は７に記載の学習データ収集装置。
  9. 前記表示制御部は、所見診断情報に付属させて前記識別情報を前記所見診断情報表示エリアに表示させる請求項６から８のいずれか１項に記載の学習データ収集装置。
  10. 前記表示制御部は、前記選択された画像を重ねて表示する請求項１から９のいずれか１項に記載の学習データ収集装置。
  11. 前記受付部は、前記内視鏡画像に写った病変の位置情報を指定する操作を受け付け、
    前記記録制御部は、前記指定された位置情報を前記学習データとして前記記録装置に記録させる請求項１から１０のいずれか１項に記載の学習データ収集装置。
  12. 表示装置と、
    入力装置と、
    記録装置と、
    請求項１から１１のいずれか１項に記載の学習データ収集装置と、
    モデルを用いて内視鏡画像から病変を識別する識別器と、
    を備え、
    前記学習データを用いて前記モデルを学習させる学習システム。
  13. 請求項１２に記載の学習システムによって学習された学習済みモデル。
  14. 請求項１３に記載の学習済みモデルを用いて内視鏡画像を解析する内視鏡画像処理装置。
  15. 内視鏡によって撮影された１つ又は複数の内視鏡画像を表示装置の画像表示エリアに表示させ、かつ病変に関する１つ又は複数の所見診断情報を前記表示装置の所見診断情報表示エリアに表示させる表示制御工程と、
    入力装置による操作であって、前記画像表示エリアに表示された内視鏡画像のうち少なくとも１つの内視鏡画像と、前記所見診断情報表示エリアに表示された所見診断情報のうち前記少なくとも１つの内視鏡画像に関する所見診断情報とを選択する操作を受け付ける受付工程と、
    前記選択された内視鏡画像と前記選択された所見診断情報とを紐付ける紐付工程と、
    前記紐付けられた内視鏡画像と所見診断情報とを、内視鏡画像から病変を識別するモデルの学習に使用する学習データとして記録装置に記録させる記録制御工程と、
    を備え、
    前記表示制御工程は、前記紐付工程において所見診断情報に紐付けられた内視鏡画像を所見診断情報毎のグループに分類し、かつタブを用いて前記グループ毎に内視鏡画像を切り替え表示させる学習データ収集方法。
  16. 請求項１５に記載の学習データ収集方法をコンピュータに実行させるためのプログラム。
  17. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項１６に記載のプログラムをコンピュータに実行させる記録媒体。
JP2020521812A 2018-05-28 2019-05-07 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置 Active JP7042907B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018101498 2018-05-28
JP2018101498 2018-05-28
PCT/JP2019/018231 WO2019230302A1 (ja) 2018-05-28 2019-05-07 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置

Publications (2)

Publication Number Publication Date
JPWO2019230302A1 true JPWO2019230302A1 (ja) 2021-06-24
JP7042907B2 JP7042907B2 (ja) 2022-03-28

Family

ID=68696941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020521812A Active JP7042907B2 (ja) 2018-05-28 2019-05-07 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置

Country Status (5)

Country Link
US (1) US11776692B2 (ja)
EP (1) EP3806101A4 (ja)
JP (1) JP7042907B2 (ja)
CN (1) CN112189236B (ja)
WO (1) WO2019230302A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7015275B2 (ja) * 2018-12-04 2022-02-02 Hoya株式会社 モデルの生成方法、教師データの生成方法、および、プログラム
JP7462424B2 (ja) * 2020-01-15 2024-04-05 キヤノンメディカルシステムズ株式会社 医用情報処理装置、学習用データ生成プログラムおよび学習用データ生成方法
WO2021166749A1 (ja) * 2020-02-18 2021-08-26 ソニー・オリンパスメディカルソリューションズ株式会社 学習装置及び医療用画像処理装置
JPWO2022044642A1 (ja) * 2020-08-28 2022-03-03
JP2024112325A (ja) * 2021-04-26 2024-08-21 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
JP7190534B1 (ja) * 2021-06-14 2022-12-15 アサヒ飲料株式会社 微生物の検出方法
KR102672710B1 (ko) * 2023-07-06 2024-06-05 주식회사 서르 내시경 영상 합성 장치 및 합성 방법
CN117115241B (zh) * 2023-09-06 2024-03-29 北京透彻未来科技有限公司 一种追寻数字病理图像在缩放过程中中心焦点的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002336193A (ja) * 2001-05-17 2002-11-26 Olympus Optical Co Ltd 診断支援装置
JP2007209770A (ja) * 2007-03-16 2007-08-23 Olympus Corp 内視鏡診断支援装置
US20140101080A1 (en) * 2012-09-28 2014-04-10 Samsung Electronics Co., Ltd. Apparatus and method of diagnosis using diagnostic models
JP2015146970A (ja) * 2014-02-07 2015-08-20 国立大学法人広島大学 内視鏡画像診断支援システム
JP2017189390A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6697743B2 (ja) 2015-09-29 2020-05-27 パナソニックＩｐマネジメント株式会社 情報端末の制御方法及びプログラム
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法
JP7138771B2 (ja) * 2019-03-18 2022-09-16 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002336193A (ja) * 2001-05-17 2002-11-26 Olympus Optical Co Ltd 診断支援装置
JP2007209770A (ja) * 2007-03-16 2007-08-23 Olympus Corp 内視鏡診断支援装置
US20140101080A1 (en) * 2012-09-28 2014-04-10 Samsung Electronics Co., Ltd. Apparatus and method of diagnosis using diagnostic models
JP2015146970A (ja) * 2014-02-07 2015-08-20 国立大学法人広島大学 内視鏡画像診断支援システム
JP2017189390A (ja) * 2016-04-13 2017-10-19 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
EP3806101A4 (en) 2021-07-21
CN112189236B (zh) 2024-07-23
US20210052137A1 (en) 2021-02-25
WO2019230302A1 (ja) 2019-12-05
CN112189236A (zh) 2021-01-05
EP3806101A1 (en) 2021-04-14
US11776692B2 (en) 2023-10-03
JP7042907B2 (ja) 2022-03-28

Similar Documents

Publication Publication Date Title
JP7042907B2 (ja) 学習データ収集装置、学習データ収集方法及びプログラム、学習システム、学習済みモデル、並びに内視鏡画像処理装置
US20220092362A1 (en) Medical image processing device, medical image processing method, and medical image processing program
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
WO2021147429A1 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
CN103975364B (zh) 针对宫颈的光学检查的图像选择
WO2021145265A1 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JPH10510187A (ja) 網膜検査及び治療のための電子造影装置
JP6644530B2 (ja) 内視鏡業務支援システム
WO2017199635A1 (ja) 画像解析装置、画像解析システム、及び画像解析装置の作動方法
WO2020174863A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
US12016739B2 (en) Systems and methods for capturing, displaying, and manipulating medical images and videos
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
JP2008259661A (ja) 検査情報処理システム及び検査情報処理装置
Lampreave et al. Towards assisted electrocardiogram interpretation using an AI-enabled Augmented Reality headset
JP7547057B2 (ja) 医療用画像処理装置、医療用画像処理装置の制御方法、及びプログラム
WO2022080141A1 (ja) 内視鏡撮影装置、方法およびプログラム
JP2010282355A (ja) 医療検査情報管理システム
JP4459642B2 (ja) 電子カルテ入力システム、電子カルテ作成処理をコンピュータに実行させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な情報記録媒体
JP2006048665A (ja) 画像管理装置及び画像管理方法
JP7427766B2 (ja) 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム
WO2023282143A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
JP2024111693A (ja) 処理装置、処理プログラム、処理方法及び処理システム
JP2022184272A (ja) 情報処理装置、情報処理方法及びプログラム
CN117500426A (zh) 医疗图像处理装置、内窥镜系统及医疗图像处理装置的工作方法
JPWO2019202982A1 (ja) 内視鏡装置、内視鏡操作方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220315

R150 Certificate of patent or registration of utility model

Ref document number: 7042907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150