JP7413216B2 - 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム - Google Patents

学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム Download PDF

Info

Publication number
JP7413216B2
JP7413216B2 JP2020154638A JP2020154638A JP7413216B2 JP 7413216 B2 JP7413216 B2 JP 7413216B2 JP 2020154638 A JP2020154638 A JP 2020154638A JP 2020154638 A JP2020154638 A JP 2020154638A JP 7413216 B2 JP7413216 B2 JP 7413216B2
Authority
JP
Japan
Prior art keywords
surgical tool
image
learning
radiation
learning device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020154638A
Other languages
English (en)
Other versions
JP2022048676A (ja
Inventor
紳 浜渦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020154638A priority Critical patent/JP7413216B2/ja
Priority to US17/469,618 priority patent/US12039005B2/en
Publication of JP2022048676A publication Critical patent/JP2022048676A/ja
Application granted granted Critical
Publication of JP7413216B2 publication Critical patent/JP7413216B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Urology & Nephrology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラムに関するものである。
患者の外科的手術を行う際には、出血を抑えるためのガーゼ、傷口または切開部分を縫うための糸と縫合針、切開のためのメスおよび鋏、血液を排出するためのドレイン、並びに切開部分を開くための鉗子等の様々な手術用具が使用される。このような手術用具は、手術後に患者の体内に残存していると、重篤な合併症を発生する恐れがある。したがって、手術後は患者の体内に手術用具が残存していないことを確認する必要がある。
このため、ガーゼの画像の特徴を機械学習した学習済みモデルを判別器として用意し、手術野をカメラにより撮影することにより取得した画像を判別器に入力して、ガーゼの有無を判別する手法が提案されている（特許文献１参照）。
また、放射線画像からステント等の対象物を含む周辺領域を切り出して得られた画像部分を対象物の正解画像とし、正解画像と対象物以外の不正解画像とを教師データとして学習した判別器を用いて、放射線画像から画像認識により対象物を検出する手法も提案されている（特許文献２参照）。
特開２０１８－０６８８６３号公報 特開２０１７－１８５００７号公報
しかしながら、ガーゼは血に染まるため、カメラにより取得した画像ではガーゼを発見することは判別器を用いたとしても困難である。また、縫合針のように小さな手術用具は、内臓の間に入り込んでしまう可能性があるため、カメラにより取得した画像では、判別器を用いたとしても発見することは困難である。一方、特許文献２に記載された手法において、ガーゼ等の手術用具を対象物として使用することによって学習された判別器を用いることにより、放射線画像から対象物を検出することができる。しかしながら、判別器の学習のために必要な、対象物が残存した放射線画像は極めて稀であるため、判別器の学習のために大量に収集することは困難である。その結果、判別器となる学習モデルを十分に学習することができない。
本開示は上記事情に鑑みなされたものであり、十分に学習された学習済みモデルを構築できるようにすることを目的とする。
本開示による学習装置は、少なくとも１つのプロセッサを備え、
プロセッサは、手術用具を含まない複数の放射線画像、および手術用具を含む複数の手術用具画像のそれぞれを、単独で教師データとして用いた機械学習を行うことにより、入力された放射線画像から手術用具の領域を検出するための学習済みモデルを構築する。
なお、本開示による学習装置においては、手術用具画像は、手術用具のみを放射線撮影することにより取得した放射線画像であってもよい。
また、本開示による学習装置においては、手術用具画像は、放射線撮影以外の手法により取得されてなり、放射線撮影された画像に相当する画質を有するものであってもよい。
また、本開示による学習装置においては、プロセッサは、手術用具の３次元モデルを予め定められたパラメータにしたがって２次元に投影することにより、手術用具画像を導出するものであってもよい。
また、本開示による学習装置においては、プロセッサは、手術用具画像における手術用具のコントラスト、手術用具画像における手術用具の濃度、および手術用具画像に含まれるノイズの少なくとも１つに応じて、パラメータを設定するものであってもよい。
また、本開示による学習装置においては、手術用具は、ガーゼ、メス、鋏、ドレイン、縫合針、糸および鉗子の少なくとも１つを含むものであってもよい。
この場合、ガーゼは、放射線吸収糸を少なくとも一部に含むものであってもよい。
本開示による学習済みモデルは、本開示による学習装置により構築されてなる。
本開示による放射線画像処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、放射線画像を取得し、
本開示による学習装置により構築された学習済みモデルを用いて放射線画像から手術用具の領域を検出する。
本開示による学習方法は、手術用具を含まない複数の放射線画像、および手術用具を含む複数の手術用具画像のそれぞれを、単独で教師データとして用いた機械学習を行うことにより、入力された放射線画像から手術用具の領域を検出するための学習済みモデルを構築する。
本開示による放射線画像処理方法は、放射線画像を取得し、
本開示による学習装置により構築された学習済みモデルを用いて放射線画像から手術用具の領域を検出する。
なお、本開示による学習方法および放射線画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、十分に学習された学習済みモデルを構築できる。
本開示の実施形態による学習装置および放射線画像処理装置を適用した放射線画像撮影システムの構成を示す概略ブロック図 本実施形態による放射線画像処理装置の概略構成を示す図 本実施形態による放射線画像処理装置の機能的な構成を示す図 教師データとして用いる放射線画像を示す図 手術用具としてのガーゼの画像を示す図 教師データとして用いる手術用具画像を示す図 手術用具画像の導出を説明するための図 手術用具画像における正解データを説明するための図 学習モデルの機械学習を概念的に示す図 手術用具が検出された場合の対象放射線画像の表示画面を示す図 手術用具が検出されなかった場合の対象放射線画像の表示画面を示す図 本実施形態における学習処理のフローチャート 本実施形態における検出処理のフローチャート
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による学習装置および放射線画像処理装置を適用した放射線画像撮影システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による放射線画像撮影システム１００は、外科的手術を行った後の、患者である被写体の放射線画像を取得して、放射線画像に含まれる手術用具を検出するためのものである。本実施形態による放射線画像撮影システム１００は、撮影装置１、コンソール２、画像保存システム６および放射線画像処理装置７を備える。
撮影装置１は、Ｘ線源等の放射線源４から発せられ、被写体Ｈを透過した放射線を放射線検出器５に照射することにより、手術台３に仰臥した被写体Ｈの放射線画像を取得するための撮影装置である。放射線画像はコンソール２に入力される。
また、放射線検出器５は、可搬型の放射線検出器であり、手術台３に設けられた取付部３Ａにより手術台３に取り付けられている。なお、放射線検出器５は、手術台３に固定されたものであってもよい。
コンソール２は、無線通信ＬＡＮ（Local Area Network）等のネットワークを介して、不図示のＲＩＳ（Radiology Information System）等から取得した撮影オーダおよび各種情報と、技師等により直接行われた指示等とを用いて、撮影装置１の制御を行う機能を有している。一例として、本実施形態では、サーバコンピュータをコンソール２として用いている。
画像保存システム６は、撮影装置１により撮影された放射線画像の画像データを保存するシステムである。画像保存システム６は、保存している放射線画像から、コンソール２および放射線画像処理装置７等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム６の具体例としては、ＰＡＣＳ（Picture Archiving and Communication Systems）が挙げられる。
次に、本実施形態に係る放射線画像処理装置について説明する。なお、本実施形態による放射線画像処理装置７は、本実施形態による学習装置を内包するものであるが、以降の説明においては、放射線画像処理装置にて代表させるものとする。
まず、図２を参照して、本実施形態による放射線画像処理装置のハードウェア構成を説明する。図２に示すように、放射線画像処理装置７は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を備える。また、放射線画像処理装置７は、液晶ディスプレイ等のディスプレイ１４、キーボードおよびマウス等の入力デバイス１５、並びにネットワークに接続されるネットワークＩ／Ｆ（InterFace）１７を備える。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、放射線画像処理装置７にインストールされた学習プログラム２１および放射線画像処理プログラム２２が記憶される。ＣＰＵ１１は、ストレージ１３から学習プログラム２１および放射線画像処理プログラム２２を読み出してからメモリ１６に展開し、展開した学習プログラム２１および放射線画像処理プログラム２２を実行する。
なお、学習プログラム２１および放射線画像処理プログラム２２は、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて放射線画像処理装置７を構成するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体から放射線画像処理装置７を構成するコンピュータにインストールされる。
次いで、本実施形態による放射線画像処理装置の機能的な構成を説明する。図３は、本実施形態による放射線画像処理装置の機能的な構成を示す図である。図３に示すように，放射線画像処理装置（学習装置）７は、画像取得部３１、導出部３２、学習部３３、検出部３４および表示制御部３５を備える。そして、ＣＰＵ１１が、学習プログラム２１および放射線画像処理プログラム２２を実行することにより、画像取得部３１、導出部３２、学習部３３、検出部３４および表示制御部３５として機能する。
なお、画像取得部３１、導出部３２および学習部３３が、本実施形態による学習装置の一例である。画像取得部３１、検出部３４および表示制御部３５が、本実施形態による放射線画像処理装置７の一例である。
画像取得部３１は、画像保存システム６からネットワークＩ／Ｆ１７を介して、手術用具を含まない複数の放射線画像Ｇ０を、後述する学習モデルＭ０を学習するための教師データとして取得する。図４は放射線画像Ｇ０を示す図である。なお、図４は人体の胸部を対象部位とした放射線画像Ｇ０を示すが、放射線画像Ｇ０に含まれる対象部位はこれに限定されるものではない。また、画像取得部３１は、放射線源４を駆動して手術後の被写体Ｈに放射線を照射し、被写体Ｈを透過した放射線を放射線検出器５により検出することにより、手術用具の検出処理の対象となる対象放射線画像Ｔ０も取得する。
また、画像取得部３１は、学習モデルＭ０を学習するための教師データとして、手術用具を表す複数の手術用具画像Ｅ０も画像保存システム６から取得する。手術用具画像Ｅ０は、手術用具を放射線撮影することにより取得された画像であってもよく、放射線撮影以外の手法により取得された画像であってもよい。手術用具画像Ｅ０が放射線撮影以外の手法により取得されたものである場合、放射線撮影された画像に相当する画質を有するものであることが好ましい。
放射線撮影以外の手法により取得された手術用具画像Ｅ０は、コンピュータグラフィックス等により作成された手術用具を表す３次元モデルを、予め定められたパラメータにより２次元に投影した画像である。手術用具画像Ｅ０は、画像保存システム６に保存されたものを取得するようにしてもよいが、本実施形態においては、手術用具を表す３次元モデルを画像保存システム６から取得し、後述する導出部３２において３次元モデルから手術用具画像Ｅ０を導出するようにしてもよい。
ここで、本実施形態においては、手術用具として、ガーゼを用いるものとする。図５はガーゼを示す図である。図５に示すように、ガーゼ４０は綿糸が平織りされてなる生地であり、その一部に放射線吸収糸４１が織り込まれている。綿糸は放射線を透過するが、放射線吸収糸４１は放射線を吸収する。このため、ガーゼ４０を放射線撮影することにより取得される放射線画像には、線状の放射線吸収糸４１のみが含まれる。ここで、手術の際には、出血を吸収するために、ガーゼ４０は丸められて人体内に挿入される。このため、手術用具画像Ｅ０を放射線撮影以外の手法により取得する場合、ガーゼが適宜丸められた状態の３次元モデルを２次元に投影することにより手術用具画像Ｅ０を取得する。なお、手術用具画像Ｅ０を放射線撮影により取得する場合、実際にガーゼ４０を使用する際の態様と一致させるために、ガーゼを適宜丸めて撮影することにより、手術用具画像Ｅ０を取得すればよい。
図６は手術用具画像Ｅ０を示す図である。手術用具画像Ｅ０における放射線吸収糸４１の領域は、放射線吸収糸４１による放射線の減弱量に相当する。このため、手術用具画像Ｅ０においては、ガーゼ４０に含まれる放射線吸収糸４１は高輝度（低濃度）となる。
導出部３２は、手術用具の３次元モデル（本実施形態においては丸めたガーゼ４０の３次元モデル）を、予め定められたパラメータにしたがって２次元に投影することにより、手術用具画像Ｅ０を導出する。図７は手術用具画像Ｅ０の導出を説明するための図である。図７に示すように、導出部３２は、ガーゼの３次元モデル４４を任意の視線方向４５にある２次元平面４６に投影することにより、手術用具画像Ｅ０を導出する。なお、手術用具画像Ｅ０の背景は、予め定められた濃度とすればよい。例えば、放射線画像が取り得る濃度の中間値、あるいは複数の放射線画像の平均濃度等とすればよい。
なお、導出部３２は、導出される手術用具画像Ｅ０における手術用具のコントラスト、手術用具画像Ｅ０における手術用具の濃度、および手術用具画像Ｅ０に含まれるノイズの少なくとも１つに応じて、パラメータを設定する。
ここで、手術用具の放射線吸収率が高ければ、手術用具を放射線撮影することにより取得される放射線画像（以下、手術用具放射線画像とする）において、手術用具のコントラストが高くなる。例えば、手術用具が縫合針、鋏およびメスのような金属の場合、放射線吸収糸４１よりも手術用具放射線画像におけるコントラストが高くなる。すなわち、手術用具放射線画像において、背景と手術用具との濃度差が大きくなる。このため、導出部３２は、放射線吸収率に応じたコントラストを有する手術用具画像Ｅ０が導出されるように、背景と手術用具との濃度差をパラメータとして設定する。そして、導出部３２には設定したパラメータにしたがって、手術用具の３次元モデルを２次元に投影して手術用具画像Ｅ０を導出する。これにより、設定されたパラメータにしたがったコントラストを有する手術用具画像Ｅ０が導出される。
また、放射線画像は、被写体による放射線散乱によりコントラストが低下する。放射線の散乱は、被写体の体厚が大きいほどその影響が大きくなる。また、被写体の体厚が大きいほど放射線画像に含まれる被写体領域の濃度は小さくなる。このため、放射線画像は被写体の体厚に応じた濃度を有するものとなる。
また、放射線源４に印加される管電圧が高く、放射線が高エネルギーであるほど、放射線が被写体Ｈを透過する過程において、放射線の低エネルギー成分が被写体Ｈに吸収され、放射線が高エネルギー化するビームハードニングが生じる。ビームハードニングが生じると、放射線画像におけるコントラストが低下する。また、ビームハードニングによる放射線の高エネルギー化は、被写体Ｈの体厚が大きいほど大きくなる。また、被写体Ｈの体厚が大きいほど放射線画像に含まれる被写体領域の濃度は小さくなる。
したがって、導出部３２は、手術用具画像Ｅ０に含まれる手術用具が様々な濃度を有するものとなるように、手術用具画像Ｅ０に含まれる手術用具の濃度をパラメータとして設定する。そして、導出部３２には設定したパラメータにしたがって、手術用具の３次元モデルを２次元に投影して手術用具画像Ｅ０を導出する。これにより、設定されたパラメータにしたがった濃度を有する手術用具画像Ｅ０が導出される。
また、被写体Ｈを撮影する際の撮影条件における放射線量が小さいと、放射線画像に含まれるノイズが多くなる。このため、導出部３２は、３次元モデルを２次元に投影する際にノイズを加算することにより手術用具画像Ｅ０を導出する。この場合、導出部３２は、加算されるノイズ量をパラメータとして設定する。そして、導出部３２には設定したパラメータにしたがって、手術用具の３次元モデルを２次元に投影して手術用具画像Ｅ０を導出する。これにより、設定されたパラメータにしたがったノイズを有する手術用具画像Ｅ０が導出される。
なお、本実施形態においては、各種パラメータを予め用意してストレージ１３に保存しておき、導出部３２が保存された各種パラメータをストレージ１３から読み出して、手術用具画像Ｅ０の導出に用いるようにすればよい。なお、パラメータの設定は、ユーザが入力デバイス１５から入力することにより行うようにしてもよい。
本実施形態においては、導出部３２は、後述する学習モデルの学習のために、丸め方が異なるガーゼ４０の３次元モデルを様々な方向から２次元に投影したり、パラメータを変更したりして、複数の手術用具画像Ｅ０を導出する。なお、手術用具の３次元モデルであるガーゼ４０の丸め方の変更は、ガーゼの３次元モデルをディスプレイ１４に表示し，入力デバイス１５からの指示により行うようにすればよい。
学習部３３は、放射線画像Ｇ０および手術用具画像Ｅ０のそれぞれを、単独で教師データとして用いて学習モデルＭ０を学習する。ここで、手術用具画像Ｅ０においては、図６に示すように、画像全体に亘って手術用具が含まれるものではない。このため、本実施形態においては、手術用具画像Ｅ０を教師データとして使用する際に、図８に示すように、手術用具画像Ｅ０内における手術用具を囲む領域４７の左上隅の座標Ｐ１（ｘ１，ｙ１）および右下隅の座標Ｐ２（ｘ２，ｙ２）を正解データとして使用する。なお、正解データは、手術用具画像Ｅ０内における手術用具を囲む領域４７の左下隅および右上隅の座標であってもよい。
学習モデルＭ０としては、機械学習モデルを用いることができる。機械学習モデルの一例として、ニューラルネットワークモデルが挙げられる。ニューラルネットワークモデルとしては、単純パーセプトロン、多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、および確率的ニューラルネットワーク等が挙げられる。本実施形態においては、学習モデルＭ０として畳み込みニューラルネットワークを用いるものとする。
図９は学習部３３が行う学習モデルＭ０の機械学習を概念的に示す図である。本実施形態においては、複数の放射線画像Ｇ０（Ｇ１，Ｇ２，Ｇ３…）および複数の手術用具画像Ｅ０（Ｅ１，Ｅ２，Ｅ３…）のそれぞれが単独で教師データとして使用される。すなわち、機械学習に際して、放射線画像Ｇ０および手術用具画像Ｅ０のそれぞれが単独で学習モデルＭ０に入力される。なお、手術用具画像Ｅ０に対しては、画像内の手術用具の領域の左上隅および右下隅を規定する正解データ（（ｘ１，ｙ１）、（ｘ２，ｙ２））が教師データに含まれる。
学習モデルＭ０は、画像が入力されると、画像の各画素が手術用具の領域であることの確率を出力するように学習がなされる。確率は０以上１以下の値となる。学習モデルＭ０が出力した、確率が予め定められたしきい値以上となる画素からなる領域が手術用具の領域となる。学習部３３は、教師データを学習モデルＭ０に入力し、手術用具の領域となる確率を出力させる。そして、学習モデルＭ０が出力した予め定められたしきい値以上となる確率となる画素からなる領域と、教師データに含まれる正解データにより表される領域との相違を損失として導出する。
ここで、学習モデルＭ０に放射線画像Ｇ０が教師データとして入力された場合、放射線画像Ｇ０には手術用具は含まれない。このため、手術用具の領域となる確率は０となるべきである。しかしながら、学習が完了していない学習モデルＭ０からは、手術用具の領域となる確率が０より大きい値を持って出力される。このため、放射線画像Ｇ０が教師データとして入力された場合、各画素について出力される確率と０との差が損失となる。
一方、学習モデルＭ０に手術用具画像Ｅ０が教師データとして入力された場合、手術用具画像Ｅ０には手術用具が含まれる。このため、手術用具画像Ｅ０において正解データにより規定される領域内の画素についての手術用具の領域となる確率は１となるべきである。しかしながら、学習が完了していない学習モデルＭ０からは、手術用具の領域となる確率が１より小さい値を持って出力される。このため、手術用具画像Ｅ０が教師データとして入力された場合、各画素について出力される確率と１との差が損失となる。
学習部３３は、損失に基づいて学習モデルＭ０を学習する。具体的には、損失を小さくするように、畳み込みニューラルネットワークにおけるカーネルの係数およびニューラルネットワークの結合の重み等を導出する。学習部３３は、損失が予め定められたしきい値以下となるまで学習を繰り返す。これによって、放射線画像Ｇ０が入力された場合は画像全体に亘って手術用具の領域であることの確率が０に近づくように、学習済みモデルＭ１が構築される。また、手術用具画像Ｅ０が入力された場合は、正解データにより規定される領域において手術用具の領域であることの確率が１に近づくように、学習済みモデルＭ１が構築される。構築された学習済みモデルＭ１は、メモリ１６に記憶される。
このようにして構築された学習済みモデルＭ１に、手術用具を含む放射線画像が入力されると、学習済みモデルＭ１は、放射線画像内の手術用具の領域内の画素については１に近い確率を出力し、それ以外の領域の画素については０に近い確率を出力するようになる。
検出部３４は、学習済みモデルＭ１を用いて、手術用具の検出処理の対象となる対象放射線画像Ｔ０から手術用具の領域を検出する。具体的には、対象放射線画像Ｔ０の各画素について、学習済みモデルＭ１から出力された確率が予め定められたしきい値Ｔｈ１以上となる画素からなる領域を手術用具の領域として検出する。なお、対象放射線画像Ｔ０のすべての画素について、学習済みモデルＭ１から出力された確率がしきい値Ｔｈ１未満である場合には、検出部３４は、対象放射線画像Ｔ０には手術用具が含まれない旨の検出結果を出力する。
表示制御部３５は、検出部３４が対象放射線画像Ｔ０から検出した手術用具の領域を強調して、対象放射線画像Ｔ０をディスプレイ１４に表示する。図１０は放射線画像の表示画面を示す図である。図１０に示すように、表示画面５０には対象放射線画像Ｔ０が表示されており、対象放射線画像Ｔ０に含まれる手術用具の領域５１を矩形領域５２で囲むことにより、手術用具の領域５１が強調されている。なお、図１０においては矩形領域５２を白抜きにて示しているが、色を付与してもよい。なお、矩形領域５２の付与に代えて、手術用具の領域付近に矢印および星印等のマークを付与することにより、手術用具の領域を強調してもよい。また、手術用具の領域をマスクすることにより、手術用具の領域５１を強調してもよい。なお、マスクには色を付与するようにしてもよい。
なお、手術用具の領域を強調した対象放射線画像Ｔ０を表示する際には、対象放射線画像Ｔ０を観察しやすくするために、階調変換処理および濃度変換処理等の表示用の画像処理を対象放射線画像Ｔ０に対して施すようにしてもよい。表示用の画像処理は、表示制御部３５が行ってもよく、表示用の画像処理を行うための画像処理部を別途設けるようにしてもよい。
なお、検出部３４が対象放射線画像Ｔ０から手術用具の領域を検出しなかった場合、表示制御部３５は、その旨を通知する。図１１は、手術用具が検出されなかった場合の対象放射線画像Ｔ０の表示画面を示す図である。図１１に示すように、表示画面６０には、対象放射線画像Ｔ０に重畳して、「手術用具は検出されませんでした。」の通知６１が表示される。なお、通知６１に代えて、手術用具が検出されなかったことを表すアイコンおよびマーク等を表示してもよい。また、入力デバイス１５からの指示により、通知６１の表示のオンおよびオフを切り替え可能としてもよい。
次いで、本実施形態において行われる処理について説明する。図１２は本実施形態において行われる学習処理のフローチャートである。学習部３３が、放射線画像Ｇ０および手術用具画像Ｅ０並びに手術用具画像Ｅ０における手術用具の領域を規定する正解データを教師データとして取得する（ステップＳＴ１１）。そして、学習部３３は、放射線画像Ｇ０および手術用具画像Ｅ０のそれぞれを単独で教師データとして用いて学習モデルＭ０を学習し（ステップＳＴ１２）、ステップＳＴ１１にリターンする。そして、学習部３３は、損失が予め定められたしきい値となるまで、ステップＳＴ１１，ＳＴ１２の処理を繰り返し、学習を終了する。なお、学習部３３は、予め定められた回数学習を繰り返すことにより、学習を終了するものであってもよい。これにより、学習部３３は、学習済みモデルＭ１を構築する。
次いで、本実施形態における手術用具の領域の検出処理について説明する。図１３は本実施形態において行われる検出処理のフローチャートである。画像取得部３１が、検出対象となる対象放射線画像Ｔ０を取得し（ステップＳＴ２１）、検出部３４が、学習済みモデルＭ１を用いて対象放射線画像Ｔ０から手術用具の領域を検出する（ステップＳＴ２２）。対象放射線画像Ｔ０から手術用具の領域が検出されると（ステップＳＴ２３：ＹＥＳ）、表示制御部３５が、手術用具の領域を強調した対象放射線画像Ｔ０をディスプレイ１４に表示し（ステップＳＴ２４）、処理を終了する。一方、ステップＳＴ２３が否定されると、表示制御部３５は、手術用具の領域が検出されなかった旨の通知を行い（ステップＳＴ２５）、処理を終了する。
ここで、学習モデルＭ０の学習に必要な、手術用具が残存した放射線画像は極めて稀であるため、学習モデルＭ０の学習のために大量に収集することは困難である。本実施形態においては、手術用具を含まない複数の放射線画像Ｇ０、および手術用具を含み放射線撮影された画像に相当する画質を有する複数の手術用具画像Ｅ０のそれぞれを、単独で教師データとして用いた機械学習を行うことにより、学習済みモデルＭ１を構築するようにした。このため、十分な数の教師データを用意することができることから、学習済みモデルＭ１を十分に学習することができ、その結果、手術用具の検出精度が高い学習済みモデルＭ１を構築することができる。
また、放射線画像Ｇ０を単独で教師データとして用いているため、手術用具を含む放射線画像を教師データとして用いる場合と比較して、放射線画像Ｇ０に含まれる被写体Ｈの構造が手術用具に邪魔されることなく、学習モデルＭ０の学習を行うことができる。また、手術用具画像Ｅ０を単独で教師データとして用いているため、手術用具を含む放射線画像を教師データとして用いる場合と比較して、手術用具の形状が放射線画像に含まれる被写体の構造に邪魔されることなく、学習モデルＭ０の学習を行うことができる。このため、手術用具の検出精度がより高い学習済みモデルＭ１を構築することができる。
また、本実施形態においては、手術用具を含まない複数の放射線画像Ｇ０および複数の手術用具画像Ｅ０のそれぞれを、単独で教師データとして用いた機械学習を行うことにより構築された、学習済みモデルＭ１を用いて、対象放射線画像Ｔ０から手術用具の領域を検出するようにした。このため、対象放射線画像Ｔ０から手術用具の領域を精度よく検出することができる。また、検出結果を参照することにより、患者の体内に手術用具が残存していないかを確実に確認することができる。したがって、本実施形態によれば、手術後における手術用具の患者体内の残存を確実に防止できる。
また、手術用具画像における手術用具のコントラスト、手術用具画像における手術用具の濃度、および手術用具画像に含まれるノイズの少なくとも１つに応じて、手術用具の３次元モデルを２次元に投影する際のパラメータを設定するようにした。このため、放射線撮影以外の手法により取得された手術用具画像Ｅ０を、放射線撮影したかのような様々な画質を有するものとすることができる。
なお、上記実施形態においては、手術用具としてガーゼを検出の対象としているが、これに限定されるものではない。メス、鋏、ドレイン、縫合針、糸および鉗子等の手術の際に使用する任意の手術用具を検出の対象とすることができる。この場合、手術用具を含む手術用具画像Ｅ０は、手術用具の３次元モデルを予め定められたパラメータにしたがって２次元に投影することにより導出すればよい。また、手術用具画像Ｅ０は、対象となる手術用具を放射線撮影することにより取得してもよい。また、学習部３３は、対象となる手術用具を検出するように学習モデルＭ０の機械学習を行えばよい。なお、学習モデルＭ０を複数チャンネルの検出を行うように学習することにより、１種類の手術用具のみならず、複数種類の手術用具を判別するように、学習済みモデルＭ１を構築することも可能である。
また、上記実施形態においては、放射線は、とくに限定されるものではなく、Ｘ線の他、α線またはγ線等を適用することができる。
また、上記実施形態において、例えば、画像取得部３１、導出部３２、学習部３３、検出部３４および表示制御部３５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 撮影装置
２ コンソール
３ 手術台
３Ａ 取付部
４ 放射線源
５ 放射線検出器
６ 画像保存システム
７ 放射線画像処理装置
１１ ＣＰＵ
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２１ 学習プログラム
２２ 放射線画像処理プログラム
３１ 画像取得部
３２ 導出部
３３ 学習部
３４ 検出部
３５ 表示制御部
４０ ガーゼ
４１ 放射線吸収糸
４４ ガーゼの３次元モデル
４５ 視線方向
４６ ２次元平面
４７ 領域
５０ 表示画面
５１ 手術用具の領域
５２ 矩形領域
６０ 表示画面
６１ 通知
１００ 放射線画像撮影システム
Ｃ０ 正解データ
Ｅ０、Ｅ１、Ｅ２、Ｅ３ 手術用具画像
Ｇ０、Ｇ１、Ｇ２、Ｇ３ 放射線画像
Ｈ 被写体
Ｍ０ 学習モデル
Ｍ１ 学習済みモデル
Ｔ０ 対象放射線画像

Claims (14)

  1. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    手術用具を含まない複数の放射線画像、および前記手術用具のみを含む複数の手術用具画像のそれぞれを、教師データとして用いた機械学習を行うことにより、入力された放射線画像から前記手術用具の領域を検出するための学習済みモデルを構築する学習装置。
  2. 前記手術用具画像は、前記手術用具のみを放射線撮影することにより取得した放射線画像である請求項１に記載の学習装置。
  3. 前記手術用具画像は、放射線撮影以外の手法により取得されてなり、前記放射線撮影された画像に相当する画質を有する請求項１に記載の学習装置。
  4. 前記プロセッサは、前記手術用具の３次元モデルを予め定められたパラメータにしたがって２次元に投影することにより、前記手術用具画像を導出する請求項３に記載の学習装置。
  5. 前記プロセッサは、前記手術用具画像における前記手術用具のコントラスト、前記手術用具画像における前記手術用具の濃度、および前記手術用具画像に含まれるノイズの少なくとも１つに応じて、前記パラメータを設定する請求項４に記載の学習装置。
  6. 前記プロセッサは、ニューラルネットワークの機械学習であって、前記手術用具を含まない放射線画像が前記教師データとして前記ニューラルネットワークに入力された場合には、入力された前記手術用具を含まない放射線画像の全体に亘って、前記ニューラルネットワークから出力される前記手術用具の領域であることの確率が０となり、前記手術用具画像が前記教師データとして前記ニューラルネットワークに入力された場合には、入力された前記手術用具画像における前記手術用具の領域において、前記ニューラルネットワークから出力される前記手術用具の領域であることの確率が１となるような機械学習を行う請求項１から５のいずれか１項に記載の学習装置。
  7. 前記プロセッサは、前記手術用具画像を前記教師データとして使用する際に、前記手術用具画像における前記手術用具を囲む矩形の領域の左上隅および右下隅の座標、または前記矩形の領域の左下隅および右上隅の座標を正解データとして使用する請求項１から６のいずれか１項に記載の学習装置。
  8. 前記手術用具は、ガーゼ、メス、鋏、ドレイン、縫合針、糸および鉗子の少なくとも１つを含む請求項１から７のいずれか１項に記載の学習装置。
  9. 前記手術用具が前記ガーゼを含む場合、前記ガーゼは、放射線吸収糸を少なくとも一部に含む請求項８に記載の学習装置。
  10. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、
    放射線画像を取得し、
    請求項１から９のいずれか１項に記載の学習装置により構築された学習済みモデルを用いて前記放射線画像から手術用具の領域を検出する放射線画像処理装置。
  11. 手術用具を含まない複数の放射線画像、および前記手術用具のみを含む複数の手術用具画像のそれぞれを、教師データとして用いた機械学習を行うことにより、入力された放射線画像から前記手術用具の領域を検出するための学習済みモデルを構築する学習方法。
  12. 放射線画像を取得し、
    請求項１から９のいずれか１項に記載の学習装置により構築された学習済みモデルを用いて前記放射線画像から手術用具の領域を検出する放射線画像処理方法。
  13. 手術用具を含まない複数の放射線画像、および前記手術用具のみを含む複数の手術用具画像のそれぞれを、教師データとして用いた機械学習を行うことにより、入力された放射線画像から前記手術用具の領域を検出するための学習済みモデルを構築する手順をコンピュータに実行させる学習プログラム。
  14. 放射線画像を取得する手順と、
    請求項１から９のいずれか１項に記載の学習装置により構築された学習済みモデルを用いて前記放射線画像から手術用具の領域を検出する手順とをコンピュータに実行させる放射線画像処理プログラム。
JP2020154638A 2020-09-15 2020-09-15 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム Active JP7413216B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020154638A JP7413216B2 (ja) 2020-09-15 2020-09-15 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
US17/469,618 US12039005B2 (en) 2020-09-15 2021-09-08 Learning device, learning method, learning program, trained model, radiographic image processing device, radiographic image processing method, and radiographic image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020154638A JP7413216B2 (ja) 2020-09-15 2020-09-15 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022048676A JP2022048676A (ja) 2022-03-28
JP7413216B2 true JP7413216B2 (ja) 2024-01-15

Family

ID=80627745

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020154638A Active JP7413216B2 (ja) 2020-09-15 2020-09-15 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US12039005B2 (ja)
JP (1) JP7413216B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7413216B2 (ja) * 2020-09-15 2024-01-15 富士フイルム株式会社 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010131371A (ja) 2008-10-27 2010-06-17 Toshiba Corp Ｘ線診断装置および画像処理装置
JP2011218089A (ja) 2010-04-14 2011-11-04 Suzuran Kk 医療用ガーゼ
US20130136323A1 (en) 2010-02-22 2013-05-30 The Johns Hopkins University Method of detecting foreign bodies
US20160071264A1 (en) 2014-09-06 2016-03-10 RaPID Medical Technologies, LLC Medical image dectection system and method
JP2017185007A (ja) 2016-04-05 2017-10-12 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
WO2019159440A1 (ja) 2018-02-14 2019-08-22 株式会社イシダ 検査装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317920B2 (en) * 2011-11-30 2016-04-19 Rush University Medical Center System and methods for identification of implanted medical devices and/or detection of retained surgical foreign objects from medical images
US9165362B2 (en) * 2013-05-07 2015-10-20 The Johns Hopkins University 3D-2D image registration for medical imaging
US20160066787A1 (en) * 2014-09-06 2016-03-10 RaPID Medical Technologies, LLC Foreign object detection protocol system and method
US9767554B2 (en) * 2015-02-19 2017-09-19 Sony Corporation Method and system for detection of surgical gauze during anatomical surgery
US9792682B2 (en) * 2015-09-07 2017-10-17 Rapid Platforms Llc Training system for detection and classification of artificial objects in X-ray images
US20170143284A1 (en) * 2015-11-25 2017-05-25 Carestream Health, Inc. Method to detect a retained surgical object
JP6809869B2 (ja) 2016-11-02 2021-01-06 Eizo株式会社 ガーゼ検出システム
US11089975B2 (en) * 2017-03-31 2021-08-17 DePuy Synthes Products, Inc. Systems, devices and methods for enhancing operative accuracy using inertial measurement units
JP7164964B2 (ja) * 2018-04-04 2022-11-02 キヤノン株式会社 情報処理装置、放射線撮影装置、放射線撮影システム、情報処理方法及びプログラム
US11488304B2 (en) * 2018-05-01 2022-11-01 Eizo Corporation Gauze detection system and gauze detection method
US10839955B2 (en) * 2019-04-16 2020-11-17 International Medical Solutions, Inc. Methods and systems for electronically receiving, modifying and distributing three-dimensional medical images
JP7209595B2 (ja) * 2019-07-16 2023-01-20 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
JP7152375B2 (ja) * 2019-09-25 2022-10-12 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
JP7152377B2 (ja) * 2019-09-27 2022-10-12 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
US11587229B2 (en) * 2019-10-07 2023-02-21 Institute For Cancer Research Retained surgical items
WO2021152784A1 (ja) * 2020-01-30 2021-08-05 株式会社インキュビット 手術支援システム
JP7394645B2 (ja) * 2020-02-05 2023-12-08 富士フイルム株式会社 教師画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、判別器、並びに放射線画像処理装置、方法およびプログラム
JP7266543B2 (ja) * 2020-02-07 2023-04-28 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
US11972559B2 (en) * 2020-02-13 2024-04-30 Fujifilm Corporation Radiographic image processing device, radiographic image processing method, and radiographic image processing program
WO2021171394A1 (ja) * 2020-02-26 2021-09-02 株式会社島津製作所 学習済みモデルの作成方法、画像生成方法および画像処理装置
WO2021182229A1 (ja) * 2020-03-13 2021-09-16 富士フイルム株式会社 画像生成装置およびプログラム、学習装置およびプログラム、並びに画像処理装置およびプログラム
JP7413216B2 (ja) * 2020-09-15 2024-01-15 富士フイルム株式会社 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
JP7366870B2 (ja) * 2020-09-15 2023-10-23 富士フイルム株式会社 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
JP2022064763A (ja) * 2020-10-14 2022-04-26 株式会社島津製作所 Ｘ線撮影装置、画像処理方法、および、学習済みモデルの生成方法
JP7463938B2 (ja) * 2020-10-14 2024-04-09 株式会社島津製作所 Ｘ線撮影システムおよび異物確認方法
JP2022155027A (ja) * 2021-03-30 2022-10-13 富士フイルム株式会社 画像処理装置、学習装置、放射線画像撮影システム、画像処理方法、学習方法、画像処理プログラム、及び学習プログラム
JP2023047911A (ja) * 2021-09-27 2023-04-06 富士フイルム株式会社 画像処理装置、方法およびプログラム
JP2023051400A (ja) * 2021-09-30 2023-04-11 富士フイルム株式会社 学習装置、画像生成装置、学習方法、画像生成方法、学習プログラム、及び画像生成プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010131371A (ja) 2008-10-27 2010-06-17 Toshiba Corp Ｘ線診断装置および画像処理装置
US20130136323A1 (en) 2010-02-22 2013-05-30 The Johns Hopkins University Method of detecting foreign bodies
JP2011218089A (ja) 2010-04-14 2011-11-04 Suzuran Kk 医療用ガーゼ
US20160071264A1 (en) 2014-09-06 2016-03-10 RaPID Medical Technologies, LLC Medical image dectection system and method
JP2017185007A (ja) 2016-04-05 2017-10-12 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
WO2019159440A1 (ja) 2018-02-14 2019-08-22 株式会社イシダ 検査装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
富士フイルム，超軽量移動型デジタルＸ線撮影装置の新機能，ＡＩ技術を活用した「手術用ガーゼの認識機能」新発売－術後の体内遺残物の確認作業をサポートし，見落とし防止に貢献－，innnavi net，2020年04月02日，インターネット＜URL： https://www.innervision.co.jp/sp/products/release/20200521＞

Also Published As

Publication number Publication date
US12039005B2 (en) 2024-07-16
US20220083812A1 (en) 2022-03-17
JP2022048676A (ja) 2022-03-28

Similar Documents

Publication Publication Date Title
JP7209595B2 (ja) 放射線画像処理装置、方法およびプログラム
CN110881992B (zh) 使用双能量计算机断层扫描的针对外伤性出血的检测和量化
US12042314B2 (en) Radiographic image processing device, radiographic image processing method, and radiographic image processing program
US12026927B2 (en) Learning device, learning method, learning program, trained model, radiographic image processing device, radiographic image processing method, and radiographic image processing program
KR20240013724A (ko) 다중 펄스 x-선 소스 이동 단층합성 영상화 시스템을 사용한 인공 지능 훈련
US10043268B2 (en) Medical image processing apparatus and method to generate and display third parameters based on first and second images
JP2019058607A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20210251583A1 (en) Radiographic image processing device, radiographic image processing method, and radiographic image processing program
JP7413216B2 (ja) 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
EP3665643B1 (en) X-ray image processing method and system and computer storage medium
US20220414832A1 (en) X-ray imaging restoration using deep learning algorithms
JP7152377B2 (ja) 放射線画像処理装置、方法およびプログラム
US11978549B2 (en) Training image generation device, training image generation method, training image generation program, learning device, learning method, learning program, discriminator, radiographic image processing device, radiographic image processing method, and radiographic image processing program
JP6071805B2 (ja) 画像領域指定装置および方法、並びに放射線画像処理装置および方法
JP7152375B2 (ja) 放射線画像処理装置、方法およびプログラム
JP2009160313A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2021126501A (ja) 放射線画像処理装置、方法およびプログラム
JP7346668B2 (ja) 放射線画像処理装置及びプログラム
JP2020127600A (ja) 医用画像処理装置、ｘ線診断装置及び医用情報処理システム
US20230245308A1 (en) Medical image processing apparatus, medical image processing method and non-transitory computer-readable storage medium
WO2024128213A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2005109908A (ja) 画像処理装置および画像処理プログラム
US20240013894A1 (en) Machine learning model creation support apparatus, method of operating machine learning model creation support apparatus, and program for operating machine learning model creation support apparatus
JP2023077230A (ja) Ｘ線診断装置、医用画像処理装置、およびプログラム
JP2020099583A (ja) 医用情報処理装置及びｘ線診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231227

R150 Certificate of patent or registration of utility model

Ref document number: 7413216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150