JP7366870B2 - 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム - Google Patents
学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム Download PDFInfo
- Publication number
- JP7366870B2 JP7366870B2 JP2020154639A JP2020154639A JP7366870B2 JP 7366870 B2 JP7366870 B2 JP 7366870B2 JP 2020154639 A JP2020154639 A JP 2020154639A JP 2020154639 A JP2020154639 A JP 2020154639A JP 7366870 B2 JP7366870 B2 JP 7366870B2
- Authority
- JP
- Japan
- Prior art keywords
- surgical tool
- image
- radiation
- radiographic
- suture needle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 53
- 238000000034 method Methods 0.000 title claims description 25
- 230000005855 radiation Effects 0.000 claims description 156
- 239000002131 composite material Substances 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 10
- 238000010521 absorption reaction Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 238000002601 radiography Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 238000001959 radiotherapy Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 22
- 238000001356 surgical procedure Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013530 stochastic neural network Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本開示は、学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラムに関するものである。
患者の外科的手術を行う際には、出血を抑えるためのガーゼ、傷口または切開部分を縫うための糸と縫合針、切開のためのメスおよび鋏、血液を排出するためのドレイン、並びに切開部分を開くための鉗子等の様々な手術用具が使用される。このような手術用具は、手術後に患者の体内に残存していると、重篤な合併症を発生する恐れがある。
このため、ガーゼ画像の特徴を学習した学習済みモデルとしての判別器を用意し、手術野をカメラにより撮影することにより取得した画像を判別器に入力して、ガーゼの有無を判別する手法が提案されている（特許文献１参照）。
しかしながら、ガーゼは血に染まるため、カメラにより取得した画像ではガーゼを発見することは判別器を用いたとしても困難である。また、縫合針のように小さな手術用具は、内臓の間に入り込んでしまう可能性があるため、カメラにより取得した画像では、判別器を用いたとしても発見することは困難である。一方、放射線画像から手術用具を検出するように学習がなされた判別器を用いて、手術後に撮影された放射線画像から手術用具を検出することが考えられる。しかしながら、縫合針のような手術用具は、その姿勢によっては放射線画像において、体内の骨等の構造物あるいは体内に埋め込まれたステントグラフト等と区別できない陰影となる。このため、判別器を用いたとしても、手術用具を精度よく検出できない可能性がある。
本開示は上記事情に鑑みなされたものであり、手術後における手術用具の患者体内の残存を確実に防止できるようにすることを目的とする。
本開示による放射線画像処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、手術用具として縫合針を含まない放射線画像および直線状の姿勢とは異なる姿勢の縫合針を含む手術用具画像を教師データとして用いた機械学習を行うことにより、入力された放射線画像から縫合針の領域を検出するための学習済みモデルを構築する。
プロセッサは、手術用具として縫合針を含まない放射線画像および直線状の姿勢とは異なる姿勢の縫合針を含む手術用具画像を教師データとして用いた機械学習を行うことにより、入力された放射線画像から縫合針の領域を検出するための学習済みモデルを構築する。
直線状の姿勢とは、縫合針を平面に投影したときに、投影した平面における縫合針の形状が直線状となる姿勢を意味する。
なお、本開示による学習装置においては、手術用具画像は、直線状の姿勢とは異なる姿勢の縫合針を放射線撮影することにより取得されてなるものであってもよい。
また、本開示による学習装置においては、手術用具画像は、放射線撮影以外の手法により取得されてなるものであってもよい。
また、本開示による学習装置においては、プロセッサは、手術用具を含まない放射線画像および手術用具画像を合成することにより合成画像を導出し、
合成画像を教師データとして用いた機械学習を行うものであってもよい。
また、本開示による学習装置においては、プロセッサは、放射線画像および手術用具の少なくとも一方の特性に応じた合成パラメータによって放射線画像および手術用具画像を合成することにより、合成画像を導出するものであってもよい。
また、本開示による学習装置においては、プロセッサは、手術用具の放射線吸収率、放射線画像における放射線散乱の程度、放射線画像におけるビームハードニング、および放射線画像の撮影条件に応じたノイズの少なくとも１つに応じて合成パラメータを設定するものであってもよい。
本開示による学習済みモデルは、本開示による学習装置により構築されてなる。
本開示による画像処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、被写体を異なる方向から撮影した複数の放射線画像を取得し、
本開示による学習装置により構築された学習済みモデルを用いて複数の放射線画像から手術用具としての縫合針の領域を順次検出し、
少なくとも１つの放射線画像から手術用具の領域が検出された場合、被写体に手術用具が含まれると判定し、
すべての放射線画像から手術用具の領域が検出されなかった場合、被写体に手術用具が含まれないと判定する。
プロセッサは、被写体を異なる方向から撮影した複数の放射線画像を取得し、
本開示による学習装置により構築された学習済みモデルを用いて複数の放射線画像から手術用具としての縫合針の領域を順次検出し、
少なくとも１つの放射線画像から手術用具の領域が検出された場合、被写体に手術用具が含まれると判定し、
すべての放射線画像から手術用具の領域が検出されなかった場合、被写体に手術用具が含まれないと判定する。
また、本開示による学習方法は、手術用具として縫合針を含まない放射線画像および直線状の姿勢とは異なる姿勢の縫合針を含む手術用具画像を教師データとして用いた機械学習を行うことにより、入力された放射線画像から縫合針の領域を検出するための学習済みモデルを構築する。
本開示による放射線画像処理方法は、被写体を異なる方向から撮影した複数の放射線画像を取得し、
本開示による学習装置により構築された学習済みモデルを用いて複数の放射線画像から手術用具としての縫合針の領域を順次検出し、
少なくとも１つの放射線画像から手術用具の領域が検出された場合、被写体に手術用具が含まれると判定し、
すべての放射線画像から手術用具の領域が検出されなかった場合、被写体に手術用具が含まれないと判定する。
本開示による学習装置により構築された学習済みモデルを用いて複数の放射線画像から手術用具としての縫合針の領域を順次検出し、
少なくとも１つの放射線画像から手術用具の領域が検出された場合、被写体に手術用具が含まれると判定し、
すべての放射線画像から手術用具の領域が検出されなかった場合、被写体に手術用具が含まれないと判定する。
なお、本開示による学習方法および放射線画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、手術後における手術用具の患者体内の残存を確実に防止できる。
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による学習装置および放射線画像処理装置を適用した放射線画像撮影システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による放射線画像撮影システム１００は、外科的手術を行った後の、患者である被写体Ｈの放射線画像を取得して、放射線画像に含まれる手術用具を検出するためのものである。本実施形態による放射線画像撮影システム１００は、撮影装置１、コンソール２、画像保存システム６および放射線画像処理装置７を備える。
撮影装置１は、Ｘ線源等の放射線源４から発せられ、被写体Ｈを透過した放射線を放射線検出器５に照射することにより、手術台３に仰臥した被写体Ｈの放射線画像を取得するための撮影装置である。放射線画像はコンソール２に入力される。
また、放射線検出器５は、可搬型の放射線検出器であり、手術台３に設けられた取付部３Ａにより手術台３に取り付けられている。なお、放射線検出器５は、手術台３に固定されたものであってもよい。
コンソール２は、無線通信ＬＡＮ（Local Area Network）等のネットワークを介して、不図示のＲＩＳ（Radiology Information System）等から取得した撮影オーダおよび各種情報と、技師等により直接行われた指示等とを用いて、撮影装置１の制御を行う機能を有している。一例として、本実施形態では、サーバコンピュータをコンソール２として用いている。
画像保存システム６は、撮影装置１により撮影された放射線画像の画像データを保存するシステムである。画像保存システム６は、保存している放射線画像から、コンソール２および放射線画像処理装置７等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム６の具体例としては、ＰＡＣＳ（Picture Archiving and Communication Systems）が挙げられる。
次に、本実施形態に係る放射線画像処理装置について説明する。なお、本実施形態による放射線画像処理装置７は、本実施形態による学習装置を内包するものであるが、以降の説明においては、放射線画像処理装置にて代表させるものとする。
まず、図２を参照して、本実施形態による放射線画像処理装置のハードウェア構成を説明する。図２に示すように、放射線画像処理装置７は、ワークステーション、サーバコンピュータおよびパーソナルコンピュータ等のコンピュータであり、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を備える。また、放射線画像処理装置７は、液晶ディスプレイ等のディスプレイ１４、キーボードおよびマウス等の入力デバイス１５、並びにネットワークに接続されるネットワークＩ／Ｆ（InterFace）１７を備える。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、放射線画像処理装置７にインストールされた学習プログラム２１および放射線画像処理プログラム２２が記憶される。ＣＰＵ１１は、ストレージ１３から学習プログラム２１および放射線画像処理プログラム２２を読み出してからメモリ１６に展開し、展開した学習プログラム２１および放射線画像処理プログラム２２を実行する。
なお、学習プログラム２１および放射線画像処理プログラム２２は、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて放射線画像処理装置７を構成するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体から放射線画像処理装置７を構成するコンピュータにインストールされる。
次いで、本実施形態による放射線画像処理装置の機能的な構成を説明する。図３は、本実施形態による放射線画像処理装置の機能的な構成を示す図である。図３に示すように，放射線画像処理装置（学習装置）７は、画像取得部３１、合成部３２、学習部３３、検出部３４および表示制御部３５を備える。そして、ＣＰＵ１１が、学習プログラム２１および放射線画像処理プログラム２２を実行することにより、画像取得部３１、合成部３２、学習部３３、検出部３４および表示制御部３５として機能する。
なお、画像取得部３１、合成部３２および学習部３３が、本実施形態による学習装置の一例である。画像取得部３１、検出部３４および表示制御部３５が、本実施形態による放射線画像処理装置７の一例である。
画像取得部３１は、後述する学習モデルＭ０を学習するための教師データとして用いるための放射線画像Ｇ０を、画像保存システム６からネットワークＩ／Ｆ１７を介して取得する。図４は放射線画像Ｇ０を示す図である。なお、図４は人体の胸部を対象部位とした放射線画像Ｇ０を示すが、放射線画像Ｇ０に含まれる対象部位はこれに限定されるものではない。図４に示すように、放射線画像Ｇ０は手術用具を含まない。
また、画像取得部３１は、放射線源４を駆動して手術後の被写体Ｈに放射線を照射し、被写体Ｈを透過した放射線を放射線検出器５により検出することにより、手術用具の検出処理の対象となる対象放射線画像も取得する。なお、本実施形態においては、撮影方向が異なる複数の対象放射線画像を取得する。具体的には、放射線源４の位置を変更したり、被写体Ｈの向きを変更したりして、被写体Ｈを異なる方向から撮影することにより、撮影方向が異なる複数の対象放射線画像を取得する。
また、画像取得部３１は、学習モデルＭ０を学習するための教師データとして用いる手術用具画像Ｅ０も画像保存システム６から取得する。手術用具画像Ｅ０は、手術用具を放射線撮影することにより取得された画像であってもよく、放射線撮影以外の手法により取得された画像であってもよい。放射線撮影以外の手法により取得された画像は、コンピュータグラフィックス等により作成された手術用具を表す３次元的なモデルを２次元に投影した画像である。なお、本実施形態においては、手術用具として、傷口または切開部分を縫うための縫合針を用いるものとする。
図５は縫合針を示す図である。図５に示すように、縫合針４０は湾曲しており、後端部分に縫合糸を通すための孔４１が形成されている。また、最大幅は数ｍｍ～数ｃｍ程度である。ここで、図５に示す矢印Ａ方向から見た縫合針を図６に示し、矢印Ｂ方向から見た縫合針を図７に示す。矢印Ａ方向は、縫合針４０を平面に載置した場合にその平面と直交する方向である。矢印Ｂ方向は、縫合針４０を平面に載置した場合にその平面が延在する方向である。
矢印Ａ方向から縫合針４０を見た場合、図６に示すように、その形状は一見して縫合針４０であることを認識することができる。
一方、矢印Ｂ方向から縫合針４０を見た場合、その形状は図７に示すように直線状となるため、縫合針であることを一見して認識することは難しい。とくに、縫合針４０が被写体Ｈの体内に残存する場合において、縫合針４０に対する放射線の照射方向が図５に示す矢印Ｂ方向と一致すると、放射線画像において、縫合針４０は数ｍｍ～数ｃｍ程度直線状の高輝度の陰影となる。このような縫合針４０の陰影は、被写体Ｈの骨あるいは体内に埋め込まれたステントグラフト等の人工物と見分けがつかない。このため、手術用具画像Ｅ０に含まれる縫合針が図７に示すように直線状であると、その手術用具画像Ｅ０を用いることによっては、縫合針４０を精度よく検出可能なように学習モデルＭ０を学習することができない。
このため、本実施形態においては、直線状の姿勢とは異なる姿勢の縫合針４０を含む手術用具画像Ｅ０を用いる。図８は手術用具画像を示す図である。図８には３つの手術用具画像を示す。図８に示すように、３つの手術用具画像Ｅ１～Ｅ３に含まれる縫合針４０の姿勢は、直線状の姿勢とは異なるものとなっている。
なお、直線状の姿勢とは、許容される誤差を持った実質的に直線状の姿勢であればよい。例えば、図９に示すように縫合針４０に対してｘｙｚの座標系を定める。図９において、ｘｙ平面は縫合針４０の両端を縫合針４０の湾曲形状に沿って結ぶ軸を含む平面である。図９において、矢印Ｃ方向を視線方向とすると、縫合針４０は直線状に見える。一方、矢印Ｄ方向を視線方向とすると、縫合針４０は平面に置いたように見える。このような座標系を定めた際に、視線方向を矢印Ｃ方向からｙ軸の周りにある程度の角度α０回転させた視線方向（例えば矢印Ｅ方向）から見える縫合針の姿勢も直線状の姿勢に含めてもよい。この場合、角度α０は例えば±５度とすることができるが、これに限定されるものではない。したがって、手術用具画像Ｅ０に含まれる縫合針４０の姿勢は、縫合針４０を図９に示す矢印Ｃ方向から角度α０以上異なる角度から見たものとなる。なお、図９に示す角度α０は例示であり、実際の角度とは異なる。
なお、手術用具画像Ｅ０が放射線画像である場合には、放射線の照射方向が図９に示す矢印Ｃ方向と一致しない姿勢となるように縫合針４０を配置して、縫合針４０を放射線撮影すればよい。また、手術用具画像Ｅ０がコンピュータグラフィックス等により作成されるものであれば、直線状の姿勢とならないように、手術用具画像Ｅ０に縫合針を含めればよい。なお、手術用具画像Ｅ０は手術用具の写真画像であってもよい。写真画像の場合は、カメラの光軸方向が図９に示す矢印Ｃ方向と一致しない姿勢となるように縫合針を配置して、縫合針４０を写真撮影すればよい。
合成部３２は、放射線画像Ｇ０に手術用具画像Ｅ０を合成することにより、合成画像Ｃ０を生成する。合成部３２は、放射線画像Ｇ０および手術用具である縫合針の少なくとも一方の特性に応じた合成パラメータによって放射線画像Ｇ０および手術用具画像Ｅ０を合成して合成画像Ｃ０を生成する。合成部３２は、手術用具である縫合針の放射線吸収率、手術用具による放射線散乱の程度、放射線画像Ｇ０におけるビームハードニング、および放射線画像Ｇ０の撮影条件に応じたノイズの少なくとも１つにより、合成パラメータを設定する。
なお、放射線画像Ｇ０における手術用具画像Ｅ０の位置および手術用具画像Ｅ０の向きは、放射線画像Ｇ０をディスプレイ１４に表示し、操作者による入力デバイス１５からの指示により指定すればよい。
本実施形態においては、例えば、合成部３２は、下記の式（１）により合成画像Ｃ０を生成するものとする。すなわち、合成部３２は、放射線画像Ｇ０における手術用具画像Ｅ０を合成する領域の画素（ｘ，ｙ）において、放射線画像Ｇ０の画素値Ｇ０（ｘ，ｙ）から、重み係数ｗ１により重み付けた手術用具画像Ｅ０の画素値Ｅ０（ｘ，ｙ）を減算することにより、合成画像Ｃ０の画素値Ｃ０（ｘ，ｙ）を導出する。なお、重み係数ｗ１は０以上１以下の値をとる。重み係数ｗ１は本実施形態の合成パラメータに含まれる。図１０は合成画像を示す図である。図１０に示すように、合成画像Ｃ０においては、被写体の右肺に縫合針の陰影４５が含まれたものとなる。
Ｃ０（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）－ｗ１・Ｅ０（ｘ，ｙ） （１）
ここで、手術用具の放射線吸収率が高ければ、手術用具を放射線撮影することにより取得される放射線画像においては、手術用具のコントラストが高くなる。例えば、手術用具が縫合針、鋏およびメスのような金属の場合、手術用具の放射線画像はコントラストが高くなる。このため、合成部３２は、合成画像Ｃ０においては手術用具のコントラストが高くなりすぎないように、放射線画像Ｇ０と手術用具画像Ｅ０との重み付け減算を行う際に、手術用具画像Ｅ０の重み係数ｗ１を大きくする。
また、放射線の散乱により、放射線画像Ｇ０におけるコントラストが低下する。放射線の散乱は、被写体Ｈの体厚が大きいほどその影響が大きくなる。また、被写体Ｈの体厚が大きいほど放射線画像Ｇ０に含まれる被写体領域の濃度は小さくなる。このため、合成部３２は、放射線画像Ｇ０に含まれる被写体領域の濃度の平均値を導出し、平均値が小さいほど、すなわち被写体Ｈの体厚が大きいほど、放射線画像Ｇ０と手術用具画像Ｅ０との濃度差が小さくなるように、重み係数ｗ１を小さくして合成画像Ｃ０を生成する。
ここで、放射線源４に印加される管電圧が高く、放射線が高エネルギーであるほど、放射線が被写体Ｈを透過する過程において、放射線の低エネルギー成分が被写体Ｈに吸収され、放射線が高エネルギー化するビームハードニングが生じる。ビームハードニングが生じると、放射線画像におけるコントラストが低下する。また、ビームハードニングによる放射線の高エネルギー化は、被写体Ｈの体厚が大きいほど大きくなる。また、被写体Ｈの体厚が大きいほど放射線画像Ｇ０に含まれる被写体領域の濃度は小さくなる。このため、合成部３２は、放射線画像Ｇ０に含まれる被写体領域の濃度の平均値を導出し、平均値が小さいほど、すなわち被写体Ｈの体厚が大きいほど、放射線画像Ｇ０と手術用具画像Ｅ０との濃度差が小さくなるように、重み係数ｗ１を小さくして合成画像Ｃ０を生成する。
また、撮影条件における放射線量が小さいと、放射線画像Ｇ０に含まれるノイズが多くなる。このため、合成部３２は、放射線量が小さい場合、下記の式（２）に示すように、式（１）に対して放射線量に応じたノイズＮ（ｘ，ｙ）を加算することにより合成画像Ｃ０を生成する。この場合、重み係数ｗ１は予め定められた値としてもよく、上記の手術用号の放射線吸収率、放射線散乱の程度およびビームハードニングの少なくとも１つに応じて設定してもよい。なお、ノイズＮ（ｘ，ｙ）は放射線量に応じて予め導出して、ストレージ１３に記憶しておけばよい。なお、ノイズＮ（ｘ，ｙ）も合成パラメータに含まれる。
Ｃ０（ｘ，ｙ）＝Ｇ０（ｘ，ｙ）－ｗ１・Ｅ０（ｘ，ｙ）＋Ｎ（ｘ，ｙ） （２）
本実施形態においては、合成部３２は、放射線画像Ｇ０における手術用具画像Ｅ０の合成位置を変更したり、合成パラメータを変更したりして、複数の合成画像Ｃ０を生成してもよい。これにより、手術用具画像Ｅ０が放射線撮影されたような態様にて放射線画像Ｇ０に合成された合成画像Ｃ０が生成されることとなる。なお、被写体Ｈが異なる複数の放射線画像Ｇ０を用いて合成画像Ｃ０を生成してもよい。
なお、手術用具画像Ｅ０が手術用具を放射線撮影することにより取得されたものである場合も、合成パラメータを適宜設定しつつ、手術用具画像Ｅ０を放射線画像Ｇ０に合成することにより、合成画像Ｃ０を生成すればよい。
合成画像Ｃ０は複数生成されて、画像保存システム６に保存される。あるいは、放射線画像処理装置７のストレージ１３に保存される。なお、ストレージ１３には、合成画像Ｃ０に加えて、複数の放射線画像Ｇ０も保存される。
学習部３３は、手術用具を含まない放射線画像Ｇ０からなる教師データ、並びに合成画像Ｃ０および合成画像Ｃ０における手術用具の領域が特定された正解データを含む教師データを用いて、学習モデルＭ０を学習する。なお、学習部３３は複数の教師データを用いて学習モデルＭ０を学習する。正解データは、合成画像Ｃ０内において縫合針を囲む領域の左上隅の座標および右下隅の座標、または左下隅の座標および右上隅の座標である。なお、正解データの生成は、合成画像Ｃ０を見ながらのマニュアル操作により行えばよい。
学習モデルＭ０としては、機械学習モデルを用いることができる。機械学習モデルの一例として、ニューラルネットワークモデルが挙げられる。ニューラルネットワークモデルとしては、単純パーセプトロン、多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、および確率的ニューラルネットワーク等が挙げられる。本実施形態においては、学習モデルＭ０として畳み込みニューラルネットワークを用いるものとする。
学習モデルＭ０は、画像が入力されると、画像の各画素が手術用具の領域であることの確率を出力するように学習がなされる。確率は０以上１以下の値となる。学習モデルＭ０が出力した、確率が予め定められたしきい値以上となる画素からなる領域が手術用具の領域となる。学習部３３は、教師データを学習モデルＭ０に入力し、手術用具の領域となる確率を出力させる。そして、学習モデルＭ０が出力した予め定められたしきい値以上となる確率となる画素からなる領域と、教師データに含まれる正解データにより表される領域との相違を損失として導出する。
ここで、学習モデルＭ０に放射線画像Ｇ０が教師データとして入力された場合、放射線画像Ｇ０には手術用具は含まれない。このため、手術用具の領域となる確率は０となるべきである。しかしながら、学習が完了していない学習モデルＭ０からは、手術用具の領域となる確率が０より大きい値を持って出力される。このため、放射線画像Ｇ０が教師データとして入力された場合、各画素について出力される確率と０との差が損失となる。
一方、学習モデルＭ０に合成画像Ｃ０が教師データとして入力された場合、合成画像Ｃ０には手術用具が含まれる。このため、合成画像Ｃ０において正解データにより規定される領域内の画素についての手術用具の領域となる確率は１となるべきである。しかしながら、学習が完了していない学習モデルＭ０からは、手術用具の領域となる確率が１より小さい値を持って出力される。このため、手術用具画像Ｅ０が教師データとして入力された場合、各画素について出力される確率と１との差が損失となる。
学習部３３は、損失に基づいて学習モデルＭ０を学習する。具体的には、損失を小さくするように、畳み込みニューラルネットワークにおけるカーネルの係数およびニューラルネットワークの結合の重み等を導出する。学習部３３は、損失が予め定められたしきい値以下となるまで学習を繰り返す。これによって、放射線画像Ｇ０が入力された場合は画像全体に亘って手術用具の領域であることの確率が０に近づくように、学習済みモデルＭ１が構築される。また、合成画像Ｃ０が入力された場合は、正解データにより規定される領域において手術用具の領域であることの確率が１に近づくように、学習済みモデルＭ１が構築される。構築された学習済みモデルＭ１は、メモリ１６に記憶される。
このようにして構築された学習済みモデルＭ１に、手術用具を含む放射線画像が入力されると、学習済みモデルＭ１は、放射線画像内の手術用具の領域内の画素については１に近い確率を出力し、それ以外の領域の画素については０に近い確率を出力するようになる。
検出部３４は、学習済みモデルＭ１を用いて、手術後の被写体Ｈを異なる方向から撮影した複数の対象放射線画像Ｔｉ（ｉ＝１～ｎ、ｎは対象放射線画像の数）から手術用具の領域を検出する。図１１は複数の対象放射線画像の撮影を説明するための図である。図１１に示すように、本実施形態においては、例えば第１の位置Ｐ１および第２の位置Ｐ２の２つの位置に放射線源４を移動して２つの対象放射線画像を取得するものとする。第１の位置Ｐ１において放射線源４から出射される放射線の光軸Ｘ１は放射線検出器５と直交する。第２の位置Ｐ１において放射線源４から出射される放射線の光軸Ｘ２は、光軸Ｘ１に対して角度α１をなす。ここで、本実施形態においては、学習済みモデルＭ１を学習するための教師データに使用する手術用具画像Ｅ０には、縫合針４０を図９に示す矢印Ｃ方向から角度α０以上異なる角度から見たものとなっている。このため、複数の対象放射線画像Ｔｉを取得する際には、光軸Ｘ１と光軸Ｘ２とがなす角度α１は図９に示す角度α０以上とすることが好ましい。
本実施形態においては、学習済みモデルＭ１は、縫合針が直線状の姿勢で含まれる合成画像Ｃ０を用いて学習がなされている。縫合針が被写体Ｈ内に含まれる場合、被写体Ｈへの放射線の入射方向に対する縫合針の姿勢によっては、対象放射線画像Ｔｉに含まれる縫合針が直線状となる場合がある。しかしながら、撮影方向が複数であれば、１つの対象放射線画像において縫合針が直線状となっても、他の対象放射線画像においては縫合針は直線状とはならない。
このため、検出部３４は、複数の対象放射線画像Ｔｉを順次選択し、選択した対象放射線画像の各画素について、学習済みモデルＭ１から出力された確率が予め定められたしきい値Ｔｈ１以上となる画素からなる領域を手術用具の領域として検出する。なお、選択した対象放射線画像Ｔｉのすべての画素について、学習済みモデルＭ１から出力された確率がしきい値Ｔｈ１未満である場合には、検出部３４は、選択した対象放射線画像Ｔｉには手術用具が含まれない旨の検出結果を出力する。さらに、すべての対象放射線画像Ｔｉについて手術用具が含まれない旨の検出結果が得られた場合には、検出部３４は、被写体Ｈには手術用具が残存していない旨の検出結果を出力する。
表示制御部３５は、対象放射線画像Ｔｉのいずれかから手術用具の領域が検出された場合、手術用具の領域が検出された対象放射線画像（例えばＴ１とする）を、手術用具の領域を強調してディスプレイ１４に表示する。図１２は放射線画像の表示画面を示す図である。図１２に示すように、表示画面５０には対象放射線画像Ｔｉが表示されており、対象放射線画像Ｔｉに含まれる手術用具である縫合針の領域５１を矩形領域５２で囲むことにより、手術用具の領域５１が強調されている。なお、図１２においては矩形領域５２を白抜きにて示しているが、色を付与してもよい。なお、矩形領域５２の付与に代えて、手術用具の領域付近に矢印および星印等のマークを付与することにより、手術用具の領域を強調してもよい。また、手術用具の領域をマスクすることにより、手術用具の領域５１を強調してもよい。なお、マスクには色を付与するようにしてもよい。
なお、手術用具の領域を強調した対象放射線画像Ｔ１を表示する際には、対象放射線画像Ｔ１を観察しやすくするために、階調変換処理および濃度変換処理等の表示用の画像処理を対象放射線画像Ｔ１に対して施すようにしてもよい。表示用の画像処理は、表示制御部３５が行ってもよく、表示用の画像処理を行うための画像処理部を別途設けるようにしてもよい。
なお、検出部３４がすべての対象放射線画像Ｔｉから手術用具の領域を検出しなかった場合、表示制御部３５は、その旨の表示を行う。図１３は、手術用具が検出されなかった場合の対象放射線画像の表示画面を示す図である。図１３に示すように、表示画面６０には、複数の対象放射線画像Ｔｉのうちのいずれかの対象放射線画像（例えばＴ２とする）に重畳して、「手術用具は検出されませんでした。」の通知６１が表示される。なお、通知６１に代えて、手術用具が検出されなかったことを表すアイコンおよびマーク等を表示してもよい。また、入力デバイス１５からの指示により、通知６１の表示のオンおよびオフを切り替え可能としてもよい。
次いで、本実施形態において行われる処理について説明する。図１４は本実施形態において行われる学習に使用される合成画像を生成する処理のフローチャートである。まず、画像取得部３１が、放射線画像Ｇ０および手術用具画像Ｅ０を取得する（ステップＳＴ１）。次いで、合成部３２が放射線画像Ｇ０と手術用具画像Ｅ０との合成パラメータを設定し（ステップＳＴ２）、合成パラメータに応じて放射線画像Ｇ０と手術用具画像Ｅ０とを合成して合成画像Ｃ０を生成し（ステップＳＴ３）、処理を終了する。
次いで、本実施形態における学習処理について説明する。図１５は本実施形態において行われる学習処理のフローチャートである。学習部３３が、合成画像Ｃ０および正解データからなる教師データ、並びに手術用具を含まない放射線画像Ｇ０からなる教師データを取得し（ステップＳＴ１１）、学習モデルＭ０に教師データを入力して手術用具の領域の抽出結果を取得し、正解データとの相違に基づく損失を用いて学習モデルＭ０を学習し（ステップＳＴ１２）、ステップＳＴ１１にリターンする。そして、学習部３３は、損失が予め定められたしきい値となるまで、ステップＳＴ１１，ＳＴ１２の処理を繰り返し、学習を終了する。なお、学習部３３は、予め定められた回数学習を繰り返すことにより、学習を終了するものであってもよい。これにより、学習部３３は、学習済みモデルＭ１を構築する。
次いで、本実施形態における手術用具の領域の検出処理について説明する。図１６は本実施形態において行われる検出処理のフローチャートである。画像取得部３１が、検出対象となる撮影方向が異なる複数の対象放射線画像Ｔｉを取得する（ステップＳＴ２１）。検出部３４は、検出対象の対象放射線画像Ｔｉを最初の放射線画像に設定し（ｉ＝１；ステップＳＴ２２）、学習済みモデルＭ１を用いて対象放射線画像Ｔｉから手術用具の領域を検出する（ステップＳＴ２３）。対象放射線画像から手術用具の領域が検出されない場合（ステップＳＴ２４：ＮＯ）、検出部３４は、すべての対象放射線画像Ｔｉについて検出処理を終了したか否かを判定する（ステップＳＴ２５）。ステップＳＴ２５が否定されると、検出部３４は、検出対象を次の対象放射線画像に変更し（ｉ＝ｉ＋１；ステップＳＴ２６）、ステップＳＴ２３に戻る。
対象放射線画像から手術用具の領域が検出されると（ステップＳＴ２４：ＹＥＳ）、表示制御部３５が、手術用具の領域を強調した対象放射線画像をディスプレイ１４に表示し（ステップＳＴ２７）、処理を終了する。一方、ステップＳＴ２５が肯定されると、表示制御部３５は、手術用具の領域が検出されなかった旨の通知を行い（ステップＳＴ２８）、処理を終了する。
ここで、縫合針のような手術用具は、その姿勢によっては放射線画像において直線状の陰影となるため、被写体内の骨等の構造物あるいは体内に埋め込まれたステントグラフト等と区別できない。このため、縫合針を検出するように学習を行った学習済みモデルＭ１を用いたとしても、手術用具を精度よく検出できない可能性がある。
本実施形態においては、手術用具を含まない放射線画像、および放射線画像に含まれた場合に直線状の姿勢とは異なる姿勢の縫合針を含む手術用具画像を教師データとして用いた機械学習を行うことにより、対象放射線画像から手術用具としての縫合針の領域を検出する学習済みモデルＭ１を構築するようにした。さらに、本実施形態においては、撮影方向が異なる複数の対象放射線画像Ｔｉを取得し、学習済みモデルＭ１を用いて複数の対象放射線画像Ｔｉから手術用具の領域を検出するようにした。
ここで、縫合針が被写体Ｈ内に含まれる場合、放射線の照射方向に対する縫合針の姿勢によっては、対象放射線画像Ｔｉに含まれる縫合針が直線状となる場合がある。しかしながら、撮影方向が複数であれば、１つの対象放射線画像において縫合針が直線状となっても、他の対象放射線画像においては縫合針は直線状とはならない。
このため、本実施形態によれば、手術用具である縫合針がどのような姿勢で被写体内に含まれていても、対象放射線画像から手術用具の領域を検出することができる。したがって、手術後における手術用具の患者体内の残存を確実に防止できる。
また、学習済みモデルＭ１の学習に必要な、手術用具が残存した放射線画像は極めて稀であるため、学習済みモデルＭ１の学習のために大量に収集することは困難であった。本実施形態においては、放射線画像Ｇ０および手術用具画像Ｅ０を教師データとして用いることにより、学習済みモデルＭ１を学習している。このため、十分な数の教師データを用意することができ、その結果、手術用具の検出精度が高い学習済みモデルＭ１を構築することができる。
また、合成パラメータによって放射線画像Ｇ０および手術用具画像Ｅ０を合成することにより合成画像Ｃ０を生成しているため、手術用具画像Ｅ０を、被写体と一緒に放射線撮影したかのような態様で放射線画像Ｇ０と合成された合成画像Ｃ０を生成することができる。
なお、上記実施形態においては、放射線画像Ｇ０および手術用具画像Ｅ０を合成した合成画像Ｃ０を教師データとして用いることにより学習済みモデルＭ１を構築しているが、これに限定されるものではない。放射線画像Ｇ０および手術用具画像Ｅ０をそれぞれ単独で教師データとして用いることにより、学習済みモデルＭ１を構築してもよい。この場合において、手術用具画像Ｅ０を教師データとして用いる場合、手術用具画像Ｅ０における手術用具の領域を囲む座標が正解データとして使用される。また、この場合、手術用具画像Ｅ０が入力された場合は、正解データにより規定される領域において手術用具の領域であることの確率が１に近づくように、学習済みモデルＭ１が構築される。このように、放射線画像Ｇ０および手術用具画像Ｅ０をそれぞれ単独で教師データとして用いることによっても、合成画像Ｃ０を用いた場合と同様に、手術用具を含む放射線画像が入力されると、放射線画像内の手術用具の領域内の画素については１に近い確率を出力し、それ以外の領域の画素については０に近い確率を出力するように、学習済みモデルＭ１を構築することができる。
また、上記実施形態においては、放射線は、とくに限定されるものではなく、Ｘ線の他、α線またはγ線等を適用することができる。
また、上記実施形態において、例えば、画像取得部３１、合成部３２、学習部３３、検出部３４および表示制御部３５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 撮影装置
２ コンソール
３ 手術台
３Ａ 取付部
４ 放射線源
５ 放射線検出器
６ 画像保存システム
７ 放射線画像処理装置
１１ ＣＰＵ
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２１ 学習プログラム
２２ 放射線画像処理プログラム
３１ 画像取得部
３２ 合成部
３３ 学習部
３４ 検出部
３５ 表示制御部
４０ 縫合針
４１ 孔
４５ 縫合針の陰影
５０ 表示画面
５１ 手術用具の領域
５２ 矩形領域
６０ 表示画面
６１ 通知
１００ 放射線画像撮影システム
Ｃ０ 合成画像
Ｅ０、Ｅ１、Ｅ２、Ｅ３ 手術用具画像
Ｇ０ 放射線画像
Ｈ 被写体
Ｍ０ 学習モデル
Ｍ１ 学習済みモデル
Ｔｉ 対象放射線画像
２ コンソール
３ 手術台
３Ａ 取付部
４ 放射線源
５ 放射線検出器
６ 画像保存システム
７ 放射線画像処理装置
１１ ＣＰＵ
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２１ 学習プログラム
２２ 放射線画像処理プログラム
３１ 画像取得部
３２ 合成部
３３ 学習部
３４ 検出部
３５ 表示制御部
４０ 縫合針
４１ 孔
４５ 縫合針の陰影
５０ 表示画面
５１ 手術用具の領域
５２ 矩形領域
６０ 表示画面
６１ 通知
１００ 放射線画像撮影システム
Ｃ０ 合成画像
Ｅ０、Ｅ１、Ｅ２、Ｅ３ 手術用具画像
Ｇ０ 放射線画像
Ｈ 被写体
Ｍ０ 学習モデル
Ｍ１ 学習済みモデル
Ｔｉ 対象放射線画像
Claims (8)
- 少なくとも１つのプロセッサを備え、
前記プロセッサは、
被写体を異なる方向から撮影した複数の放射線画像を取得し、
手術用具として縫合針を含まない放射線画像および直線状の姿勢とは異なる姿勢の縫合針を含む手術用具画像を教師データとして用いた機械学習を行うことにより、入力された放射線画像から前記縫合針の領域を検出するための学習済みモデルを構築する学習装置により構築された前記学習済みモデルを用いて、複数の前記放射線画像から前記手術用具としての縫合針の領域を順次検出し、
少なくとも１つの前記放射線画像から前記手術用具の領域が検出された場合、前記被写体に前記手術用具が含まれると判定し、
すべての前記放射線画像から前記手術用具の領域が検出されなかった場合、前記被写体に前記手術用具が含まれないと判定する放射線画像処理装置。 - 前記手術用具画像は、前記直線状の姿勢とは異なる姿勢の縫合針を放射線撮影することにより取得されてなる請求項１に記載の放射線画像処理装置。
- 前記手術用具画像は、放射線撮影以外の手法により取得されてなる請求項１に記載の放射線画像処理装置。
- 前記学習装置は、前記手術用具を含まない放射線画像および前記手術用具画像を合成することにより合成画像を導出し、
前記合成画像を前記教師データとして用いた機械学習を行う請求項１から３のいずれか１項に記載の放射線画像処理装置。 - 前記学習装置は、前記放射線画像および前記手術用具の少なくとも一方の特性に応じた合成パラメータによって前記放射線画像および前記手術用具画像を合成することにより、前記合成画像を導出する請求項４に記載の放射線画像処理装置。
- 前記学習装置は、前記手術用具の放射線吸収率、前記放射線画像における放射線散乱の程度、前記放射線画像におけるビームハードニング、および前記放射線画像の撮影条件に応じたノイズの少なくとも１つに応じて前記合成パラメータを設定する請求項５に記載の放射線画像処理装置。
- 被写体を異なる方向から撮影した複数の放射線画像を取得し、
手術用具として縫合針を含まない放射線画像および直線状の姿勢とは異なる姿勢の縫合針を含む手術用具画像を教師データとして用いた機械学習を行うことにより、入力された放射線画像から前記縫合針の領域を検出するための学習済みモデルを構築する学習装置により構築された前記学習済みモデルを用いて、複数の前記放射線画像から前記手術用具としての縫合針の領域を順次検出し、
少なくとも１つの前記放射線画像から前記手術用具の領域が検出された場合、前記被写体に前記手術用具が含まれると判定し、
すべての前記放射線画像から前記手術用具の領域が検出されなかった場合、前記被写体に前記手術用具が含まれないと判定する放射線画像処理方法。 - 被写体を異なる方向から撮影した複数の放射線画像を取得する手順と、
手術用具として縫合針を含まない放射線画像および直線状の姿勢とは異なる姿勢の縫合針を含む手術用具画像を教師データとして用いた機械学習を行うことにより、入力された放射線画像から前記縫合針の領域を検出するための学習済みモデルを構築する学習装置により構築された前記学習済みモデルを用いて、複数の前記放射線画像から前記手術用具としての縫合針の領域を順次検出する手順と、
少なくとも１つの前記放射線画像から前記手術用具の領域が検出された場合、前記被写体に前記手術用具が含まれると判定する手順と、
すべての前記放射線画像から前記手術用具の領域が検出されなかった場合、前記被写体に前記手術用具が含まれないと判定する手順とをコンピュータに実行させる放射線画像処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020154639A JP7366870B2 (ja) | 2020-09-15 | 2020-09-15 | 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム |
| US17/469,472 US12026927B2 (en) | 2020-09-15 | 2021-09-08 | Learning device, learning method, learning program, trained model, radiographic image processing device, radiographic image processing method, and radiographic image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020154639A JP7366870B2 (ja) | 2020-09-15 | 2020-09-15 | 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022048677A JP2022048677A (ja) | 2022-03-28 |
| JP7366870B2 true JP7366870B2 (ja) | 2023-10-23 |
Family
ID=80627884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020154639A Active JP7366870B2 (ja) | 2020-09-15 | 2020-09-15 | 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US12026927B2 (ja) |
| JP (1) | JP7366870B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7413216B2 (ja) * | 2020-09-15 | 2024-01-15 | 富士フイルム株式会社 | 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム |
| JP7366870B2 (ja) * | 2020-09-15 | 2023-10-23 | 富士フイルム株式会社 | 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010131371A (ja) | 2008-10-27 | 2010-06-17 | Toshiba Corp | Ｘ線診断装置および画像処理装置 |
| US20130136323A1 (en) | 2010-02-22 | 2013-05-30 | The Johns Hopkins University | Method of detecting foreign bodies |
| JP2015058112A (ja) | 2013-09-18 | 2015-03-30 | グンゼ株式会社 | 縫合針 |
| JP2017185007A (ja) | 2016-04-05 | 2017-10-12 | 株式会社島津製作所 | 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法 |
| WO2019159440A1 (ja) | 2018-02-14 | 2019-08-22 | 株式会社イシダ | 検査装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020147382A1 (en) * | 2001-01-23 | 2002-10-10 | Neisz Johann J. | Surgical articles and methods |
| US8029482B2 (en) * | 2005-03-04 | 2011-10-04 | C. R. Bard, Inc. | Systems and methods for radiographically identifying an access port |
| WO2010051506A1 (en) * | 2008-10-31 | 2010-05-06 | Alure Medical, Inc. | Minimally invasive tissue support system and method with a superior tissue support and an inferior anchor |
| WO2013082289A1 (en) * | 2011-11-30 | 2013-06-06 | Rush University Medical Center | System and methods for identification of implanted medical devices and/or detection of retained surgical foreign objects from medical images |
| US9579090B1 (en) * | 2013-02-27 | 2017-02-28 | The Administrators Of The Tulane Educational Fund | Surgical instrument with multiple instrument interchangeability |
| US9947090B2 (en) * | 2014-09-06 | 2018-04-17 | RaPID Medical Technologies, LLC | Medical image dectection system and method |
| US11504192B2 (en) * | 2014-10-30 | 2022-11-22 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
| JP6809869B2 (ja) | 2016-11-02 | 2021-01-06 | Eizo株式会社 | ガーゼ検出システム |
| US11972559B2 (en) * | 2020-02-13 | 2024-04-30 | Fujifilm Corporation | Radiographic image processing device, radiographic image processing method, and radiographic image processing program |
| JP7366870B2 (ja) * | 2020-09-15 | 2023-10-23 | 富士フイルム株式会社 | 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム |
| US11389248B1 (en) * | 2021-12-14 | 2022-07-19 | Ix Innovation Llc | Surgical robot evolution and handoff |
| US11464590B1 (en) * | 2022-04-26 | 2022-10-11 | Ix Innovation Llc | Robotic surgery system with tool edge sensors for edge computing |
-
2020
- 2020-09-15 JP JP2020154639A patent/JP7366870B2/ja active Active
-
2021
- 2021-09-08 US US17/469,472 patent/US12026927B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010131371A (ja) | 2008-10-27 | 2010-06-17 | Toshiba Corp | Ｘ線診断装置および画像処理装置 |
| US20130136323A1 (en) | 2010-02-22 | 2013-05-30 | The Johns Hopkins University | Method of detecting foreign bodies |
| JP2015058112A (ja) | 2013-09-18 | 2015-03-30 | グンゼ株式会社 | 縫合針 |
| JP2017185007A (ja) | 2016-04-05 | 2017-10-12 | 株式会社島津製作所 | 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法 |
| WO2019159440A1 (ja) | 2018-02-14 | 2019-08-22 | 株式会社イシダ | 検査装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220083805A1 (en) | 2022-03-17 |
| US12026927B2 (en) | 2024-07-02 |
| JP2022048677A (ja) | 2022-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6527209B2 (ja) | 画像表示の生成方法 | |
| JP7209595B2 (ja) | 放射線画像処理装置、方法およびプログラム | |
| US9786054B2 (en) | Medical image processing device, treatment system and medical image processing method | |
| US20180253838A1 (en) | Systems and methods for medical imaging of patients with medical implants for use in revision surgery planning | |
| JP7366870B2 (ja) | 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム | |
| CN107752979B (zh) | 人工投影的自动生成方法、介质和投影图像确定装置 | |
| US12042314B2 (en) | Radiographic image processing device, radiographic image processing method, and radiographic image processing program | |
| US20110002444A1 (en) | Model based self-positioning patient table for x-ray systems | |
| JP2021142146A (ja) | 医用画像処理装置、医用装置、治療システム、医用画像処理方法、およびプログラム | |
| US11972559B2 (en) | Radiographic image processing device, radiographic image processing method, and radiographic image processing program | |
| JP7413216B2 (ja) | 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム | |
| JP7394645B2 (ja) | 教師画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、判別器、並びに放射線画像処理装置、方法およびプログラム | |
| KR20210146384A (ko) | 의용 화상 처리 장치, 기억 매체, 의용 장치, 및 치료 시스템 | |
| JP7297507B2 (ja) | 画像処理装置、ｘ線診断装置及びプログラム | |
| JP2021126501A (ja) | 放射線画像処理装置、方法およびプログラム | |
| JP2021041090A (ja) | 医用画像処理装置、ｘ線画像処理システム、および、学習モデルの生成方法 | |
| US20210378749A1 (en) | Method and device for monitoring images by means of an x-ray device during a surgical procedure | |
| JP7346668B2 (ja) | 放射線画像処理装置及びプログラム | |
| WO2024117129A1 (ja) | 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム | |
| US20240189036A1 (en) | Method and apparatus for surgical procedure simulation based on virtual reality | |
| WO2024110640A1 (en) | Method for generating a simulated bidimensional image of a portion of a patient's body | |
| WO2024012650A1 (en) | Augmentation overlay device | |
| JP2022028188A (ja) | 医用画像処理装置、ｘ線診断装置及びプログラム | |
| JP2024085845A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP2023158116A (ja) | 位置情報表示装置、方法およびプログラム、並びに放射線画像撮影装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220803 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231011 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7366870 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |