JP7209595B2 - 放射線画像処理装置、方法およびプログラム - Google Patents

放射線画像処理装置、方法およびプログラム Download PDF

Info

Publication number
JP7209595B2
JP7209595B2 JP2019131227A JP2019131227A JP7209595B2 JP 7209595 B2 JP7209595 B2 JP 7209595B2 JP 2019131227 A JP2019131227 A JP 2019131227A JP 2019131227 A JP2019131227 A JP 2019131227A JP 7209595 B2 JP7209595 B2 JP 7209595B2
Authority
JP
Japan
Prior art keywords
radiographic image
surgical tool
image
radiation
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019131227A
Other languages
English (en)
Other versions
JP2021013685A (ja
JP2021013685A5 (ja
Inventor
紳 浜渦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2019131227A priority Critical patent/JP7209595B2/ja
Priority to US16/916,170 priority patent/US11389132B2/en
Publication of JP2021013685A publication Critical patent/JP2021013685A/ja
Publication of JP2021013685A5 publication Critical patent/JP2021013685A5/ja
Application granted granted Critical
Publication of JP7209595B2 publication Critical patent/JP7209595B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/30Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from X-rays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/32Transforming X-rays

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本開示は、放射線画像処理装置、方法およびプログラムに関するものである。
患者の外科的手術を行う際には、出血を抑えるためのガーゼ、傷口を縫うための糸と針、切開のためのメスおよび鋏、血液を排出するためのドレイン、並びに切開部分を開くための鉗子等の様々な手術用具が使用される。このような手術用具は、手術後に患者の体内に残存していると、重篤な合併症を発生する恐れがある。このため、手術後は患者の体内に手術用具が残存していないことを確認する必要がある。
このため、ガーゼ画像の特徴を学習した判別器を用意し、手術野をカメラにより撮影することにより取得した画像を判別器に入力して、ガーゼの有無を判別する手法が提案されている(特許文献1参照)。
特開2018-068863号公報
しかしながら、ガーゼは血に染まるため、カメラにより取得した画像ではガーゼを発見することは判別器を用いたとしても困難である。一方、術後に患者の放射線画像を取得し、放射線画像を観察することにより、患者の体内に手術用具が残存しているか否かを確認することが考えられる。しかしながら、長時間の手術の後では、術者も看護師も疲労しているため、手術用具の残存を見逃してしまう可能性が高いという問題がある。また、判別器の学習に必要なガーゼ等の手術器具が残存した放射線画像は極めて稀であるため、判別器の学習のために大量に収集することは困難である。
本開示は上記事情に鑑みなされたものであり、手術後における手術用具の患者体内の残存を確実に防止できるようにすることを目的とする。
本開示による放射線画像処理装置は、人体を含む第1の放射線画像および手術用具を含む第2の放射線画像を合成することにより取得した合成画像、並びに合成画像における手術用具の領域を表す正解データからなる教師データにより、入力された放射線画像における手術用具の領域を判別するように学習がなされた判別器を有する検出部を備え、
検出部は、判別器により入力された放射線画像における手術用具の領域を判別することにより、手術用具の領域を検出する。
なお、本開示による放射線画像処理装置においては、放射線画像において検出された手術用具の領域を強調して、放射線画像を表示部に表示する表示制御部をさらに備えるものであってもよい。
また、本開示による放射線画像処理装置においては、第1の放射線画像および手術用具の特性に応じた合成パラメータにより第1の放射線画像および第2の放射線画像を合成することにより、合成画像を生成する合成部をさらに備えるものであってもよい。
この場合、合成部は、手術用具の放射線吸収率、第1の放射線画像における放射線散乱の程度、第1の放射線画像におけるビームハードニング、および第1の放射線画像の撮影条件に応じたノイズの少なくとも1つに応じて合成パラメータを設定するものであってもよい。
また、本開示による放射線画像処理装置においては、手術用具は、ガーゼ、メス、鋏、ドレイン、針、糸および鉗子の少なくとも1つを含むものであってもよい。
また、本開示による放射線画像処理装置においては、ガーゼは、放射線吸収糸を少なくとも一部に含むものであってもよい。
少なくとも一部とは、一部のみならず、全部が放射線吸収糸であってもよいことを意味する。
また、本開示による放射線画像処理装置においては、合成画像および合成画像における手術用具の位置が特定された正解データからなる学習用画像を用いて、判別器を学習する学習部をさらに備えるものであってもよい。
本開示による放射線画像処理方法は、人体を含む第1の放射線画像および手術用具を含む第2の放射線画像を合成することにより取得した合成画像、並びに合成画像における手術用具の領域を表す正解データからなる教師データにより、入力された放射線画像における手術用具の領域を判別するように学習がなされた判別器を有する検出部を備えた放射線画像処理装置における放射線画像処理方法であって、
検出器が、判別器により入力された放射線画像における手術用具の領域を判別することにより、手術用具の領域を検出する。
なお、本開示による放射線画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の放射線画像処理装置は、コンピュータに実行させるための命令を記憶するメモリ、および
記憶された命令を実行するよう構成されたプロセッサを備え、プロセッサは、
人体を含む第1の放射線画像および手術用具を表す第2の放射線画像を合成することにより取得した合成画像、並びに合成画像における手術用具の領域を表す正解データからなる教師データにより、入力された放射線画像における手術用具の領域を判別するように学習がなされた判別器を有する検出部として機能し、
入力された放射線画像における手術用具の領域を判別することにより、手術用具の領域を検出する処理を実行する。
本開示によれば、手術後における手術用具の患者体内の残存を確実に防止できる。
本開示の実施形態による放射線画像処理装置を適用した放射線画像撮影システムの構成を示す概略ブロック図 本実施形態による放射線画像処理装置の概略構成を示す図 第1の放射線画像を示す図 ガーゼを示す図 第2の放射線画像を示す図 合成画像を示す図 放射線画像の表示画面を示す図 本実施形態における合成画像生成処理のフローチャート 本実施形態における学習処理のフローチャート 本実施形態における検出処理のフローチャート
以下、図面を参照して本開示の実施形態について説明する。図1は本開示の実施形態による放射線画像処理装置を適用した放射線画像撮影システムの構成を示す概略ブロック図である。図1に示すように、本実施形態による放射線画像撮影システムは、外科的手術を行った後の、患者である被写体Hの放射線画像を取得して、放射線画像に含まれる手術用具を検出するためのものである。本実施形態による放射線画像撮影システムは、撮影装置1と、本実施形態による放射線画像処理装置であるコンピュータ2とを備える。
撮影装置1は、X線源等の放射線源4から発せられ、被写体Hを透過した放射線を放射線検出器5に照射することにより、手術台3に仰臥した被写体Hの放射線画像G0を取得するための撮影装置である。放射線画像G0は、放射線画像処理装置であるコンピュータ2に入力される。
放射線検出器5は、放射線画像の記録と読み出しを繰り返して行うことができるものであり、放射線の照射を直接受けて電荷を発生する、いわゆる直接型の放射線検出器を用いてもよいし、放射線を一旦可視光に変換し、その可視光を電荷信号に変換する、いわゆる間接型の放射線検出器を用いるようにしてもよい。また、放射線画像信号の読出方式としては、TFT(thin film transistor)スイッチをオン・オフさせることによって放射線画像信号が読み出される、いわゆるTFT読出方式のもの、または読取り光を照射することによって放射線画像信号が読み出される、いわゆる光読出方式のものを用いることが望ましいが、これに限らずその他のものを用いるようにしてもよい。
コンピュータ2には表示部6および入力部7が接続されている。表示部6は、CRT(Cathode Ray Tube)または液晶ディスプレイ等からなり、撮影により取得された放射線画像およびコンピュータ2において行われる処理に必要な各種入力の補助を行う。入力部7は、キーボード、マウスまたはタッチパネル等からなる。
コンピュータ2には、本実施形態の放射線画像処理プログラムがインストールされている。本実施形態においては、コンピュータは、操作者が直接操作するワークステーションまたはパソコンでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。放射線画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、またはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。もしくは、DVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
図2は、本実施形態において、コンピュータ2に放射線画像処理プログラム等をインストールすることにより実現される放射線画像処理装置の概略構成を示す図である。図2に示すように、放射線画像処理装置は、標準的なコンピュータの構成として、CPU(Central Processing Unit)11、メモリ12およびストレージ13を備える。
ストレージ13は、ハードディスクまたはSSD(Solid State Drive)等のストレージデバイスからなり、撮影装置1の各部を駆動するための撮影プログラムおよび放射線画像処理プログラム等を含む各種情報が記憶されている。また、撮影により取得された放射線画像も記憶される。
メモリ12には、各種処理をCPU11に実行させるために、ストレージ13に記憶された放射線画像処理プログラム等が一時的に記憶される。放射線画像処理プログラムは、CPU11に実行させる処理として、放射線源4から発せられて被写体Hを透過した放射線を、放射線検出器5に照射することにより放射線画像G0を取得し、かつ後述する合成画像を生成するための、被写体Hを含む第1の放射線画像G1および手術用具を表す第2の放射線画像G2を取得する画像取得処理、入力された放射線画像G0に含まれる手術用具を検出する検出処理、手術用具が検出された放射線画像G0を表示部6に表示する表示制御処理、画像取得処理により取得された合成画像生成のための第1の放射線画像G1および手術用具を表す第2の放射線画像G2を合成して合成画像C0を生成する合成処理、並びに合成画像C0および合成画像C0における手術用具の領域を表す正解データからなる教師データにより、入力された放射線画像における手術用具の領域を判別するための判別器を学習する学習処理を規定する。
そして、CPU11が放射線画像処理プログラムに従い上記の処理を実行することで、コンピュータ2は、画像取得部21、検出部22、表示制御部23、合成部24および学習部25として機能する。
画像取得部21は、放射線源4を駆動して手術後の被写体Hに放射線を照射し、被写体Hを透過した放射線を放射線検出器5により検出して、放射線画像G0を取得する。この際、画像取得部21は、放射線源4において使用するターゲットおよびフィルタの種類、撮影線量、管電圧およびSID等の撮影条件を設定する。また、後述する合成画像C0を生成するために、画像取得部21は、任意の被写体Hを含む第1の放射線画像G1を取得する。第1の放射線画像G1を取得する被写体Hは手術用具を含まない。また、画像取得部21は、手術用具を表す第2の放射線画像G2も取得する。なお、本実施形態による放射線画像処理装置は、放射線画像処理プログラムとは別個のプログラムにより放射線画像G0,G1,G2を取得してストレージ13に保存するものであってもよい。この場合、画像取得部21は、ストレージ13に保存された放射線画像G0,G1,G2を読み出すことにより、放射線画像G0,G1,G2を取得するものとなる。なお、本実施形態においては、手術用具としてガーゼを用いるものとする。
次に、合成部24が行う処理について説明する。合成部24は、合成画像C0を生成するための第1の放射線画像G1および手術用具を表す第2の放射線画像G2を合成することにより、合成画像C0を生成する。図3は合成画像生成のための第1の放射線画像G1を示す図である。本実施形態においては、図3に示すように人体の胸腹部を含む第1の放射線画像G1を取得するものとする。
図4はガーゼを示す図である。図4に示すように、ガーゼ40は綿糸が平織りされてなる生地であり、その一部に放射線吸収糸41が織り込まれている。綿糸は放射線を透過するが、放射線吸収糸41は放射線を吸収する。このため、ガーゼ40の放射線画像には、線状の放射線吸収糸41のみが含まれる。ここで、手術の際には、出血を吸収するために、ガーゼ40は丸められて人体内に挿入される。本実施形態においては、実際にガーゼ40を使用する際の態様と一致させるために、ガーゼを適宜丸めて撮影することにより、第2の放射線画像G2を取得するものとする。なお、ガーゼ40は放射線吸収糸41のみからなるものであってもよい。
図5は第2の放射線画像G2を示す図である。第2の放射線画像G2における放射線吸収糸41の領域は、放射線吸収糸41による放射線の減弱量に相当する。このため、第2の放射線画像G2においては、ガーゼ40に含まれる放射線吸収糸41は高輝度(低濃度)となる。
合成部24は、第1の放射線画像G1と第2の放射線画像G2とを合成して、合成画像C0を生成する。合成部24は、手術用具(本実施形態においてはガーゼ40)の特性に応じた合成パラメータによって第1の放射線画像G1および第2の放射線画像G2を合成して合成画像C0を生成する。合成部24は、手術用具(本実施形態においてはガーゼ40)の放射線吸収率、手術用具による放射線散乱の程度、第1の放射線画像G1におけるビームハードニング、および第1の放射線画像G1の撮影条件に応じたノイズの少なくとも1つにより、合成パラメータを設定する。
本実施形態においては、例えば、下記の式(1)により合成画像C0を生成するものとする。すなわち、第1の放射線画像G1における第2の放射線画像G2を合成する領域の画素(x,y)において、第1の放射線画像G1の画素値G1(x,y)から、重み係数w1により重み付けた第2の放射線画像G2の画素値G2(x,y)を減算することにより、合成画像C0の画素値C0(x,y)を導出する。なお、重み係数w1は0以上1以下の値をとる。重み係数w1は本実施形態の合成パラメータに含まれる。なお、合成部24は、第1の放射線画像G1における第2の放射線画像G2の合成位置の左上隅および右下隅の座標位置を設定し、第2の放射線画像G2の左上隅および右下隅が、設定した座標位置と一致するように第2の放射線画像G2を拡大縮小して、第1の放射線画像G1と第2の放射線画像G2とを合成する。図6は合成画像を示す図である。図6に示すように、合成画像C0においては、被写体の右肺にガーゼ40の放射線吸収糸41が含まれたものとなる。
C0(x,y)=G1(x,y)-w1・G2(x,y) (1)
ここで、手術用具の放射線吸収率が高ければ、第2の放射線画像G2における手術用具のコントラストが高くなる。例えば、手術用具が鋏およびメスのような金属の場合、放射線吸収糸41よりも第2の放射線画像G2におけるコントラストが高くなる。このため、合成画像C0においては手術用具のコントラストが高くなりすぎないように、第1の放射線画像G1と第2の放射線画像G2とを加算する際に、第2の放射線画像G2の重み係数w1を大きくする。
また、放射線の散乱により、放射線画像におけるコントラストが低下する。放射線の散乱は、被写体Hの体厚が大きいほどその影響が大きくなる。また、被写体Hの体厚が大きいほど第1の放射線画像G1に含まれる被写体領域の濃度は小さくなる。このため、合成部24は、第1の放射線画像G1に含まれる被写体領域の濃度の平均値を導出し、平均値が小さいほど、すなわち被写体Hの体厚が大きいほど、第1の放射線画像G1と第2の放射線画像G2との濃度差が小さくなるように、重み係数w1を小さくして合成画像C0を生成する。
ここで、放射線源4に印加される管電圧が高く、放射線が高エネルギーであるほど、放射線が被写体Hを透過する過程において、放射線の低エネルギー成分が被写体Hに吸収され、放射線が高エネルギー化するビームハードニングが生じる。ビームハードニングが生じると、放射線画像におけるコントラストが低下する。また、ビームハードニングによる放射線の高エネルギー化は、被写体Hの体厚が大きいほど大きくなる。また、被写体Hの体厚が大きいほど第1の放射線画像G1に含まれる被写体領域の濃度は小さくなる。このため、合成部24は、第1の放射線画像G1に含まれる被写体領域の濃度の平均値を導出し、平均値が小さいほど、すなわち被写体Hの体厚が大きいほど、第1の放射線画像G1と第2の放射線画像G2との濃度差が小さくなるように、重み係数w1を小さくして合成画像C0を生成する。
また、撮影条件における放射線量が小さいと、第1の放射線画像G1に含まれるノイズが多くなる。このため、合成部24は、放射線量が小さい場合、下記の式(2)に示すように、式(1)に対して放射線量に応じたノイズN(x,y)を加算することにより合成画像C0を生成する。この場合、重み係数w1は予め定められた値としてもよく、上記の手術用の放射線吸収率、放射線散乱の程度およびビームハードニングの少なくとも1つに応じて設定してもよい。また、ノイズN(x,y)は予め定められたシミュレーションにより導出して、ストレージ13に記憶しておけばよい。なお、ノイズN(x,y)も合成パラメータに含まれる。
C0(x,y)=G1(x,y)-w1・G2(x,y)+N(x,y) (2)
本実施形態においては、合成部24は、後述する判別器の学習のために、丸め方が異なる状態のガーゼ40を撮影することにより複数の第2の放射線画像G2を取得し、第1の放射線画像G1における第2の放射線画像G2の合成位置を変更したり、合成パラメータを変更したりして、複数の合成画像C0を生成する。なお、複数の第1の放射線画像G1を用いて合成画像C0を生成してもよい。
学習部25は、複数の合成画像C0および合成画像C0における手術用具の領域が特定された正解データを含む学習用画像を用いて、入力された放射線画像における手術用具の領域を判別するように判別器30を学習する。なお、正解データの生成は、合成画像C0を見ながらのマニュアル操作により行えばよい。判別器30としては、機械学習モデルを用いることができる。機械学習モデルの一例として、ニューラルネットワークモデルが挙げられる。ニューラルネットワークモデルとしては、単純パーセプトロン、多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、ディープビリーフネットワーク、リカレントニューラルネットワーク、および確率的ニューラルネットワーク等が挙げられる。本実施形態においては、判別器30として畳み込みニューラルネットワークを用いるものとする。
判別器30は、合成画像C0が入力されると、合成画像C0の各画素が手術用具の領域であることの確率を出力するように学習がなされる。判別器30が出力した、確率が予め定められたしきい値以上となる画素からなる領域が手術用具の領域となる。学習部25は、合成画像C0を判別器30に入力し、手術用具の領域となる確率を出力させる。そして、判別器30が出力した予め定められたしきい値以上となる確率となる画素からなる領域と、正解データにより表される領域との相違を損失として導出する。そして、損失に基づいて判別器30を学習する。具体的には、損失を小さくするように、畳み込みニューラルネットワークにおけるカーネルの係数およびニューラルネットワークの結合の重み等を導出する。学習部25は、損失が予め定められたしきい値以下となるまで学習を繰り返す。これによって、入力された放射線画像に含まれる手術用具の領域について、予め定められたしきい値以上の高い確率を出力することにより、入力された放射線画像に含まれる手術用具の領域を抽出するように、判別器30の学習がなされる。
検出部22は、学習された判別器30が適用されてなる。検出部22に対象の放射線画像G0が入力されると、検出部22は、判別器30に放射線画像G0に含まれる手術用具の領域を抽出させることにより、手術用具の領域を検出する。
表示制御部23は、検出部22が放射線画像G0から検出した手術用具の領域を強調して、放射線画像G0を表示部6に表示する。図7は放射線画像の表示画面を示す図である。図7に示すように、表示画面50には放射線画像G0が表示されており、放射線画像G0に含まれる手術用具の領域にマスク51が付与されることにより、手術用具の領域が強調されている。なお、図7においてはマスク51は白抜きにて示しているが、色を付与してもよい。なお、マスク51の付与に代えて、手術用具の領域付近に矢印および星印等のマークを付与することにより、手術用具の領域を強調してもよい。
次いで、本実施形態において行われる処理について説明する。図8は本実施形態において行われる合成画像生成処理のフローチャートである。まず、画像取得部21が、合成画像C0を生成するための第1の放射線画像G1および手術用具を表す第2の放射線画像G2を取得する(合成画像用の放射線画像取得;ステップST1)。次いで、合成部24が第1の放射線画像G1と第2の放射線画像G2との合成パラメータを設定し(ステップST2)、合成パラメータに応じて第1の放射線画像G1と第2の放射線画像G2とを合成して合成画像C0を生成し(ステップST3)、処理を終了する。
次いで、本実施形態における学習処理について説明する。図9は本実施形態において行われる学習処理のフローチャートである。学習部25が、合成画像C0および正解データからなる学習用画像を取得し(ステップST11)、判別器30に学習用画像を入力して手術用具の領域の抽出結果を取得し、正解データとの相違に基づく損失を用いて判別器30を学習し(ステップST12)、ステップST11にリターンする。そして、学習部25は、損失が予め定められたしきい値となるまで、ステップST11,ST12の処理を繰り返し、学習を終了する。なお、学習部25は、予め定められた回数学習を繰り返すことにより、学習を終了するものであってもよい。
次いで、本実施形態における手術用具の領域の検出処理について説明する。図10は本実施形態において行われる検出処理のフローチャートである。画像取得部21が、検出対象となる放射線画像G0を取得し(ステップST21)、検出部22が、放射線画像G0から手術用具の領域を検出する(ステップST22)。そして、表示制御部23が、手術用具の領域を強調した放射線画像G0を表示部6に表示し(ステップST23)、処理を終了する。
このように、本実施形態においては、1の放射線画像G1および手術用具を表す2の放射線画像G2を合成することにより生成した合成画像C0、およびこの合成画像C0における手術用具の領域を表す正解データからなる教師データにより、入力された放射線画像から手術用具の領域を判別するように学習がなされた判別器30を検出部22が備えるものとした。そして、判別器30によって、入力された放射線画像G0における手術用具の領域を判別することにより、手術用具の領域を検出するようにした。このため、本実施形態によれば、検出結果を参照することにより、患者の体内に手術用具が残存していないかを確実に確認することができる。したがって、本実施形態によれば、手術後における手術用具の患者体内の残存を確実に防止できる。
一方、判別器30の学習に必要な、手術器具が残存した放射線画像は極めて稀であるため、判別器30の学習のために大量に収集することは困難であった。本実施形態においては、1の放射線画像G1および手術用具を表す2の放射線画像G2を合成することにより生成した合成画像C0を用いて、判別器30を学習している。このため、十分な数の合成画像C0を用意することができ、その結果、手術器具の検出精度が高い判別器30を構築することができる。
なお、上記実施形態においては、ガーゼ40を手術用具として検出の対象としているが、これに限定されるものではない。メス、鋏、ドレイン、針、糸および鉗子等の手術の際に使用する任意の手術用具を検出の対象とすることができる。この場合、合成画像C0を生成するための、手術用具を含む第2の放射線画像G2は、対象となる手術用具を撮影することにより取得すればよい。また、判別器30は対象となる手術用具を判別するように学習すればよい。なお、判別器30を複数チャンネルの検出を行うように学習することにより、1種類の手術用具のみならず、複数種類の手術用具を判別するように、判別器30を構築することも可能である。
また、上記実施形態においては、放射線は、とくに限定されるものではなく、X線の他、α線またはγ線等を適用することができる。
また、上記実施形態において、例えば、画像取得部21、検出部22、表示制御部23、合成部24および学習部25といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
1 撮影装置
2 コンピュータ
3 手術台
4 放射線源
5 放射線検出器
6 表示部
7 入力部
11 CPU
12 メモリ
13 ストレージ
21 画像取得部
22 検出部
23 表示制御部
24 合成部
25 学習部
30 判別器
40 ガーゼ
41 放射線吸収糸
50 表示画面
51 マスク
H 被写体

Claims (9)

  1. 人体を含む第1の放射線画像および手術用具を含む第2の放射線画像を合成することにより取得した合成画像、並びに該合成画像における前記手術用具の領域を表す正解データからなる教師データにより、入力された放射線画像における前記手術用具の領域を判別するように学習がなされた判別器を有する検出部を備え、
    前記検出部が、前記判別器により、前記入力された放射線画像における前記手術用具の領域を判別することにより、該手術用具の領域を検出する放射線画像処理装置。
  2. 前記放射線画像において検出された手術用具の領域を強調して、前記放射線画像を表示部に表示する表示制御部をさらに備えた請求項1に記載の放射線画像処理装置。
  3. 前記第1の放射線画像および前記手術用具の特性に応じた合成パラメータにより前記第1の放射線画像および前記第2の放射線画像を合成することにより、前記合成画像を生成する合成部をさらに備えた請求項1または2に記載の放射線画像処理装置。
  4. 前記合成部は、前記手術用具の放射線吸収率、前記第1の放射線画像における放射線散乱の程度、前記第1の放射線画像におけるビームハードニング、および前記第1の放射線画像の撮影条件に応じたノイズの少なくとも1つに応じて前記合成パラメータを設定する請求項3に記載の放射線画像処理装置。
  5. 前記手術用具は、ガーゼ、メス、鋏、ドレイン、針、糸および鉗子の少なくとも1つを含む請求項1から4のいずれか1項に記載の放射線画像処理装置。
  6. 前記ガーゼは、放射線吸収糸を少なくとも一部に含む請求項5に記載の放射線画像処理装置。
  7. 前記合成画像および該合成画像における前記手術用具の位置が特定された正解データからなる学習用画像を用いて、前記判別器を学習する学習部をさらに備えた請求項1から6のいずれか1項に記載の放射線画像処理装置。
  8. 人体を含む第1の放射線画像および手術用具を含む第2の放射線画像を合成することにより取得した合成画像、並びに該合成画像における前記手術用具の領域を表す正解データからなる教師データにより、入力された放射線画像における前記手術用具の領域を判別するように学習がなされた判別器を有する検出部を備えた放射線画像処理装置における放射線画像処理方法であって、
    前記検出部が、前記判別器により、前記入力された放射線画像における前記手術用具の領域を判別することにより、該手術用具の領域を検出する放射線画像処理方法。
  9. 人体を含む第1の放射線画像および手術用具を含む第2の放射線画像を合成することにより取得した合成画像、並びに該合成画像における前記手術用具の領域を表す正解データからなる教師データにより、入力された放射線画像における前記手術用具の領域を判別するように学習がなされた判別器を有する検出部を備えた放射線画像処理装置における放射線画像処理方法をコンピュータに実行させるための放射線画像処理プログラムであって、
    前記入力された放射線画像における前記手術用具の領域を判別することにより、該手術用具の領域を検出する手順をコンピュータに実行させる放射線画像処理プログラム。
JP2019131227A 2019-07-16 2019-07-16 放射線画像処理装置、方法およびプログラム Active JP7209595B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019131227A JP7209595B2 (ja) 2019-07-16 2019-07-16 放射線画像処理装置、方法およびプログラム
US16/916,170 US11389132B2 (en) 2019-07-16 2020-06-30 Radiographic image processing apparatus, radiographic image processing method, and radiographic image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019131227A JP7209595B2 (ja) 2019-07-16 2019-07-16 放射線画像処理装置、方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2021013685A JP2021013685A (ja) 2021-02-12
JP2021013685A5 JP2021013685A5 (ja) 2021-09-02
JP7209595B2 true JP7209595B2 (ja) 2023-01-20

Family

ID=74343127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019131227A Active JP7209595B2 (ja) 2019-07-16 2019-07-16 放射線画像処理装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US11389132B2 (ja)
JP (1) JP7209595B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11972559B2 (en) 2020-02-13 2024-04-30 Fujifilm Corporation Radiographic image processing device, radiographic image processing method, and radiographic image processing program
JP2021126501A (ja) * 2020-02-13 2021-09-02 富士フイルム株式会社 放射線画像処理装置、方法およびプログラム
JP7413216B2 (ja) * 2020-09-15 2024-01-15 富士フイルム株式会社 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
US20240050052A1 (en) * 2021-01-25 2024-02-15 Shimadzu Corporation X-ray fluoroscopic imaging apparatus
WO2022176280A1 (ja) * 2021-02-16 2022-08-25 株式会社島津製作所 X線撮影装置、画像処理装置、および、画像処理方法
JPWO2022186110A1 (ja) * 2021-03-01 2022-09-09
WO2022215303A1 (ja) * 2021-04-07 2022-10-13 株式会社島津製作所 X線撮影装置、画像処理装置、および、画像処理プログラム
JPWO2022250071A1 (ja) * 2021-05-27 2022-12-01

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017141498A1 (ja) 2016-02-18 2017-08-24 コニカミノルタ株式会社 放射線画像撮影システム、医用画像出力システムおよび出力装置
WO2018159775A1 (ja) 2017-03-03 2018-09-07 国立大学法人筑波大学 対象追跡装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5256495U (ja) * 1975-10-22 1977-04-23
JP6809869B2 (ja) * 2016-11-02 2021-01-06 Eizo株式会社 ガーゼ検出システム
KR101926123B1 (ko) * 2017-12-28 2018-12-06 (주)휴톰 수술영상 분할방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017141498A1 (ja) 2016-02-18 2017-08-24 コニカミノルタ株式会社 放射線画像撮影システム、医用画像出力システムおよび出力装置
WO2018159775A1 (ja) 2017-03-03 2018-09-07 国立大学法人筑波大学 対象追跡装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Kondo Takanori,"技ラボ DeepLeaningで用いるデータを「生成」してみた",[online],[令和4年6月24日検索],2016年01月20日,インターネット<URL:https://wazalabo.com/dl-create-learning-data.html>
Ryo Shimizu,"AI時代の鍵を握るのはデータオーギュメンテーション技術",[online],[令和4年6月24日検索],2016年09月27日,インターネット<URL:https://wirelesswire.jp/2016/09/56680>
木村 鴻大 他8名,"X線単純撮影画像からの外科手術後遺留ガーゼの自動抽出",電子情報通信学会技術研究報告 ,日本,一般社団法人電子情報通信学会,2016年01月, Vol.115 No.401,pp.295-300

Also Published As

Publication number Publication date
JP2021013685A (ja) 2021-02-12
US20210015440A1 (en) 2021-01-21
US11389132B2 (en) 2022-07-19

Similar Documents

Publication Publication Date Title
JP7209595B2 (ja) 放射線画像処理装置、方法およびプログラム
Waite et al. Interpretive error in radiology
Mayo et al. Pulmonary CT angiography as first-line imaging for PE: image quality and radiation dose considerations
CN110881992B (zh) 使用双能量计算机断层扫描的针对外伤性出血的检测和量化
US12042314B2 (en) Radiographic image processing device, radiographic image processing method, and radiographic image processing program
US20130342577A1 (en) Image synthesis for diagnostic review
JP2012192118A (ja) 骨密度測定装置
US12026927B2 (en) Learning device, learning method, learning program, trained model, radiographic image processing device, radiographic image processing method, and radiographic image processing program
US20210251583A1 (en) Radiographic image processing device, radiographic image processing method, and radiographic image processing program
JP7152375B2 (ja) 放射線画像処理装置、方法およびプログラム
JP7152377B2 (ja) 放射線画像処理装置、方法およびプログラム
JP7394645B2 (ja) 教師画像生成装置、方法およびプログラム、学習装置、方法およびプログラム、判別器、並びに放射線画像処理装置、方法およびプログラム
JP7413216B2 (ja) 学習装置、方法およびプログラム、学習済みモデル、並びに放射線画像処理装置、方法およびプログラム
US20230157657A1 (en) X-ray diagnostic apparatus, medical image processing apparatus, and medical image processing method
JP7178822B2 (ja) 医用画像処理装置
Mahajan et al. Audit of artificial intelligence algorithms and its impact in relieving shortage of specialist doctors
JP2021126501A (ja) 放射線画像処理装置、方法およびプログラム
JP7346668B2 (ja) 放射線画像処理装置及びプログラム
US20240193763A1 (en) System and Method for Projection Enhancement for Synthetic 2D Image Generation
US20240050052A1 (en) X-ray fluoroscopic imaging apparatus
JP2024027946A (ja) 医用情報処理装置
Tseng Task-based image quality assessment in x-ray computed tomography
RU2200469C2 (ru) Способ вычислительной субтракционной рентгенографии
JP2023077230A (ja) X線診断装置、医用画像処理装置、およびプログラム
JP2023077229A (ja) X線診断装置、医用画像処理装置、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230110

R150 Certificate of patent or registration of utility model

Ref document number: 7209595

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150