JPWO2019220825A1 - 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法 - Google Patents

胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法 Download PDF

Info

Publication number
JPWO2019220825A1
JPWO2019220825A1 JP2020519515A JP2020519515A JPWO2019220825A1 JP WO2019220825 A1 JPWO2019220825 A1 JP WO2019220825A1 JP 2020519515 A JP2020519515 A JP 2020519515A JP 2020519515 A JP2020519515 A JP 2020519515A JP WO2019220825 A1 JPWO2019220825 A1 JP WO2019220825A1
Authority
JP
Japan
Prior art keywords
ray image
chest
gradation
image
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020519515A
Other languages
English (en)
Inventor
近藤 堅司
堅司 近藤
小澤 順
順 小澤
浩彦 木村
浩彦 木村
春海 伊藤
春海 伊藤
藤本 真一
真一 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2019220825A1 publication Critical patent/JPWO2019220825A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/484Diagnostic techniques involving phase contrast X-ray imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image

Abstract

読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータが、対象胸部X線画像を取得し(S50)、対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し(S100)、構造物の近傍領域に対応する画素集合を抽出し、画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し(S500)、コントラスト変換式を用いて、対象胸部X線画像全体の各画素値の輝度変換(S700)を行う胸部X線画像の階調変換方法。

Description

本開示は、医用画像の処理技術に関し、さらに詳しくは胸部X線画像の階調変換技術に関する。
医用画像のなかでも、胸部X線画像は、撮影機器及び撮影コストが安価で、普及率も高く、胸部疾患を診断する際の第一選択方法となっている。しかしながら、胸部X線画像では、奥行き方向に複数の解剖学的構造が重なって描出される。このため、読影が難しいことから、病変を見逃してしまう、安易にコンピュータ断層撮影を実施してしまう、等の問題点が指摘されている。
また、胸部X線画像は、一般に、X線撮像装置において高階調(例えば、10〜14ビット)のデジタル画像として取得される。一方、撮影された胸部X線画像をモニタに表示する際には、胸部X線画像は、より低階調(例えば、8〜12ビット)に階調圧縮されて表示される。階調圧縮は、γ補正などのコントラスト変換処理も併せて行われ、画像における重要な階調ができるだけ保存されるように行われている。読影を少しでも容易にするために、胸部X線画像の診断に重要な領域の情報を低下させないように階調圧縮を行うことが重要となっている。
従来、胸部X線画像の情報量を保ちながら所望の領域を所望のコントラストおよび濃度で表示することが可能な階調変換技術として、特許文献1が提案されている。特許文献1に記載の技術では、胸部X線画像の画素値ヒストグラムから、例えば肺野及び縦隔のような大まかな領域の画素値範囲が推定され、推定結果に基づいて、γカーブの制御点が決定されている。
国際公開第2015/174206号
O.Ronneberger, P.Fischer, and T.Brox, U−Net:Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer−Assisted Intervention(MICCAI), Springer, LNCS, Vol.9351: 234−−241, 2015 L.Long, E.Shelhamer, T.Darrell, Fully Convolutional Networks for Semantic Segmentation, In CVPR. 2015.
上記特許文献1に記載の技術では、例えば、肺野と縦隔それぞれに適したγカーブを適用することができる。しかしながら、上記従来技術では、胸部X線画像の診断に重要な領域のコントラストを向上させる保証はないため、更なる改善が求められている。
本開示の一態様は、
読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータが、
前記対象胸部X線画像を取得し、
前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
前記構造物の近傍領域に対応する画素集合を抽出する抽出し、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し、
前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う、
胸部X線画像の階調変換方法である。
なお、この包括的又は具体的な態様は、装置、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD−ROM(Compact Disc−Read Only Memory)等の不揮発性の記録媒体を含む。
本開示によれば、更なる改善が実現できる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
第1実施形態における画像階調変換装置のブロック図 第1実施形態における医療機関内のネットワーク構成のブロック図 第1実施形態におけるフローチャート 下行大動脈の陰影を含む胸部X線画像を示す図 下行大動脈の陰影のマスク画像を示す図 胸部X線画像にマスク画像を重畳した画像を示す図 右背側横隔膜の陰影を含む胸部X線画像を示す図 右背側横隔膜の陰影のマスク画像を示す図 胸部X線画像にマスク画像を重畳した画像を示す図 第1胸椎を含む胸部X線画像を示す図 第1胸椎のマスク画像を示す図 胸部X線画像にマスク画像を重畳した画像を示す図 U−Netのアーキテクチャを概略的に示す図 線構造の一例を概略的に示す図 図8Aの線構造の近傍領域の一例を概略的に示す図 領域構造の一例を概略的に示す図 図9Aの領域構造の近傍領域の一例を概略的に示す図 階調変換LUTの一例を概略的に示す図 図8Aの線構造の近傍領域の異なる例を概略的に示す図 図9Aの領域構造の近傍領域の異なる例を概略的に示す図 第2実施形態における画像階調変換装置の構成を示すブロック図 第2実施形態における構造物検出処理を示すフローチャート 解像度情報を概略的に示す図 図13のステップS103〜ステップS106の処理を概略的に示す図 第3実施形態における画像階調変換装置の構成を示すブロック図 第3実施形態におけるフローチャート 第4実施形態における医療機関内のネットワーク構成のブロック図 輪郭線MLprを所定画素数だけ膨張させる理由を説明する図
(本開示の基礎となった知見)
上記特許文献1に記載の技術によれば、例えば、肺野及び縦隔それぞれに適したγカーブを適用することができる。これに対して、本発明者は、胸部X線画像において、肺野又は縦隔に比べて画像中に占める面積が小さく、かつ、濃淡差の小さい領域が、診断に重要となる場合があることを見出した。しかしながら、上記特許文献1に記載の技術では、このような領域のコントラストが向上する保証はない。
そこで、本発明者は、胸部X線画像の診断に重要な、胸部X線画像に占める面積が小さく、かつ、濃淡差の小さい領域(例えば後述の線構造)のコントラストを向上させることが可能な、以下の各態様を想到するに至った。
本開示の第1態様は、
読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータが、
前記対象胸部X線画像を取得し、
前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
前記構造物の近傍領域に対応する画素集合を抽出する抽出し、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し、
前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う、
胸部X線画像の階調変換方法である。
本開示の第2態様は、
読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータを、
前記対象胸部X線画像を取得する取得部、
前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部、
前記構造物の近傍領域に対応する画素集合を抽出する抽出部、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部、
前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部、
として機能させる画像階調変換プログラムである。
本開示の第3態様は、
読影対象の胸部X線画像である対象胸部X線画像を取得する取得部と、
前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部と、
を備える画像階調変換装置である。
この第1態様又は第2態様又は第3態様では、読影対象の胸部X線画像である対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物が、予め機械学習されたモデルを用いて検出される。検出された構造物の近傍領域に対応する画素集合が抽出される。抽出された画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式が生成される。生成されたコントラスト変換式を用いて、対象胸部X線画像全体の各画素値の輝度変換が行われる。したがって、第1態様又は第2態様又は第3態様によれば、頻度が多い画素値の画素による影響を受けずに、構造物の近傍領域におけるコントラストを向上させることができる。
上記第1態様において、例えば、
前記予め機械学習されたモデルは、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部X線画像である学習用胸部X線画像において前記構造物が検出されるように学習されたモデルであってもよい。
この態様では、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部X線画像である学習用胸部X線画像において構造物が検出されるように学習されたモデルを用いて、構造物が検出される。したがって、画素単位で予測が行われるため、第1線状領域または第2線状領域からなる線構造を含む構造物を高精度で検出することができる。
上記第1態様において、例えば、
前記検出では、
前記対象胸部X線画像を前記対象胸部X線画像の解像度より低い第1解像度に変換して第1X線画像を作成し、
前記対象胸部X線画像を前記第1解像度より高く、かつ前記対象胸部X線画像の解像度以下の第2解像度に変換して第2X線画像を作成し、
前記第1X線画像から第1サイズの前記構造物を検出し、
前記第1サイズの前記構造物の検出結果に基づき、前記第2X線画像において前記第2X線画像より小さい探索領域を設定し、
前記探索領域から、前記第1サイズより小さい第2サイズの前記構造物を検出してもよい。
この態様では、第1解像度の第1X線画像から第1サイズの構造物が検出される。第1解像度より高い第2解像度の第2X線画像には探索領域が設定され、この探索領域から第1サイズより小さい第2サイズの構造物が検出される。したがって、この態様によれば、高解像の画像を用いるときは、対象胸部X線画像のサイズより小さいサイズの探索領域を設定している。このため、メモリの使用量が低減される。その結果、メモリ量が少ない場合でも、構造物検出性能の低下を抑制することができる。
上記第1態様において、例えば、
前記第1サイズの前記構造物の検出では、前記第1X線画像から前記第1サイズの前記構造物として解剖学的構造を検出し、
前記第2サイズの前記構造物の検出では、前記第2X線画像の前記探索領域から前記第2サイズの前記構造物として前記線構造を検出してもよい。
この態様によれば、解剖学的構造は、比較的大きい第1サイズであるので、比較的低い第1解像度の第1X線画像から、好適に検出することができる。また、線構造は、比較的小さい第2サイズであるので、比較的高い第2解像度の第2X線画像のうち設定された探索領域から、好適に検出することができる。
上記第1態様において、例えば、
前記探索領域の設定では、前記第1サイズの前記構造物と前記第2サイズの前記構造物との相対位置関係が予め保存された位置メモリから読み出した前記相対位置関係を用いて、前記探索領域を設定してもよい。
この態様によれば、第1検出サブステップの検出結果として得られた第1サイズの構造物の位置と、第1サイズの構造物と第2サイズの構造物との相対位置関係とから、第2サイズの構造物の位置を把握することができる。したがって、把握した第2サイズの構造物の位置が含まれるように探索領域を設定することにより、第2サイズの構造物を確実に検出することができる。
上記第1態様において、例えば、
前記抽出では、前記構造物の輪郭線を所定画素数だけ外側及び内側に膨張させた領域を、前記構造物の近傍領域としてもよい。
この態様では、構造物の輪郭線から所定画素数だけ外側の領域の画素集合と、構造物の輪郭線から所定画素数だけ内側の領域の画素集合と、が抽出される。したがって、この態様によれば、構造物の輪郭線におけるコントラストを向上させることができる。その結果、構造物を視認し易くすることが可能になる。
上記第1態様において、例えば、
前記抽出では、前記構造物を所定画素数だけ外側に膨張させた領域を、前記構造物の近傍領域としてもよい。
この態様では、構造物を所定画素数だけ外側に膨張させた領域に対応する領域の画素集合が抽出される。したがって、この態様によれば、構造物より所定画素数だけ大きい領域におけるコントラストを向上させることができる。その結果、構造物を視認し易くすることが可能になる。
上記第1態様において、例えば、
前記抽出では、前記検出された前記構造物の全てを使用してもよい。
この態様によれば、検出された構造物の全ての近傍領域におけるコントラストを向上させることができる。
上記第1態様において、例えば、
更に、前記検出された前記構造物のうち一部の構造物をユーザが選択し、
前記抽出では、前記ユーザにより選択された前記一部の構造物を使用してもよい。
この態様によれば、所望の構造物を選択することにより、所望の構造物の近傍領域におけるコントラストを向上させることができる。
上記第1態様において、例えば、
更に、前記輝度変換が行われた後の前記対象胸部X線画像をディスプレイに表示し、
前記輝度変換では、前記コントラスト変換式と、前記対象胸部X線画像の階調より低い階調に変換する階調削減式とを用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行ってもよい。
この態様によれば、ディスプレイに表示可能な階調が対象胸部X線画像の階調より低い場合であっても、ディスプレイに適合する階調で、構造物の近傍領域におけるコントラストを向上させた対象胸部X線画像をディスプレイに表示することができる。
本開示の第4態様は、
読影対象の胸部X線画像である対象胸部X線画像を取得する取得部と、
前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部と、
前記輝度変換が行われた後の前記対象胸部X線画像を、外部の端末装置に送信する通信制御部と、
を備えるサーバ装置である。
この第4態様では、読影対象の胸部X線画像である対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物が、予め機械学習されたモデルを用いて検出される。検出された構造物の近傍領域に対応する画素集合が抽出される。抽出された画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式が生成される。生成されたコントラスト変換式を用いて、対象胸部X線画像全体の各画素値の輝度変換が行われる。輝度変換が行われた後の対象胸部X線画像は、外部の端末装置に送信される。したがって、第4態様によれば、端末装置のユーザは、頻度が多い画素値の画素による影響を受けずに、構造物の近傍領域におけるコントラストが向上した対象胸部X線画像を得ることが可能になる。
(実施の形態)
以下、本開示の実施の形態が、図面を参照しながら説明される。なお、各図面において、同じ構成要素には同じ符号が用いられ、適宜、説明は省略される。
(第1実施形態)
図1は、第1実施形態における、胸部X線画像の階調変換方法を実行する画像階調変換装置100の構成を概略的に示すブロック図である。図2は、医療機関内のネットワーク構成410を概略的に示すブロック図である。
図2に示されるように、医療機関内のネットワーク構成410は、イントラネットワーク400を含む。このイントラネットワーク400には、画像階調変換装置100と、医用画像管理システム200と、胸部X線画像撮影装置300と、が接続されている。医用画像管理システム200は、胸部X線画像、コンピュータ断層撮影(CT)画像、核磁気共鳴画像法(MRI)による画像等を保存し、管理する。胸部X線画像撮影装置300は、患者又は健康診断受診者の胸部X線画像を撮影する。胸部X線画像撮影装置300により撮影された胸部X線画像は、医用画像管理システム200に送信されて保存される。
なお、画像階調変換装置100と、医用画像管理システム200と、胸部X線画像撮影装置300とは、必ずしも、同一の医療機関内のイントラネットワーク400上に接続されている必要はない。画像階調変換装置100、及び、医用画像管理システム200は、医療機関の外部に設けられたデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバなどの上で動作するソフトウェアであってもよい。胸部X線画像撮影装置300は、病院内に設置されていても良いし、健康診断等で使用される巡回車の中に設置されていても良い。医用画像管理システム200として、例えば画像保存通信システム(PACS)が採用される。
図1に示されるように、画像階調変換装置100は、ルックアップテーブル(LUT)格納部105、画像メモリ106、通信部107、ディスプレイ108、中央演算処理装置(CPU)120、メモリ121を備えている。画像階調変換装置100は、例えばパーソナルコンピュータで構成される。
通信部107は、イントラネットワーク400を介して、医用画像管理システム200等と通信を行う。LUT格納部105は、例えばハードディスク又は半導体メモリ等により構成される。LUT格納部105は、階調変換LUTを格納する。画像メモリ106は、例えばハードディスク又は半導体メモリ等により構成される。画像メモリ106は、取得された対象胸部X線画像及び輝度変換された胸部X線画像を格納する。ディスプレイ108は、本実施形態では例えば、8ビット(256階調)の画像を表示する機能を有する。ディスプレイ108は、例えば、液晶モニタにより構成され、ユーザである医師又は放射線技師が、画像診断又は画像撮影後の画像確認を行う対象胸部X線画像を表示する。また、ディスプレイ108は、対象胸部X線画像が撮影された患者のカルテ情報、画像診断の結果を記入するレポート入力画面などを表示する。
メモリ121は、例えば半導体メモリ等により構成される。メモリ121は、例えばリードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、電気的に消去書き換え可能なROM(EEPROM)などを含む。メモリ121のROMは、CPU120を動作させる第1実施形態の制御プログラムを記憶する。
CPU120は、メモリ121に記憶されている第1実施形態の制御プログラムを実行することによって、構造物検出部111、画素抽出部112、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、表示制御部116及び通信制御部117として機能する。
構造物検出部111(検出部の一例に相当)は、画像メモリ106に保存された対象胸部X線画像から、予め定義された複数の構造物を検出する。画素抽出部112(抽出部の一例に相当)は、構造物検出部111により検出された構造物の近傍領域に対応する画素集合を抽出する。ヒストグラム計算部113は、画素抽出部112により抽出された画素集合から輝度ヒストグラムを算出する。ヒストグラム平滑化部114は、ヒストグラム計算部113により算出された輝度ヒストグラムを用いてヒストグラム平滑化を行う。ヒストグラム平滑化部114は、更に、低階調化を行って、階調変換LUTを得る。ヒストグラム平滑化部114は、階調変換LUTをLUT格納部105に格納する。輝度変換部115は、LUT格納部105に格納された階調変換LUTを用いて、対象胸部X線画像の全画素の輝度を変換する。表示制御部116は、輝度変換部115によって輝度変換された対象胸部X線画像をディスプレイ108に表示する。通信制御部117(取得部の一例に相当)は、通信部107を制御する。構造物検出部111、画素抽出部112、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、表示制御部116の機能は、それぞれ、後に詳述される。
図3は、第1実施形態に係る画像階調変換装置100により実行される処理手順を概略的に示すフローチャートである。まず、ステップS50において、通信制御部117(取得部の一例に相当)は、通信部107を介して、対象胸部X線画像を医用画像管理システム200から取得し、取得した対象胸部X線画像を画像メモリ106に保存する。ステップS100において、構造物検出部111は、対象胸部X線画像を画像メモリ106から読み出して、その対象胸部X線画像から、予め定義された1個以上の構造物を検出する。
「1個以上の構造物」のそれぞれは(i)人体の解剖学的構造が胸部X線画像に描出された線または領域、または、(ii)解剖学的構造の一部が胸部X線画像に描出された線または領域、または、(iii)X線透過率が異なる複数の解剖学的構造の境界が胸部X線画像に描出された境界線である。
「1個以上の構造物」のそれぞれは「線構造」または「領域構造」に分類される。「線構造」は、胸部X線画像に描出された境界線、解剖学的構造が胸部X線画像に描出された線、および解剖学的構造の一部が胸部X線画像に描出された線を含む。線構造ではない構造物、すなわち、線状とは見做せない構造物が「領域構造」と定義される。線構造であっても、画像上では幅として1画素よりも大きいものがあるため「線構造」と「領域構造」の差は不明確になる恐れがある。そこで、例えば、構造物の(長軸方向長さ)/(短軸方向長さ)が閾値以上である構造物が「線構造」と定義されることも可能である。この閾値は、構造物が線状であると見做せるような適切な値に設定されればよく、例えば10又は100又は1000でもよい。線構造の例が図4A〜4Cと図5A〜5Cとに示され、領域構造の例が図6A〜6Cに示される。
図4Aは、下行大動脈の陰影(即ち、下行大動脈と肺実質との間のX線透過率の違いにより描出される境界線、第1線状領域の一例に相当)を含む胸部X線画像Ixを示す図である。図4Bは、下行大動脈の陰影のマスク画像Pxを示す図である。図4Cは、図4Aの胸部X線画像Ixに図4Bのマスク画像Pxを重畳して表示した画像を示す図である。図5Aは、右背側横隔膜(右背側肺底部)の陰影(即ち、肺実質の背側底部と腹側臓器との間のX線透過率の違いにより描出される境界線、第1線状領域の一例に相当)を含む胸部X線画像Ixを示す図である。図5Bは、右背側横隔膜の陰影のマスク画像Pyを示す図である。図5Cは、図5Aの胸部X線画像Ixに図5Bのマスク画像Pyを重畳して表示した画像を示す図である。図6Aは、第一胸椎が投影された領域を含む胸部X線画像Ixを示す図である。図6Bは、第1胸椎のマスク画像Pzを示す図である。図6Cは、図6Aの胸部X線画像Ixに図6Bのマスク画像Pzを重畳して表示した画像を示す図である。
マスク画像は、対応する胸部X線画像における構造物の占める領域を二値あるいはグレイスケールで表現した画像である。本実施形態では二値マスク画像として説明が行われる。このマスク画像は、構造物検出部111を機械学習する際の学習データとして、医学知識を持った人により作成され、用意される。また、学習後の構造物検出部111は、対象胸部X線画像を処理した結果として、マスク画像を出力する。
本実施の形態では、構造物検出部111を機械学習する手段として、人工ニューラルネットワークが用いられる。具体的には、対象画像から画素単位で対象領域を抽出するセマンティックセグメンテーションを行う人工ニューラルネットワークとして、非特許文献1に開示されているU−Netが用いられる。セマンティックセグメンテーションは、画像を画素単位で把握することを意味する。
図7は、U−Netのアーキテクチャを概略的に示す図である。U−Netは、図7に示されるようなエンコーダECD及びデコーダDCDを備える畳み込みニューラルネットワークであり、U−netに入力画像が入力層ILに入力されると、U−netから出力画像が出力層OLに出力される。図4A、図5A、図6Aのような入力画像と図4B、図5B、図6Bのようなマスク画像との組を大量に与えて機械学習が行われる。
具体的には、図4Aのような胸部X線画像Ixを大量にU−Netに入力し、U−Netから図4Bのようなマスク画像Pxが出力されるように機械学習させて、下行大動脈の陰影用の構造物検出部111が生成される。また、図5Aのような胸部X線画像Ixを大量にU−Netに入力し、U−Netから図5Bのようなマスク画像Pyが出力されるように機械学習させて、右背側横隔膜の陰影用の構造物検出部111が生成される。また、図6Aのような胸部X線画像Ixを大量にU−Netに入力し、U−Netから図6Bのようなマスク画像Pzが出力されるように機械学習させて、第1胸椎用の構造物検出部111が生成される。そして、機械学習後の、例えば、下行大動脈の陰影用の構造物検出部111に対象胸部X線画像が入力されると、機械学習させた構造物の領域として下行大動脈の陰影が検出されることとなる。
本実施の形態では、予め定義された総計N(Nは1以上の整数)個の構造物について、それぞれ構造物検出を行うU−Netを予め機械学習させてN個の学習済みのU−Netを準備しておき、それらN個の学習済みのU−Netが、構造物検出部111として用いられる。なお、セマンティックセグメンテーションを行う人工ニューラルネットワークとして、U−Netに代えて、非特許文献2に開示されるような他のニューラルネットワークが用いられてもよい。
図3に戻って、ステップS200において、画素抽出部112は、当該胸部X線画像において構造物0、〜、構造物k、〜、構造物N−1を検出する。そして、画素抽出部112は、構造物0の近傍領域Rに含まれる画素の画素値の集合P、〜、構造物kの近傍領域Rに含まれる画素の画素値の集合P、〜、構造物N−1の近傍領域RN−1に含まれる画素の画素値の集合PN−1を抽出する。画素値の集合Pkは、式(1)で表される。式(1)は、画素値の集合Pkが、近傍領域Rkに含まれる座標(x,y)の画素値px,yの集合であることを表す。
Figure 2019220825
図8Aは、線構造の一例を概略的に示す図である。図8Bは、図8Aの線構造の近傍領域の一例を概略的に示す図である。図9Aは、領域構造の一例を概略的に示す図である。図9Bは、図9Aの領域構造の近傍領域の一例を概略的に示す図である。
図8A,8Bにおいて、画素抽出部112は、構造物検出部111により検出された構造物である線構造MLの輪郭線MLprを抽出する。画素抽出部112は、その輪郭線MLprをモルフォロジー処理により外側及び内側に所定画素数だけ膨張させることによって、近傍領域Mnh1を算出する。画素抽出部112は、近傍領域Mnh1に含まれる各画素の画素値の集合を抽出する。
ここで、輪郭線MLprを所定画素数だけ膨張させる理由を図19を用いて説明する。図19の(a)は線構造MLの拡大図であり、図19の(b)は線構造MLを横切る線(図19の(a)におけるPF)上の輝度プロファイルとする。図19の(b)の横軸は、図19の(a)の画像空間(x座標値)であり、縦軸は図19の(a)の画像における線PF上の輝度値である。多くの画像においては隣り合う画素値は、エッジであっても拡大して観測すると図19の(b)のように滑らかに変化している。そのため、図19の(a)における線構造MLの境界線は、図19の(b)においてMLpr1およびMLpr2として認識される。本開示の目的は、線構造MLのコントラストを向上させることであるため、この後のヒストグラム平滑化処理にて、図19の(b)における輝度V1とV3の画素値を用いる必要がある。しかしながら、図19の(b)における境界線MLpr1およびMLpr2から僅かしか離れていない領域(図19の(b)におけるCa、Cbの範囲)の画素を用いてしまうと、線構造MLのコントラストを向上させるという目的が十分達成されない。そのため、輪郭線MLpr1およびMLpr2を所定画素数だけ膨張させることにより、画素値V1、V3の画素を用いるようにする。「所定画素」の決め方であるが、例えば、輪郭線MLprの近傍において隣り合う画素値の差(すなわち輝度変化)を輪郭線MLprから離れるように順次計算し、その輝度変化が、線構造の輝度変化(図19の(b)では|V1−V3|の一定の割合(例えば、5%〜10%)となる位置までの範囲として決めることができる。
図9A,9Bにおいて、画素抽出部112は、構造物検出部111により検出された構造物である領域構造RGの輪郭線RGprを抽出する。画素抽出部112は、その輪郭線RGprをモルフォロジー処理により外側及び内側に所定画素数だけ膨張させることによって、近傍領域Rnh1を算出する。画素抽出部112は、近傍領域Rnh1に含まれる各画素の画素値の集合を抽出する。図8A,8B,9A,9Bを用いて説明されたように、本実施形態では、近傍領域Rkは、構造物の輪郭線を所定画素数だけ内側及び外側に膨張させた領域とされている。
図3に戻って、ステップS300において、画素抽出部112は、式(2)に示す画素値の集合P、〜、画素値の集合P、〜、画素値の集合PN−1の和集合Sを作成する。
Figure 2019220825
次に、ステップS400において、ヒストグラム計算部113は、ステップS300で作成された和集合Sに含まれる複数の画素値に関するヒストグラムを作成する。この作成されたヒストグラムを輝度ヒストグラムと呼ぶ。なお、画素値は輝度値を示す。
ステップS500において、ヒストグラム平滑化部114は、作成された輝度ヒストグラムを用いて、ヒストグラム平滑化を行うコントラスト変換式を生成する。コントラスト変換前の対象胸部X線画像に含まれる輝度値zと、和集合Sに含まれる輝度値zの度数H(z)と、和集合Sの要素数(つまり式(2)で定義される和集合Sに含まれる画素数)Aと、輝度最大値Zmaxとを用いると、ヒストグラム平滑化後、つまり、コントラスト変換後の輝度値q(z)は、式(3)のコントラスト変換式で表される。度数H(z)が和集合Sに含まれる画素値、つまり、輝度値zの度数であることは、度数H(z)は対象胸部X線画像における近傍領域R〜RN−1以外の領域の輝度値zの度数を含んでいないことを意味する。
この実施形態では、低階調化前の対象胸部X線画像の階調は、例えば12ビット(4096階調)であり、低階調化後の画像の階調は、例えば8ビット(256階調)である。ここでは、低階調化の前に上述したコントラスト変換を行っており、輝度最大値Zmaxは、Zmax=4095である。
Figure 2019220825
式(3)におけるヒストグラム平滑化後の輝度値q(z)は、0≦z≦Zmaxの輝度値zに対して算出される。例えばz=0に対し、
q(0)=H(0)Zmax/A
が求められる。例えばz=1に対し、
q(1)={H(0)+H(1)}Zmax/A
が求められる。例えばz=2に対し、
q(2)={H(0)+H(1)+H(2)}Zmax/A
が求められる。例えばz=Zmax=4095に対し、
q(4095)={H(0)+・・・+H(4095)}Zmax/A
が求められる。
ステップS600において、ヒストグラム平滑化部114は、12ビットの輝度値q(z)から、階調削減式である式(4)によって、8ビットの輝度値t(z)を算出して、12ビットの画像を8ビットの画像に低階調化する。
t(z)=q(z)/16 (4)
なお、式(3)、式(4)では、小数点以下は、四捨五入されて、又は切り捨てられて、整数の輝度値q(z)、t(z)が算出される。したがって、式(4)において、輝度値q(z)は0〜4095の整数であり、輝度値t(z)は0〜255の整数である。
ヒストグラム平滑化部114は、更に階調変換LUT1000(図10)を作成する。ヒストグラム平滑化部114は、作成した階調変換LUT1000をLUT格納部105に格納する。
図10は、階調変換LUT1000の一例を概略的に示す図である。階調変換LUT1000は、図10に示されるように、元の輝度値zと、ヒストグラム平滑化及び低階調化後の輝度値t(z)とが対応付けられて、構成されている。ここで、上述のように、輝度値zは0〜4095の整数であり、輝度値t(z)は0〜255の整数である。
図8B、図9Bに示されるような構造物の近傍領域Mnh1,Rnh1は、構造物を構成する画素と、構造物を構成しない画素とを両方含む。すなわち、和集合Sは、N個の構造物のそれぞれに関して、構造物を構成する画素と、構造物を構成しない画素とを含む。このため、和集合Sの輝度ヒストグラムに対してヒストグラム平滑化を行うことで、対象胸部X線画像において、N個の構造物それぞれの構造物とその境界とのコントラストを向上させる階調変換LUT1000が得られることになる。
図3に戻って、ステップS700において、輝度変換部115は、ステップS600で作成された階調変換LUT1000を用いて、胸部X線画像の全画素を輝度変換する。ステップS800において、表示制御部116は、8ビットに階調変換された対象胸部X線画像をディスプレイ108に表示する。これにより、N個の構造物全てに対するコントラストを向上させる輝度変換、及び低階調化する階調変換が実行される。8ビットに階調変換された対象胸部X線画像が、ディスプレイ108に表示されることとなる。
ここで、用語の定義が説明される。「階調変換」とは、(A)画像の濃淡コントラストを改善するコントラスト変換と、(B)画像の濃淡の階調数を変換(削減)する階調削減と、の両方を含む輝度変換のことを言う。ヒストグラム平滑化及びγ補正は、(A)コントラスト変換の具体的な手法の一例である。一方、「輝度変換」とは、特定の変換処理を指さず、単に輝度(画素値)の変換のことを言う。また、「階調」は、本来の意味としては、広義には「画像の濃淡の調子」のことを言い、狭義には「デジタル画像における濃淡の段階数」(例えば256階調)のことを言う。画素値は輝度値を示してもよい。
なお、本実施形態では、ステップS200において、近傍領域Rkは、構造物の輪郭線を所定画素数だけ内側及び外側に膨張させた領域とされたが、これに限られない。
図11Aは、図8Aの線構造の近傍領域の異なる例を概略的に示す図である。図11Bは、図9Aの領域構造の近傍領域の異なる例を概略的に示す図である。
図11A、図11Bの例では、画素抽出部112は、線構造ML、領域構造RGの領域自体を所定画素数だけ外側に膨張させた領域を、それぞれ、近傍領域Mnh2,Rnh2としている。図11A、図11Bに示されるような構造物の近傍領域は、構造物を構成する画素と、構造物の外側領域の画素とを両方含む。但し、図8B、図9Bに示される近傍領域と異なるのは、構造物自体を構成する画素をより多く含むことである。このため、図11A、図11Bの近傍領域に含まれる画素の和集合Sの輝度ヒストグラムに対してヒストグラム平滑化を行うことで、構造物内部のコントラスト、及び、構造物とその境界とのコントラストを、N個の構造物全てに対して向上させる階調変換LUTが得られることになる。例えば、構造物が、骨、例えば肋骨または鎖骨、であった場合は、骨梁のコントラストが向上することになる。
以上のように、本開示の第1実施形態によれば、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を検出する。検出した構造物の近傍領域に対応する画素の画素値の集合のヒストグラムを用いて、ヒストグラム平滑化を行うコントラスト変換式を生成し、更に低階調化を行う階調削減式を生成して、階調変換LUTを得る。階調変換LUTを用いて、対象胸部X線画像全体の輝度変換を行う。これによって、頻度が多い輝度値の画素による影響を受けず、診断に重要な構造物のコントラストを向上させるような階調変換処理を行うことが可能となる。
(第2実施形態)
図12は、第2実施形態における、胸部X線画像の階調変換方法を実行する画像階調変換装置100Aの構成を概略的に示すブロック図である。図12の画像階調変換装置100Aは、図1の画像階調変換装置100と比較して、正常モデル格納部103を更に備えるとともに、CPU120に代えてCPU120Aを備え、メモリ121に代えてメモリ121Aを備える。
正常モデル格納部103(位置メモリの一例に相当)は、構造物間の相対位置関係に関する情報を予め格納する。メモリ121Aは、メモリ121と同様に構成され、例えばROM、RAM、EEPROMなどを含む。メモリ121AのROMは、CPU120Aを動作させる第2実施形態の制御プログラムを記憶する。
CPU120Aは、メモリ121Aに記憶されている第2実施形態の制御プログラムを実行することによって、構造物検出部111、画素抽出部112、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、表示制御部116、解像度変換部109、及び探索領域設定部110として機能する。
解像度変換部109は、対象胸部X線画像に対し、複数段階の縮小変換を行い、互いに異なる解像度を有する画像群を作成する。解像度変換部109は、作成した画像群を、画像メモリ106に格納する。探索領域設定部110は、構造物検出部111による低解像度の画像に対する構造物の検出結果、及び、正常モデル格納部103に格納された構造物間の相対位置関係に関する情報を利用して、より高解像度の画像に対して、構造物の探索領域を設定する。
次に、第2実施形態に係る画像階調変換装置100Aにより実行される処理手順が説明される。なお、全体の処理手順は、図3のフローチャートを用いて説明された第1実施形態と同様である。
図13は、ステップS100(図3)において、第2実施形態に係る画像階調変換装置100Aにより実行される処理手順を概略的に示すフローチャートである。図14は、解像度情報2600を概略的に示す図である。
図13のステップS101において、解像度変換部109は、ステップS50(図3)で取得された対象胸部X線画像に対し、R(本実施形態では、例えばR=3)段階の縮小画像を作成する。胸部X線画像の解像度は、一般に、一辺が2000〜3000画素で構成される。第2実施形態では、対象胸部X線画像の解像度は、例えば、2048×2048である。また、解像度変換部109により作成される3段階の縮小画像の解像度は、例えば、1024×1024、512×512、256×256である。
この第2実施形態では、最も低解像の画像から順に、解像度iが「0,1,2,3」と定められる。すなわち、256×256の画像の解像度iは「0」であり、512×512の画像の解像度iは「1」であり、1024×1024の画像の解像度iは「2」であり、2048×2048の画像(つまり元画像)の解像度iは「3」である。解像度変換部109は、作成した低解像度の縮小画像を、画像メモリ106に格納する。
次に、ステップS102において、構造物検出部111は、解像度i=0(即ち最も低解像の256×256)の画像を、構造物検出対象画像として画像メモリ106から読み出す。次に、ステップS103において、構造物検出部111は、解像度情報2600(図14)に基づき、解像度iの画像(最初のステップS103ではi=0の画像)に対応づけられた構造物を検出する。
図14に示されるように、解像度情報2600は、構造物ID欄2601と、解像度i欄2602とを備える。構造物ID欄2601には、第1実施形態で定義されている構造物IDが「0」〜「N−1」のN個の構造物が設定されている。解像度i欄2602には、構造物ID欄2601の構造物に対応して、構造物を検出する際に用いる画像の解像度が定義されている。例えば、構造物IDが「0」の構造物は、解像度iが「0」、つまり解像度が256×256の画像から検出される。なお、図14では、構造物に対して解像度は1つ設定されているが、これに限られない。例えば、構造物によっては、2種類以上の解像度を設定しておき、対応する構造物が、それぞれの解像度の画像で検出されるようにしてもよい。
構造物検出部111は、第1実施形態と同様に、非特許文献1に開示されているU−Netを用いて、構造物を検出する。U−Netは、上述のように畳み込みニューラルネットワークの一種である。畳み込みニューラルネットワークは、ディープニューラルネットワークの一種である。2層以上の中間層を備えるニューラルネットワークが、ディープニューラルネットワークと称される。ディープニューラルネットワークの機械学習時及び構造物検出時には、画像処理ユニット(GPU)を用いて処理を高速化することが多い。この時、GPUの搭載メモリ量の制限により、高解像の画像は扱えない場合がある。そのような場合、原画像を縮小して解像度を低下させた画像がU−Netに入力されることになる。しかし、その場合には、特に線構造のようなサイズが小さい構造物に対する検出性能が低下する恐れがある。このため、本第2実施形態では、構造物検出部111は、低解像の画像から比較的大きいサイズ(第1サイズの一例に相当)の構造物を検出し、高解像の画像に対しトリミングすることで探索範囲を限定して比較的小さいサイズ(第2サイズの一例に相当)の構造物を検出する。
図13に戻って、ステップS104において、構造物検出部111は、解像度iをインクリメントする。最初のステップS104ではi=1になる。ステップS105において、構造物検出部111は、解像度iが解像度の上限を超えた(つまりi=R+1)か否かを判定する。解像度iが解像度の上限を超えていれば(ステップS105でYES)、図25の処理が終了し、ステップS100(図3)の処理が終了する。一方、解像度iが解像度の上限を超えていなければ(ステップS105でNO)、処理はステップS106に進む。
ステップS106において、探索領域設定部110は、図14の解像度情報2600に基づいて、解像度i(最初のステップS106ではi=1)に対応付けられた構造物を全て選定し、解像度iの画像に対し、対応する構造物毎に探索領域を設定する。事前の準備として、図4B、図5B、図6Bに示されるような大量の構造物の二値マスク画像から予め構造物同士の位置関係を求めて正常モデル格納部103に保存しておく。探索領域設定部110は、正常モデル格納部103に保存されている位置関係を読み出して、探索領域の設定に利用する。ステップS106が終了すると、処理はステップS103に戻る。2回目のステップS103において、構造物検出部111は、解像度情報2600(図14)に基づき、解像度iの画像(2回目のステップS103ではi=1の画像)に対応づけられた構造物を検出する。以降は、解像度iが解像度の上限を超えない間(ステップS105でNO)、ステップS103〜S106が繰り返される。
図15は、図13のステップS103〜S106の処理を概略的に示す図である。図15において、まず、低解像(i=0)の胸部X線画像Iaから、構造物検出部111によって、構造物Pa,Pbが検出される(ステップS103)。図15の例では、構造物Paは、右肺野であり、構造物Pbは、左肺野である。本実施形態において、胸部X線画像Iaは、第1X線画像の一例に相当し、解像度i=0(256×256)は、第1解像度の一例に相当し、構造物Pa,Pbのサイズは、第1サイズの一例に相当する。
次に、解像度iがインクリメントされて(ステップS104)、中解像(i=1)の胸部X線画像Ibにおいて、探索領域設定部110によって、探索領域が設定される(ステップS106)。図15の例では、探索領域SA1が示されているが、ステップS106では、解像度iに対応する構造物ID毎に、それぞれ、探索領域が設定される。また、正常モデル格納部103に保存されている、検出対象の構造物IDと、既に検出された構造物(図15の例では構造物Pa又は構造物Pb)との位置関係を用いて、それぞれ、探索領域が設定される。
次に、中解像(i=1)の胸部X線画像Ibにおいて、探索領域から、構造物検出部111によって、構造物が検出される(ステップS103)。図15の例では、探索領域SA1から検出された構造物Pcが示されているが、ステップS103では、探索領域ごとに、検出対象の構造物が検出される。本実施形態において、胸部X線画像Ibは、第2X線画像の一例に相当し、解像度i=1(512×512)は、第2解像度の一例に相当し、構造物Pcのサイズは、第2サイズの一例に相当する。
次に、解像度iがインクリメントされて(ステップS104)、高解像(i=2)の胸部X線画像Icにおいて、探索領域設定部110によって、探索領域が設定される(ステップS106)。図15の例では、探索領域SA2が示されているが、ステップS106では、解像度iに対応する構造物ID毎に、それぞれ、探索領域が設定される。また、正常モデル格納部103に保存されている、検出対象の構造物IDと、既に検出された構造物(図15の例では構造物Pa又は構造物Pb)との位置関係を用いて、それぞれ、探索領域が設定される。
次に、高解像(i=2)の胸部X線画像Icにおいて、探索領域から、構造物検出部111によって、構造物が検出される(ステップS103)。図15の例では、探索領域SA2から検出された構造物Pdが示されているが、ステップS103では、探索領域ごとに、検出対象の構造物が検出される。
以上のように、本開示の第2実施形態によれば、構造物検出部111として、U−Net等のディープニューラルネットワークを用いる場合、GPUのメモリ量が少ない場合でも、高解像の画像を用いるときは、対象胸部X線画像のサイズより小さいサイズの探索領域を設定しているため、構造物検出性能の低下を抑制することができる。
さらに、第1実施形態の効果である、頻度が多い輝度値の画素による影響を受けず、診断に重要な構造物のコントラストを向上させるような階調変換処理を行うことが可能となる。
(第3実施形態)
図16は、第3実施形態における、胸部X線画像の階調変換方法を実行する画像階調変換装置100Bの構成を概略的に示すブロック図である。図16の画像階調変換装置100Bは、図1の画像階調変換装置100と比較して、入力部118を更に備えるとともに、CPU120に代えてCPU120Bを備え、メモリ121に代えてメモリ121Bを備える。
入力部118は、例えば医師又は放射線技師等のユーザによって操作される。メモリ121Bは、メモリ121と同様に構成され、例えばROM、RAM、EEPROMなどを含む。メモリ121BのROMは、CPU120Bを動作させる第3実施形態の制御プログラムを記憶する。
CPU120Bは、メモリ121Bに記憶されている第3実施形態の制御プログラムを実行することによって、構造物検出部111、画素抽出部112B、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、表示制御部116、及び通信制御部117として機能する。
第1実施形態の画素抽出部112は、構造物検出部111により検出されたN個の構造物全ての近傍領域に対応する画素の画素値を抽出する。これに対して、第2実施形態の画素抽出部112Bは、構造物検出部111により検出されたN個の構造物のうち、入力部118を用いてユーザにより選択された構造物の近傍領域に対応する画素の画素値を抽出する。
図17は、第3実施形態に係る画像階調変換装置100Bにより実行される処理手順を概略的に示すフローチャートである。図17のステップS50,S100は、それぞれ、図3のステップS50,S100と同じである。ステップS100に続くステップS150において、画素抽出部112Bは、構造物検出部111により検出されたN個の構造物のうち、入力部118を用いて指定された構造物を選択する。ステップS250において、画素抽出部112は、選択された構造物毎に、構造物の近傍領域に対応する画素値の集合を抽出する。図17のステップS300〜S800は、それぞれ、図3のステップS300〜S800と同じである。
この第3実施形態によれば、ユーザが所望の構造物のコントラストを向上させるような階調変換処理を行うことが可能となる。
(第4実施形態)
図18は、第4実施形態における、医療機関内のネットワーク構成410Aを概略的に示すブロック図である。第4実施形態では、図18に示されるように、医療機関のイントラネットワーク400には、サーバ装置500と、表示制御装置600と、医用画像管理システム200と、胸部X線画像撮影装置300と、が接続されている。
なお、サーバ装置500と、表示制御装置600と、医用画像管理システム200と、胸部X線画像撮影装置300とは、必ずしも、同一の医療機関内のイントラネットワーク400上に接続されている必要はない。表示制御装置600、及び、医用画像管理システム200は、医療機関の外部に設けられたデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバなどの上で動作するソフトウェアであってもよい。
図18に示されるように、サーバ装置500は、LUT格納部105、画像メモリ106、通信部107、CPU130、メモリ131を備えている。メモリ131は、例えば半導体メモリ等により構成される。メモリ131は、例えばROM、RAM、EEPROMなどを含む。メモリ131のROMは、CPU130を動作させる制御プログラムを記憶する。
CPU130は、メモリ131に記憶されている制御プログラムを実行することによって、構造物検出部111、画素抽出部112、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、及び通信制御部117Aとして機能する。通信制御部117Aは、通信部107を介して、輝度変換部115による輝度変換後の対象胸部X線画像を表示制御装置600へ送信する。
表示制御装置600(端末装置の一例に相当)は、例えば、タブレット型コンピュータで構成され、医師又は放射線技師などの医療従事者が保持する。図18に示されるように、表示制御装置600は、CPU140と、メモリ141と、画像メモリ142と、通信部143と、ディスプレイ108と、を備える。
メモリ141は、例えば半導体メモリ等により構成される。メモリ141は、例えばROM、RAM、EEPROMなどを含む。メモリ141のROMは、CPU140を動作させる制御プログラムを記憶する。CPU140は、メモリ141に記憶されている制御プログラムを実行することによって、表示制御部116、通信制御部117Bとして機能する。
通信制御部117Bは、通信部143を介して、サーバ装置500から送信された輝度変換後の対象胸部X線画像のデータを受信し、受信したデータを画像メモリ142に格納する。表示制御部116は、画像メモリ142に格納された、輝度変換後の対象胸部X線画像をディスプレイ108に表示する。
この第4実施形態によれば、上記第1実施形態と同様の効果を得ることができる。代替的に、サーバ装置500のCPU130は、構造物検出部111、画素抽出部112、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、通信制御部117、解像度変換部109(図12)、探索領域設定部110(図12)として機能するようにしてもよい。この場合には、上記第2実施形態と同様の効果を得ることができる。
本開示によれば、読影対象である胸部X線画像の診断支援システム、および医学生又は研修医のための読影教育システムに利用可能である。
100 画像階調変換装置
105 LUT格納部
106 画像メモリ
108 ディスプレイ
111 構造物検出部
112 画素抽出部
113 ヒストグラム計算部
114 ヒストグラム平滑化部
115 輝度変換部
116 表示制御部
117,117A 通信制御部
200 医用情報管理システム
300 胸部X線画像撮影装置
400 イントラネットワーク
500 サーバ装置
600 表示制御装置

Claims (14)

  1. 読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータが、
    前記対象胸部X線画像を取得し、
    前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
    前記構造物の近傍領域に対応する画素集合を抽出する抽出し、
    前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し、
    前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う、
    胸部X線画像の階調変換方法。
  2. 前記予め機械学習されたモデルは、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部X線画像である学習用胸部X線画像において前記構造物が検出されるように学習されたモデルである、
    請求項1記載の胸部X線画像の階調変換方法。
  3. 前記検出では、
    前記対象胸部X線画像を前記対象胸部X線画像の解像度より低い第1解像度に変換して第1X線画像を作成し、
    前記対象胸部X線画像を前記第1解像度より高く、かつ前記対象胸部X線画像の解像度以下の第2解像度に変換して第2X線画像を作成し、
    前記第1X線画像から第1サイズの前記構造物を検出し、
    前記第1サイズの前記構造物の検出結果に基づき、前記第2X線画像において前記第2X線画像より小さい探索領域を設定し、
    前記探索領域から、前記第1サイズより小さい第2サイズの前記構造物を検出する、
    請求項2記載の胸部X線画像の階調変換方法。
  4. 前記第1サイズの前記構造物の検出では、前記第1X線画像から前記第1サイズの前記構造物として解剖学的構造を検出し、
    前記第2サイズの前記構造物の検出では、前記第2X線画像の前記探索領域から前記第2サイズの前記構造物として前記線構造を検出する、
    請求項3記載の胸部X線画像の階調変換方法。
  5. 前記探索領域の設定では、前記第1サイズの前記構造物と前記第2サイズの前記構造物との相対位置関係が予め保存された位置メモリから読み出した前記相対位置関係を用いて、前記探索領域を設定する、
    請求項3又は4に記載の胸部X線画像の階調変換方法。
  6. 前記抽出では、前記構造物の輪郭線を所定画素数だけ外側及び内側に膨張させた領域を、前記構造物の近傍領域とする、
    請求項1〜5のいずれか1項に記載の胸部X線画像の階調変換方法。
  7. 前記抽出では、前記構造物を所定画素数だけ外側に膨張させた領域を、前記構造物の近傍領域とする、
    請求項1〜5のいずれか1項に記載の胸部X線画像の階調変換方法。
  8. 前記抽出では、前記検出された前記構造物の全てを使用する、
    請求項1〜7のいずれか1項に記載の胸部X線画像の階調変換方法。
  9. 更に、前記検出された前記構造物のうち一部の構造物をユーザが選択し、
    前記抽出では、前記ユーザにより選択された前記一部の構造物のみを使用する、
    請求項1〜7のいずれか1項に記載の胸部X線画像の階調変換方法。
  10. 更に、前記輝度変換が行われた後の前記対象胸部X線画像をディスプレイに表示し、
    前記輝度変換では、前記コントラスト変換式と、前記対象胸部X線画像の階調より低い階調に変換する階調削減式とを用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う、
    請求項1〜9のいずれか1項に記載の胸部X線画像の階調変換方法。
  11. 読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータを、
    前記対象胸部X線画像を取得する取得部、
    前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部、
    前記構造物の近傍領域に対応する画素集合を抽出する抽出部、
    前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部、
    前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部、
    として機能させる画像階調変換プログラム。
  12. 読影対象の胸部X線画像である対象胸部X線画像を取得する取得部と、
    前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
    前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
    前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
    前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部と、
    を備える画像階調変換装置。
  13. 読影対象の胸部X線画像である対象胸部X線画像を取得する取得部と、
    前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
    前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
    前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
    前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部と、
    前記輝度変換が行われた後の前記対象胸部X線画像を、外部の端末装置に送信する通信制御部と、
    を備えるサーバ装置。
  14. X線画像を取得し、
    前記X線画像において線状領域を検出し、
    前記線状領域の近傍領域を決定し、
    第1の複数の画素の第1の複数の画素値を用いて変換式を生成し、第1の複数の画素は
    前記線状領域に含まれる画素及び前記線状領域の近傍領域に含まれる画素であr、
    前記変換式を用いて、第1の複数の画素値と第2の複数の画素の第2の複数の画素値を複数の変換値に変換し、第2の複数の画素は、(i)前記X線画像に含まれかつ前記線状領域に含まれない画素と(ii)前記X線画像に含まれかつ前記近傍領域に含まれない画素を含み、
    前記変換式は、
    Figure 2019220825
    であり、
    前記zは前記X線画像に含まれる画素値、
    前記q(z)は前記複数の変換値に含まれる前記画素値zの変換値、
    前記H(i)は、前記第1の複数の画素のち、画素値がiである画素の数、
    前記Zmaxは前記X線画像の複数の画素の各々が示し得る最大の画素値、
    前記Aは前記第1の複数の画素の数である
    変換方法。
JP2020519515A 2018-05-16 2019-04-12 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法 Pending JPWO2019220825A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018094737 2018-05-16
JP2018094737 2018-05-16
PCT/JP2019/015880 WO2019220825A1 (ja) 2018-05-16 2019-04-12 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法

Publications (1)

Publication Number Publication Date
JPWO2019220825A1 true JPWO2019220825A1 (ja) 2021-06-17

Family

ID=68539846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020519515A Pending JPWO2019220825A1 (ja) 2018-05-16 2019-04-12 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法

Country Status (4)

Country Link
US (1) US11406340B2 (ja)
JP (1) JPWO2019220825A1 (ja)
CN (1) CN111918610A (ja)
WO (1) WO2019220825A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7456928B2 (ja) * 2018-05-16 2024-03-27 パナソニックホールディングス株式会社 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
WO2019220825A1 (ja) * 2018-05-16 2019-11-21 パナソニック株式会社 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法
JP7314048B2 (ja) 2019-12-26 2023-07-25 綜合警備保障株式会社 学習モデルの構築装置、学習モデルの構築方法及び学習モデルの構築プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259540A (ja) * 2009-04-30 2010-11-18 Canon Inc 画像処理装置及び画像処理方法
JP2012228407A (ja) * 2011-04-27 2012-11-22 Hitachi Medical Corp X線撮影装置
JP2018000312A (ja) * 2016-06-28 2018-01-11 国立大学法人 大分大学 肺結節明瞭化画像における背景ノイズの抑制方法
JP2018064627A (ja) * 2016-10-17 2018-04-26 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4579507B2 (ja) * 2003-06-10 2010-11-10 キヤノン株式会社 画像処理装置
CN1879553B (zh) * 2005-06-15 2010-10-06 佳能株式会社 在胸部图像中检测边界的方法及装置
WO2008035286A2 (en) * 2006-09-22 2008-03-27 Koninklijke Philips Electronics N.V. Advanced computer-aided diagnosis of lung nodules
US8233692B2 (en) * 2008-02-27 2012-07-31 Siemens Computer Aided Diagnosis Ltd. Method of suppressing obscuring features in an image
JP5635389B2 (ja) * 2010-12-21 2014-12-03 株式会社日立メディコ 画像処理装置、画像処理プログラム、及びx線画像診断装置
CN106255462A (zh) 2014-05-16 2016-12-21 株式会社日立制作所 图像诊断装置及灰度信息设定方法
JP6598149B2 (ja) * 2015-07-10 2019-10-30 国立大学法人 大分大学 胸部x線画像における肺結節明瞭化法
CN106611416B (zh) * 2015-10-19 2020-06-26 上海联影医疗科技有限公司 一种医学图像中肺分割的方法及装置
CN106558045B (zh) * 2016-10-20 2019-07-19 上海联影医疗科技有限公司 一种肺组织分割方法、装置,医学图像处理系统
WO2019220825A1 (ja) * 2018-05-16 2019-11-21 パナソニック株式会社 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259540A (ja) * 2009-04-30 2010-11-18 Canon Inc 画像処理装置及び画像処理方法
JP2012228407A (ja) * 2011-04-27 2012-11-22 Hitachi Medical Corp X線撮影装置
JP2018000312A (ja) * 2016-06-28 2018-01-11 国立大学法人 大分大学 肺結節明瞭化画像における背景ノイズの抑制方法
JP2018064627A (ja) * 2016-10-17 2018-04-26 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石立 喬: "ヒストグラムの拡張・平坦化によるカラー画像の補正", CODEZINE JAVAで学ぶグラフィックス処理, JPN6023013833, 7 December 2005 (2005-12-07), ISSN: 0005033808 *

Also Published As

Publication number Publication date
WO2019220825A1 (ja) 2019-11-21
US11406340B2 (en) 2022-08-09
US20210045704A1 (en) 2021-02-18
CN111918610A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
US20240037732A1 (en) Method for enhancing quality and resolution of ct images based on deep learning
US11406340B2 (en) Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method
US8861886B2 (en) Enhanced visualization for medical images
CN107833231B (zh) 医学图像显示方法、装置和计算机存储介质
JP7081680B2 (ja) 学習済みモデルの製造方法、輝度調整方法および画像処理装置
US20150287188A1 (en) Organ-specific image display
EP1820447B1 (en) Image processing device, image processing method, and image processing program
US11676277B2 (en) Medical image processing apparatus and method
US8588485B2 (en) Rendering for improved diagnostic image consistency
CN110910319B (zh) 一种基于大气散射模型的手术视频实时去雾增强方法
CN103918004B (zh) 金属伪影校正算法的自适应应用
JP4938427B2 (ja) 脳出血部位体積計算装置
Bhairannawar Efficient medical image enhancement technique using transform HSV space and adaptive histogram equalization
JP6678541B2 (ja) 画像処理装置、方法およびプログラム
JP4035216B2 (ja) 画像処理方法及び画像処理装置
JP3814491B2 (ja) 画像処理装置、画像処理方法、記憶媒体及びプログラム
CN112884792B (zh) 肺部图像分割的方法、装置、电子设备及存储介质
JP3931792B2 (ja) 時系列処理画像の表示装置及び表示方法
KR20140134903A (ko) 의료 영상 화질 개선 방법 및 그 장치
JPWO2019220871A1 (ja) 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
JP6926856B2 (ja) 放射線画像処理装置、プログラム及び放射線画像処理方法
JP2021019714A (ja) 画像処理装置、画像処理方法及びx線ct装置
JP2003310602A (ja) 画像表示装置
CN113299369B (zh) 一种医学图像调窗优化方法
CN108242049A (zh) 一种针对gpu优化的全尺度dr影像增强处理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231010