JP7430814B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP7430814B2 JP7430814B2 JP2022553494A JP2022553494A JP7430814B2 JP 7430814 B2 JP7430814 B2 JP 7430814B2 JP 2022553494 A JP2022553494 A JP 2022553494A JP 2022553494 A JP2022553494 A JP 2022553494A JP 7430814 B2 JP7430814 B2 JP 7430814B2
- Authority
- JP
- Japan
- Prior art keywords
- tomographic
- tomographic images
- image
- region
- tumor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 206010028980 Neoplasm Diseases 0.000 claims description 108
- 239000002131 composite material Substances 0.000 claims description 50
- 206010006272 Breast mass Diseases 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 32
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 description 57
- 238000003384 imaging method Methods 0.000 description 33
- 210000000481 breast Anatomy 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000009607 mammography Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 210000005075 mammary gland Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/025—Tomosynthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/502—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- High Energy & Nuclear Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
近年、乳がんの早期発見を促すため、乳房を撮影する放射線画像撮影装置(マンモグラフィと呼ばれる)を用いた画像診断が注目されている。また、マンモグラフィにおいて、放射線源を移動させて複数の線源位置から乳房に放射線を照射して撮影を行い、これにより取得した複数の投影画像を再構成して所望の断層面を強調した断層画像を生成するトモシンセシス撮影が提案されている。トモシンセシス撮影では、撮影装置の特性及び必要な断層画像に応じて、放射線源を放射線検出器と平行に移動させたり、円又は楕円の弧を描くように移動させたりして、複数の線源位置において乳房を撮影することにより複数の投影画像を取得する。そして、単純逆投影法若しくはフィルタ逆投影法等の逆投影法、又は逐次再構成法等を用いて、取得した複数の投影画像を再構成して断層画像を生成する。
このような断層画像を乳房における複数の断層面において生成することにより、乳房内において断層面が並ぶ深さ方向に重なり合った構造を分離することができる。このため、予め定められた方向から被写体に放射線を照射する、従来の単純撮影により取得される2次元画像(以下、「単純2次元画像」という)においては検出が困難であった病変等の異常部位を発見することが可能となる。
また、トモシンセシス撮影により取得された、放射線検出器の検出面から放射線源側に向けた距離(高さ方向の位置)が異なる複数の断層画像を、加算法、平均法、最大値投影法又は最小値投影法等によって合成することにより、単純2次元画像に相当する擬似的な2次元画像(以下、「合成2次元画像」という)を生成する技術が知られている(特開2014-128716号公報参照)。
また、断層画像から腫瘤病変と正常乳房構造とを検出し、腫瘤病変は正常乳房構造よりも強調して合成2次元画像上に表現し、正常乳房構造は単純2次元画像を表すように合成2次元画像上に表現する技術が知られている(特表2020-512129号公報参照)。
しかしながら、特表2020-512129号公報に記載された手法により生成される従来の合成2次元画像では、例えば、単純2次元画像において腫瘤病変のように見える局所的な乳腺の塊は、依然として腫瘤病変のように見えてしまう。すなわち、従来の合成2次元画像では断層画像と同等の診断能が得られない場合があった。このため、医師等の診断者は、合成2次元画像だけではなく、多数の断層画像の読影も行うことになり、読影の負荷が大きくなってしまう。
本開示は、以上の事情を鑑みてなされたものであり、断層画像と同等の診断能を有する合成2次元画像を生成することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
本開示の画像処理装置は、少なくとも一つのプロセッサを備える画像処理装置であって、プロセッサは、被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、腫瘤であると判定した第1の領域においては複数の断層画像から第1の断層画像群を選択し、局所的な乳腺の塊であると判定した第2の領域においては複数の断層画像から第2の断層画像群を選択し、第1の領域及び第2の領域以外の第3の領域においては複数の断層画像から第3の断層画像群を選択し、第1の領域、第2の領域、及び第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する。
なお、本開示の画像処理装置は、第1の断層画像群が、複数の断層画像のうち腫瘤であると判定された腫瘤候補領域が検出された断層画像群であってもよい。
また、本開示の画像処理装置は、第2の断層画像群が、複数の断層画像のうち局所的な乳腺の塊であると判定された腫瘤候補領域が検出された断層画像以外の断層画像群であってもよい。
また、本開示の画像処理装置は、第2の断層画像群が、複数の断層画像のうち局所的な乳腺の塊であると判定された腫瘤候補領域が検出された断層画像と、その断層画像に隣接する層の断層画像であってもよい。
また、本開示の画像処理装置は、第2の断層画像群が、第3の断層画像群と同じ断層画像群であり、プロセッサが、第2の領域の濃度を第3の領域に近い濃度に制御した合成2次元画像を生成してもよい。
また、本開示の画像処理装置は、第3の断層画像群が、複数の断層画像全て、複数の断層画像のうち注目画素の画素値と複数の断層画像全ての注目画素の画素値の平均値との差の絶対値が予め設定された閾値以上の断層画像群、複数の断層画像のうち注目画素を含む注目領域の画素値の分散値が大きい順に予め設定された枚数の断層画像群、又は複数の断層画像のうちエッジ検出処理によってエッジが検出された画素を有する断層画像群であってもよい。
また、本開示の画像処理装置は、プロセッサが、生成した合成2次元画像を表示する制御を行い、かつ合成2次元画像上に、腫瘤であるか又は局所的な乳腺の塊であるかの判定結果を表示する制御を行ってもよい。
また、本開示の画像処理方法は、被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、腫瘤であると判定した第1の領域においては複数の断層画像から第1の断層画像群を選択し、局所的な乳腺の塊であると判定した第2の領域においては複数の断層画像から第2の断層画像群を選択し、第1の領域及び第2の領域以外の第3の領域においては複数の断層画像から第3の断層画像群を選択し、第1の領域、第2の領域、及び第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する処理を画像処理装置が備えるプロセッサが実行するものである。
また、本開示の画像処理プログラムは、被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、腫瘤であると判定した第1の領域においては複数の断層画像から第1の断層画像群を選択し、局所的な乳腺の塊であると判定した第2の領域においては複数の断層画像から第2の断層画像群を選択し、第1の領域及び第2の領域以外の第3の領域においては複数の断層画像から第3の断層画像群を選択し、第1の領域、第2の領域、及び第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する処理を画像処理装置が備えるプロセッサに実行させるためのものである。
本開示によれば、断層画像と同等の診断能を有する合成2次元画像を生成することができる。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
まず、図1及び図2を参照して、本実施形態に係る放射線画像撮影システム100の構成を説明する。図1及び図2に示すように、放射線画像撮影システム100は、乳房のトモシンセシス撮影を行って断層画像を生成するために、複数の線源位置から被写体である乳房Mを撮影して、複数の放射線画像、すなわち複数の投影画像を取得するためのものである。放射線画像撮影システム100は、マンモグラフィ撮影装置1、コンソール2、画像保存システム3、及び画像処理装置4を備える。
マンモグラフィ撮影装置1は、不図示の基台に対して回転軸11により連結されたアーム部12を備えている。アーム部12の一方の端部には撮影台13が、その他方の端部には撮影台13と対向するように放射線照射部14が取り付けられている。アーム部12は、放射線照射部14が取り付けられた端部のみを回転することが可能に構成されており、これにより、撮影台13を固定して放射線照射部14のみを回転することが可能となっている。
撮影台13の内部には、フラットパネルディテクタ等の放射線検出器15が備えられている。放射線検出器15は放射線の検出面15Aを有する。また、撮影台13の内部には、放射線検出器15から読み出された電荷信号を電圧信号に変換するチャージアンプ、チャージアンプから出力された電圧信号をサンプリングする相関2重サンプリング回路、及びアナログの電圧信号をデジタル信号に変換するAD(Analog-to-Digital)変換部等が設けられた回路基板等も設置されている。
放射線照射部14の内部には、放射線源16が収納されている。放射線源16は放射線としてX線を出射するものであり、放射線源16から放射線を照射するタイミング及び放射線源16における放射線発生条件、すなわちターゲット及びフィルタの材質の選択、管電圧並びに照射時間等は、コンソール2により制御される。
また、アーム部12には、撮影台13の上方に配置されて乳房Mを押さえつけて圧迫する圧迫板17と、圧迫板17を支持する支持部18と、支持部18を図1及び図2の上下方向に移動させる移動機構19とが設けられている。なお、圧迫板17と撮影台13との間隔、すなわち圧迫乳房厚はコンソール2に入力される。
コンソール2は、無線通信LAN(Local Area Network)等のネットワークを介して、不図示のRIS(Radiology Information System)等から取得した撮影オーダ及び各種情報と、技師等により直接行われた指示等とを用いて、マンモグラフィ撮影装置1の制御を行う機能を有している。具体的には、コンソール2は、マンモグラフィ撮影装置1に乳房Mのトモシンセシス撮影を行わせることにより、後述するように複数の投影画像を取得し、複数の投影画像を再構成して複数の断層画像を生成する。一例として、本実施形態では、サーバコンピュータをコンソール2として用いている。
画像保存システム3は、マンモグラフィ撮影装置1により撮影された放射線画像及び断層画像等の画像データを保存するシステムである。画像保存システム3は、保存している画像データから、コンソール2及び画像処理装置4等からの要求に応じた画像データを取り出して、要求元の装置に送信する。画像保存システム3の具体例としては、PACS(Picture Archiving and Communication Systems)が挙げられる。
次に、図3を参照して、本実施形態に係る画像処理装置4のハードウェア構成を説明する。図3に示すように、画像処理装置4は、CPU(Central Processing Unit)20、一時記憶領域としてのメモリ21、及び不揮発性の記憶部22を含む。また、画像処理装置4は、液晶ディスプレイ等のディスプレイ23、キーボードとマウス等の入力装置24、及びネットワークに接続されるネットワークI/F(InterFace)25を含む。CPU20、メモリ21、記憶部22、ディスプレイ23、入力装置24、及びネットワークI/F25は、バス27に接続される。
記憶部22は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部22には、画像処理プログラム30が記憶される。CPU20は、記憶部22から画像処理プログラム30を読み出してからメモリ21に展開し、展開した画像処理プログラム30を実行する。
次に、図4を参照して、本実施形態に係る画像処理装置4の機能的な構成について説明する。図4に示すように、画像処理装置4は、取得部40、検出部42、判定部44、選択部46、合成部48、及び表示制御部50を含む。CPU20が画像処理プログラム30を実行することにより、取得部40、検出部42、判定部44、選択部46、合成部48、及び表示制御部50として機能する。
取得部40は、コンソール2がマンモグラフィ撮影装置1にトモシンセシス撮影を行わせることにより生成された複数の断層画像を取得する。取得部40は、コンソール2又は画像保存システム3からネットワークI/F25を介して複数の断層画像を取得する。
ここで、コンソール2におけるトモシンセシス撮影及び断層画像の生成処理について説明する。コンソール2は、断層画像を生成するためのトモシンセシス撮影を行うに際し、アーム部12を回転軸11の周りに回転させることにより放射線源16を移動させる。また、コンソール2は、放射線源16の移動による複数の線源位置において、トモシンセシス撮影用の予め定められた撮影条件により被写体である乳房Mに放射線を照射させる。また、コンソール2は、乳房Mを透過した放射線が放射線検出器15により検出されることによって得られた複数の線源位置における複数の投影画像Gi(i=1~n、nは線源位置の数であり、例えばn=15)を取得する。
図5に示すように、放射線源16をSi(i=1~n)の各線源位置に移動し、各線源位置において放射線源16を駆動して乳房Mに放射線を照射する。乳房Mを透過した放射線を放射線検出器15が検出することにより、各線源位置S1~Snに対応して、投影画像G1、G2、・・・、Gnが取得される。なお、各線源位置S1~Snにおいては、同一の線量の放射線が乳房Mに照射される。
なお、図5において、線源位置Scは、放射線源16から出射された放射線の光軸X0が放射線検出器15の検出面15Aと直交する線源位置である。以下では、線源位置Scを基準線源位置Scと称する。
コンソール2は、複数の投影画像Giを再構成することにより、乳房Mの所望とする断層面を強調した複数の断層画像を生成する。具体的には、コンソール2は、単純逆投影法又はフィルタ逆投影法等の周知の逆投影法等を用いて複数の投影画像Giを再構成する。これにより、図6に示すように、コンソール2は、乳房Mの複数の断層面のそれぞれを表す複数の断層画像Dj(j=1~m)を生成する。この際、乳房Mを含む3次元空間における3次元の座標位置が設定され、設定された3次元の座標位置に対して、複数の投影画像Giの対応する画素の画素値が再構成されて、その座標位置の画素値が算出される。
コンソール2は、生成した断層画像Djを画像処理装置4に転送するか、又は画像保存システム3に転送する。
図7に示すように、検出部42は、取得部40により取得された複数の断層画像Djから腫瘤候補領域を検出する。図7では、説明を簡単にするために、断層画像Djの枚数が5枚(すなわち、j=1~5)の場合を例示している。また、図7の例では、断層画像D2に腫瘤候補領域K21が含まれ、断層画像D3に腫瘤候補領域K31、K32が含まれ、断層画像D4に腫瘤候補領域K41が含まれる。また、図7の例では、断層画像D4に乳腺N41が含まれる。また、腫瘤候補領域K21、腫瘤候補領域K31、及び腫瘤候補領域K41は、それぞれの断層画像Dj内における重心の位置がほぼ同じ位置であるものとする。また、図7の例では、腫瘤候補領域K21、腫瘤候補領域K31、及び腫瘤候補領域K41が腫瘤であり、腫瘤候補領域K32が局所的な乳腺の塊である。
検出部42は、公知のコンピュータ支援画像診断(CAD:Computer Aided Diagnosis)の腫瘤検出用のアルゴリズムを用いて、複数の断層画像Djから腫瘤候補領域を検出する。CADによる腫瘤検出用のアルゴリズムにおいては、断層画像Djにおける画素が腫瘤候補領域であることを表す確率(尤度)が導出され、その確率が予め定められた閾値以上となる画素が腫瘤候補領域として検出される。1枚の断層画像Djだけでは、腫瘤と局所的な乳腺の塊とは区別がつきにくいため、局所的な乳腺の塊も腫瘤候補領域として検出される。
なお、腫瘤候補領域の検出はCADを用いるものに限定されない。腫瘤候補領域を検出するためのフィルタによるフィルタリング処理、又は腫瘤候補領域を検出するためにディープラーニング等により機械学習がなされた検出モデル等によって、断層画像Djから腫瘤候補領域を検出するものであってもよい。
判定部44は、検出部42により検出された腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定する。腫瘤は、癌細胞が増殖することで生じる、内部が癌細胞で充実した3次元構造であるため、断層画像Djでは連続する複数の断層画像Djにまたがって写る。一方、局所的な乳腺の塊は、薄く伸ばされた乳腺が重なった構造であるため、1枚の断層画像Djには腫瘤のように写るものの、隣接する層の断層画像Djでは正常乳腺のように写る。
そこで、本実施形態に係る判定部44は、連続する複数の断層画像Djに写っており、かつそれぞれの断層画像Djにおける重心の位置がほぼ同じ位置である腫瘤候補領域を腫瘤であると判定する。ここでいう重心の位置がほぼ同じ位置とは、例えば、複数の断層画像Djのそれぞれに写る腫瘤の重心の位置間の距離が予め定められた閾値以下であることを意味する。この場合の閾値としては、例えば、連続する複数の断層画像Djに写る腫瘤の重心の位置間の距離の上限値として予め設定された値を適用することができる。また、判定部44は、隣接する層の断層画像Djには写っておらず、1枚の断層画像Djにのみ写っている腫瘤候補領域を局所的な乳腺の塊であると判定する。
図7の例では、判定部44は、腫瘤候補領域K21、K31、K41が連続する断層画像D2~D4に写っており、それぞれの断層画像D2~D4における重心の位置がほぼ同じであるため、腫瘤候補領域K21、K31、K41を腫瘤であると判定する。また、図7の例では、判定部44は、断層画像D3に写る腫瘤候補領域K32については、断層画像D3に隣接する層の断層画像D2、D4のほぼ同じ位置に腫瘤候補領域が写っていないため、腫瘤候補領域K32を局所的な乳腺の塊であると判定する。
選択部46は、判定部44により腫瘤であると判定された第1の領域においては複数の断層画像Djから第1の断層画像群を選択する。この選択において、選択部46は、第1の選択ルールに従って第1の断層画像群を選択する。本実施形態に係る第1の選択ルールは、複数の断層画像Djのうち、判定部44により腫瘤であると判定された腫瘤候補領域が検出された断層画像群を選択する、というルールである。図7の例では、選択部46は、腫瘤候補領域K21、K31、K41が検出された断層画像D2~D4を第1の断層画像群として選択する。
選択部46は、判定部44により局所的な乳腺の塊であると判定された第2の領域においては複数の断層画像Djから第2の断層画像群を選択する。この選択において、選択部46は、第1の選択ルールとは異なる第2の選択ルールに従って第2の断層画像群を選択する。本実施形態に係る第2の選択ルールは、複数の断層画像Djのうち、判定部44により局所的な乳腺の塊であると判定された腫瘤候補領域が検出された断層画像以外の断層画像群を選択する、というルールである。図7の例では、選択部46は、腫瘤候補領域K32が検出された断層画像D3以外の断層画像D1、D2、D4、D5を第2の断層画像群として選択する。
選択部46は、第1の領域及び第2の領域以外の第3の領域においては複数の断層画像Djから第3の断層画像群を選択する。この選択において、選択部46は、第1の選択ルール及び第2の選択ルールとは異なる第3の選択ルールに従って第3の断層画像群を選択する。本実施形態に係る第3の選択ルールは、複数の断層画像Dj全てを選択する、というルールである。図7の例では、選択部46は、断層画像D1~D5を第3の断層画像群として選択する。
合成部48は、第1の領域、第2の領域、及び第3の領域それぞれについて、選択部46により選択された断層画像群を用いて合成2次元画像を生成する。合成2次元画像は、基準線源位置Scから乳房Mに放射線を照射して撮影した単純2次元画像に相当する擬似的な2次元画像である。本実施形態においては、合成部48は、図8に示すように、複数の断層画像Djを積層した状態で、基準線源位置Scからの放射線検出器15へ向かう視点方向、すなわち図5に示す光軸X0に沿って、各断層画像Djにおいて対応する画素の画素値を合成して、合成2次元画像を生成する。以下、合成2次元画像の生成処理の具体的な一例について説明する。
図9に、合成2次元画像CG0の一例を示す。図9に示すように、第1の領域A1については、断層画像D2~D4において腫瘤であると判定された腫瘤候補領域K21、K31、K41が合成される。この合成の際、合成部48は、複数の腫瘤候補領域の対応する画素位置の画素については画素値の加算平均値を合成2次元画像CG0の画素値とする。また、この合成の際、合成部48は、複数の腫瘤候補領域の何れか1つにのみ含まれる画素位置の画素については、その画素の画素値を合成2次元画像CG0の画素値とする。なお、例えば、合成部48は、複数の腫瘤候補領域のうち、最も大きい領域、最も小さい領域、又は各領域の平均の領域を第1の領域A1として、選択された断層画像群の第1の領域A1の各画素の画素値の加算平均値を合成2次元画像CG0の画素値としてもよい。
また、図9に示すように、第2の領域A2については、断層画像D1、D2、D4、D5における、局所的な乳腺の塊であると判定された断層画像D3の腫瘤候補領域K32に対応する領域が合成される。この合成の際、合成部48は、断層画像D1、D2、D4、D5それぞれの第2の領域A2に含まれる各画素について、画素値の加算平均値を合成2次元画像CG0の画素値とする。
また、図9に示すように、第3の領域A3については、断層画像D1~D5の対応する領域が合成される。この合成の際、合成部48は、断層画像D1~D5それぞれの第3の領域A3に含まれる各画素について、画素値の加算平均値を合成2次元画像CG0の画素値とする。
表示制御部50は、合成部48により生成された合成2次元画像CG0をディスプレイ23に表示する制御を行う。
次に、図10を参照して、本実施形態に係る画像処理装置4の作用を説明する。CPU20が画像処理プログラム30を実行することによって、図10に示す合成2次元画像生成処理が実行される。図10に示す合成2次元画像生成処理は、例えば、ユーザにより入力装置24を介して実行開始の指示が入力された場合に実行される。
図10のステップS10で、取得部40は、コンソール2がマンモグラフィ撮影装置1にトモシンセシス撮影を行わせることにより生成された複数の断層画像Djを取得する。ステップS12で、検出部42は、前述したように、ステップS10で取得された複数の断層画像Djから腫瘤候補領域を検出する。
ステップS14で、判定部44は、前述したように、ステップS12で検出された腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定する。ステップS16で、選択部46は、前述したように、ステップS14で腫瘤であると判定された第1の領域においては第1の選択ルールに従って複数の断層画像Djから第1の断層画像群を選択する。また、選択部46は、前述したように、ステップS14で局所的な乳腺の塊であると判定された第2の領域においては第2の選択ルールに従って複数の断層画像Djから第2の断層画像群を選択する。また、選択部46は、前述したように、第1の領域及び第2の領域以外の第3の領域においては第3の選択ルールに従って複数の断層画像Djから第3の断層画像群を選択する。そして、合成部48は、前述したように、第1の領域、第2の領域、及び第3の領域それぞれについて、選択部46により選択された断層画像群を用いて合成2次元画像CG0を生成する。
ステップS18で、表示制御部50は、ステップS16で生成された合成2次元画像CG0をディスプレイ23に表示する制御を行う。ステップS18の処理が終了すると、合成2次元画像生成処理が終了する。
上述のとおり、本例の合成2次元画像生成処理において、合成2次元画像CG0の第2の領域A2の生成に用いる第2の断層画像群は、複数の断層画像Djのうち局所的な乳腺の塊であると判定された腫瘤候補領域K32が検出された断層画像D3以外の断層画像群(断層画像D1、D2、D4、及びD5)である。このため、単純2次元画像において腫瘤のように見えてしまう局所的な乳腺の塊は、図9に示す合成2次元画像CG0では表現されない。そのため、図9に示す合成2次元画像CG0において、局所的な乳腺の塊が腫瘤と誤認識されることが抑制される。
以上説明したように、本実施形態によれば、断層画像と同等の診断能を有する合成2次元画像を生成することができる。これにより、医師等の診断者は、1枚の合成2次元画像を読影すればよいため、読影の負荷が軽減する。また、読影に不要になった断層画像を記憶装置上から削除することによって、記憶装置の容量節約にもつながる。
なお、上記実施形態では、第2の断層画像群として、複数の断層画像Djのうち局所的な乳腺の塊であると判定された腫瘤候補領域が検出された断層画像以外の断層画像群を適用した場合について説明したが、これに限定されない。例えば、第2の断層画像群として、複数の断層画像Djのうち局所的な乳腺の塊であると判定された腫瘤候補領域が検出された断層画像と、その断層画像に隣接する層の断層画像とを適用する形態としてもよい。この場合、一例として図11に示す合成2次元画像CG0のように、第2の領域A2においては、局所的な乳腺の塊であると判定された断層画像D3の腫瘤候補領域K32と、断層画像D3に隣接する層の断層画像D4の乳腺N41とが合成される。このため、図11に示す合成2次元画像CG0では、腫瘤候補領域K32と乳腺N41とが合成されることにより、腫瘤候補領域K32が局所的な乳腺の塊と明確に表現される。このため、図11に示す合成2次元画像CG0でも、局所的な乳腺の塊が腫瘤と誤認識されることが抑制される。
また、例えば、第2の断層画像群として、第3の断層画像群と同じ断層画像群を適用する形態としてもよい。この場合、第2の選択ルールと第3の選択ルールとが同じルールとなる。また、この場合、合成部48は、合成2次元画像CG0における第2の領域A2の濃度を第3の領域A3に近い濃度に制御した合成2次元画像CG0を生成する。この場合、一例として図12に示すように、第2の領域A2内の画素については、濃度が第1の領域A1よりも第3の領域A3に近い濃度になるため、腫瘤の領域と明確に区別することができる。このため、図12に示す合成2次元画像CG0でも、局所的な乳腺の塊が腫瘤と誤認識されることが抑制される。
更に、図10に示すフローチャートに示すように、合成2次元画像CG0を表示するだけでなく、図13に示すフローチャートに示すように、合成2次元画像CG0を表示するステップS18に加えて、表示制御部50は、判定部44による判定結果を表示するステップS20を実行してもよい。ステップS20において、表示制御部50は、合成2次元画像CG0上に、判定部44による腫瘤であるか又は局所的な乳腺の塊であるかの判定結果を表示する制御を行う。図14に、この判定結果の表示状態の一例を示す。図14に示すように、表示制御部50は、判定部44による判定結果を表す文字列を、判定対象の腫瘤候補領域の近傍に表示する制御を行う。図14の例では、局所的な乳腺の塊であると判定された腫瘤候補領域の下部に「乳腺」との文字列が表示され、腫瘤であると判定された腫瘤候補領域の下部に「腫瘤」との文字列が表示されている。
また、図15に示すように、表示制御部50は、判定部44による判定結果を、判定対象の腫瘤候補領域の枠線の色を異ならせることによって表示する制御を行ってもよい。図15の例では、局所的な乳腺の塊であると判定された腫瘤候補領域の枠線が破線で表示され、腫瘤であると判定された腫瘤候補領域の枠線が一点鎖線で表示されているが、これは枠線の色が異なることを表している。
また、図16に示すように、表示制御部50は、判定部44による判定結果を表すマークを、判定対象の腫瘤候補領域の近傍に表示する制御を行ってもよい。図16の例では、局所的な乳腺の塊であると判定された腫瘤候補領域の下部に丸のマークが表示され、腫瘤であると判定された腫瘤候補領域の下部に三角形のマークが表示されている。
また、上記実施形態では、第3の断層画像群として、複数の断層画像Dj全てを適用した場合について説明したが、これに限定されない。例えば、第3の断層画像群として、複数の断層画像Djのうち注目画素の画素値と複数の断層画像Dj全ての注目画素の画素値の平均値との差の絶対値が予め設定された閾値以上の断層画像群を適用する形態としてもよい。また、例えば、複数の断層画像Djのうち注目画素を含む注目領域の画素値の分散値が大きい順に予め設定された枚数の断層画像群を適用する形態としてもよい。また、例えば、第3の断層画像群として、複数の断層画像Djのうちエッジ検出処理によってエッジが検出された画素を有する断層画像群を適用する形態としてもよい。
また、上記実施形態では、合成2次元画像CG0の画素の画素値として、選択された断層画像群の対応する画素の画素値の加算平均値を適用する場合について説明したが、これに限定されない。合成2次元画像CG0の画素の画素値として、選択された断層画像群の対応する画素の画素値の中央値、最大値、又は最小値を適用する形態としてもよい。
また、上記実施形態において、例えば、取得部40、検出部42、判定部44、選択部46、合成部48、及び表示制御部50といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System on Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
また、上記実施形態では、画像処理プログラム30が記憶部22に予め記憶(インストール)されている態様を説明したが、これに限定されない。画像処理プログラム30は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム30は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
2020年9月30日に出願された日本国特許出願2020-166473号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (9)
- 少なくとも一つのプロセッサを備える画像処理装置であって、
前記プロセッサは、
被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、
検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、
腫瘤であると判定した第1の領域においては前記複数の断層画像から第1の断層画像群を選択し、
局所的な乳腺の塊であると判定した第2の領域においては前記複数の断層画像から第2の断層画像群を選択し、
前記第1の領域及び前記第2の領域以外の第3の領域においては前記複数の断層画像から第3の断層画像群を選択し、
前記第1の領域、前記第2の領域、及び前記第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する
画像処理装置。 - 前記第1の断層画像群は、前記複数の断層画像のうち腫瘤であると判定された前記腫瘤候補領域が検出された断層画像群である
請求項1に記載の画像処理装置。 - 前記第2の断層画像群は、前記複数の断層画像のうち局所的な乳腺の塊であると判定された前記腫瘤候補領域が検出された断層画像以外の断層画像群である
請求項1又は請求項2に記載の画像処理装置。 - 前記第2の断層画像群は、前記複数の断層画像のうち局所的な乳腺の塊であると判定された前記腫瘤候補領域が検出された断層画像と、その断層画像に隣接する層の断層画像である
請求項1又は請求項2に記載の画像処理装置。 - 前記第2の断層画像群は、前記第3の断層画像群と同じ断層画像群であり、
前記プロセッサは、
前記第2の領域の濃度を前記第3の領域に近い濃度に制御した前記合成2次元画像を生成する
請求項1又は請求項2に記載の画像処理装置。 - 前記第3の断層画像群は、前記複数の断層画像全て、前記複数の断層画像のうち注目画素の画素値と前記複数の断層画像全ての前記注目画素の画素値の平均値との差の絶対値が予め設定された閾値以上の断層画像群、前記複数の断層画像のうち注目画素を含む注目領域の画素値の分散値が大きい順に予め設定された枚数の断層画像群、又は前記複数の断層画像のうちエッジ検出処理によってエッジが検出された画素を有する断層画像群である
請求項1から請求項5の何れか1項に記載の画像処理装置。 - 前記プロセッサは、
生成した合成2次元画像を表示する制御を行い、かつ
前記合成2次元画像上に、腫瘤であるか又は局所的な乳腺の塊であるかの判定結果を表示する制御を行う
請求項1から請求項6の何れか1項に記載の画像処理装置。 - 被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、
検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、
腫瘤であると判定した第1の領域においては前記複数の断層画像から第1の断層画像群を選択し、
局所的な乳腺の塊であると判定した第2の領域においては前記複数の断層画像から第2の断層画像群を選択し、
前記第1の領域及び前記第2の領域以外の第3の領域においては前記複数の断層画像から第3の断層画像群を選択し、
前記第1の領域、前記第2の領域、及び前記第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する
処理を画像処理装置が備えるプロセッサが実行する画像処理方法。 - 被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、
検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、
腫瘤であると判定した第1の領域においては前記複数の断層画像から第1の断層画像群を選択し、
局所的な乳腺の塊であると判定した第2の領域においては前記複数の断層画像から第2の断層画像群を選択し、
前記第1の領域及び前記第2の領域以外の第3の領域においては前記複数の断層画像から第3の断層画像群を選択し、
前記第1の領域、前記第2の領域、及び前記第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する
処理を画像処理装置が備えるプロセッサに実行させるための画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020166473 | 2020-09-30 | ||
JP2020166473 | 2020-09-30 | ||
PCT/JP2021/027309 WO2022070570A1 (ja) | 2020-09-30 | 2021-07-21 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022070570A1 JPWO2022070570A1 (ja) | 2022-04-07 |
JP7430814B2 true JP7430814B2 (ja) | 2024-02-13 |
Family
ID=80949860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022553494A Active JP7430814B2 (ja) | 2020-09-30 | 2021-07-21 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230215057A1 (ja) |
EP (1) | EP4223224A4 (ja) |
JP (1) | JP7430814B2 (ja) |
WO (1) | WO2022070570A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140033126A1 (en) | 2008-12-08 | 2014-01-30 | Hologic, Inc. | Displaying Computer-Aided Detection Information With Associated Breast Tomosynthesis Image Information |
JP2020512129A (ja) | 2017-03-30 | 2020-04-23 | ホロジック, インコーポレイテッドHologic, Inc. | オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7760924B2 (en) | 2002-11-27 | 2010-07-20 | Hologic, Inc. | System and method for generating a 2D image from a tomosynthesis data set |
WO2011044295A2 (en) * | 2009-10-07 | 2011-04-14 | Hologic, Inc. | Processing and displaying computer-aided detection information associated with breast x-ray images |
JP6012577B2 (ja) * | 2013-09-30 | 2016-10-25 | 富士フイルム株式会社 | 画像処理装置、放射線画像撮影システム、画像処理プログラム、及び画像処理方法 |
US9792703B2 (en) * | 2015-07-06 | 2017-10-17 | Siemens Healthcare Gmbh | Generating a synthetic two-dimensional mammogram |
JP7242284B2 (ja) * | 2018-12-19 | 2023-03-20 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置、x線診断装置及び医用画像処理プログラム |
-
2021
- 2021-07-21 WO PCT/JP2021/027309 patent/WO2022070570A1/ja unknown
- 2021-07-21 JP JP2022553494A patent/JP7430814B2/ja active Active
- 2021-07-21 EP EP21874874.7A patent/EP4223224A4/en active Pending
-
2023
- 2023-03-14 US US18/183,858 patent/US20230215057A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140033126A1 (en) | 2008-12-08 | 2014-01-30 | Hologic, Inc. | Displaying Computer-Aided Detection Information With Associated Breast Tomosynthesis Image Information |
JP2020512129A (ja) | 2017-03-30 | 2020-04-23 | ホロジック, インコーポレイテッドHologic, Inc. | オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4223224A4 (en) | 2024-03-27 |
US20230215057A1 (en) | 2023-07-06 |
EP4223224A1 (en) | 2023-08-09 |
JPWO2022070570A1 (ja) | 2022-04-07 |
WO2022070570A1 (ja) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020048991A (ja) | 断層画像生成装置、方法およびプログラム | |
US20210393226A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2021029698A (ja) | 画像表示装置、方法およびプログラム、画像管理装置、方法およびプログラム | |
JP7430814B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US20220343500A1 (en) | Image setting device, image setting method, and image setting program | |
JP7203705B2 (ja) | 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム | |
JP7113790B2 (ja) | 画像処理装置、方法およびプログラム | |
US20220309671A1 (en) | Image processing device, image processing method, and image processing program | |
US20230146430A1 (en) | Image processing device, image processing method, and image processing program | |
JP7446410B2 (ja) | 画像処理装置、方法およびプログラム | |
EP4066744A1 (en) | Image processing device, image processing method, and image processing program | |
JP7384990B2 (ja) | 画像管理装置、方法およびプログラム | |
US20220392064A1 (en) | Image processing device, image processing method, and image processing program | |
JP7209599B2 (ja) | 画像処理装置、方法およびプログラム | |
WO2022070532A1 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム | |
JP7451748B2 (ja) | 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム | |
JP7208874B2 (ja) | 撮影制御装置、方法およびプログラム | |
JP7270782B2 (ja) | 画像設定装置、画像設定装置の作動方法および画像設定プログラム | |
US20220358649A1 (en) | Image setting device, image setting method, and image setting program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230320 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7430814 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |