JP7430814B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP7430814B2
JP7430814B2 JP2022553494A JP2022553494A JP7430814B2 JP 7430814 B2 JP7430814 B2 JP 7430814B2 JP 2022553494 A JP2022553494 A JP 2022553494A JP 2022553494 A JP2022553494 A JP 2022553494A JP 7430814 B2 JP7430814 B2 JP 7430814B2
Authority
JP
Japan
Prior art keywords
tomographic
tomographic images
image
region
tumor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022553494A
Other languages
English (en)
Other versions
JPWO2022070570A1 (ja
Inventor
崇文 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2022070570A1 publication Critical patent/JPWO2022070570A1/ja
Application granted granted Critical
Publication of JP7430814B2 publication Critical patent/JP7430814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025Tomosynthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/502Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of breast, i.e. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
近年、乳がんの早期発見を促すため、乳房を撮影する放射線画像撮影装置(マンモグラフィと呼ばれる)を用いた画像診断が注目されている。また、マンモグラフィにおいて、放射線源を移動させて複数の線源位置から乳房に放射線を照射して撮影を行い、これにより取得した複数の投影画像を再構成して所望の断層面を強調した断層画像を生成するトモシンセシス撮影が提案されている。トモシンセシス撮影では、撮影装置の特性及び必要な断層画像に応じて、放射線源を放射線検出器と平行に移動させたり、円又は楕円の弧を描くように移動させたりして、複数の線源位置において乳房を撮影することにより複数の投影画像を取得する。そして、単純逆投影法若しくはフィルタ逆投影法等の逆投影法、又は逐次再構成法等を用いて、取得した複数の投影画像を再構成して断層画像を生成する。
このような断層画像を乳房における複数の断層面において生成することにより、乳房内において断層面が並ぶ深さ方向に重なり合った構造を分離することができる。このため、予め定められた方向から被写体に放射線を照射する、従来の単純撮影により取得される2次元画像(以下、「単純2次元画像」という)においては検出が困難であった病変等の異常部位を発見することが可能となる。
また、トモシンセシス撮影により取得された、放射線検出器の検出面から放射線源側に向けた距離(高さ方向の位置)が異なる複数の断層画像を、加算法、平均法、最大値投影法又は最小値投影法等によって合成することにより、単純2次元画像に相当する擬似的な2次元画像(以下、「合成2次元画像」という)を生成する技術が知られている(特開2014-128716号公報参照)。
また、断層画像から腫瘤病変と正常乳房構造とを検出し、腫瘤病変は正常乳房構造よりも強調して合成2次元画像上に表現し、正常乳房構造は単純2次元画像を表すように合成2次元画像上に表現する技術が知られている(特表2020-512129号公報参照)。
しかしながら、特表2020-512129号公報に記載された手法により生成される従来の合成2次元画像では、例えば、単純2次元画像において腫瘤病変のように見える局所的な乳腺の塊は、依然として腫瘤病変のように見えてしまう。すなわち、従来の合成2次元画像では断層画像と同等の診断能が得られない場合があった。このため、医師等の診断者は、合成2次元画像だけではなく、多数の断層画像の読影も行うことになり、読影の負荷が大きくなってしまう。
本開示は、以上の事情を鑑みてなされたものであり、断層画像と同等の診断能を有する合成2次元画像を生成することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
本開示の画像処理装置は、少なくとも一つのプロセッサを備える画像処理装置であって、プロセッサは、被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、腫瘤であると判定した第1の領域においては複数の断層画像から第1の断層画像群を選択し、局所的な乳腺の塊であると判定した第2の領域においては複数の断層画像から第2の断層画像群を選択し、第1の領域及び第2の領域以外の第3の領域においては複数の断層画像から第3の断層画像群を選択し、第1の領域、第2の領域、及び第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する。
なお、本開示の画像処理装置は、第1の断層画像群が、複数の断層画像のうち腫瘤であると判定された腫瘤候補領域が検出された断層画像群であってもよい。
また、本開示の画像処理装置は、第2の断層画像群が、複数の断層画像のうち局所的な乳腺の塊であると判定された腫瘤候補領域が検出された断層画像以外の断層画像群であってもよい。
また、本開示の画像処理装置は、第2の断層画像群が、複数の断層画像のうち局所的な乳腺の塊であると判定された腫瘤候補領域が検出された断層画像と、その断層画像に隣接する層の断層画像であってもよい。
また、本開示の画像処理装置は、第2の断層画像群が、第3の断層画像群と同じ断層画像群であり、プロセッサが、第2の領域の濃度を第3の領域に近い濃度に制御した合成2次元画像を生成してもよい。
また、本開示の画像処理装置は、第3の断層画像群が、複数の断層画像全て、複数の断層画像のうち注目画素の画素値と複数の断層画像全ての注目画素の画素値の平均値との差の絶対値が予め設定された閾値以上の断層画像群、複数の断層画像のうち注目画素を含む注目領域の画素値の分散値が大きい順に予め設定された枚数の断層画像群、又は複数の断層画像のうちエッジ検出処理によってエッジが検出された画素を有する断層画像群であってもよい。
また、本開示の画像処理装置は、プロセッサが、生成した合成2次元画像を表示する制御を行い、かつ合成2次元画像上に、腫瘤であるか又は局所的な乳腺の塊であるかの判定結果を表示する制御を行ってもよい。
また、本開示の画像処理方法は、被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、腫瘤であると判定した第1の領域においては複数の断層画像から第1の断層画像群を選択し、局所的な乳腺の塊であると判定した第2の領域においては複数の断層画像から第2の断層画像群を選択し、第1の領域及び第2の領域以外の第3の領域においては複数の断層画像から第3の断層画像群を選択し、第1の領域、第2の領域、及び第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する処理を画像処理装置が備えるプロセッサが実行するものである。
また、本開示の画像処理プログラムは、被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、腫瘤であると判定した第1の領域においては複数の断層画像から第1の断層画像群を選択し、局所的な乳腺の塊であると判定した第2の領域においては複数の断層画像から第2の断層画像群を選択し、第1の領域及び第2の領域以外の第3の領域においては複数の断層画像から第3の断層画像群を選択し、第1の領域、第2の領域、及び第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する処理を画像処理装置が備えるプロセッサに実行させるためのものである。
本開示によれば、断層画像と同等の診断能を有する合成2次元画像を生成することができる。
放射線画像撮影システムの概略構成図である。 放射線画像撮影装置を図1の矢印A方向に見た図である。 画像処理装置のハードウェア構成の一例を示すブロック図である。 画像処理装置の機能的な構成の一例を示すブロック図である。 投影画像の取得処理を説明するための図である。 断層画像の生成処理を説明するための図である。 複数の断層画像の一例を示す図である。 合成2次元画像の生成処理を説明するための図である。 合成2次元画像の一例を示す図である。 合成2次元画像生成処理の一例を示すフローチャートである。 合成2次元画像の一例を示す図である。 合成2次元画像の一例を示す図である。 合成2次元画像生成処理の別の例を示すフローチャートである。 判定結果の表示状態の一例を示す図である。 判定結果の表示状態の一例を示す図である。 判定結果の表示状態の一例を示す図である。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
まず、図1及び図2を参照して、本実施形態に係る放射線画像撮影システム100の構成を説明する。図1及び図2に示すように、放射線画像撮影システム100は、乳房のトモシンセシス撮影を行って断層画像を生成するために、複数の線源位置から被写体である乳房Mを撮影して、複数の放射線画像、すなわち複数の投影画像を取得するためのものである。放射線画像撮影システム100は、マンモグラフィ撮影装置1、コンソール2、画像保存システム3、及び画像処理装置4を備える。
マンモグラフィ撮影装置1は、不図示の基台に対して回転軸11により連結されたアーム部12を備えている。アーム部12の一方の端部には撮影台13が、その他方の端部には撮影台13と対向するように放射線照射部14が取り付けられている。アーム部12は、放射線照射部14が取り付けられた端部のみを回転することが可能に構成されており、これにより、撮影台13を固定して放射線照射部14のみを回転することが可能となっている。
撮影台13の内部には、フラットパネルディテクタ等の放射線検出器15が備えられている。放射線検出器15は放射線の検出面15Aを有する。また、撮影台13の内部には、放射線検出器15から読み出された電荷信号を電圧信号に変換するチャージアンプ、チャージアンプから出力された電圧信号をサンプリングする相関2重サンプリング回路、及びアナログの電圧信号をデジタル信号に変換するAD(Analog-to-Digital)変換部等が設けられた回路基板等も設置されている。
放射線照射部14の内部には、放射線源16が収納されている。放射線源16は放射線としてX線を出射するものであり、放射線源16から放射線を照射するタイミング及び放射線源16における放射線発生条件、すなわちターゲット及びフィルタの材質の選択、管電圧並びに照射時間等は、コンソール2により制御される。
また、アーム部12には、撮影台13の上方に配置されて乳房Mを押さえつけて圧迫する圧迫板17と、圧迫板17を支持する支持部18と、支持部18を図1及び図2の上下方向に移動させる移動機構19とが設けられている。なお、圧迫板17と撮影台13との間隔、すなわち圧迫乳房厚はコンソール2に入力される。
コンソール2は、無線通信LAN(Local Area Network)等のネットワークを介して、不図示のRIS(Radiology Information System)等から取得した撮影オーダ及び各種情報と、技師等により直接行われた指示等とを用いて、マンモグラフィ撮影装置1の制御を行う機能を有している。具体的には、コンソール2は、マンモグラフィ撮影装置1に乳房Mのトモシンセシス撮影を行わせることにより、後述するように複数の投影画像を取得し、複数の投影画像を再構成して複数の断層画像を生成する。一例として、本実施形態では、サーバコンピュータをコンソール2として用いている。
画像保存システム3は、マンモグラフィ撮影装置1により撮影された放射線画像及び断層画像等の画像データを保存するシステムである。画像保存システム3は、保存している画像データから、コンソール2及び画像処理装置4等からの要求に応じた画像データを取り出して、要求元の装置に送信する。画像保存システム3の具体例としては、PACS(Picture Archiving and Communication Systems)が挙げられる。
次に、図3を参照して、本実施形態に係る画像処理装置4のハードウェア構成を説明する。図3に示すように、画像処理装置4は、CPU(Central Processing Unit)20、一時記憶領域としてのメモリ21、及び不揮発性の記憶部22を含む。また、画像処理装置4は、液晶ディスプレイ等のディスプレイ23、キーボードとマウス等の入力装置24、及びネットワークに接続されるネットワークI/F(InterFace)25を含む。CPU20、メモリ21、記憶部22、ディスプレイ23、入力装置24、及びネットワークI/F25は、バス27に接続される。
記憶部22は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部22には、画像処理プログラム30が記憶される。CPU20は、記憶部22から画像処理プログラム30を読み出してからメモリ21に展開し、展開した画像処理プログラム30を実行する。
次に、図4を参照して、本実施形態に係る画像処理装置4の機能的な構成について説明する。図4に示すように、画像処理装置4は、取得部40、検出部42、判定部44、選択部46、合成部48、及び表示制御部50を含む。CPU20が画像処理プログラム30を実行することにより、取得部40、検出部42、判定部44、選択部46、合成部48、及び表示制御部50として機能する。
取得部40は、コンソール2がマンモグラフィ撮影装置1にトモシンセシス撮影を行わせることにより生成された複数の断層画像を取得する。取得部40は、コンソール2又は画像保存システム3からネットワークI/F25を介して複数の断層画像を取得する。
ここで、コンソール2におけるトモシンセシス撮影及び断層画像の生成処理について説明する。コンソール2は、断層画像を生成するためのトモシンセシス撮影を行うに際し、アーム部12を回転軸11の周りに回転させることにより放射線源16を移動させる。また、コンソール2は、放射線源16の移動による複数の線源位置において、トモシンセシス撮影用の予め定められた撮影条件により被写体である乳房Mに放射線を照射させる。また、コンソール2は、乳房Mを透過した放射線が放射線検出器15により検出されることによって得られた複数の線源位置における複数の投影画像Gi(i=1~n、nは線源位置の数であり、例えばn=15)を取得する。
図5に示すように、放射線源16をSi(i=1~n)の各線源位置に移動し、各線源位置において放射線源16を駆動して乳房Mに放射線を照射する。乳房Mを透過した放射線を放射線検出器15が検出することにより、各線源位置S1~Snに対応して、投影画像G1、G2、・・・、Gnが取得される。なお、各線源位置S1~Snにおいては、同一の線量の放射線が乳房Mに照射される。
なお、図5において、線源位置Scは、放射線源16から出射された放射線の光軸X0が放射線検出器15の検出面15Aと直交する線源位置である。以下では、線源位置Scを基準線源位置Scと称する。
コンソール2は、複数の投影画像Giを再構成することにより、乳房Mの所望とする断層面を強調した複数の断層画像を生成する。具体的には、コンソール2は、単純逆投影法又はフィルタ逆投影法等の周知の逆投影法等を用いて複数の投影画像Giを再構成する。これにより、図6に示すように、コンソール2は、乳房Mの複数の断層面のそれぞれを表す複数の断層画像Dj(j=1~m)を生成する。この際、乳房Mを含む3次元空間における3次元の座標位置が設定され、設定された3次元の座標位置に対して、複数の投影画像Giの対応する画素の画素値が再構成されて、その座標位置の画素値が算出される。
コンソール2は、生成した断層画像Djを画像処理装置4に転送するか、又は画像保存システム3に転送する。
図7に示すように、検出部42は、取得部40により取得された複数の断層画像Djから腫瘤候補領域を検出する。図7では、説明を簡単にするために、断層画像Djの枚数が5枚(すなわち、j=1~5)の場合を例示している。また、図7の例では、断層画像D2に腫瘤候補領域K21が含まれ、断層画像D3に腫瘤候補領域K31、K32が含まれ、断層画像D4に腫瘤候補領域K41が含まれる。また、図7の例では、断層画像D4に乳腺N41が含まれる。また、腫瘤候補領域K21、腫瘤候補領域K31、及び腫瘤候補領域K41は、それぞれの断層画像Dj内における重心の位置がほぼ同じ位置であるものとする。また、図7の例では、腫瘤候補領域K21、腫瘤候補領域K31、及び腫瘤候補領域K41が腫瘤であり、腫瘤候補領域K32が局所的な乳腺の塊である。
検出部42は、公知のコンピュータ支援画像診断(CAD:Computer Aided Diagnosis)の腫瘤検出用のアルゴリズムを用いて、複数の断層画像Djから腫瘤候補領域を検出する。CADによる腫瘤検出用のアルゴリズムにおいては、断層画像Djにおける画素が腫瘤候補領域であることを表す確率(尤度)が導出され、その確率が予め定められた閾値以上となる画素が腫瘤候補領域として検出される。1枚の断層画像Djだけでは、腫瘤と局所的な乳腺の塊とは区別がつきにくいため、局所的な乳腺の塊も腫瘤候補領域として検出される。
なお、腫瘤候補領域の検出はCADを用いるものに限定されない。腫瘤候補領域を検出するためのフィルタによるフィルタリング処理、又は腫瘤候補領域を検出するためにディープラーニング等により機械学習がなされた検出モデル等によって、断層画像Djから腫瘤候補領域を検出するものであってもよい。
判定部44は、検出部42により検出された腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定する。腫瘤は、癌細胞が増殖することで生じる、内部が癌細胞で充実した3次元構造であるため、断層画像Djでは連続する複数の断層画像Djにまたがって写る。一方、局所的な乳腺の塊は、薄く伸ばされた乳腺が重なった構造であるため、1枚の断層画像Djには腫瘤のように写るものの、隣接する層の断層画像Djでは正常乳腺のように写る。
そこで、本実施形態に係る判定部44は、連続する複数の断層画像Djに写っており、かつそれぞれの断層画像Djにおける重心の位置がほぼ同じ位置である腫瘤候補領域を腫瘤であると判定する。ここでいう重心の位置がほぼ同じ位置とは、例えば、複数の断層画像Djのそれぞれに写る腫瘤の重心の位置間の距離が予め定められた閾値以下であることを意味する。この場合の閾値としては、例えば、連続する複数の断層画像Djに写る腫瘤の重心の位置間の距離の上限値として予め設定された値を適用することができる。また、判定部44は、隣接する層の断層画像Djには写っておらず、1枚の断層画像Djにのみ写っている腫瘤候補領域を局所的な乳腺の塊であると判定する。
図7の例では、判定部44は、腫瘤候補領域K21、K31、K41が連続する断層画像D2~D4に写っており、それぞれの断層画像D2~D4における重心の位置がほぼ同じであるため、腫瘤候補領域K21、K31、K41を腫瘤であると判定する。また、図7の例では、判定部44は、断層画像D3に写る腫瘤候補領域K32については、断層画像D3に隣接する層の断層画像D2、D4のほぼ同じ位置に腫瘤候補領域が写っていないため、腫瘤候補領域K32を局所的な乳腺の塊であると判定する。
選択部46は、判定部44により腫瘤であると判定された第1の領域においては複数の断層画像Djから第1の断層画像群を選択する。この選択において、選択部46は、第1の選択ルールに従って第1の断層画像群を選択する。本実施形態に係る第1の選択ルールは、複数の断層画像Djのうち、判定部44により腫瘤であると判定された腫瘤候補領域が検出された断層画像群を選択する、というルールである。図7の例では、選択部46は、腫瘤候補領域K21、K31、K41が検出された断層画像D2~D4を第1の断層画像群として選択する。
選択部46は、判定部44により局所的な乳腺の塊であると判定された第2の領域においては複数の断層画像Djから第2の断層画像群を選択する。この選択において、選択部46は、第1の選択ルールとは異なる第2の選択ルールに従って第2の断層画像群を選択する。本実施形態に係る第2の選択ルールは、複数の断層画像Djのうち、判定部44により局所的な乳腺の塊であると判定された腫瘤候補領域が検出された断層画像以外の断層画像群を選択する、というルールである。図7の例では、選択部46は、腫瘤候補領域K32が検出された断層画像D3以外の断層画像D1、D2、D4、D5を第2の断層画像群として選択する。
選択部46は、第1の領域及び第2の領域以外の第3の領域においては複数の断層画像Djから第3の断層画像群を選択する。この選択において、選択部46は、第1の選択ルール及び第2の選択ルールとは異なる第3の選択ルールに従って第3の断層画像群を選択する。本実施形態に係る第3の選択ルールは、複数の断層画像Dj全てを選択する、というルールである。図7の例では、選択部46は、断層画像D1~D5を第3の断層画像群として選択する。
合成部48は、第1の領域、第2の領域、及び第3の領域それぞれについて、選択部46により選択された断層画像群を用いて合成2次元画像を生成する。合成2次元画像は、基準線源位置Scから乳房Mに放射線を照射して撮影した単純2次元画像に相当する擬似的な2次元画像である。本実施形態においては、合成部48は、図8に示すように、複数の断層画像Djを積層した状態で、基準線源位置Scからの放射線検出器15へ向かう視点方向、すなわち図5に示す光軸X0に沿って、各断層画像Djにおいて対応する画素の画素値を合成して、合成2次元画像を生成する。以下、合成2次元画像の生成処理の具体的な一例について説明する。
図9に、合成2次元画像CG0の一例を示す。図9に示すように、第1の領域A1については、断層画像D2~D4において腫瘤であると判定された腫瘤候補領域K21、K31、K41が合成される。この合成の際、合成部48は、複数の腫瘤候補領域の対応する画素位置の画素については画素値の加算平均値を合成2次元画像CG0の画素値とする。また、この合成の際、合成部48は、複数の腫瘤候補領域の何れか1つにのみ含まれる画素位置の画素については、その画素の画素値を合成2次元画像CG0の画素値とする。なお、例えば、合成部48は、複数の腫瘤候補領域のうち、最も大きい領域、最も小さい領域、又は各領域の平均の領域を第1の領域A1として、選択された断層画像群の第1の領域A1の各画素の画素値の加算平均値を合成2次元画像CG0の画素値としてもよい。
また、図9に示すように、第2の領域A2については、断層画像D1、D2、D4、D5における、局所的な乳腺の塊であると判定された断層画像D3の腫瘤候補領域K32に対応する領域が合成される。この合成の際、合成部48は、断層画像D1、D2、D4、D5それぞれの第2の領域A2に含まれる各画素について、画素値の加算平均値を合成2次元画像CG0の画素値とする。
また、図9に示すように、第3の領域A3については、断層画像D1~D5の対応する領域が合成される。この合成の際、合成部48は、断層画像D1~D5それぞれの第3の領域A3に含まれる各画素について、画素値の加算平均値を合成2次元画像CG0の画素値とする。
表示制御部50は、合成部48により生成された合成2次元画像CG0をディスプレイ23に表示する制御を行う。
次に、図10を参照して、本実施形態に係る画像処理装置4の作用を説明する。CPU20が画像処理プログラム30を実行することによって、図10に示す合成2次元画像生成処理が実行される。図10に示す合成2次元画像生成処理は、例えば、ユーザにより入力装置24を介して実行開始の指示が入力された場合に実行される。
図10のステップS10で、取得部40は、コンソール2がマンモグラフィ撮影装置1にトモシンセシス撮影を行わせることにより生成された複数の断層画像Djを取得する。ステップS12で、検出部42は、前述したように、ステップS10で取得された複数の断層画像Djから腫瘤候補領域を検出する。
ステップS14で、判定部44は、前述したように、ステップS12で検出された腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定する。ステップS16で、選択部46は、前述したように、ステップS14で腫瘤であると判定された第1の領域においては第1の選択ルールに従って複数の断層画像Djから第1の断層画像群を選択する。また、選択部46は、前述したように、ステップS14で局所的な乳腺の塊であると判定された第2の領域においては第2の選択ルールに従って複数の断層画像Djから第2の断層画像群を選択する。また、選択部46は、前述したように、第1の領域及び第2の領域以外の第3の領域においては第3の選択ルールに従って複数の断層画像Djから第3の断層画像群を選択する。そして、合成部48は、前述したように、第1の領域、第2の領域、及び第3の領域それぞれについて、選択部46により選択された断層画像群を用いて合成2次元画像CG0を生成する。
ステップS18で、表示制御部50は、ステップS16で生成された合成2次元画像CG0をディスプレイ23に表示する制御を行う。ステップS18の処理が終了すると、合成2次元画像生成処理が終了する。
上述のとおり、本例の合成2次元画像生成処理において、合成2次元画像CG0の第2の領域A2の生成に用いる第2の断層画像群は、複数の断層画像Djのうち局所的な乳腺の塊であると判定された腫瘤候補領域K32が検出された断層画像D3以外の断層画像群(断層画像D1、D2、D4、及びD5)である。このため、単純2次元画像において腫瘤のように見えてしまう局所的な乳腺の塊は、図9に示す合成2次元画像CG0では表現されない。そのため、図9に示す合成2次元画像CG0において、局所的な乳腺の塊が腫瘤と誤認識されることが抑制される。
以上説明したように、本実施形態によれば、断層画像と同等の診断能を有する合成2次元画像を生成することができる。これにより、医師等の診断者は、1枚の合成2次元画像を読影すればよいため、読影の負荷が軽減する。また、読影に不要になった断層画像を記憶装置上から削除することによって、記憶装置の容量節約にもつながる。
なお、上記実施形態では、第2の断層画像群として、複数の断層画像Djのうち局所的な乳腺の塊であると判定された腫瘤候補領域が検出された断層画像以外の断層画像群を適用した場合について説明したが、これに限定されない。例えば、第2の断層画像群として、複数の断層画像Djのうち局所的な乳腺の塊であると判定された腫瘤候補領域が検出された断層画像と、その断層画像に隣接する層の断層画像とを適用する形態としてもよい。この場合、一例として図11に示す合成2次元画像CG0のように、第2の領域A2においては、局所的な乳腺の塊であると判定された断層画像D3の腫瘤候補領域K32と、断層画像D3に隣接する層の断層画像D4の乳腺N41とが合成される。このため、図11に示す合成2次元画像CG0では、腫瘤候補領域K32と乳腺N41とが合成されることにより、腫瘤候補領域K32が局所的な乳腺の塊と明確に表現される。このため、図11に示す合成2次元画像CG0でも、局所的な乳腺の塊が腫瘤と誤認識されることが抑制される。
また、例えば、第2の断層画像群として、第3の断層画像群と同じ断層画像群を適用する形態としてもよい。この場合、第2の選択ルールと第3の選択ルールとが同じルールとなる。また、この場合、合成部48は、合成2次元画像CG0における第2の領域A2の濃度を第3の領域A3に近い濃度に制御した合成2次元画像CG0を生成する。この場合、一例として図12に示すように、第2の領域A2内の画素については、濃度が第1の領域A1よりも第3の領域A3に近い濃度になるため、腫瘤の領域と明確に区別することができる。このため、図12に示す合成2次元画像CG0でも、局所的な乳腺の塊が腫瘤と誤認識されることが抑制される。
更に、図10に示すフローチャートに示すように、合成2次元画像CG0を表示するだけでなく、図13に示すフローチャートに示すように、合成2次元画像CG0を表示するステップS18に加えて、表示制御部50は、判定部44による判定結果を表示するステップS20を実行してもよい。ステップS20において、表示制御部50は、合成2次元画像CG0上に、判定部44による腫瘤であるか又は局所的な乳腺の塊であるかの判定結果を表示する制御を行う。図14に、この判定結果の表示状態の一例を示す。図14に示すように、表示制御部50は、判定部44による判定結果を表す文字列を、判定対象の腫瘤候補領域の近傍に表示する制御を行う。図14の例では、局所的な乳腺の塊であると判定された腫瘤候補領域の下部に「乳腺」との文字列が表示され、腫瘤であると判定された腫瘤候補領域の下部に「腫瘤」との文字列が表示されている。
また、図15に示すように、表示制御部50は、判定部44による判定結果を、判定対象の腫瘤候補領域の枠線の色を異ならせることによって表示する制御を行ってもよい。図15の例では、局所的な乳腺の塊であると判定された腫瘤候補領域の枠線が破線で表示され、腫瘤であると判定された腫瘤候補領域の枠線が一点鎖線で表示されているが、これは枠線の色が異なることを表している。
また、図16に示すように、表示制御部50は、判定部44による判定結果を表すマークを、判定対象の腫瘤候補領域の近傍に表示する制御を行ってもよい。図16の例では、局所的な乳腺の塊であると判定された腫瘤候補領域の下部に丸のマークが表示され、腫瘤であると判定された腫瘤候補領域の下部に三角形のマークが表示されている。
また、上記実施形態では、第3の断層画像群として、複数の断層画像Dj全てを適用した場合について説明したが、これに限定されない。例えば、第3の断層画像群として、複数の断層画像Djのうち注目画素の画素値と複数の断層画像Dj全ての注目画素の画素値の平均値との差の絶対値が予め設定された閾値以上の断層画像群を適用する形態としてもよい。また、例えば、複数の断層画像Djのうち注目画素を含む注目領域の画素値の分散値が大きい順に予め設定された枚数の断層画像群を適用する形態としてもよい。また、例えば、第3の断層画像群として、複数の断層画像Djのうちエッジ検出処理によってエッジが検出された画素を有する断層画像群を適用する形態としてもよい。
また、上記実施形態では、合成2次元画像CG0の画素の画素値として、選択された断層画像群の対応する画素の画素値の加算平均値を適用する場合について説明したが、これに限定されない。合成2次元画像CG0の画素の画素値として、選択された断層画像群の対応する画素の画素値の中央値、最大値、又は最小値を適用する形態としてもよい。
また、上記実施形態において、例えば、取得部40、検出部42、判定部44、選択部46、合成部48、及び表示制御部50といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System on Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)を用いることができる。
また、上記実施形態では、画像処理プログラム30が記憶部22に予め記憶(インストール)されている態様を説明したが、これに限定されない。画像処理プログラム30は、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム30は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
2020年9月30日に出願された日本国特許出願2020-166473号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (9)

  1. 少なくとも一つのプロセッサを備える画像処理装置であって、
    前記プロセッサは、
    被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、
    検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、
    腫瘤であると判定した第1の領域においては前記複数の断層画像から第1の断層画像群を選択し、
    局所的な乳腺の塊であると判定した第2の領域においては前記複数の断層画像から第2の断層画像群を選択し、
    前記第1の領域及び前記第2の領域以外の第3の領域においては前記複数の断層画像から第3の断層画像群を選択し、
    前記第1の領域、前記第2の領域、及び前記第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する
    画像処理装置。
  2. 前記第1の断層画像群は、前記複数の断層画像のうち腫瘤であると判定された前記腫瘤候補領域が検出された断層画像群である
    請求項1に記載の画像処理装置。
  3. 前記第2の断層画像群は、前記複数の断層画像のうち局所的な乳腺の塊であると判定された前記腫瘤候補領域が検出された断層画像以外の断層画像群である
    請求項1又は請求項2に記載の画像処理装置。
  4. 前記第2の断層画像群は、前記複数の断層画像のうち局所的な乳腺の塊であると判定された前記腫瘤候補領域が検出された断層画像と、その断層画像に隣接する層の断層画像である
    請求項1又は請求項2に記載の画像処理装置。
  5. 前記第2の断層画像群は、前記第3の断層画像群と同じ断層画像群であり、
    前記プロセッサは、
    前記第2の領域の濃度を前記第3の領域に近い濃度に制御した前記合成2次元画像を生成する
    請求項1又は請求項2に記載の画像処理装置。
  6. 前記第3の断層画像群は、前記複数の断層画像全て、前記複数の断層画像のうち注目画素の画素値と前記複数の断層画像全ての前記注目画素の画素値の平均値との差の絶対値が予め設定された閾値以上の断層画像群、前記複数の断層画像のうち注目画素を含む注目領域の画素値の分散値が大きい順に予め設定された枚数の断層画像群、又は前記複数の断層画像のうちエッジ検出処理によってエッジが検出された画素を有する断層画像群である
    請求項1から請求項5の何れか1項に記載の画像処理装置。
  7. 前記プロセッサは、
    生成した合成2次元画像を表示する制御を行い、かつ
    前記合成2次元画像上に、腫瘤であるか又は局所的な乳腺の塊であるかの判定結果を表示する制御を行う
    請求項1から請求項6の何れか1項に記載の画像処理装置。
  8. 被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、
    検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、
    腫瘤であると判定した第1の領域においては前記複数の断層画像から第1の断層画像群を選択し、
    局所的な乳腺の塊であると判定した第2の領域においては前記複数の断層画像から第2の断層画像群を選択し、
    前記第1の領域及び前記第2の領域以外の第3の領域においては前記複数の断層画像から第3の断層画像群を選択し、
    前記第1の領域、前記第2の領域、及び前記第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する
    処理を画像処理装置が備えるプロセッサが実行する画像処理方法。
  9. 被写体の複数の断層面を表す複数の断層画像から腫瘤候補領域を検出し、
    検出した腫瘤候補領域それぞれについて腫瘤であるか又は局所的な乳腺の塊であるかを判定し、
    腫瘤であると判定した第1の領域においては前記複数の断層画像から第1の断層画像群を選択し、
    局所的な乳腺の塊であると判定した第2の領域においては前記複数の断層画像から第2の断層画像群を選択し、
    前記第1の領域及び前記第2の領域以外の第3の領域においては前記複数の断層画像から第3の断層画像群を選択し、
    前記第1の領域、前記第2の領域、及び前記第3の領域それぞれについて選択した断層画像群を用いて合成2次元画像を生成する
    処理を画像処理装置が備えるプロセッサに実行させるための画像処理プログラム。
JP2022553494A 2020-09-30 2021-07-21 画像処理装置、画像処理方法、及び画像処理プログラム Active JP7430814B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020166473 2020-09-30
JP2020166473 2020-09-30
PCT/JP2021/027309 WO2022070570A1 (ja) 2020-09-30 2021-07-21 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2022070570A1 JPWO2022070570A1 (ja) 2022-04-07
JP7430814B2 true JP7430814B2 (ja) 2024-02-13

Family

ID=80949860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022553494A Active JP7430814B2 (ja) 2020-09-30 2021-07-21 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20230215057A1 (ja)
EP (1) EP4223224A4 (ja)
JP (1) JP7430814B2 (ja)
WO (1) WO2022070570A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140033126A1 (en) 2008-12-08 2014-01-30 Hologic, Inc. Displaying Computer-Aided Detection Information With Associated Breast Tomosynthesis Image Information
JP2020512129A (ja) 2017-03-30 2020-04-23 ホロジック, インコーポレイテッドHologic, Inc. オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7760924B2 (en) 2002-11-27 2010-07-20 Hologic, Inc. System and method for generating a 2D image from a tomosynthesis data set
WO2011044295A2 (en) * 2009-10-07 2011-04-14 Hologic, Inc. Processing and displaying computer-aided detection information associated with breast x-ray images
JP6012577B2 (ja) * 2013-09-30 2016-10-25 富士フイルム株式会社 画像処理装置、放射線画像撮影システム、画像処理プログラム、及び画像処理方法
US9792703B2 (en) * 2015-07-06 2017-10-17 Siemens Healthcare Gmbh Generating a synthetic two-dimensional mammogram
JP7242284B2 (ja) * 2018-12-19 2023-03-20 キヤノンメディカルシステムズ株式会社 医用画像処理装置、x線診断装置及び医用画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140033126A1 (en) 2008-12-08 2014-01-30 Hologic, Inc. Displaying Computer-Aided Detection Information With Associated Breast Tomosynthesis Image Information
JP2020512129A (ja) 2017-03-30 2020-04-23 ホロジック, インコーポレイテッドHologic, Inc. オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法

Also Published As

Publication number Publication date
EP4223224A4 (en) 2024-03-27
US20230215057A1 (en) 2023-07-06
EP4223224A1 (en) 2023-08-09
JPWO2022070570A1 (ja) 2022-04-07
WO2022070570A1 (ja) 2022-04-07

Similar Documents

Publication Publication Date Title
JP2020048991A (ja) 断層画像生成装置、方法およびプログラム
US20210393226A1 (en) Image processing apparatus, image processing method, and image processing program
JP2021029698A (ja) 画像表示装置、方法およびプログラム、画像管理装置、方法およびプログラム
JP7430814B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20220343500A1 (en) Image setting device, image setting method, and image setting program
JP7203705B2 (ja) 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム
JP7113790B2 (ja) 画像処理装置、方法およびプログラム
US20220309671A1 (en) Image processing device, image processing method, and image processing program
US20230146430A1 (en) Image processing device, image processing method, and image processing program
JP7446410B2 (ja) 画像処理装置、方法およびプログラム
EP4066744A1 (en) Image processing device, image processing method, and image processing program
JP7384990B2 (ja) 画像管理装置、方法およびプログラム
US20220392064A1 (en) Image processing device, image processing method, and image processing program
JP7209599B2 (ja) 画像処理装置、方法およびプログラム
WO2022070532A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
JP7451748B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
JP7208874B2 (ja) 撮影制御装置、方法およびプログラム
JP7270782B2 (ja) 画像設定装置、画像設定装置の作動方法および画像設定プログラム
US20220358649A1 (en) Image setting device, image setting method, and image setting program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240131

R150 Certificate of patent or registration of utility model

Ref document number: 7430814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150