JP7462188B2 - 医用画像処理装置、医用画像処理方法、およびプログラム - Google Patents
医用画像処理装置、医用画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7462188B2 JP7462188B2 JP2021039923A JP2021039923A JP7462188B2 JP 7462188 B2 JP7462188 B2 JP 7462188B2 JP 2021039923 A JP2021039923 A JP 2021039923A JP 2021039923 A JP2021039923 A JP 2021039923A JP 7462188 B2 JP7462188 B2 JP 7462188B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- neural network
- affected area
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 37
- 238000003672 processing method Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims description 55
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 238000011946 reduction process Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 2
- 230000004931 aggregating effect Effects 0.000 claims 1
- 238000002591 computed tomography Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 230000010339 dilation Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Description
撮影装置の種類には、例えば放射線科分野では、X線撮影装置、X線コンピュータ断層撮影(CT)装置、磁気共鳴イメージング(MRI)装置、陽電子放出断層撮影(PET)等がある。
これらの患部を特定するためには、画像を精細に観察する必要があり画像診断に長い時間が必要になる。また、画像診断には熟練が必要とされる。これらの問題の解決のために画像診断の自動化が求められている。
図1は、医用画像処理装置の一実施形態を示す模式図である。医療従事者が撮影装置として使用するCT装置101を操作すると、CT装置101が取得した画像は画像サーバー102にアップロードされる。医療従事者が画像ビューワー103を操作すると、画像ビューワー103は、画像サーバー102の中のデータベースから、データベース制御部104を経由して画像を取得する。取得された画像は、DICOM規格に準拠した3次元画像であり、DICOM制御部104により画像ビューワー103で扱えるフォーマットに変換され、画像は画像ビューワー103上に表示される。
図2は、CT装置101によって取得された患部の画像の一例を示す模式図である。図2に示す画像は、CT装置101が撮像した肺の3次元画像のなかの1枚である。白い部分は組織であり、黒い部分は空気である。組織には血管201や横隔膜202などがある。患部の例として、孤立した患部203、横隔膜上の患部204、組織に付着した患部205が含まれる。
変換前の2バイトの画像の画素値をx、変換後の1バイトの画像の画素値をyとする。まず、画素値xの存在範囲の中の値x0,x1(x0<x1)を決める。
0≦x≦x0の場合、y=0
x0≦x≦x1の場合、y=ROUND((x1-x0)/255.0)
ただし、ROUNDは四捨五入関数
x1≦xの場合、y=255
本実施例では、前処理は、変換画像に実施したが、変換前の2バイトの画像に前処理を実施してもよい。この場合は、四捨五入誤差が小さくなる。
また、微小な患部部分を無視したい場合は、縮小処理(Erosion)が有効である。
膨張処理の場合は、患部特定部107は、画素値IF,IU,IL,IR,ID,IBのうちの最大値を決定し、その最大値を、処理対象の画素の位置と同じ位置にある処理後の膨張画像の画素の画素値JCとする。
縮小処理の場合は、患部特定部107は、画素値IF,IU,IL,IR,ID,IBのうちの最小値を決定し、その最小値を、処理対象の画素の位置と同じ位置にある処理後の縮小画像の画素の画素値JCとする。
患部画像にメディアンフィルタを実施すれば、ノイズを除去できる。また、モフォロジー処理であるオープニング(Opening)処理を実施すれば余分に特定した患部の画素を除去でき、クロージング(Closing)処理を実施すれば特定できなかった患部の画素を補うことができる。
縮小処理は以下の手順で実施される。患部画像は、0か255の値のみを含むから、処理対象の画像の画素の画素値IF,IU,IL,IR,ID,IBの全てが255の場合のみ、処理後の画像の画素の画素値JCは255となり、それ以外の場合は、画素値JCは0になる。
膨張処理は以下の手順で実施される。患部画像は、0か255の値のみを含むから、処理対象の画像の画素の画素値IF,IU,IL,IR,ID,IBの全てが0の場合のみ画像の画素の画素値JCは0となり、それ以外の場合は、画素値JCは255になる。図6の膨張と縮小を、縮小と膨張に替えれば、本処理が実施できる。縮小により消滅したCT画像の患部部分は復元できないが、CT画像の縮小した部分はある程度復元できる。
慣性モーメント・テンソルの成分は、以下のように表される。
抽出された領域を構成する画素から得られる数値として、以下が挙げられる。
前記抽出された領域を構成する画素の総数
前記抽出された領域の表面に存在する前記画素の数
前記画素の総数に対する、前記抽出された領域の表面に存在する前記画素の数の比
前記直方体の体積
前記直方体の3次元方向の長さ
前記直方体の3次元方向の長さの比
前記直方体の体積と前記画素の総数の比
前記直方体の体積と、前記抽出された領域の表面に存在する画素の数の比
前記楕円体の体積
前記楕円体の3径の長さ
前記楕円体の3径の長さの比
前記楕円体の体積と前記画素の総数の比
前記楕円体の体積と前記抽出された領域の表面に存在する画素の画素数の比
(1)小さな領域を患部領域としない方法
CT装置のノイズが集まった部分を患部として特定することがある。この領域を無視するために、以下の方法がある。
(i)前記画素の総数が予め決定した数値より小さい領域を無視する方法。
(ii)前記抽出された領域の表面に存在する前記画素の数が予め決定した数値より小さい領域を無視する方法。
(iii)前記直方体の体積が予め決定した数値より小さい領域を無視する方法。
(iv)前記直方体の3次元方向の長さのうち最も長い長さが予め決定した数値より小さい領域を無視する方法。
(v)前記楕円体の3径の長さのうち最も長い長さが予め決定した数値より小さい領域を無視する方法。
(vi)前記楕円体の体積が予め決定した数値より小さい領域を無視する方法。
組織の一部を患部として間違って特定することがある。また、大きな患部を特定する必要がない場合がある。これらの領域を無視するために、以下の方法がある。
(i)前記画素の総数が予め決定した数値より大きい領域を無視する方法。
(ii)前記抽出された領域の表面に存在する前記画素の数が予め決定した数値より大きい領域を無視する方法。
(iii)前記直方体の体積が予め決定した数値より大きい領域を無視する方法
(iv)前記直方体の3次元方向の長さのうち最も長い長さが予め決定した数値より大きい領域を無視する方法。
(v)前記楕円体の3径の長さのうち最も長い長さが予め決定した数値より大きい領域を無視する方法。
(vi)前記楕円体の体積が予め決定した数値より大きい領域を無視する方法。
間違って特定した血管などを無視して、球形の患部領域のみを特定したい場合がある。前記球形の患部領域以外の領域を無視するために、以下の方法がある。
(i)前記画素の総数に対する、前記抽出された領域の表面に存在する前記画素の数の比が、予め決定した数値より大きい領域を無視する方法。
前記予め決定した数値は、球体の体積とその表面積の比に基づいて定められた数値である。
(ii)前記直方体の3次元方向の長さのうち最も長い長さと最も短い長さの比が予め決定した数値より小さい領域を無視する方法。
前記予め決定した数値は、0.5以上1未満の値である。
(iii)前記直方体の体積と前記画素の総数の比が予め決定した数値より小さい領域を無視する方法。
前記予め決定した数値は、直方体の体積と、直方体に内接する楕円体の体積の比に基づいて定められた数値である。
(iv)前記楕円体の3径の長さのうち最も長い長さと最も短い長さの比が予め決定した数値より小さい領域を無視する方法。
前記予め決定した数値は、0.5以上1未満の値である。
(v)前記楕円体の体積と前記画素の総数の比が予め決定した数値より小さい領域を無視する方法
予め決定した数値は、楕円体の体積とその表面積の比に基づいて定められた数値である。
などが使用できる。
前記の方法は組み合わせて使用しても良い。
同じようにして、入力画像としてのCT画像と、対応する患部画像を複数準備する。
機械学習で得られたU-netのパラメータは、図5で示した患部特定部107で使用するU-netのパラメータに割り振られる。
102 画像サーバー
103 データベース制御部経由
104 DICOM制御部
106 患部特定制御部
107 患部特定部
201 血管
202 横隔膜
203 孤立した患部
204 横隔膜上の患部
205 組織に付着した患部
Claims (9)
- 3次元医用画像から患部を特定するニューラルネットワークと、
前記3次元医用画像を分割した複数の分割画像と、前記複数の分割画像のうちの隣接する2つの分割画像の境界を含む境界画像とを含む入力画像を生成し、前記入力画像を前記ニューラルネットワークに入力する患部特定部を備え、
前記患部特定部は、前記ニューラルネットワークから出力された複数の画像を集結させて出力画像を形成するように構成されている、医用画像処理装置。 - 前記患部特定部は、前記ニューラルネットワークから出力された前記複数の画像の画素値を、前記入力画像と同じサイズの前記出力画像の同じ位置に割り当てることで、前記複数の画像を集結させ、前記出力画像の1画素に割り当てられた複数の画素値がある場合は、前記複数の画素値の論理和、論理積、中央値のうちの1つを画素値として使用するように構成されている、請求項1に記載の医用画像処理装置。
- 3次元医用画像から患部を特定するニューラルネットワークと、
前記3次元医用画像に、モフォロジー処理として膨張処理を実行して、前記ニューラルネットワークの入力画像を生成し、前記ニューラルネットワークから出力された出力画像に、モフォロジー処理として2値化画像の縮小処理を実行して、前記出力画像を前記3次元医用画像の形状に戻す患部特定部を備えた医用画像処理装置。 - 前記膨張処理は、前記膨張処理の対象の画像の画素の画素値を、前記膨張処理の対象の画像の前、上、左、右、下、後の画像の画素の画素値のうちの最大値にし、前記出力画像における患部の画素は第1の画素値を有し、患部以外の画素は第2の画素値を有する、請求項3に記載の医用画像処理装置。
- 3次元医用画像から患部を特定するニューラルネットワークと、
前記3次元医用画像に、モフォロジー処理として縮小処理を実行して、前記ニューラルネットワークの入力画像を生成し、前記ニューラルネットワークから出力された出力画像に、モフォロジー処理として2値化画像の膨張処理を実行して、前記出力画像を前記3次元医用画像の形状に戻す患部特定部を備えた医用画像処理装置。 - 前記縮小処理は、前記縮小処理の対象の画像の画素の画素値を、前記縮小処理の対象の画像の前、上、左、右、下、後の画像の画素の画素値のうちの最小値にし、前記出力画像における患部の画素は第1の画素値を有し、患部以外の画素は第2の画素値を有する、請求項5に記載の医用画像処理装置。
- 3次元医用画像から患部を特定するニューラルネットワークと、
前記3次元医用画像を前記ニューラルネットワークに入力する患部特定部を備え、
前記患部特定部は、
前記ニューラルネットワークから出力された出力画像をラベリングして得られた領域を前記出力画像から抽出する抽出機能と、
前記抽出された領域の画素の主慣性モーメントに対応する楕円体の3径の長さを求め、得られた3径の長さのうち最も長い長さと最も短い長さの比が、0.5以上1未満である予め決定した数値より小さい場合に球形ではない領域として分類する分類機能を具備する、医用画像処理装置。 - 3次元医用画像を分割した複数の分割画像と、前記複数の分割画像のうちの隣接する2つの分割画像の境界を含む境界画像とを含む入力画像を生成し、
前記入力画像を、前記3次元医用画像から患部を特定するためのニューラルネットワークに入力し、
前記ニューラルネットワークから出力された複数の画像を集結させて出力画像を形成する、医用画像処理方法。 - 3次元医用画像を分割した複数の分割画像と、前記複数の分割画像のうちの隣接する2つの分割画像の境界を含む境界画像とを含む入力画像を生成するステップと、
前記入力画像を、前記3次元医用画像から患部を特定するためのニューラルネットワークに入力するステップと、
前記ニューラルネットワークから出力された複数の画像を集結させて出力画像を形成するステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021039923A JP7462188B2 (ja) | 2021-03-12 | 2021-03-12 | 医用画像処理装置、医用画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021039923A JP7462188B2 (ja) | 2021-03-12 | 2021-03-12 | 医用画像処理装置、医用画像処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022139503A JP2022139503A (ja) | 2022-09-26 |
JP7462188B2 true JP7462188B2 (ja) | 2024-04-05 |
Family
ID=83400330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021039923A Active JP7462188B2 (ja) | 2021-03-12 | 2021-03-12 | 医用画像処理装置、医用画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7462188B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007537811A (ja) | 2004-05-20 | 2007-12-27 | メディックサイト ピーエルシー | 結節の検出方法 |
WO2020170791A1 (ja) | 2019-02-19 | 2020-08-27 | 富士フイルム株式会社 | 医療画像処理装置及び方法 |
WO2020190821A1 (en) | 2019-03-15 | 2020-09-24 | Genentech, Inc. | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
-
2021
- 2021-03-12 JP JP2021039923A patent/JP7462188B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007537811A (ja) | 2004-05-20 | 2007-12-27 | メディックサイト ピーエルシー | 結節の検出方法 |
WO2020170791A1 (ja) | 2019-02-19 | 2020-08-27 | 富士フイルム株式会社 | 医療画像処理装置及び方法 |
WO2020190821A1 (en) | 2019-03-15 | 2020-09-24 | Genentech, Inc. | Deep convolutional neural networks for tumor segmentation with positron emission tomography |
Also Published As
Publication number | Publication date |
---|---|
JP2022139503A (ja) | 2022-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210042564A1 (en) | Medical image recognition method, model training method, and computer device | |
CN107997778B (zh) | 在计算机断层扫描血管造影术中基于深度学习的骨移除 | |
JP5931755B2 (ja) | モデルベースのセグメント化の確率向上 | |
KR101769287B1 (ko) | 해부학적 구조의 3d 프린트를 위한 의미론적 의료 이미지 | |
CN109685060B (zh) | 图像处理方法和装置 | |
EP2916738B1 (en) | Lung, lobe, and fissure imaging systems and methods | |
CN110998602A (zh) | 使用深度学习方法对3d牙颌面结构的分类和3d建模 | |
US20210383534A1 (en) | System and methods for image segmentation and classification using reduced depth convolutional neural networks | |
WO2018189541A1 (en) | Recist assessment of tumour progression | |
Alilou et al. | A comprehensive framework for automatic detection of pulmonary nodules in lung CT images | |
JP2017174039A (ja) | 画像分類装置、方法およびプログラム | |
EP3852054A1 (en) | Method and system for automatically detecting anatomical structures in a medical image | |
WO2014052687A1 (en) | Multi-bone segmentation for 3d computed tomography | |
JP2011526508A (ja) | 医療用画像の領域分割 | |
US11715279B2 (en) | Weighted image generation apparatus, method, and program, determiner learning apparatus, method, and program, region extraction apparatus, method, and program, and determiner | |
JP6643821B2 (ja) | 画像処理装置 | |
CN113256672A (zh) | 图像处理方法及装置,模型的训练方法及装置,电子设备 | |
JP4668289B2 (ja) | 画像処理装置および方法並びにプログラム | |
Cui et al. | DsUnet: a new network structure for detection and segmentation of ultrasound breast lesions | |
AU2019204365C1 (en) | Method and System for Image Segmentation and Identification | |
JP7462188B2 (ja) | 医用画像処理装置、医用画像処理方法、およびプログラム | |
Halder et al. | Superpixel and density based region segmentation algorithm for lung nodule detection | |
Nomura et al. | Can the spherical gold standards be used as an alternative to painted gold standards for the computerized detection of lesions using voxel-based classification? | |
Paraname et al. | Brain tumor detection using method of segmentation based on soft computing | |
EP4152255A1 (en) | System and method for differentiating a tissue of interest from another part of a medical scanner image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240313 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7462188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |