JP7361818B2 - Computer program, learning model generation method, image processing device, image processing system, and image processing method - Google Patents
Computer program, learning model generation method, image processing device, image processing system, and image processing method Download PDFInfo
- Publication number
- JP7361818B2 JP7361818B2 JP2022033763A JP2022033763A JP7361818B2 JP 7361818 B2 JP7361818 B2 JP 7361818B2 JP 2022033763 A JP2022033763 A JP 2022033763A JP 2022033763 A JP2022033763 A JP 2022033763A JP 7361818 B2 JP7361818 B2 JP 7361818B2
- Authority
- JP
- Japan
- Prior art keywords
- muscle
- image
- region
- output
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 65
- 238000000034 method Methods 0.000 title claims description 42
- 238000004590 computer program Methods 0.000 title claims description 36
- 238000003672 processing method Methods 0.000 title claims description 5
- 210000003205 muscle Anatomy 0.000 claims description 203
- 210000003314 quadriceps muscle Anatomy 0.000 claims description 110
- 210000000689 upper leg Anatomy 0.000 claims description 76
- 210000003195 fascia Anatomy 0.000 claims description 33
- 210000000988 bone and bone Anatomy 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 230000003387 muscular Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 230000009467 reduction Effects 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000002604 ultrasonography Methods 0.000 description 5
- 238000011946 reduction process Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000010428 Muscle Weakness Diseases 0.000 description 1
- 206010028372 Muscular weakness Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Dentistry (AREA)
- High Energy & Nuclear Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、コンピュータプログラム、学習モデル生成方法、画像処理装置、画像処理システム及び画像処理方法に関する。 The present invention relates to a computer program, a learning model generation method, an image processing device, an image processing system, and an image processing method.
前腕や下腿などの筋肉に比べて大腿部の筋肉は大きく、筋肉量を増やすことで基礎代謝を上げることができる。また、大腿部は、骨盤のバランスを維持し、膝関節を支えるためにも重要な部位であり、これら筋肉の状態を把握することが健康維持に不可欠である。 The muscles in your thighs are larger than those in your forearms and lower legs, and increasing muscle mass can increase your basal metabolism. Furthermore, the thigh is an important part for maintaining the balance of the pelvis and supporting the knee joint, and understanding the condition of these muscles is essential for maintaining health.
特許文献1には、測定対象筋肉に超音波を照射して得られる超音波エコー画像に対してテクスチャ解析を行って測定対象筋肉の筋力低下を導出する超音波診断装置が開示されている。 Patent Document 1 discloses an ultrasonic diagnostic apparatus that performs texture analysis on an ultrasound echo image obtained by irradiating a muscle to be measured with ultrasound to derive muscle weakness in the muscle to be measured.
筋肉は複数の部位で構成され、それぞれの部位が重要な役割を有しており、各部位を精度よく特定することが望まれる。 Muscles are composed of multiple parts, each of which plays an important role, and it is desirable to identify each part with high accuracy.
本発明は、斯かる事情に鑑みてなされたものであり、筋肉の部位を精度よく特定できるコンピュータプログラム、学習モデル生成方法、画像処理装置、画像処理システム及び画像処理方法を提供することを目的とする。 The present invention was made in view of the above circumstances, and an object of the present invention is to provide a computer program, a learning model generation method, an image processing device, an image processing system, and an image processing method that can accurately identify muscle parts. do.
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、コンピュータプログラムは、コンピュータに、筋肉部を含む医用画像を取得し、医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第2学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力し、出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第1学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する、処理を実行させる。 The present application includes a plurality of means for solving the above problems. To give one example, a computer program acquires a medical image including a muscle part, and when the medical image is input to a computer, the computer program acquires a medical image including a muscle part. The acquired medical image is input to the second learning model that has been trained to output region information, and region information of the entire muscle region is outputted. Based on the output region information of the entire muscle region, the second learning model is trained to output region information. When an image is generated and a medical image and a whole muscle image are input, the obtained medical image and the generated first learning model are trained to output region information for each muscle part of the muscle part. The image of the whole muscle part thus obtained is input, and a process is executed to output area information of each muscle part.
本発明によれば、筋肉の部位を精度よく特定できる。 According to the present invention, a muscle region can be identified with high accuracy.
以下、本発明の実施の形態について説明する。図1は本実施形態の画像処理装置100の構成の一例を示す図である。画像処理装置100は、装置全体を制御する制御部10、通信部11、メモリ12、表示部13、操作部14、及び記憶部19を備える。記憶部19は、コンピュータプログラム20、第1学習モデル21、第2学習モデル22、及び第3学習モデル23などを記憶する。なお、画像処理装置100は、各機能部を複数の装置に分散し、当該複数の装置で構成して、画像処理システムとしてもよく、あるいは1又は複数のクラウド(サーバ)で構成してもよい。例えば、本システムは、一つのコンピュータのプロセッサに各部が実装してもよく、あるいは、各部を分散させて、複数のコンピュータやクラウド(サーバ)で実装してもよい。すなわち、本実施形態を1又は複数のプロセッサで実現してもよい。
Embodiments of the present invention will be described below. FIG. 1 is a diagram showing an example of the configuration of an
図2は制御部10の構成の一例を示す図である。制御部10は、取得部31、出力部32、縮小・拡大処理部15、輪郭抽出部16、画像生成部24、再学習処理部17、信頼性指標算出部18、及び一致度算出部33を備える。縮小・拡大処理部15は、間隔判定部151を備える。なお、本明細書では、取得部31、出力部32、縮小・拡大処理部15、輪郭抽出部16、画像生成部24、再学習処理部17、信頼性指標算出部18、及び一致度算出部33をまとめて制御部10とも称する。
FIG. 2 is a diagram showing an example of the configuration of the
制御部10は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等が所要数組み込まれて構成されている。また、制御部10は、コンピュータプログラム20を実行することにより、取得部31、出力部32、縮小・拡大処理部15、輪郭抽出部16、画像生成部24、再学習処理部17、信頼性指標算出部18、及び一致度算出部33の少なくとも1つの機能をハードウエアに代えてソフトウエアで実現することができる。制御部10は、第1学習モデル21、第2学習モデル22、及び第3学習モデル23を用いた処理を行う。また、制御部10は、コンピュータプログラム20で定められた処理を実行することができる。すなわち、制御部10による処理は、コンピュータプログラム20による処理でもある。
The
通信部11は、例えば、通信モジュールを備え、通信ネットワークを介して外部の装置との間の通信機能を有する。通信部11は、例えば、超音波診断装置、コンピュータ断層撮影装置、磁気共鳴診断装置、X線撮影装置、血管造影X線診断装置、PET検査装置又は電子顕微鏡などの装置から医用画像を取得できる。通信部11は、取得した医用画像を記憶部19に記憶し、制御部10へ出力する。なお、本明細書では、医用画像として超音波画像を例として説明する。また、筋肉部として大腿四頭筋を例とし、筋肉部位として各四頭筋を例とし、筋肉部の近傍の所定の骨として大腿骨を例として説明する。
The
メモリ12は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の半導体メモリで構成することができる。コンピュータプログラム20をメモリ12に展開することにより、制御部10は、コンピュータプログラム20を実行することができる。
The
表示部13は、液晶パネル又は有機EL(Electro Luminescence)ディスプレイ等で構成することができる。
The
操作部14は、例えば、ハードウェアキーボード、マウスなどで構成され、表示部13に表示されたアイコンなどの操作、カーソルの移動や操作、文字等の入力などを行うことができる。なお、操作部14は、タッチパネルで構成してもよい。
The
制御部10の取得部31は、大腿部を含む大腿部画像を取得する。大腿部画像は、通信部11を介して外部の装置(例えば、超音波診断装置など)から取得してもよく、記憶部19から取得してもよい。大腿部画像は、大腿四頭筋(大腿直筋、内側広筋、中間広筋、外側広筋)を含む画像である。
The
図3は画像処理装置100による部位検出の一例を示す図である。図3の例では、部位として各大腿四頭筋(大腿直筋、内側広筋、中間広筋、外側広筋)を検出する。制御部10は、大腿部画像を第2学習モデル22に入力する。第2学習モデル22は、大腿部画像を入力した場合に、四頭筋全体の領域情報を出力するように学習されている。制御部10の出力部32は、第2学習モデル22から四頭筋全体の領域情報を取得して、画像生成部24へ出力することができる。
FIG. 3 is a diagram showing an example of part detection by the
より具体的には、第2学習モデル22は、大腿部画像が入力されると、セグメンテーションデータ(領域情報)を出力することができる。セグメンテーションデータは、大腿部画像の各ピクセルをクラスに分類したものである。第2学習モデル22は、入力された大腿部画像それぞれのピクセルを、例えば、クラス0、1の2つのクラスに分類することができる。クラス0は背景を示し、大腿四頭筋の外側の領域を示す。クラス1は大腿四頭筋を示す。
More specifically, the
画像生成部24は、第2学習モデル22が出力した四頭筋全体の領域情報に基づいて四頭筋全体画像を生成する。四頭筋全体画像は、例えば、クラス0に分類された領域を黒に設定し、クラス1に分類された領域を黒以外の特定の色に設定した画像である。
The
次に、制御部10は、大腿部画像及び生成した四頭筋全体画像を第1学習モデル21に入力する。第1学習モデル21は、大腿部画像及び四頭筋全体画像を入力した場合に、四頭筋それぞれ(大腿直筋、内側広筋、中間広筋、外側広筋)の領域情報を出力するように学習されている。制御部10の出力部32は、第1学習モデル21から四頭筋それぞれの領域情報を取得して、画像生成部24へ出力することができる。
Next, the
より具体的には、第1学習モデル21は、大腿部画像及び四頭筋全体画像が入力されると、セグメンテーションデータ(領域情報)を出力することができる。セグメンテーションデータは、大腿部画像の各ピクセルをクラスに分類したものである。第1学習モデル21は、入力された大腿部画像それぞれのピクセルを、四頭筋全体画像が示す四頭筋全体領域の範囲内で、例えば、クラス0、2、3、4、5の5つのクラスに分類することができる。クラス0は背景を示し、大腿四頭筋の外側の領域を示す。クラス2~5は、各部位を示す。たとえば、クラス2は大腿直筋を示し、クラス3は中間広筋を示し、クラス4は外側広筋を示し、クラス5は内側広筋を示す。
More specifically, the
第1学習モデル21には、大腿部画像だけでなく、四頭筋全体画像も入力されるため、四頭筋全体画像で示す四頭筋全体領域の外側にはみ出すことなく、各四頭筋の領域情報を出力できるように学習させることができる。これにより、筋肉の部位(各四頭筋の領域)を精度よく特定できる。
Since not only the thigh image but also the whole quadriceps image is input to the
画像生成部24は、第1学習モデル21が出力した各四頭筋の領域情報に基づいて各四頭筋画像を生成する。各四頭筋画像は、例えば、クラス0に分類された領域を黒に設定し、クラス2~5に分類された領域(部位)を黒以外であって、それぞれ異なる表示態様(例えば、色が異なる)に設定した画像である(図7、図8参照)。筋肉量は、各部位の大きさ等に基づいて算出すればよい。各四頭筋の領域を精度よく検出することにより、各四頭筋の大きさを正確に求めることができ、筋肉量を精度よく算出できる。
The
第1学習モデル21、第2学習モデル22それぞれは、例えば、U-Net、Attention-Unet、SegNet等のセマンティック・セグメンテーションを用いるものでもよく、あるいは、Mask R-CNN、DeepMask、FCIS等のインスタンス・セグメンテーションを用いるものでもよく、GAN(Generative Adversarial Network:敵対的生成ネットワーク)でもよい。
Each of the
図4は第1学習モデル21及び第2学習モデル22の生成方法の一例を示す図である。第2学習モデル22の生成方法は、例えば、以下のようにすればよい。制御部10は、大腿部画像及び四頭筋全体の領域情報を含む訓練データを取得する。訓練データは、例えば、外部のサーバ等で収集して記憶しておき、当該サーバから取得すればよい。制御部10は、訓練データに含まれる大腿部画像を第2学習モデル22に入力し、第2学習モデル22が出力する四頭筋全体の領域情報と、訓練データに含まれる教師データとしての四頭筋全体の領域情報とに基づく損失関数の値が最小になるように、第2学習モデル22のパラメータを調整すればよい。
FIG. 4 is a diagram showing an example of a method for generating the
また、第1学習モデル21の生成方法は、例えば、以下のようにすればよい。制御部10は、大腿部画像、四頭筋全体画像及び各四頭筋の領域情報を含む訓練データを取得する。訓練データは、例えば、外部のサーバ等で収集して記憶しておき、当該サーバから取得すればよい。制御部10は、訓練データに含まれる大腿部画像及び四頭筋全体画像を第1学習モデル21に入力し、第1学習モデル21が出力する各四頭筋の領域情報と、訓練データに含まれる教師データとしての各四頭筋の領域情報とに基づく損失関数の値が最小になるように、第1学習モデル21のパラメータを調整すればよい。
Furthermore, the
図5は画像処理装置100による大腿骨の輪郭検出の一例を示す図である。制御部10は、大腿部画像を第3学習モデル23に入力する。第3学習モデル23は、大腿部画像を入力した場合に、大腿骨の領域情報を出力するように学習されている。制御部10の出力部32は、第3学習モデル23から大腿骨の領域情報を取得して、画像生成部24へ出力することができる。
FIG. 5 is a diagram illustrating an example of femoral contour detection by the
より具体的には、第3学習モデル23は、大腿部画像が入力されると、セグメンテーションデータ(領域情報)を出力することができる。セグメンテーションデータは、大腿部画像の各ピクセルをクラスに分類したものである。第3学習モデル23は、入力された大腿部画像それぞれのピクセルを、例えば、クラス10、11の2つのクラスに分類することができる。クラス10は背景を示し、大腿骨の外側の領域を示す。クラス11は大腿骨を示す。
More specifically, the
画像生成部24は、第3学習モデル23が出力した大腿骨の領域情報に基づいて大腿骨画像を生成する。大腿骨画像は、例えば、クラス10に分類された領域を黒に設定し、クラス11に分類された領域を黒以外の特定の色に設定した画像である。
The
輪郭抽出部16は、画像生成部24が生成した大腿骨画像に基づいて大腿骨の輪郭線を抽出し、大腿骨の輪郭線が描かれた輪郭画像を生成する。輪郭抽出は、例えば、以下のように行うことができる。大腿部画像を二値化画像(0:背景、1:図形画素)に変換し、二値化画像をラスタ走査して、最初に検出した図形画素を開始点(第1画素)とする。開始点の画素の周囲8近傍の画素を、例えば、反時計周りに調べて図形画素があれば第2画素とする。第2画素の周囲8近傍の画素を調べて図形画素があれば第3画素とする。以降、同様の処理を繰り返すことで輪郭線を構成する画素を抽出できる。また、輪郭抽出は、OpenCVなどのライブラリを用いてもよい。
The
第3学習モデル23の生成方法は、例えば、以下のようにすればよい。制御部10は、大腿部画像及び大腿骨の領域情報を含む訓練データを取得する。大腿骨の領域情報は、例えば、大腿骨の領域全体をラベリングすればよい。大腿骨の輪郭線をラベリングしてもよいが、輪郭線をラベリングして学習させた場合、大腿骨の輪郭を検出するときに輪郭の一部が途切れる場合がある。大腿骨全体の領域をラベリングすることにより、第3学習モデル23は、特定の領域を検出するので、検出された領域から輪郭を抽出すれば輪郭の一部が途切れることを防止できる。制御部10は、訓練データに含まれる大腿部画像を第3学習モデル23に入力し、第3学習モデル23が出力する大腿骨の領域情報と、訓練データに含まれる教師データとしての大腿骨の領域情報とに基づく損失関数の値が最小になるように、第3学習モデル23のパラメータを調整すればよい。
The
第3学習モデル23は、例えば、U-Net、Attention-Unet、SegNet等のセマンティック・セグメンテーションを用いるものでもよく、あるいは、Mask R-CNN、DeepMask、FCIS等のインスタンス・セグメンテーションを用いるものでもよく、GAN(Generative Adversarial Network:敵対的生成ネットワーク)でもよい。
The
第1学習モデル21、第2学習モデル22、及び第3学習モデル23の生成は、画像処理装置100が行ってもよく、あるいは外部の学習処理装置が各学習モデルを生成し、画像処理装置100が、当該学習処理装置から各学習モデルを取得するようにしてもよい。
The
図6は四頭筋全体画像の生成方法の一例を示す図である。図3の場合には、画像生成部24は、四頭筋全体の領域情報に基づいて四頭筋全体画像を生成する構成であった。図6の場合は、画像生成部24は、更に大腿骨の輪郭画像を考慮して四頭筋全体画像を生成する。この場合、画像生成部24は、以下のようにして四頭筋全体画像を生成する。すなわち、第3学習モデル23が出力する大腿骨の領域情報に基づいて生成された大腿骨の輪郭画像に描かれている大腿骨の輪郭線をランドマークとして四頭筋全体画像を生成する。例えば、大腿骨の輪郭線の内側に四頭筋全体の領域の一部が含まれる場合、当該部分は四頭筋全体の領域から除去する。また、輪郭線と四頭筋全体の領域との間隔が所定の閾値(ピクセル数)より大きい場合には、輪郭線と四頭筋全体の領域との間隔が閾値以内になるように、四頭筋全体の領域のうち輪郭線に対向する部分を膨張(拡大)してもよい。四頭筋全体画像は、各四頭筋の領域情報を検出する際の基準(四頭筋全体の範囲をはみ出さないように各四頭筋それぞれを検出する)となるので、四頭筋全体の領域は適切な範囲において、広い(面積が大きい)方が好ましい。
FIG. 6 is a diagram illustrating an example of a method for generating an entire quadriceps image. In the case of FIG. 3, the
上述のように、制御部10は、大腿部画像を入力した場合に、大腿骨の領域情報を出力するように学習された第3学習モデル23に、取得した大腿部画像を入力して、大腿骨の領域情報を出力し、出力した大腿骨の領域情報に基づいて、大腿骨の輪郭を抽出し、出力した四頭筋全体の領域情報及び抽出した輪郭に基づいて四頭筋全体画像を生成することができる。
As described above, the
図7は筋膜画像の生成方法の第1例を示す図である。筋膜画像は、大腿部画像又は四頭筋全体画像から各四頭筋(筋肉)を除去した画像である。各四頭筋画像の部位をA、B、C、Dとする。大腿四頭筋の場合、部位A~Dは、それぞれ大腿直筋、内側広筋、中間広筋、及び外側広筋である。図7の例では、部位Aと部位Bの間隔Gが所定範囲(所定のピクセル数)よりも狭い場合を示し、例えば、部位Aの一部と部位Bの一部が接触している。この場合には、本来、部位Aと部位Bとの間に存在する筋膜が存在しないことになってしまう。そこで、縮小・拡大処理部15は、部位Aと部位Bの少なくとも一方を縮小する処理を行うことにより、部位Aと部位Bの間隔Gが所定範囲になるようにする。縮小処理は、例えば、部位の外側のピクセルを、1~2ピクセル程度減らすことにより行える。なお、縮小処理の際に減らすピクセル数を、部位の位置に応じて所要数に設定できるようにしてもよい。
FIG. 7 is a diagram showing a first example of a method for generating a fascia image. The fascia image is an image obtained by removing each quadriceps muscle (muscle) from the thigh image or the entire quadriceps image. Let the parts of each quadriceps image be A, B, C, and D. For the quadriceps muscle, regions A to D are the rectus femoris, vastus medialis, vastus intermedius, and vastus lateralis, respectively. The example in FIG. 7 shows a case where the distance G between the region A and the region B is narrower than a predetermined range (predetermined number of pixels), and for example, a part of the region A and a part of the region B are in contact with each other. In this case, the fascia that originally exists between site A and site B does not exist. Therefore, the reduction/
画像生成部24は、大腿部画像又は四頭筋全体画像から縮小処理が施された各四頭筋画像を除去して筋膜画像を生成することができる。これにより、医師などのユーザが画像を見ながら適切な筋膜画像を生成できる。
The
上述のように、縮小・拡大処理部15の間隔判定部151は、四頭筋それぞれの領域情報に基づいて、各四頭筋間の間隔が所定範囲であるか否を判定する。縮小・拡大処理部15は、四頭筋間の間隔が所定範囲より狭い場合、四頭筋の少なくとも一方を縮小して領域情報を補正する。出力部32は、四頭筋全体画像及び補正した領域情報を含む四頭筋それぞれの領域情報に基づいて筋膜の領域情報を出力することができる。
As described above, the
図8は筋膜画像の生成方法の第2例を示す図である。図8の例では、部位Aと部位Dの間隔Gが所定範囲(所定のピクセル数)よりも広い場合を示す。この場合には、部位Aと部位Dとの間に存在する筋膜の面積が大きくなってしまう。そこで、縮小・拡大処理部15は、部位Aと部位Dの少なくとも一方を拡大(膨張)する処理を行うことにより、部位Aと部位Dの間隔Gが所定範囲になるようにする。拡大処理は、例えば、部位の外側のピクセルを、1~2ピクセル程度増やすことにより行える。なお、拡大処理の際に増やすピクセル数を、部位の位置に応じて所要数に設定できるようにしてもよい。
FIG. 8 is a diagram showing a second example of a method for generating a fascia image. The example in FIG. 8 shows a case where the interval G between the region A and the region D is wider than a predetermined range (predetermined number of pixels). In this case, the area of the fascia existing between site A and site D becomes large. Therefore, the reduction/
画像生成部24は、大腿部画像又は四頭筋全体画像から拡大処理が施された各四頭筋画像を除去して筋膜画像を生成することができる。これにより、医師などのユーザが画像を見ながら適切な筋膜画像を生成できる。
The
上述のように、縮小・拡大処理部15の間隔判定部151は、四頭筋それぞれの領域情報に基づいて、各四頭筋間の間隔が所定範囲であるか否を判定する。縮小・拡大処理部15は、四頭筋間の間隔が所定範囲より広い場合、四頭筋の少なくとも一方を拡大(膨張)して領域情報を補正する。出力部32は、四頭筋全体画像及び補正した領域情報を含む四頭筋それぞれの領域情報に基づいて筋膜の領域情報を出力することができる。
As described above, the
図9は各四頭筋画像(領域情報)の領域修正画面210の一例を示す図である。表示部13に表示される領域修正画面210には、画像表示欄214、編集用ツール211、「編集」アイコン212、「保存」アイコン213が表示される。画像表示欄214には、第1学習モデル21が出力した各四頭筋の領域情報(図3参照)に基づいて、画像生成部24が生成した各四頭筋画像が表示される。各四頭筋の部位をA~Dで表している。部位A~Dは、それぞれ大腿直筋、内側広筋、中間広筋、及び外側広筋である。
FIG. 9 is a diagram showing an example of a
医師などのユーザが「編集」アイコン212を操作し、カーソル215を所望の部位の位置に移動させ、編集用ツール211内の編集用ツールを使って、部位の領域に対する修正を行う。編集用ツールは、例えば、画像の上でドラッグして自由なラインを描くためのブラシ、画像に線、カーブ、四角、円又は矢印などを描くための図形選択アイコン、ペン先の大きさ、模様又は色を変更するためのパレットアイコン、画像の所要箇所を消去する消しゴムなどの各種ツール用のアイコンを有する。
A user such as a doctor operates the "edit"
図9に示すように、例えば、部位Dと部位Cの境界216が境界217になるように修正することができる。修正が終了した場合、ユーザが「保存」アイコン213を操作することにより、修正後の各四頭筋画像を保存することができる。保存先は、記憶部19でもよく、外部のデータサーバ等でもよい。修正後の各四頭筋の領域情報は、第1学習モデル21の再学習用の訓練データとして用いることができる。再学習処理部17は、修正後の各四頭筋の領域情報を取得して、第1学習モデル21を再学習することができる。
As shown in FIG. 9, for example, the
上述のように、制御部10は、表示部13に表示した四頭筋それぞれの領域情報に対する修正を受け付け、修正を受け付けた領域情報と共に大腿部画像及び四頭筋全体画像に基づいて第1学習モデル21を再学習することができる。これにより、第1学習モデル21による各四頭筋の領域の検出精度をさらに高めることができる。
As described above, the
図10は筋膜画像(領域情報)の領域修正画面220の一例を示す図である。表示部13に表示される領域修正画面220には、画像表示欄221、編集用ツール211、「編集」アイコン212、「保存」アイコン213が表示される。画像表示欄221には、画像生成部24が生成した筋膜画像が表示される(図7、図8参照)。医師などのユーザが「編集」アイコン212を操作し、カーソル215を所望の位置に移動させ、編集用ツール211内の編集用ツールを使って、筋膜画像に対する修正を行う。
FIG. 10 is a diagram showing an example of a
図10に示すように、例えば、筋膜の一部222を符号223で示すように修正することができる。これにより、筋膜の領域を修正できる。修正が終了した場合、ユーザが「保存」アイコン213を操作することにより、修正後の筋膜画像(領域情報)を保存することができる。保存先は、記憶部19でもよく、外部のデータサーバ等でもよい。修正後の筋膜の領域情報は、第1学習モデル21の再学習用の訓練データとして用いることができる。再学習処理部17は、修正後の筋膜の領域情報を取得して、筋膜の領域情報も考慮して第1学習モデル21を再学習することができる。この場合、修正後の筋膜の領域情報に基づいて各四頭筋の領域情報を更新することができる。
As shown in FIG. 10, for example, a portion of
上述のように、制御部10は、表示部13に表示した筋膜の領域情報に対する修正を受け付け、修正を受け付けた領域情報(更新された各四頭筋の領域情報)と共に大腿部画像及び四頭筋全体画像に基づいて第1学習モデル21を再学習することができる。これにより、第1学習モデル21による各四頭筋の領域の検出精度をさらに高めることができる。
As described above, the
次に、画像処理装置100による筋肉の部位の検出結果の信頼性指標について説明する。
Next, the reliability index of the detection results of muscle parts by the
図11は異なるアルゴリズムを用いた第2学習モデル22が出力した四頭筋全体の領域情報の一例を示す図である。異なるアルゴリズムを符号P1、P2、P3で示す。アルゴリズムは、例えば、U-Net、Attention-Unet、SegNet、Mask R-CNN、DeepMask、FCIS、GAN(Generative Adversarial Network:敵対的生成ネットワーク)等を含む。図11Aに示すように、アルゴリズムP1及びP2を用いた第2学習モデル22が出力する四頭筋全体の領域情報の一致度合い(一致率)が高い。一方、図11Bに示すように、アルゴリズムP1及びP3を用いた第2学習モデル22が出力する四頭筋全体の領域情報の一致度合い(一致率)は低い。信頼性指標算出部18は、アルゴリズムP1、P2を用いた第2学習モデル22それぞれが出力する四頭筋全体の領域を占めるピクセル数に対する、共通する四頭筋全体の領域を占めるピクセル数の割合を一致度合いとして算出できる。両方の領域が完全に一致した場合、一致度合いは100%となる。
FIG. 11 is a diagram showing an example of area information of the entire quadriceps muscle outputted by the
制御部10の一致度算出部33は、アルゴリズムが異なる複数種類の第2学習モデル22それぞれに、取得した大腿部画像を入力して、第2学習モデル22それぞれが出力する四頭筋全体の領域情報の一致度合いを算出する。画像生成部24は、算出した一致度合いが所定の閾値以上である場合、出力した四頭筋全体の領域情報に基づいて四頭筋全体画像を生成してもよい。
The
また、複数種類の第2学習モデル22それぞれが出力する四頭筋全体の領域情報の一致度合いが所定の閾値(例えば、85%、90%、95%など)以上である場合、最も一致度合いの高い四頭筋全体の領域情報を用いるようにしてもよい。また、複数種類の第2学習モデル22それぞれが出力する四頭筋全体の領域情報の一致度合いのうち、最も一致度合いが低い領域情報は除外し、残りの領域情報全てを含む領域情報を用いるようにしてもよい。
In addition, if the degree of matching of the region information of the entire quadriceps muscle outputted by each of the plurality of types of
また、第2学習モデル22が出力する四頭筋全体の領域情報の確信度(各ピクセルの信頼性)を平均化し、平均化した確信度が所定の閾値より低い場合には、別のアルゴリズムを用いた第2学習モデル22に切り替えて、四頭筋全体の領域情報を出力するようにしてもよい。また、複数種類の第2学習モデル22毎に各ピクセルの信頼性に重み付けを行って平均化し、平均化した確信度の高いものを用いてもよい。
In addition, the confidence level (reliability of each pixel) of the area information of the entire quadriceps muscle output by the
図12は本実施形態の画像処理装置50の構成の他の例を示す図である。図12に示すように、画像処理装置50は、例えば、パーソナルコンピュータ等を用いることができる。画像処理装置50は、CPU51、ROM52、RAM53、入力部54、出力部55、及び記録媒体読取部56などで構成することができる。記録媒体1(例えば、CD-ROM等の光学可読ディスク記憶媒体)に記録されたコンピュータプログラム(コンピュータプログラム製品)を記録媒体読取部56(例えば、光学ディスクドライブ)で読み取ってハードディスク(図示しない)に格納することができる。ここで、コンピュータプログラムは、後述の図13、図14に記載された処理手順を含む。コンピュータプログラムをRAM53に展開し、CPU51により実行することができる。
FIG. 12 is a diagram showing another example of the configuration of the
図13は画像処理装置100による各四頭筋の検出処理の一例を示す図である。以下では便宜上、処理の主体を制御部10として説明する。制御部10は、大腿部画像を取得し(S11)、大腿部画像を第2学習モデル22に入力して、第2学習モデル22が出力する四頭筋全体の領域情報を取得する(図3参照)(S12)。
FIG. 13 is a diagram illustrating an example of detection processing for each quadriceps muscle by the
制御部10は、大腿部画像を第3学習モデル23に入力して、第3学習モデル23が出力する大腿骨の領域情報を取得し(S13)、取得した大腿骨の領域情報に基づいて大腿骨の輪郭画像を生成する(図5参照)(S14)。
The
制御部10は、四頭筋全体の領域情報及び大腿骨の輪郭画像に基づいて四頭筋全体画像を生成する(図6参照)(S15)。なお、ステップS13~S15の処理は必須ではない。この場合、ステップS15の処理は、四頭筋全体の領域情報に基づいて四頭筋全体画像を生成するように変更すればよい。
The
制御部10は、大腿部画像及び四頭筋全体画像を第1学習モデル21に入力して、第1学習モデル21が出力する各四頭筋の領域情報を取得する(図3参照)(S16)。
The
制御部10は、各四頭筋画像を生成し(S17)、各四頭筋間の間隔が所定範囲であるか否かを判定する(S18)。各四頭筋間の間隔が所定範囲である場合(S18でYES)、筋膜画像を生成し(S19)、後述のステップS21の処理を行う。
The
各四頭筋間の間隔が所定範囲でない場合(S18でNO)、制御部10は、隣接する四頭筋の少なくとも一方を縮小又は拡大し(図7、図8参照)(S20)、ステップS19の処理を行う。制御部10は、各四頭筋画像、筋膜画像を表示部13に表示し(S21)、処理を終了する。
If the distance between each quadriceps muscle is not within the predetermined range (NO in S18), the
図14は画像処理装置100による学習モデルの生成処理の一例を示す図である。図14では、第1学習モデル21及び第2学習モデル22の生成方法について説明する。制御部10は、大腿部画像、四頭筋全体の領域情報、及び各四頭筋の領域情報を含む訓練データを取得する(S31)。
FIG. 14 is a diagram illustrating an example of a learning model generation process by the
制御部10は、大腿部画像を入力した場合、第2学習モデル22が出力する四頭筋全体の領域情報が教師データに近づくように第2学習モデル22の内部パラメータを更新する(図4参照)(S32)。制御部10は、損失関数の値が許容範囲内であるか否かを判定し(S33)、損失関数の値が許容範囲内でない場合(S33でNO)、ステップS32以降の処理を行う。
When a thigh image is input, the
損失関数の値が許容範囲内である場合(S33でYES)、制御部10は、四頭筋全体の領域情報に基づいて四頭筋全体画像を生成し(S34)、大腿部画像及び四頭筋全体画像を入力した場合、第1学習モデル21が出力する各四頭筋の領域情報が教師データに近づくように第1学習モデル21の内部パラメータを更新する(図4参照)(S35)。
If the value of the loss function is within the allowable range (YES in S33), the
制御部10は、損失関数の値が許容範囲内であるか否かを判定し(S36)、損失関数の値が許容範囲内でない場合(S36でNO)、ステップS35以降の処理を行う。損失関数の値が許容範囲内である場合(S36でYES)、制御部10は、生成した第1学習モデル21、及び第2学習モデル22を記憶部19に記憶し(S37)、処理を終了する。
The
本実施形態のコンピュータプログラムは、コンピュータに、筋肉部を含む医用画像を取得し、医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第2学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力し、出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第1学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する、処理を実行させる。 The computer program of this embodiment acquires a medical image including a muscle part into a computer, and when the medical image is input, the second learning model is trained to output area information of the entire muscle part. When the medical image is input, region information of the entire muscle region is outputted, and a whole muscle region image is generated based on the output region information of the entire muscle region, and the medical image and the whole muscle region image are input. The acquired medical image and the generated whole muscle image are input to a first learning model trained to output area information for each muscle part of the muscle part, and area information for each muscle part is inputted. Output or execute processing.
本実施形態のコンピュータプログラムは、コンピュータに、筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するように学習された第3学習モデルに、取得した前記医用画像を入力して、所定の骨の領域情報を出力し、出力した所定の骨の領域情報に基づいて、前記骨の輪郭を抽出し、前記第2学習モデルにより出力した筋肉部全体の領域情報及び抽出した輪郭に基づいて筋肉部全体画像を生成する、処理を実行させる。 In the computer program of this embodiment, when a medical image including a muscle part is input to the computer, a third learning model trained to output area information of a predetermined bone near the muscle part is acquired. input the medical image, output predetermined bone region information, extract the outline of the bone based on the output predetermined bone region information, and extract the entire muscle part output by the second learning model. A process is executed to generate an entire muscle image based on the region information and the extracted contour.
本実施形態のコンピュータプログラムは、コンピュータに、アルゴリズムが異なる複数の前記第2学習モデルそれぞれに、取得した医用画像を入力して、前記第2学習モデルそれぞれが出力する筋肉部全体の領域情報の一致度合いを算出し、算出した一致度合いが所定の閾値以上である場合、出力した前記筋肉部全体の領域情報に基づいて前記筋肉部全体画像を生成する、処理を実行させる。 The computer program of this embodiment inputs acquired medical images into each of the plurality of second learning models with different algorithms into a computer, and matches the area information of the entire muscle part outputted by each of the second learning models. If the calculated degree of coincidence is equal to or greater than a predetermined threshold, a process of generating the entire muscle part image based on the output region information of the entire muscle part is executed.
本実施形態のコンピュータプログラムは、コンピュータに、出力した前記各筋肉部位それぞれの領域情報に対する修正を受け付け、修正を受け付けた領域情報と共に前記医用画像及び筋肉部全体画像に基づいて前記第1学習モデルを再学習する、処理を実行させる。 The computer program of the present embodiment causes the computer to receive corrections to the output region information of each muscle region, and to generate the first learning model based on the medical image and the entire muscle region image together with the region information for which the correction has been accepted. Re-learn and execute the process.
本実施形態のコンピュータプログラムは、コンピュータに、前記各筋肉部位それぞれの領域情報に基づいて、各筋肉部位の間隔が所定範囲であるか否を判定し、前記筋肉部位間の間隔が前記所定範囲以内である場合、前記筋肉部位の少なくとも一方を縮小して領域情報を補正し、前記筋肉部全体画像及び補正した領域情報を含む前記筋肉部位それぞれの領域情報に基づいて筋膜の領域情報を出力する、処理を実行させる。 The computer program of the present embodiment causes the computer to determine whether or not the interval between the muscle parts is within a predetermined range based on the area information of each muscle part, and determines whether the interval between the muscle parts is within the predetermined range. If so, at least one of the muscle parts is reduced to correct the region information, and fascia region information is output based on the region information of each of the muscle parts including the whole muscle part image and the corrected region information. , execute the process.
本実施形態のコンピュータプログラムは、コンピュータに、前記筋肉部位間の間隔が前記所定範囲より広い場合、前記筋肉部位の少なくとも一方を拡大して領域情報を補正し、前記筋肉部全体画像及び補正した領域情報を含む前記筋肉部位それぞれの領域情報に基づいて筋膜の領域情報を出力する、処理を実行させる。 The computer program of the present embodiment causes a computer to enlarge at least one of the muscle parts to correct area information, when the interval between the muscle parts is wider than the predetermined range, and to correct the area information of the whole muscle part image and the corrected area. A process is executed to output fascia region information based on the region information of each of the muscle parts including information.
本実施形態のコンピュータプログラムは、コンピュータに、出力した筋膜の領域情報に対する修正を受け付け、修正を受け付けた領域情報と共に前記医用画像及び筋肉部全体画像に基づいて前記第1学習モデルを再学習する、処理を実行させる。 The computer program of the present embodiment causes the computer to receive corrections to the output fascia region information, and re-learns the first learning model based on the medical image and the whole muscle image together with the region information for which the correction has been accepted. , execute the process.
本実施形態のコンピュータプログラムにおいて、前記筋肉部は、大腿部を含み、前記筋肉部全体は、四頭筋全体を含み、前記筋肉部位は、四頭筋を含む。 In the computer program of this embodiment, the muscle section includes the thigh, the entire muscle section includes the entire quadriceps muscle, and the muscle region includes the quadriceps muscle.
本実施形態の学習モデル生成方法は、筋肉部を含む医用画像、筋肉部全体を示す筋肉部全体画像及び前記筋肉部の各筋肉部位それぞれの領域情報を含む第1訓練データを取得し、前記第1訓練データに基づいて、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように第1学習モデルを生成する。 The learning model generation method of the present embodiment acquires first training data including a medical image including a muscle part, a whole muscle part image showing the whole muscle part, and region information of each muscle part of the muscle part, and Based on the first training data, a first learning model is generated so as to output region information of each muscle part of the muscle part when a medical image and a whole muscle part image are input.
本実施形態の学習モデル生成方法は、筋肉部を含む医用画像、筋肉部全体の領域情報及び前記筋肉部の各筋肉部位それぞれの領域情報を含む第1訓練データを取得し、前記第1訓練データに基づいて、医用画像を入力した場合に、筋肉部全体の領域情報を出力するように第2学習モデルを生成し、筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、前記第1訓練データに基づいて、前記医用画像及び生成した筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように第1学習モデルを生成する。 The learning model generation method of the present embodiment acquires first training data including a medical image including a muscle part, area information of the entire muscle part, and area information of each muscle part of the muscle part, and acquires the first training data. , a second learning model is generated so as to output region information of the entire muscle region when a medical image is input, an image of the entire muscle region is generated based on the region information of the entire muscle region, and the second learning model is generated based on the region information of the entire muscle region. Based on the first training data, a first learning model is generated so as to output region information of each muscle part of the muscle part when the medical image and the generated whole muscle part image are input.
本実施形態の画像処理装置は、筋肉部を含む医用画像を取得する取得部と、医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第2学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力する第1出力部と、出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成する画像生成部と、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第1学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する第2出力部とを備える。 The image processing device of this embodiment includes an acquisition unit that acquires a medical image including a muscle part, and a second learning model that is trained to output region information of the entire muscle part when a medical image is input. a first output unit that inputs the medical image and outputs area information of the entire muscle area; an image generation unit that generates an image of the entire muscle area based on the output area information of the entire muscle area; Inputting the obtained medical image and the generated whole muscle image into a first learning model that is trained to output region information for each muscle part of the muscle part when the whole muscle image is input. and a second output unit that outputs area information for each muscle site.
本実施形態の画像処理システムは、筋肉部を含む医用画像を取得する取得部と、医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第2学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力する第1出力部と、出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成する画像生成部と、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第1学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する第2出力部とを備える。 The image processing system of this embodiment includes an acquisition unit that acquires a medical image including a muscle part, and a second learning model that is trained to output region information of the entire muscle part when a medical image is input. a first output unit that inputs the medical image and outputs area information of the entire muscle area; an image generation unit that generates an image of the entire muscle area based on the output area information of the entire muscle area; Inputting the obtained medical image and the generated whole muscle image into a first learning model that is trained to output region information for each muscle part of the muscle part when the whole muscle image is input. and a second output unit that outputs area information for each muscle site.
本実施形態の画像処理方法は、筋肉部を含む医用画像を取得し、医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第2学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力し、出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第1学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する。 In the image processing method of the present embodiment, when a medical image including a muscular part is acquired and the medical image is input, the acquired medical An image is input, area information of the entire muscle area is output, and an image of the entire muscle area is generated based on the output area information of the entire muscle area, and when a medical image and an image of the entire muscle area are input, The acquired medical image and the generated whole image of the muscle part are input to a first learning model that has been trained to output region information of each muscle part of the body, and the region information of each muscle part is outputted. do.
本実施形態では、筋肉部として大腿部の大腿四頭筋、筋肉部位として各四頭筋について説明したが、筋肉部は大腿部の筋肉に限定されるものではない。例えば、筋肉部は、上腕部、腹部、前腕又は下腿であってもよく、筋肉部位は、それぞれの筋肉部を構成する各筋肉であってもよく、筋肉部の近傍の所定の骨は、それぞれの筋肉部の近傍の骨であってもよい。 In this embodiment, the quadriceps femoris of the thigh has been described as a muscle part, and each quadriceps muscle has been described as a muscle part, but the muscle part is not limited to the muscles of the thigh. For example, the muscle part may be the upper arm, abdomen, forearm, or lower leg, the muscle part may be each muscle constituting each muscle part, and the predetermined bones near the muscle part are each It may also be a bone near the muscular part of the body.
1 記録媒体
10 制御部
11 通信部
12 メモリ
13 表示部
14 操作部
15 縮小・拡大処理部
151 間隔判定部
16 輪郭抽出部
17 再学習処理部
18 信頼性指標算出部
19 記憶部
20 コンピュータプログラム
21 第1学習モデル
22 第2学習モデル
23 第3学習モデル
24 画像生成部
31 取得部
32 出力部
33 一致度算出部
51 CPU
52 ROM
53 RAM
54 入力部
55 出力部
56 記録媒体読取部
100、50 画像処理装置
1 Recording
52 ROM
53 RAM
54
Claims (11)
筋肉部を含む医用画像を取得し、
医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第2学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力し、
出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、
医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第1学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力し、
筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するように学習された第3学習モデルに、取得した前記医用画像を入力して、所定の骨の領域情報を出力し、
出力した所定の骨の領域情報に基づいて、前記骨の輪郭を抽出し、
前記第2学習モデルにより出力した筋肉部全体の領域情報及び抽出した輪郭に基づいて筋肉部全体画像を生成する、
処理を実行させるコンピュータプログラム。 to the computer,
Obtain medical images including muscles,
When a medical image is input, inputting the acquired medical image to a second learning model trained to output area information of the entire muscle part, and outputting area information of the entire muscle part,
Generates an image of the entire muscle area based on the output area information of the entire muscle area,
When a medical image and a whole muscle part image are input, the obtained medical image and the generated whole muscle part are input to a first learning model that is trained to output region information for each muscle part of the muscle part. Inputs an image and outputs area information for each muscle part,
When a medical image including a muscle part is input, the acquired medical image is input to the third learning model, which is trained to output region information of a predetermined bone near the muscle part, and Output bone area information,
Extracting the outline of the bone based on the output predetermined bone region information,
generating an image of the entire muscle region based on the region information of the entire muscle region outputted by the second learning model and the extracted contour;
A computer program that performs a process.
アルゴリズムが異なる複数の前記第2学習モデルそれぞれに、取得した医用画像を入力して、前記第2学習モデルそれぞれが出力する筋肉部全体の領域情報の一致度合いを算出し、
算出した一致度合いが所定の閾値以上である場合、出力した前記筋肉部全体の領域情報に基づいて前記筋肉部全体画像を生成する、
処理を実行させる請求項1に記載のコンピュータプログラム。 to the computer,
Inputting the acquired medical image into each of the plurality of second learning models with different algorithms, calculating the degree of matching of the area information of the entire muscle part output by each of the second learning models,
If the calculated degree of matching is greater than or equal to a predetermined threshold, generating the entire muscle part image based on the output region information of the entire muscle part;
The computer program according to claim 1 , which causes the computer program to execute a process.
出力した前記各筋肉部位それぞれの領域情報に対する修正を受け付け、
修正を受け付けた領域情報と共に前記医用画像及び筋肉部全体画像に基づいて前記第1学習モデルを再学習する、
処理を実行させる請求項1又は請求項2に記載のコンピュータプログラム。 to the computer,
Accept corrections to the output area information of each muscle part,
relearning the first learning model based on the medical image and the whole muscle image together with the area information for which the correction has been accepted;
The computer program according to claim 1 or 2 , which causes the computer program to execute a process.
前記各筋肉部位それぞれの領域情報に基づいて、各筋肉部位の間隔が所定範囲であるか否を判定し、
前記筋肉部位間の間隔が前記所定範囲以内である場合、前記筋肉部位の少なくとも一方を縮小して領域情報を補正し、
前記筋肉部全体画像及び補正した領域情報を含む前記筋肉部位それぞれの領域情報に基づいて筋膜の領域情報を出力する、
処理を実行させる請求項1から請求項3のいずれか一項に記載のコンピュータプログラム。 to the computer,
Determining whether the interval between each muscle part is within a predetermined range based on the area information of each muscle part,
when the distance between the muscle parts is within the predetermined range, reducing at least one of the muscle parts to correct the area information;
outputting fascia region information based on the region information of each of the muscle parts including the whole muscle part image and corrected region information;
The computer program according to any one of claims 1 to 3 , which causes the computer program to execute a process.
前記筋肉部位間の間隔が前記所定範囲より広い場合、前記筋肉部位の少なくとも一方を拡大して領域情報を補正し、
前記筋肉部全体画像及び補正した領域情報を含む前記筋肉部位それぞれの領域情報に基づいて筋膜の領域情報を出力する、
処理を実行させる請求項4に記載のコンピュータプログラム。 to the computer,
If the distance between the muscle parts is wider than the predetermined range, at least one of the muscle parts is enlarged to correct the area information;
outputting fascia region information based on the region information of each of the muscle parts including the whole muscle part image and corrected region information;
The computer program according to claim 4 , which causes the computer program to execute a process.
出力した筋膜の領域情報に対する修正を受け付け、
修正を受け付けた領域情報と共に前記医用画像及び筋肉部全体画像に基づいて前記第1学習モデルを再学習する、
処理を実行させる請求項1から請求項5のいずれか一項に記載のコンピュータプログラム。 to the computer,
Accepts corrections to the output fascia area information,
relearning the first learning model based on the medical image and the whole muscle image together with the area information for which the correction has been accepted;
The computer program according to any one of claims 1 to 5 , which causes the computer program to execute a process.
前記筋肉部全体は、四頭筋全体を含み、
前記筋肉部位は、四頭筋を含む、
請求項1から請求項6のいずれか一項に記載のコンピュータプログラム。 The muscular part includes the thigh,
The entire muscle part includes the entire quadriceps muscle,
The muscle region includes a quadriceps muscle,
A computer program according to any one of claims 1 to 6 .
前記第1訓練データに基づいて、医用画像を入力した場合に、筋肉部全体の領域情報を出力するように第2学習モデルを生成し、
前記第1訓練データに基づいて、筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するよう第3学習モデルを生成し、
前記所定の骨の領域情報に基づいて、前記骨の輪郭を抽出し、
筋肉部全体の領域情報及び前記骨の輪郭に基づいて筋肉部全体画像を生成し、
前記第1訓練データに基づいて、前記医用画像及び生成した筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように第1学習モデルを生成する、
学習モデル生成方法。 obtaining first training data including a medical image including a muscle part, area information of the entire muscle part , area information of a predetermined bone near the muscle part, and area information of each muscle part of the muscle part;
Generating a second learning model based on the first training data so as to output region information of the entire muscle part when a medical image is input;
Based on the first training data, when a medical image including a muscle part is input, a third learning model is generated so as to output region information of a predetermined bone near the muscle part,
extracting the outline of the bone based on the predetermined bone region information;
Generating an image of the entire muscle part based on area information of the entire muscle part and the outline of the bone ,
Generating a first learning model based on the first training data so as to output region information for each muscle part of the muscle part when the medical image and the generated whole muscle part image are input;
Learning model generation method.
医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第2学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力する第1出力部と、
出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成する画像生成部と、
医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第1学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する第2出力部と、
筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するように学習された第3学習モデルに、取得した前記医用画像を入力して、所定の骨の領域情報を出力する第3出力部と、
出力した所定の骨の領域情報に基づいて、前記骨の輪郭を抽出する抽出部と、
前記第2学習モデルにより出力した筋肉部全体の領域情報及び抽出した輪郭に基づいて筋肉部全体画像を生成する生成部と
を備える、
画像処理装置。 an acquisition unit that acquires a medical image including a muscle part;
A first output unit that inputs the obtained medical image to a second learning model trained to output region information of the entire muscle region when a medical image is input, and outputs region information of the entire muscle region. and,
an image generation unit that generates an image of the entire muscle region based on the output region information of the entire muscle region;
When a medical image and a whole muscle part image are input, the obtained medical image and the generated whole muscle part are input to a first learning model that is trained to output region information for each muscle part of the muscle part. a second output unit that inputs the image and outputs region information of each muscle region ;
When a medical image including a muscle part is input, the acquired medical image is input to the third learning model, which is trained to output region information of a predetermined bone near the muscle part, and a third output unit that outputs bone region information;
an extraction unit that extracts the outline of the bone based on the output predetermined bone region information;
a generation unit that generates an image of the entire muscle region based on the area information of the entire muscle region outputted by the second learning model and the extracted contour;
Equipped with
Image processing device.
医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第2学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力する第1出力部と、
出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成する画像生成部と、
医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第1学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力する第2出力部と、
筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するように学習された第3学習モデルに、取得した前記医用画像を入力して、所定の骨の領域情報を出力する第3出力部と、
出力した所定の骨の領域情報に基づいて、前記骨の輪郭を抽出する抽出部と、
前記第2学習モデルにより出力した筋肉部全体の領域情報及び抽出した輪郭に基づいて筋肉部全体画像を生成する生成部と
を備える、
画像処理システム。 an acquisition unit that acquires a medical image including a muscle part;
A first output unit that inputs the obtained medical image to a second learning model trained to output region information of the entire muscle region when a medical image is input, and outputs region information of the entire muscle region. and,
an image generation unit that generates an image of the entire muscle region based on the output region information of the entire muscle region;
When a medical image and a whole muscle part image are input, the obtained medical image and the generated whole muscle part are input to a first learning model that is trained to output region information for each muscle part of the muscle part. a second output unit that inputs the image and outputs region information of each muscle region ;
When a medical image including a muscle part is input, the acquired medical image is input to the third learning model, which is trained to output region information of a predetermined bone near the muscle part, and a third output unit that outputs bone region information;
an extraction unit that extracts the outline of the bone based on the output predetermined bone region information;
a generation unit that generates an image of the entire muscle region based on the area information of the entire muscle region outputted by the second learning model and the extracted contour;
Equipped with
Image processing system.
医用画像を入力した場合、筋肉部全体の領域情報を出力するように学習された第2学習モデルに、取得した前記医用画像を入力して、筋肉部全体の領域情報を出力し、
出力した筋肉部全体の領域情報に基づいて筋肉部全体画像を生成し、
医用画像及び筋肉部全体画像を入力した場合に、前記筋肉部の各筋肉部位それぞれの領域情報を出力するように学習された第1学習モデルに、取得した前記医用画像及び生成した前記筋肉部全体画像を入力して、各筋肉部位それぞれの領域情報を出力し、
筋肉部を含む医用画像を入力した場合に、前記筋肉部の近傍の所定の骨の領域情報を出力するように学習された第3学習モデルに、取得した前記医用画像を入力して、所定の骨の領域情報を出力し、
出力した所定の骨の領域情報に基づいて、前記骨の輪郭を抽出し、
前記第2学習モデルにより出力した筋肉部全体の領域情報及び抽出した輪郭に基づいて筋肉部全体画像を生成する、
画像処理方法。 Obtain medical images including muscles,
When a medical image is input, inputting the acquired medical image to a second learning model trained to output area information of the entire muscle part, and outputting area information of the entire muscle part,
Generates an image of the entire muscle area based on the output area information of the entire muscle area,
When a medical image and a whole muscle part image are input, the obtained medical image and the generated whole muscle part are input to a first learning model that is trained to output region information for each muscle part of the muscle part. Inputs an image and outputs area information for each muscle part,
When a medical image including a muscle part is input, the acquired medical image is input to the third learning model, which is trained to output region information of a predetermined bone near the muscle part, and Output bone area information,
Extracting the outline of the bone based on the output predetermined bone region information,
generating an image of the entire muscle region based on the region information of the entire muscle region outputted by the second learning model and the extracted contour;
Image processing method.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022033763A JP7361818B2 (en) | 2022-03-04 | 2022-03-04 | Computer program, learning model generation method, image processing device, image processing system, and image processing method |
PCT/JP2023/007469 WO2023167216A1 (en) | 2022-03-04 | 2023-03-01 | Computer program, learning model generation method, image processing device, image processing system, and image processing method |
JP2023172122A JP2023182729A (en) | 2022-03-04 | 2023-10-03 | Computer program, image processing device, image processing system, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022033763A JP7361818B2 (en) | 2022-03-04 | 2022-03-04 | Computer program, learning model generation method, image processing device, image processing system, and image processing method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023172122A Division JP2023182729A (en) | 2022-03-04 | 2023-10-03 | Computer program, image processing device, image processing system, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023129024A JP2023129024A (en) | 2023-09-14 |
JP7361818B2 true JP7361818B2 (en) | 2023-10-16 |
Family
ID=87883866
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022033763A Active JP7361818B2 (en) | 2022-03-04 | 2022-03-04 | Computer program, learning model generation method, image processing device, image processing system, and image processing method |
JP2023172122A Pending JP2023182729A (en) | 2022-03-04 | 2023-10-03 | Computer program, image processing device, image processing system, and image processing method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023172122A Pending JP2023182729A (en) | 2022-03-04 | 2023-10-03 | Computer program, image processing device, image processing system, and image processing method |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7361818B2 (en) |
WO (1) | WO2023167216A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020526842A (en) | 2017-07-10 | 2020-08-31 | ユニベルシテ デクス マルセイユ | Methods and Devices for Image Segmentation by Automatic Propagation of Image Segmentation Initialized to Dimension N to Dimension (N + 1) Dimension |
US20210125333A1 (en) | 2019-10-28 | 2021-04-29 | Centro Clinico Académico - Braga | Artificial-Intelligence-Based Global Cardiac Motion Classification |
-
2022
- 2022-03-04 JP JP2022033763A patent/JP7361818B2/en active Active
-
2023
- 2023-03-01 WO PCT/JP2023/007469 patent/WO2023167216A1/en unknown
- 2023-10-03 JP JP2023172122A patent/JP2023182729A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020526842A (en) | 2017-07-10 | 2020-08-31 | ユニベルシテ デクス マルセイユ | Methods and Devices for Image Segmentation by Automatic Propagation of Image Segmentation Initialized to Dimension N to Dimension (N + 1) Dimension |
US20210125333A1 (en) | 2019-10-28 | 2021-04-29 | Centro Clinico Académico - Braga | Artificial-Intelligence-Based Global Cardiac Motion Classification |
Also Published As
Publication number | Publication date |
---|---|
WO2023167216A1 (en) | 2023-09-07 |
JP2023182729A (en) | 2023-12-26 |
JP2023129024A (en) | 2023-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7324268B2 (en) | Systems and methods for real-time rendering of complex data | |
US20200401854A1 (en) | Method and system for image segmentation and identification | |
US10275884B2 (en) | Methods and systems for identifying anatomical landmarks in image data | |
JP6824845B2 (en) | Image processing systems, equipment, methods and programs | |
KR102228087B1 (en) | Method and apparatus for segmentation of specific cartilage in medical image | |
US11276490B2 (en) | Method and apparatus for classification of lesion based on learning data applying one or more augmentation methods in lesion information augmented patch of medical image | |
EP3273409A1 (en) | Image processing apparatus and image processing method | |
JPWO2012073769A1 (en) | Image processing apparatus and image processing method | |
CN114092475B (en) | Focal length determining method, image labeling method, device and computer equipment | |
JP6988926B2 (en) | Image processing equipment, image processing method and image processing program | |
JP6643821B2 (en) | Image processing device | |
JPWO2007013300A1 (en) | Abnormal shadow candidate detection method and abnormal shadow candidate detection apparatus | |
US20220108540A1 (en) | Devices, systems and methods for generating and providing image information | |
JP7361818B2 (en) | Computer program, learning model generation method, image processing device, image processing system, and image processing method | |
JP2022111704A (en) | Image processing apparatus, medical image pick-up device, image processing method, and program | |
JP2022111705A (en) | Leaning device, image processing apparatus, medical image pick-up device, leaning method, and program | |
US20230237657A1 (en) | Information processing device, information processing method, program, model generating method, and training data generating method | |
JP2023152885A (en) | Medical image processor, medical image processing method, and medical image processing program | |
AU2019204365B1 (en) | Method and System for Image Segmentation and Identification | |
TW202303469A (en) | Image segmentation method and electronic device, recording medium and computer program product using the same | |
US20220249014A1 (en) | Intuitive display for rotator cuff tear diagnostics | |
JP5343973B2 (en) | Medical image processing apparatus and program | |
US20230394673A1 (en) | Image processing apparatus, operation method of image processing apparatus, operation program of image processing apparatus, and learning method | |
US20230113725A1 (en) | Region correction device, method, and program | |
CN115578456A (en) | Simulated pneumoperitoneum image generation method and device and computer equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20221216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20221216 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231003 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7361818 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |