JP6710373B2 - Ultrasound image diagnosis support method and system - Google Patents
Ultrasound image diagnosis support method and system Download PDFInfo
- Publication number
- JP6710373B2 JP6710373B2 JP2019509166A JP2019509166A JP6710373B2 JP 6710373 B2 JP6710373 B2 JP 6710373B2 JP 2019509166 A JP2019509166 A JP 2019509166A JP 2019509166 A JP2019509166 A JP 2019509166A JP 6710373 B2 JP6710373 B2 JP 6710373B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- ultrasonic
- lesion
- diagnostic
- tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
Description
本発明は、超音波画像診断支援方法、システム、および装置に関する。 The present invention relates to an ultrasonic image diagnosis support method, system, and apparatus.
乳房超音波画像を対象とした病変検出としては、カナダの企業Medipattern（登録商標）社が開発したB-CADがある。
B-CADでは、暗い塊状として映る病変(腫瘤)を対象とし、検査者(ユーザー)が病変の大まかな位置を指定する。その位置情報をもとに病変の輪郭を自動抽出し、形状や大きさの値をもとに悪性度を算出する。As a lesion detection targeting a breast ultrasound image, there is B-CAD developed by the Canadian company Medipattern (registered trademark).
In B-CAD, the lesion (tumor) that appears as a dark block is targeted, and the examiner (user) specifies the rough position of the lesion. The contour of the lesion is automatically extracted based on the position information, and the malignancy is calculated based on the shape and size values.
また、病変が暗く映ることに着目し、輝度値の勾配を利用して病変を自動検出する手法が提案されている。 In addition, focusing on the fact that the lesion appears dark, a method has been proposed for automatically detecting the lesion using the gradient of the brightness value.
超音波検査装置では、測定結果は動画像として表示される。
例えば、乳腺超音波検査において、腫瘤は暗い塊状の陰として描出されるため、動画像の各フレームを独立した静止画像として扱っても検出され得る。In the ultrasonic inspection device, the measurement result is displayed as a moving image.
For example, in mammography, the tumor is visualized as a dark blocky shadow, and thus can be detected by treating each frame of the moving image as an independent still image.
そのため特許文献１に示される静止画像（病理画像）からの異常検出技術でも、腫瘤は発見可能である。しかし非腫瘤性病変の形状は明瞭ではなく、乳腺組織が示すテクスチャの変化を観測しなければならないため、特許文献１に記載の手法のアプローチで対応できず、前後のフレームの相関を計測する等の動画像パターン認識が必須となる。
Therefore, the tumor can be found even by the abnormality detection technique from the still image (pathological image) disclosed in
特許文献２には、超音波プローブに位置センサを取り付けて、画像情報と位置情報とを組み合わせて内部構造の３次元データを構築し、腫瘤の表面積と体積の比率に基づいて、その像が腫瘍であるか否かを判定する技術が開示されている。
In
特許文献３には、超音波プローブに位置センサを取り付けるのではなく、取得された画像を解析して位置を推定する技術が示されている。
しかし、Medipattern（登録商標）社のB-CADや輝度値の勾配を利用する手法では、入力された画像に病変が映っていることを想定しているため、病変が映っていない画像に適用すると必ず正常な領域を過検出してしまう。そのため、病変が映っていない画像が対象となる場合は適用できず、乳房超音波検査では実用的ではない。 However, Medipattern (registered trademark) B-CAD and the method that uses the gradient of the brightness value assume that a lesion is reflected in the input image. Be sure to overdetect a normal area. Therefore, it cannot be applied when an image without a lesion is targeted, and is not practical for breast ultrasonography.
特許文献２に示された技術では、形状が明瞭な腫瘤のみを対象としており、形状が不明瞭な非腫瘤性病変は対象としていない。
The technique disclosed in
また、特許文献３に記載の技術では、推定位置情報をボディマークとして画面表示し、医師が検査部位を把握しやすくするために用いるのみで、病変の自動検出には利用されていない。
Further, in the technique described in
本発明の目的は、超音波プローブを動かして超音波検査装置から出力される時間的に連続した複数のフレームの列からなる動画像に基づいて病変を自動検出する超音波検査システムの検出精度を高めることにある。 An object of the present invention is to improve the detection accuracy of an ultrasonic examination system that automatically detects a lesion based on a moving image composed of a sequence of a plurality of temporally consecutive frames output from an ultrasonic examination apparatus by moving an ultrasonic probe. To raise.
（提案システムの全体像）
図１に示す、超音波画像診断支援システム、または方法は、学習フェーズ（S10）と検査フェーズ（S20〜S24）から構成される。(Overview of the proposed system)
The ultrasonic image diagnosis support system or method shown in FIG. 1 includes a learning phase (S10) and an inspection phase (S20 to S24).
一度、学習フェーズを実施して学習モデルDBを生成しておけば、その後は検査フェーズだけを何度も繰り返して実施できる。
診断部は診断組織（観察部位）およびその周辺であり、出力と言う時は表示を含むものとする。
以下は例として、診断組織（観察部位）を乳腺組織、病変は腫瘤として説明するが、その組み合わせに限定されるものではない。Once the learning phase has been performed to generate the learning model DB, only the inspection phase can be repeatedly performed thereafter.
The diagnostic unit is a diagnostic tissue (observation site) and its surroundings, and the term "output" includes a display.
Hereinafter, as an example, the diagnosis tissue (observation site) will be described as a mammary gland tissue and the lesion will be described as a tumor, but the combination is not limited thereto.
学習フェーズ（S10）では、事前に切り出した腫瘤が映る画像とそれ以外の画像を入力とし、それらの画像(パッチ画像)を基にDeep Learning法を用いて腫瘤とそれ以外を分類するモデルを作成する。
検査フェーズでは、学習フェーズで得られたモデルと動画像の各フレームの画像（S20）を比較することで腫瘤の候補となる領域を検出する（S21）。
その後、乳腺組織の自動抽出を行い、乳腺以外の領域における腫瘤候補領域を除去する（S22）。
さらに、フレームの連続性を利用して単発的に発生する腫瘤候補領域を除去し（S23）、最終的に残った腫瘤候補領域を検出結果として出力する（S24）。 In the learning phase (S10), an image showing the tumor that was cut out in advance and other images are input, and a model for classifying the tumor and other regions is created using the deep learning method based on these images (patch images). To do.
In the examination phase, a region that is a candidate for a tumor is detected by comparing the model obtained in the learning phase with the image of each frame of the moving image (S20) (S21).
Then, the mammary gland tissue is automatically extracted to remove the tumor candidate region in the region other than the mammary gland (S22).
Furthermore, the continuity of the frames is used to remove the tumor candidate region that occurs sporadically (S23), and the finally remaining tumor candidate region is output as the detection result (S24).
（１）
学習フェーズ（S10）と検査フェーズ（S20〜S24）から構成される超音波画像診断支援方法であって、
学習フェーズ（S10）において、
事前に切り出した病変が映る画像とそれ以外の画像をパッチ画像として入力とし、
前記パッチ画像を基にDeep Learning法を用いて前記病変とそれ以外を分類するモデルを作成し、
検査フェーズにおいて、
超音波検査装置の超音波プローブを動作させて診断組織を含む診断部の複数のフレームの列からなる動画像を取得し（S20）、
前記学習フェーズで得られたモデルと前記動画像のフレームの画像を比較して前記診断部において前記フレームの画像の病変候補領域を検出し（S21）、
前記動画像のフレームの画像から前記診断部における前記診断組織の領域の自動抽出を行い、前記診断組織の領域以外の領域とそこに含まれる前記病変候補領域を除去し（S22）、
前記フレームの列の連続性を利用して前記診断組織に単発的に発生する前記病変候補領域を除去し（S23）、
前記動画像のフレームの画像の最終的に残った前記病変候補領域がマークされた前記診断組織の領域のみを検出結果として出力する（S24）、
ことを特徴とする超音波画像診断支援方法。
（２）
前記診断組織は乳腺組織であり、前記病変はその腫瘤であることを特徴とする（１）に記載の超音波画像診断支援方法。(1)
An ultrasonic image diagnosis support method comprising a learning phase (S10) and an inspection phase (S20 to S24),
In the learning phase (S10),
The image showing the lesion cut out in advance and the other images are input as patch images,
Create a model to classify the lesion and other using the Deep Learning method based on the patch image,
In the inspection phase,
The ultrasonic probe of the ultrasonic inspection apparatus is operated to acquire a moving image composed of a plurality of frames of the diagnostic unit including the diagnostic tissue (S20),
The model obtained in the learning phase and the image of the frame of the moving image are compared to detect a lesion candidate region of the image of the frame in the diagnosis unit (S21),
Performing automatic extraction of the region of the diagnostic tissue in the diagnostic unit from the image of the frame of the moving image, removes the region other than the region of the diagnostic tissue and the lesion candidate region contained therein (S22),
Using the continuity of the columns of the frame to remove the lesion candidate region that occurs sporadically in the diagnostic tissue (S23),
Only the region of the diagnostic tissue marked with the lesion candidate region that finally remained in the image of the frame of the moving image is output as a detection result (S24),
An ultrasonic image diagnosis support method characterized by the above.
(2)
The ultrasonic diagnostic imaging assistance method according to (1), wherein the diagnostic tissue is a mammary gland tissue and the lesion is a tumor thereof.
（３）
前記病変候補領域の検出（S21）は、
前記動画像のフレームから、複数の解像度の画像で構成される多重解像度画像を作成し（S210）、
前記多重解像度画像の各階層の画像に対して前記病変候補領域の検出処理を行い（S211）、
前記各階層の画像における異常領域の座標をもとの解像度の座標に変換し、各前記複数の解像度における画像を統合する（S212）、
ことにより行うことを特徴とする（２）に記載の超音波画像診断支援方法。
（４）
前記病変候補領域の検出処理（S211）をスライディングウィンドウにより行う（S211a）ことを特徴とする（３）に記載の超音波画像診断支援方法。
（５）
前記病変候補領域の検出処理（S211）をスーパーピクセルにより行う(S211b）こと特徴とする（３）に記載の超音波画像診断支援方法。(3)
The detection of the lesion candidate area (S21) is
From the frame of the moving image, a multi-resolution image composed of multiple resolution images is created (S210),
The detection process of the lesion candidate region is performed on the image of each layer of the multi-resolution image (S211),
The coordinates of the abnormal area in the image of each layer are converted into the coordinates of the original resolution, and the images at each of the plurality of resolutions are integrated (S212),
The ultrasonic image diagnosis support method according to (2), characterized in that
(4)
The ultrasonic image diagnosis support method according to (3), wherein the lesion candidate region detection process (S211) is performed using a sliding window (S211a).
(5)
The ultrasonic image diagnosis support method according to (3), wherein the lesion candidate region detection processing (S211) is performed by superpixels (S211b).
（６）
前記病変候補領域の除去を（S22）、大津の二値化とグラフカットによる前記乳腺組織の自動抽出により行うこと特徴とする（４）または（５）のいずれかに記載の超音波画像診断支援方法。
（７）
前記病変候補領域の除去を（S22）、CRF (Conditional Random Field)法による前記乳腺組織の自動抽出により行うこと特徴とする（４）または（５）のいずれかに記載の超音波画像診断支援方法。(6)
The ultrasonic image diagnosis support according to any one of (4) and (5), wherein the lesion candidate region is removed (S22) by binarization of Otsu and automatic extraction of the mammary gland tissue by graph cut. Method.
(7)
The ultrasonic image diagnosis support method according to any one of (4) and (5), wherein the lesion candidate region is removed (S22) by automatic extraction of the mammary gland tissue by a CRF (Conditional Random Field) method. ..
（８）
超音波検査装置の超音波プローブの動作により得られる超音波動画像（以下単に動画像とする）を利用する超音波画像診断支援システムであって、
学習フェーズ（S10）と検査フェーズ（S20〜S24）から構成され、
学習フェーズ（S10）において、
事前に切り出した病変が映る画像とそれ以外の画像をパッチ画像として入力とし、
前記パッチ画像を基にDeep Learning法を用いて前記病変とそれ以外を分類するモデルを作成し、
検査フェーズ（S20〜S24）において、
超音波検査装置の超音波プローブを動作させて診断組織を含む診断部の複数のフレームの列からなる動画像を取得し（S20）、
前記学習フェーズで得られたモデルと前記動画像のフレームの画像を比較して前記フレームの画像の診断部において前記病変の病変候補領域を検出し（S21）、
前記動画像のフレームの画像から前記診断部における前記診断組織の領域の自動抽出を行い、前記診断組織の領域以外の領域とそこに含まれる前記病変候補領域を除去し（S22）、
前記フレームの列の連続性を利用して前記診断組織に単発的に発生する前記病変候補領域を除去し（S23）、
前記動画像のフレームの画像の最終的に残った前記病変候補領域がマークされた前記診断組織の領域のみを検出結果として出力する（S24）、
ことを特徴とする超音波画像診断支援システム。
（９）
前記診断組織は乳腺組織であり、前記病変はその腫瘤であることを特徴とする（８に記載の超音波画像診断支援システム。(8)
An ultrasonic image diagnostic support system using an ultrasonic moving image (hereinafter simply referred to as a moving image) obtained by the operation of an ultrasonic probe of an ultrasonic inspection apparatus,
It consists of a learning phase (S10) and an inspection phase (S20-S24).
In the learning phase (S10),
The image showing the lesion cut out in advance and the other images are input as patch images,
Create a model to classify the lesion and other using the Deep Learning method based on the patch image,
In the inspection phase (S20-S24),
The ultrasonic probe of the ultrasonic inspection apparatus is operated to acquire a moving image composed of a plurality of frames of the diagnostic unit including the diagnostic tissue (S20),
Detecting a lesion candidate region of the lesion in the diagnosis unit of the image of the frame by comparing the image of the frame of the moving image with the model obtained in the learning phase (S21),
Performing automatic extraction of the region of the diagnostic tissue in the diagnostic unit from the image of the frame of the moving image, removes the region other than the region of the diagnostic tissue and the lesion candidate region contained therein (S22),
Using the continuity of the columns of the frame to remove the lesion candidate region that occurs sporadically in the diagnostic tissue (S23),
Only the region of the diagnostic tissue marked with the lesion candidate region that finally remained in the image of the frame of the moving image is output as a detection result (S24),
An ultrasonic image diagnosis support system characterized by the above.
(9)
The diagnostic tissue is a mammary gland tissue, and the lesion is a tumor thereof (the ultrasonic diagnostic imaging support system according to 8).
（１０）
前記病変候補領域の検出（S21）は、
前記動画像のフレームから、複数の解像度の画像で構成される多重解像度画像を作成し（S210）、
前記多重解像度画像の各階層の画像に対して前記病変候補領域の検出処理を行い（S211）、
前記各階層の画像における異常領域の座標をもとの解像度の座標に変換し、各前記複数の解像度における画像を統合する（S212）、
ことにより行うこと特徴とする（９）に記載の超音波画像診断支援システム。
（１１）
前記病変候補領域の検出処理（S211）をスライディングウィンドウにより行う（S211a）ことを特徴とする（１０）に記載の超音波画像診断支援システム。
（１２）
前記病変候補領域の検出処理（S211）をスーパーピクセルにより行う(S211b）ことを特徴とする（１０）に記載の超音波画像診断支援システム。(10)
The detection of the lesion candidate area (S21) is
From the frame of the moving image, a multi-resolution image composed of multiple resolution images is created (S210),
The detection process of the lesion candidate region is performed on the image of each layer of the multi-resolution image (S211),
The coordinates of the abnormal area in the image of each layer are converted into the coordinates of the original resolution, and the images at each of the plurality of resolutions are integrated (S212),
The ultrasonic image diagnosis support system according to (9), characterized in that
(11)
The ultrasonic image diagnosis support system according to (10), wherein the lesion candidate region detection process (S211) is performed using a sliding window (S211a).
(12)
The ultrasonic image diagnosis support system according to (10), wherein the lesion candidate region detection processing (S211) is performed by superpixels (S211b).
（１３）
前記病変候補領域の除去を（S22）、大津の二値化とグラフカットによる前記乳腺組織の自動抽出により行うこと特徴とする（１１）または（１２）のいずれかに記載の超音波画像診断支援システム。
（１４）
前記病変候補領域の除去を（S22）、CRFによる前記乳腺組織の自動抽出により行うこと特徴とする（１１）または（１２）のいずれかに記載の超音波画像診断支援システム。(13)
The ultrasonic image diagnosis support according to any one of (11) and (12), characterized in that the lesion candidate region is removed (S22) by binarization of Otsu and automatic extraction of the mammary gland tissue by graph cut. system.
(14)
The ultrasonic image diagnostic support system according to (11) or (12), characterized in that the lesion candidate region is removed (S22) by automatic extraction of the mammary gland tissue by CRF.
本発明の診断組織の自動抽出処理と改良した病変の過検出抑制処理の組み合わせにより超音波画像診断支援方法・システムの精度が向上した。
これにより短い期間でより多くの超音波画像診断支援が精度よく行えるようになった。The accuracy of the ultrasonic image diagnosis support method/system is improved by the combination of the automatic extraction process of the diagnostic tissue of the present invention and the improved over detection suppression process of the lesion.
As a result, more ultrasonic image diagnosis support can be performed with high accuracy in a short period.
以下に学習フェーズおよび検査フェーズにおける処理を詳説する。 The processing in the learning phase and the inspection phase will be described in detail below.
以下に学習フェーズ（S10）における処理を詳述する。
（学習用パッチ画像の生成）
Deep Learning法を含む多くの機械学習手法では、検出対象（本発明の場合は腫瘤）の画像とそれ以外の画像の両方を用いて学習させる必要がある。
図２に示すように、提案システムでは、矩形に切り出した画像(パッチ画像)を学習用の画像として使用する。The processing in the learning phase (S10) will be described in detail below.
(Generation of learning patch image)
In many machine learning methods including the deep learning method, it is necessary to perform learning by using both the image of the detection target (tumor in the case of the present invention) and other images.
As shown in FIG. 2, in the proposed system, an image cut out in a rectangle (patch image) is used as an image for learning.
腫瘤を適切に学習させるためには、腫瘤の大半が描出される画像を入力する必要がある。
そこで、腫瘤のパッチ画像は、腫瘤がパッチ画像から大きくはみ出さない範囲内で、腫瘤の重心位置を摂動させた画像を学習用の異常画像として作成する。In order to properly learn a tumor, it is necessary to input an image in which most of the tumor is depicted.
Therefore, the patch image of the tumor is created as an abnormal image for learning by perturbing the position of the center of gravity of the tumor within a range in which the tumor does not largely protrude from the patch image.
また、正常のパッチ画像は、動画像として撮影された乳房超音波画像の腫瘤が描出されないフレームにおいて、乱数で位置を指定して、その位置が中心になるように任意のサイズの正常画像を作成する。 In addition, for the normal patch image, a normal image of arbitrary size is created by specifying the position with a random number in the frame where the tumor of the breast ultrasound image captured as a moving image is not drawn To do.
（モデルの学習）
正常と異常(腫瘤)を分類するモデルを算出するために、提案システムでは機械学習手法を用いる。
機械学習手法の具体的な手法としては、Deep Learning手法であるDeep Belief Network (DBN)やStacked Denoising Auto Encoder (SDAE)によるNeural Networkを用いる。(Model learning)
The proposed system uses a machine learning method to calculate a model that classifies normal and abnormal (tumor).
As a concrete method of the machine learning method, a deep learning method such as Deep Belief Network (DBN) or Neural Network by Stacked Denoising Auto Encoder (SDAE) is used.
その他の機械学習手法として、確率的勾配降下法による逐次学習を適用でき、Convolutional Neural Network (CNN)やSupport Vector Machine (SVM)、ロジスティック回帰分析、線形判別分析、ランダムフォレスト法、Boosting法(AdaBoost、LogitBoostなど)を用いてもよい。 As other machine learning methods, it is possible to apply sequential learning by stochastic gradient descent method, Convolutional Neural Network (CNN), Support Vector Machine (SVM), logistic regression analysis, linear discriminant analysis, random forest method, Boosting method (AdaBoost, LogitBoost etc.) may be used.
図３に示すNeural Networkでは、ユニットとユニット間を結合するリンクから構成され、リンクの重み(パラメータ)を学習用のパッチ画像に基づいて適切に自動調整（更新）することで、正常と異常を分類するモデルを算出する。 The neural network shown in FIG. 3 is composed of units and links that connect the units, and automatically adjusts (updates) the link weights (parameters) appropriately based on the patch images for learning, to determine whether normal or abnormal. Calculate the model to classify.
（不均衡なサンプル数に対する学習手法）
Deep Learning手法の学習では、確率的勾配降下法やモーメンタム法、Adam、AdaGrad、AdaDeltaといった最適化手法を用いて重みを逐次的に更新する。(Learning method for imbalanced sample numbers)
In the learning of the deep learning method, the weights are sequentially updated by using optimization methods such as stochastic gradient descent method, momentum method, Adam, AdaGrad, and AdaDelta.
一般に、正常のパッチ画像および異常のパッチ画像の数が極端に不均衡な場合では学習効果が低減する。
たとえば、異常サンプルが正常サンプルと比較して非常に少数の場合、正常サンプルのみを学習して異常を検出できなくなる可能性がある。Generally, the learning effect is reduced when the numbers of normal patch images and abnormal patch images are extremely imbalanced.
For example, if the number of abnormal samples is very small compared to the normal samples, it may not be possible to detect abnormalities by learning only the normal samples.
このサンプル数の不均衡の影響を避けるため、提案システムにおける学習フェーズでは、次の処理をパラメータ更新ごとに行う。 In order to avoid the influence of this sample number imbalance, in the learning phase of the proposed system, the following processing is performed every parameter update.
（１）学習データから正常サンプルと異常サンプルを同数だけランダムに選択してネットワークの重みを自動調整し、（２）次のパラメータ更新時では正常のサンプルや異常のサンプルをランダムに入れ替える。 (1) The same number of normal samples and abnormal samples are randomly selected from the learning data to automatically adjust the weight of the network, and (2) at the time of the next parameter update, normal samples and abnormal samples are randomly replaced.
（重点学習）
乳房超音波画像の正常な領域（腫瘤以外の領域）には腫瘤と類似する場合があり、この正常領域を誤って腫瘤と判定（過検出）する可能性がある。(Important learning)
The normal region (region other than the tumor) of the breast ultrasound image may be similar to the tumor, and this normal region may be erroneously determined (overdetected) as the tumor.
そこで、上記で述べた正常のサンプル数の選択方法をランダムに選ぶのではなく、過検出されやすい正常サンプルを優先的に選択して、その画像を用いてモデルを更新する。 Therefore, instead of randomly selecting the normal sample number selection method described above, a normal sample that is likely to be overdetected is preferentially selected, and the model is updated using the image.
（プレトレーニング）
Deep Learning手法では、プレトレーニングとファインチューニングの２段階の学習が行われる。(Pre-training)
The deep learning method involves learning in two stages: pre-training and fine tuning.
プレトレーニングでは、教師なし学習により重みを設定する。その後、プレトレーニングで得られた重みを初期値として、誤差逆伝搬法など通常の学習方法により重みを更新する（ファインチューニング）。 In pre-training, weights are set by unsupervised learning. Then, the weight obtained by the pre-training is used as an initial value, and the weight is updated by a normal learning method such as an error back propagation method (fine tuning).
プレトレーニングでは、Deep Belief Network (DBN)とStacked Denoising Auto Encode (SDAE)の２種類あり、重点学習を採用した場合は、SDAEが有効であり、重点学習を採用しない場合はDBNが有効である。 There are two types of pre-training: Deep Belief Network (DBN) and Stacked Denoising Auto Encode (SDAE). If priority learning is adopted, SDAE is effective, and if not, DBN is effective.
以下に検査フェーズ（S20からS25）における処理を詳述する。 The processing in the inspection phase (S20 to S25) will be described in detail below.
（フレーム画像取得処理）
まず、被験者の観察部位およびその周辺の所定時間の超音波動画像を取得する（S20）。
一般的に乳房と呼ばれる診察部の表面に沿って超音波プローブを一方向に走査した場合に得られる深度方向の切断面の乳房超音波動画像は時間の生起順に並んだ複数のフレーム画像から構成される。その画像を乳房超音波画像と呼ぶ。(Frame image acquisition process)
First, an ultrasonic moving image of a subject's observation site and its periphery for a predetermined time is acquired (S20).
Breast ultrasound image of the cross section in the depth direction obtained when the ultrasound probe is scanned in one direction along the surface of the examination area commonly called the breast is composed of multiple frame images arranged in the order of occurrence of time. To be done. The image is called a breast ultrasound image.
（腫瘤検出処理）
図１３に腫瘤検出処理（S21）のフローチャートを示す。
腫瘤検出処理（S21）では、入力された動画像の各フレームの局所領域に対し、Deep Learning手法を適用し、異常（腫瘤）と判定された領域を腫瘤候補領域とする。(Tumor detection processing)
FIG. 13 shows a flowchart of the tumor detection process (S21).
In the tumor detection process (S21), the deep learning method is applied to the local area of each frame of the input moving image, and the area determined to be abnormal (tumor) is set as the tumor candidate area.
腫瘤検出処理の詳細な手順を以下に示す。 The detailed procedure of the tumor detection process is shown below.
入力画像（動画像のフレーム）から、複数の解像度の画像で構成される多重解像度画像を作成する（S210）。 From the input image (moving image frame), a multi-resolution image composed of multiple resolution images is created (S210).
多重解像度画像の各階層の画像に対して腫瘤候補領域の検出処理を行う（S211）。 Detection processing of a tumor candidate region is performed on the images of the respective layers of the multi-resolution image (S211).
上で算出した各階層の画像における異常領域の座標をもとの解像度の座標に変換し、各解像度における検出結果を統合する（S212）。
それぞれの処理について、以下に詳しく述べる。The coordinates of the abnormal region in the image of each layer calculated above are converted into the coordinates of the original resolution, and the detection results at each resolution are integrated (S212).
Each processing will be described in detail below.
（多重解像度画像の作成）（S210）
入力画像を縮小（または拡大）することで、複数の解像度からなる多重解像度画像を作成する。(Creation of multi-resolution image) (S210)
A multi-resolution image having a plurality of resolutions is created by reducing (or enlarging) the input image.
具体的には、入力画像を任意の倍率a1、・・・、akに変換することで、k階層からなる多重解像度画像を作成する。Specifically, by converting the input image into arbitrary magnifications a 1 ,..., A k , a multi-resolution image having k layers is created.
図４に、倍率を1倍、0.75倍、0.5倍に設定したときの多重解像度画像の例を示す。
なお、画像の拡大・縮小アルゴリズムはBicubic法を使用した。画像の拡大・縮小アルゴリズムとして、Nearest Neighbour法やBilinear法を選択できる。FIG. 4 shows an example of a multi-resolution image when the magnification is set to 1, 0.75 and 0.5.
The image enlargement/reduction algorithm used was the Bicubic method. The Nearest Neighbor method or Bilinear method can be selected as the image scaling algorithm.
（各階層からの腫瘤候補領域の検出処理）（S211）
腫瘤候補領域の検出方法としては２種類ある。
１つ目は事前に設定した矩形の領域(探索窓)を用意し、その探索窓を多重解像度画像の各階層の画像に対してラスタスキャンを実行し、各領域に対して正常か異常かを判定する方法である（S211a）。
２つ目は各階層の画像をスーパーピクセル法によって複数の領域に分割し、それぞれの領域に対して正常か異常かを判定する方法である（S211b）。(Detection process of tumor candidate region from each layer) (S211)
There are two types of methods for detecting a tumor candidate region.
The first is to prepare a rectangular area (search window) set in advance, and perform a raster scan on the image of each layer of the multi-resolution image through that search window to determine whether each area is normal or abnormal. This is a determination method (S211a).
The second is a method in which the image of each layer is divided into a plurality of regions by the superpixel method, and whether each region is normal or abnormal is determined (S211b).
（スライディングウィンドウによる腫瘤候補領域の検出）（S211a）
スライドウィンドウによる腫瘤候補領域の検出では、上記で作成した多重解像度画像の各階層の画像に対し、次の手順により正常と異常の推定を行う。
（特徴ベクトルの取得）縦h(pixel)、横w(pixel)の探索窓の内部の領域をパッチ画像として切り出す。
パッチ画像のピクセル値を１行に並び替えて特徴ベクトル（ｈｘｗ次元）として使用する。ピクセル値以外に、HOG (Histograms of Oriented Gradients)特徴量やLBP (Local Binary Pattern)特徴量、GLAC (Gradient Local AutoCorrelation)特徴量、NLAC (Normal Local AutoCorrelations)特徴量、HLAC (Higher-order Local AutoCorrelation)特徴量、GLCM (Gray Level Correlation Matrix)に基づく特徴量、ガボール特徴量を使用することができる。(Detection of tumor candidate area by sliding window) (S211a)
In the detection of a tumor candidate region using a slide window, normality and abnormality are estimated for the images of each layer of the multiresolution image created above by the following procedure.
(Acquisition of feature vector) A region inside the search window having vertical h (pixel) and horizontal w (pixel) is cut out as a patch image.
The pixel values of the patch image are rearranged into one row and used as a feature vector (hxw dimension). In addition to pixel values, HOG (Histograms of Oriented Gradients) features, LBP (Local Binary Pattern) features, GLAC (Gradient Local AutoCorrelation) features, NLAC (Normal Local AutoCorrelations) features, HLAC (Higher-order Local AutoCorrelation) A feature amount, a feature amount based on GLCM (Gray Level Correlation Matrix), and a Gabor feature amount can be used.
（正常／異常の判定）
上記「モデルの学習」で算出したモデル（重み）と上で得られた特徴ベクトルを使用し、上で得られた特徴ベクトルのラベル（正常か異常）を推定する。(Normal/abnormal judgment)
Using the model (weight) calculated in the above "model learning" and the feature vector obtained above, the label (normal or abnormal) of the feature vector obtained above is estimated.
検索窓をずらしながら上記「特徴ベクトルの取得」と上記「正常/異常の判定」の処理を繰り返し、入力画像内の領域全体を走査する。
検索窓を横方向にdx (pixel)、縦方向にdy (pixel)移動させ、上記「特徴ベクトルの取得」と上記「正常/異常の判定」の処理を繰り返す。While shifting the search window, the above-mentioned "acquisition of feature vector" and "determination of normality/abnormality" are repeated to scan the entire area in the input image.
The search window is moved by dx (pixel) in the horizontal direction and dy (pixel) in the vertical direction, and the processes of "acquisition of feature vector" and "determination of normality/abnormality" are repeated.
各検索窓の座標と各検索窓位置でのラベルを蓄積していく。
ここで、探索窓の移動幅dx、dyを探索窓のサイズhxwより小さくし（たとえば、dxをwの半分、dyをhの半分）、一度判定した領域に対してある程度の重なりを含むように探索窓を移動させる。
これにより、１つの腫瘤に対して、位置をずらした複数の探索窓を用いて判定できるようになるため、腫瘤の検出精度が向上すると期待できる。 The coordinates of each search window and the label at each search window position are accumulated.
Here, the movement widths dx and dy of the search window are made smaller than the size hxw of the search window (for example, dx is half w and dy is half h) so that a certain degree of overlap may be included in the once determined area. Move the search window.
As a result, it becomes possible to make a determination for one tumor using a plurality of search windows whose positions have been shifted, and therefore it can be expected that the detection accuracy of the tumor will be improved.
（腫瘤候補領域の確定）
上で異常と判定された領域を腫瘤候補領域とし、その領域の左上座標(x0,y0)と右下座標(x1,y1)を取得する。(Determination of tumor candidate area)
The area determined to be abnormal is set as the tumor candidate area, and the upper left coordinates (x0,y0) and the lower right coordinates (x1,y1) of the area are acquired.
（スーパーピクセルによる腫瘤候補領域の検出）（S211b）
スーパーピクセルによる腫瘤候補領域の検出では、上記で作成した多重解像度画像の各階層の画像に対し、次の手順により正常と異常の推定を行う。 (Detection of tumor candidate region by superpixel) (S211b)
In the detection of a tumor candidate region using superpixels, normality and abnormality are estimated for the images of each layer of the multiresolution image created above by the following procedure.
（特徴ベクトルの取得）
画像に対してスーパーピクセル法を適用し、重なりのない複数の領域（スーパーピクセル）に分割する。
スーパーピクセルの重心を中心とした縦h、横wの矩形領域の画素値を１行に並び替えて特徴ベクトル（hxw次元）を取得する。ピクセル値以外に、HOG (Histograms of Oriented Gradients)特徴量やLBP(Local Binary Pattern)特徴量、GLAC(Gradient Local AutoCorrelation)特徴量、NLAC (Normal Local Auto-Correlations)特徴量、HLAC(Higher-order Local AutoCorrelation)特徴量、GLCM(Gray Level Correlation Matrix)に基づく特徴量、ガボール特徴量を使用することができる。(Acquisition of feature vector)
The superpixel method is applied to an image and divided into multiple regions (superpixels) that do not overlap.
The pixel values of the rectangular area of vertical h and horizontal w centering on the center of gravity of the super pixel are rearranged into one row to acquire the feature vector (hxw dimension). In addition to pixel values, HOG (Histograms of Oriented Gradients) features, LBP (Local Binary Pattern) features, GLAC (Gradient Local Auto Correlation) features, NLAC (Normal Local Auto-Correlations) features, HLAC (Higher-order Local) An AutoCorrelation) feature amount, a feature amount based on GLCM (Gray Level Correlation Matrix), and a Gabor feature amount can be used.
（正常／異常の判定）
「モデルの学習」で算出したモデル（重み）と上で得られた特徴ベクトルを使用し、上で得られた特徴ベクトルのラベル（正常か異常）を推定する。(Normal/abnormal judgment)
Using the model (weight) calculated in “Model learning” and the feature vector obtained above, the label (normal or abnormal) of the feature vector obtained above is estimated.
上記全てのスーパーピクセルに対し、「特徴ベクトルの取得」と「正常／異常の判定」の処理を適用する。
各検索窓の座標と各検索窓位置でのラベルを蓄積していく。 The processes of “acquisition of feature vector” and “judgment of normality/abnormality” are applied to all the superpixels.
The coordinates of each search window and the label at each search window position are accumulated.
（腫瘤候補領域の確定）
上において異常と判定された領域を腫瘤候補領域とし、その領域の左上座標(x0,y0)と右下座標(x1,y1)を取得する。(Determination of tumor candidate area)
The area determined to be abnormal in the above is set as a tumor candidate area, and the upper left coordinates (x0, y0) and the lower right coordinates (x1, y1) of the area are acquired.
（腫瘤候補領域の統合）
図６に示すように、a倍に縮小・拡大された画像における腫瘤候補領域の座標(x0, y0)と(x1,y1)を、下記の式を用いて原画像における座標(X0,Y0)と(X1,Y1)に変換する。(Integration of tumor candidate regions)
As shown in FIG. 6, the coordinates (x0, y0) and (x1, y1) of the tumor candidate region in the image reduced/enlarged a times are converted into coordinates (X0, Y0) in the original image using the following formula. And convert to (X1,Y1).
（乳腺組織以外の過検出抑制処理）（S22）
図１４に、乳腺組織以外の過検出抑制処理（S22）のフローチャートを示す。
腫瘤は乳腺組織で発生するため、腫瘤検出処理（S21）で検出された領域において、乳腺以外の組織で検出された領域は過検出である。(Overdetection suppression processing other than mammary gland tissue) (S22)
FIG. 14 shows a flowchart of the over-detection suppression process (S22) other than the mammary gland tissue.
Since the tumor occurs in the mammary gland tissue, the region detected in the tissue other than the mammary gland is overdetected in the region detected in the tumor detection process (S21).
本発明では、乳腺以外における明らかな過検出を除去するため、乳房超音波画像から乳腺組織を自動抽出し、乳腺以外における腫瘤候補領域を除去する（S22）。
その方法として、「大津の二値化とグラフカットによる乳腺組織の自動抽出手法（S221）」と「ZCA白色化とCRFによる乳腺組織の自動抽出手法（S222）」の２つの乳腺組織の自動抽出手法のいずれかを選択することができる。In the present invention, in order to remove apparent overdetection in areas other than the mammary gland, the mammary gland tissue is automatically extracted from the breast ultrasound image, and the tumor candidate area other than the mammary gland is removed (S22).
As the method, there are two automatic extraction methods of mammary gland tissue: "Automatic extraction method of mammary gland tissue by binarization of Otsu and graph cut (S221)" and "Automatic extraction method of mammary gland tissue by ZCA whitening and CRF (S222)". Any of the techniques can be selected.
なお、「大津の二値化とグラフカットによる乳腺組織の自動抽出手法（S221）」では、乳腺組織を事前に学習する必要がない。 It should be noted that in the "Automatic extraction method of mammary gland tissue by Otsu binarization and graph cut (S221)", it is not necessary to learn mammary gland tissue in advance.
一方で、「ZCA白色化とCRFによる乳腺組織の自動抽出手法（S222）」では、乳腺組織を事前に学習する必要があり、「大津」と比較して精度良く乳腺組織を自動抽出できる。 On the other hand, in the "automatic extraction method of mammary gland tissue by ZCA whitening and CRF (S222)", it is necessary to learn the mammary gland tissue in advance, and the mammary gland tissue can be automatically extracted more accurately than in "Otsu".
（大津の二値化とグラフカットによる乳腺組織の自動抽出手法）（S221）
大津の二値化とグラフカットによる乳腺組織の自動抽出手法では、まず、乳腺組織の大まかな輝度値を取得するために大津の二値化処理を行う。
次に、できるだけ隣り合う領域が同じ組織（乳腺か非乳腺）であると判定するためにグラフカット法を行う。(Automatic extraction method of mammary gland tissue by Otsu's binarization and graph cut) (S221)
In the automatic extraction method of mammary gland tissue by Otsu's binarization and graph cut, first, Otsu's binarization processing is performed in order to obtain a rough luminance value of the mammary gland tissue.
Next, the graph cut method is performed in order to determine that the regions as close to each other as possible have the same tissue (mammary gland or non-mammary gland).
（大津の二値化）
乳房超音波画像を幅wの短冊状の領域に分割し、各短冊状領域で大津の二値化を適用する。
大津の二値化を適用した際の自動で設定された閾値より高い領域（白と判定された領域）における元画像の輝度値の平均uと分散σを取得する。(Otsu's binarization)
The breast ultrasound image is divided into strip-shaped regions of width w, and Otsu binarization is applied to each strip-shaped region.
The average u and the variance σ of the luminance values of the original image in the area (area determined to be white) higher than the threshold value set automatically when the Otsu binarization is applied are acquired.
（グラフカット法）
乳房超音波画像を縦h、幅wのM個の局所領域に分割する。
M個の局所領域における平均輝度値がX=[x1,…,xM]のとき、グラフカット法では、次のエネルギー関数E(Y)が最小となるM個の局所領域のラベル群Y=[y1,…,yM]を算出する。(Graph cut method)
The breast ultrasound image is divided into M local regions of length h and width w.
When the average luminance value in M local regions is X=[x 1 , ..., x M ], in the graph cut method, the label group Y of M local regions that minimizes the following energy function E(Y) =[y 1 ,...,y M ] is calculated.
ここで、VはM個の局所領域の集合を表し、Niは局所領域iにおける隣接領域を表す（本システムでは隣接領域は8近傍）。
また、φu(yi)はデータ項、φp(yi,yj)は平滑化項と呼ばれ、本システムでは次のように定義した。Here, V represents a set of M local regions, and Ni represents an adjacent region in the local region i (in this system, the adjacent regions are 8 neighborhoods).
Further, φ u (y i ) is called a data term, and φ p (y i , y j ) is called a smoothing term. In this system, it is defined as follows.
ここで、||x||2はxのL2ノルムを表す。また、λとkはユーザーが指定するパラメータである。λを大きくし、kを小さくすると隣接領域が同一のラベルとして判定されやすくなる。本発明ではλ=1とし、k =0.5とした。また、Pr(xi|yi)はyiのときのxiの確率を表し、本発明では数式（４）により定義した。Where ||x|| 2 represents the L2 norm of x. Further, λ and k are parameters specified by the user. If λ is increased and k is decreased, adjacent regions are likely to be determined as the same label. In the present invention, λ=1 and k=0.5. Further, Pr(x i |y i ) represents the probability of x i when y i , and is defined by the mathematical expression (4) in the present invention.
（ZCA白色化とCRFによる乳腺組織の自動抽出手法）（S222）
ZCA白色化とCRFによる乳腺組織の自動抽出では、まず、ZCA白色化と区間線形関数による前処理を行う（S222a）。
次に、画像を局所領域に分割し、各局所領域から輝度ヒストグラムを取得する（S222b）。(Automatic extraction method of mammary gland tissue by ZCA whitening and CRF) (S222)
In the automatic extraction of mammary gland tissue by ZCA whitening and CRF, first, ZCA whitening and preprocessing by an interval linear function are performed (S222a).
Next, the image is divided into local regions, and a brightness histogram is acquired from each local region (S222b).
最後に条件付確率場(Conditional Random Field; CRF)により、乳腺組織を自動抽出する（S222c）。
以下、３つの処理について説明する。Finally, a mammary gland tissue is automatically extracted by a conditional random field (CRF) (S222c).
The three processes will be described below.
（画像の前処理）（S222a）
乳房超音波画像に対して次の２つの画像処理を施す。(Image pre-processing) (S222a)
The following two image processes are performed on the breast ultrasound image.
１つ目は、輝度値が受ける深度の影響を低減するために、深度と輝度値の相関を低減するZCA白色化である。ここで、深度とは画像の上端から画素までの距離である。超音波が皮膚から組織の奥深くへと進む程に減衰し、反射波が弱まるために、エコーレベル（超音波画像上の明るさ）が小さくなる現象の低減を図る。 The first is ZCA whitening, which reduces the correlation between the depth and the brightness value in order to reduce the effect of the depth on the brightness value. Here, the depth is the distance from the upper end of the image to the pixel. It is intended to reduce the phenomenon that the echo level (brightness on the ultrasonic image) becomes small because the ultrasonic wave is attenuated as it goes deeper into the tissue and the reflected wave is weakened.
２つ目は、超音波画像に多く含まれるスペックルノイズを低減して乳腺組織を強調するために、区分線形関数を用いて任意の範囲の輝度値を強調する。 Secondly, in order to reduce speckle noise that is often included in an ultrasonic image and emphasize mammary gland tissue, a brightness value in an arbitrary range is emphasized using a piecewise linear function.
ZCA白色化は、相関の強い複数の変数における偏りをなくすため、各々の変数間の相関を０に近づける処理である。
画像中L個の各ピクセルにおける輝度値をvi、 深度をdi (i=1,…,L)とする。
なお、本システムでは、画像左上を原点とした際の各ピクセルにおけるy座標を深度diとした。ZCA whitening is a process of bringing the correlations between the variables close to 0 in order to eliminate the bias in the variables having strong correlation.
The brightness value at each of L pixels in the image is v i , and the depth is d i (i=1,..., L).
In this system, the y coordinate at each pixel when the upper left of the image is the origin is the depth d i .
この輝度値と深度を要素に持つベクトル Vector with this brightness value and depth as elements
に対してZCA白色化を適用する。
なお、Tは転置を表す。
ZCA白色化では、まず、L個のベクトル群[t1,...,tL]に主成分分析を適用することで、固有ベクトルを列とする行列Uと固有値λを対角要素とする対角行列Λを算出する。ここではΛ=diag(λ1, λ2)（ただしλ1＞λ2）となる。
次に、ZCA白色化の変換行列を算出し、次いでZCA白色化後のベクトルZCA whitening is applied to.
In addition, T represents transposition.
In ZCA whitening, first, by applying the principal component analysis to L vector groups [t 1 , ..., t L ], a matrix U having eigenvectors as columns and a pair having eigenvalues λ as diagonal elements Compute the angular matrix Λ. Here, Λ=diag(λ 1 , λ 2 ) (where λ 1 >λ 2 ).
Next, calculate the transformation matrix of ZCA whitening, and then the vector after ZCA whitening
を算出する。
ここで、To calculate.
here,
であり、vi（上付バー付き）をZCA白色化適用後の輝度値として使用する。
区分線形関数による輝度変換では、輝度値を次式により変換することで、線形変換後の輝度値ziを算出する。And use v i (with super bar) as the luminance value after applying ZCA whitening.
In the brightness conversion by the piecewise linear function, the brightness value z i after the linear conversion is calculated by converting the brightness value by the following formula.
ここで、Gは変換後の画像における階調数を表している。
また、予備実験よりzl=‐1, zu=3, G=8とした。Here, G represents the number of gradations in the converted image.
In addition, z l =-1, z u =3, and G=8 were set from preliminary experiments.
（輝度ヒストグラムの取得）（S222b）
乳腺組織における明るさを捉えるため、輝度値のヒストグラムを特徴ベクトルとして利用する。
乳房超音波画像をM個の矩形領域（パッチ画像）に分割し、各パッチ画像から輝度値のヒストグラムを算出する。
なお、画像はG階調に変換されているため、M個に分割された各領域のパッチ画像から、G次元の特徴ベクトル(Acquisition of luminance histogram) (S222b)
To capture the brightness in the mammary gland tissue, a histogram of brightness values is used as a feature vector.
The breast ultrasound image is divided into M rectangular regions (patch images), and a histogram of brightness values is calculated from each patch image.
Since the image has been converted to G gradations, the G-dimensional feature vector is calculated from the patch image of each area divided into M pieces.
が算出される。 Is calculated.
（条件付き確率場）（S222c）
M個の各パッチ画像が乳腺組織であるもっともらしさ(尤度)を算出する。
乳腺組織は領域が連続しており，任意の領域が乳腺組織である場合、隣接領域も乳腺である可能性が高い(空間的連続性)。(Conditional random field) (S222c)
The likelihood (likelihood) that each of the M patch images is a mammary gland tissue is calculated.
The mammary gland tissue is a continuous region, and if any region is a mammary gland tissue, the adjacent region is also likely to be a mammary gland (spatial continuity).
そこで、隣接領域との関係性を捉えることで空間的連続性を考慮し、各パッチ画像に描出される組織(ラベル)を推定できる条件付き確率場(Conditional Random Field; CRF)を用いて、各領域から乳腺尤度を算出する。
M個のパッチ画像から抽出した特徴ベクトル群Xとそれに対応するラベル集合Y、Therefore, by considering the spatial continuity by capturing the relationship with the adjacent region, using a conditional random field (CRF) that can estimate the tissue (label) drawn in each patch image, The mammary gland likelihood is calculated from the region.
Feature vector group X extracted from M patch images and corresponding label set Y,
に対して（ただし、yi=1は乳腺組織，yi=‐1は乳腺以外の組織を表す）、CRFは次式の確率モデルで定義される。In contrast, (where y i =1 represents mammary gland tissue and y i =−1 represents tissue other than mammary gland), CRF is defined by the following stochastic model.
ここで、Zは分配関数と呼ばれ、0=<Pr(Y|X,w)=<1を保証するため、 Here, Z is called a partition function, and 0=<Pr(Y|X,w)=<1 is guaranteed, so
である。
また、E(X,Y,w)はエネルギー関数と呼ばれ，Vはパッチ画像の集合を表し、Niはパッチ画像iに対するn近傍を表す(なお近傍数nは任意に設定することが可能であり、通常は８近傍が使われる)。エネルギー関数におけるφuはデータ項、φpはペアワイズ項（平滑化項）と呼ばれ、本発明では次のように定義した。Is.
Also, E(X,Y,w) is called the energy function, V represents the set of patch images, Ni represents the n neighborhoods of the patch image i (note that the number of neighborhoods n can be set arbitrarily). Yes, 8 neighborhoods are usually used). Φ u in the energy function is called a data term, and φ p is called a pairwise term (smoothing term). In the present invention, it is defined as follows.
ここで、δ(yi≠yj)はyi=yjのときに1を、yi≠yjのときに0を取る関数である。また、σはユーザーが設定するパラメータであり、本発明ではσ=3とした。
w=[wu,wp]はCRFの学習パラメータである。実際には、学習用のN個の画像集合Xn={xN}とそのラベル集合Yn={yN}を与えられたときに下記の式を解くことで算出されるw(ハット付き)を用いる。なお、下記の式は、確率的勾配降下法やモーメンタム法、Adam、AdaGrad、AdaDeltaといった最適化手法により解くことができる。Here, δ(y i ≠y j ) is a function that takes 1 when y i =y j and takes 0 when y i ≠y j . Further, σ is a parameter set by the user, and in the present invention, σ=3.
w=[w u ,w p ] is a learning parameter of CRF. Actually, w (with a hat) calculated by solving the following equation when given N image sets Xn={x N } for learning and their label sets Yn={y N } To use. The following equation can be solved by stochastic gradient descent method, momentum method, and optimization methods such as Adam, AdaGrad, and AdaDelta.
CRFの学習パラメータ w(ハット付き)と検査用の乳房超音波画像におけるM個のパッチ画像から抽出した特徴ベクトル群 CRF learning parameter w (with hat) and feature vector group extracted from M patch images in breast ultrasound image for inspection
を用いて、各矩形領域（パッチ画像）から From each rectangular area (patch image) using
を算出する。
この値が大きいほど乳腺らしさの程度が高いことを意味しており、本発明では0.5以上の領域を乳腺組織と判定する。To calculate.
The larger this value is, the higher the degree of mammary gland likelihood is, and in the present invention, a region of 0.5 or more is determined as mammary gland tissue.
（フレームの連続性を利用した過検出抑制処理）（S23）
乳房の断面が動画像として記録されている乳房超音波画像では、立体の構造物として体積を持つ腫瘤は複数のフレームの同一位置に連続して描出される公算が極めて高い。
そのため、腫瘤が映る場合は、ステップS21で算出した腫瘤候補領域が複数の連続フレームの同一位置に、非常に高い確率で連続して検出される。(Over detection suppression processing that uses frame continuity) (S23)
In a breast ultrasound image in which a cross section of a breast is recorded as a moving image, it is highly likely that a tumor having a volume as a three-dimensional structure will be continuously depicted at the same position in a plurality of frames.
Therefore, when a tumor appears, the tumor candidate region calculated in step S21 is continuously detected at the same position in a plurality of consecutive frames with a very high probability.
一方で、スペックルノイズなどの影響で発生した影は体積を持たないため、複数の連続フレームにおける同一位置に描出されることはなく、単発的な腫瘤候補領域として検出されるのみであり、これは過検出と見做されるべきである。
本発明では、単発的に発生する過検出を抑制するために、連続するフレームにおける同一位置に発生する腫瘤候補領域のみ最終的な腫瘤領域として扱う。
連続フレームの同一位置で検出された腫瘤候補領域以外を除去する、本発明では、腫瘤を検出すべく観察中のフレーム（注目フレーム）より前に撮影された複数の連続フレーム（参照フレーム）における腫瘤候補領域の位置情報を利用する。On the other hand, since the shadow generated by the influence of speckle noise does not have a volume, it is not drawn at the same position in multiple consecutive frames and is only detected as a single tumor candidate region. Should be considered overdetected.
In the present invention, in order to suppress the overdetection that occurs singly, only the tumor candidate region that occurs at the same position in consecutive frames is treated as the final tumor region.
In the present invention, except for a tumor candidate region detected at the same position of consecutive frames, the present invention includes tumors in a plurality of consecutive frames (reference frames) captured before a frame under observation (frame of interest) to detect a tumor. The position information of the candidate area is used.
具体的には、複数の連続したフレームにおける腫瘤候補領域において、空間および時間方向において孤立している腫瘤候補領域を除去し、空間および時間的に近い位置で複数検出された腫瘤候補領域のみを最終的な腫瘤領域として判定する。 Specifically, in the tumor candidate regions in a plurality of consecutive frames, the tumor candidate regions that are isolated in the space and time directions are removed, and only the tumor candidate regions detected in multiple positions close in space and time are finalized. It is determined as a typical tumor area.
ここで、過検出抑制に利用する参照フレーム数は任意に設定することができる。
利用する参照フレーム数を多くするほど、過検出抑制の効果が高まる。
例えば、過検出抑制に利用する参照フレーム数が注目フレームを含む2フレームのみの場合、それらのフレームに描出される超音波画像は類似しており、同一位置で過検出する可能性が高く、過検出を除去できない可能性がある。Here, the number of reference frames used for overdetection suppression can be set arbitrarily.
As the number of reference frames used increases, the effect of suppressing overdetection increases.
For example, when the number of reference frames used for over-detection suppression is only two frames including the target frame, the ultrasonic images drawn in those frames are similar and there is a high possibility that over-detection will occur at the same position. The detection may not be removed.
これに対し、過検出抑制に利用する参照フレーム数を2フレームより多くした場合（例えば、注目フレームを含む5フレーム）、描出される組織の形状（模様）が変動するため、全てのフレームの同一位置に過検出が発生する可能性は低くなり、適切に過検出を除去することができる。 On the other hand, if the number of reference frames used for over-detection suppression is greater than 2 frames (for example, 5 frames including the target frame), the shape (pattern) of the drawn tissue changes, so all frames have the same shape. Over-detection at the position is less likely to occur, and over-detection can be properly eliminated.
利用する参照フレーム数を多くすれば過検出除去の効果が高まるが、腫瘤を検出した腫瘤候補領域を誤って除去する恐れがある。
例えば、過検出抑制に利用する参照フレーム数を5フレームとしたとき、腫瘤が2フレームしか描出されていない場合は、腫瘤候補領域も2フレーム分しか検出されないため、この領域を過検出として、誤って除去する恐れがある。 If the number of reference frames used is increased, the effect of over-detection removal increases, but there is a risk that the tumor candidate region in which the tumor has been detected may be erroneously removed.
For example, when the number of reference frames used for overdetection suppression is set to 5, if only 2 frames of the tumor are drawn, only 2 frames of the tumor candidate region are detected. May be removed.
本システムでは正しく検出された腫瘤候補領域を誤って除去しないために、予め、次の2つの工夫を行い、少数の参照フレームでしか描出されない腫瘤においても正しく検出できるようにした。
１つ目の工夫は、（S211a）「スライドウィンドウによる腫瘤候補領域の検出」において、探索窓が重なるように移動させ、できるだけ同一位置で複数の腫瘤候補領域を検出するようにした。
２つ目の工夫は、（S210）「多重解像度画像の作成」を導入し、異なる解像度の画像を用いることで、同一領域で複数の腫瘤候補領域を検出するようにした。In this system, in order to prevent the correctly detected tumor candidate region from being accidentally removed, the following two measures were performed in advance so that even a tumor that can be visualized with only a small number of reference frames can be correctly detected.
The first measure is (S211a) in "Detection of tumor candidate region by sliding window" so that the search windows are moved so as to overlap each other, and a plurality of tumor candidate regions are detected at the same position as much as possible.
The second idea was to introduce (S210) “Create multi-resolution image”, and to detect multiple tumor candidate regions in the same region by using images with different resolutions.
以下、フレームの連続性を利用した過検出抑制について、詳しく述べる。
まず、現在のフレームと規定値分だけ前のフレームの間における全ての腫瘤候補領域の中心座標を取得する。Hereinafter, the over-detection suppression using the continuity of frames will be described in detail.
First, the center coordinates of all tumor candidate regions between the current frame and the frame preceding the specified value by a specified value are acquired.
取得した腫瘤候補領域の中心座標とフレーム番号に基づいてミーンシフトクラスタリングを実施し、腫瘤候補領域のグループ分けを行う。 Mean shift clustering is performed based on the acquired center coordinates of the tumor candidate regions and the frame numbers to group the tumor candidate regions.
算出したグループについて、各グループの要素数を算出し、要素数が事前に設定した閾値以下のグループに属する腫瘤候補領域を全て除去する。
残った腫瘤候補領域を最終的に腫瘤領域として判定する。With respect to the calculated groups, the number of elements in each group is calculated, and all tumor candidate regions that belong to groups in which the number of elements is equal to or less than a preset threshold value are removed.
The remaining tumor candidate region is finally determined as the tumor region.
（腫瘤候補領域の座標取得）
現在表示中のフレーム番号をT、その着目するフレームの枚数をsとする。
このとき、動画像におけるT-s+1番目のフレームからT番目のs枚分のフレーム(図８)における腫瘤候補領域cの中心座標 (Xc,Yc)とフレーム番号(Tc)を取得する。 (Get coordinates of tumor candidate area)
Let T be the frame number currently displayed and s be the number of frames of interest.
At this time, the center coordinates (Xc, Yc) and the frame number (Tc) of the tumor candidate region c in the T-s+1 th frame to the T th s frames (FIG. 8) in the moving image are acquired.
（クラスタリングによるグループ分け）
上で取得したすべての腫瘤候補領域の中心座標(Xc,Yc,Tc) を算出する。(Grouping by clustering)
The center coordinates (Xc, Yc, Tc) of all the tumor candidate regions acquired above are calculated.
中心座標は、腫瘤候補領域の左上座標(x0,y0)と右下座標(x1,y1)、フレーム番号Tから図９に示すように算出する。 The center coordinates are calculated from the upper left coordinates (x0, y0) and the lower right coordinates (x1, y1) of the tumor candidate region and the frame number T as shown in FIG.
全ての腫瘤候補領域の中心座標とフレーム番号を入力ベクトルとして下記のミーンシフトクラスタリングを実行し、全ての入力ベクトルに対してK個のグループ番号{g1,... ,gK}を割り当てる。The following mean shift clustering is executed using the center coordinates and frame numbers of all tumor candidate regions as input vectors, and K group numbers {g 1 ,...,g K } are assigned to all input vectors.
なお、グループ数Kはミーンシフトクラスタリングのアルゴリズムにより自動的に決定される。また、ミーンシフトクラスタリング以外に、x-means法やInfinite Gaussian Mixture Model(IGMM)といったクラスタ数を自動調整できるクラスタリング手法を適用できる。 The number K of groups is automatically determined by the algorithm of mean shift clustering. In addition to the mean shift clustering, a clustering method that can automatically adjust the number of clusters such as the x-means method or the Infinite Gaussian Mixture Model (IGMM) can be applied.
（クラスタ結果の要素数の除去）
上記で算出したK個のグループに{g1,... ,gK}対して、各グループの要素数を取得する。
要素数が事前に設定した閾値Thn以下であれば、そのグループに属する異常領域を全て削除する。本発明では、この閾値Thnとして値5を設定した。(Removing the number of elements in the cluster result)
The number of elements in each group is obtained for {g 1 ,...,g K } for the K groups calculated above.
If the number of elements is less than or equal to the threshold value Th n set in advance, all abnormal areas belonging to the group are deleted. In the present invention, the
（重点学習の検証）
学習フェーズ（S10）で述べた重点学習の有効性の検証を行った。
実験では、学習対象の患者7名、検査用の患者15名の乳房超音波画像を使用した。(Verification of priority learning)
The effectiveness of the priority learning described in the learning phase (S10) was verified.
In the experiment, breast ultrasound images of 7 learning subjects and 15 examination patients were used.
また、Deep Learning法によるネットワーク構造は５階層（入力層から順に、各層のユニット数は2500, 900, 625, 225, 2）とし、探索窓の大きさを縦50pixel、横50pixel、探索窓の移動幅をy方向に25pixel、x方向に25pixelとした。 In addition, the network structure based on the Deep Learning method has five layers (the number of units in each layer is 2500, 900, 625, 225, 2 in order from the input layer), and the size of the search window is 50 pixels vertically, 50 pixels horizontally, and the movement of the search window. The width was 25 pixels in the y direction and 25 pixels in the x direction.
多重解像度画像は３階層（1倍、0.75倍、0.5倍）とし、重点学習の効果を検証するため、検査フェーズでは、ステップS22とステップS23の過検出抑制処理は導入せず、ステップS21における腫瘤候補領域のみを使用した。 The multi-resolution image has three layers (1 time, 0.75 time, 0.5 time), and in order to verify the effect of the focused learning, in the inspection phase, the overdetection suppression processing in steps S22 and S23 is not introduced, and the tumor mass in step S21 is not introduced. Only the candidate area was used.
図１０に、１フレームあたりの平均過検出数と検出率を示す。
重点学習を導入することで過検出数が減少し、さらに検出率が増加していることがわかる。
この結果より、検出精度を向上させる手法として、重点学習は有効であると考えられる。FIG. 10 shows the average number of overdetections and the detection rate per frame.
It can be seen that the number of over-detections decreased and the detection rate increased by introducing priority learning.
From this result, it is considered that the priority learning is effective as a method for improving the detection accuracy.
（乳腺組織の自動抽出による過検出抑制）
検査フェーズにおけるステップS22の乳腺組織以外の過検出抑制処理の有効性を検証するため、乳腺組織の自動抽出を適用しない場合と適用した場合における過検出数の比較を行った。
実験では、学習用に患者7名、検査用に患者5名の乳房超音波画像を使用した。(Suppress overdetection by automatic extraction of mammary tissue)
In order to verify the effectiveness of the over-detection suppression process of the step other than the mammary gland tissue in the inspection phase, the number of over-detection was compared between the case where the automatic extraction of the mammary gland tissue was not applied and the case where it was applied.
In the experiment, breast ultrasound images of 7 patients for learning and 5 patients for examination were used.
また、Deep Learning法によるネットワーク構造は４階層（入力層から順に、各層のユニット数は625, 500, 500, 2）とし、探索窓の大きさを縦50pixel、横50pixel、探索窓の移動幅をy方向に25pixel、x方向に25pixelとした。 In addition, the network structure by the Deep Learning method has four layers (the number of units in each layer is 625, 500, 500, 2 in order from the input layer), and the size of the search window is 50 pixels in the vertical direction, 50 pixels in the horizontal direction, and the movement width of the search window. 25 pixels in the y direction and 25 pixels in the x direction.
探索窓内の50x50の画像はDeep Learningのネットワークに入力する際にBicubic法により25x25に縮小した。多重解像度画像は3階層（1倍、0.75倍、0.5倍）とした。 The 50x50 image in the search window was reduced to 25x25 by the Bicubic method when inputting it to the Deep Learning network. The multi-resolution image has three layers (1x, 0.75x, 0.5x).
乳腺組織の自動抽出の効果を検証するため、学習フェーズにおける重点学習とステップS23の過検出抑制処理は導入せず、ステップS21の腫瘤候補領域の検出とステップS22の乳腺組織以外の過検出抑制処理のみを使用した。 In order to verify the effect of automatic extraction of the mammary gland tissue, priority learning in the learning phase and the over detection suppression process of step S23 are not introduced, but the detection of the tumor candidate region in step S21 and the over detection suppression process of non-mammary gland tissue in step S22 are performed. Used only.
なお、乳腺組織の自動抽出手法では、ステップS221の大津の二値化とグラフカットによる乳腺組織の自動抽出手法を採用した。 As the automatic mammary gland tissue extraction method, the automatic mammary gland tissue extraction method by Otsu's binarization and graph cutting in step S221 was adopted.
図１１に、実験結果の過検出数の比較を示す。乳腺以外の組織(非乳腺)における過検出を削減することに成功し、過検出を抑制するために、乳腺組織の自動抽出手法は有効であることがわかる。 FIG. 11 shows a comparison of the overdetection numbers of the experimental results. It was found that over-detection in tissues other than mammary gland (non-mammary gland) was successfully reduced, and the automatic extraction method of mammary gland tissue is effective for suppressing over-detection.
（フレームの連続性を利用した過検出抑制処理の検証）
検査フェーズにおけるステップS23のフレームの連続性を利用した過検出抑制処理の有効性を検証するため、フレームの連続性を利用した過検出抑制処理を適用しない場合と適用した場合における過検出の比較を行った。(Verification of over-detection suppression processing using frame continuity)
In order to verify the effectiveness of the over detection suppression process that uses the continuity of frames in step S23 in the inspection phase, compare the over detection when the over detection suppression process that uses the continuity of frames is not applied and when it is applied. went.
実験では、学習用に患者7名、検査用に患者5名の乳房超音波画像を使用した。 In the experiment, breast ultrasound images of 7 patients for learning and 5 patients for examination were used.
また、Deep Learning法によるネットワーク構造は４階層（入力層から順に、各層のユニット数は625, 500, 500, 2）とし、探索窓の大きさを縦50pixel、横50pixel、探索窓の移動幅をy方向に25pixel、x方向に25pixelとした。 In addition, the network structure by the Deep Learning method has four layers (the number of units in each layer is 625, 500, 500, 2 in order from the input layer), and the size of the search window is 50 pixels in the vertical direction, 50 pixels in the horizontal direction, and the movement width of the search window. 25 pixels in the y direction and 25 pixels in the x direction.
探索窓内の50x50の画像はDeep Learningのネットワークに入力する際にBicubic法により25x25に縮小した。 The 50x50 image in the search window was reduced to 25x25 by the Bicubic method when inputting it to the Deep Learning network.
多重解像度画像は３階層（1倍、0.75倍、0.5倍）とした。フレームの連続性を利用した過検出抑制処理の効果を検証するため、学習フェーズにおける重点学習とステップS22の乳腺組織以外の過検出抑制処理は導入せず、ステップS21の腫瘤候補領域の検出とステップS23のフレームの連続性を利用した過検出抑制処理のみを使用した。 The multi-resolution image has three layers (1x, 0.75x, 0.5x). In order to verify the effect of the over-detection suppression process using the continuity of the frame, without introducing the over-detection suppression process other than the intensive learning and the mammary gland tissue in step S22 in the learning phase, the detection of the tumor candidate region in step S21 and the step Only the over-detection suppression process using the continuity of S23 frames was used.
図１２に、１フレームあたりの平均過検出数の比較を示す。
フレームの連続性を利用した過検出抑制処理を適用することで過検出を削減することに成功していることがわかる。FIG. 12 shows a comparison of the average number of overdetections per frame.
It can be seen that the over detection is successfully reduced by applying the over detection suppression process using the continuity of frames.
１ 異常判定領域（病変候補領域）
２ 観察部位（診断組織）の領域に含まれない異常判定領域
３ 観察部位の領域
４ 観察部位の領域ではない領域
５ 観察部位の領域にあって静止画フレームに連続して描出されない異常判定領域
６ パッチ画像
７ 学習モデルDB
８ 観察部位およびその周辺（診断部）1 Abnormality judgment area (lesion candidate area)
2 Abnormality judgment area not included in the area of the observation site (diagnosis tissue)
3 Area of observation site
4 Area that is not the area of the observation site
5 Abnormality judgment area in the area of the observation site that is not continuously drawn in the still image frame
6 patch image 7 learning model DB
8 Observation site and its periphery (diagnosis department)
Claims (14)
学習フェーズ（S10）において、
事前に切り出した病変が映る画像とそれ以外の画像をパッチ画像として入力とし、
前記パッチ画像を基にDeep Learning法を用いて前記病変とそれ以外を分類するモデルを作成し、
検査フェーズにおいて、
超音波検査装置の超音波プローブを動作させて診断組織を含む診断部の複数のフレームの列からなる動画像を取得し（S20）、
前記学習フェーズで得られたモデルと前記動画像のフレームの画像を比較して前記診断部において前記フレームの画像の病変候補領域を検出し（S21）、
前記動画像のフレームの画像から前記診断部における前記診断組織の領域の自動抽出を行い、前記診断組織の領域以外の領域とそこに含まれる前記病変候補領域を除去し（S22）、
前記フレームの列の連続性を利用して前記診断組織に単発的に発生する前記病変候補領域を除去し（S23）、
前記動画像のフレームの画像の最終的に残った前記病変候補領域がマークされた前記診断組織の領域のみを検出結果として出力する（S24）、
ことを特徴とする超音波画像診断支援方法。An ultrasonic image diagnosis support method comprising a learning phase (S10) and an inspection phase (S20 to S24),
In the learning phase (S10),
The image showing the lesion cut out in advance and the other images are input as patch images,
Create a model to classify the lesion and other using the Deep Learning method based on the patch image,
In the inspection phase,
The ultrasonic probe of the ultrasonic inspection apparatus is operated to acquire a moving image composed of a plurality of frames of the diagnostic unit including the diagnostic tissue (S20),
The model obtained in the learning phase and the image of the frame of the moving image are compared to detect a lesion candidate region of the image of the frame in the diagnosis unit (S21),
Performing automatic extraction of the region of the diagnostic tissue in the diagnostic unit from the image of the frame of the moving image, removes the region other than the region of the diagnostic tissue and the lesion candidate region contained therein (S22),
Using the continuity of the columns of the frame to remove the lesion candidate region that occurs sporadically in the diagnostic tissue (S23),
Only the region of the diagnostic tissue marked with the lesion candidate region that finally remained in the image of the frame of the moving image is output as a detection result (S24),
An ultrasonic image diagnosis support method characterized by the above.
前記動画像のフレームから、複数の解像度の画像で構成される多重解像度画像を作成し（S210）、
前記多重解像度画像の各階層の画像に対して前記病変候補領域の検出処理を行い（S211）、
前記各階層の画像における異常領域の座標をもとの解像度の座標に変換し、各前記複数の解像度における画像を統合する（S212）、
ことにより行うことを特徴とする請求項２に記載の超音波画像診断支援方法。The detection of the lesion candidate area (S21) is
From the frame of the moving image, a multi-resolution image composed of multiple resolution images is created (S210),
The detection process of the lesion candidate region is performed on the image of each layer of the multi-resolution image (S211),
The coordinates of the abnormal area in the image of each layer are converted into the coordinates of the original resolution, and the images at each of the plurality of resolutions are integrated (S212),
The ultrasonic image diagnosis support method according to claim 2, wherein
学習フェーズ（S10）と検査フェーズ（S20〜S24）から構成され、
学習フェーズ（S10）において、
事前に切り出した病変が映る画像とそれ以外の画像をパッチ画像として入力とし、
前記パッチ画像を基にDeep Learning法を用いて前記病変とそれ以外を分類するモデルを作成し、
検査フェーズ（S20〜S24）において、
超音波検査装置の超音波プローブを動作させて診断組織を含む診断部の複数のフレームの列からなる動画像を取得し（S20）、
前記学習フェーズで得られたモデルと前記動画像のフレームの画像を比較して前記フレームの画像の診断部において前記病変の病変候補領域を検出し（S21）、
前記動画像のフレームの画像から前記診断部における前記診断組織の領域の自動抽出を行い、前記診断組織の領域以外の領域とそこに含まれる前記病変候補領域を除去し（S22）、
前記フレームの列の連続性を利用して前記診断組織に単発的に発生する前記病変候補領域を除去し（S23）、
前記動画像のフレームの画像の最終的に残った前記病変候補領域がマークされた前記診断組織の領域のみを検出結果として出力する（S24）、
ことを特徴とする超音波画像診断支援システム。An ultrasonic image diagnostic support system using an ultrasonic moving image (hereinafter simply referred to as a moving image) obtained by the operation of an ultrasonic probe of an ultrasonic inspection apparatus,
It consists of a learning phase (S10) and an inspection phase (S20-S24).
In the learning phase (S10),
The image showing the lesion cut out in advance and the other images are input as patch images,
Create a model to classify the lesion and other using the Deep Learning method based on the patch image,
In the inspection phase (S20-S24),
The ultrasonic probe of the ultrasonic inspection apparatus is operated to acquire a moving image composed of a plurality of frames of the diagnostic unit including the diagnostic tissue (S20),
Detecting a lesion candidate region of the lesion in the diagnosis unit of the image of the frame by comparing the image of the frame of the moving image with the model obtained in the learning phase (S21),
Performing automatic extraction of the region of the diagnostic tissue in the diagnostic unit from the image of the frame of the moving image, removes the region other than the region of the diagnostic tissue and the lesion candidate region contained therein (S22),
Using the continuity of the columns of the frame to remove the lesion candidate region that occurs sporadically in the diagnostic tissue (S23),
Only the region of the diagnostic tissue marked with the lesion candidate region that finally remained in the image of the frame of the moving image is output as a detection result (S24),
An ultrasonic image diagnosis support system characterized by the above.
前記動画像のフレームから、複数の解像度の画像で構成される多重解像度画像を作成し（S210）、
前記多重解像度画像の各階層の画像に対して前記病変候補領域の検出処理を行い（S211）、
前記各階層の画像における異常領域の座標をもとの解像度の座標に変換し、各前記複数の解像度における画像を統合する（S212）、
ことにより行うこと特徴とする請求項９に記載の超音波画像診断支援システム。The detection of the lesion candidate area (S21) is
From the frame of the moving image, a multi-resolution image composed of multiple resolution images is created (S210),
The detection process of the lesion candidate region is performed on the image of each layer of the multi-resolution image (S211),
The coordinates of the abnormal area in the image of each layer are converted into the coordinates of the original resolution, and the images at each of the plurality of resolutions are integrated (S212),
The ultrasonic image diagnosis support system according to claim 9, wherein the ultrasonic image diagnosis support system is performed.
The ultrasonic image diagnosis support system according to claim 11 or 12, wherein the lesion candidate region is removed (S22) by automatic extraction of the mammary gland tissue by CRF.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017068394 | 2017-03-30 | ||
| JP2017068394 | 2017-03-30 | ||
| PCT/JP2018/009336 WO2018180386A1 (en) | 2017-03-30 | 2018-03-09 | Ultrasound imaging diagnosis assistance method and system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018180386A1 JPWO2018180386A1 (en) | 2019-11-07 |
| JP6710373B2 true JP6710373B2 (en) | 2020-06-17 |
Family
ID=63677201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019509166A Active JP6710373B2 (en) | 2017-03-30 | 2018-03-09 | Ultrasound image diagnosis support method and system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6710373B2 (en) |
| WO (1) | WO2018180386A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022231200A1 (en) * | 2021-04-28 | 2022-11-03 | 주식회사 딥바이오 | Training method for training artificial neural network for determining breast cancer lesion area, and computing system performing same |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3871611B1 (en) * | 2018-10-22 | 2023-11-22 | Lily Medtech Inc. | Ultrasonic diagnostic system |
| CN109784692B (en) * | 2018-12-29 | 2020-11-24 | 重庆大学 | Rapid safety constraint economic dispatching method based on deep learning |
| JP7185242B2 (en) * | 2019-02-27 | 2022-12-07 | 株式会社フィックスターズ | Program and diagnostic imaging aid |
| JP7418730B2 (en) * | 2019-08-28 | 2024-01-22 | 龍一 中原 | Medical image processing device, medical image processing method, and medical image processing program |
| KR102144671B1 (en) * | 2020-01-16 | 2020-08-14 | 성균관대학교산학협력단 | Position correction apparatus of ultrasound scanner for ai ultrasound self-diagnosis using ar glasses, and remote medical-diagnosis method using the same |
| CN111275696B (en) * | 2020-02-10 | 2023-09-15 | 腾讯医疗健康(深圳)有限公司 | Medical image processing method, image processing method and device |
| JPWO2021206170A1 (en) * | 2020-04-10 | 2021-10-14 | ||
| KR102304609B1 (en) * | 2021-01-20 | 2021-09-24 | 주식회사 딥바이오 | Method for refining tissue specimen image, and computing system performing the same |
| JPWO2022259299A1 (en) * | 2021-06-07 | 2022-12-15 | ||
| KR102485414B1 (en) * | 2021-12-13 | 2023-01-06 | 주식회사 딥바이오 | Method for training artificial neural network providing result of diagnosis for pathological specimen, and computing system performing the same |
| CN116485791B (en) * | 2023-06-16 | 2023-09-29 | 华侨大学 | Automatic detection method and system for double-view breast tumor lesion area based on absorbance |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150098119A (en) * | 2014-02-19 | 2015-08-27 | 삼성전자주식회사 | System and method for removing false positive lesion candidate in medical image |
| EP3225170B1 (en) * | 2014-12-01 | 2019-09-18 | National Institute of Advanced Industrial Science and Technology | Ultrasound examination system and ultrasound examination method |
-
2018
- 2018-03-09 JP JP2019509166A patent/JP6710373B2/en active Active
- 2018-03-09 WO PCT/JP2018/009336 patent/WO2018180386A1/en active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022231200A1 (en) * | 2021-04-28 | 2022-11-03 | 주식회사 딥바이오 | Training method for training artificial neural network for determining breast cancer lesion area, and computing system performing same |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018180386A1 (en) | 2018-10-04 |
| JPWO2018180386A1 (en) | 2019-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6710373B2 (en) | Ultrasound image diagnosis support method and system | |
| Shaziya et al. | Automatic lung segmentation on thoracic CT scans using U-net convolutional network | |
| Chen et al. | An early vision-based snake model for ultrasound image segmentation | |
| CN106999161B (en) | Ultrasonic inspection system | |
| JP2007307358A (en) | Method, apparatus and program for image treatment | |
| Tripathi et al. | Automatic detection of fracture in femur bones using image processing | |
| Pham et al. | A comparison of texture models for automatic liver segmentation | |
| CN111784701A (en) | Ultrasonic image segmentation method and system combining boundary feature enhancement and multi-scale information | |
| JP6458166B2 (en) | MEDICAL IMAGE PROCESSING METHOD, DEVICE, SYSTEM, AND PROGRAM | |
| Elmasri et al. | Automatic detection and quantification of abdominal aortic calcification in dual energy X-ray absorptiometry | |
| Wei et al. | A novel method for segmentation of CT head images | |
| Ratheesh et al. | Advanced algorithm for polyp detection using depth segmentation in colon endoscopy | |
| Azam et al. | Segmentation of breast microcalcification using hybrid method of Canny algorithm with Otsu thresholding and 2D Wavelet transform | |
| Jalab et al. | Fractional Renyi entropy image enhancement for deep segmentation of kidney MRI | |
| JP5106047B2 (en) | Image processing method and apparatus | |
| Kumar et al. | Semiautomatic method for segmenting pedicles in vertebral radiographs | |
| Susomboon et al. | Automatic single-organ segmentation in computed tomography images | |
| Gong et al. | An automatic pulmonary nodules detection method using 3d adaptive template matching | |
| Nguyen et al. | An automatic body ROI determination for 3D visualization of a fetal ultrasound volume | |
| Tayel et al. | Breast boarder boundaries extraction using statistical properties of mammogram | |
| Ogul et al. | Unsupervised rib delineation in chest radiographs by an integrative approach | |
| KR102393390B1 (en) | Target data prediction method using correlation information based on multi medical image | |
| JP2005160916A (en) | Method, apparatus and program for determining calcification shadow | |
| Bhattacharjee et al. | Review of Different Methods of Abnormal Mass Detection in Digital Mammograms | |
| Krechetova et al. | Contour extraction and processing in CT images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200416 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6710373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |