JP6895663B1 - Contour correction device, contour correction program and contour correction method - Google Patents
Contour correction device, contour correction program and contour correction method Download PDFInfo
- Publication number
- JP6895663B1 JP6895663B1 JP2021010716A JP2021010716A JP6895663B1 JP 6895663 B1 JP6895663 B1 JP 6895663B1 JP 2021010716 A JP2021010716 A JP 2021010716A JP 2021010716 A JP2021010716 A JP 2021010716A JP 6895663 B1 JP6895663 B1 JP 6895663B1
- Authority
- JP
- Japan
- Prior art keywords
- contour
- estimated
- correction
- point
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000004048 modification Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 17
- 238000000605 extraction Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【課題】自動抽出された輪郭を、ユーザの意図を反映して容易に修正することができる輪郭修正装置、輪郭修正プログラムおよび輪郭修正方法を提供する。【解決手段】輪郭修正装置１は、医用画像においてある領域を特定する特定輪郭として、医用画像上の位置と対応付けた推定輪郭を決定する推定手段３と、医用画像及び推定輪郭を表示処理し、医用画像に推定輪郭を重畳した推定画像を含む修正画面を表示させる表示手段２と、修正画面に表示された推定画像において、ユーザが認識する正しい特定輪郭上の指定点の入力を受け付ける指定手段４と、指定点を通るように推定輪郭を修正することで、修正輪郭を決定する修正手段５と、を備える。【選択図】図１PROBLEM TO BE SOLVED: To provide a contour correction device, a contour correction program and a contour correction method capable of easily correcting an automatically extracted contour by reflecting a user's intention. SOLUTION: A contour correction device 1 displays a medical image and an estimated contour as a specific contour for specifying a certain area in a medical image, and an estimation means 3 for determining an estimated contour associated with a position on the medical image. , A display means 2 for displaying a correction screen including an estimated image in which an estimated contour is superimposed on a medical image, and a designation means for accepting an input of a designated point on a correct specific contour recognized by the user in the estimated image displayed on the correction screen. 4 and a correction means 5 for determining a correction contour by modifying the estimated contour so as to pass through a designated point. [Selection diagram] Fig. 1
Description
本発明は、医用画像において抽出された輪郭を、ユーザの入力に基づいて修正する、輪郭修正装置、輪郭修正プログラム及び輪郭修正方法に関する。 The present invention relates to a contour correction device, a contour correction program, and a contour correction method for correcting a contour extracted in a medical image based on a user's input.
従来から、医用画像について、特定部位の領域の自動抽出技術が知られている。しかしながら、コンピュータにより自動抽出された領域と、読影医等のユーザが正しいと判断する領域とがしばしばずれてしまうことがある。このような問題に対しては、一般に、ユーザが手作業で輪郭線を描く等の手法により対処されてきたが、手間と時間がかかるという問題があった。 Conventionally, there has been known an automatic extraction technique for a specific region of a medical image. However, the area automatically extracted by the computer and the area judged to be correct by a user such as an image interpreter often deviate from each other. Generally, such a problem has been dealt with by a method such as manually drawing a contour line by a user, but there is a problem that it takes time and effort.
ユーザの意図を反映した適切な領域抽出を行うための技術としては、例えば特許文献１が知られている。特許文献１には、操作者からの移動指示に応じて移動する不動点を設定し、過去に取得された輪郭データを統計解析した輪郭モデルに基づいて、不動点を通る輪郭を抽出する技術が記載されている。 For example, Patent Document 1 is known as a technique for performing an appropriate region extraction that reflects the user's intention. Patent Document 1 describes a technique of setting a fixed point to move in response to a movement instruction from an operator and extracting a contour passing through the fixed point based on a contour model obtained by statistically analyzing contour data acquired in the past. Are listed.
しかしながら特許文献１に記載の技術では、輪郭の抽出時に不動点の指定が必要であり、手間が生じていた。このような背景から、より簡単に、輪郭を自動抽出し、更にユーザの意図に応じた修正を行うための技術が求められていた。 However, in the technique described in Patent Document 1, it is necessary to specify a fixed point when extracting a contour, which is troublesome. Against this background, there has been a demand for a technique for more easily automatically extracting contours and making corrections according to the user's intentions.
本発明は、上記の現状に鑑みて、自動抽出された輪郭を、ユーザの意図を反映して容易に修正することができる新規な技術を提供することを課題とする。 In view of the above situation, it is an object of the present invention to provide a novel technique capable of easily modifying an automatically extracted contour by reflecting a user's intention.
本発明は、自動抽出された輪郭または領域を修正するための輪郭修正装置であって、
医用画像においてある領域を特定する特定輪郭として、前記医用画像上の位置と対応付けた推定輪郭を決定する推定手段と、
前記医用画像及び推定輪郭を表示処理し、前記医用画像に前記推定輪郭を重畳した推定画像を含む修正画面を表示させる表示手段と、
前記修正画面に表示された前記推定画像において、ユーザが認識する正しい特定輪郭上の指定点の入力を受け付ける指定手段と、
前記指定点を通るように前記推定輪郭を修正することで、修正輪郭を決定する修正手段と、を備える。
The present invention is a contour correction device for correcting an automatically extracted contour or region.
As a specific contour for specifying a certain area in a medical image, an estimation means for determining an estimated contour associated with a position on the medical image, and an estimation means.
A display means for displaying the medical image and the estimated contour, and displaying a correction screen including the estimated image in which the estimated contour is superimposed on the medical image.
In the estimated image displayed on the correction screen, a designation means for accepting an input of a designated point on a correct specific contour recognized by the user, and
A correction means for determining a correction contour by modifying the estimated contour so as to pass through the designated point is provided.
このような構成とすることで、修正画面によってユーザに推定輪郭及び医用画像を確認させ、指定点の入力によってユーザの意図を反映した修正輪郭を決定することができる。 With such a configuration, the user can confirm the estimated contour and the medical image on the correction screen, and the correction contour reflecting the user's intention can be determined by inputting the designated point.
本発明の好ましい形態では、前記表示手段は、前記修正輪郭が決定された後に、前記推定画像として、前記医用画像に前記修正輪郭を重畳した画像を含むように前記修正画面を更新する。
このような構成とすることで、修正輪郭について再度の修正が可能となり、より適切にユーザの意図を反映した修正輪郭を決定することができる。
In a preferred embodiment of the present invention, the display means updates the modified screen so as to include, as the estimated image, an image in which the modified contour is superimposed on the medical image after the modified contour is determined.
With such a configuration, the modified contour can be modified again, and the modified contour that more appropriately reflects the user's intention can be determined.
本発明の好ましい形態では、前記修正手段は、
前記推定輪郭と前記修正輪郭との分岐点である分岐輪郭点を、前記推定輪郭上の点である輪郭点の中から２点特定し、
２つの前記分岐輪郭点を両端に有し前記指定点を通る修正線を含むように、前記修正輪郭を決定する。
このような構成とすることで、輪郭全体を再計算する必要がなくなり、処理負荷の軽減効果が期待できる。また、修正前の輪郭の正しかった部分についても意図せず変更されてしまうような不具合を避ける効果が期待できる。
In a preferred embodiment of the invention, the modification means
Two branch contour points, which are branch points between the estimated contour and the modified contour, are specified from the contour points which are points on the estimated contour.
The correction contour is determined so as to have two of the branch contour points at both ends and include a correction line passing through the designated point.
With such a configuration, it is not necessary to recalculate the entire contour, and the effect of reducing the processing load can be expected. In addition, it can be expected to have the effect of avoiding a problem that the part where the contour was correct before the correction is unintentionally changed.
本発明の好ましい形態では、前記修正手段は、前記輪郭点及び前記指定点を両端に有する経路のエネルギーを、前記医用画像の画素値に基づき前記輪郭点ごとに算出して、前記推定輪郭上の基準点の時計回り方向及び反時計回り方向に存在する前記輪郭点について、それぞれ前記エネルギーが最小となる前記経路を構成する前記輪郭点を前記分岐輪郭点として決定する。
このような構成とすることで、医用画像の画素値に基づいて、適切な輪郭を抽出することができる。
In a preferred embodiment of the present invention, the correction means calculates the energy of the contour point and the path having the designated points at both ends for each contour point based on the pixel value of the medical image, and on the estimated contour. With respect to the contour points existing in the clockwise direction and the counterclockwise direction of the reference point, the contour points constituting the path having the minimum energy are determined as the branch contour points.
With such a configuration, an appropriate contour can be extracted based on the pixel value of the medical image.
本発明の好ましい形態では、前記修正手段は、前記基準点から前記推定輪郭の半周未満の算出範囲に存在する複数の前記輪郭点について、前記経路の前記エネルギーを算出し、時計回り方向及び反時計回り方向それぞれの前記算出範囲内で前記エネルギーが最小となる前記経路を構成する前記輪郭点を、前記分岐輪郭点として決定する。 In a preferred embodiment of the present invention, the modifying means calculates the energy of the path for a plurality of contour points existing in a calculation range of less than half a circumference of the estimated contour from the reference point, and clockwise and counterclockwise. The contour points constituting the path where the energy is minimized within the calculation range of each in the clockwise direction are determined as the branch contour points.
本発明の好ましい形態では、前記修正手段は、前記基準点から順に、時計回り方向及び反時計回り方向にそれぞれ算出対象の前記輪郭点を変更しながら前記経路の前記エネルギーの算出を繰り返し、前記経路の一部が前記推定輪郭と重複すると判断した場合に、前記エネルギーの算出の繰り返しを終了し、前記基準点の時計回り方向及び反時計回り方向のそれぞれについて、前記エネルギーが最小となる前記経路を構成する前記輪郭点を、前記分岐輪郭点として決定する。 In a preferred embodiment of the present invention, the modifying means repeats the calculation of the energy of the path while changing the contour point to be calculated in the clockwise direction and the counterclockwise direction in order from the reference point, and the path. When it is determined that a part of the above overlaps with the estimated contour, the repetition of the calculation of the energy is completed, and the path in which the energy is minimized in each of the clockwise direction and the counterclockwise direction of the reference point is set. The constituent contour points are determined as the branch contour points.
本発明の好ましい形態では、前記修正手段は、前記経路に沿った前記医用画像の画素値の変化量に基づいて、前記エネルギーを計算する。 In a preferred embodiment of the present invention, the modifying means calculates the energy based on the amount of change in the pixel value of the medical image along the path.
本発明の好ましい形態では、前記医用画像における適切な特定輪郭を正解として学習することにより作成されたモデルを記憶する記憶手段を更に備え、
前記推定手段は、前記モデルに基づいて前記推定輪郭を決定する。
このような構成とすることで、適切な特定輪郭のデータに基づいて、推定手段が適切な推定輪郭を抽出しやすくなる。
In a preferred embodiment of the present invention, a storage means for storing a model created by learning an appropriate specific contour in the medical image as a correct answer is further provided.
The estimation means determines the estimated contour based on the model.
With such a configuration, it becomes easy for the estimation means to extract an appropriate estimated contour based on the data of the appropriate specific contour.
本発明の好ましい形態では、前記修正画面を介したユーザの入力に応じて、表示中の前記推定輪郭又は修正輪郭を特定輪郭として登録する登録手段を更に備え、
前記モデルは、前記登録手段により登録された特定輪郭を、前記医用画像における適切な特定輪郭として追加学習することにより更新される。
このような構成とすることで、ユーザが適切だと判断した輪郭を更に正解として追加学習し、利用されるにつれて推定輪郭の抽出精度を向上させることができる。
A preferred embodiment of the present invention further includes a registration means for registering the estimated contour or the modified contour being displayed as a specific contour in response to a user input via the modification screen.
The model is updated by additionally learning the specific contour registered by the registration means as an appropriate specific contour in the medical image.
With such a configuration, the contour determined by the user to be appropriate can be additionally learned as a correct answer, and the extraction accuracy of the estimated contour can be improved as it is used.
本発明は、自動抽出された輪郭または領域を修正するための輪郭修正プログラムであって、
医用画像においてある領域を特定する特定輪郭として、前記医用画像上の位置と対応付けた推定輪郭を決定する推定手段と、
前記医用画像及び推定輪郭を表示処理し、前記医用画像に前記推定輪郭を重畳した推定画像を含む修正画面を表示させる表示手段と、
前記修正画面に表示された前記推定画像において、ユーザが認識する正しい特定輪郭上の指定点の入力を受け付ける指定手段と、
前記指定点を通るように、前記推定輪郭を修正することで、修正輪郭を決定する修正手段と、としてコンピュータを機能させる。
The present invention is a contour correction program for correcting an automatically extracted contour or region.
As a specific contour for specifying a certain area in a medical image, an estimation means for determining an estimated contour associated with a position on the medical image, and an estimation means.
A display means for displaying the medical image and the estimated contour, and displaying a correction screen including the estimated image in which the estimated contour is superimposed on the medical image.
In the estimated image displayed on the correction screen, a designation means for accepting an input of a designated point on a correct specific contour recognized by the user, and
By modifying the estimated contour so as to pass through the designated point, the computer functions as a modifying means for determining the modified contour.
本発明は、自動抽出された輪郭または領域を修正するための輪郭修正方法であって、
医用画像においてある領域を特定する特定輪郭として、前記医用画像上の位置と対応付けた推定輪郭を決定する推定ステップと、
前記医用画像及び推定輪郭を表示処理し、前記医用画像に前記推定輪郭を重畳した推定画像を含む修正画面を表示させる表示ステップと、
前記修正画面に表示された前記推定画像において、ユーザが認識する正しい特定輪郭上の指定点の入力を受け付ける指定ステップと、
前記指定点を通るように前記推定輪郭を修正することで、修正輪郭を決定する修正ステップと、をコンピュータに実行させる。
The present invention is a contour correction method for correcting an automatically extracted contour or region.
As a specific contour for specifying a certain area in the medical image, an estimation step for determining an estimated contour associated with a position on the medical image, and an estimation step.
A display step of displaying the medical image and the estimated contour, and displaying a correction screen including the estimated image in which the estimated contour is superimposed on the medical image.
In the estimated image displayed on the correction screen, a designated step that accepts an input of a designated point on a correct specific contour recognized by the user, and a designated step.
By modifying the estimated contour so that it passes through the designated point, the computer is made to perform a modification step of determining the modified contour.
本発明によれば、自動抽出された輪郭または領域を、ユーザの意図を反映して容易に修正することができる。 According to the present invention, the automatically extracted contour or region can be easily modified to reflect the user's intention.
以下、図面を用いて、本発明の輪郭修正装置について説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。 Hereinafter, the contour correction device of the present invention will be described with reference to the drawings. The embodiments shown below are examples of the present invention, and the present invention is not limited to the following embodiments, and various configurations can be adopted.
例えば、本実施形態では輪郭修正装置の構成、動作等について説明するが、同様の構成の方法、コンピュータプログラム等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータにプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えばＣＤ−ＲＯＭ等の非一過性の記録媒体であっても良い。 For example, in the present embodiment, the configuration, operation, and the like of the contour correction device will be described, but a method of the same configuration, a computer program, and the like can also exert the same effects. Further, the program may be stored in a recording medium. Using this recording medium, for example, a program can be installed on a computer. Here, the recording medium in which the program is stored may be a non-transient recording medium such as a CD-ROM.
本発明は、対象の医用画像について、特定輪郭の抽出を行うための技術である。例えばＣＴやＭＲ等の医用画像について、診断や治療に用いるために特定の臓器や病変部位等の輪郭を抽出することが一般に必要とされている。このような輪郭抽出に際し、本発明では自動的に輪郭を抽出した上で、ユーザが認識する正しい輪郭上の点を指定する簡単な操作により、適切な輪郭に修正することができる。 The present invention is a technique for extracting a specific contour of a target medical image. For example, for medical images such as CT and MR, it is generally required to extract contours of specific organs, lesion sites, etc. for use in diagnosis and treatment. In such contour extraction, in the present invention, the contour can be automatically extracted and then corrected to an appropriate contour by a simple operation of designating a point on the correct contour recognized by the user.
以下において、特定輪郭とは、医用画像における注目部位の領域の輪郭を指す。また推定輪郭とは、コンピュータが特定輪郭を推定した結果であり、ユーザの入力によって修正される対象となる輪郭を指す。また修正輪郭とは、ユーザの入力に基づいて推定輪郭を修正した結果得られる、修正を反映した輪郭を指す。なお本実施形態では、修正輪郭を更に修正することも可能である。 In the following, the specific contour refers to the contour of the region of interest in the medical image. The estimated contour is the result of the computer estimating the specific contour, and refers to the contour to be corrected by the input of the user. The modified contour refers to a contour that reflects the modification obtained as a result of modifying the estimated contour based on the user's input. In this embodiment, the modified contour can be further modified.
また指定点とは、ユーザによって指定される、ユーザが認識する正しい特定輪郭上の点であり、推定輪郭は指定点を通るように修正される。即ち、ユーザが認識する特定輪郭と、推定輪郭と、の間にずれがある部分について、ユーザが正しい特定輪郭上の点を指定点として入力することにより、適切な輪郭に修正される。 Further, the designated point is a point on the correct specific contour designated by the user and recognized by the user, and the estimated contour is modified so as to pass through the designated point. That is, the portion where there is a gap between the specific contour recognized by the user and the estimated contour is corrected to an appropriate contour by the user inputting a point on the correct specific contour as a designated point.
また輪郭点とは、修正対象の輪郭を構成する点であり、当該輪郭上の点のことを指す。輪郭点のうち、輪郭修正の際に、修正前後の輪郭の分岐点となる輪郭点のことを更に分岐輪郭点と呼ぶ。 Further, the contour point is a point that constitutes the contour to be corrected, and refers to a point on the contour. Of the contour points, the contour points that are the branch points of the contour before and after the correction when the contour is corrected are further called branch contour points.
更に本実施形態では、輪郭修正の過程で、輪郭点及び指定点を結ぶ経路のエネルギーを算出する。以下においては、特に２点の分岐輪郭点と指定点とをそれぞれ結ぶ２つの経路をつないだ、２点の分岐輪郭点を両端に有する線を修正線と呼ぶ。修正線は、修正後の輪郭（修正輪郭）のうち、修正前の輪郭（推定輪郭）との相違部分となる。 Further, in the present embodiment, the energy of the path connecting the contour points and the designated points is calculated in the process of contour correction. In the following, in particular, a line connecting two paths connecting two branch contour points and a designated point, respectively, and having two branch contour points at both ends is referred to as a correction line. The correction line is a portion of the corrected contour (corrected contour) that differs from the uncorrected contour (estimated contour).
図１は、本実施形態の輪郭修正装置１の機能構成を示す図である。輪郭修正装置１としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、ネットワークへの接続手段を含む種々の入出力装置等を備えた一般的なコンピュータ装置を利用することができる。 FIG. 1 is a diagram showing a functional configuration of the contour correction device 1 of the present embodiment. The contour correction device 1 includes a computing device such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit), a main storage device such as a RAM (Random Access Memory), an HDD (Hard Disk Drive), and an SSD (Solid). , A general computer device including an auxiliary storage device such as a flash memory, various input / output devices including a means for connecting to a network, and the like can be used.
輪郭修正装置１は、表示手段２と、推定手段３と、指定手段４と、修正手段５と、登録手段６と、記憶手段７と、を備える。記憶装置に記憶されたプログラムによって、任意のコンピュータが備える上述のハードウェアがこれらの手段として機能し、本発明に係る輪郭修正装置１を実現することができる。なお各手段はひとつのコンピュータに全て備えられている必要はなく、それぞれの手段を担う複数のコンピュータが協働することによって本発明の輪郭修正装置１として機能してもよい。 The contour correction device 1 includes a display means 2, an estimation means 3, a designation means 4, a correction means 5, a registration means 6, and a storage means 7. By the program stored in the storage device, the above-mentioned hardware provided in any computer functions as these means, and the contour correction device 1 according to the present invention can be realized. It is not necessary that all the means are provided in one computer, and the contour correction device 1 of the present invention may function as a plurality of computers responsible for each means cooperate with each other.
表示手段２は、医用画像、推定輪郭、修正輪郭等を表示処理し、医用画像に推定輪郭を重畳した推定画像を含む修正画面等の各種の画面を表示させる。 The display means 2 displays a medical image, an estimated contour, a modified contour, and the like, and displays various screens such as a modified screen including an estimated image in which the estimated contour is superimposed on the medical image.
推定手段３は、医用画像上の位置と対応付けた推定輪郭を決定する。本実施形態では、医用画像における適切な特定輪郭を正解（教師データ）として学習することにより事前に作成された推定モデルに基づいて、推定輪郭を決定する。 The estimation means 3 determines an estimated contour associated with a position on the medical image. In the present embodiment, the estimated contour is determined based on the estimation model created in advance by learning an appropriate specific contour in the medical image as the correct answer (teacher data).
指定手段４は、修正画面における推定画像を介して、ユーザが認識する正しい特定輪郭上の指定点の入力を受け付ける。なお指定点は、ひとつの推定輪郭に対して複数受け付けてもよい。 The designation means 4 accepts the input of the designated point on the correct specific contour recognized by the user via the estimated image on the correction screen. A plurality of designated points may be accepted for one estimated contour.
修正手段５は、指定手段４が受け付けた指定点を通るように、推定輪郭を修正することで、修正輪郭を決定する。本実施形態では、修正手段５が、輪郭点及び指定点を結ぶ経路の抽出、経路のエネルギー計算、分岐輪郭点の特定等の処理を実行し、修正輪郭を決定する。 The correction means 5 determines the correction contour by modifying the estimated contour so as to pass through the designated point received by the designation means 4. In the present embodiment, the correction means 5 executes processing such as extraction of a route connecting the contour point and the designated point, calculation of the energy of the route, identification of the branch contour point, and the like, and determines the correction contour.
登録手段６は、修正画面を介したユーザの入力に応じて、表示中の推定輪郭又は修正輪郭を特定輪郭として登録する。このように登録された「正解」の特定輪郭と、対象の医用画像と、の組み合わせは、推定手段３が推定輪郭の決定に用いる推定モデルにおける追加の教師データとして用いることができる。これにより、輪郭の推定精度向上が見込まれる。また例えばユーザごとに追加学習することにより、ユーザの修正傾向に応じた推定モデルを作成することができ、より各ユーザに適合した輪郭推定を行うことが可能となる。この他、ユーザの所属や属性ごと、また医用画像の種類や部位ごとに学習を行ってもよい。 The registration means 6 registers the estimated contour or the modified contour being displayed as a specific contour in response to the user's input via the modification screen. The combination of the specific contour of the "correct answer" registered in this way and the medical image of the target can be used as additional teacher data in the estimation model used by the estimation means 3 to determine the estimation contour. This is expected to improve the estimation accuracy of the contour. Further, for example, by performing additional learning for each user, it is possible to create an estimation model according to the correction tendency of the user, and it is possible to perform contour estimation more suitable for each user. In addition, learning may be performed for each user's affiliation and attributes, and for each type and part of the medical image.
記憶手段７は、医用画像における適切な特定輪郭を正解（教師データ）として学習することにより事前に作成された推定モデルを記憶する。推定モデルの作成方法としては、周知の機械学習技術を用いることができる。例えば医用画像の特徴量を入力とし、当該医用画像に対応する特定輪郭を出力として、学習を行うことが想定される。なおこのような推定モデルは、抽出する特定輪郭の種類（部位、病気、医用画像の種類等）ごとに作成しておくことが好ましい。 The storage means 7 stores an estimation model created in advance by learning an appropriate specific contour in a medical image as a correct answer (teacher data). As a method of creating an estimation model, a well-known machine learning technique can be used. For example, it is assumed that learning is performed by inputting a feature amount of a medical image and outputting a specific contour corresponding to the medical image. It is preferable to create such an estimation model for each type of specific contour to be extracted (site, disease, type of medical image, etc.).
図２は、本実施形態の医用画像取得から輪郭修正完了までの処理フローチャートである。輪郭修正装置１は、まずステップＳ１１で医用画像を取得する。医用画像は、外部の補助記憶装置から取得してもよいし、例えば輪郭修正装置１が接続される病院内のデータベースから取得してもよい。この際、医用画像の付帯情報として、ＣＴやＭＲ等の使用モダリティ、撮影部位等の情報を取得することが好ましい。 FIG. 2 is a processing flowchart from the medical image acquisition of the present embodiment to the completion of contour correction. The contour correction device 1 first acquires a medical image in step S11. The medical image may be acquired from an external auxiliary storage device, or may be acquired from, for example, a database in the hospital to which the contour correction device 1 is connected. At this time, it is preferable to acquire information such as the modality of use such as CT and MR and the imaging site as incidental information of the medical image.
輪郭修正装置１が医用画像を取得すると、表示手段２が医用画像を表示処理する。医用画像は例えば図３（ａ）のような画面により、ユーザに対して提示することができる。図３（ａ）に示した医用画像の表示画面は、画像表示部Ｉ１に加え、領域自動抽出ボタンＢ１と、修正点指定ボタンＢ２と、輪郭修正ボタンＢ３と、再学習ボタンＢ４と、を備える。ただし図３（ａ）の時点では輪郭が抽出されていないため、Ｂ２〜Ｂ４は選択不可であり、表示形態が異なっている。 When the contour correction device 1 acquires the medical image, the display means 2 displays the medical image. The medical image can be presented to the user by, for example, a screen as shown in FIG. 3 (a). The medical image display screen shown in FIG. 3A includes an area automatic extraction button B1, a correction point designation button B2, a contour correction button B3, and a relearning button B4, in addition to the image display unit I1. .. However, since the contour is not extracted at the time of FIG. 3A, B2 to B4 cannot be selected, and the display form is different.
図３（ａ）において領域自動抽出ボタンＢ１を選択すると、ステップＳ１２に進んで推定手段３が推定モデルにより推定輪郭を決定する。この時、本実施形態では、ステップＳ１１で取得した付帯情報に基づいて、モダリティや撮影部位、病気等から特定される、特定輪郭の種類に応じた推定モデルを推定手段３が選択する。 When the region automatic extraction button B1 is selected in FIG. 3A, the process proceeds to step S12 and the estimation means 3 determines the estimation contour by the estimation model. At this time, in the present embodiment, the estimation means 3 selects an estimation model according to the type of the specific contour, which is identified from the modality, the imaging site, the disease, and the like, based on the incidental information acquired in step S11.
推定輪郭が決定されると、ステップＳ１３において表示手段２が修正画面を表示させる。図３（ｂ）に、修正画面の一例を示す。このように本実施形態では、推定輪郭の決定前後で同様のレイアウトで画面表示を行う。修正画面では、画像表示部Ｉ１において、医用画像と推定輪郭Ｅ２を重畳した推定画像を表示し、Ｂ２〜Ｂ４を選択可能に表示する。図３（ｂ）においては、画像から視覚的にユーザに認識される特定領域を模式的に濃いハッチングで示す。推定画像においては、医用画像に重畳して推定輪郭Ｅ２が表示される。説明のため、ここではユーザが認識する特定輪郭Ｅ１と推定輪郭Ｅ２の間にずれがある場合を想定する。 When the estimated contour is determined, the display means 2 displays the correction screen in step S13. FIG. 3B shows an example of the correction screen. As described above, in the present embodiment, the screen is displayed in the same layout before and after the determination of the estimated contour. On the correction screen, the image display unit I1 displays an estimated image in which the medical image and the estimated contour E2 are superimposed, and B2 to B4 are displayed in a selectable manner. In FIG. 3B, a specific area visually recognized by the user from the image is schematically shown by dark hatching. In the estimated image, the estimated contour E2 is displayed superimposed on the medical image. For the sake of explanation, it is assumed here that there is a gap between the specific contour E1 recognized by the user and the estimated contour E2.
そしてユーザが修正点指定ボタンＢ２を選択すると、ステップＳ１４において、指定手段４が指定点の入力を受け付ける。ユーザは例えばクリック操作等により、推定画像上で指定点の入力を行うことができる。指定点が入力されると、図３（ｂ）のように推定画像上に指定点Ｐ１を表示する。 Then, when the user selects the correction point designation button B2, the designation means 4 accepts the input of the designated point in step S14. The user can input a designated point on the estimated image by, for example, a click operation. When the designated point is input, the designated point P1 is displayed on the estimated image as shown in FIG. 3 (b).
指定点が入力され、輪郭修正ボタンＢ３が選択されると、ステップＳ１５に進んで修正手段５が修正輪郭決定処理を実行する。処理手順の詳細は後述する。 When the designated point is input and the contour correction button B3 is selected, the process proceeds to step S15 and the correction means 5 executes the correction contour determination process. Details of the processing procedure will be described later.
修正輪郭が決定されると、ステップＳ１６に進んで表示手段２が修正輪郭を表示処理して、医用画像に修正輪郭を重畳した画像を含む修正画面を表示する。図４は、修正輪郭決定後の修正画面の表示例を示す図である。このように、ステップＳ１６では、画像表示部Ｉ１において、医用画像に修正輪郭Ｅ３を重畳した画像が表示される。図４に示す通り、修正輪郭Ｅ３は指定点Ｐ１を通る輪郭となる。 When the modified contour is determined, the process proceeds to step S16, and the display means 2 displays the modified contour to display a modified screen including an image in which the modified contour is superimposed on the medical image. FIG. 4 is a diagram showing a display example of the correction screen after the correction contour is determined. As described above, in step S16, the image display unit I1 displays an image in which the modified contour E3 is superimposed on the medical image. As shown in FIG. 4, the modified contour E3 is a contour passing through the designated point P1.
ユーザは、この画面を確認して、再度の修正を行う場合（ステップＳ１７で「Ｎ」）には修正点指定ボタンＢ２を選択してステップＳ１４に戻り、指定点を入力した後、輪郭修正ボタンＢ３を操作してステップＳ１５を繰り返し、再度修正画面を確認する。 When the user confirms this screen and makes another correction (“N” in step S17), the user selects the correction point designation button B2, returns to step S14, inputs the designated point, and then the contour correction button. The correction screen is confirmed again by operating B3 and repeating step S15.
このようにして輪郭の修正を行い、図４に示すような適切な輪郭が抽出されたと判断すると、ユーザは図４の再学習ボタンＢ４を選択し、表示されている修正輪郭（修正が行われなかった場合には推定輪郭）を登録手段６が特定輪郭として登録するとともに、教師データとして推定モデルに学習させる。 When the contour is corrected in this way and it is determined that an appropriate contour as shown in FIG. 4 has been extracted, the user selects the relearning button B4 in FIG. 4 and the displayed corrected contour (correction is performed). If not, the registration means 6 registers the estimated contour) as a specific contour, and trains the estimation model as teacher data.
以上のように、本発明によれば、ユーザが認識する適切な特定輪郭上の点を指定するだけで、輪郭の修正を行うことができる。ここで本発明において、推定輪郭及び指定点に基づく修正輪郭の決定処理（図２のステップＳ１５）の詳細は任意に設計することが可能であり、以下では想定される２つの方法を一例として説明する。 As described above, according to the present invention, the contour can be modified only by designating an appropriate point on the specific contour recognized by the user. Here, in the present invention, the details of the process of determining the estimated contour and the modified contour based on the designated point (step S15 in FIG. 2) can be arbitrarily designed, and the following two assumed methods will be described as an example. To do.
＜実施例１＞
図５は、実施例１における修正輪郭決定処理に係るフローチャートである。実施例１では、基準点からから見て時計回り方向及び反時計回り方向にそれぞれ設定される半周以内の算出範囲について、各輪郭点に係る指定点までの経路のエネルギーを算出する。そして、時計回り方向及び反時計回り方向それぞれの算出範囲内でエネルギーが最小となる経路を構成する輪郭点を分岐輪郭点として特定する。以下詳述する。
<Example 1>
FIG. 5 is a flowchart relating to the modified contour determination process in the first embodiment. In the first embodiment, the energy of the path to the designated point related to each contour point is calculated for the calculation range within half a circumference set in the clockwise direction and the counterclockwise direction respectively from the reference point. Then, the contour points constituting the path having the minimum energy within the calculation ranges of the clockwise direction and the counterclockwise direction are specified as the branch contour points. It will be described in detail below.
修正手段５は、まずステップＳ２１で、指定点に最も近い輪郭点を、基準点として特定する。図６は、特定輪郭Ｅ１、推定輪郭Ｅ２、指定点Ｐ１及び基準点ＲＰの位置関係を示す説明図である。なお基準点は、２つの分岐輪郭点を適切に特定するために設定する点であり、基準点は指定点近傍の輪郭点の中から任意に選択されればよい。 First, in step S21, the correction means 5 specifies the contour point closest to the designated point as a reference point. FIG. 6 is an explanatory diagram showing the positional relationship between the specific contour E1, the estimated contour E2, the designated point P1, and the reference point RP. The reference point is a point set in order to appropriately specify the two branch contour points, and the reference point may be arbitrarily selected from the contour points in the vicinity of the designated point.
ステップＳ２２では、まず基準点ＲＰを対象として、指定点までの経路Ｌ０を特定する。ここで経路の特定については、医用画像の画素値に基づいて任意の輪郭抽出技術を用いて画像の輪郭を抽出することが好ましい。従って、経路は単に輪郭点と指定点とを直線的に結ぶものではなく、医用画像の画素値に応じた、医用画像中に存在する輪郭を通るように抽出される。 In step S22, first, the route L0 to the designated point is specified for the reference point RP. Here, regarding the specification of the route, it is preferable to extract the contour of the image by using an arbitrary contour extraction technique based on the pixel value of the medical image. Therefore, the path is not simply a linear connection between the contour point and the designated point, but is extracted so as to pass through the contour existing in the medical image according to the pixel value of the medical image.
次にステップＳ２３において、ステップＳ２２で抽出した経路のエネルギーが算出される。ここでは輪郭を定量的に評価するための任意の手法でエネルギー算出を行えばよい。エネルギーが小さいほど、適切な輪郭となる。 Next, in step S23, the energy of the path extracted in step S22 is calculated. Here, the energy may be calculated by an arbitrary method for quantitatively evaluating the contour. The smaller the energy, the better the contour.
エネルギーの算出方法の一例として、ＩＳ法で用いられているローカルコストを用いることが想定される（参考：電子情報通信学会論文誌２００４／１２ Ｖｏｌ．Ｊ８７−Ｄ−２ Ｎｏ．１２、ｐｐ．２１３６−２１４４）。この場合、画素ｐからその近傍画素ｑへ向かう輪郭生成におけるコストを、２値のエッジ特徴、強いエッジと弱いエッジを区別するための特徴、経路の進行方向において濃度勾配方向がシャープに変化する境界に高いコストを与える特徴等を用いて算出することができる。このように経路に沿った画素値の変化量に基づいてエネルギーを算出することで、適切に輪郭を評価することができる。 As an example of the energy calculation method, it is assumed that the local cost used in the IS method is used (Reference: Journal of the Institute of Electronics, Information and Communication Engineers 2004/12 Vol. J87-D-2 No. 12, pp. 2136. -2144). In this case, the cost of contour generation from pixel p to its neighboring pixels q is a binary edge feature, a feature for distinguishing between strong and weak edges, and a boundary where the density gradient direction changes sharply in the traveling direction of the path. It can be calculated by using features that give a high cost to the computer. By calculating the energy based on the amount of change in the pixel value along the path in this way, the contour can be appropriately evaluated.
対象の輪郭点について、指定点までの経路のエネルギーの算出が完了すると、ステップＳ２４において算出範囲の輪郭点について経路のエネルギー計算が完了したか否かを判断し、完了していない場合にはステップＳ２５に進んで、エネルギーの算出対象の輪郭点を隣の輪郭点に変更してステップＳ２２に戻り経路の特定・エネルギー算出の処理を繰り返す。図７（ａ）に示すように、基準点から見て時計回り方向及び反時計回り方向の両側について、算出範囲内で対象の輪郭点ＥＰを順次変更しながら、各輪郭点と指定点とを結ぶ経路Ｌｉ、Ｌｊのエネルギーを算出する。 When the calculation of the energy of the path to the designated point is completed for the contour point of the target, it is determined in step S24 whether or not the energy calculation of the path for the contour point of the calculation range is completed, and if not, the step is completed. Proceeding to S25, the contour point for which the energy is calculated is changed to the adjacent contour point, and the process returns to step S22 to repeat the process of specifying the route and calculating the energy. As shown in FIG. 7A, each contour point and the designated point are set while sequentially changing the target contour point EP within the calculation range on both sides in the clockwise direction and the counterclockwise direction when viewed from the reference point. The energies of the connecting paths Li and Lj are calculated.
ここで時計回り方向の算出範囲と反時計回り方向の算出範囲とが重複しないように、算出範囲はそれぞれ半周以内に設定される。算出範囲は例えば、推定輪郭に囲まれた領域内の任意の参照点と、各輪郭点とを結ぶ線分の傾き等によって定義することができる。 Here, the calculation ranges are set within half a turn so that the calculation range in the clockwise direction and the calculation range in the counterclockwise direction do not overlap. The calculation range can be defined, for example, by the slope of a line segment connecting any reference point in the area surrounded by the estimated contour and each contour point.
このようにして各輪郭点についてエネルギーの算出を行い、算出範囲の輪郭点について経路のエネルギー計算が完了すると（ステップＳ２４で「Ｙ」）、ステップＳ２６に進む。修正手段５は、時計回り方向の算出範囲と、反時計回り方向の算出範囲と、のそれぞれについて、算出範囲内で最小のエネルギーを与える経路を特定する。そしてその経路を構成する輪郭点を、分岐輪郭点として特定することにより、時計回り方向及び反時計回り方向それぞれの分岐輪郭点を特定することができる。 The energy is calculated for each contour point in this way, and when the energy calculation of the path for the contour points in the calculation range is completed (“Y” in step S24), the process proceeds to step S26. The correction means 5 specifies a path that gives the minimum energy within the calculation range for each of the clockwise calculation range and the counterclockwise calculation range. Then, by specifying the contour points constituting the path as the branch contour points, the branch contour points in the clockwise direction and the counterclockwise direction can be specified.
このようにして２点の分岐輪郭点が特定されると、図７（ｂ）のように、時計回り方向の分岐輪郭点Ｊ１及び反時計回り方向の分岐輪郭点Ｊ２と、指定点Ｐ１とをそれぞれ結ぶ経路をつなぎ合わせた線が修正線ＭＬとして特定される。そして、推定輪郭のうち、基準点ＲＰから見て分岐輪郭点Ｊ１，Ｊ２の外側の部分と、修正線ＭＬと、をつなぎ合わせた輪郭が修正輪郭として決定される。 When the two branch contour points are specified in this way, as shown in FIG. 7B, the branch contour point J1 in the clockwise direction, the branch contour point J2 in the counterclockwise direction, and the designated point P1 are set. The line connecting the respective routes is specified as the correction line ML. Then, of the estimated contours, the contour connecting the outer portions of the branch contour points J1 and J2 and the correction line ML when viewed from the reference point RP is determined as the correction contour.
＜実施例２＞
実施例２における修正輪郭決定処理のフローチャートを図８に示す。実施例２は、基準点の設定や輪郭点ごとの経路の抽出、経路のエネルギー算出処理については実施例１と同様であり、経路の算出を行う輪郭点の範囲の決定方法が実施例１と異なる。ここでは実施例１と異なる部分についてのみ詳細に説明する。
<Example 2>
FIG. 8 shows a flowchart of the modified contour determination process in the second embodiment. In the second embodiment, the setting of the reference point, the extraction of the route for each contour point, and the energy calculation process of the route are the same as those in the first embodiment, and the method of determining the range of the contour points for calculating the route is the same as that of the first embodiment. different. Here, only the parts different from those of the first embodiment will be described in detail.
ステップＳ３１、ステップＳ３２では実施例１と同様に、基準点の特定及び経路の特定を行う。次にステップＳ３３においては、抽出した経路が、対象の輪郭点以外の範囲において推定輪郭と重複するか否かを判断する。つまり輪郭点から指定点に向かう方向に沿って経路を見たときに、対象の輪郭点から連続した一定の部分までは推定輪郭と重複する経路をとり、その後分岐して指定点に向かうような場合には、経路が推定輪郭と重複すると判断する（ステップＳ３３で「Ｙ」）。 In steps S31 and S32, the reference point and the route are specified as in the first embodiment. Next, in step S33, it is determined whether or not the extracted path overlaps with the estimated contour in a range other than the target contour point. In other words, when looking at the path along the direction from the contour point to the specified point, a path that overlaps with the estimated contour is taken from the target contour point to a continuous fixed part, and then branched toward the specified point. In this case, it is determined that the route overlaps with the estimated contour (“Y” in step S33).
このような場合には当該輪郭点は分岐輪郭点ではなく、分岐輪郭点は基準点から見て当該輪郭点よりも内側に存在すると推定できる。従って、実施例２ではそのような輪郭点についてはエネルギーの算出を行わず、繰り返しを終了する。一方、経路が対象の輪郭点以外の範囲において推定輪郭と重複しない場合にはステップＳ３４に進んで実施例１と同様に経路のエネルギーを算出し、ステップＳ３５で対象の輪郭点を変更して、経路が推定輪郭と重複するようになるまで処理を繰り返す。このような処理が、基準点から見て時計回り方向及び反時計回り方向の両方向について行われる。 In such a case, it can be estimated that the contour point is not a branch contour point and the branch contour point exists inside the contour point when viewed from the reference point. Therefore, in the second embodiment, the energy is not calculated for such contour points, and the repetition is completed. On the other hand, if the route does not overlap with the estimated contour in a range other than the target contour point, the process proceeds to step S34 to calculate the energy of the route in the same manner as in the first embodiment, and the target contour point is changed in step S35. The process is repeated until the path overlaps with the estimated contour. Such processing is performed in both the clockwise direction and the counterclockwise direction when viewed from the reference point.
そしてステップＳ３６において、実施例１のステップＳ２６と同様に、基準点から見て時計回り方向及び反時計回り方向の両側において、それぞれ最小のエネルギーを与える経路を構成する輪郭点を、分岐輪郭点として特定する。 Then, in step S36, as in step S26 of the first embodiment, the contour points constituting the paths that give the minimum energy in both the clockwise direction and the counterclockwise direction when viewed from the reference point are set as branch contour points. Identify.
以上のようにして、輪郭点と指定点とを結ぶ経路を特定し、最もエネルギーが小さくなる経路を選択することによって、推定輪郭に基づき、指定点を通る適切な修正輪郭を決定することができる。 As described above, by identifying the path connecting the contour point and the designated point and selecting the path having the smallest energy, it is possible to determine an appropriate modified contour passing through the designated point based on the estimated contour. ..
ここで実施例１及び実施例２を含む本実施形態においては、指定点を複数入力することもできる。この場合には、修正手段５はまず入力された指定点同士を結ぶ経路（図９の指定点Ｐ１及びＰ２を結ぶ破線）を特定する。この経路の特定は、上述の輪郭点と指定点とを結ぶ経路の特定と同様の手法で行われる。 Here, in the present embodiment including the first and second embodiments, a plurality of designated points can be input. In this case, the correction means 5 first specifies a route connecting the input designated points (broken line connecting the designated points P1 and P2 in FIG. 9). The identification of this route is performed by the same method as the identification of the route connecting the contour point and the designated point described above.
そして、例えば指定点同士を結ぶ経路の中点に最も近い輪郭点等を基準点として設定し、基準点の時計回り方向及び反時計回り方向の分岐輪郭点を上述の方法で特定すればよい。ここで、輪郭点と指定点を結ぶ経路を特定する際には、対象の輪郭点に近い方の指定点との経路を特定する。例えば図９の例において、基準点ＲＰから見て時計回り方向の輪郭点は、指定点Ｐ１よりも指定点Ｐ２の方が近いため、指定点Ｐ２までの経路を特定する。 Then, for example, the contour point closest to the midpoint of the path connecting the designated points may be set as the reference point, and the branch contour points in the clockwise direction and the counterclockwise direction of the reference point may be specified by the above method. Here, when specifying the route connecting the contour point and the designated point, the route with the designated point closer to the target contour point is specified. For example, in the example of FIG. 9, since the contour point in the clockwise direction when viewed from the reference point RP is closer to the designated point P2 than to the designated point P1, the route to the designated point P2 is specified.
１ ：輪郭修正装置
２ ：表示手段
３ ：推定手段
４ ：指定手段
５ ：修正手段
６ ：登録手段
７ ：記憶手段
Ｂ１ ：領域自動抽出ボタン
Ｂ２ ：修正点指定ボタン
Ｂ３ ：輪郭修正ボタン
Ｂ４ ：再学習ボタン
Ｉ１ ：画像表示部
Ｅ１ ：特定輪郭
Ｅ２ ：推定輪郭
Ｅ３ ：修正輪郭
ＥＰ ：輪郭点
Ｐ ：指定点
Ｐ１ ：指定点
Ｐ２ ：指定点
ＲＰ ：基準点
1: Contour correction device 2: Display means 3: Estimate means 4: Designation means 5: Correction means 6: Registration means 7: Storage means B1: Area automatic extraction button B2: Correction point designation button B3: Contour correction button B4: Relearning Button I1: Image display unit E1: Specific contour E2: Estimated contour E3: Corrected contour EP: Contour point P: Designated point P1: Designated point P2: Designated point RP: Reference point
Claims (9)
医用画像においてある領域を特定する特定輪郭として、前記医用画像上の位置と対応付けた推定輪郭を決定する推定手段と、
前記医用画像及び推定輪郭を表示処理し、前記医用画像に前記推定輪郭を重畳した推定画像を含む修正画面を表示させる表示手段と、
前記修正画面に表示された前記推定画像において、ユーザが認識する正しい特定輪郭上の指定点の入力を受け付ける指定手段と、
前記指定点を通るように前記推定輪郭を修正することで、修正輪郭を決定する修正手段と、を備え、
前記修正手段は、
前記推定輪郭を構成する輪郭点及び前記指定点を両端に有する経路のエネルギーを、前記医用画像の画素値に基づいて前記輪郭点ごとに算出し、
前記輪郭点のうち何れかを基準点として、前記基準点の時計回り方向に存在する前記輪郭点のうち、前記エネルギーが最小となる前記経路を構成する前記輪郭点を、前記推定輪郭と前記修正輪郭との分岐点である分岐輪郭点として特定し、
前記基準点の反時計回り方向に存在する前記輪郭点のうち、前記エネルギーが最小となる前記経路を構成する前記輪郭点を、前記分岐輪郭点として特定し、
２つの前記分岐輪郭点と前記指定点とをそれぞれ結ぶ前記経路を含むように、前記修正輪郭を決定する輪郭修正装置。 A contour correction device for correcting automatically extracted contours or areas.
As a specific contour for specifying a certain area in a medical image, an estimation means for determining an estimated contour associated with a position on the medical image, and an estimation means.
A display means for displaying the medical image and the estimated contour, and displaying a correction screen including the estimated image in which the estimated contour is superimposed on the medical image.
In the estimated image displayed on the correction screen, a designation means for accepting an input of a designated point on a correct specific contour recognized by the user, and
A correction means for determining a correction contour by modifying the estimated contour so as to pass through the designated point is provided .
The correction means
The energy of the contour points constituting the estimated contour and the path having the designated points at both ends is calculated for each contour point based on the pixel value of the medical image.
With any of the contour points as a reference point, among the contour points existing in the clockwise direction of the reference point, the contour points constituting the path having the minimum energy are referred to as the estimated contour and the modification. Specified as a branch contour point, which is a branch point with the contour,
Among the contour points existing in the counterclockwise direction of the reference point, the contour points constituting the path having the minimum energy are specified as the branch contour points.
Two of the branch contour point and with said specified point to include the path connecting each contour correcting apparatus that determine the modified contour.
前記推定手段は、前記モデルに基づいて前記推定輪郭を決定する、請求項１から請求項５の何れかに記載の輪郭修正装置。 Further provided with a storage means for storing a model created by learning an appropriate specific contour in the medical image as a correct answer.
The contour correction device according to any one of claims 1 to 5 , wherein the estimation means determines the estimated contour based on the model.
前記モデルは、前記登録手段により登録された特定輪郭を、前記医用画像における適切な特定輪郭として追加学習することにより更新される、請求項６に記載の輪郭修正装置。 Further provided with a registration means for registering the estimated contour or the modified contour being displayed as a specific contour in response to the user's input via the modification screen.
The contour correction device according to claim 6 , wherein the model is updated by additionally learning the specific contour registered by the registration means as an appropriate specific contour in the medical image.
医用画像においてある領域を特定する特定輪郭として、前記医用画像上の位置と対応付けた推定輪郭を決定する推定手段と、
前記医用画像及び推定輪郭を表示処理し、前記医用画像に前記推定輪郭を重畳した推定画像を含む修正画面を表示させる表示手段と、
前記修正画面に表示された前記推定画像において、ユーザが認識する正しい特定輪郭上の指定点の入力を受け付ける指定手段と、
前記指定点を通るように、前記推定輪郭を修正することで、修正輪郭を決定する修正手段と、としてコンピュータを機能させ、
前記修正手段は、
前記推定輪郭を構成する輪郭点及び前記指定点を両端に有する経路のエネルギーを、前記医用画像の画素値に基づいて前記輪郭点ごとに算出し、
前記輪郭点のうち何れかを基準点として、前記基準点の時計回り方向に存在する前記輪郭点のうち、前記エネルギーが最小となる前記経路を構成する前記輪郭点を、前記推定輪郭と前記修正輪郭との分岐点である分岐輪郭点として特定し、
前記基準点の反時計回り方向に存在する前記輪郭点のうち、前記エネルギーが最小となる前記経路を構成する前記輪郭点を、前記分岐輪郭点として特定し、
２つの前記分岐輪郭点と前記指定点とをそれぞれ結ぶ前記経路を含むように、前記修正輪郭を決定する輪郭修正プログラム。 A contour correction program for correcting automatically extracted contours or areas.
As a specific contour for specifying a certain area in a medical image, an estimation means for determining an estimated contour associated with a position on the medical image, and an estimation means.
A display means for displaying the medical image and the estimated contour, and displaying a correction screen including the estimated image in which the estimated contour is superimposed on the medical image.
In the estimated image displayed on the correction screen, a designation means for accepting an input of a designated point on a correct specific contour recognized by the user, and
The computer functions as a correction means for determining the correction contour by modifying the estimated contour so as to pass through the designated point .
The correction means
The energy of the contour points constituting the estimated contour and the path having the designated points at both ends is calculated for each contour point based on the pixel value of the medical image.
With any of the contour points as a reference point, among the contour points existing in the clockwise direction of the reference point, the contour points constituting the path having the minimum energy are referred to as the estimated contour and the modification. Specified as a branch contour point, which is a branch point with the contour,
Among the contour points existing in the counterclockwise direction of the reference point, the contour points constituting the path having the minimum energy are specified as the branch contour points.
Two of the branch contour point and with said specified point to include the path connecting each contour fix that determine the modified contour.
医用画像においてある領域を特定する特定輪郭として、前記医用画像上の位置と対応付けた推定輪郭を決定する推定ステップと、
前記医用画像及び推定輪郭を表示処理し、前記医用画像に前記推定輪郭を重畳した推定画像を含む修正画面を表示させる表示ステップと、
前記修正画面に表示された前記推定画像において、ユーザが認識する正しい特定輪郭上の指定点の入力を受け付ける指定ステップと、
前記指定点を通るように前記推定輪郭を修正することで、修正輪郭を決定する修正ステップと、をコンピュータに実行させ、
前記修正ステップでは、
前記推定輪郭を構成する輪郭点及び前記指定点を両端に有する経路のエネルギーを、前記医用画像の画素値に基づいて前記輪郭点ごとに算出し、
前記輪郭点のうち何れかを基準点として、前記基準点の時計回り方向に存在する前記輪郭点のうち、前記エネルギーが最小となる前記経路を構成する前記輪郭点を、前記推定輪郭と前記修正輪郭との分岐点である分岐輪郭点として特定し、
前記基準点の反時計回り方向に存在する前記輪郭点のうち、前記エネルギーが最小となる前記経路を構成する前記輪郭点を、前記分岐輪郭点として特定し、
２つの前記分岐輪郭点と前記指定点とをそれぞれ結ぶ前記経路を含むように、前記修正輪郭を決定する輪郭修正方法。
A contour correction method for correcting automatically extracted contours or areas.
As a specific contour for specifying a certain area in the medical image, an estimation step for determining an estimated contour associated with a position on the medical image, and an estimation step.
A display step of displaying the medical image and the estimated contour, and displaying a correction screen including the estimated image in which the estimated contour is superimposed on the medical image.
In the estimated image displayed on the correction screen, a designation step for accepting input of a designated point on a correct specific contour recognized by the user, and a designation step.
By modifying the estimated contour so that it passes through the designated point, a computer is made to perform a modification step of determining the modification contour .
In the correction step,
The energy of the contour points constituting the estimated contour and the path having the designated points at both ends is calculated for each contour point based on the pixel value of the medical image.
With any of the contour points as a reference point, among the contour points existing in the clockwise direction of the reference point, the contour points constituting the path having the minimum energy are referred to as the estimated contour and the modification. Specified as a branch contour point, which is a branch point with the contour,
Among the contour points existing in the counterclockwise direction of the reference point, the contour points constituting the path having the minimum energy are specified as the branch contour points.
Two of the branch contour point and with said specified point to include the path connecting each contour correction method that determine the modified contour.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021010716A JP6895663B1 (en) | 2021-01-26 | 2021-01-26 | Contour correction device, contour correction program and contour correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021010716A JP6895663B1 (en) | 2021-01-26 | 2021-01-26 | Contour correction device, contour correction program and contour correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6895663B1 true JP6895663B1 (en) | 2021-06-30 |
| JP2022114403A JP2022114403A (en) | 2022-08-05 |
Family
ID=76540400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021010716A Active JP6895663B1 (en) | 2021-01-26 | 2021-01-26 | Contour correction device, contour correction program and contour correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6895663B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005028051A (en) * | 2003-07-11 | 2005-02-03 | Matsushita Electric Ind Co Ltd | Image display device and image display method |
| JP2017196008A (en) * | 2016-04-26 | 2017-11-02 | 株式会社日立製作所 | Ultrasonic diagnostic equipment |
-
2021
- 2021-01-26 JP JP2021010716A patent/JP6895663B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005028051A (en) * | 2003-07-11 | 2005-02-03 | Matsushita Electric Ind Co Ltd | Image display device and image display method |
| JP2017196008A (en) * | 2016-04-26 | 2017-11-02 | 株式会社日立製作所 | Ultrasonic diagnostic equipment |
Non-Patent Citations (1)
| Title |
|---|
| 齊藤 剛史 他: "正規化コストに基づく輪郭抽出法", 電子情報通信学会論文誌, vol. Vol.J87-D-2 No.12, JPN6021006123, December 2004 (2004-12-01), pages 2136 - 2144, ISSN: 0004449794 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022114403A (en) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112885453B (en) | Method and system for identifying pathological changes in subsequent medical images | |
| US20180144244A1 (en) | Distributed clinical workflow training of deep learning neural networks | |
| JP5946221B2 (en) | Contour correction device, method and program | |
| CN111210401B (en) | Automatic aortic detection and quantification from medical images | |
| JP4911029B2 (en) | Abnormal shadow candidate detection method, abnormal shadow candidate detection device | |
| JP4785371B2 (en) | Multidimensional structure extraction method and system using dynamic constraints | |
| US10991102B2 (en) | Image processing apparatus and image processing method | |
| JP5897308B2 (en) | Medical image processing device | |
| WO2006011545A1 (en) | Medical image diagnosis assisting system, device and image processing program | |
| JP7101809B2 (en) | Image processing equipment, image processing methods, and programs | |
| US11996182B2 (en) | Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network | |
| JP2020166418A (en) | Information processing apparatus, information processing method and program | |
| Yang et al. | Learning feature descriptors for pre-and intra-operative point cloud matching for laparoscopic liver registration | |
| JP2019530502A (en) | Device for adaptive contouring of body parts | |
| JP7023162B2 (en) | Forecasting device, forecasting method, and forecasting program | |
| JP6895663B1 (en) | Contour correction device, contour correction program and contour correction method | |
| US20030128890A1 (en) | Method of forming different images of an object to be examined | |
| CN111566699B (en) | Registration of static pre-flow planning data to dynamic intra-flow segmentation data | |
| JP2005270635A (en) | Method for processing image and device for processing image | |
| US12076158B2 (en) | Intuitive display for rotator cuff tear diagnostics | |
| Rusak et al. | Detail matters: High-frequency content for realistic synthetic mri generation | |
| JP2013081713A (en) | Medical image processing apparatus | |
| Crisosto et al. | Artificially-generated consolidations and balanced augmentation increase performance of U-net for lung parenchyma segmentation on MR images | |
| Melo et al. | Creation of Retinal Mosaics for Diabetic Retinopathy Screening: A Comparative Study | |
| US20230335283A1 (en) | Information processing apparatus, operation method of information processing apparatus, operation program of information processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210126 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210126 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210528 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6895663 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |