JP5675424B2 - Radiotherapy apparatus control apparatus, processing method of radiotherapy apparatus control apparatus, and program thereof - Google Patents
Radiotherapy apparatus control apparatus, processing method of radiotherapy apparatus control apparatus, and program thereof Download PDFInfo
- Publication number
- JP5675424B2 JP5675424B2 JP2011038226A JP2011038226A JP5675424B2 JP 5675424 B2 JP5675424 B2 JP 5675424B2 JP 2011038226 A JP2011038226 A JP 2011038226A JP 2011038226 A JP2011038226 A JP 2011038226A JP 5675424 B2 JP5675424 B2 JP 5675424B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- marker
- luminance difference
- range
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001959 radiotherapy Methods 0.000 title claims description 47
- 238000003672 processing method Methods 0.000 title claims description 9
- 239000003550 marker Substances 0.000 claims description 402
- 235000019557 luminance Nutrition 0.000 claims description 367
- 238000000034 method Methods 0.000 claims description 210
- 230000008569 process Effects 0.000 claims description 200
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 230000005855 radiation Effects 0.000 claims description 20
- 230000001678 irradiating effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000007717 exclusion Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 2
- 230000008602 contraction Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 17
- 238000007781 pre-processing Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
Images
Landscapes
- Radiation-Therapy Devices (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本発明は、マーカが埋め込まれた被写体へ放射線を照射してデジタル生成された放射線透視画像中のマーカを検出する放射線治療装置制御装置及び放射線治療装置制御装置の処理方法並びにそのプログラムに関する。 The present invention relates to a radiation therapy apparatus control apparatus, a radiation therapy apparatus control apparatus processing method, and a program therefor, which detect a marker in a digitally generated radioscopic image by irradiating a subject in which the marker is embedded.
主に金属で形成された線状のマーカを人体の患部付近に埋め込んで、後に人体に放射線を照射して撮像した放射線透視画像から前記マーカの位置を特定することで、患部の位置を特定する技術が放射線治療装置で利用されている。また関連する技術が特許文献1に開示されている。
The position of the affected part is specified by embedding a linear marker mainly made of metal in the vicinity of the affected part of the human body, and then specifying the position of the marker from a radiographic image obtained by irradiating the human body with radiation. Technology is used in radiotherapy equipment. A related technique is disclosed in
上述の特許文献1の技術では、撮像して得た画像と、テンプレート画像とを用いて、濃淡正規化相互相関法によるテンプレートマッチングを行うことで、画像中からマーカを検出する処理を行っている。
しかしながら、この方法においては正規化相互相関法を用いているため、処理時間を要するという課題が存在する。
In the technique of the above-described
However, since this method uses the normalized cross-correlation method, there is a problem that processing time is required.
そこでこの発明は、上記の課題を解決することのできる放射線治療装置制御装置、放射線治療装置制御装置の処理方法及びそのプログラムを提供することを目的としている。 Accordingly, an object of the present invention is to provide a radiotherapy apparatus control apparatus, a processing method for the radiotherapy apparatus control apparatus, and a program thereof that can solve the above-described problems.
上記目的を達成するために、本発明は、マーカが埋め込まれた被写体へ放射線を照射してデジタル生成された放射線透視画像中の前記マーカを検出する放射線治療装置制御装置であって、前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成するマーカエッジ強調部と、前記画素毎輝度差情報において前記輝度差が所定の閾値以上の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ出現画素と特定する処理と、前記画素毎輝度差情報において前記輝度差が所定の閾値未満の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ非出現画素と特定する処理とをそれぞれ所定回数、前記複数の異なる方向それぞれについて別々に繰り返し、前記画素毎輝度差情報において前記輝度差が所定の閾値以上となる画素のうちノイズと判定される画素を除去してマーカ候補となる画素を特定するノイズ除去部と、前記マーカ候補となる画素について、隣接する画素の纏まりによって複数の領域に分類して、領域の範囲が閾値以上の領域に属する画素を、マーカを示す画素として特定するマーカ特定部と、を備えることを特徴とする放射線治療装置制御装置である。 In order to achieve the above object, the present invention provides a radiotherapy apparatus controller for detecting a marker in a radioscopic image digitally generated by irradiating a subject in which the marker is embedded, wherein the radioscopy is performed. Any of the luminance differences between the luminance of a certain pixel in the image and the luminances of two opposing pixels located on a straight line in a predetermined direction passing through the certain pixel and positioned at a predetermined distance from the certain pixel. One of the luminance differences is calculated for a plurality of different directions passing through the certain pixel, information on the largest luminance difference among them is specified for the certain pixel, and information on the luminance difference is stored in the plurality of fluoroscopic images. a marker edge enhancement unit that creates a pixel for each luminance difference information held about the pixel, the luminance difference in the pixel each brightness difference information in the predetermined direction to the above pixel predetermined threshold A process for identifying a pixel in a predetermined range from the corresponding pixel as a marker appearance pixel, and a predetermined range from the pixel connected in the predetermined direction to a pixel having the luminance difference less than a predetermined threshold in the luminance difference information for each pixel The process of identifying the pixel as a marker non-appearing pixel is repeated a predetermined number of times for each of the plurality of different directions, and noise among pixels whose luminance difference is greater than or equal to a predetermined threshold in the pixel-by-pixel luminance difference information. A noise removing unit that removes pixels to be determined and identifies pixels that are marker candidates, and the pixels that are marker candidates are classified into a plurality of regions based on a group of adjacent pixels, and the region range is equal to or greater than a threshold value A radiotherapy apparatus control apparatus comprising: a marker specifying unit that specifies a pixel belonging to a region as a pixel indicating a marker.
また本発明は、上述の放射線治療装置制御装置において、前記放射線透視画像中における各画素についての輝度値を対数変換する対数変換部とを備え、前記マーカエッジ強調部は、前記対数変換後の前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成することを特徴とする。 The present invention further includes a logarithmic conversion unit that logarithmically converts a luminance value of each pixel in the radiographic image in the radiotherapy apparatus control device, wherein the marker edge emphasis unit is the logarithmic conversion unit Of the luminance difference between the luminance of a certain pixel in a fluoroscopic image and the luminance of two opposing pixels located on a straight line in a predetermined direction passing through the certain pixel and positioned at a predetermined distance from the certain pixel Is calculated for a plurality of different directions passing through the certain pixel, information on the largest luminance difference among them is specified for the certain pixel, and information on the luminance difference is included in the radiographic image. The brightness difference information for each pixel stored for the plurality of pixels is created.
また本発明は、上述の放射線治療装置制御装置において、前記放射線透視画像中に出現するマーカの当該放射線透視画像中における端点を含む複数点を特定するマーカ上複数点特定部と、前記マーカの複数点を含むテンプレート画像範囲を設定するテンプレート範囲設定部と、前記端点の情報と、前記テンプレート画像範囲の情報と、当該テンプレート画像範囲の前記放射線透視画像中における位置の情報と、を含むテンプレート画像情報を生成するテンプレート画像生成部と、を備え、前記マーカ特定部は、前記分類した領域の範囲が閾値以上の領域を含む探索範囲を決定し、当該探索範囲内の画素と、前記テンプレート画像を示す画素の前記画素毎輝度差情報に基づく輝度差を用いて算出した相関値を算出し、当該相関値が閾値以上であると判定した場合の前記探索範囲内の位置範囲の原点と、前記テンプレート画像が示すマーカの端点の当該テンプレート画像における座標とを用いて、前記放射線透視画像中に出現するマーカの端点座標を特定することを特徴とする。 According to the present invention, in the above-described radiotherapy apparatus control apparatus, a plurality of on-marker specifying parts for specifying a plurality of points including end points in the radioscopic image of the marker appearing in the radioscopic image, and a plurality of the markers Template image information including a template range setting unit for setting a template image range including a point, information on the end point, information on the template image range, and information on a position of the template image range in the fluoroscopic image A marker image generation unit that determines a search range including a region where the classified region range is equal to or greater than a threshold, and indicates the pixels in the search range and the template image A correlation value calculated using a luminance difference based on the luminance difference information for each pixel of the pixel is calculated, and the correlation value is equal to or greater than a threshold value. The coordinate of the end point of the marker that appears in the fluoroscopic image is specified using the origin of the position range within the search range and the coordinates of the end point of the marker indicated by the template image in the template image. It is characterized by that.
また本発明は、上述の放射線治療装置制御装置において、前記マーカ上複数点特定部は、前記放射線透視画像中に出現するマーカの当該放射線透視画像中における端点を含む複数点を、異なる時刻に生成された前記放射線透視画像それぞれについて特定し、前記テンプレート範囲設定部は、前記マーカの複数点を含むテンプレート画像範囲を、異なる時刻に生成された前記放射線透視画像それぞれについて設定し、前記テンプレート画像生成部は、前記端点の情報と、前記テンプレート画像範囲の情報と、当該テンプレート画像範囲の前記放射線透視画像中における位置の情報と、を含むテンプレート画像情報を、異なる時刻に生成された前記放射線透視画像それぞれについて複数生成し、前記テンプレート画像に近い画素の纏まりの範囲を示すマッチング対象範囲を、前記複数のテンプレート画像それぞれについて特定するマッチング対象範囲特定部を備え、前記マーカ特定部は、前記分類した領域の範囲が閾値以上の領域を含む探索範囲を決定し、当該探索範囲を包含する前記マッチング対象範囲を決定し、前記探索範囲において前記決定したマッチング対象範囲に属するテンプレート画像の範囲と同一の位置範囲の画素と、前記テンプレート画像を示す画素の前記画素毎輝度差情報に基づく輝度差を用いて算出した相関値を算出し、当該相関値が閾値以上であると判定した場合の前記探索範囲内の位置範囲の原点と、前記決定したマッチング対象範囲に属するテンプレート画像が示すマーカの端点の当該テンプレート画像における座標とを用いて、前記放射線透視画像中に出現するマーカの端点座標を特定することを特徴とする。 Further, the present invention is the above-described radiotherapy device control device, wherein the plurality of on-marker specifying units generate a plurality of points including end points in the radiographic image of markers that appear in the radiographic image at different times. The template range setting unit sets a template image range including a plurality of points of the marker for each of the radioscopic images generated at different times, and the template image generation unit The template image information including the end point information, the template image range information, and the position information of the template image range in the radioscopic image, respectively, the radiographic images generated at different times, respectively. A plurality of pixel values are generated, and a range of pixels close to the template image is determined. A matching target range specifying unit that specifies a matching target range for each of the plurality of template images, and the marker specifying unit determines a search range including a region where the range of the classified region is equal to or greater than a threshold, and the search The matching target range including the range is determined, and the pixel-by-pixel luminance difference information of the pixel in the same position range as the template image range belonging to the determined matching target range in the search range and the pixel indicating the template image When the correlation value calculated using the luminance difference based on is calculated and the correlation value is determined to be equal to or greater than the threshold, the origin of the position range within the search range and the template image belonging to the determined matching target range are Using the coordinates of the end points of the marker to be displayed in the template image. And identifies the endpoint coordinates of the marker to be.
また本発明は、上述の放射線治療装置制御装置において、前記マーカ特定部は、前記探索範囲を包含する前記マッチング対象範囲が複数存在する場合には、当該探索範囲を包含する複数の異なる前記マッチング対象範囲を決定し、前記決定した複数のマッチング対象範囲のうちの1つのマッチング対象範囲に属する前記探索範囲の一部範囲については、当該一部範囲の画素と、前記1つのマッチング対象範囲に属するテンプレート画像を示す画素の前記画素毎輝度差情報に基づく輝度差を用いて算出した相関値を算出し、当該相関値が閾値以上であるとの判定に利用した前記探索範囲内の位置範囲の原点および前記1つのマッチング対象範囲に属するテンプレート画像が示すマーカの端点の当該テンプレート画像における座標と、を用いて、前記放射線透視画像中に出現するマーカの端点座標を特定することを特徴とする。 In the radiotherapy apparatus control device described above, the marker specifying unit may include a plurality of different matching targets including the search range when there are a plurality of matching target ranges including the search range. A range is determined, and for a partial range of the search range belonging to one matching target range among the determined plurality of matching target ranges, a pixel belonging to the partial range and a template belonging to the one matching target range A correlation value calculated using a luminance difference based on the pixel-by-pixel luminance difference information of a pixel indicating an image is calculated, and the origin of the position range in the search range used for determining that the correlation value is equal to or greater than a threshold value and Using the coordinates in the template image of the end point of the marker indicated by the template image belonging to the one matching target range, And identifies the endpoint coordinates of the marker appearing in the serial fluoroscopic images.
また本発明は、上述の放射線治療装置制御装置において、前記放射線透視画像中における前記複数点を結ぶ線上に対応する画素以外の画素を以降の処理における対象除外を決定し、当該対象除外を示す情報を前記複数点を結ぶ線上に対応する画素複数点を結ぶ線上に対応する画素それぞれついて保持したマスク情報を、異なる時刻に生成された前記放射線透視画像それぞれについて生成するテンプレートマスク設定部と、を備え、前記マーカ特定部は、前記マスク情報で保持された画素の輝度差の情報を用いずに前記相関値の算出を行うことを特徴とする。 Further, the present invention provides the above-described radiotherapy apparatus control apparatus, wherein information other than pixels corresponding to the line connecting the plurality of points in the radiographic image is determined to be excluded in the subsequent processing, and indicates the target exclusion A template mask setting unit that generates mask information for each pixel corresponding to a line connecting a plurality of points corresponding to the line connecting the plurality of points for each of the radiographic images generated at different times. The marker specifying unit calculates the correlation value without using the information on the luminance difference between the pixels held in the mask information.
また本発明は、マーカが埋め込まれた被写体へ放射線を照射してデジタル生成された放射線透視画像中の前記マーカを検出する処理方法であって、前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成し、前記画素毎輝度差情報において前記輝度差が所定の閾値以上の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ出現画素と特定する処理と、前記画素毎輝度差情報において前記輝度差が所定の閾値未満の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ非出現画素と特定する処理とをそれぞれ所定回数、前記複数の異なる方向それぞれについて別々に繰り返し、前記画素毎輝度差情報において前記輝度差が所定の閾値以上となる画素のうちノイズと判定される画素を除去してマーカ候補となる画素を特定し、前記マーカ候補となる画素について、隣接する画素の纏まりによって複数の領域に分類して、領域の範囲が閾値以上の領域に属する画素を、マーカを示す画素として特定することを特徴とする処理方法である。 Further, the present invention is a processing method for detecting the marker in a radiographic image digitally generated by irradiating a subject in which the marker is embedded, and the luminance of a certain pixel in the radiographic image, The luminance difference of any one of the luminance differences between the luminances of two opposing pixels located on a straight line in a predetermined direction passing through the certain pixel and located at a predetermined distance from the certain pixel is determined as the certain pixel. Per-pixel luminance difference information that is calculated for a plurality of different directions passing through the image, specifies the information on the largest luminance difference among them for the certain pixel, and holds the information on the luminance difference for the plurality of pixels in the radiographic image create a pixel marker occurrence pixel and Japanese in a predetermined range from the pixel of the luminance difference in the pixel each luminance difference information is continuous in the predetermined direction to the above pixel predetermined threshold And a process of identifying a pixel in a predetermined range from the pixel connected in the predetermined direction to a pixel whose luminance difference is less than a predetermined threshold in the luminance difference information for each pixel as a marker non-appearing pixel, a predetermined number of times. And separately repeating for each of the plurality of different directions, and identifying pixels that are marker candidates by removing pixels that are determined to be noise from pixels in which the luminance difference is equal to or greater than a predetermined threshold in the luminance difference information for each pixel. The pixel candidate is classified into a plurality of regions according to a group of adjacent pixels, and a pixel belonging to a region whose region range is equal to or greater than a threshold is specified as a pixel indicating a marker. It is.
また本発明は、上述の処理方法において、前記放射線透視画像中における各画素についての輝度値を対数変換し、前記対数変換後の前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成することを特徴とする。 In the processing method described above, the present invention performs logarithmic conversion on the luminance value of each pixel in the radiographic image, and calculates the luminance of a certain pixel and the certain pixel in the radiographic image after the logarithmic conversion. A luminance difference of any one of the luminance differences between two pixels facing each other located on a straight line in a predetermined direction passing through and at a predetermined distance from the certain pixel is a plurality of luminance differences passing through the certain pixel. Calculating for different directions, specifying information on the largest luminance difference among them for a certain pixel, and creating pixel-by-pixel luminance difference information holding the luminance difference information for a plurality of pixels in the fluoroscopic image It is characterized by.
また本発明は、上述の処理方法において、前記放射線透視画像中に出現するマーカの当該放射線透視画像中における端点を含む複数点を特定し、前記マーカの複数点を含むテンプレート画像範囲を設定し、前記端点の情報と、前記テンプレート画像範囲の情報と、当該テンプレート画像範囲の前記放射線透視画像中における位置の情報と、を含むテンプレート画像情報を生成し、前記分類した領域の範囲が閾値以上の領域を含む探索範囲を決定し、当該探索範囲内の画素と、前記テンプレート画像を示す画素の前記画素毎輝度差情報に基づく輝度差を用いて算出した相関値を算出し、当該相関値が閾値以上であると判定した場合の前記探索範囲内の位置範囲の原点と、前記テンプレート画像が示すマーカの端点の当該テンプレート画像における座標とを用いて、前記放射線透視画像中に出現するマーカの端点座標を特定することを特徴とする。 In the processing method described above, the present invention specifies a plurality of points including end points in the fluoroscopic image of the marker appearing in the fluoroscopic image, sets a template image range including the multiple points of the marker, Generating template image information including information on the end points, information on the template image range, and information on a position of the template image range in the fluoroscopic image, and a region in which the range of the classified region is a threshold value or more A correlation value calculated using a luminance difference based on the luminance difference information for each pixel of the pixel in the search range and the pixel indicating the template image, and the correlation value is equal to or greater than a threshold value In the template image at the origin of the position range in the search range and the end point of the marker indicated by the template image By using the coordinates, and identifies the endpoint coordinates of the marker appearing in the fluoroscopic image.
また本発明は、マーカが埋め込まれた被写体へ放射線を照射してデジタル生成された放射線透視画像中の前記マーカを検出する放射線治療装置制御装置のコンピュータを、前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成するマーカエッジ強調手段、前記画素毎輝度差情報において前記輝度差が所定の閾値以上の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ出現画素と特定する処理と、前記画素毎輝度差情報において前記輝度差が所定の閾値未満の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ非出現画素と特定する処理とをそれぞれ所定回数、前記複数の異なる方向それぞれについて別々に繰り返し、前記画素毎輝度差情報において前記輝度差が所定の閾値以上となる画素のうちノイズと判定される画素を除去してマーカ候補となる画素を特定するノイズ除去手段、前記マーカ候補となる画素について、隣接する画素の纏まりによって複数の領域に分類して、領域の範囲が閾値以上の領域に属する画素を、マーカを示す画素として特定するマーカ特定手段、として機能させることを特徴とするプログラムである。 According to another aspect of the present invention, there is provided a computer of a radiation therapy apparatus control device that detects the marker in a radioscopic image digitally generated by irradiating a subject in which the marker is embedded, with respect to a certain pixel in the radiographic image. The luminance difference of any one of the luminance and the luminance of each of two opposing pixels located on a straight line in a predetermined direction passing through the certain pixel and positioned at a predetermined distance from the certain pixel, For each pixel that is calculated for a plurality of different directions passing through the pixel, specifies the information on the largest luminance difference among the pixels, and holds the information on the luminance difference for the pixels in the fluoroscopic image. marker edge enhancement means for creating a luminance difference information, those of the luminance difference in the pixel each luminance difference information is continuous in the predetermined direction to the above pixel predetermined threshold A process of identifying a pixel in a predetermined range from a pixel as a marker appearing pixel, and a pixel in a predetermined range from the pixel connected in the predetermined direction to a pixel having the luminance difference less than a predetermined threshold in the luminance difference information for each pixel Pixels that are determined as noise among the pixels in which the luminance difference is equal to or greater than a predetermined threshold in the luminance difference information for each pixel, by repeating the process of specifying a non-appearing pixel separately for each of the plurality of different directions. Noise removal means for identifying pixels that are candidate markers by removing the pixels, the pixels that are candidate markers are classified into a plurality of regions according to a group of adjacent pixels, and pixels belonging to regions where the region range is equal to or greater than a threshold , A program that functions as marker specifying means for specifying as a pixel indicating a marker.
また本発明は、上述のプログラムを、前記放射線透視画像中における各画素についての輝度値を対数変換する対数変換手段として機能させ、前記マーカエッジ強調手段を、前記対数変換後の前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成する手段として機能させることを特徴とする。 Further, the present invention causes the above-described program to function as a logarithmic conversion unit that logarithmically converts a luminance value for each pixel in the radiographic image, and the marker edge enhancement unit is included in the radiographic image after the logarithmic conversion. Either one of the luminance difference between the luminance of a certain pixel and the luminance of two opposing pixels located on a straight line in a predetermined direction passing through the certain pixel and positioned at a predetermined distance from the certain pixel. Is calculated for a plurality of different directions passing through the certain pixel, information on the largest luminance difference among them is specified for the certain pixel, and the information on the luminance difference is determined for the plurality of pixels in the fluoroscopic image. It is made to function as a means to produce the brightness | luminance difference information for every pixel hold | maintained about.
また本発明は、上述のプログラムを、前記放射線透視画像中に出現するマーカの当該放射線透視画像中における端点を含む複数点を特定するマーカ上複数点特定手段、前記マーカの複数点を含むテンプレート画像範囲を設定するテンプレート範囲設定手段、前記端点の情報と、前記テンプレート画像範囲の情報と、当該テンプレート画像範囲の前記放射線透視画像中における位置の情報と、を含むテンプレート画像情報を生成するテンプレート画像生成手段、として機能させ、前記マーカ特定手段を、前記分類した領域の範囲が閾値以上の領域を含む探索範囲を決定し、当該探索範囲内の画素と、前記テンプレート画像を示す画素の前記画素毎輝度差情報に基づく輝度差を用いて算出した相関値を算出し、当該相関値が閾値以上であると判定した場合の前記探索範囲内の位置範囲の原点と、前記テンプレート画像が示すマーカの端点の当該テンプレート画像における座標とを用いて、前記放射線透視画像中に出現するマーカの端点座標を特定する手段として機能させることを特徴とする。 Further, the present invention provides the above-described program, a plurality of on-marker specifying means for specifying a plurality of points including end points in the fluoroscopic image of the marker appearing in the fluoroscopic image, a template image including the plurality of markers Template range setting means for setting a range, template image generation for generating template image information including information on the end point, information on the template image range, and information on a position of the template image range in the radiographic image And the marker specifying means determines a search range including a region where the range of the classified region is equal to or greater than a threshold value, and the pixel-by-pixel brightness of pixels within the search range and a pixel indicating the template image A correlation value calculated using a luminance difference based on the difference information is calculated, and it is determined that the correlation value is equal to or greater than a threshold value. As a means for specifying the end point coordinates of the marker appearing in the radioscopic image using the origin of the position range within the search range and the coordinates of the end point of the marker indicated by the template image in the template image It is made to function.
本発明によれば、マーカ画像を生成するにあたり、正規化相関の処理を用いないため、マーカの検出速度を上げることができる。
また、放射線透視画像の各画素の輝度値の対数変換を行い、これにより、マーカを示す各画素の輝度と、それ以外の箇所の画素の輝度との輝度差を均一にするような処理を行っているため、一定の輝度値の閾値を用いて、簡易にマーカを検出できるような仕組みとし、これによりマーカ検出の処理速度を上げることができる。
According to the present invention, since the normalized correlation process is not used in generating the marker image, the marker detection speed can be increased.
In addition, logarithmic conversion of the luminance value of each pixel of the fluoroscopic image is performed, thereby performing a process of making the luminance difference between the luminance of each pixel indicating the marker and the luminance of the pixels in other portions uniform. Therefore, it is possible to easily detect a marker using a threshold value of a certain luminance value, thereby increasing the marker detection processing speed.
以下、本発明の一実施形態による放射線治療装置制御装置を図面を参照して説明する。
図1は同実施形態による放射線治療装置制御装置の構成を示すブロック図である。
この図において、符号1は放射線治療装置制御装置である。そして、放射線治療装置制御装置1は、放射線透視画像生成部101、テンプレート登録制御部102、マーカ上複数点特定部103、対数変換部104、マーカエッジ強調部105、テンプレート範囲設定部106、端点位置設定部107、テンプレートマスク設定部108、テンプレート画像生成部109、マッチング対象範囲特定部110、ノイズ除去部111、マーカ特定部112、記憶部113を備えている。
A radiotherapy apparatus control apparatus according to an embodiment of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a radiotherapy apparatus control apparatus according to the embodiment.
In this figure,
図示しない放射線治療装置は、放射線(X線)を出射する放射線照射装置及び当該放射線を検出するための放射線検出器を具備する。放射線検出器は、放射線照射装置から出射されて図示しない被写体(人体)を透過した放射線を受光して、その被写体の放射線透視画像の生成用の画像データを生成する。放射線治療装置制御装置1は、放射線治療装置から得た当該画像データを基に放射線透視画像をデジタル生成するなど、プログラムを起動することによって、上記各処理部を機能させる。なお、放射線検出器としては、FPD(Flat Panel Detector)、X線II(Image Intensifier)が例示される。
A radiotherapy apparatus (not shown) includes a radiation irradiation apparatus that emits radiation (X-rays) and a radiation detector for detecting the radiation. The radiation detector receives radiation emitted from the radiation irradiating apparatus and transmitted through a subject (human body) (not shown), and generates image data for generating a fluoroscopic image of the subject. The radiotherapy
人体の患部付近には、Au,Pt等の人体への影響が少なく且つX線の透過性が低いものからなる、マーカが埋め込まれている。このため、前記放射線透視画像において当該マーカ位置を特定することにより、患部位置の同定を容易に行うことが可能となる。 In the vicinity of the affected part of the human body, a marker made of Au, Pt or the like that has little influence on the human body and has low X-ray permeability is embedded. For this reason, it is possible to easily identify the affected part position by specifying the marker position in the radioscopic image.
図2は放射線透視画像のイメージ図である。
図3は放射線治療装置制御装置の事前処理のフローを示す第1の図である。
次に、本実施形態による放射線治療装置制御装置の処理フローの詳細について説明する。なお、本実施形態では、マーカはその形状が線状であり、被写体内に曲線状(山なりの形状)に配される場合を例に挙げて説明を行う。
FIG. 2 is an image view of a radiographic image.
FIG. 3 is a first diagram illustrating a pre-processing flow of the radiotherapy apparatus control apparatus.
Next, the details of the processing flow of the radiotherapy apparatus control apparatus according to the present embodiment will be described. In the present embodiment, the marker has a linear shape, and a case where the marker is arranged in a curved shape (a mountain shape) in the subject will be described as an example.
<事前処理>
放射線透視画像生成部101は、放射線治療装置から得た画像データを基に、放射線透視画像をデジタル生成する。テンプレート登録制御部102はその放射線透視画像をモニタに表示する(図2参照)。なお、図2は、便宜上、マーカのみを示しているが、放射線透視画像にはマーカの他に、骨、内臓など、人体を構成する要素も写っている。マーカのX線透過性は、この人体構成要素のものよりも、低いものとする。
<Pre-processing>
The radiographic
(ステップS1;マーカ上の端点を含む複数点の特定処理)
当該放射線透視画像がモニタに表示されると、ユーザは、放射線治療装置制御装置1に備わるキーボードやマウス等の入力手段を用いて、放射線透視画像中に現れているマーカの幅(マーカのx座標方向の両端の距離)と高さ(マーカのy座標方向の両端の距離)を表すことのできる位置に印をつける。例えばマーカの形状が図2で示すような山なりの形状である場合には、山なりとなっている頂点と、2つの端点の、合計3点の位置に印をつける。本実施形態においては図示するように、山なりとなっている頂点と、2つの端点の、合計3点の位置に印をつけた場合の例を用いて説明する。
(Step S1; identification processing of a plurality of points including end points on the marker)
When the radioscopy image is displayed on the monitor, the user uses the input means such as a keyboard or a mouse provided in the radiotherapy
図2においては、端点のx座標の距離がマーカの形状の幅となり、山なりの頂点の座標からより距離が離れている端点のy座標と当該頂点のy座標との距離がマーカの形状の高さとなる。なお、マーカの形状が直線を示すような場合には2つの端点の位置に印をつけるようにしてもよい。マーカの形状が直線である場合には端点の位置に印をつけるだけで、マーカを包含する矩形の幅と高さを特定できるためである。なお、ユーザが印をつける点は、マーカの放射線透視画像中における端点を含む複数点であれば幾つであってもよい。そして、マーカ上複数点特定部103が、印をつけられた位置の座標を、マーカ暫定座標情報(前述の例では、2つの端点及び山なりの頂点の各々の座標)として記憶部113に保持する。そして、ユーザがテンプレート登録処理開始を、入力手段などを用いて入力すると、テンプレート登録処理に含まれるテンプレート画像生成処理を開始する。
In FIG. 2, the distance of the x coordinate of the end point is the width of the marker shape, and the distance between the y coordinate of the end point that is further away from the coordinates of the peak of the mountain and the y coordinate of the vertex is the marker shape. It becomes height. In addition, when the shape of a marker shows a straight line, you may make it mark the position of two end points. This is because when the shape of the marker is a straight line, the width and height of the rectangle including the marker can be specified simply by marking the position of the end point. The number of points that the user marks may be any number as long as it is a plurality of points including the end points in the radiographic image of the marker. Then, the marker multiple
(ステップS2;放射線透視画像の各画素の輝度値の対数変換処理)
放射線透視画像はマーカと骨、内臓などの人体を構成する要素が重畳して撮像される。その重畳状況は、放射線透視画像内において、X線照射方向(撮像方向)及び人体のマーカ埋め込み位置により異なる。このため、放射線透視画像中のマーカを示す各画素の輝度と、それ以外の箇所の画素の輝度との輝度差が、マーカを表す画素の全てで一定ではない場合が発生する。
テンプレート画像を作成する上では、マーカ位置を明確にする必要があるため、前記輝度差を均一にする必要がある。よって、対数変換部104が、放射線透視画像における各画素の輝度を、式(1)を用いて対数変換する。
(Step S2; logarithmic conversion process of luminance value of each pixel of the fluoroscopic image)
A radioscopic image is captured by superimposing markers and elements constituting a human body such as bones and internal organs. The superposition state differs depending on the X-ray irradiation direction (imaging direction) and the marker embedding position of the human body in the radiographic image. For this reason, the case where the brightness | luminance difference of the brightness | luminance of each pixel which shows the marker in a radiographic image, and the brightness | luminance of the pixel of a part other than that occurs in all the pixels showing a marker generate | occur | produces.
In creating the template image, it is necessary to make the marker position clear, and thus it is necessary to make the luminance difference uniform. Therefore, the
当該式(1)において、iは画素の輝度値を示している。つまり式(1)においてlog10(i)が対数変換処理を示している。その他は14bitのデータを8bitに圧縮する要素、低輝度のノイズをカットするノイズカット要素を含んでいる。 In the formula (1), i represents the luminance value of the pixel. That is, log 10 (i) in the formula (1) indicates the logarithmic conversion process. Others include an element that compresses 14-bit data to 8 bits and a noise-cut element that cuts low-brightness noise.
図4は画素毎輝度差情報の作成処理の概要を示す第1の図である。
(ステップS3;画素毎輝度差情報の作成処理)
次にマーカエッジ強調部105が、放射線透視画像を用いて、当該画像中に写るマーカの周囲の画素との輝度差を示す画素毎輝度差情報を作成する処理を行う。
当該処理においては、図4で示すように、放射線透視画像中における、ある画素(対象画素)の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差(本実施形態においては小さい値を示す輝度差)を、ある画素を通る複数の異なる方向について算出する。当該所定距離としては、マーカの線幅(幅方向長さ)の半分以上が例示される。
FIG. 4 is a first diagram illustrating an outline of the process of creating the luminance difference information for each pixel.
(Step S3; creation process of luminance difference information for each pixel)
Next, the marker
In this process, as shown in FIG. 4, the pixel is located on a straight line in a predetermined direction passing through the certain pixel and the luminance of the certain pixel (target pixel) in the fluoroscopic image, and at a predetermined distance from the certain pixel. The luminance difference of any one of the luminance differences between the two opposing pixels and the luminance difference (in this embodiment, a luminance difference indicating a small value) is calculated for a plurality of different directions passing through a certain pixel. Examples of the predetermined distance include at least half the line width (width direction length) of the marker.
マーカエッジ強調部105は、各方向について算出した輝度差のうちの最も大きい輝度差の情報を当該ある画素について特定する。マーカエッジ強調部105は、当該輝度差の情報を放射線透視画像中の全ての画素について算出する処理を行う。なお、本処理において必ずしも全ての画素について算出を行う必要はない。例えば、予めマーカ位置が推定できる場合には、放射線透視画像においてマーカが明らかに位置しないと判断される画素は当該処理を割愛することでも構わない。この場合には、複数の画素について算出する処理を行うこととなる。以下の処理においても同様であるが、便宜上、ここでは全ての画素について算出する場合を例に取り説明する。
The marker
つまり、マーカエッジ強調部105は、ある対象画素について、放射線透視画像の水平方向(以下、a方向)、左上右下方向(以下、b方向)、上下方向(以下、c方向)、左下右上方向(以下、d方向)のそれぞれについて、一定距離の位置にある他の画素との輝度差を算出して、当該輝度差のうち最も小さい輝度差を、当該対象画素の輝度値の強さとして算出する。図4では、放射線透視画像の対象画素(7,8)についてa方向の直線上の左右の2画素までの一定距離を示している。ここで、本実施形態において、一定距離は、マーカの太さ(線幅;幅長方向長さ)の半分程度である。図4においては説明の便宜上、マーカの線幅に比べて一定距離を示す長さが大きく表れている。
In other words, the marker
図5は画素毎輝度差情報の作成処理の概要を示す第2の図である。
マーカエッジ強調部105は、ある対象画素について、例えばa方向に一定距離離れた位置との輝度差によって算出する。このとき、対象画素を通る直線上の対象画素から一定距離にある対向する2つの画素(画素a,画素b)の輝度と、対象画素との輝度との輝度差のうち小さい値を選択する(図5(A)参照)。図5においては対象画素と画素aとの輝度差と、対象画素と画素bとの輝度差は、画素aとの輝度差の方が小さいため、この輝度差を採用する。
なお、マーカを表す輝度の遷移は図5(A)で示すように対象画素位置の付近が周囲の画素よりも低い状態となるが、対象画素位置を基準とした輝度の値の遷移がこのようにならない場合には、その対象画素はマーカを表していない画素である可能性が高い。例えば、対象画素を通る直線上の対象画素から一定距離にある対向する2つの画素(画素a,画素b)のうち一方の画素(例えば画素a)の輝度値が対象画素の輝度値とほぼ同じかそれより低い場合も考えられる。この場合、対象画素はマーカを表していないと考えられるためこのような対象画素をマーカの画素として検出しないようにするために、対象画素を通る直線上の対象画素から一定距離にある対向する2つの画素(画素a,画素b)の輝度と、対象画素との輝度との輝度差のうち、小さい値を選択する処理を行っている。
ここで、ある対象画素についてa方向に一定距離(マーカの太さの半分程度)離れた位置からの輝度差は、当該a方向に垂直なc方向にマーカの線が写っている場合の当該マーカの検出に有効である。
FIG. 5 is a second diagram showing an outline of the process of creating the luminance difference information for each pixel.
The marker
As shown in FIG. 5A, the luminance transition indicating the marker is in a state where the vicinity of the target pixel position is lower than the surrounding pixels, but the luminance value transition based on the target pixel position is like this. If not, it is highly possible that the target pixel is a pixel that does not represent a marker. For example, the luminance value of one pixel (for example, pixel a) of two pixels (pixel a, pixel b) facing each other at a fixed distance from the target pixel on a straight line passing through the target pixel is substantially the same as the luminance value of the target pixel. It may be lower or lower. In this case, since it is considered that the target pixel does not represent the marker, in order not to detect such a target pixel as the pixel of the marker, two opposing pixels that are at a fixed distance from the target pixel on a straight line passing through the target pixel. A process of selecting a smaller value from the luminance difference between the luminance of one pixel (pixel a, pixel b) and the luminance of the target pixel is performed.
Here, the luminance difference from a position away from a certain distance (about half the thickness of the marker) in a direction for a certain target pixel is the marker when the marker line is reflected in the c direction perpendicular to the a direction. It is effective in detecting
なお、対象画素と、当該対象画素から一定距離の位置の画素の輝度差は、対象画素(x,y)の輝度をI(x,y)とし、一定距離を(dx,dy)とすると、一方の画素(図5では画素a)との間の輝度差I’(x,y)は、 Note that the luminance difference between the target pixel and a pixel at a certain distance from the target pixel is that the luminance of the target pixel (x, y) is I (x, y) and the constant distance is (dx, dy). The luminance difference I ′ (x, y) from one pixel (pixel a in FIG. 5) is
他方の画素(図5では画素b)との間の輝度差I”(x,y)は、 The luminance difference I ″ (x, y) from the other pixel (pixel b in FIG. 5) is
により表すことができる。そして、輝度差I’(x,y)または輝度差I”(x,y)のうち輝度差の小さいほうが採用される。 Can be represented by The smaller one of the luminance differences I ′ (x, y) or the luminance difference I ″ (x, y) is employed.
なお、b方向の輝度差の算出の場合には、対象画素の左上と右下に隣接する画素方向について、対象画素から一定距離の位置の2つの画素との輝度差のうちの小さい値を採用する。
また、c方向の輝度差の算出の場合には、対象画素の上と下に隣接する画素方向(上下方向)について、対象画素から一定距離の位置の2つの画素との輝度差のうちの小さい値を採用する。
また、d方向の輝度差の算出の場合には、対象画素の左下と右上に隣接する画素方向について、対象画素から一定距離の位置の2つの画素との輝度差のうちの小さい値を採用する。
そして、マーカエッジ強調部105は、ある対象画素に対してa方向、b方向、c方向、d方向のそれぞれの方向について算出した輝度差のうち、最も大きい輝度差を、当該対象画素の輝度差として特定する。そして、マーカエッジ強調部105は、放射線透視画像の全ての画素に対して特定した輝度差の情報を保持する画素毎輝度差情報を作成して記憶部113へする。
When calculating the luminance difference in the b direction, the smaller value of the luminance difference between two pixels at a fixed distance from the target pixel is adopted in the pixel direction adjacent to the upper left and lower right of the target pixel. To do.
In the case of calculating the luminance difference in the c direction, a small value of the luminance difference between two pixels at a certain distance from the target pixel is set in the pixel direction (vertical direction) adjacent above and below the target pixel. adopt.
Further, in the case of calculating the luminance difference in the d direction, a small value of the luminance differences between the two pixels at a certain distance from the target pixel is adopted in the pixel direction adjacent to the lower left and upper right of the target pixel. .
Then, the marker
(ステップS4;テンプレート画像範囲の設定処理)
図6はテンプレート画像範囲を示す図である。
テンプレート範囲設定部106は、テンプレート登録制御部102によって記憶部113に登録されたマーカ暫定座標情報を読取る。そして、テンプレート範囲設定部106は、マーカ暫定座標情報で示されるマーカの点の座標を包含する矩形範囲であるテンプレート画像範囲を、放射線透視画像内において特定する。より具体的には、テンプレート範囲設定部106は、図6で示すような山なりのマーカの、山の頂点と、2つの端点の合計3点の座標を保持しているマーカ暫定座標情報を読み取る。そして、この座標のうち最小と最大のX座標をそれぞれxmin(左側端点のX座標)、xmax(右側端点のX座標)とし、また最小と最大のY座標をそれぞれymin(山なりの頂点のY座標)、ymax(右側端点のY座標)とすると、テンプレート範囲設定部106は、図6で示すような、
xmin−m≦x≦xmax+m
ymin−m≦y≦ymin+m
の範囲を、テンプレート画像範囲として設定する。
(Step S4; template image range setting process)
FIG. 6 is a diagram showing a template image range.
The template
x min −m ≦ x ≦ x max + m
y min −m ≦ y ≦ y min + m
Is set as the template image range.
次に端点位置設定部107が、マーカの端点それぞれの、テンプレート画像範囲の左上の原点からの相対座標を算出する。マーカの端点をそれぞれの放射線透視画像における座標について、端点A(xa,ya)、端点B(xb,yb)とし、テンプレート画像の左上の原点の、放射線透視画像における座標を(x1,y1)とすると、端点Aのテンプレート画像内における相対座標は端点A(xa−x1,ya−y1)で表され、端点Bのテンプレート画像内における相対座標は端点B(xb−x1,yb−y1)となる。そして、端点位置設定部107は、それらマーカの各端点のテンプレート画像範囲における座標を保持した端点座標情報を記憶部113に記録する。
Next, the end point
(ステップS5;マスク情報生成処理)
図7はテンプレートマスク処理を示す第1の図である。
図8はテンプレートマスク処理を示す第2の図である。
図9はテンプレートマスク処理を示す第3の図である。
次に、テンプレートマスク設定部108が、端点座標情報を記憶部113から読取り、当該端点座標情報で示される座標を結ぶ直線上の画素を、テンプレート画像範囲において特定する(図7)。そして、当該特定した画素についてマスク対象外と特定する。また、テンプレートマスク設定部108は、既にマスク対象外と特定した画素の左右上下斜めの周り近傍8画素について、全てマスク対象外と特定する(図8)。そして、テンプレート画像範囲内の画素のうち、マスク対象外と特定されなかった全ての画素についてマスク対象と特定する(図9)。そして、テンプレートマスク設定部108は、テンプレート画像範囲においてマスク対象外と特定されなかった全ての画素についてマスク対象であることを示す情報(以降の処理対象から外すことを示す情報、例えばフラグなどで保持する)を保持したマスク情報を生成して、テンプレート画像の識別情報に対応付けて記憶部113に記録する。
(Step S5; mask information generation process)
FIG. 7 is a first diagram showing template mask processing.
FIG. 8 is a second diagram showing template mask processing.
FIG. 9 is a third diagram showing template mask processing.
Next, the template mask setting unit 108 reads the end point coordinate information from the
(ステップS6;テンプレート画像生成処理)
また、テンプレート画像生成部109は、テンプレート画像範囲で示される各画素の情報(放射線透視画像の原点を基準とする座標、テンプレート画像範囲の原点を基準とする座標、画素毎輝度差情報)と端点座標情報(マーカの2つの端点の座標)とを含むテンプレート画像を生成する。
また、放射線治療装置制御装置1は異なる時刻(例えば、0.1秒おきの時刻など)に亘って複数回、放射線治療装置から得た画像データを基に、放射線透視画像をデジタル生成する。そしてそれぞれの放射線透視画像を用いて、上述の各処理によって、各放射線透視画像に対応するテンプレート画像やマスク情報等を同様に生成する。本実施形態においては、3つの放射線透視画像を用いて、それぞれの当該画像に対応する3つのテンプレート画像を生成する。そして、テンプレート登録制御部102は、3つのテンプレート画像を生成したかを判定し、3つのテンプレート画像を生成したと判定した場合には、テンプレート画像生成部109へテンプレート画像生成処理を通知する。そして、テンプレート登録制御部102は、生成した3つのテンプレート画像を、記憶部113に記録する。
(Step S6; template image generation process)
The template
In addition, the radiotherapy
(ステップS7;マッチング条件情報登録処理)
またユーザは放射線治療装置制御装置1に、テンプレート画像を用いたマッチング処理におけるマッチング条件情報を登録する。
ここで、テンプレート画像は、患部が人体のどこにあるかを特定するために用いられるが、当該テンプレート画像の指定(上記で生成された3つのテンプレート画像の指定)、マスク情報の指定、テンプレート画像と新たに取得した画像におけるマーカの相関値が幾つ以上であれば一致したと判定するかを示す最低限の相関値の閾値の指定、それ以上の相関値となった場合にその後の処理を打ち切る相関値の指定、テンプレート画像を回転させてマッチング処理を行う場合の回転角度の上限値の指定を行い、それらの情報を放射線治療装置制御装置1が記憶する。
(Step S7; matching condition information registration process)
Further, the user registers matching condition information in the matching process using the template image in the radiation therapy
Here, the template image is used to specify where the affected part is in the human body. The template image is specified (specification of the three template images generated above), the mask information is specified, the template image is Specify the minimum correlation value threshold that indicates whether or not the correlation value of the marker in the newly acquired image is greater than or equal, and cancel the subsequent processing when the correlation value exceeds that value Designation of the value and designation of the upper limit value of the rotation angle when the template image is rotated to perform the matching process are performed, and the information is stored in the radiation therapy
そして、テンプレート画像の生成が終了した後に、患部の人体での位置を特定するために、放射線透視画像生成部101が、新たな放射線透視画像をデジタル生成する。なお当該新たな放射線透視画像を以降、説明の便宜上、患部位置特定時生成画像と呼ぶこととする。そして、患部の人体での位置の特定を行う場合には、患部位置特定時生成画像と、テンプレート画像とをパタンマッチングによって比較することとなる。
Then, after the generation of the template image is completed, the radiographic
(ステップS8;マッチング対象範囲特定処理)
図10はパタンマッチング事前処理の概要を示す図である。
ここで、当該パタンマッチング処理を行う前提として、さらなる情報の設定を放射線治療装置制御装置1が行う。当該情報の設定は、患部位置特定時生成画像に出現することとなるマーカの画像内の範囲(マッチング対象範囲)に応じて、どの放射線透視画像中に設定されたどのマッチング対象範囲に対応するテンプレート画像を用いてマッチング処理を行うかを特定する情報を設定する処理である。つまり当該処理は、どのマッチング対象範囲に属するテンプレート画像を用いて、患部位置特定時生成画像においてマーカを示す画素を特定するのかを決定するための情報設定の処理であるため、マッチング対象範囲特定処理と呼ぶこととする。そしてこの処理を、マッチング対象範囲特定部110が行う。
(Step S8; matching target range specifying process)
FIG. 10 is a diagram showing an outline of the pattern matching pre-processing.
Here, as a premise for performing the pattern matching process, the radiotherapy
図10の(a1)、(a2)、(a3)には、異なるタイミングで取得した放射線透視画像に基づいて生成した3つのテンプレート画像の、放射線透視画像内における位置を示している。このように、異なるタイミングで取得したテンプレート画像は、患者の呼吸の影響等により、放射線透視画像内の異なる位置で写っているマーカそれぞれの範囲を包含する画像となっている。 (A1), (a2), and (a3) in FIG. 10 show the positions in the radiographic image of three template images generated based on radiographic images acquired at different timings. As described above, the template images acquired at different timings are images that include the respective ranges of the markers shown at different positions in the radiographic image due to the influence of the patient's respiration and the like.
そして、どのテンプレート画像を用いてマッチング処理を行うかを決定する情報を設定する処理においては、図10の(b1)で示すように、まず、マッチング対象範囲特定部110が、放射線透視画像における各テンプレート画像内の画素の座標を、テンプレート画像から読み取る。そして、マッチング対象範囲特定部110は、各テンプレート画像における中心座標を算出する。ここで、3つのテンプレート画像をそれぞれテンプレート画像A、テンプレート画像B、テンプレート画像Cと呼ぶこととする。またテンプレート画像Aの中心画素を画素a、テンプレート画像Bの中心画素を画素b、テンプレート画像Bの中心画素を画素cと呼ぶこととする。テンプレート画像の中心画素の座標の算出処理はどのようなものであってもよい。例えば、テンプレート画像の中心となる画素が1つに定まらない場合には、中心付近の画素の何れかの画素を中心画素としてその座標を算出するようにしてもよい。
In the process of setting information for determining which template image is used to perform the matching process, first, as shown in (b1) of FIG. 10, the matching target
そして、マッチング対象範囲特定部110は、放射線透視画像のある画素の座標から、各テンプレート画像の中心画素の座標までの距離を算出して、当該ある画素から最も近い距離に位置するテンプレート画像を、放射線透視画像の全ての画素について算出する。そして、マッチング対象範囲特定部110は、ある特定のテンプレート画像の中心画素に近い各画素のまとまりを一つのマッチング対象範囲の候補と決定する。つまり、本実施形態においては、図10の(b2)で示すように、テンプレート画像Aの中心画素に近い画素のまとまりの範囲をマッチング対象範囲の候補A、テンプレート画像Bの中心画素に近い画素のまとまりの範囲をマッチング対象範囲の候補B、テンプレート画像Cの中心画素に近い画素のまとまりの範囲をマッチング対象範囲の候補Cとして、3つのマッチング対象範囲の候補を決定する。
Then, the matching target
そして、マッチング対象範囲特定部110は、マッチング対象範囲の候補Aを全て包含する矩形範囲をマッチング対象範囲Aと決定し、マッチング対象範囲の候補Bを全て包含する矩形範囲をマッチング対象範囲Bと決定し、マッチング対象範囲の候補Cを全て包含する矩形範囲をマッチング対象範囲Cと決定する。これにより、マッチング対象範囲特定部110は、放射線透視画像の画像範囲において、各マッチング対象範囲が示す座標情報と、当該マッチング対象範囲に出現したマーカを示す画素の特定に利用するテンプレート画像との組合せの情報を、マッチング対象範囲毎に保持したマッチング対象範囲情報を生成して記憶部113に保持する。具体的には、マッチング対象範囲情報は、例えば、マッチング対象範囲Aの範囲を示す座標(左上と右下の2座標)とテンプレート画像Aの情報との組合せ、マッチング対象範囲Bの範囲を示す座標(左上と右下の2座標)とテンプレート画像Bの情報との組合せ、マッチング対象範囲Cの範囲を示す座標(左上と右下の2座標)とテンプレート画像Cの情報との組合せを保持する情報である。
Then, the matching target
なお、本実施形態において、マッチング対象範囲特定部110は、マッチング対象範囲の候補を全て包含する矩形範囲をマッチング対象範囲と決定しているが、図10(b3)で示すように、一方のマッチング対象範囲が他方のマッチング対象範囲とが重なり合う場合には(マッチング対象範囲Bとマッチング対象範囲Cが重なり合っている)、重なり合う範囲を生じないように処理してもよい。例えば、重なり合う矩形範囲の中央から一方のマッチング対象範囲の側の範囲と、当該重なり合う矩形範囲の中央から他方のマッチング対象範囲の側範囲とでそれぞれ分割して、当該分割した範囲を一方のマッチング対象範囲と、他方のマッチング対象範囲とに組み入れて、重なり合う矩形範囲が生じないように処理してもよい。
In the present embodiment, the matching target
そして、患部位置特定時生成画像に出現することとなるマーカが、マッチング対象範囲Aの範囲に出現した場合についてはテンプレート画像Aとパタンマッチングを行うこととなり、患部位置特定時生成画像に出現することとなるマーカが、マッチング対象範囲Bの範囲に出現した場合についてはテンプレート画像Bとパタンマッチングを行うこととなり、患部位置特定時生成画像に出現することとなるマーカが、マッチング対象範囲Cの範囲に出現した場合についてはテンプレート画像Cとパタンマッチングを行うこととなる。
または、患部位置特定時生成画像に出現することとなるマーカが、複数のマッチング対象範囲に出現した場合については、それら複数のマッチング対象範囲に対応するテンプレート画像を用いてパタンマッチングを行うこととなる。
When the marker that appears in the affected part position-specific generation image appears in the matching target range A, pattern matching is performed with the template image A, and the marker appears in the affected part position-specific generation image. When the marker that appears in the range of the matching target range B is subjected to pattern matching with the template image B, and the marker that appears in the generated image at the time of diseased part position identification is in the range of the matching target range C. When it appears, pattern matching with the template image C is performed.
Alternatively, when a marker that appears in the generated image at the time of specifying the affected area appears in a plurality of matching target ranges, pattern matching is performed using template images corresponding to the plurality of matching target ranges. .
<マーカ特定処理>
(ステップS11;患部位置特定時生成画像の各画素の輝度値の対数変換処理)
図11は放射線治療装置制御装置1におけるマーカ特定処理の処理フローを示す図である。
次に、患部付近に埋め込まれたマーカの位置特定を行う処理について順を追って説明する。
このとき、放射線治療装置制御装置1は、放射線治療装置から得た画像データを基に、放射線透視画像生成部101が、患部位置特定時生成画像(放射線透視画像と同じように取得される画像であるが、患部位置特定時に生成する新たな画像であるため上記したように呼称を変えている)をデジタル生成する。すると、対数変換部104が、上述したテンプレート画像生成時の処理と同様に、患部位置特定時生成画像における各画素の輝度を、式(1)を用いて対数変換する。
<Marker identification processing>
(Step S11; logarithmic conversion process of luminance value of each pixel of the image generated when the affected area is specified)
FIG. 11 is a diagram illustrating a processing flow of marker specifying processing in the radiotherapy
Next, processing for specifying the position of the marker embedded near the affected part will be described in order.
At this time, the radiotherapy
(ステップS12;画素毎輝度差情報の作成処理)
また、対数変換の処理が終了すると、マーカエッジ強調部105が、患部位置特定時生成画像を用いて、上述したテンプレート画像生成時における処理と同様に、対象画素と当該対象画素から一定距離の位置にある他の画素との輝度差をa方向(水平方向)、b方向(左上右下対角方向)、c方向(上下方向)、d方向(左下右上対角方向)のそれぞれについて算出して、当該輝度差のうち最も小さい輝度差を、当該対象画素の輝度値の周囲からの強さとして算出する処理を、患部位置特定時生成画像の全ての画素について行う。
そして、マーカエッジ強調部105は、ある対象画素に対してa方向、b方向、c方向、d方向のそれぞれの方向について算出した輝度差のうち、最も大きい輝度差を、当該対象画素の輝度差として特定する。そして、マーカエッジ強調部105は、患部位置特定時生成画像の全ての画素に対して特定した輝度差の情報を保持する画素毎輝度差情報を作成して記憶部113に記録する。
(Step S12; creation processing of luminance difference information for each pixel)
When the logarithmic conversion process is completed, the marker
Then, the marker
さらに、マーカエッジ強調部105は、対象画素(画像中の全画素)のa方向について算出した輝度差の情報を保持したa方向輝度差情報と、対象画素(画像中の全画素)のb方向について算出した輝度差の情報を保持したb方向輝度差情報と、対象画素(画像中の全画素)のc方向について算出した輝度差の情報を保持したc方向輝度差情報と、対象画素(画像中の全画素)のd方向について算出した輝度差の情報を保持したd方向輝度差情報と、のそれぞれを作成して、記憶部113に記録する。
Furthermore, the marker
(ステップS13;ノイズ除去処理)
次に、ノイズ除去部111が、マーカエッジ強調部105によって生成されたa方向輝度差情報を用いて、輝度差が所定の閾値未満と判定された画素を、マーカ候補を示す画素として特定し、輝度差が所定の閾値以上と判定された画素をマーカ以外の画素として特定した後、ノイズ除去処理を行う。
(Step S13; noise removal processing)
Next, the
図12はノイズ除去処理で用いるある対象画素を基準とした処理方向を示す図である。
図13はノイズ除去処理の処理概要を示す第1の図である。
図14はノイズ除去処理の処理概要を示す第1の図である。
図15はノイズ除去処理の処理概要を示す第2の図である。
図16はノイズ除去処理の処理概要を示す第3の図である。
図17はノイズ除去処理の処理概要を示す第4の図である。
図18はノイズ除去処理の処理概要を示す第5の図である。
FIG. 12 is a diagram showing a processing direction based on a certain target pixel used in the noise removal processing.
FIG. 13 is a first diagram showing an outline of the noise removal process.
FIG. 14 is a first diagram showing an outline of the noise removal processing.
FIG. 15 is a second diagram illustrating the outline of the noise removal process.
FIG. 16 is a third diagram illustrating the outline of the noise removal process.
FIG. 17 is a fourth diagram illustrating the outline of the noise removal process.
FIG. 18 is a fifth diagram illustrating the outline of the noise removal process.
図12〜図18を用いてノイズ除去処理について説明する。
[a方向ノイズ除去結果データの作成処理]
まず、図13(A)で示すように、ノイズ除去部111は、マーカエッジ強調部105の生成したa方向輝度差情報を読み込んで、各画素のうち輝度差が閾値以上の画素(周囲との輝度差があるため濃度が濃い画素)についてのマーカ出現強度を“1”、各画素のうち輝度差が閾値未満の画素についてのマーカ出現強度を“0”と2値化したa方向輝度差2値化情報を作成する。図13の(A)では、ハッチングして表した画素をマーカ出現強度“1”と判定した画素、ハッチングのない画素をマーカ出現強度“0”と判定した画素として示している。
The noise removal process will be described with reference to FIGS.
[Process of creating a direction noise removal result data]
First, as shown in FIG. 13A, the
次に、ノイズ除去部111は、a方向輝度差2値化情報を用いて、マーカ出現強度“1”の画素を通る直線方向であって、当該マーカ出現強度“1”の画素を基準に図12で示したa方向(画像の左右方向)に連なる2つの画素のマーカ出現強度を全て“1”と更新する。これにより図13(B)で示すように、マーカ出現強度“1”とされる画素の範囲がa方向に膨張する(a方向輝度差2値化情報を用いたa方向の第1膨張処理)。
また、ノイズ除去部111は、上記a方向輝度差2値化情報を用いた第1膨張処理の終了後の情報に基づいて、マーカ出現強度“0”の画素を通る直線方向であって、当該マーカ出現強度“0”の画素を基準に図12で示したa方向(画像の左右方向)に連なる2つの画素のマーカ出現強度を全て“0”と更新する。これにより図13(C)で示すように、マーカ出現強度“1”とされる画素の範囲がa方向で収縮する(a方向輝度差2値化情報を用いたa方向の第1収縮処理)。
Next, the
Further, the
また、ノイズ除去部111は、上記a方向輝度差2値化情報を用いた第1収縮処理の終了後の情報に基づいて、マーカ出現強度“0”の画素を通る直線方向であって、当該マーカ出現強度“0”の画素を基準に図12で示したa方向(画像の左右方向)に連なる2つの画素のマーカ出現強度を全て“0”と更新する。これにより図14(D)で示すように、マーカ出現強度“1”とされる画素の範囲がa方向でさらに収縮する(a方向輝度差2値化情報を用いたa方向の第2収縮処理)。
また、ノイズ除去部111は、上記第2収縮処理の終了後の情報に基づいて、マーカ出現強度“1”の画素を通る直線方向であって、当該マーカ出現強度“1”の画素を基準に図12で示したa方向(画像の左右方向)に連なる2つの画素のマーカ出現強度を全て“1”と更新する。これにより図14(E)で示すように、マーカ出現強度“1”とされる画素の範囲がa方向で膨張する(a方向輝度差2値化情報を用いたa方向の第2膨張処理)。
そして、ノイズ除去部111はa方向輝度差2値化情報を用いたa方向の第2膨張処理の結果を保持するa方向輝度差2値化情報を用いたa方向マーカ出現強度データを記憶部113に記録する。
Further, the
In addition, the
The
図12で示すように、a方向(水平方向)との成す角度が45°の両隣の方向を示すb方向とd方向の中間の2つの方向をe方向(第1の水平・対角中間方向)、h方向(第2の水平・対角中間方向)と呼ぶこととする。そして、ノイズ除去部111は、e方向と、h方向についても、a方向に対して行った、第1膨張処理→第1収縮処理→第2収縮処理→第2膨張処理を行う。
As shown in FIG. 12, the two directions between the b direction and the d direction, which are adjacent to each other at an angle of 45 ° with the a direction (horizontal direction), are the e direction (first horizontal / diagonal intermediate direction). ), H direction (second horizontal / diagonal intermediate direction). And the
つまり、a方向輝度差2値化情報を用いたe方向(第1の水平・対角中間方向)の膨張処理は、図15の“e方向(第1の水平・対角中間方向)の膨張処理の説明”で示すように、Xで示す画素のa方向輝度差2値化情報におけるマーカ出現強度の値が“1”であれば、Xの画素を基準にa方向の両側に連なる各1つずつの画素と、その画素とはb方向であってXの画素に隣接しない外側方向に1つ連なる各画素とで示されるYで示す画素のマーカ出現強度の値を“1”とする処理を、画像中の全ての画素について行う処理である。
また、a方向輝度差2値化情報を用いたe方向(第1の水平・対角中間方向)の収縮処理は、図15の“e方向(第1の水平・対角中間方向)の収縮処理の説明”で示すように、Mで示す画素のa方向輝度差2値化情報におけるマーカ出現強度の値が“0”であれば、Mの画素を基準にa方向の両側に連なる各1つずつの画素と、その画素とはb方向であってMの画素に隣接しない外側方向に1つ連なる各画素とで示されるNで示す画素のマーカ出現強度の値を“0”とする処理を、画像中の全ての画素について行う処理である。
That is, the expansion process in the e direction (first horizontal / diagonal intermediate direction) using the a-direction luminance difference binarization information is performed in the “e direction (first horizontal / diagonal intermediate direction) expansion of FIG. If the marker appearance intensity value in the a-direction luminance difference binarization information of the pixel indicated by X is “1” as shown in “Description of processing”, each 1 connected to both sides in the a direction on the basis of the X pixel. A process of setting the value of the marker appearance intensity of a pixel indicated by Y, which is indicated by each pixel and each pixel connected in the b direction and one pixel in the outer direction not adjacent to the X pixel, to “1” Is processing for all pixels in the image.
Further, the contraction process in the e direction (first horizontal / diagonal intermediate direction) using the a-direction luminance difference binarization information is performed in the “e direction (first horizontal / diagonal intermediate direction) contraction in FIG. As shown in “Description of Processing”, if the value of the marker appearance intensity in the a-direction luminance difference binarization information of the pixel indicated by M is “0”, each 1 connected to both sides in the a-direction on the basis of the M pixel. A process of setting the value of the marker appearance intensity of a pixel indicated by N, which is indicated by each pixel and each pixel continuous in the b direction and not adjacent to the M pixel, as one pixel, to “0” Is processing for all pixels in the image.
つまり、ノイズ除去部111は、a方向輝度差2値化情報を用いたe方向(第1の水平・対角中間方向)の膨張処理において、図15の(F)で示すような既に作成したa方向輝度差2値化情報を用いて、図15(G)で示すような、1回目のe方向(第1の水平・対角中間方向)の膨張処理を行う(a方向輝度差2値化情報を用いたe方向の第1膨張処理)。
また、ノイズ除去部111は、上記a方向輝度差2値化情報を用いたe方向の第1膨張処理の終了後の情報に基づいて、図15(H)で示すような、1回目のe方向(第1の水平・対角中間方向)の収縮処理を行う(a方向輝度差2値化情報を用いたe方向の第1収縮処理)。
That is, the
Further, the
また、ノイズ除去部111は、上記a方向輝度差2値化情報を用いたe方向の第1収縮処理の終了後の情報に基づいて、図16(I)で示すような、2回目のe方向(第1の水平・対角中間方向)の収縮処理を行う(a方向輝度差2値化情報を用いたe方向の第2収縮処理)。なお図16の(I)では、この時点でマーカ出現強度“1”となる画素が消滅する例を示している。
そして、ノイズ除去部111は、上記a方向輝度差2値化情報を用いたe方向の第2収縮処理の終了後の情報に基づいて、図16(K)で示すような、2回目のe方向(第1の水平・対角中間方向)の膨張処理を行う(a方向輝度差2値化情報を用いたe方向の第2膨張処理)。図16の(I)の時点でマーカ出現強度“1”となる画素が消滅しているため、その後に膨張処理をしてもマーカ出現強度“1”となる画素が出現しない場合の例を示している。
そして、ノイズ除去部111はa方向輝度差2値化情報を用いたe方向の第2膨張処理の結果を保持するa方向輝度差2値化情報を用いたe方向マーカ出現強度データを記憶部113に記録する。
Further, the
Then, the
The
また、a方向輝度差2値化情報を用いたh方向(第2の水平・対角中間方向)の膨張処理は、図示を省略するが、ある画素Xで示す画素のa方向輝度差2値化情報におけるマーカ出現強度の値が“1”であれば、Xの画素を基準にa方向の両側に連なる各1つずつの画素と、その画素とはd方向であってXの画素に隣接しない外側方向に1つ連なる各画素のマーカ出現強度の値を“1”とする処理を、画像中の全ての画素について行う処理である。
また、a方向輝度差2値化情報を用いたh方向(第2の水平・対角中間方向)の収縮処理は、図示を省略するが、ある画素Mで示す画素のa方向輝度差2値化情報におけるマーカ出現強度の値が“0”であれば、Mの画素を基準にa方向の両側に連なる各1つずつの画素と、その画素とはd方向であってMの画素に隣接しない外側方向に1つ連なる各画素のマーカ出現強度の値を“0”とする処理を、画像中の全ての画素について行う処理である。
Further, the expansion processing in the h direction (second horizontal / diagonal intermediate direction) using the a-direction luminance difference binarization information is omitted, but the a-direction luminance difference binary of the pixel indicated by a certain pixel X is omitted. If the value of the marker appearance intensity in the conversion information is “1”, each pixel connected to both sides in the a direction on the basis of the X pixel, and the pixel is adjacent to the X pixel in the d direction. This is a process of performing the process of setting the value of the marker appearance strength of each pixel connected in the outward direction to “1” for all pixels in the image.
In addition, the h direction (second horizontal / diagonal intermediate direction) contraction processing using the a direction luminance difference binarization information is omitted from illustration, but the a direction luminance difference binary of the pixel indicated by a certain pixel M is omitted. If the value of the marker appearance intensity in the conversion information is “0”, each pixel connected to both sides in the a direction on the basis of the M pixel, and the pixel is adjacent to the M pixel in the d direction. This is a process of performing the process of setting the value of the marker appearance intensity of each pixel connected in the outward direction to “0” for all pixels in the image.
つまり、ノイズ除去部111は、1回目のa方向輝度差2値化情報を用いたh方向(第2の水平・対角中間方向)の膨張処理を行う(a方向輝度差2値化情報を用いたh方向の第1膨張処理)。
また、ノイズ除去部111は、上記a方向輝度差2値化情報を用いたh方向の第1膨張処理の終了後の情報に基づいて、1回目のh方向(第2の水平・対角中間方向)の収縮処理を行う(a方向輝度差2値化情報を用いたh方向の第1収縮処理)。
That is, the
Further, the
また、ノイズ除去部111は、上記a方向輝度差2値化情報を用いたh方向の第1収縮処理の終了後の情報に基づいて、2回目のh方向(第2の水平・対角中間方向)の収縮処理を行う(a方向輝度差2値化情報を用いたh方向の第2収縮処理)。
そして、ノイズ除去部111は、上記a方向輝度差2値化情報を用いたh方向の第2収縮処理の終了後の情報に基づいて、2回目のh方向(第2の水平・対角中間方向)の膨張処理を行う(a方向輝度差2値化情報を用いたh方向の第2膨張処理)。
そして、ノイズ除去部111はa方向輝度差2値化情報を用いたh方向の第2膨張処理の結果を保持するa方向輝度差2値化情報を用いたh方向マーカ出現強度データを記憶部113に記録する。
Further, the
Then, the
The
以上の処理により、ノイズ除去部111は、a方向輝度差2値化情報を用いて、a方向マーカ出現強度データ、e方向マーカ出現強度データ、h方向マーカ出現強度データを作成している。図17の(A)はa方向輝度差2値化情報、(B)はa方向マーカ出現強度データ、(C)はe方向マーカ出現強度データ、(D)はh方向マーカ出現強度データを示している。
そして、ノイズ除去部111は、作成したa方向マーカ出現強度データ、e方向マーカ出現強度データ、h方向マーカ出現強度データ内の、2値化された輝度を示す各画素のうち、何れかのマーカ出現強度データにおいて少なくとも“1”の値を示す画素をマーカ出現強度“1”として採用する。そして、ノイズ除去部111は、当該採用したマーカ出現強度データの示すマーカ出現強度が“1”となっている画素を、患部位置特定時生成画像内におけるマーカ候補として、当該マーカ候補の画素の情報を保持したa方向ノイズ除去結果データを作成する。図17においては、(B)で示すa方向マーカ強調データにおいてのみ大きい値を示す画素が存在するため、a方向ノイズ除去結果データで示されるマーカ候補の画素は、図17(B)で示すa方向マーカ強調データにおいてのみ大きい値を示す画素と同一となっている。
Through the above processing, the
The
また、ノイズ除去部111は、a方向ノイズ除去結果データの作成処理と同様の方法で、b方向ノイズ除去結果データ、c方向ノイズ除去結果データ、d方向ノイズ除去結果データを作成する。
In addition, the
[b方向ノイズ除去結果データの作成処理]
図示を省略するが、b方向ノイズ除去結果データの作成処理においては、ノイズ除去部111は、マーカエッジ強調部105の生成したb方向輝度差情報を読み込んで、各画素のうち輝度差が閾値以上の画素についてのマーカ出現強度を“1”、各画素のうち輝度差が閾値未満の画素についてのマーカ出現強度を“0”と2値化したb方向輝度差2値化情報を作成する。
[Process of creating b-direction noise removal result data]
Although illustration is omitted, in the b-direction noise removal result data creation process, the
そして、ノイズ除去部111は、b方向輝度差2値化情報を用いたb方向の第1膨張処理、b方向輝度差2値化情報を用いたb方向の第1収縮処理、b方向輝度差2値化情報を用いたb方向の第2収縮処理、b方向輝度差2値化情報を用いたb方向の第2膨張処理を行う。そして、ノイズ除去部111はb方向輝度差2値化情報を用いたb方向の第2膨張処理の結果を保持するb方向輝度差2値化情報を用いたb方向マーカ出現強度データを記憶部113に記録する。
Then, the
また、b方向(左上右下方向)との成す角度が45°の両隣の方向を示すa方向とc方向の中間の2つの方向をe方向(第1の水平・対角中間方向)、f方向(第1の上下・対角中間方向)と呼ぶこととする。そして、ノイズ除去部111は、e方向と、f方向についても、b方向に対して行った、第1膨張処理→第1収縮処理→第2収縮処理→第2膨張処理と同様の処理を行う。
Also, the two directions between the a direction and the c direction indicating the directions adjacent to each other at an angle of 45 ° with the b direction (upper left and lower right direction) are the e direction (first horizontal / diagonal intermediate direction), f The direction (first up / down / diagonal middle direction) is called. And the
つまり、ノイズ除去部111は、b方向輝度差2値化情報を用いたe方向の第1膨張処理、b方向輝度差2値化情報を用いたe方向の第1収縮処理、b方向輝度差2値化情報を用いたe方向の第2収縮処理、b方向輝度差2値化情報を用いたe方向の第2膨張処理、を行う。そして、ノイズ除去部111は、b方向輝度差2値化情報を用いたe方向の第2膨張処理の結果を保持するb方向輝度差2値化情報を用いたe方向マーカ出現強度データを記憶部113に記録する。
That is, the
また、ノイズ除去部111は、b方向輝度差2値化情報を用いたf方向の第1膨張処理、b方向輝度差2値化情報を用いたf方向の第1収縮処理、b方向輝度差2値化情報を用いたf方向の第2収縮処理、b方向輝度差2値化情報を用いたf方向の第2膨張処理を行う。
そして、ノイズ除去部111はb方向輝度差2値化情報を用いたf方向の第2膨張処理の結果を保持するb方向輝度差2値化情報を用いたf方向マーカ出現強度データを記憶部113に記録する。
Further, the
Then, the
また、ノイズ除去部111は、作成したb方向輝度差2値化情報を用いたb方向マーカ出現強度データ、b方向輝度差2値化情報を用いたe方向マーカ出現強度データ、b方向輝度差2値化情報を用いたf方向マーカ出現強度データ内の、2値化された輝度を示す各画素のうち、何れかのマーカ出現強度データにおいて大きい値を示す画素をマーカ出現強度“1”として採用する。そして、ノイズ除去部111は、当該採用したマーカ出現強度データの示すマーカ出現強度が“1”となっている画素を、患部位置特定時生成画像内におけるマーカ候補として、当該マーカ候補の画素の情報を保持したb方向ノイズ除去結果データを作成する。
Further, the
[c方向ノイズ除去結果データの作成処理]
図示を省略するが、c方向ノイズ除去結果データの作成処理においては、ノイズ除去部111は、マーカエッジ強調部105の生成したc方向輝度差情報を読み込んで、各画素のうち輝度差が閾値以上の画素についてのマーカ出現強度を“1”、各画素のうち輝度差が閾値未満の画素についてのマーカ出現強度を“0”と2値化したc方向輝度差2値化情報を作成する。
[C-direction noise removal result data creation process]
Although not shown, in the c direction noise removal result data creation process, the
そして、ノイズ除去部111は、c方向輝度差2値化情報を用いたc方向の第1膨張処理、c方向輝度差2値化情報を用いたc方向の第1収縮処理、c方向輝度差2値化情報を用いたc方向の第2収縮処理、c方向輝度差2値化情報を用いたc方向の第2膨張処理、を行う。
また、ノイズ除去部111はc方向輝度差2値化情報を用いたc方向の第2膨張処理の結果を保持するc方向輝度差2値化情報を用いたc方向マーカ出現強度データを記憶部113に記録する。
Then, the
The
また、ノイズ除去部111は、c方向(上下方向)との成す角度が45°の両隣の方向を示すb方向とd方向の中間の2つの方向をf方向(第1の上下・対角中間方向)、g方向(第2の上下・対角中間方向)と呼ぶこととする。そして、ノイズ除去部111は、f方向と、g方向についても、c方向に対して行った、第1膨張処理→第1収縮処理→第2収縮処理→第2膨張処理と同様の処理を行う。
In addition, the
つまり、ノイズ除去部111は、c方向輝度差2値化情報を用いたf方向の第1膨張処理、c方向輝度差2値化情報を用いたf方向の第1収縮処理、c方向輝度差2値化情報を用いたf方向の第2収縮処理、c方向輝度差2値化情報を用いたf方向の第2膨張処理、を行う。
そして、ノイズ除去部111は、c方向輝度差2値化情報を用いたf方向の第2膨張処理の結果を保持するc方向輝度差2値化情報を用いたf方向マーカ出現強度データを記憶部113に記録する。
That is, the
And the
また、ノイズ除去部111は、c方向輝度差2値化情報を用いたg方向の第1膨張処理、c方向輝度差2値化情報を用いたg方向の第1収縮処理、c方向輝度差2値化情報を用いたg方向の第2収縮処理、c方向輝度差2値化情報を用いたg方向の第2膨張処理、を行う。
そして、ノイズ除去部111はc方向輝度差2値化情報を用いたg方向の第2膨張処理の結果を保持するc方向輝度差2値化情報を用いたg方向マーカ出現強度データを記憶部113に記録する。
Further, the
The
次にノイズ除去部111は、作成したc方向輝度差2値化情報を用いたc方向マーカ出現強度データ、c方向輝度差2値化情報を用いたf方向マーカ出現強度データ、c方向輝度差2値化情報を用いたg方向マーカ出現強度データ内の、2値化された輝度を示す各画素のうち、何れかのマーカ出現強度データにおいて大きい値を示す画素をマーカ出現強度“1”として採用する。そして、ノイズ除去部111は、当該採用したマーカ出現強度データの示すマーカ出現強度が“1”となっている画素を、患部位置特定時生成画像内におけるマーカ候補として、当該マーカ候補の画素の情報を保持したc方向ノイズ除去結果データを作成する。
Next, the
[d方向ノイズ除去結果データの作成処理]
また、図示を省略するが、d方向ノイズ除去結果データの作成処理においては、ノイズ除去部111は、マーカエッジ強調部105の生成したd方向輝度差情報を読み込んで、各画素のうち輝度差が閾値以上の画素についてのマーカ出現強度を“1”、各画素のうち輝度差が閾値未満の画素についてのマーカ出現強度を“0”と2値化したd方向輝度差2値化情報を作成する。
[D-direction noise removal result data creation process]
Although not shown, in the d-direction noise removal result data creation process, the
そして、ノイズ除去部111は、d方向輝度差2値化情報を用いたd方向の第1膨張処理、d方向輝度差2値化情報を用いたd方向の第1収縮処理、d方向輝度差2値化情報を用いたd方向の第2収縮処理、d方向輝度差2値化情報を用いたd方向の第2膨張処理、を行う。
そして、ノイズ除去部111はd方向輝度差2値化情報を用いたd方向の第2膨張処理の結果を保持するd方向輝度差2値化情報を用いたd方向マーカ出現強度データを記憶部113に記録する。
Then, the
The
また、ノイズ除去部111は、d方向(左下右上方向)との成す角度が45°の両隣の方向を示すc方向とa方向の中間の2つの方向をg方向(第2の上下・対角中間方向)、h方向(第2の水平・対角中間方向)と呼ぶこととする。そして、ノイズ除去部111は、g方向と、h方向についても、d方向に対して行った、d方向輝度差2値化情報を用いた第1膨張処理→第1収縮処理→第2収縮処理→第2膨張処理と同様の処理を行う。
Further, the
つまり、ノイズ除去部111は、d方向輝度差2値化情報を用いたg方向の第1膨張処理、d方向輝度差2値化情報を用いたg方向の第1収縮処理、d方向輝度差2値化情報を用いたg方向の第2収縮処理、d方向輝度差2値化情報を用いたg方向の第2膨張処理、を行う。
ノイズ除去部111は、d方向輝度差2値化情報を用いたg方向の第2膨張処理の結果を保持するd方向輝度差2値化情報を用いたg方向マーカ出現強度データを記憶部113に記録する。
That is, the
The
また、ノイズ除去部111は、d方向輝度差2値化情報を用いたh方向の第1膨張処理、d方向輝度差2値化情報を用いたh方向の第1収縮処理、d方向輝度差2値化情報を用いたh方向の第2収縮処理、d方向輝度差2値化情報を用いたh方向の第2膨張処理を行う。
ノイズ除去部111はd方向輝度差2値化情報を用いたh方向の第2膨張処理の結果を保持するd方向輝度差2値化情報を用いたh方向マーカ出現強度データを記憶部113に記録する。
Further, the
The
そして、ノイズ除去部111は、作成したd方向輝度差2値化情報を用いたd方向マーカ出現強度データ、d方向輝度差2値化情報を用いたg方向マーカ出現強度データ、d方向輝度差2値化情報を用いたh方向マーカ出現強度データ内の、2値化された輝度を示す各画素のうち、何れかのマーカ出現強度データにおいて大きい値を示す画素をマーカ出現強度“1”として採用する。そして、ノイズ除去部111は、当該採用したマーカ出現強度データの示すマーカ出現強度が“1”となっている画素を、患部位置特定時生成画像内におけるマーカ候補として、当該マーカ候補の画素の情報を保持したd方向ノイズ除去結果データを作成する。
Then, the
以上の処理により、ノイズ除去部111が、a方向ノイズ除去結果データ、b方向ノイズ除去結果データ、c方向ノイズ除去結果データ、d方向ノイズ除去結果データを作成する。ここで、図18の(A)にはa方向ノイズ除去結果データを、図18の(B)にはb方向ノイズ除去結果データを、図18の(C)にはc方向ノイズ除去結果データを、図18の(D)にはd方向ノイズ除去結果データを示している。
そして、ノイズ除去部111は、a方向ノイズ除去結果データにおいてマーカ候補と特定されている画素、b方向ノイズ除去結果データにおいてマーカ候補と特定されている画素、c方向ノイズ除去結果データにおいてマーカ候補と特定されている画素、d方向ノイズ除去結果データにおいてマーカ候補とされている画素全てをマーカ候補群となる画素として特定し、患部位置特定時生成画像内においてマーカ候補群となる画素がどの情報であるかを示す情報(画像中のマーカ候補群に含まれる画素の座標)を保持したマーカ候補群データを生成する。
Through the above processing, the
Then, the
(ステップS14;マーカ候補特定処理)
図19はマーカ候補特定処理の概要を示す図である。
次に、マーカ特定部112が、マーカ候補群データの中から、マーカ候補を特定する。当該処理の詳細は、図19で示すように、まず、マーカ特定部112が、マーカ候補群データを入力し(図19(A))、当該データにおいてマーカ候補群と特定された画素を、隣接する画素の纏まりによって特定される複数の領域ごとにラベリング(分類)を行う。図19(B)においては、マーカ候補群データから隣接する画素のまとまりを示す2つの領域P、領域Qのうち、領域Pの画素にラベリング“1”を、また領域Qの画素にラベリング“2”をそれぞれ付与する。
(Step S14; marker candidate specifying process)
FIG. 19 is a diagram showing an outline of the marker candidate specifying process.
Next, the
そして、マーカ特定部112は、“1”とラベリングされた画素の数及び“2”とラベリングされた画素の数に基づいて、当該領域Pの領域及びQの領域がマーカとして見合うだけの領域範囲の閾値以上かを判定する。そして閾値以上である場合には、その領域に含まれる画素を、マーカの画素の候補として特定する。図19では、領域Pのみが、マーカとして見合う領域範囲の閾値以上の範囲であるとして、当該領域Pが選択された場合の例を示している。そしてマーカ特定部112は、患部位置特定時生成画像内のマーカ候補として特定された画素情報を保持するマーカ候補データを生成し(図19(C)参照)、記憶部113に記録する。
Then, based on the number of pixels labeled “1” and the number of pixels labeled “2”, the
なお、放射線治療装置制御装置1は、患部位置特定時生成画像と事前に登録したテンプレート画像とを比較してマーカを特定する処理をしない場合には、この時点で得られたマーカ候補の画素をマーカとして特定し、当該マーカの画素の情報を保持するマーカ画像を生成するようにしてもよい。このような処理によれば、マーカ画像を生成するにあたり、正規化相関の処理を用いないため、マーカの検出速度を上げることができる。
また、上述の処理において、各画素の輝度値の対数変換を行い、これにより、マーカを示す各画素の輝度と、それ以外の箇所の画素の輝度との輝度差を均一にするような処理を行っているため、一定の輝度値の閾値を用いて、簡易にマーカを検出できるような仕組みとし、これによりマーカ検出の処理速度を上げることができる。
In addition, when the radiotherapy
Further, in the above-described processing, logarithmic conversion of the luminance value of each pixel is performed, and thereby processing for uniformizing the luminance difference between the luminance of each pixel indicating the marker and the luminance of the pixels in other locations. Since this is done, a mechanism is adopted in which a marker can be easily detected using a threshold value of a constant luminance value, thereby increasing the marker detection processing speed.
図20はパタンマッチング事前処理の概要を示す図である。
(ステップS15;探索範囲決定処理)
マーカ特定部112は、作成したマーカ候補データの示すマーカ候補の画素の情報によって得られるマーカ候補画像において、マーカ候補として特定された画素のx座標の最小値xminと最大値xmaxで示されるマーカ候補の幅W1を算出する。またマーカ特定部112は、マーカ候補として特定された画素のy座標の最小値yminと最大値ymaxで示されるマーカ候補の高さH1を算出する。そして、マーカ候補の画素を包含する幅H1、高さW1の領域を探索範囲として暫定的に決定する(図20(B)参照)。
FIG. 20 is a diagram showing an outline of pattern matching pre-processing.
(Step S15; search range determination process)
The
また、マーカ特定部112は、事前にテンプレート登録制御部102の処理によって記録されたテンプレート画像の情報を記憶部113から読取り、当該テンプレート画像の情報に格納されたテンプレート画像の放射線透視画像中における座標の情報に基づいて、テンプレート画像の幅W2と高さH2と検出する。そして、マーカ特定部112は、マーカ候補の幅W1と、テンプレート画像の幅W2とを比較する。またマーカ特定部112は、マーカ候補の高さH1と、テンプレート画像の高さH2とを比較する。そして、W1<W2である場合には、探索範囲の幅を広げる(図20(B)参照)。なおW1≧W2の場合には探索範囲を広げなくてもよい。またはW1≧W2の場合であっても探索範囲を広げるようにしてもよい。探索範囲を広げるか広げないかはどの程度、マーカの特定の精度を上げるかによる。
In addition, the
当該探索範囲の幅を広げる処理としては、例えば、探索範囲の幅方向のx座標の最小値をxmin、最大値をxmaxとすると、最小値がxmin−W2、最大値がxmax+W2となるように広げる。このような処理により、探索範囲の幅(探索範囲のx座標方向の両端の距離)は、例えば暫定的に決定した探索範囲の幅W1のほぼ2倍〜3倍に広がることとなる。マーカの幅がテンプレート画像の幅よりも狭い場合には、患部位置特定時生成画像から得られたマーカ候補が実際よりも短く検出されているということである。従って、本処理で探索範囲を広げることにより、マーカ候補と考えられる画素を特定する処理の精度を向上させることができる。また、実際のマーカの端の一部のみマーカ候補として特定されている場合には、そのマーカ候補の右側または左側に、ほぼマーカの実際の幅と等しい距離の幅においてマーカ候補として特定できていない画素が隠れている可能性がある。従って、探索範囲を広げる際に暫定的に決定した探索範囲を右側と左側のそれぞれにおいて、マーカの幅とほぼ同じと考えられるテンプレート画像の幅分の距離を広げている。 As the processing for expanding the width of the search range, for example, if the minimum value of the x coordinate in the width direction of the search range is x min and the maximum value is x max , the minimum value is x min −W2 and the maximum value is x max + W2. Spread to become. By such processing, the width of the search range (distance between both ends of the search range in the x-coordinate direction) widens, for example, approximately twice to three times the width W1 of the search range determined provisionally. When the width of the marker is narrower than the width of the template image, it means that the marker candidate obtained from the image generated when the affected area is specified is detected to be shorter than actual. Therefore, by expanding the search range in this process, it is possible to improve the accuracy of the process of identifying pixels that are considered marker candidates. In addition, when only a part of an actual marker end is specified as a marker candidate, it cannot be specified as a marker candidate on the right or left side of the marker candidate at a distance that is substantially equal to the actual width of the marker. Pixels may be hidden. Accordingly, the distance corresponding to the width of the template image that is considered to be substantially the same as the width of the marker is widened on the right side and the left side of the search range tentatively determined when the search range is expanded.
また、同様に、H1<H2である場合には、探索範囲の高さを広げる(図20(B)参照)。なおH1≧H2の場合には探索範囲を必ずしも広げなくてもよい。探索範囲を広げるか広げないかはどの程度、マーカの特定の精度を上げるかによる。
当該探索範囲の高さを広げる処理としては、例えば、探索範囲の高さ方向のy座標の最小値をymin、最大値をymaxとすると、最小値がymin−H2、最大値がymax+H2となるように広げる。このような処理により、探索範囲の高さが、暫定的に決定した探索範囲の高さH1のほぼ2倍〜3倍に広がることとなる。マーカの高さがテンプレート画像の高さよりも狭い場合には、患部位置特定時生成画像から得られたマーカ候補が実際よりも短く検出されているということである。従って、本処理で探索範囲を広げることにより、マーカ候補と考えられる画素を特定する処理の精度を向上させることができる。また、実際のマーカの一部のみマーカ候補として特定されている場合には、そのマーカ候補の上側または下側に、ほぼマーカの実際の高さと等しい距離の高さにおいてマーカ候補として特定できていない画素が隠れている可能性がある。従って、探索範囲の高さを広げる際に暫定的に決定した探索範囲を上側と下側のそれぞれにおいて、マーカの高さとほぼ同じと考えられるテンプレート画像の高さ分の距離を広げている。以上の処理により探索範囲が決定される。
Similarly, when H1 <H2, the height of the search range is widened (see FIG. 20B). In the case of H1 ≧ H2, the search range does not necessarily have to be expanded. Whether the search range is expanded or not depends on how much the specific accuracy of the marker is increased.
As a process of expanding the height of the search range, for example, if the minimum value of the y coordinate in the height direction of the search range is ymin and the maximum value is ymax, the minimum value is ymin−H2, and the maximum value is ymax + H2. Spread to. By such a process, the height of the search range is expanded to about 2 to 3 times the height H1 of the search range that is provisionally determined. If the height of the marker is narrower than the height of the template image, it means that the marker candidate obtained from the image generated when the affected area is specified is detected to be shorter than the actual position. Therefore, by expanding the search range in this process, it is possible to improve the accuracy of the process of identifying pixels that are considered marker candidates. In addition, when only a part of the actual marker is specified as the marker candidate, it cannot be specified as the marker candidate at a height approximately equal to the actual height of the marker above or below the marker candidate. Pixels may be hidden. Accordingly, the distance corresponding to the height of the template image that is considered to be substantially the same as the height of the marker is widened on the upper and lower sides of the search range tentatively determined when the height of the search range is expanded. The search range is determined by the above processing.
(ステップS16;利用テンプレート画像判定処理)
そして、次にマーカ特定部112は、事前にマッチング対象範囲特定部110によって生成されたマッチング対象範囲情報を記憶部113から読み取る。そして、マーカ特定部112は、マッチング対象範囲情報に格納されている、マッチング対象範囲A,B,Cの範囲を示す座標の情報に基づいて、マッチング対象範囲Aの領域と、マッチング対象範囲Bの領域と、マッチング対象範囲Cの領域とを検出する。そして、マーカ特定部112は、既に決定した探索範囲の患部位置特定時生成画像の位置を探索範囲が示す座標の情報から検出し、当該探索範囲の患部位置特定時生成画像における位置が、マッチング対象範囲A,B,Cのどの領域に含まれるかを判定する(図20(C)参照)。
(Step S16; use template image determination process)
Then, the
そして、マーカ特定部112は、探索範囲がマッチング対象範囲Aの領域に含まれる場合には、マッチング対象範囲情報においてマッチング対象範囲Aの範囲を示す座標に紐付けられているテンプレート画像Aの情報を読み取って、当該テンプレート画像Aを用いてパタンマッチング処理を行うと判定する。
またマーカ特定部112は、探索範囲がマッチング対象範囲Bの領域に含まれる場合には、マッチング対象範囲情報においてマッチング対象範囲Bの範囲を示す座標に紐付けられているテンプレート画像Bの情報を読み取って、当該テンプレート画像Bを用いてパタンマッチング処理を行うと判定する。
またマーカ特定部112は、探索範囲がマッチング対象範囲Cの領域に含まれる場合には、マッチング対象範囲情報においてマッチング対象範囲Cの範囲を示す座標に紐付けられているテンプレート画像Cの情報を読み取って、当該テンプレート画像Cを用いてパタンマッチング処理を行うと判定する。
Then, when the search range is included in the region of the matching target range A, the
Further, when the search range is included in the region of the matching target range B, the
In addition, when the search range is included in the region of the matching target range C, the
または、マーカ特定部112は、探索範囲がマッチング対象範囲AとBの両方の領域に含まれる場合には、マッチング対象範囲情報においてマッチング対象範囲Aの範囲を示す座標に紐付けられているテンプレート画像Aの情報と、マッチング対象範囲Bの範囲を示す座標に紐付けられているテンプレート画像Bの情報とを読み取って、当該テンプレート画像A及び当該テンプレート画像Bを用いてパタンマッチング処理を行うと判定する。
または、マーカ特定部112は、探索範囲がマッチング対象範囲BとCの両方の領域に含まれる場合には、マッチング対象範囲情報においてマッチング対象範囲Bの範囲を示す座標に紐付けられているテンプレート画像Bの情報と、マッチング対象範囲Cの範囲を示す座標に紐付けられているテンプレート画像Cの情報とを読み取って、当該テンプレート画像B及び当該テンプレート画像Cを用いてパタンマッチング処理を行うと判定する。
ここで、図20(D)で示すように、探索範囲が複数のマッチング対象範囲の領域にまたがる場合には、マッチング対象範囲に包含されている探索範囲の一部を、当該マッチング対象範囲で特定されるテンプレート画像を用いてパタンマッチング処理する。
Alternatively, when the search range is included in both the matching target ranges A and B, the
Alternatively, when the search range is included in both of the matching target ranges B and C, the
Here, as shown in FIG. 20D, when the search range extends over a plurality of matching target ranges, a part of the search range included in the matching target range is specified by the matching target range. Pattern matching processing is performed using the template image to be processed.
(ステップS17;パタンマッチング処理)
図21はパタンマッチング処理の概要を示す第1の図である。
今、探索範囲がマッチング対象範囲Aに含まれているものとする。この場合は、次に、マーカ特定部112は、探索範囲の患部位置特定時生成画像における位置に基づいて決定したマッチング対象範囲Aの範囲を示す座標に紐付けられているテンプレート画像Aを記憶部113から読み取る。また、マーカ特定部112は、事前に記憶部113に記録された、テンプレート画像を回転させてマッチング処理を行う場合の回転角度の上限値を読み取る。そして、マーカ特定部112は、回転角度の上限値を用いてテンプレート画像を時計回りと反時計回りにそれぞれ回転させた回転テンプレート画像2つ生成する。例えば図21の(B)で示すように回転角度の上限値を5°とすると、5°回転させた回転テンプレート画像と、−5°回転させた回転テンプレート画像を生成する。なお、回転角度の上限値まで、所定の角度刻みで更に多くの回転テンプレート画像を作成するようにしてもよい。
(Step S17; pattern matching process)
FIG. 21 is a first diagram showing an outline of the pattern matching process.
Now, it is assumed that the search range is included in the matching target range A. In this case, next, the
そして、マーカ特定部112は、テンプレート画像Aの情報に格納されている画素毎輝度差情報と、患部位置特定時生成画像の探索範囲における画素毎輝度差情報とを読み取る。また、マーカ特定部112は、テンプレート画像Aのマスク情報を記憶部113から読み取る。そして、マーカ特定部112は、テンプレート画像Aの画素毎輝度差情報と、探索範囲の画素毎輝度差情報とを用いて、探索範囲の原点と、テンプレート画像Aの原点とを重ね合わせた時の、テンプレート画像の範囲に相当する探索範囲内の位置範囲において、探索範囲の位置範囲における各画素の輝度差と、それら各画素に位置対応するテンプレート画像Aの各画素の輝度差との相関を算出する(パタンマッチング処理)。このとき、マーカ特定部112は、テンプレート画像Aのマスク情報を用いて、当該マスク情報においてマスク対象とされた画素について、探索範囲における対応する画素との間での相関の算出を行わない。これにより、パタンマッチング処理量を軽減することができる。
Then, the
マーカ特定部112は、予めマッチング条件情報として記憶部113に登録した最低限の相関値の閾値と、処理を打ち切る相関値(以下、処理打ち切り相関値と呼ぶ)とを読取り、テンプレート画像との相関を計算している探索範囲内の位置範囲(パタンマッチング処理において、テンプレート画像の原点と)について算出した現在の相関値が、最低限の相関値の閾値以上かの判定と、処理打ち切り相関値以上かの判定を行う。そして、現在の相関値が最低限の相関値の閾値以上であれば、テンプレート画像との相関を計算している探索範囲内の現在の位置範囲を、マーカ検出範囲候補として特定し、そのマーカ検出範囲候補とした探索範囲内の位置範囲を示す座標と、その位置範囲について算出した相関値を対応付けて記憶部113に記録する。
The
そして、マーカ特定部112は、現在の相関値が、最低限の相関値の閾値未満である場合、および特定したマーカ検出範囲候補とした探索範囲内の位置範囲を示す座標を記憶部113に記録した後には、テンプレート画像と同じ範囲の位置範囲を探索範囲内で1画素ずらす。そして、マーカ特定部112は、再度、当該探索範囲の位置範囲における各画素の輝度差と、それら各画素に位置対応するテンプレート画像Aの各画素の輝度差との相関を算出する(パタンマッチング処理)。そして、マーカ特定部112は、図21(C)で示すように、位置範囲を1画素ずつずらしながら、パタンマッチング処理を行っていく。本実施形態において位置範囲を1画素ずつずらす手法は、例えば、水平方向(右方向)にずらしていき、位置範囲が探索範囲からはみ出す場合には、はみ出す前に垂直方向に1画素ずらす(下方向)。そして、垂直方向に1画素ずらした後は逆側の水平方向(左方向)にずらしていき、位置範囲が探索範囲からはみ出す場合には、はみ出す前に垂直方向に1画素ずらす(下方向)。そしてこのような処理を繰り返す。
Then, when the current correlation value is less than the minimum correlation value threshold, the
また、マーカ特定部112は、探索範囲内で位置範囲をずらす処理において、テンプレート画像の原点とは対角の角の座標と、探索範囲の原点とは対角の角の座標とが一致することによって、探索範囲内で位置範囲をこれ以上ずらすことができなくなった場合には、パタンマッチング処理を打ち切る。
また、マーカ特定部112は、図21(D)で示すように、回転テンプレート画像を用いて同様のパタンマッチング処理を行い、マーカ検出範囲候補を決定する。そして、マーカ特定部112は、マーカ検出範囲候補として特定した探索範囲内の位置範囲についての相関値のうち、最も高い値を示す位置範囲をマーカ検出範囲として決定する。マーカ特定部112は、現在の相関値が打ち切り相関値以上の場合には、当該現在の位置範囲について算出した相関値が最も高い値であるため、その位置範囲をマーカ検出範囲として特定する。
Further, in the process of shifting the position range within the search range, the
Further, as shown in FIG. 21D, the
そしてマーカ特定部112は、当該特定した探索範囲内におけるマーカ検出範囲の座標と、テンプレート画像Aに出現するマーカの端点の座標(テンプレート画像Aの情報内の端点座標情報に格納されている端点の座標)とから、マーカの患部位置特定時生成画像内における座標を算出する。例えば、特定したマーカ検出範囲の原点に対応する探索範囲内の座標が(xt,yt)であり、テンプレート画像Aに格納されたマーカの2つの端点の座標が(xe1,ye1)、(xe2,ye2)である場合には、患部位置特定時生成画像内に出現するマーカの2つの端点の座標(xfa,yfa)、(xfb,yfb)を、それぞれ、
(xfa,yfa)=(xt+xe1,yt+ye1)
(xfb,yfb)=(xt+xe2,yt+ye2)
と算出する。これにより、放射線治療装置制御装置1は、マーカの2つの端点を用いて、その近傍にある患部を判定する。
The
(X fa , y fa ) = (x t + x e1 , y t + y e1 )
(X fb , y fb ) = (x t + x e2 , y t + y e2 )
And calculate. Thereby, the radiotherapy
図22は回転テンプレート画像を用いてマーカの端点を算出する概要を示す図である。
回転テンプレート画像を用いたパタンマッチング処理により決定したマーカ検出範囲に基づいて、患部位置特定時生成画像内に出現するマーカの端点の画素の座標を算出する場合には、図22に示すように、テンプレート画像のマーカの端点を回転する処理が必要となる。このとき、テンプレート画像の原点の画素の座標に対応する探索範囲内の画素の座標が(xt,yt)、テンプレート画像内に出現するマーカの端点の座標が(xe,ye)、回転テンプレート画像の回転角度がθである場合には、患部位置特定時生成画像内に出現するマーカの端点の座標(xf,yf)は、
(xf,yf)
=(xt+xecosθ−yesinθ,yt+xesinθ−yecosθ)
により算出する。
FIG. 22 is a diagram showing an outline of calculating the end point of the marker using the rotation template image.
When calculating the coordinates of the pixel at the end point of the marker that appears in the generated image at the time of diseased part position identification based on the marker detection range determined by the pattern matching process using the rotation template image, as shown in FIG. Processing to rotate the end points of the markers of the template image is required. At this time, the coordinates of the pixel in the search range corresponding to the coordinates of the pixel at the origin of the template image are (x t , y t ), the coordinates of the end point of the marker appearing in the template image are (x e , y e ), When the rotation angle of the rotation template image is θ, the coordinates (x f , y f ) of the end points of the markers appearing in the generated image at the time of diseased part position specification are
(X f , y f )
= (X t + x e cos θ−y e sin θ, y t + x e sin θ−y e cos θ)
Calculated by
図23はパタンマッチング処理の概要を示す第2の図である。
図23(B)で示すように、探索範囲が複数のマッチング対象範囲の領域にまたがる場合には、マッチング対象範囲に包含されている探索範囲の一部を、当該マッチング対象範囲で特定されるテンプレート画像を用いてパタンマッチング処理することとなるが、この場合のパタンマッチング処理について説明する。
図23(B)においては、探索範囲の上部がマッチング対象範囲Aの領域にあり、探索範囲の下部がマッチング対象範囲Bの領域に存在する場合の例である。ここで探索範囲の上部を探索範囲A、探索範囲の下部を探索範囲Bと呼ぶこととする。
FIG. 23 is a second diagram showing an outline of the pattern matching process.
As shown in FIG. 23B, when the search range extends over a plurality of matching target ranges, a part of the search range included in the matching target range is identified by the matching target range. The pattern matching process is performed using an image. The pattern matching process in this case will be described.
FIG. 23B shows an example in which the upper portion of the search range is in the region of the matching target range A and the lower portion of the search range is in the region of the matching target range B. Here, the upper part of the search range is called a search range A, and the lower part of the search range is called a search range B.
この場合には、マーカ特定部112は、テンプレート画像Aの画素毎輝度差情報と、探索範囲Aの画素毎輝度差情報とを用いて、探索範囲Aの原点と、テンプレート画像Aの原点とを重ね合わせた時の、テンプレート画像Aの範囲に相当する探索範囲A内の位置範囲において、探索範囲Aの位置範囲における各画素の輝度差と、それら各画素に位置対応するテンプレート画像Aの各画素の輝度差との相関を算出する。そして、探索範囲Aがテンプレート画像Aよりも広い場合には、1画素ずつ上記の手法と同様に位置範囲をずらしてパタンマッチング処理を行っていく。
In this case, the
また同様に、マーカ特定部112は、テンプレート画像Bの画素毎輝度差情報と、探索範囲Bの画素毎輝度差情報とを用いて、探索範囲Bの原点と、テンプレート画像Bの原点とを重ね合わせた時の、テンプレート画像Bの範囲に相当する探索範囲B内の位置範囲において、探索範囲Bの位置範囲における各画素の輝度差と、それら各画素に位置対応するテンプレート画像Bの各画素の輝度差との相関を算出する。そして、探索範囲Bがテンプレート画像Bよりも広い場合には、1画素ずつ上記の手法と同様に位置範囲をずらしてパタンマッチング処理を行っていく。
Similarly, the
そして、マーカ特定部112は、テンプレート画像Aの画素毎輝度差情報と、探索範囲Aの画素毎輝度差情報とを用いて算出した相関値が最も高い場合には、探索範囲内におけるマーカ検出範囲の座標と、テンプレート画像Aに出現するマーカの端点の座標とから、マーカの患部位置特定時生成画像内における座標を算出する。
他方、マーカ特定部112は、テンプレート画像Bの画素毎輝度差情報と、探索範囲Bの画素毎輝度差情報とを用いて算出した相関値が最も高い場合には、探索範囲内におけるマーカ検出範囲の座標と、テンプレート画像Bに出現するマーカの端点の座標とから、マーカの患部位置特定時生成画像内における座標を算出する。
When the correlation value calculated using the pixel-by-pixel luminance difference information of the template image A and the pixel-by-pixel luminance difference information of the search range A is the highest, the
On the other hand, when the correlation value calculated using the pixel-by-pixel luminance difference information of the template image B and the pixel-by-pixel luminance difference information of the search range B is the highest, the
このように、放射線透視画像中の異なる位置に出現するマーカそれぞれのテンプレート画像を予め作成しておき、放射線照射治療時に新たに生成された画像中のマーカの位置に最も近いテンプレート画像を利用して、パタンマッチング処理を行っている。これにより、精度の高いマーカの画像中の位置検出を行うことができる。 In this way, template images of the markers appearing at different positions in the radiographic image are prepared in advance, and the template image closest to the marker position in the newly generated image at the time of radiation irradiation treatment is used. The pattern matching process is performed. Thereby, the position detection in the image of a marker with high precision can be performed.
なお、上述の処理においては、一つの方向から放射線を照射することにより得られた放射線透視画像を用いて複数のテンプレート画像を生成し、また放射線照射治療時の画像についても同じ方向から放射線を照射することにより得られた画像を用いて、テンプレート画像とのパタンマッチング処理を行っている。しかしながら、患者に対する放射線照射角度を変えた場合にもマーカの位置が検出できるように、複数の方向から放射線を照射することにより得られた放射線透視画像を用いて複数のテンプレート画像を照射方向ごとに生成するようにしてもよい。その場合には、放射線照射治療時の画像についても複数の方向から放射線を照射することにより得られた画像を用いて、各方向の複数のテンプレート画像とのパタンマッチング処理を行うようにする。 In the above-described processing, a plurality of template images are generated using radiographic images obtained by irradiating radiation from one direction, and radiation is also applied from the same direction for images during radiation irradiation treatment. Pattern matching processing with the template image is performed using the image obtained by doing so. However, in order to detect the marker position even when the radiation irradiation angle on the patient is changed, a plurality of template images are obtained for each irradiation direction using radiographic images obtained by irradiating radiation from a plurality of directions. You may make it produce | generate. In that case, pattern matching processing with a plurality of template images in each direction is performed using an image obtained by irradiating radiation from a plurality of directions with respect to an image at the time of radiation irradiation treatment.
なお、上述の放射線治療装置制御装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 In addition, the above-mentioned radiotherapy apparatus control apparatus has a computer system inside. Each process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing the program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
101・・・放射線透視画像生成部
102・・・テンプレート登録制御部
103・・・マーカ上複数点特定部
104・・・対数変換部
105・・・マーカエッジ強調部
106・・・テンプレート範囲設定部
107・・・端点位置設定部
108・・・テンプレートマスク設定部
109・・・テンプレート画像生成部
110・・・マッチング対象範囲特定部
111・・・ノイズ除去部
112・・・マーカ特定部
113・・・記憶部
DESCRIPTION OF
Claims (12)
前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成するマーカエッジ強調部と、
前記画素毎輝度差情報において前記輝度差が所定の閾値以上の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ出現画素と特定する処理と、前記画素毎輝度差情報において前記輝度差が所定の閾値未満の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ非出現画素と特定する処理とをそれぞれ所定回数、前記複数の異なる方向それぞれについて別々に繰り返し、前記画素毎輝度差情報において前記輝度差が所定の閾値以上となる画素のうちノイズと判定される画素を除去してマーカ候補となる画素を特定するノイズ除去部と、
前記マーカ候補となる画素について、隣接する画素の纏まりによって複数の領域に分類して、領域の範囲が閾値以上の領域に属する画素を、マーカを示す画素として特定するマーカ特定部と、
を備えることを特徴とする放射線治療装置制御装置。 A radiotherapy apparatus controller for detecting the marker in a radioscopic image digitally generated by irradiating a subject in which a marker is embedded,
In the radiographic image, a luminance difference between a luminance of a certain pixel and luminances of two opposing pixels located on a straight line in a predetermined direction passing through the certain pixel and positioned at a predetermined distance from the certain pixel. The luminance difference of any one of them is calculated for a plurality of different directions passing through the certain pixel, the information on the largest luminance difference among them is specified for the certain pixel, and the information on the luminance difference is determined as the radiographic image. A marker edge emphasis unit that creates pixel-by-pixel luminance difference information held for a plurality of pixels in the inside,
In the pixel-by-pixel luminance difference information, a process of specifying pixels within a predetermined range from the pixel that is continuous in the predetermined direction to pixels having a luminance difference equal to or greater than a predetermined threshold as marker appearing pixels; A process of identifying a pixel in a predetermined range from the pixel connected in the predetermined direction to a pixel having a luminance difference less than a predetermined threshold as a marker non-appearing pixel is repeated separately for each of the plurality of different directions, respectively. A noise removing unit that removes pixels determined to be noise from among pixels in which the luminance difference is equal to or greater than a predetermined threshold in the pixel-by-pixel luminance difference information, and identifies pixels that are marker candidates;
A marker specifying unit that classifies pixels that are candidates for the marker into a plurality of regions based on a group of adjacent pixels, and specifies pixels that belong to a region having a region range equal to or greater than a threshold value as a pixel indicating a marker;
A radiotherapy apparatus control apparatus comprising:
前記マーカエッジ強調部は、前記対数変換後の前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成する
ことを特徴とする請求項1に記載の放射線治療装置制御装置。 A logarithmic conversion unit that logarithmically converts a luminance value for each pixel in the radiographic image,
The marker edge emphasis unit is located on a straight line in a predetermined direction passing through the certain pixel and the luminance of a certain pixel in the radiographic image after the logarithmic transformation, and is opposed to the certain pixel at a predetermined distance. The luminance difference of any one of the luminance differences between the two pixels is calculated for a plurality of different directions passing through the certain pixel, and the information on the largest luminance difference among them is specified for the certain pixel. 2. The radiotherapy apparatus control apparatus according to claim 1, wherein the brightness difference information for each pixel is generated in which the information on the brightness difference is held for a plurality of pixels in the fluoroscopic image.
前記マーカの複数点を含むテンプレート画像範囲を設定するテンプレート範囲設定部と、
前記端点の情報と、前記テンプレート画像範囲の情報と、当該テンプレート画像範囲の前記放射線透視画像中における位置の情報と、を含むテンプレート画像情報を生成するテンプレート画像生成部と、
を備え、
前記マーカ特定部は、前記分類した領域の範囲が閾値以上の領域を含む探索範囲を決定し、当該探索範囲内の画素と、前記テンプレート画像を示す画素の前記画素毎輝度差情報に基づく輝度差を用いて算出した相関値を算出し、当該相関値が閾値以上であると判定した場合の前記探索範囲内の位置範囲の原点と、前記テンプレート画像が示すマーカの端点の当該テンプレート画像における座標とを用いて、前記放射線透視画像中に出現するマーカの端点座標を特定する
ことを特徴とする請求項1または請求項2に記載の放射線治療装置制御装置。 A plurality of on-marker specifying parts for specifying a plurality of points including end points in the fluoroscopic image of the marker appearing in the fluoroscopic image;
A template range setting unit for setting a template image range including a plurality of points of the marker;
A template image generating unit that generates template image information including information on the end points, information on the template image range, and information on a position of the template image range in the radiographic image;
With
The marker specifying unit determines a search range including a region in which the classified region range is equal to or greater than a threshold, and a luminance difference based on the pixel-by-pixel luminance difference information of a pixel in the search range and a pixel indicating the template image And the origin of the position range in the search range when it is determined that the correlation value is equal to or greater than the threshold, and the coordinates in the template image of the end point of the marker indicated by the template image The end point coordinate of the marker that appears in the radioscopic image is specified using the radiotherapy apparatus control apparatus according to claim 1 or 2.
前記テンプレート範囲設定部は、前記マーカの複数点を含むテンプレート画像範囲を、異なる時刻に生成された前記放射線透視画像それぞれについて設定し、
前記テンプレート画像生成部は、前記端点の情報と、前記テンプレート画像範囲の情報と、当該テンプレート画像範囲の前記放射線透視画像中における位置の情報と、を含むテンプレート画像情報を、異なる時刻に生成された前記放射線透視画像それぞれについて複数生成し、
前記テンプレート画像に近い画素の纏まりの範囲を示すマッチング対象範囲を、前記複数のテンプレート画像それぞれについて特定するマッチング対象範囲特定部を備え、
前記マーカ特定部は、
前記分類した領域の範囲が閾値以上の領域を含む探索範囲を決定し、
当該探索範囲を包含する前記マッチング対象範囲を決定し、
前記探索範囲において前記決定したマッチング対象範囲に属するテンプレート画像の範囲と同一の位置範囲の画素と、前記テンプレート画像を示す画素の前記画素毎輝度差情報に基づく輝度差を用いて算出した相関値を算出し、
当該相関値が閾値以上であると判定した場合の前記探索範囲内の位置範囲の原点と、前記決定したマッチング対象範囲に属するテンプレート画像が示すマーカの端点の当該テンプレート画像における座標とを用いて、前記放射線透視画像中に出現するマーカの端点座標を特定する
ことを特徴とする請求項3に記載の放射線治療装置制御装置。 The marker multiple point specifying unit specifies a plurality of points including end points in the radiographic image of the marker appearing in the radiographic image for each of the radiographic images generated at different times,
The template range setting unit sets a template image range including a plurality of points of the marker for each of the radiographic images generated at different times,
The template image generation unit generates template image information including the end point information, the template image range information, and the position information of the template image range in the radiographic image at different times. Generating a plurality of each radiographic image,
A matching target range specifying unit that specifies a matching target range indicating a group of pixels close to the template image for each of the plurality of template images;
The marker specifying unit is
Determining a search range including a region where the range of the classified region is equal to or greater than a threshold;
Determining the matching target range including the search range,
In the search range, a correlation value calculated using a luminance difference based on the pixel-by-pixel luminance difference information of a pixel in the same position range as the range of the template image belonging to the determined matching target range and a pixel indicating the template image. Calculate
Using the origin of the position range in the search range when it is determined that the correlation value is greater than or equal to the threshold, and the coordinates in the template image of the end point of the marker indicated by the template image belonging to the determined matching target range, The radiotherapy apparatus control apparatus according to claim 3, wherein an end point coordinate of a marker that appears in the radioscopic image is specified.
前記決定した複数のマッチング対象範囲のうちの1つのマッチング対象範囲に属する前記探索範囲の一部範囲については、当該一部範囲の画素と、前記1つのマッチング対象範囲に属するテンプレート画像を示す画素の前記画素毎輝度差情報に基づく輝度差を用いて算出した相関値を算出し、
当該相関値が閾値以上であるとの判定に利用した前記探索範囲内の位置範囲の原点および前記1つのマッチング対象範囲に属するテンプレート画像が示すマーカの端点の当該テンプレート画像における座標と、を用いて、前記放射線透視画像中に出現するマーカの端点座標を特定する
ことを特徴とする請求項4に記載の放射線治療装置制御装置。 When there are a plurality of matching target ranges including the search range, the marker specifying unit determines a plurality of different matching target ranges including the search range,
For a partial range of the search range belonging to one matching target range among the determined plurality of matching target ranges, pixels of the partial range and pixels indicating a template image belonging to the one matching target range Calculating a correlation value calculated using a luminance difference based on the luminance difference information for each pixel;
Using the origin of the position range in the search range used for determining that the correlation value is equal to or greater than the threshold and the coordinates in the template image of the end point of the marker indicated by the template image belonging to the one matching target range, The radiotherapy apparatus control apparatus according to claim 4, wherein end point coordinates of a marker appearing in the radioscopic image are specified.
前記マーカ特定部は、前記マスク情報で保持された画素の輝度差の情報を用いずに前記相関値の算出を行う
ことを特徴とする請求項3から請求項5の何れか一項に記載の放射線治療装置制御装置。 In the radiographic image, pixels other than the pixels corresponding to the line connecting the plurality of points are determined to be excluded in the subsequent processing, and information indicating the object exclusion is set to a plurality of pixels corresponding to the line connecting the plurality of points. A template mask setting unit that generates mask information held for each of the corresponding pixels on the connecting line, for each of the fluoroscopic images generated at different times, and
The said marker specific | specification part calculates the said correlation value, without using the information of the brightness | luminance difference of the pixel hold | maintained with the said mask information. The Claim 1 characterized by the above-mentioned. Radiotherapy device control device.
前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成し、
前記画素毎輝度差情報において前記輝度差が所定の閾値以上の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ出現画素と特定する処理と、前記画素毎輝度差情報において前記輝度差が所定の閾値未満の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ非出現画素と特定する処理とをそれぞれ所定回数、前記複数の異なる方向それぞれについて別々に繰り返し、前記画素毎輝度差情報において前記輝度差が所定の閾値以上となる画素のうちノイズと判定される画素を除去してマーカ候補となる画素を特定し、
前記マーカ候補となる画素について、隣接する画素の纏まりによって複数の領域に分類して、領域の範囲が閾値以上の領域に属する画素を、マーカを示す画素として特定する
ことを特徴とする処理方法。 A processing method for detecting the marker in a radioscopic fluoroscopic image generated by irradiating a subject with an embedded marker with radiation,
In the radiographic image, a luminance difference between a luminance of a certain pixel and luminances of two opposing pixels located on a straight line in a predetermined direction passing through the certain pixel and positioned at a predetermined distance from the certain pixel. The luminance difference of any one of them is calculated for a plurality of different directions passing through the certain pixel, the information on the largest luminance difference among them is specified for the certain pixel, and the information on the luminance difference is determined as the radiographic image. Create brightness difference information for each pixel that is stored for multiple pixels in it,
In the pixel-by-pixel luminance difference information, a process of specifying pixels within a predetermined range from the pixel that is continuous in the predetermined direction to pixels having a luminance difference equal to or greater than a predetermined threshold as marker appearing pixels; A process of identifying a pixel in a predetermined range from the pixel connected in the predetermined direction to a pixel having a luminance difference less than a predetermined threshold as a marker non-appearing pixel is repeated separately for each of the plurality of different directions, respectively. In the pixel-by-pixel luminance difference information, a pixel that is determined as noise is removed from pixels in which the luminance difference is equal to or greater than a predetermined threshold, and a pixel that is a marker candidate is specified.
A processing method characterized by classifying pixels as marker candidates into a plurality of regions based on a group of adjacent pixels, and specifying a pixel belonging to a region having a region range equal to or greater than a threshold as a pixel indicating a marker.
前記対数変換後の前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成する
ことを特徴とする請求項7に記載の処理方法。 Logarithmically transform the luminance value for each pixel in the fluoroscopic image,
The luminance of a certain pixel in the radiographic image after the logarithmic conversion, and the luminances of two opposing pixels located on a straight line in a predetermined direction passing through the certain pixel and positioned at a predetermined distance from the certain pixel, Is calculated for a plurality of different directions passing through the certain pixel, information on the largest luminance difference among them is specified for the certain pixel, and information on the luminance difference is calculated. The method according to claim 7, further comprising: creating pixel-by-pixel luminance difference information for a plurality of pixels in the radiographic image.
前記マーカの複数点を含むテンプレート画像範囲を設定し、
前記端点の情報と、前記テンプレート画像範囲の情報と、当該テンプレート画像範囲の前記放射線透視画像中における位置の情報と、を含むテンプレート画像情報を生成し、
前記分類した領域の範囲が閾値以上の領域を含む探索範囲を決定し、当該探索範囲内の画素と、前記テンプレート画像を示す画素の前記画素毎輝度差情報に基づく輝度差を用いて算出した相関値を算出し、当該相関値が閾値以上であると判定した場合の前記探索範囲内の位置範囲の原点と、前記テンプレート画像が示すマーカの端点の当該テンプレート画像における座標とを用いて、前記放射線透視画像中に出現するマーカの端点座標を特定する
ことを特徴とする請求項7または請求項8に記載の処理方法。 Identify a plurality of points including end points in the fluoroscopic image of the marker appearing in the fluoroscopic image,
Set a template image range including a plurality of points of the marker,
Generating template image information including information on the end points, information on the template image range, and information on a position of the template image range in the fluoroscopic image,
Correlation calculated using a luminance difference based on the pixel-by-pixel luminance difference information of a pixel within the search range and a pixel indicating the template image, by determining a search range including a region where the classified region range is greater than or equal to a threshold value The radiation is calculated using the origin of the position range in the search range when it is determined that the correlation value is equal to or greater than the threshold value, and the coordinates of the end point of the marker indicated by the template image in the template image. The processing method according to claim 7 or 8, wherein an end point coordinate of a marker that appears in a fluoroscopic image is specified.
前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成するマーカエッジ強調手段、
前記画素毎輝度差情報において前記輝度差が所定の閾値以上の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ出現画素と特定する処理と、前記画素毎輝度差情報において前記輝度差が所定の閾値未満の画素に前記所定方向に連なっている当該画素から所定範囲の画素をマーカ非出現画素と特定する処理とをそれぞれ所定回数、前記複数の異なる方向それぞれについて別々に繰り返し、前記画素毎輝度差情報において前記輝度差が所定の閾値以上となる画素のうちノイズと判定される画素を除去してマーカ候補となる画素を特定するノイズ除去手段、
前記マーカ候補となる画素について、隣接する画素の纏まりによって複数の領域に分類して、領域の範囲が閾値以上の領域に属する画素を、マーカを示す画素として特定するマーカ特定手段、
として機能させることを特徴とするプログラム。 A radiation therapy apparatus controller for detecting a marker in a radioscopic fluoroscopic image generated by irradiating a subject in which a marker is embedded with radiation,
In the radiographic image, a luminance difference between a luminance of a certain pixel and luminances of two opposing pixels located on a straight line in a predetermined direction passing through the certain pixel and positioned at a predetermined distance from the certain pixel. The luminance difference of any one of them is calculated for a plurality of different directions passing through the certain pixel, the information on the largest luminance difference among them is specified for the certain pixel, and the information on the luminance difference is determined as the radiographic image. Marker edge enhancement means for creating pixel-by-pixel luminance difference information held for a plurality of pixels in the inside,
In the pixel-by-pixel luminance difference information, a process of specifying pixels within a predetermined range from the pixel that is continuous in the predetermined direction to pixels having a luminance difference equal to or greater than a predetermined threshold as marker appearing pixels; A process of identifying a pixel in a predetermined range from the pixel connected in the predetermined direction to a pixel having a luminance difference less than a predetermined threshold as a marker non-appearing pixel is repeated separately for each of the plurality of different directions, respectively. A noise removing unit that removes pixels determined to be noise from among pixels in which the luminance difference is equal to or greater than a predetermined threshold in the pixel-by-pixel luminance difference information, and identifies pixels that are marker candidates;
Marker specifying means for classifying the pixels as the marker candidates into a plurality of areas according to a group of adjacent pixels, and specifying pixels belonging to an area whose area range is equal to or greater than a threshold as a pixel indicating a marker,
A program characterized by functioning as
前記マーカエッジ強調手段を、前記対数変換後の前記放射線透視画像中における、ある画素の輝度と、当該ある画素を通る所定方向の直線上に位置し、当該ある画素から所定距離に位置する対向する2つの画素の各輝度と、の輝度差のうちの何れか一方の輝度差を、前記ある画素を通る複数の異なる方向について算出し、そのうちの最も大きい輝度差の情報を当該ある画素について特定して、当該輝度差の情報を前記放射線透視画像中の複数の画素について保持した画素毎輝度差情報を作成する手段として機能させる
ことを特徴とする請求項10に記載のプログラム。 Function as a logarithmic conversion means for logarithmically converting the luminance value for each pixel in the radiographic image,
The marker edge enhancement means is positioned on a straight line in a predetermined direction passing through the certain pixel and the luminance of a certain pixel in the radiographic image after the logarithmic transformation, and is opposed to the certain pixel at a predetermined distance. The luminance difference of any one of the luminance differences between the two pixels is calculated for a plurality of different directions passing through the certain pixel, and the information on the largest luminance difference among them is specified for the certain pixel. 11. The program according to claim 10, wherein the program functions as means for creating pixel-by-pixel luminance difference information in which the luminance difference information is stored for a plurality of pixels in the radiographic image.
前記マーカの複数点を含むテンプレート画像範囲を設定するテンプレート範囲設定手段、
前記端点の情報と、前記テンプレート画像範囲の情報と、当該テンプレート画像範囲の前記放射線透視画像中における位置の情報と、を含むテンプレート画像情報を生成するテンプレート画像生成手段、として機能させ、
前記マーカ特定手段を、前記分類した領域の範囲が閾値以上の領域を含む探索範囲を決定し、当該探索範囲内の画素と、前記テンプレート画像を示す画素の前記画素毎輝度差情報に基づく輝度差を用いて算出した相関値を算出し、当該相関値が閾値以上であると判定した場合の前記探索範囲内の位置範囲の原点と、前記テンプレート画像が示すマーカの端点の当該テンプレート画像における座標とを用いて、前記放射線透視画像中に出現するマーカの端点座標を特定する手段として機能させる
ことを特徴とする請求項10または請求項11に記載のプログラム。 A plurality of on-marker specifying means for specifying a plurality of points including end points in the fluoroscopic image of the marker appearing in the fluoroscopic image;
Template range setting means for setting a template image range including a plurality of points of the marker;
Function as template image generation means for generating template image information including information on the end points, information on the template image range, and information on the position of the template image range in the fluoroscopic image,
The marker specifying unit determines a search range including a region where the range of the classified region is equal to or greater than a threshold, and a luminance difference based on the pixel-by-pixel luminance difference information of a pixel in the search range and a pixel indicating the template image And the origin of the position range in the search range when it is determined that the correlation value is equal to or greater than the threshold, and the coordinates in the template image of the end point of the marker indicated by the template image 12. The program according to claim 10, wherein the program is made to function as means for specifying end point coordinates of a marker appearing in the radioscopic image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011038226A JP5675424B2 (en) | 2011-02-24 | 2011-02-24 | Radiotherapy apparatus control apparatus, processing method of radiotherapy apparatus control apparatus, and program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011038226A JP5675424B2 (en) | 2011-02-24 | 2011-02-24 | Radiotherapy apparatus control apparatus, processing method of radiotherapy apparatus control apparatus, and program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012170767A JP2012170767A (en) | 2012-09-10 |
JP5675424B2 true JP5675424B2 (en) | 2015-02-25 |
Family
ID=46974204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011038226A Active JP5675424B2 (en) | 2011-02-24 | 2011-02-24 | Radiotherapy apparatus control apparatus, processing method of radiotherapy apparatus control apparatus, and program thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5675424B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6065103B2 (en) * | 2013-03-27 | 2017-01-25 | 株式会社島津製作所 | X-ray fluoroscope |
JP6286140B2 (en) * | 2013-05-28 | 2018-02-28 | 株式会社日立製作所 | Radiographic image analysis apparatus, radiotherapy system, marker part detection method, and program |
US10117630B2 (en) | 2013-07-25 | 2018-11-06 | Shimadzu Corporation | Fluoroscopy apparatus and fluoroscopy method |
JP6727644B2 (en) * | 2016-05-23 | 2020-07-22 | 株式会社日立製作所 | Moving object tracking device and radiation irradiation system |
JP6962165B2 (en) * | 2017-12-11 | 2021-11-05 | 株式会社島津製作所 | X-ray fluoroscopy equipment |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3053389B1 (en) * | 1998-12-03 | 2000-06-19 | 三菱電機株式会社 | Moving object tracking irradiation device |
US20050059887A1 (en) * | 2003-09-16 | 2005-03-17 | Hassan Mostafavi | Localization of a target using in vivo markers |
JP4344825B2 (en) * | 2004-11-25 | 2009-10-14 | 国立大学法人金沢大学 | Irradiation position verification system |
JP4834567B2 (en) * | 2006-03-29 | 2011-12-14 | 株式会社アドバンテスト | Pattern measuring apparatus and pattern measuring method |
US7627084B2 (en) * | 2007-03-30 | 2009-12-01 | General Electric Compnay | Image acquisition and processing chain for dual-energy radiography using a portable flat panel detector |
-
2011
- 2011-02-24 JP JP2011038226A patent/JP5675424B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012170767A (en) | 2012-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9183354B2 (en) | Systems and methods for image guided surgery | |
CN106504229B (en) | The detection method of characteristic point in image | |
US11669967B2 (en) | Template matching method for image-based detection and tracking of irregular shaped targets | |
CN107596578B (en) | Alignment mark recognition method, alignment mark position determination method, image forming apparatus, and storage medium | |
Pernus | 3D-2D registration of cerebral angiograms: A method and evaluation on clinical images | |
JP5675424B2 (en) | Radiotherapy apparatus control apparatus, processing method of radiotherapy apparatus control apparatus, and program thereof | |
US7499576B2 (en) | Method and system for detecting a fiducial in digital projection images | |
US20100246915A1 (en) | Patient registration system | |
JP2012530553A (en) | Computer-aided lung nodule detection system for chest tomosynthesis imaging | |
JP2001511570A (en) | A method for detecting interval changes in radiographs | |
CN101258524A (en) | Adaptive radiation therapy method with target detection | |
JP2017131634A (en) | System and method for executing enhanced visualization of multiple low contrast objects within imaged subject | |
CN113284160A (en) | Method, device and equipment for identifying operation navigation mark bead body | |
JP4408863B2 (en) | Medical image processing apparatus and method | |
CN109389577B (en) | X-ray image processing method and system, and computer storage medium | |
Park et al. | A novel method of cone beam CT projection binning based on image registration | |
US8073232B2 (en) | Method and system for diaphragm segmentation in chest X-ray radiographs | |
JP5019220B2 (en) | Medical image display device and medical image display program | |
JP4379706B2 (en) | Region extraction method | |
JP4344825B2 (en) | Irradiation position verification system | |
JP6642048B2 (en) | Medical image display system, medical image display program, and medical image display method | |
US11830184B2 (en) | Medical image processing device, medical image processing method, and storage medium | |
KR20180058071A (en) | Therapy guiding system and method based on matching between 2D fluoroscopy image and 3D CT image | |
JP2005211439A (en) | Abnormal shadow display device and program thereof | |
Vemprala et al. | Real-time tumor tracking for pencil beam scanning proton therapy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140416 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5675424 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |