JP5833975B2 - Image processing system, image processing method, and image processing program - Google Patents
Image processing system, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5833975B2 JP5833975B2 JP2012140594A JP2012140594A JP5833975B2 JP 5833975 B2 JP5833975 B2 JP 5833975B2 JP 2012140594 A JP2012140594 A JP 2012140594A JP 2012140594 A JP2012140594 A JP 2012140594A JP 5833975 B2 JP5833975 B2 JP 5833975B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional object
- slice
- region
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、立体物を複数の断面位置において撮影したスライス画像において、この立体物の中に含まれる小さな立体物の領域を特定するための画像処理システム、画像処理方法及び画像処理プログラムに関する。 The present invention relates to an image processing system, an image processing method, and an image processing program for specifying a region of a small three-dimensional object included in a three-dimensional object in slice images obtained by photographing the three-dimensional object at a plurality of cross-sectional positions.
従来、標本組織内の病理細胞を確認するために、標本組織の断面を撮影した画像を用いて細胞の状態を評価することがある。そこで、形態学的観点から細胞の画像を検索するための画像検索システムが検討されている(例えば、特許文献1参照。)。この文献に記載された画像検索システムの画像データベースには、細胞の画像と細胞の形態学的特徴の情報とを関連づけて記憶させておく。そして、検索条件として入力された細胞の形態学的特徴に基づいて、画像データベースを検索し、検索条件に適合した細胞の画像を表示部に表示する。 Conventionally, in order to confirm a pathological cell in a specimen tissue, the state of the cell is sometimes evaluated using an image obtained by photographing a cross section of the specimen tissue. Therefore, an image search system for searching cell images from a morphological viewpoint has been studied (for example, see Patent Document 1). In the image database of the image search system described in this document, cell images and cell morphological feature information are stored in association with each other. Then, the image database is searched based on the morphological characteristics of the cell input as the search condition, and the cell image that matches the search condition is displayed on the display unit.
更に、細胞の検査においては、異常領域をカウントする場合もあり、血液細胞検査の作業効率を向上させるための画像ファイリングシステムも検討されている(例えば、特許文献2参照。)。この文献に記載された画像ファイリングシステムでは、血液塗抹標本における血液細胞を撮像して画像信号を出力するCCDカメラと、検体番号と患者情報とを対応づけたテーブルと、画像を生成して表示装置に表示させるコンピュータとを備える。そして、検体番号の入力により、対応する患者情報をテーブルから検索する。そして、患者情報と、血液細胞画像と、血液細胞の分類データをカウントした分類カウント値とを表示装置に表示させ、血液細胞画像をデータベースに記憶させる。 Furthermore, in the examination of cells, abnormal regions may be counted, and an image filing system for improving the work efficiency of blood cell examinations has been studied (for example, see Patent Document 2). In the image filing system described in this document, a CCD camera that images blood cells in a blood smear and outputs an image signal, a table that associates a specimen number with patient information, and a display device that generates an image And a computer to be displayed. Then, by inputting the sample number, the corresponding patient information is searched from the table. Then, the patient information, the blood cell image, and the classification count value obtained by counting the blood cell classification data are displayed on the display device, and the blood cell image is stored in the database.
また、試料のセクションとして得られる画像対を取得して解析するためのシステムも検討されている(例えば、特許文献3参照。)。この文献に記載された技術では、試料の各セクションの画像を登録する。次に、数学的変換規則を、1つの画像内で特定される各画像フィールドに使用し、他の画像内の対応する画像フィールドを同様に特定できるようにする。そして、取得した対応画像対内の画像フィールド上のオブジェクトに関して計数事象を、自動手段を使用して特定することにより、そのセクションを評価する。 In addition, a system for acquiring and analyzing an image pair obtained as a section of a sample has been studied (for example, see Patent Document 3). In the technique described in this document, an image of each section of a sample is registered. A mathematical transformation rule is then used for each image field identified in one image so that the corresponding image field in the other image can be identified as well. The section is then evaluated by identifying counting events for the objects on the image field in the acquired corresponding image pair using automatic means.
大きな立体物である評価対象物(例えば、標本組織等)の断面を撮影したスライス画像を作成し、その中に含まれる小さな立体物である内包物(例えば、病理細胞)を観察することがある。この場合、評価対象物内の内包物の断面位置における内包物の数(細胞数)を算出することができる。ここで、複数のスライス画像を用いた場合、断面位置毎に細胞数を把握することができる。 A slice image obtained by photographing a cross section of an evaluation target object (for example, a specimen tissue) that is a large three-dimensional object may be created, and an inclusion (for example, a pathological cell) that is a small three-dimensional object included in the slice image may be observed. . In this case, the number of inclusions (number of cells) at the cross-sectional position of the inclusion in the evaluation object can be calculated. Here, when a plurality of slice images are used, the number of cells can be grasped for each cross-sectional position.
しかしながら、断面位置間の距離が、内包物の大きさ以上に離れている場合、その断面間に存在する内包物をカウントし損なうことがある。一方、内包物の大きさに比べて断面位置間の距離が近い場合、同じ内包物か、別の内包物かどうかを判定できない。このため、同じ内包物を複数の断面において二重にカウントしてしまう可能性がある。更に、スライス画像に歪が含まれている場合もある。この場合には、スライス画像に基づいて同じ内包物を判定できないことがあり、正確なカウントが困難になる。 However, if the distance between the cross-sectional positions is more than the size of the inclusion, the inclusions existing between the cross-sections may not be counted. On the other hand, when the distance between the cross-sectional positions is shorter than the size of the inclusion, it cannot be determined whether the inclusion is the same inclusion or another inclusion. For this reason, there is a possibility that the same inclusion is counted twice in a plurality of cross sections. Furthermore, there are cases where the slice image includes distortion. In this case, the same inclusion cannot be determined based on the slice image, and accurate counting becomes difficult.
このように、離散的な断面位置で撮影された複数の画像を用いて、内包物の数をカウントする場合、正確な内包数を算出することが困難であった。
また、スライス画像の画像処理を用いて内包物の数を算出する場合に、スライス画像数が多い場合や、画像処理の負荷が大きくなり、計算時間がかかってしまう可能性がある。従って、できるだけ、効率的かつ迅速に計算できることが望ましい。
Thus, when counting the number of inclusions using a plurality of images taken at discrete cross-sectional positions, it is difficult to calculate an accurate number of inclusions.
In addition, when calculating the number of inclusions using image processing of slice images, there is a possibility that the number of slice images is large, the load of image processing increases, and calculation time is required. It is therefore desirable to be able to calculate as efficiently and quickly as possible.
本発明は、上述の問題に鑑みてなされたものであり、この目的は、立体物の複数の断面位置で撮影したスライス画像において、この立体物の中に含まれる小さな立体物の領域を特定するための画像処理システム、画像処理方法及び画像処理プログラムを提供することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to specify a region of a small three-dimensional object included in a three-dimensional object in a slice image taken at a plurality of cross-sectional positions of the three-dimensional object. An image processing system, an image processing method, and an image processing program are provided.
上記問題点を解決するための第1の画像処理システムは、第1の立体物について複数の断面位置において撮影したスライス画像を登録したスライス画像記憶手段と、前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備える。そして、前記制御手段が、前記スライス画像記憶手段に記録され、前記スライス画像を撮影した断面位置の間隔と、前記第2の立体物のサイズの統計値とに基づいて算出された、一つの第2の立体物が含まれるスライス画像を用いて、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する手段と、各変形画像に含まれる第2の立体物の領域を特定する手段と、特定した領域に基づいて、連続した前記変形画像に含まれる同じ第2の立体物の画像を特定する手段とを備えたことを要旨とする。
また、第2の画像処理システムは、第1の立体物について複数の断面位置において撮影したスライス画像を登録したスライス画像記憶手段と、前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備える。そして、制御手段が、前記スライス画像記憶手段に記録され、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出し、各変形画像に含まれる第2の立体物の領域を特定し、前記特定した領域に基づいて、連続した前記変形画像に含まれる第2の立体物の領域の連続した面積の変化を用いて、同じ第2の立体物の画像を特定することを要旨とする。
また、第3の画像処理システムは、第1の立体物について複数の断面位置において撮影したスライス画像を登録したスライス画像記憶手段と、前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備える。そして、制御手段が、前記スライス画像記憶手段に記録され、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出し、一つのスライス画像において、第2の立体物を特定する範囲について指定された輪郭を取得して、各変形画像に含まれる第2の立体物の領域を特定し、前記輪郭を、各スライス画像の変形情報に基づいて変形し、前記変形された輪郭に基づいて、連続した前記変形画像に含まれる同じ第2の立体物の画像を特定することを要旨とする。
The first image processing system for solving the above problems, a slice image storage means for registering the slice images photographed at a plurality of cross-sectional position for the first three-dimensional object, the contained in the first three-dimensional object Ru and control means for identifying a region of the second three-dimensional object. The control means is recorded in the slice image storage means, and is calculated based on the interval between the cross-sectional positions where the slice image is taken and the statistical value of the size of the second three-dimensional object. Using a slice image including two solid objects, a difference between slice images at successive cross-sectional positions is calculated, and based on the difference, the region of the second solid object included in the slice image is aligned. Means for calculating deformation information for generating a deformed image, means for specifying a region of the second three-dimensional object included in each deformed image, and included in the continuous deformed image based on the specified region And a means for specifying an image of the same second three-dimensional object.
The second image processing system includes a slice image storage unit that registers slice images taken at a plurality of cross-sectional positions for the first three-dimensional object, and a region of the second three-dimensional object included in the first three-dimensional object. And a control means for specifying. Then, the control unit calculates a difference between slice images at successive slice positions recorded in the slice image storage unit, and based on the difference, the position of the region of the second three-dimensional object included in the slice image The deformation information for generating the combined deformed image is calculated, the area of the second three-dimensional object included in each deformed image is specified, and included in the continuous deformed image based on the specified area. The gist is to specify an image of the same second three-dimensional object using a change in the continuous area of the region of the second three-dimensional object.
In addition, the third image processing system includes a slice image storage unit that registers slice images taken at a plurality of cross-sectional positions of the first three-dimensional object, and a region of the second three-dimensional object included in the first three-dimensional object. And a control means for specifying. Then, the control unit calculates a difference between slice images at successive slice positions recorded in the slice image storage unit, and based on the difference, the position of the region of the second three-dimensional object included in the slice image Deformation information for generating a combined deformed image is calculated, and in one slice image, an outline designated for a range for specifying the second three-dimensional object is acquired, and the second included in each deformed image is obtained. The region of the three-dimensional object is specified, the contour is deformed based on the deformation information of each slice image, and the image of the same second three-dimensional object included in the continuous deformed image based on the deformed contour The gist is to specify.
更に、画像処理システムにおいて、連続した前記変形画像において、第2の立体物の領域の位置合わせを行ない、同じ第2の立体物の画像を特定することが好ましい。 Furthermore, in the image processing system, it is preferable that the second solid object region is aligned in the consecutive deformed images to specify the same second solid object image .
更に、画像処理システムにおいて、連続した前記変形画像において特定した同じ第2の立体物の画像を用いて、第1の立体物に含まれる第2の立体物の数量を算出することが好ましい。 Furthermore, in the image processing system, it is preferable to calculate the quantity of the second three-dimensional object included in the first three-dimensional object using the same second three-dimensional object image specified in the continuous deformed image .
更に、画像処理システムにおいて、各スライス画像について、低解像度画像を作成し、連続した前記低解像度画像を用いて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行ない、この位置合わせ結果を用いて、連続したスライス画像の位置合わせを行なうことが好ましい。 Further, in the image processing system, a low-resolution image is created for each slice image, and the region of the second three-dimensional object included in the slice image is aligned using the continuous low-resolution image. It is preferable to align successive slice images using the alignment result .
(作用)
第1〜第3の画像処理システムによれば、制御手段が、スライス画像記憶手段に記録され、連続した断面位置のスライス画像間の差分を算出し、差分に基づいて、スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する。次に、各変形画像に含まれる第2の立体物の領域を特定し、特定した領域に基づいて、連続した変形画像に含まれる同じ第2の立体物の画像を特定する。これにより、連続した画像において第2の立体物を把握できるので、第1の立体物に内包される第2の立体物の立体的構造を特定することができる。更に、スライス画像に歪が含まれている場合にも、的確に立体的構造を特定することができる。
(Function)
According to the first to third image processing systems , the control means is recorded in the slice image storage means, calculates a difference between slice images at successive cross-sectional positions, and is included in the slice image based on the difference. Deformation information for generating a deformed image obtained by aligning the areas of the two three-dimensional objects is calculated. Next, the region of the second three-dimensional object included in each deformed image is specified, and the image of the same second three-dimensional object included in the continuous deformed image is specified based on the specified region. Accordingly, since the second three-dimensional object can be grasped in the continuous images, the three-dimensional structure of the second three-dimensional object included in the first three-dimensional object can be specified. Further, even when the slice image includes distortion, the three-dimensional structure can be accurately specified.
また、連続した変形画像において、第2の立体物の領域の位置合わせを行ない、同じ第2の立体物の画像を特定する。これにより、第2の立体物の領域の位置に基づいて、複数のスライス画像において撮影された同じ第2の立体物を特定することができる。 In addition, in the continuous deformed image, the second solid object region is aligned to specify the same second solid object image. Thereby, the same 2nd solid object image | photographed in the some slice image can be pinpointed based on the position of the area | region of a 2nd solid object.
第1の画像処理システム、画像処理方法及び画像処理プログラムによれば、スライス画像を撮影した断面位置の間隔と、第2の立体物のサイズの統計値とに基づいて算出された、一つの第2の立体物が含まれるスライス画像を用いて、同じ第2の立体物の画像を特定する。これにより、同じ断面領域に複数の第2の立体物が連続して存在する場合にも、第2の立体物の大きさを考慮して、同じ立体物かどうかを判定することができる。 According to the first image processing system, the image processing method, and the image processing program , one first calculated based on the interval between the cross-sectional positions at which the slice images are taken and the statistical value of the size of the second three-dimensional object. An image of the same second three-dimensional object is specified using a slice image including two three-dimensional objects. Thereby, even when a plurality of second solid objects are continuously present in the same cross-sectional area, it is possible to determine whether or not they are the same solid objects in consideration of the size of the second solid object.
第2の画像処理システム、画像処理方法及び画像処理プログラムによれば、各変形画像に含まれる第2の立体物の領域の連続した面積の変化を用いて、同じ第2の立体物の画像を特定する。これにより、同じ断面領域に複数の第2の立体物が連続して存在する場合にも、第2の立体物の形状を考慮して、同じ立体物かどうかを判定することができる。 According to the second image processing system, the image processing method, and the image processing program , an image of the same second three-dimensional object is obtained by using a continuous area change of the region of the second three-dimensional object included in each deformation image. Identify. Thereby, even when a plurality of second solid objects are continuously present in the same cross-sectional area, it is possible to determine whether or not they are the same solid object in consideration of the shape of the second solid object.
また、連続した変形画像において特定した同じ第2の立体物の画像を用いて、第1の立体物に含まれる第2の立体物の数量を算出する。これにより、第2の立体物の数量を把握
できるので、第1の立体物の内部状況を把握することができる。例えば、第1の立体物として組織標本を用い、第2の立体物として病理細胞を用いる場合、病理細胞の細胞数により、病状の進行度を評価することができる。
Moreover, the quantity of the 2nd solid object contained in a 1st solid object is calculated using the image of the same 2nd solid object specified in the continuous deformation image. Thereby, since the quantity of a 2nd solid object can be grasped | ascertained, the internal condition of a 1st solid object can be grasped | ascertained. For example, when a tissue specimen is used as the first three-dimensional object and a pathological cell is used as the second three-dimensional object, the degree of progression of the disease state can be evaluated based on the number of pathological cells.
第3の画像処理システム、画像処理方法及び画像処理プログラムによれば、制御手段が、一つのスライス画像において、第2の立体物を特定する範囲について指定された輪郭を取得し、輪郭を、各スライス画像の変形情報に基づいて変形する。これにより、一つの輪郭を指定することにより、他のスライス画像においても輪郭を特定することができるので、第2の立体物を特定する評価対象範囲を効率的に設定することができる。 According to the third image processing system, the image processing method, and the image processing program , the control unit obtains the contour designated for the range that specifies the second three-dimensional object in one slice image, Deformation based on deformation information of the slice image. Thus, by designating one contour, the contour can be specified also in other slice images, so that the evaluation target range for specifying the second three-dimensional object can be set efficiently.
また、スライス画像について、低解像度画像を作成する。そして、連続した低解像度画像を用いて、スライス画像に含まれる第2の立体物の領域の位置合わせを行ない、この位置合わせ結果を用いて、連続したスライス画像の位置合わせを行なう。これにより、低解像度画像による大まかな位置合わせを行なった後で、高解像度画像による詳細な位置合わせを行なうので、位置合わせの高速化と高精度化とを実現することができる。 In addition, a low-resolution image is created for the slice image. Then, the regions of the second three-dimensional object included in the slice image are aligned using the continuous low resolution images, and the alignment of the continuous slice images is performed using the alignment result. Thereby, after performing rough alignment with the low-resolution image, detailed alignment with the high-resolution image is performed, so that high-speed and high-precision alignment can be realized.
本発明によれば、立体物の断面を撮影したスライス画像において、この立体物の中に含まれる小さな立体物の領域を特定するための画像処理システム、画像処理方法及び画像処理プログラムを提供することができる。 According to the present invention, it is possible to provide an image processing system, an image processing method, and an image processing program for specifying a small solid object region included in a three-dimensional object in a slice image obtained by photographing a cross section of the three-dimensional object. Can do.
以下、本発明を具体化した一実施形態を、図1〜図8に従って説明する。本実施形態では、画像処理により、大きな立体物である評価対象物(第1の立体物)に内包される小さな立体物である内包物(第2の立体物)の数をカウントするための画像処理装置として説明する。 Hereinafter, an embodiment embodying the present invention will be described with reference to FIGS. In the present embodiment, an image for counting the number of inclusions (second three-dimensional objects) that are small three-dimensional objects included in an evaluation object (first three-dimensional object) that is a large three-dimensional object by image processing. The processing apparatus will be described.
ここでは、標本組織(第1の立体物)に内包される病理細胞(第2の立体物)の細胞数をカウントする場合を想定する。このために、標本組織を等間隔(スライス間隔)でスライスして、その断面を拡大撮影したスライス画像を準備する。この病理細胞は、楕円体形状を有するものとする。このため、標本組織の断面において、病理細胞を染色することにより、スライス画像上で各病理細胞は楕円形状で表される。 Here, it is assumed that the number of pathological cells (second solid object) included in the specimen tissue (first solid object) is counted. For this purpose, the sliced tissue is sliced at equal intervals (slice intervals), and a slice image obtained by enlarging the cross section is prepared. This pathological cell has an ellipsoidal shape. For this reason, each pathological cell is represented by an elliptical shape on the slice image by staining the pathological cell in the cross section of the specimen tissue.
この画像処理のため、図1に示すように、入力部10、出力部15に接続された画像処理装置20を用いる。
入力部10は、キーボードやポインティングデバイス等、各種指示を入力するための入力手段から構成される。また、出力部15は、ディスプレイ等、情報処理結果を出力するための出力手段から構成されている。
For this image processing, as shown in FIG. 1, an
The
画像処理装置20は、標本組織の断面を撮影した複数のスライス画像を用いて、この中に内包される病理組織の細胞数を算出するコンピュータ端末である。この画像処理装置20は、制御部21、スライス画像データベース22、変形情報データベース23、組織輪郭データベース24、スライス内細胞データベース25、グループ化データベース26を備えている。
The
制御部21は、CPU、RAM、ROM等から構成された制御手段として機能し、後述する処理(管理段階、画像調整段階、輪郭調整段階、2次元評価段階、3次元評価段階等を含む処理)を行なう。このための画像処理プログラムを実行することにより、制御部21は、管理手段211、画像調整手段212、輪郭調整手段213、2次元評価手段214、3次元評価手段215等として機能する。
The
管理手段211は、画像処理対象のスライス画像を取得するとともに、後述する各手段を制御する処理を実行する。管理手段211は、スライス画像を作成した時のスライス間隔、倍率を一時記憶するメモリを備えている。
The
画像調整手段212は、複数のスライス画像に含まれる病理細胞の連続性を担保するように、スライス画像に内包される病理細胞の位置合わせを行なう処理を実行する。この画像調整手段212は、位置合わせを行なう場合、低解像度レイヤ画像を生成する。このため、画像調整手段212は、等倍レイヤを含めた最大レイヤ数(NLmax )に関するデータを保持している。更に、画像調整手段212は、画像上のパターン分布の誤差の大きさを判定するための基準値に関するデータを保持している。
The
輪郭調整手段213は、スライス画像において、病理細胞をカウントする画像範囲(輪郭)を特定する処理を実行する。
2次元評価手段214は、各スライス画像において撮影された病理細胞の画像数をカウントする処理を実行する。この2次元評価手段214は、楕円形状を用いてのフィッティングに用いる短径候補、長径候補、傾き候補に関するデータを保持している。更に、2次元評価手段214は、スライス画像を変形させた変形画像を2値化した黒画像を仮記憶するメモリを備えている。この黒画像において、楕円形状を当てはめた領域を白く塗り潰していくことにより、病理細胞を特定する。
The
The two-
3次元評価手段215は、病理細胞の3次元構造を考慮して、同一又は異なる特異細胞を判定して、標本組織に内包される病理細胞の細胞数をカウントする処理を実行する。この3次元評価手段215は、複数のスライス画像において同じ病理細胞の画像かどうかを判定するための基準距離に関するデータを保持している。 The three-dimensional evaluation means 215 determines the same or different specific cells in consideration of the three-dimensional structure of the pathological cells, and executes a process of counting the number of pathological cells included in the specimen tissue. The three-dimensional evaluation means 215 holds data relating to a reference distance for determining whether or not the images of the same pathological cells are present in a plurality of slice images.
また、3次元評価手段215は、スライス画像を撮影した倍率により撮影される病理細胞のサイズを特定する統計値として、予測される最大の細胞長を算出するための最大値算出関数を保持している。なお、統計値は、病理細胞のサイズを代表する統計値であればよく、最大の細胞長に限定されるものではない。例えば、平均値等を用いることも可能である。
Further, the three-
スライス画像データベース22はスライス画像記憶手段として機能する。このスライス画像データベース22には、図2(a)に示すように、標本組織をスライスした各断面を撮影した画像についてのスライス画像管理データ220が記録される。このスライス画像管理データ220は、ユーザによってスライス画像が指定された場合に記録される。スライス画像管理データ220は、画像番号、スライス画像、使用判定フラグに関するデータを含んで構成される。
The
画像番号データ領域には、各スライス画像を特定するための識別子に関するデータが記録される。この画像番号は、初期値(ここでは「0」)から順番に、各断面位置の順番で連続した番号が設定される。 Data relating to an identifier for specifying each slice image is recorded in the image number data area. As this image number, a sequential number in the order of the cross-sectional positions is set in order from the initial value (here, “0”).
スライス画像データ領域には、この画像番号により特定される断面位置の組織構造を撮影した画像に関するデータが記録される。
使用判定フラグデータ領域には、このスライス画像の使用可否を判定するための識別子に関するデータが記録される。具体的には、他のスライス画像とのずれが大きく、位置合わせができない場合、このスライス画像を使用しないことを示す不使用フラグが記録される。
In the slice image data area, data relating to an image obtained by photographing the tissue structure at the cross-sectional position specified by the image number is recorded.
In the use determination flag data area, data relating to an identifier for determining whether or not the slice image can be used is recorded. Specifically, when there is a large deviation from other slice images and alignment cannot be performed, a non-use flag indicating that this slice image is not used is recorded.
変形情報データベース23には、図2(b)に示すように、撮影された細胞の連続性を担保するために、スライス画像を変形させるための変形情報管理データ230が記録される。この変形情報管理データ230は、各スライス画像の位置合わせ処理を実行した場合に記録される。変形情報管理データ230は、画像番号、変形情報に関するデータを含んで構成される。
In the
画像番号データ領域には、各スライス画像を特定するための識別子に関するデータが記録される。
変形情報データ領域には、各スライス画像を変形するための関数に関するデータが記録される。このデータ領域には、この射影変形を行なうための行列が記録される。
Data relating to an identifier for specifying each slice image is recorded in the image number data area.
Data relating to a function for deforming each slice image is recorded in the deformation information data area. In this data area, a matrix for performing this projective deformation is recorded.
組織輪郭データベース24には、図2(c)に示すように、スライス画像において、病理細胞をカウントする範囲を特定するための組織輪郭管理データ240が記録される。この組織輪郭管理データ240は、スライス画像の輪郭位置合わせ処理を実行した場合に記録される。組織輪郭管理データ240は、画像番号、輪郭位置に関するデータを含んで構成される。
As shown in FIG. 2C, the
画像番号データ領域には、各スライス画像を特定するための識別子に関するデータが記録される。
輪郭位置データ領域には、スライス画像において病理細胞をカウントする範囲を特定するための座標に関するデータが記録される。
Data relating to an identifier for specifying each slice image is recorded in the image number data area.
In the contour position data area, data relating to coordinates for specifying a range in which pathological cells are counted in the slice image is recorded.
スライス内細胞データベース25には、図2(d)に示すように、各スライス画像に含まれる病理細胞を特定するためのスライス内細胞管理データ250が記録される。このスライス内細胞管理データ250は、2次元評価処理を実行した場合に記録される。スライス内細胞管理データ250は、画像番号、細胞画像、2値化画像に関するデータを含んで構成される。更に、スライス内細胞管理データ250には、中心位置座標、短径、長径、傾きに関するデータを含んで構成される個別細胞データ251が関連付けられている。
In the
画像番号データ領域には、各スライス画像を特定するための識別子に関するデータが記録される。
細胞画像データ領域には、スライス画像を位置合わせにより変形させた変形画像に関するデータが記録される。
2値化画像データ領域には、変形画像を2値化した画像に関するデータが記録される。
Data relating to an identifier for specifying each slice image is recorded in the image number data area.
In the cell image data area, data relating to a deformed image obtained by deforming the slice image by alignment is recorded.
In the binarized image data area, data related to the binarized image of the deformed image is recorded.
中心位置座標データ領域には、2値化画像において特定した病理細胞の中心位置の座標に関するデータが記録される。 Data relating to the coordinates of the center position of the pathological cell specified in the binarized image is recorded in the center position coordinate data area.
短径、長径の各データ領域には、それぞれ、この病理細胞を楕円形状で表わした場合の短径、長径に関するデータが記録される。
傾きデータ領域には、この楕円形状における2値化画像の所定軸(例えば、横軸)に対する傾きに関するデータが記録される。
In each data area of the short diameter and the long diameter, data relating to the short diameter and the long diameter when the pathological cell is expressed in an elliptical shape is recorded.
In the tilt data area, data relating to the tilt with respect to a predetermined axis (for example, the horizontal axis) of the binarized image in the elliptical shape is recorded.
グループ化データベース26には、図2(e)に示すように、3次元構造を考慮して、複数のスライス画像で撮影された各病理細胞のまとまりを特定するためのグループ化管理データ260が記録される。このグループ化管理データ260は、3次元評価処理を実行した場合に記録される。グループ化管理データ260は、グループコード、画像番号、中心位置座標に関するデータを含んで構成される。
In the
グループコードデータ領域には、各病理細胞のまとまりを特定するための識別子に関するデータが記録される。
画像番号データ領域には、各スライス画像を特定するための識別子に関するデータが記録される。
In the group code data area, data relating to an identifier for specifying a group of pathological cells is recorded.
Data relating to an identifier for specifying each slice image is recorded in the image number data area.
中心位置座標データ領域には、スライス画像において各病理細胞を特定するための識別子に関するデータが記録される。本実施形態では、中心位置の座標を用いて、各病理細胞を識別する。 In the center position coordinate data area, data relating to an identifier for specifying each pathological cell in the slice image is recorded. In the present embodiment, each pathological cell is identified using the coordinates of the center position.
次に、上記のように構成された画像処理装置20において、標本組織内に含まれる小さな病理細胞を評価する場合の処理手順について、図3〜図9を用いて説明する。
(全体の概要)
まず、図3を用いて、全体の概要を説明する。標本組織内に含まれる小さな病理細胞を評価する場合、標本組織を所定の間隔(スライス間隔)でスライスする。そして、各断面において病理細胞を染色して、所定の倍率で撮影したスライス画像ファイルを作成する。このスライス画像ファイルを、画像処理装置20の記憶部(ハードディスク等)や記憶媒体内に格納しておく。この場合、一つのファイルに複数のスライス画像を含めたり、スライスした順番にファイル名を設定した複数のスライス画像ファイルを用いたりすることができる。そして、画像処理装置20の画像処理プログラムを起動する。
Next, in the
(Overview of the whole)
First, the overall outline will be described with reference to FIG. When evaluating small pathological cells contained in a sample tissue, the sample tissue is sliced at a predetermined interval (slice interval). Then, a pathological cell is stained in each cross section, and a slice image file photographed at a predetermined magnification is created. This slice image file is stored in a storage unit (hard disk or the like) of the
この場合、画像処理装置20の制御部21は、スライス画像の記録処理を実行する(ステップS1−1)。具体的には、制御部21の管理手段211は、出力部15に、評価対象の標本組織を撮影したスライス画像を指定するための画像指定画面を出力する。ここで、画像指定画面を用いて、画像処理装置20の記憶部(ハードディスク等)や記憶媒体内に記録された評価対象のスライス画像を指定する。この場合、管理手段211は、指定されたスライス画像を取得し、ファイルに含まれる順番やファイル名の順番に基づいて画像番号を付与する。そして、管理手段211は、画像番号の関連付けたスライス画像を記録したスライス画像管理データ220を生成し、スライス画像データベース22に登録する。
In this case, the
次に、画像処理装置20の制御部21は、スライス間隔、倍率の入力処理を実行する(ステップS1−2)。具体的には、制御部21の管理手段211は、出力部15に、画像属性設定画面を出力する。この画像属性設定画面においては、標本組織をスライスした時のスライス間隔及びスライス画像を作成した場合の倍率の入力欄が設けられている。各入力欄への入力の完了を検知した場合、管理手段211は、スライス間隔、倍率をメモリに一時記憶する。
Next, the
次に、画像処理装置20の制御部21は、スライス画像の位置合わせ処理を実行する(ステップS1−3)。具体的には、制御部21の画像調整手段212は、スライス画像データベース22に記録されたスライス画像を用いて、細胞構造の連続性を担保できるように、各画像の位置合わせのための画像変形を行なう。この処理によって算出された変形情報を、変形情報データベース23に記録する。詳細は、図4、図5を用いて後述する。
Next, the
次に、画像処理装置20の制御部21は、輪郭位置合わせ処理を実行する(ステップS1−4)。具体的には、制御部21の輪郭調整手段213は、1つのスライス画像において、ユーザによって指定された輪郭を取得する。次に、輪郭調整手段213は、指定された輪郭に対して、変形情報データベース23に記録された変形情報を用いて、他のすべてのスライス画像において輪郭を特定し、組織輪郭データベース24に記録する。詳細は、図6を用いて後述する。
Next, the
次に、画像処理装置20の制御部21は、2次元評価処理を実行する(ステップS1−5)。具体的には、制御部21の2次元評価手段214は、変形情報により変形されたスライス画像を用いて、組織輪郭データベース24に記録された輪郭内に含まれる病理細胞を特定する。そして、2次元評価手段214は、特定した病理細胞をスライス内細胞データベース25に記録する。詳細は、図7を用いて後述する。
Next, the
次に、画像処理装置20の制御部21は、3次元評価処理を実行する(ステップS1−6)。具体的には、制御部21の3次元評価手段215は、スライス内細胞データベース25に記録された病理細胞について立体構造を考慮して、標本組織に含まれる細胞数を算出する。詳細は、図8を用いて説明する。
Next, the
次に、画像処理装置20の制御部21は、細胞数出力処理を実行する(ステップS1−7)。具体的には、制御部21の管理手段211は、3次元評価手段215において算出した細胞数を出力部15に表示する。
Next, the
(スライス画像の位置合わせ処理)
次に、図4を用いて、スライス画像の位置合わせ処理を説明する。ここでは、細胞構造の連続性を担保するために、連続したスライス画像の位置関係を調整する。
(Slice image alignment processing)
Next, the slice image alignment process will be described with reference to FIG. Here, in order to ensure the continuity of the cell structure, the positional relationship between successive slice images is adjusted.
まず、画像処理装置20の制御部21は、最初の画像について低解像度レイヤ画像の作成処理を実行する(ステップS2−1)。具体的には、制御部21の画像調整手段212は、スライス画像データベース22において、画像番号が最も若い番号(ここでは0番目)のスライス画像について、レイヤ番号[L]を最大レイヤ数(NLmax )に達するまで、所定倍率で順次、解像度を低くした低解像度レイヤ画像Img[0][L]を生成する。ここで、[0]や[L]は、それぞれ画像番号、レイヤ番号を意味する変数である。本実施形態では、レイヤ間の解像度の違いは1/2倍として、最低解像度は〔2^ (−NLmax +1)〕倍となる。
First, the
そして、画像番号について、以下の処理を繰り返す。
ここで、I番目の画像についての処理を行なう場合、画像処理装置20の制御部21は、低解像レイヤ画像の作成処理を実行する(ステップS2−2)。具体的には、制御部21の画像調整手段212は、スライス画像データベース22において、画像番号[I]のスライス画像について、レイヤ番号[L]を最大レイヤ数(NLmax )まで所定倍率で順次、解像度を低くした低解像度レイヤ画像Img[I][L]を生成する。
Then, the following processing is repeated for the image number.
Here, when the process for the I-th image is performed, the
そして、レイヤ番号[L]について、解像度が低い画像から順番に以下の処理を繰り返す。
ここでは、画像処理装置20の制御部21は、各レイヤ画像の位置合わせ処理を実行する(ステップS2−3)。具体的には、制御部21の画像調整手段212は、処理対象の画像Img[I][L]に対して、スライス画像管理データ220において不使用フラグが記録されていない直前のスライス画像についての画像(有効画像Img[I−x][L])を用いる。ここで、「I−x」は、不使用フラグが記録されていない有効画像まで遡った画像番号を意味する。画像調整手段212は、処理対象の画像Img[I][L]と有効画像Img[I−x][L]とを比較して、画像上のパターン分布の誤差が最小になる変形行列Matmin と変形画像Imgmin を求める。詳細は、図5を用いて後述する。
For the layer number [L], the following processing is repeated in order from the image with the lowest resolution.
Here, the
次に、画像処理装置20の制御部21は、誤差が基準値以下かどうかについての判定処理を実行する(ステップS2−4)。具体的には、制御部21の画像調整手段212は、先のステップにおいて算出した誤差と基準値と比較する。
Next, the
誤差が基準値以下でない場合(ステップS2−4において「NO」の場合)、画像処理装置20の制御部21は、スライス画像の廃棄処理を実行する(ステップS2−5)。具体的には、制御部21の画像調整手段212は、スライス画像管理データ220に不使用フラグを記録する。そして、このスライス画像についての位置合わせを終了する。
When the error is not equal to or less than the reference value (in the case of “NO” in step S2-4), the
一方、誤差が基準値以下の場合(ステップS2−4において「YES」の場合)、画像処理装置20の制御部21は、以上の処理を、等倍のレイヤ番号についての処理を終了するまで繰り返す。
On the other hand, if the error is equal to or smaller than the reference value (“YES” in step S2-4), the
次に、画像処理装置20の制御部21は、変形情報、変形画像の出力処理を実行する(ステップS2−6)。具体的には、制御部21の画像調整手段212は、変形情報管理データ230を生成し、変形情報データベース23に記録する。
以上の処理を、すべての画像番号についての処理を終了するまで繰り返す。
Next, the
The above processing is repeated until the processing for all image numbers is completed.
(各レイヤ画像の位置合わせ処理)
次に、図5を用いて、各レイヤ画像の位置合わせ処理を説明する。本実施形態では、画像4隅の座標を独立に移動させて変形する射影変形を用いて位置合わせを行なう。ここでは、最も低解像な画像同士を比較し、大まかな位置合わせを行ない、低い解像度で決定された変形を利用して、更によく一致する変形を計算し、位置合わせの精度を上げていく。
(Alignment processing of each layer image)
Next, the alignment process of each layer image will be described with reference to FIG. In the present embodiment, alignment is performed using projective deformation in which the coordinates of the four corners of the image are independently moved and deformed. Here, the lowest resolution images are compared, roughly aligned, and the deformation determined at a lower resolution is used to calculate a more closely matched deformation to increase the alignment accuracy. .
まず、画像処理装置20の制御部21は、最大移動幅の計算処理を実行する(ステップS3−1)。具体的には、制御部21の画像調整手段212は、ここでは、解像度に応じて移動できる最大移動幅dmを決定する。具体的には、先に低解像度の画像において位置合わせを行なっているので、先行の位置合わせで用いた最小移動量を超えない範囲で移動させることする。そこで、レイヤに応じて以下のように設定する。
L=0の場合、dm=dmax *2^ (−NLmax +1)
L>0の場合、dm=1
First, the
In the case of L = 0, dm = dmax * 2 ^ (-NLmax + 1)
When L> 0, dm = 1
次に、画像処理装置20の制御部21は、画像4隅の4頂点についての初期値の計算処理を実行する(ステップS3−2)。具体的には、制御部21の画像調整手段212は、4頂点の座標P0[L][I]についての初期値として以下の値を設定する。
L=0の場合、移動前の位置
L>0の場合、P0[L][I]=P0[L−1][I]*2
Next, the
When L = 0, position before movement When L> 0, P0 [L] [I] = P0 [L-1] [I] * 2
次に、画像処理装置20の制御部21は、最小2乗誤差の総和のセット処理を実行する(ステップS3−3)。具体的には、制御部21の画像調整手段212は、最小2乗誤差総和SSDmin を設定する。ここでは、最小2乗誤差総和SSDmin として大きな値を初期値として設定しておく。
Next, the
そして、スライス画像4隅の頂点(P[I])を移動させながら、以下の処理を繰り返す。
ここでは、画像処理装置20の制御部21は、変形情報の作成処理を実行する(ステップS3−4)。具体的には、制御部21の画像調整手段212は、射影変形の行列を作成する。
Then, the following processing is repeated while moving the vertexes (P [I]) at the four corners of the slice image.
Here, the
次に、画像処理装置20の制御部21は、画像の変形画像の作成処理を実行する(ステップS3−5)。具体的には、制御部21の画像調整手段212は、作成した行列をスライス画像に適用して、変形画像Img2を作成する。
Next, the
次に、画像処理装置20の制御部21は、2乗誤差の総和の計算処理を実行する(ステップS3−6)。具体的には、制御部21の画像調整手段212は、変形画像Img2と画像Img[0][L]との2乗誤差総和SSDを算出する。
Next, the
次に、画像処理装置20の制御部21は、2乗誤差の総和が小さいかどうかについての判定処理を実行する(ステップS3−7)。具体的には、制御部21の画像調整手段212は、算出した2乗誤差総和SSDと、最小2乗誤差総和SSDmin とを比較する。
Next, the
2乗誤差の総和が小さいと判定した場合(ステップS3−7において「YES」の場合)、画像処理装置20の制御部21は、データ更新処理を実行する(ステップS3−8)。具体的には、制御部21の画像調整手段212は、仮記憶した以下のデータを更新する。
SSDmin =SSD
Pmin [I]=P[I]
Matmin =Mat
Imgmin =Img2
一方、2乗誤差の総和が小さくないと判定した場合(ステップS3−7において「NO」の場合)、画像処理装置20の制御部21は、データ更新処理(ステップS3−8)をスキップする。
そして、以上の処理を画像4隅の頂点について繰り返す。
When it is determined that the sum of the square errors is small (in the case of “YES” in step S3-7), the
SSDmin = SSD
Pmin [I] = P [I]
Matmin = Mat
Imgmin = Img2
On the other hand, when it is determined that the total sum of the square errors is not small (in the case of “NO” in step S3-7), the
The above processing is repeated for the vertices at the four corners of the image.
次に、画像処理装置20の制御部21は、4隅の頂点位置情報及び画像の更新処理を実行する(ステップS3−9)。具体的には、制御部21の画像調整手段212は、各パラメータを以下のように更新する。
Img[0][L]=Img[1][L]
P0[L][I]=Pmin [I]
これにより、前後の画像の比較により、変形行列を求めることができる。
Next, the
Img [0] [L] = Img [1] [L]
P0 [L] [I] = Pmin [I]
As a result, the deformation matrix can be obtained by comparing the preceding and subsequent images.
(輪郭位置合わせ処理)
次に、図6を用いて、輪郭位置合わせ処理を説明する。
まず、画像処理装置20の制御部21は、最初の組織輪郭の入力処理を実行する(ステップS4−1)。具体的には、制御部21の輪郭調整手段213は、スライス画像データベース22に記録された最初(画像番号I=0)のスライス画像を出力部15に表示する。そして、輪郭調整手段213は、このスライス画像において、輪郭を設定するためのグラフィカルユーザインターフェース(GUI)を表示する。ユーザは、このGUIを利用して、病理細胞を評価する範囲となる組織輪郭R[0]を設定する。この場合、輪郭調整手段213は、設定された組織輪郭R[0]に基づいて組織輪郭管理データ240を生成し、組織輪郭データベース24に格納する。
(Outline alignment processing)
Next, the contour alignment process will be described with reference to FIG.
First, the
そして、画像番号について、以下の処理を繰り返す。
ここで、I番目の画像についての処理を行なう場合、画像処理装置20の制御部21は、処理対象の画像における輪郭の計算処理を実行する(ステップS4−2)。具体的には、制御部21の輪郭調整手段213は、変形情報データベース23に記録された、画像番号Iの変形情報管理データ230を取得し、組織輪郭R[I−1]の座標を変形した組織輪郭R[I]を算出する。そして、輪郭調整手段213は、算出した組織輪郭R[I]をメモリに仮記憶する。
Then, the following processing is repeated for the image number.
Here, when the process for the I-th image is performed, the
次に、画像処理装置20の制御部21は、画像と輪郭との表示処理を実行する(ステップS4−3)。具体的には、制御部21の輪郭調整手段213は、画像番号Iのスライス画像に、算出した組織輪郭R[I]による輪郭画像を重畳させた輪郭確認画像を出力部15に表示する。この輪郭確認画面においては、確認完了ボタン及び修正ボタンが設けられている。
Next, the
次に、画像処理装置20の制御部21は、修正が必要かどうかについての判定処理を実行する(ステップS4−4)。具体的には、制御部21の輪郭調整手段213は、修正ボタンの押下を検知した場合には、修正が必要と判定する。
Next, the
修正が必要と判定した場合(ステップS4−4において「YES」の場合)、画像処理装置20の制御部21は、組織輪郭の修正処理を実行する(ステップS4−5)。具体的には、制御部21の輪郭調整手段213は、スライス画像に重畳された輪郭画像の座標を、GUIにより移動させることにより、組織輪郭R[I]を調整できるようにする。そして、輪郭調整手段213は、調整された組織輪郭R[I]をメモリに仮記憶する。なお、修正が必要でないと判定した場合(ステップS4−4において「NO」の場合)、画像処理装置20の制御部21は、ステップS4−5の処理をスキップする。
When it is determined that correction is necessary (in the case of “YES” in step S4-4), the
次に、画像処理装置20の制御部21は、組織輪郭の出力処理を実行する(ステップS4−6)。具体的には、制御部21の輪郭調整手段213は、輪郭確認画面に表示された輪郭の組織輪郭R[I]を記録した組織輪郭管理データ240を生成し、組織輪郭データベース24に記録する。
以上の処理を、すべての画像番号についての処理を終了するまで繰り返す。
Next, the
The above processing is repeated until the processing for all image numbers is completed.
次に、画像処理装置20の制御部21は、組織輪郭のスムージング処理を実行する(ステップS4−7)。具体的には、制御部21の輪郭調整手段213は、連続した複数枚の前後のスライス画像を用いて、中央のスライス画像の輪郭位置を平均化することにより、輪郭座標を平滑化する。そして、輪郭調整手段213は、平滑化された輪郭の座標を用いて、各組織輪郭管理データ240に記録された輪郭位置データを更新する。
Next, the
(2次元評価処理)
次に、図7を用いて、2次元評価処理を説明する。ここでは、各スライス画像に含まれる病理細胞を、楕円形状を用いてフィッティングすることにより特定する。
(2D evaluation process)
Next, the two-dimensional evaluation process will be described with reference to FIG. Here, pathological cells included in each slice image are identified by fitting using an elliptical shape.
画像番号について、以下の処理を繰り返す。
I番目の画像についての処理を行なう場合、まず、画像処理装置20の制御部21は、画像の2値化を行ない、黒領域の登録処理を実行する(ステップS5−1)。具体的には、制御部21の2次元評価手段214は、スライス画像データベース22に記録された変形画像の2値化を行なう。ここでは、ある値の集合を二つのクラスに分類する場合に適切な閾値を決定する手法である大津の手法を用いる。ここでは、二つのクラス内の分散はできるだけ小さく、クラス間の分散はできるだけ大きくなるようにするため、クラス内分散とクラス間分散との比が最小になるような閾値を求める。次に、2次元評価手段214は、この閾値を用いて、変形画像の2値化を行なう。そして、2次元評価手段214は、2値化により生成された黒画像をスライス内細胞管理データ250に記録する。
The following processing is repeated for the image number.
When processing the I-th image, first, the
次に、以下の処理を、楕円の短径候補、長径候補、傾き候補について、2値化画像に含まれる黒領域において繰り返す。この場合、短径候補、長径候補は、長い候補から順番に用いる。 Next, the following processing is repeated in the black region included in the binarized image for the minor axis candidate, major axis candidate, and inclination candidate of the ellipse. In this case, the short diameter candidate and the long diameter candidate are used in order from the long candidate.
ここでは、画像処理装置20の制御部21は、黒領域に楕円が入るかどうかについての判定処理を実行する(ステップS5−2)。具体的には、制御部21の2次元評価手段214は、各黒領域に対して、短径候補、長径候補、傾き候補からなる楕円を当てはめて、楕円のはみ出しがあるかどうかを確認する。
Here, the
黒領域に楕円が入ると判定した場合(ステップS5−2において「YES」の場合)、画像処理装置20の制御部21は、当てはめた楕円を白く塗り潰す処理を実行する(ステップS5−3)。具体的には、制御部21の2次元評価手段214は、黒領域データベースに記録された2値化画像の黒領域において、当てはめた楕円領域を白に塗り変える。
When it is determined that an ellipse enters the black area (in the case of “YES” in step S5-2), the
次に、画像処理装置20の制御部21は、当てはめた楕円を細胞として登録処理を実行する(ステップS5−4)。具体的には、制御部21の2次元評価手段214は、スライス内細胞管理データ250において、楕円形状(短径、長径、傾き)を記録した個別細胞データ251を生成し、スライス内細胞管理データ250に関連付けてスライス内細胞データベース25に登録する。
なお、黒領域に楕円が入らないと判定した場合(ステップS5−2において「NO」の場合)、画像処理装置20の制御部21は、ステップS5−3〜S5−4の処理をスキップする。
以上の処理を、画像番号毎に、すべての黒領域に対して、傾き候補、長径候補、短径候補の楕円形状についての処理を終了するまで繰り返す。
Next, the
When it is determined that an ellipse does not enter the black area (“NO” in step S5-2), the
The above processing is repeated for every image number until the processing for the elliptic candidates of the inclination candidate, the major diameter candidate, and the minor diameter candidate is completed for all black regions.
(3次元評価処理)
次に、図8を用いて、3次元評価処理を説明する。ここでは、病理細胞の立体構造を考慮して、2次元画像において特定された病理細胞の細胞数をカウントする。
(Three-dimensional evaluation process)
Next, the three-dimensional evaluation process will be described with reference to FIG. Here, the number of pathological cells specified in the two-dimensional image is counted in consideration of the three-dimensional structure of the pathological cells.
ここでも、画像番号について、以下の処理を繰り返す。
I番目の画像についての処理を行なう場合、まず、画像処理装置20の制御部21は、組織(輪郭内部)の位置合わせ処理を実行する(ステップS6−1)。具体的には、制御部21の3次元評価手段215は、スライス画像データベース22に記録されたスライス画像管理データ220において、使用判定フラグデータ領域に不使用フラグが記録されていないスライス画像(有効な先行スライス画像)であって、直前の画像番号が付与されたスライス画像を特定する。次に、3次元評価手段215は、連続した有効なスライス画像の組織輪郭R[I]を、組織輪郭データベース24から取得する。そして、3次元評価手段215は、組織輪郭R[I]によって指定される範囲内に含まれる細胞の位置合わせを行なう。
Again, the following processing is repeated for the image number.
When the process for the I-th image is performed, first, the
次に、画像処理装置20の制御部21は、ほぼ同じ位置にある細胞を、細胞グループとして登録処理を実行する(ステップS6−2)。具体的には、制御部21の3次元評価手段215は、先行スライス画像において、中心位置座標が基準距離内の細胞を検出した場合には、中心位置座標が最も近い細胞を同じ細胞グループとして特定する。この場合、3次元評価手段215は、画像番号、中心位置座標に対して、最も近い細胞と同じグループコードを付与したグループ化管理データ260を生成して、グループ化データベース26に記録する。一方、新たなスライス画像において、先行スライス画像において、中心位置座標が基準距離内の細胞を検出できない場合には、画像番号、中心位置座標に対して、新しいグループコードを付与したグループ化管理データ260を生成して、グループ化データベース26に記録する。
以上の処理を、すべての画像番号についての処理を終了するまで繰り返す。
Next, the
The above processing is repeated until the processing for all image numbers is completed.
次に、グループ化データベース26に記録された細胞グループについて、以下の処理を繰り返す。
Next, the following processing is repeated for the cell groups recorded in the
ここでは、画像処理装置20の制御部21は、グループ内の細胞サイズのスムージング処理を実行する(ステップS6−3)。具体的には、制御部21の3次元評価手段215は、グループ登録された細胞の短径や長径を個別細胞データ251から取得する。次に、3次元評価手段215は、グループ化された細胞において、短径及び長径を用いてサイズを算出する。このサイズには、例えば、面積(=π〔短径〕・〔長径〕)を用いる。そして、3次元評価手段215は、連続した画像番号について、サイズの移動平均を算出して、各サイズの平滑化を行なう。
Here, the
次に、画像処理装置20の制御部21は、細胞のサイズが減少から増加に反転したかどうかについての判定処理を実行する(ステップS6−4)。具体的には、制御部21の3次元評価手段215は、画像番号の順番で並び替えた場合のサイズの変化傾向を算出する。ここで、3次元評価手段215は、先行画像において減少傾向であった場合に、今回の変化傾向において増加傾向に反転したかどうかを判定する。
Next, the
細胞サイズが減少傾向から増加傾向に反転したと判定した場合(ステップS6−4において「YES」の場合)、画像処理装置20の制御部21は、該当箇所で細胞グループの分割処理を実行する(ステップS6−5)。具体的には、制御部21の3次元評価手段215は、グループ化データベース26において、このグループの変化傾向が反転したスライス画像において、分割して新たなグループを登録する。ここでは、3次元評価手段215は、このスライス画像の画像番号以降の画像番号に対して、新たなグループコードを再付与して、グループ化管理データ260のグループコードを更新する。
一方、細胞サイズが減少傾向から増加傾向に反転していないと判定した場合(ステップS6−4において「NO」の場合)、画像処理装置20の制御部21は、ステップS6−5の処理をスキップする。
When it is determined that the cell size is reversed from the decreasing tendency to the increasing tendency (in the case of “YES” in step S6-4), the
On the other hand, when it is determined that the cell size has not reversed from the decreasing tendency to the increasing tendency (in the case of “NO” in step S6-4), the
次に、画像処理装置20の制御部21は、スライス間隔、倍率に対応した連続数上限値の算出処理を実行する(ステップS6−6)。具体的には、制御部21の3次元評価手段215は、管理手段211に記録されているスライス間隔、倍率を取得する。そして、3次元評価手段215は、取得した倍率を最大値算出関数に導入し、最大の細胞長を算出する。次に、3次元評価手段215は、算出した最大細胞長とスライス間隔とを用いて、一つの最大細胞が、連続したスライス画像に含まれる可能性がある画像枚数(連続数上限値)を算出する。
Next, the
次に、画像処理装置20の制御部21は、スライス数が連続数上限値より大きいかどうかについての判定処理を実行する(ステップS6−7)。具体的には、制御部21の3次元評価手段215は、同じグループコードが付与された画像番号の最小値と最大値との差分から、細胞が撮影されたスライス画像の枚数(スライス数)を算出する。そして、3次元評価手段215は、スライス数と連続数上限値とを比較する。
Next, the
スライス数が連続数上限値を超えている場合(ステップS6−7において「YES」の場合)、画像処理装置20の制御部21は、連続数上限値で細胞グループの分割処理を実行する(ステップS6−8)。具体的には、制御部21の3次元評価手段215は、グループ化データベース26において、このグループにおいて連続数上限値を超えたスライス画像において、分割して新たなグループを登録する。ここでは、3次元評価手段215は、このスライス画像の画像番号以降の画像番号に対して、新たなグループコードを再付与して、グループ化管理データ260のグループコードを更新する。一方、スライス数が連続数上限値を超えていない場合(ステップS6−7において「NO」の場合)、画像処理装置20の制御部21は、ステップS6−8の処理をスキップする。
以上の処理をグループ化データベース26に記録されたすべての細胞グループについての処理を終了するまで繰り返す。
When the number of slices exceeds the continuous number upper limit value (in the case of “YES” in step S6-7), the
The above processing is repeated until the processing for all the cell groups recorded in the
そして、画像処理装置20の制御部21は、組織内細胞数の算出処理を実行する(ステップS6−9)。具体的には、制御部21の3次元評価手段215は、グループ化データベース26に記録されている個別細胞データ251のレコード数をカウントする。そして、3次元評価手段215は、カウントしたレコード数を病理細胞数として管理手段211に供給する。
And the
本実施形態の画像処理システムによれば、以下のような効果を得ることができる。
(1)本実施形態では、画像処理装置20の制御部21は、スライス画像の記録処理(ステップS1−1)、スライス画像の位置合わせ処理(ステップS1−3)、輪郭位置合わせ処理(ステップS1−4)を実行する。次に、制御部21は、2次元評価処理(ステップS1−5)、3次元評価処理(ステップS1−6)を実行する。そして、制御部21は、細胞数出力処理を実行する(ステップS1−7)。これにより、第1の立体物における第2の立体物の内包状況を把握することができる。例えば、病理細胞の細胞数により、病状の進行度を評価することができる。
According to the image processing system of the present embodiment, the following effects can be obtained.
(1) In this embodiment, the
(2)本実施形態では、画像処理装置20の制御部21は、スライス画像の位置合わせ処理を実行する(ステップS1−3)。ここでは、画像処理装置20の制御部21は、低解像レイヤ画像の作成処理を実行する(ステップS2−2)。そして、すべてのレイヤ番号について、画像処理装置20の制御部21は、各レイヤ画像の位置合わせ処理を実行する(ステップS2−3)。これにより、解像度を落とした複数の画像を作成し、小さい画像から順に比較することにより、2枚の画像の大まかな位置合わせ処理において、高速化を実現することができる。更に、低解像度画像の位置合わせ結果を利用して、高解像度画像の位置合わせ行うことにより、高精度化を実現することができる。更に、高解像度画像において位置合わせされたスライス画像を用いて、公知のボリュームレンダリングを行なうことにより、細胞単位の立体モデルを生成し、3次元表示させることも可能である。
(2) In the present embodiment, the
(3)本実施形態の各レイヤ画像の位置合わせ処理では、画像処理装置20の制御部21は、変形情報の作成処理を実行する(ステップS3−4)。具体的には、制御部21の画像調整手段212は、射影変形の行列を作成する。そして、画像処理装置20の制御部21は、画像の変形画像の作成処理を実行する(ステップS3−5)。射影変形を用いることにより、アフィン変形と異なり、任意の変形が可能になり、的確な位置合わせを行なうことができる。
(3) In the alignment processing of each layer image in the present embodiment, the
(4)本実施形態の輪郭位置合わせ処理では、画像処理装置20の制御部21は、最初の組織輪郭の入力処理(ステップS4−1)、処理対象の画像における輪郭の計算処理を実行する(ステップS4−2)。これにより、スライス画像において、所望の領域において病理細胞の細胞数をカウントすることができる。更に、最初に特定した組織輪郭を他のスライス画像に展開することができる。
(4) In the contour alignment process of the present embodiment, the
更に、画像処理装置20の制御部21は、画像と輪郭との表示処理(ステップS4−3)、修正が必要かどうかについての判定処理(ステップS4−4)を実行する。修正が必要と判定した場合(ステップS4−4において「YES」の場合)、画像処理装置20の制御部21は、組織輪郭の修正処理を実行する(ステップS4−5)。これにより、他のスライス画像に対する組織輪郭の展開が適切でない場合には、効率的に修正することができる。
Further, the
更に、画像処理装置20の制御部21は、組織輪郭のスムージング処理を実行する(ステップS4−7)。これにより、組織輪郭データベース24に登録された組織輪郭の形状のぶれを調整することができる。
Further, the
(5)本実施形態の2次元評価処理では、画像処理装置20の制御部21は、画像の2値化を行ない、黒領域の登録処理を実行する(ステップS5−1)。そして、画像処理装置20の制御部21は、楕円の短径候補、長径候補、傾き候補について、2値化画像に含まれる黒領域毎に、短径候補、長径候補は、長い候補から順番に、黒領域に楕円が入るかどうかについての判定処理を実行する(ステップS5−2)。黒領域に楕円が入ると判定した場合(ステップS5−2において「YES」の場合)、画像処理装置20の制御部21は、当てはめた楕円を白く塗り潰す処理(ステップS5−3)、当てはめた楕円を細胞として登録処理(ステップS5−4)を実行する。これにより、スライス画像に含まれる個々の病理細胞を特定することができる。
(5) In the two-dimensional evaluation process of the present embodiment, the
(6)本実施形態の3次元評価処理では、画像処理装置20の制御部21は、組織(輪郭内部)の位置合わせ処理(ステップS6−1)、ほぼ同じ位置にある細胞を、細胞グループとして登録処理(ステップS6−2)を実行する。病理細胞が大きい場合、複数のスライス画像に含まれることになる。この場合においても、複数のスライス画像において撮影された病理細胞の画像を集約することができる。
(6) In the three-dimensional evaluation process of the present embodiment, the
(7)本実施形態の3次元評価処理では、画像処理装置20の制御部21は、グループ内の細胞サイズのスムージング処理(ステップS6−3)、細胞のサイズが減少から増加に反転したかどうかについての判定処理(ステップS6−4)を実行する。細胞のサイズが減少傾向から増加傾向に反転したと判定した場合(ステップS6−4において「YES」の場合)、画像処理装置20の制御部21は、該当箇所で細胞グループの分割処理を実行する(ステップS6−5)。これにより、複数のスライス画像において、同じ領域に複数の病理細胞が連続して撮影されている場合においても、病理細胞の形状に基づいて、同じ細胞かどうかを判定することができる。
(7) In the three-dimensional evaluation process of the present embodiment, the
(8)本実施形態の3次元評価処理では、画像処理装置20の制御部21は、スライス間隔、倍率に対応した連続数上限値の算出処理を実行する(ステップS6−6)。そして、画像処理装置20の制御部21は、スライス数が連続数上限値より大きいかどうかについての判定処理を実行する(ステップS6−7)。スライス数が連続数上限値を超えている場合(ステップS6−7において「YES」の場合)、画像処理装置20の制御部21は、連続数上限値で細胞グループの分割処理を実行する(ステップS6−8)。これにより、最後の形状に基づいて、別個の細胞を識別できない場合においても、病理細胞の統計的な大きさに基づいて、同じ細胞かどうかを判定することができる。
(8) In the three-dimensional evaluation process according to the present embodiment, the
また、上記実施形態は、以下のように変更してもよい。
・ 上記実施形態では、標本組織(第1の立体物)に内包される病理細胞(第2の立体物)の細胞数をカウントする場合を想定した。本発明の適用対象は、これに限定されるのではなく、第1の立体物に内包される第2の立体物の特定に適用することができる。
Moreover, you may change the said embodiment as follows.
In the above embodiment, it is assumed that the number of pathological cells (second solid object) included in the specimen tissue (first solid object) is counted. The application target of the present invention is not limited to this, and can be applied to the identification of the second three-dimensional object included in the first three-dimensional object.
・ 上記実施形態では、2次元評価処理において、短径、長径からなる楕円により細胞の特定を行なう。当てはめる形状は楕円に限定されるものではない。円形状によって当てはめを行なうことも可能である。この場合には、直径候補について、ステップS5−2〜S5−4の各処理を繰り返すことになる。 In the above embodiment, in the two-dimensional evaluation process, a cell is specified by an ellipse having a minor axis and a major axis. The shape to be applied is not limited to an ellipse. It is also possible to perform fitting by a circular shape. In this case, each process of steps S5-2 to S5-4 is repeated for the diameter candidate.
・ 上記実施形態では、各レイヤ画像の位置合わせ処理では、画像処理装置20の制御部21は、変形情報の作成処理を実行する(ステップS3−4)。具体的には、制御部21の画像調整手段212は、射影変形の行列を作成する。変形方法はこれに限定されるものではなく、比率による自由変形、アフィン変形や、これらを組み合わせることが可能である。比率による自由変形においては、4つの参照点を用いて比率による変形を行なう。アフィン変形においては、線型変換(回転、拡大縮小、せん断)と平行移動とを組み合わせて変形を行なう。
In the above embodiment, in the alignment process for each layer image, the
また、変形方法として、位相特性のみの相関を取って類似度を測る位相限定相関法を用いることも可能である。この位相限定相関法では、回転、平行移動、拡大縮小の情報を得ることができるが、任意の変形を行なうことができない。そこで、図9に示すように、スライス画像を4分割し、四つに分けた分割画像を比較することにより、任意の四角形の変形を実現する。 Further, as a modification method, it is also possible to use a phase only correlation method that measures the similarity by taking the correlation of only the phase characteristics. This phase-only correlation method can obtain information on rotation, parallel movement, and enlargement / reduction, but cannot perform arbitrary deformation. Therefore, as shown in FIG. 9, an arbitrary quadrangular deformation is realized by dividing the slice image into four and comparing the divided images into four.
ここでは、図9(a)に示す画像A0と画像B0との位置合わせを行なう場合を想定する。この場合の変形情報の生成処理(ステップS3−4)を説明する。
図9(a)においては、画像に偏りがあるため、画像処理装置20の制御部21は、位相限定相関法を用いることにより、全体の位置合わせを行なう。これにより、図9(b)に示すように、画像B0に対して、全体変形を行なった画像B1を取得する。更に、画像処理装置20の制御部21は、図9(c)に示すように、画像A0、画像B1を4つに分割する。そして、画像処理装置20の制御部21は、画像A0の各分割画像に対して、画像B1の各分割画像について位相限定相関法を用いて変形させた画像B2を取得する。
Here, it is assumed that the image A0 and the image B0 shown in FIG. The deformation information generation process (step S3-4) in this case will be described.
In FIG. 9A, since the image is biased, the
次に、図10を用いて、任意の四角形に関する変形情報の求め方について説明する。ここでは、任意の四角形の変形は、行列で表現できない場合もあるので、変形情報としては、「画像内の4点(代表点)について、変形前後の座標」を保存することにする。具体的には、代表点としては変形後の4つの四角形の重心を用いる。 Next, how to obtain deformation information regarding an arbitrary quadrangle will be described with reference to FIG. Here, since the deformation of an arbitrary quadrangle may not be expressed by a matrix, “coordinates before and after the deformation for four points (representative points) in the image” is stored as the deformation information. Specifically, the center of gravity of the four squares after deformation is used as the representative point.
まず、画像処理装置20の制御部21は、全体変形後の画像における重心の特定処理を実行する(ステップS7−1)。具体的には、制御部21の画像調整手段212は、画像B0を4分割し、各分割領域の中心位置(図中では「+」で示す)の座標を特定する。
First, the
次に、画像処理装置20の制御部21は、元画像において、全体変形後の重心の対応位置の特定処理を実行する(ステップS7−2)。具体的には、制御部21の画像調整手段212は、全体変形後の各分割領域の中心位置について、全体変形の逆変換を行なうことにより、元画像に戻した時の位置(元画像における重心の座標)を特定する。
Next, the
次に、画像処理装置20の制御部21は、分割変形後の画像において、全体変形後の重心の対応位置の特定処理を実行する(ステップS7−3)。具体的には、制御部21の画像調整手段212は、全体変形後の各分割領域の中心位置について、分割変形の変換を行なうことにより、分割変形後の画像における位置(分割変形後の画像における重心の座標)を特定する。
Next, the
次に、画像処理装置20の制御部21は、元画像の重心から分割変形後の画像の重心までの変形情報の算出処理を実行する(ステップS7−4)。具体的には、制御部21の画像調整手段212は、元画像における重心の座標から、分割変形後の画像における重心の座標までに移動させるための変形情報を算出する。
Next, the
任意の四角形の変形を行列で表現できるのであれば、〔変形行列〕=〔全体変形の変形行列〕×〔部分変形の変形行列〕という形で求めることができるが、任意の四角形の変形では行列で表現できない場合もある。この場合においても、変形情報として「画像内の4点について、変形前後の座標」を用いることにより、変形を表現することができる。 If the transformation of an arbitrary square can be expressed by a matrix, it can be obtained in the form of [deformation matrix] = [deformation matrix of the entire transformation] × [deformation matrix of the partial transformation]. In some cases, it cannot be expressed. Even in this case, the deformation can be expressed by using “coordinates before and after the deformation for four points in the image” as the deformation information.
10…入力部、15…出力部、20…画像処理装置、21…制御部、211…管理手段、212…画像調整手段、213…輪郭調整手段、214…2次元評価手段、215…3次元評価手段、22…スライス画像データベース、23…変形情報データベース、24…組織輪郭データベース、25…スライス内細胞データベース、26…グループ化データベース。
DESCRIPTION OF
Claims (12)
前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備えた画像処理システムであって、
前記制御手段が、
前記スライス画像記憶手段に記録され、前記スライス画像を撮影した断面位置の間隔と、前記第2の立体物のサイズの統計値とに基づいて算出された、一つの第2の立体物が含まれるスライス画像を用いて、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する手段と、
各変形画像に含まれる第2の立体物の領域を特定する手段と、
前記特定した領域に基づいて、連続した前記変形画像に含まれる同じ第2の立体物の画像を特定する手段と
を備えたことを特徴とする画像処理システム。 Slice image storage means for registering slice images taken at a plurality of cross-sectional positions for the first three-dimensional object;
An image processing system comprising a control means for specifying a region of the second three-dimensional object included in the first three-dimensional object,
The control means is
One second three-dimensional object recorded on the slice image storage means and calculated based on the interval between the cross-sectional positions at which the slice images are taken and the statistical value of the size of the second three-dimensional object is included. Using the slice image, a difference between slice images at successive cross-sectional positions is calculated, and based on the difference, a deformed image is generated by aligning the region of the second three-dimensional object included in the slice image. Means for calculating deformation information for
Means for specifying a region of the second three-dimensional object included in each deformation image;
An image processing system comprising: means for specifying an image of the same second three-dimensional object included in the continuous deformed image based on the specified region.
前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備えた画像処理システムであって、 An image processing system including a control unit that identifies a region of a second three-dimensional object included in the first three-dimensional object,
前記制御手段が、 The control means is
前記スライス画像記憶手段に記録され、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する手段と、 A modified image that is recorded in the slice image storage means, calculates a difference between slice images at successive cross-sectional positions, and performs alignment of a region of the second three-dimensional object included in the slice image based on the difference Means for calculating deformation information for generating
各変形画像に含まれる第2の立体物の領域を特定する手段と、 Means for specifying a region of the second three-dimensional object included in each deformation image;
前記特定した領域に基づいて、連続した前記変形画像に含まれる前記第2の立体物の領 Based on the specified area, the area of the second three-dimensional object included in the continuous deformed image.
域の連続した面積の変化を用いて、同じ第2の立体物の画像を特定する手段とMeans for identifying an image of the same second three-dimensional object using a continuous area change of the area;
を備えたことを特徴とする画像処理システム。An image processing system comprising:
前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備えた画像処理システムであって、 An image processing system including a control unit that identifies a region of a second three-dimensional object included in the first three-dimensional object,
前記制御手段が、 The control means is
前記スライス画像記憶手段に記録され、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する手段と、 A modified image that is recorded in the slice image storage means, calculates a difference between slice images at successive cross-sectional positions, and performs alignment of a region of the second three-dimensional object included in the slice image based on the difference Means for calculating deformation information for generating
一つのスライス画像において、第2の立体物を特定する範囲について指定された輪郭を取得して、各変形画像に含まれる第2の立体物の領域を特定する手段と、 Means for acquiring a contour designated for a range specifying the second solid object in one slice image, and specifying a region of the second solid object included in each deformation image;
前記輪郭を、各スライス画像の変形情報に基づいて変形する手段と、 Means for deforming the contour based on deformation information of each slice image;
前記変形された輪郭に基づいて、連続した前記変形画像に含まれる同じ第2の立体物の画像を特定する手段と Means for identifying an image of the same second three-dimensional object included in the continuous deformed image based on the deformed contour;
を備えたことを特徴とする画像処理システム。An image processing system comprising:
連続した前記低解像度画像を用いて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行ない、この位置合わせ結果を用いて、連続したスライス画像の位置合わせを行なうことを特徴とする請求項1〜5のいずれか一項に記載の画像処理システム。 Create a low-resolution image for each slice image,
The continuous low-resolution image is used to align the region of the second three-dimensional object included in the slice image, and the alignment result is used to align the continuous slice image. The image processing system according to any one of claims 1 to 5 .
前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備えた画像処理システムを用いて、画像処理を実行する方法であって、
前記制御手段が、
前記スライス画像記憶手段に記録され、前記スライス画像を撮影した断面位置の間隔と、前記第2の立体物のサイズの統計値とに基づいて算出された、一つの第2の立体物が含まれるスライス画像を用いて、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する段階と、
各変形画像に含まれる第2の立体物の領域を特定する段階と、
前記特定した領域に基づいて、連続した前記変形画像に含まれる同じ第2の立体物の画像を特定する段階と
を実行することを特徴とする画像処理方法。 Slice image storage means for registering slice images taken at a plurality of cross-sectional positions for the first three-dimensional object;
Using an image processing system comprising a control means for specifying a region of the second three-dimensional object included in the first three-dimensional object, a method for performing image processing,
The control means is
One second three-dimensional object recorded on the slice image storage means and calculated based on the interval between the cross-sectional positions at which the slice images are taken and the statistical value of the size of the second three-dimensional object is included. Using the slice image, a difference between slice images at successive cross-sectional positions is calculated, and based on the difference, a deformed image is generated by aligning the region of the second three-dimensional object included in the slice image. Calculating deformation information for:
Identifying a region of a second three-dimensional object included in each deformed image;
And a step of specifying an image of the same second three-dimensional object included in the continuous deformed image based on the specified region.
前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備えた画像処理システムを用いて、画像処理を実行する方法であって、 A method for executing image processing using an image processing system including a control unit that specifies a region of a second three-dimensional object included in the first three-dimensional object,
前記制御手段が、 The control means is
前記スライス画像記憶手段に記録され、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する段階と、 A modified image that is recorded in the slice image storage means, calculates a difference between slice images at successive cross-sectional positions, and performs alignment of a region of the second three-dimensional object included in the slice image based on the difference Calculating deformation information for generating
各変形画像に含まれる第2の立体物の領域を特定する段階と、 Identifying a region of a second three-dimensional object included in each deformed image;
前記特定した領域に基づいて、連続した前記変形画像に含まれる前記第2の立体物の領域の連続した面積の変化を用いて、同じ第2の立体物の画像を特定する段階と Identifying an image of the same second three-dimensional object using a change in the continuous area of the region of the second three-dimensional object included in the continuous deformed image based on the identified area;
を実行することを特徴とする画像処理方法。The image processing method characterized by performing.
前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備えた画像処理システムを用いて、画像処理を実行する方法であって、 A method for executing image processing using an image processing system including a control unit that specifies a region of a second three-dimensional object included in the first three-dimensional object,
前記制御手段が、 The control means is
前記スライス画像記憶手段に記録され、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する段階と、 A modified image that is recorded in the slice image storage means, calculates a difference between slice images at successive cross-sectional positions, and performs alignment of a region of the second three-dimensional object included in the slice image based on the difference Calculating deformation information for generating
一つのスライス画像において、第2の立体物を特定する範囲について指定された輪郭を取得して、各変形画像に含まれる第2の立体物の領域を特定する段階と、 Obtaining a contour designated for a range for specifying the second three-dimensional object in one slice image, and specifying a region of the second three-dimensional object included in each deformation image;
前記輪郭を、各スライス画像の変形情報に基づいて変形する段階と、 Transforming the contour based on deformation information of each slice image;
前記変形された輪郭に基づいて、連続した前記変形画像に含まれる同じ第2の立体物の画像を特定する段階と Identifying an image of the same second three-dimensional object included in the continuous deformed image based on the deformed contour;
を実行することを特徴とする画像処理方法。The image processing method characterized by performing.
前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、
前記制御手段を、
前記スライス画像記憶手段に記録され、前記スライス画像を撮影した断面位置の間隔と、前記第2の立体物のサイズの統計値とに基づいて算出された、一つの第2の立体物が含まれるスライス画像を用いて、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する手段、
各変形画像に含まれる第2の立体物の領域を特定する手段、
前記特定した領域に基づいて、連続した前記変形画像に含まれる同じ第2の立体物の画像を特定する手段
として機能させることを特徴とする画像処理プログラム。 Slice image storage means for registering slice images taken at a plurality of cross-sectional positions for the first three-dimensional object;
A program for executing image processing using an image processing system including a control unit that specifies a region of a second three-dimensional object included in the first three-dimensional object,
The control means;
One second three-dimensional object recorded on the slice image storage means and calculated based on the interval between the cross-sectional positions at which the slice images are taken and the statistical value of the size of the second three-dimensional object is included. Using the slice image, a difference between slice images at successive cross-sectional positions is calculated, and based on the difference, a deformed image is generated by aligning the region of the second three-dimensional object included in the slice image. Means for calculating deformation information for
Means for specifying the region of the second three-dimensional object included in each deformation image;
An image processing program that functions as means for specifying an image of the same second three-dimensional object included in the continuous deformed image based on the specified region.
前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、 A program for executing image processing using an image processing system including a control unit that specifies a region of a second three-dimensional object included in the first three-dimensional object,
前記制御手段を、 The control means;
前記スライス画像記憶手段に記録され、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する手段、 A modified image that is recorded in the slice image storage means, calculates a difference between slice images at successive cross-sectional positions, and performs alignment of a region of the second three-dimensional object included in the slice image based on the difference Means for calculating deformation information for generating
各変形画像に含まれる第2の立体物の領域を特定する手段、 Means for specifying the region of the second three-dimensional object included in each deformation image;
前記特定した領域に基づいて、連続した前記変形画像に含まれる前記第2の立体物の領域の連続した面積の変化を用いて、同じ第2の立体物の画像を特定する手段 Based on the specified region, means for specifying the same second three-dimensional object image using a continuous area change of the second three-dimensional object region included in the continuous deformed image
として機能させることを特徴とする画像処理プログラム。An image processing program that functions as an image processing program.
前記第1の立体物に含まれる第2の立体物の領域を特定する制御手段とを備えた画像処理システムを用いて、画像処理を実行させるためのプログラムであって、 A program for executing image processing using an image processing system including a control unit that specifies a region of a second three-dimensional object included in the first three-dimensional object,
前記制御手段を、 The control means;
前記スライス画像記憶手段に記録され、連続した断面位置のスライス画像間の差分を算出し、前記差分に基づいて、前記スライス画像に含まれる第2の立体物の領域の位置合わせを行なった変形画像を生成するための変形情報を算出する手段、 A modified image that is recorded in the slice image storage means, calculates a difference between slice images at successive cross-sectional positions, and performs alignment of a region of the second three-dimensional object included in the slice image based on the difference Means for calculating deformation information for generating
一つのスライス画像において、第2の立体物を特定する範囲について指定された輪郭を取得して、各変形画像に含まれる第2の立体物の領域を特定する手段、 Means for acquiring an outline designated for a range for specifying a second solid object in one slice image and specifying a region of the second solid object included in each of the deformed images;
前記輪郭を、各スライス画像の変形情報に基づいて変形する手段、 Means for deforming the contour based on deformation information of each slice image;
前記変形された輪郭に基づいて、連続した前記変形画像に含まれる同じ第2の立体物の画像を特定する手段 Means for specifying an image of the same second three-dimensional object included in the continuous deformed image based on the deformed contour
として機能させることを特徴とする画像処理プログラム。An image processing program that functions as an image processing program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012140594A JP5833975B2 (en) | 2012-06-22 | 2012-06-22 | Image processing system, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012140594A JP5833975B2 (en) | 2012-06-22 | 2012-06-22 | Image processing system, image processing method, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014006100A JP2014006100A (en) | 2014-01-16 |
JP5833975B2 true JP5833975B2 (en) | 2015-12-16 |
Family
ID=50103958
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012140594A Active JP5833975B2 (en) | 2012-06-22 | 2012-06-22 | Image processing system, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5833975B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107423552A (en) * | 2017-05-26 | 2017-12-01 | 粉蓝医疗科技(杭州)有限公司 | Section file reading and device |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10540535B2 (en) * | 2017-03-13 | 2020-01-21 | Carl Zeiss Microscopy Gmbh | Automatically identifying regions of interest on images of biological cells |
CN114913810B (en) * | 2022-03-30 | 2023-06-02 | 卡莱特云科技股份有限公司 | Sector-based slice display control method, device and system |
-
2012
- 2012-06-22 JP JP2012140594A patent/JP5833975B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107423552A (en) * | 2017-05-26 | 2017-12-01 | 粉蓝医疗科技(杭州)有限公司 | Section file reading and device |
Also Published As
Publication number | Publication date |
---|---|
JP2014006100A (en) | 2014-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10262189B2 (en) | Evaluation of co-registered images of differently stained tissue slices | |
CN110163198B (en) | Table identification reconstruction method and device and storage medium | |
JP4420821B2 (en) | Histological assessment | |
JP5699788B2 (en) | Screen area detection method and system | |
CN103988069B (en) | The inspection area establishing method of image testing device | |
EP2546802B1 (en) | Generating artificial hyperspectral images using correlated analysis of co-registered images | |
TWI512787B (en) | A defect analysis support means, a program executed by the defect analysis support means, and a defect analysis system | |
JP6716996B2 (en) | Image processing program, image processing apparatus, and image processing method | |
US20120027277A1 (en) | Interactive iterative closest point algorithm for organ segmentation | |
CN110033507B (en) | Method, device and equipment for drawing internal trace of model map and readable storage medium | |
JP5833975B2 (en) | Image processing system, image processing method, and image processing program | |
CN116134482A (en) | Method and device for recognizing surface features in three-dimensional images | |
CN103914697A (en) | Extraction method for region of interest of breast three-dimension image | |
US20190188881A1 (en) | Representation of a component using cross-sectional images | |
CN111089539B (en) | Method for constructing wafer contour map | |
JP2013137591A (en) | Nearest point search device and method thereof, program, and three-dimensional position/attitude recognition device and method thereof | |
CN112462948B (en) | Calibration method and device based on deviation of user gesture control by depth camera | |
JP3823559B2 (en) | How to convert 3D distance data | |
TWI822126B (en) | Sample observation device, sample observation method and computer system | |
Thomas et al. | A study on close-range photogrammetry in image based modelling and rendering (imbr) approaches and post-processing analysis | |
CN111353407A (en) | Medical image processing method, apparatus, computer device and storage medium | |
WO2013099140A1 (en) | Image processing device, image processing method, and program | |
JPWO2014178241A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2020095498A (en) | Image classifying apparatus and method | |
JP2012093370A (en) | Histological assessment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5833975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |