WO2015104737A1 - Processing device, processing method, and program - Google Patents

Processing device, processing method, and program Download PDF

Info

Publication number
WO2015104737A1
WO2015104737A1 PCT/JP2014/005220 JP2014005220W WO2015104737A1 WO 2015104737 A1 WO2015104737 A1 WO 2015104737A1 JP 2014005220 W JP2014005220 W JP 2014005220W WO 2015104737 A1 WO2015104737 A1 WO 2015104737A1
Authority
WO
WIPO (PCT)
Prior art keywords
deformation
statistical
shape
processing
target
Prior art date
Application number
PCT/JP2014/005220
Other languages
French (fr)
Japanese (ja)
Inventor
亮 石川
佐藤　清秀
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2015104737A1 publication Critical patent/WO2015104737A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

This processing device acquires anatomical features of a region of interest of a target object from images of a target object imaged in two different positions, generates, on the basis of the anatomical features, normalization transformation information for transforming the shape of the region of interest of the target object in the two different positions into a shape that will constitute a prescribed reference, and generates, on the basis of the normalization transformation information, a statistical transformation model indicating the statistical characteristics of the transformation between the images of the target object imaged in the two positions.

Description

処理装置、処理方法、およびプログラムProcessing device, processing method, and program
　本発明は、核磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、超音波画像診断装置（ＵＳ）など、種々の医用画像収集装置（モダリティ）で撮像した医用画像を処理する処理装置、処理方法、およびプログラムに関する。 The present invention relates to medical images captured by various medical image acquisition apparatuses (modalities) such as a nuclear magnetic resonance imaging apparatus (MRI), an X-ray computed tomography apparatus (X-ray CT), and an ultrasonic diagnostic imaging apparatus (US). The present invention relates to a processing apparatus, a processing method, and a program for processing.
　医療の分野において、あるモダリティの画像上に注目部位があった場合に、その対応部位を他のモダリティの画像上で同定し、その対比によって診断を行う場合がある。モダリティ間で撮像体位が異なる場合には、撮像時の被検体の形状が異なるため、その同定が難しくなるという課題がある。そこで、双方の間における被検体の変形を推定すること（すなわち、変形を伴う画像間の位置合わせを行うこと）が試みられている。これにより、注目部位の位置情報に基づいて対応部位の位置を推定することや、一方の画像に変形を施して形状を他方と同一にした画像を生成することが可能となる。 In the medical field, when there is a site of interest on an image of a certain modality, the corresponding site may be identified on an image of another modality and diagnosed by comparing the identified site. When imaging positions differ between modalities, the shape of the subject at the time of imaging differs, which makes it difficult to identify the subject. Therefore, an attempt has been made to estimate the deformation of the subject between the two (that is, to perform alignment between images accompanying the deformation). Thereby, it is possible to estimate the position of the corresponding part based on the position information of the target part, or to generate an image in which one image is deformed to have the same shape as the other.
　非特許文献1には、変形を伴う物体の形状を正規化することで、当該物体の変形前後の形状の比較を容易にする技術が開示されている。具体的には、物体の表面形状の測地線距離行列を算出し、その行列を用いた多次元尺度構成法によって正規化を行う方法が開示されている。この方法によれば、物体表面の測地線距離が変わらないような変形に関して、その変形前後の形状間を直接比較可能な形態に正規化することができるようになる。これにより、変形を伴う物体の変形形状間の比較や、形状に基づく物体認識などが容易に行える。 Non-Patent Document 1 discloses a technique for facilitating comparison of shapes before and after deformation of an object by normalizing the shape of the object with deformation. Specifically, a method is disclosed in which a geodesic distance matrix of the surface shape of an object is calculated and normalized by a multidimensional scaling method using the matrix. According to this method, it becomes possible to normalize the shape before and after the deformation to a form that can be directly compared with respect to the deformation that does not change the geodesic distance of the object surface. Thereby, comparison between deformation shapes of an object accompanied by deformation, object recognition based on the shape, and the like can be easily performed.
　非特許文献1に記載の方法を用いると、変形を伴う複雑な形状に関して、その変形の前後における形状間の正規化が行えるため、位置合わせを比較的に容易に行えることが期待できる。しかし、物体の形状が比較的に単調で、変形形状間で対応付けできるランドマーク等が少ない場合には、正規化後の物体の姿勢に不安定さが残るという課題があった。 If the method described in Non-Patent Document 1 is used, it can be expected that a complicated shape with deformation can be relatively easily aligned because normalization between shapes before and after the deformation can be performed. However, when the shape of the object is relatively monotonous and there are few landmarks that can be associated between the deformed shapes, there is a problem that instability remains in the posture of the object after normalization.
　本発明は、上記の課題に鑑みてなされたものであり、異なる形状間の変形を高精度に表現可能な変形モデルの構築を行う仕組みを提供することを目的とする。 The present invention has been made in view of the above problems, and an object thereof is to provide a mechanism for constructing a deformation model capable of expressing deformation between different shapes with high accuracy.
　上記の目的を達成するための、本発明の一態様によるに処理装置は以下の構成を備える。すなわち、２つの異なる姿勢で撮影された対象物体の画像それぞれから、該対象物体の注目部位の解剖学特徴を取得する取得手段と、前記解剖学特徴に基づいて、前記２つの異なる姿勢の前記対象物体の注目部位の形状をそれぞれ、所定の基準となる形状に変換させるための正規化変換情報を生成する正規化手段と、前記正規化変換情報に基づいて、前記２つの異なる姿勢で撮影された前記対象物体の画像間の変形の統計的な特性を示す統計変形モデルを生成する生成手段とを有する。 In order to achieve the above object, a processing apparatus according to one aspect of the present invention has the following configuration. That is, the acquisition means for acquiring the anatomical feature of the target region of the target object from each of the images of the target object photographed in two different postures, and the target in the two different postures based on the anatomical features The normalization means for generating normalized conversion information for converting the shape of the region of interest of the object into a predetermined reference shape, and the two different postures based on the normalized conversion information Generating means for generating a statistical deformation model indicating statistical characteristics of deformation between images of the target object.
　本発明によれば、多数の変形に関する事例データについて、変形前および変形後の形状に基づいて変形を正規化することで、異なる形状間の変形を高精度に表現可能な変形モデルの構築を行う仕組みを提供できる。 According to the present invention, a deformation model that can express deformation between different shapes with high accuracy is constructed by normalizing the deformation based on the shapes before and after the deformation of case data regarding a large number of deformations. A mechanism can be provided.
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。 Other features and advantages of the present invention will become apparent from the following description with reference to the accompanying drawings. In the accompanying drawings, the same or similar components are denoted by the same reference numerals.
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
図1は第1実施形態による処理システムの機能構成を示す図である。 図2は第1実施形態による処理システムの装置構成を示す図である。 図3は第1実施形態による処理装置の処理手順を示すフローチャートである。 図4は伏臥位MRI画像に描出される被検体の模式図である。 図5は第1実施形態によるステップS320の処理手順を示すフローチャートである。 図6Aは第1実施形態による正規化座標系を説明する図である。 図6Bは第1実施形態による正規化座標系を説明する図である。 図7Aは第1実施形態による画像変形処理を説明する図である。 図7Bは第1実施形態による画像変形処理を説明する図である。 図7Cは第1実施形態による画像変形処理を説明する図である。 図7Dは第1実施形態による画像変形処理を説明する図である。 図8は第3実施形態による処理システムの機能構成を示す図である。 図9は第3実施形態による処理装置の学習フェーズの処理手順を示すフローチャートである。 図10は第3実施形態による処理装置のステップS580の処理手順を示すフローチャートである。 図11は第3実施形態による処理装置の変形推定フェーズの処理手順を示すフローチャートである。 図12は第4実施形態による処理システムの機能構成を示す図である。 図13は第4実施形態による処理装置の処理手順を示すフローチャートである。 図14は第5実施形態による処理システムの機能構成を示す図である。 図15は第5実施形態による処理装置の学習フェーズの処理手順を示すフローチャートである。 図16は第5実施形態による処理装置の変形推定フェーズの処理手順を示すフローチャートである。 図17は第6実施形態による処理システムの機能構成を示す図である。 図18は第6実施形態による処理装置の学習フェーズの処理手順を示すフローチャートである。 図19は第6実施形態による処理装置の変形推定フェーズの処理手順を示すフローチャートである。 The accompanying drawings are included in the specification, constitute a part thereof, show an embodiment of the present invention, and are used to explain the principle of the present invention together with the description.
FIG. 1 is a diagram showing a functional configuration of a processing system according to the first embodiment. FIG. 2 is a diagram showing a device configuration of the processing system according to the first embodiment. FIG. 3 is a flowchart showing a processing procedure of the processing apparatus according to the first embodiment. FIG. 4 is a schematic diagram of a subject depicted on a prone position MRI image. FIG. 5 is a flowchart showing the processing procedure of step S320 according to the first embodiment. FIG. 6A is a diagram for explaining a normalized coordinate system according to the first embodiment. FIG. 6B is a diagram for explaining a normalized coordinate system according to the first embodiment. FIG. 7A is a view for explaining image deformation processing according to the first embodiment. FIG. 7B is a view for explaining image deformation processing according to the first embodiment. FIG. 7C is a view for explaining image deformation processing according to the first embodiment. FIG. 7D is a view for explaining image deformation processing according to the first embodiment. FIG. 8 is a diagram showing a functional configuration of the processing system according to the third embodiment. FIG. 9 is a flowchart showing the processing procedure of the learning phase of the processing device according to the third embodiment. FIG. 10 is a flowchart showing the processing procedure of step S580 of the processing apparatus according to the third embodiment. FIG. 11 is a flowchart showing the processing procedure of the deformation estimation phase of the processing device according to the third embodiment. FIG. 12 is a diagram showing a functional configuration of a processing system according to the fourth embodiment. FIG. 13 is a flowchart showing a processing procedure of the processing apparatus according to the fourth embodiment. FIG. 14 is a diagram showing a functional configuration of a processing system according to the fifth embodiment. FIG. 15 is a flowchart showing the processing procedure of the learning phase of the processing device according to the fifth embodiment. FIG. 16 is a flowchart showing the processing procedure of the deformation estimation phase of the processing device according to the fifth embodiment. FIG. 17 is a diagram showing a functional configuration of a processing system according to the sixth embodiment. FIG. 18 is a flowchart showing the processing procedure of the learning phase of the processing device according to the sixth embodiment. FIG. 19 is a flowchart showing a processing procedure of a deformation estimation phase of the processing device according to the sixth embodiment.
　以下、添付図面に従って本発明による処理装置及び方法の実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。 Hereinafter, embodiments of the processing apparatus and method according to the present invention will be described in detail with reference to the accompanying drawings. However, the scope of the invention is not limited to the illustrated examples.
［第1実施形態］
（第1実施形態の概要）
　本実施形態による処理装置は、注目部位としての被検体の乳房を異なる二種類の体位で夫々撮像した医用画像が取得された場合に、夫々の医用画像を基準形状に変換する正規化変換（正規化変換情報）を求めた上で、それを介して画像間の変形位置合わせを行う。この正規化変換は、体位の違いにより、異なる変形状態で撮像された被検体の乳房を、解剖学的に略一致した空間に座標変換する変換である。 [First embodiment]
(Outline of the first embodiment)
The processing apparatus according to the present embodiment performs normalization conversion (normalization) that converts each medical image into a reference shape when medical images obtained by imaging the breast of the subject as a target region in two different body positions are acquired. Conversion information) is obtained, and deformation position alignment between images is performed through the obtained information. This normalization conversion is a conversion in which the breasts of the subject imaged in different deformed states are coordinate-converted into a space substantially anatomically matched due to the difference in body position.
　ここで、伏臥位と仰臥位の間の乳房の変形に関する特性として、生体力学的に以下の事が知られている。第一に、冠状面において、乳頭を基準とした方位は、概ね保持されること。第二に、体表面において、乳頭を基準とした測地線距離は概ね保存されること。これらの特性により、乳頭を基準とした方位と測地線距離とを基準化した空間を考え、変形状態の異なる乳房の夫々を、その空間に座標変換する。これにより、伏臥位と仰臥位との間で生じる変形に伴う位置の変動を概ね吸収し、解剖学的に共通する空間へと変換できる。この変換を介して画像間の変形位置合わせを行うことにより、元画像を直接的に変形位置合わせするよりも高い精度で位置合わせすることができるようになる。 Here, the following are known biomechanically as characteristics related to the deformation of the breast between the prone position and the supine position. First, in the coronal plane, the orientation with respect to the nipple is generally maintained. Second, the geodesic distance based on the nipple is generally preserved on the body surface. Based on these characteristics, a space in which the azimuth and geodesic distance with respect to the nipple are standardized is considered, and each of the breasts having different deformation states is coordinate-converted into that space. As a result, it is possible to substantially absorb the change in position caused by the deformation generated between the prone position and the supine position, and convert it into a anatomically common space. By performing deformation position alignment between images through this conversion, it becomes possible to position the original image with higher accuracy than when directly deforming and aligning the original image.
　本実施形態では、取得された医用画像の夫々から被検体の乳房の輪郭を抽出し、輪郭上の基準点に基づいて、その形状を基準形状である矩形形状に座標変換する正規化変換を算出する。なお、以下の説明では、被検体として仰臥位および伏臥位における人体の乳房を対象とする場合について説明するが、被検体の体位や部位は特に限定されるものではない。また本実施形態では、医用画像の一例として三次元のMRI画像を用いる場合を例として説明するが、MRI画像に限定されず、他の三次元画像であっても良い。例えば、X線CT画像や3D超音波画像、PET画像などに適用できる。 In the present embodiment, the contour of the breast of the subject is extracted from each of the acquired medical images, and a normalization transform is calculated based on the reference point on the contour and coordinate-converted to the rectangular shape that is the reference shape. To do. In the following description, a case where the subject is a human breast in the supine position and the prone position will be described, but the body position and part of the subject are not particularly limited. In this embodiment, a case where a three-dimensional MRI image is used as an example of a medical image will be described as an example. However, the present embodiment is not limited to an MRI image, and may be another three-dimensional image. For example, it can be applied to X-ray CT images, 3D ultrasound images, PET images, and the like.
（機能構成）
　図1は、本実施形態による処理システムの構成を示す図である。同図に示すように、本実施形態における処理装置100は、画像取得部1000、解剖学特徴抽出部1020、正規化部1040、画像変形部1060、観察画像生成部1080によって構成される。そして、処理装置100は、データサーバ120、モニタ160に接続される。MRI画像撮像装置110は、人体である被検体の内部の三次元領域に関する情報を核磁気共鳴法により取得した画像、すなわちMRI画像を取得する装置である。MRI画像撮像装置110はデータサーバ120と接続され、取得したMRI画像をデータサーバ120へ送信する。データサーバ120は、MRI画像撮像装置110が撮像したMRI画像を保持する装置であり、処理装置100からの命令により保持したMRI画像を処理装置100へ転送する。 (Functional configuration)
FIG. 1 is a diagram showing a configuration of a processing system according to the present embodiment. As shown in the figure, the processing apparatus 100 according to the present embodiment includes an image acquisition unit 1000, an anatomical feature extraction unit 1020, a normalization unit 1040, an image deformation unit 1060, and an observation image generation unit 1080. The processing device 100 is connected to the data server 120 and the monitor 160. The MRI image capturing apparatus 110 is an apparatus that acquires an image obtained by nuclear magnetic resonance, that is, an MRI image, of information related to a three-dimensional region inside a subject that is a human body. The MRI image capturing apparatus 110 is connected to the data server 120 and transmits the acquired MRI image to the data server 120. The data server 120 is a device that holds the MRI image picked up by the MRI image pickup device 110, and transfers the MRI image held by a command from the processing device 100 to the processing device 100.
　次に、処理装置100を構成する各要素について説明する。画像取得部1000は、MRI画像撮像装置110によって撮像された被検体（対象物体）のMRI画像を、データサーバ120を介して処理装置100に取り込む。解剖学特徴抽出部1020は、画像取得部1000が取り込んだMRI画像に画像処理を施し、被検体の解剖学特徴を抽出する。正規化部1040は、解剖学特徴抽出部1020が抽出した被検体の解剖学特徴に基づいて、被検体の形状を基準形状に変換する（正規化する）ための変換を算出する。正規化に関する詳細は後述する。画像変形部1060は、正規化部1040が算出した変換に基づいて伏臥位-仰臥位間の位置合わせを行い、伏臥位MRI画像を変形させて仰臥位MRI画像に合わせた変形画像を生成する。観察画像生成部1080は、画像取得部1000が取り込んだMRI画像と、画像変形部1060が生成した変形画像の夫々から、ユーザに提示する観察画像を生成する。そして、その観察画像をモニタ160へと出力する。モニタ160は観察画像生成部1080が生成した観察画像を表示する。 Next, each element constituting the processing apparatus 100 will be described. The image acquisition unit 1000 captures the MRI image of the subject (target object) captured by the MRI image capturing apparatus 110 into the processing apparatus 100 via the data server 120. The anatomical feature extraction unit 1020 performs image processing on the MRI image captured by the image acquisition unit 1000 and extracts the anatomical features of the subject. The normalization unit 1040 calculates a conversion for converting (normalizing) the shape of the subject into a reference shape based on the anatomical feature of the subject extracted by the anatomical feature extraction unit 1020. Details regarding normalization will be described later. The image deformation unit 1060 performs alignment between the prone position and the supine position based on the conversion calculated by the normalization unit 1040, deforms the prone position MRI image, and generates a deformed image that matches the supine position MRI image. The observation image generation unit 1080 generates an observation image to be presented to the user from each of the MRI image captured by the image acquisition unit 1000 and the deformation image generated by the image deformation unit 1060. Then, the observation image is output to the monitor 160. The monitor 160 displays the observation image generated by the observation image generation unit 1080.
（装置構成）
　図2は、本実施形態による処理システムの装置構成を示す図である。本実施形態の処理システムは処理装置100、MRI画像撮像装置110、データサーバ120、モニタ160、マウス170、キーボード180により構成される。処理装置100は、例えばパーソナルコンピュータ（PC）などで実現することができる。処理装置100は、中央演算処理装置（CPU）211、主メモリ212、磁気ディスク213、表示メモリ214を有する。 (Device configuration)
FIG. 2 is a diagram showing an apparatus configuration of the processing system according to the present embodiment. The processing system of this embodiment includes a processing device 100, an MRI image capturing device 110, a data server 120, a monitor 160, a mouse 170, and a keyboard 180. The processing device 100 can be realized by, for example, a personal computer (PC). The processing device 100 includes a central processing unit (CPU) 211, a main memory 212, a magnetic disk 213, and a display memory 214.
　CPU211は、主として処理装置100の各構成要素の動作を制御する。主メモリ212は、CPU211が実行する制御プログラムを格納したり、CPU211によるプログラム実行時の作業領域を提供したりする。磁気ディスク213は、オペレーティングシステム（OS）、周辺機器のデバイスドライブ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。表示メモリ214は、モニタ160のための表示用データを一時記憶する。モニタ160は、例えばCRTモニタや液晶モニタ等であり、表示メモリ214からのデータに基づいて画像を表示する。マウス170及びキーボード180は、ユーザによるポインティング入力及び文字やコマンド等の入力をそれぞれ行う。上記各構成要素は共通バス218により互いに通信可能に接続されている。 The CPU 211 mainly controls the operation of each component of the processing apparatus 100. The main memory 212 stores a control program executed by the CPU 211 and provides a work area when the CPU 211 executes the program. The magnetic disk 213 stores an operating system (OS), device drives of peripheral devices, various application software including programs for performing processing described later, and the like. The display memory 214 temporarily stores display data for the monitor 160. The monitor 160 is, for example, a CRT monitor or a liquid crystal monitor, and displays an image based on data from the display memory 214. The mouse 170 and the keyboard 180 are used for a pointing input by a user and an input of characters and commands, respectively. The above components are connected to each other via a common bus 218 so as to communicate with each other.
（処理フロー）
　次に、処理装置100が行う処理に関して、図3のフローチャートを用いて詳しく説明する。図3は本実施形態において処理装置100が実行する処理のフローチャートである。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また以下に説明する処理装置100が行う各処理の結果は、主メモリ212に格納することにより記録される。まず、図3に示す各処理ステップについて、その手順を追って詳しく説明する。 (Processing flow)
Next, processing performed by the processing apparatus 100 will be described in detail with reference to the flowchart of FIG. FIG. 3 is a flowchart of processing executed by the processing apparatus 100 in the present embodiment. In the present embodiment, it is realized by the CPU 211 executing a program that realizes the function of each unit stored in the main memory 212. The results of each process performed by the processing apparatus 100 described below are recorded by being stored in the main memory 212. First, each processing step shown in FIG. 3 will be described in detail following the procedure.
（ステップS300）伏臥位MRI画像を取得
　ステップS300において、画像取得部1000は、MRI画像撮像装置110が被検体の乳房を伏臥位の体位で撮像したMRI画像（伏臥位MRI画像）を、データサーバ120を介して処理装置100へ取り込む処理を実行する。ここで伏臥位MRI画像は、三次元のボリュームデータであり、被検体の足側から頭側に向かう方向をZ軸、腹側から背側に向かう方向をY軸、被検体の左方向をX軸とする三次元の直交座標系を持つ（そのような座標変換が予め施されている）ものとする。本実施形態では、この座標系を伏臥位MRI画像座標系と称する。また、伏臥位MRI画像の輝度値を、伏臥位MRI画像座標系における三次元位置xを引数としたスカラ関数Ip(x)と表記する。 (Step S300) Acquire Prone MRI Image In step S300, the image acquisition unit 1000 obtains an MRI image (prone MRI image) in which the MRI image imaging device 110 images the subject's breast in the prone position. A process of importing into the processing apparatus 100 via 120 is executed. Here, the prone position MRI image is three-dimensional volume data, the direction from the foot side to the head side of the subject is the Z axis, the direction from the ventral side to the dorsal side is the Y axis, and the left direction of the subject is X It is assumed that it has a three-dimensional orthogonal coordinate system as an axis (such coordinate conversion is performed in advance). In this embodiment, this coordinate system is referred to as a prone position MRI image coordinate system. Further, the luminance value of the prone position MRI image is expressed as a scalar function I p (x) with the three-dimensional position x in the prone position MRI image coordinate system as an argument.
（ステップS310）伏臥位MRI画像から解剖学特徴を抽出
　ステップS310において、解剖学特徴抽出部1020は、ステップS300で取得した伏臥位MRI画像を処理することにより、被検体の伏臥位における解剖学特徴を抽出する処理を実行する。本実施形態において解剖学特徴とは、被検体の乳頭位置、体表面形状、大胸筋面形状、大胸筋面上の基準位置である。 (Step S310) Extract anatomical features from prone position MRI images In step S310, the anatomical feature extraction unit 1020 processes the prone position MRI images acquired in step S300, thereby anatomical features in the prone position of the subject. Execute the process to extract. In this embodiment, the anatomical features are the nipple position, body surface shape, pectoralis muscle surface shape, and reference position on the pectoralis muscle surface of the subject.
　図4は、伏臥位MRI画像上における解剖学特徴を説明する図である。実際の伏臥位MRI画像は三次元画像であるが、ここでは紙面による説明の都合上、三次元画像上のある2次元断面を示して説明する。伏臥位MRI画像400には、空気領域403、乳房領域402、内部領域405が存在する。体表面401は、空気領域403と乳房領域402との境界の位置の集合であり、三次元の曲面である。また、大胸筋面404は、乳房領域402と内部領域405との境界の位置の集合であり、三次元の曲面である。本処理ステップにおいて、解剖学特徴抽出部1020は、伏臥位MRI画像400を閾値処理やエッジ検出など周知の方法で画像処理し、体表面401を検出する。ただし、体表面401の検出は伏臥位MRI画像に描出される被検体の体表面の全てを検出する必要はなく、乳房領域やその周辺の領域に関係する体表面だけを検出すれば良い。本実施形態では、伏臥位MRI画像における乳房領域の中心位置は、マウス170やキーボード180を用いたユーザ入力により取得され、その中心位置より所定の範囲内を処理対象とする。 FIG. 4 is a diagram for explaining anatomical features on the prone position MRI image. The actual prone position MRI image is a three-dimensional image. Here, for convenience of explanation on paper, a two-dimensional section on the three-dimensional image is shown and described. The prone position MRI image 400 includes an air region 403, a breast region 402, and an internal region 405. The body surface 401 is a set of positions at the boundary between the air region 403 and the breast region 402, and is a three-dimensional curved surface. The pectoralis major surface 404 is a set of boundaries between the breast region 402 and the internal region 405, and is a three-dimensional curved surface. In this processing step, the anatomical feature extraction unit 1020 detects the body surface 401 by performing image processing on the prone position MRI image 400 using a known method such as threshold processing or edge detection. However, the detection of the body surface 401 is not required to detect the entire body surface of the subject depicted in the prone position MRI image, and only the body surface related to the breast region and its surrounding region may be detected. In the present embodiment, the center position of the breast region in the prone position MRI image is acquired by user input using the mouse 170 or the keyboard 180, and the processing target is within a predetermined range from the center position.
　上記の方法で体表面401の検出は実行される。そして、その体表面である空気領域403と乳房領域402との境界の位置の集合である体表面形状を、本実施形態ではsp,surface,i (1≦i≦Np,surface)と表記する。ここで、Np,surfaceは体表面形状を構成する位置（点）の数である。同様にして、大胸筋面形状も画像処理によって検出する。本実施形態ではこれをsp,pectral,i (1≦i≦Np,pectral)と表記する。ただし、Np,pectralは大胸筋面形状を構成する位置（点）の数である。ここで、体表面形状および大胸筋面形状には夫々、これらを構成する点の間の接続情報が付随しているものとする。つまり、体表面形状および大胸筋面形状とは、その位置を表す複数の点（点群）の情報に加え、その点群が作る面に関する情報も同時に持つものとする。 The body surface 401 is detected by the above method. The body surface shape, which is a set of positions of the boundary between the air region 403 and the breast region 402, which is the body surface, is expressed as sp, surface, i (1 ≦ i ≦ Np , surface ) in this embodiment. To do. Here, N p, surface is the number of positions (points) constituting the body surface shape. Similarly, the pectoralis major surface shape is also detected by image processing. In the present embodiment, this is expressed as sp, pectral, i ( 1≤i≤Np, pectral ). N p, pectral is the number of positions (points) constituting the pectoralis major surface shape. Here, it is assumed that the body surface shape and the pectoralis major surface shape are each accompanied by connection information between points constituting these. In other words, the body surface shape and the pectoralis major surface shape have information on a surface created by the point group in addition to information on a plurality of points (point group) representing the position.
　次に解剖学特徴抽出部1020は、乳頭位置の検出を行う。乳頭位置は、上記の方法で検出した体表面形状をさらに処理することによって検出することができる。例えば、体表面形状の局所的な曲率を算出し、その曲率が最大となる位置を乳頭位置として検出するようにできる。または、体表面形状を構成する全ての位置のうち、MRI画像座標系においてY軸の座標値が最も小さい（最も腹側方向）位置を選択し、これを乳頭位置とするようにできる。また、伏臥位MRI画像を画像処理して乳頭位置を検出することもできる。本実施形態では、検出した乳頭位置を三次元座標値xp,surfaceと表記する。次に解剖学特徴抽出部1020は、大胸筋面上の基準位置の検出を行う。この処理は、例えば大胸筋面形状を構成する全ての位置の中で、乳頭位置に最も近い位置を選択することで実行される。本実施形態では、検出した大胸筋面上の基準位置の三次元座標値をxp,pectralと表記する。 Next, the anatomical feature extraction unit 1020 detects the nipple position. The nipple position can be detected by further processing the body surface shape detected by the above method. For example, the local curvature of the body surface shape can be calculated, and the position where the curvature is maximum can be detected as the nipple position. Alternatively, a position having the smallest Y-axis coordinate value (most ventral direction) in the MRI image coordinate system can be selected from all the positions constituting the body surface shape, and this can be set as the nipple position. It is also possible to detect the nipple position by performing image processing on the prone position MRI image. In the present embodiment, the detected nipple position is expressed as a three-dimensional coordinate value x p, surface . Next, the anatomical feature extraction unit 1020 detects a reference position on the pectoralis major muscle surface. This process is executed, for example, by selecting a position closest to the nipple position among all positions constituting the pectoralis major surface shape. In the present embodiment, the detected three-dimensional coordinate value of the reference position on the pectoralis major muscle surface is expressed as x p, pectral .
　次に解剖学特徴抽出部1020は、上記のように検出した乳頭位置xp,surfaceが原点となるように、伏臥位MRI画像座標系を座標変換する処理を実行する。具体的には、上記の処理で取得したsp,surface,i、sp,pectral,i、xp,surface、xp,pectralを-xp,surfaceだけ並進させる処理を実行する。以上の処理によりステップS310における解剖学特徴の抽出が行われる。 Next, the anatomical feature extraction unit 1020 executes a process of performing coordinate transformation of the prone position MRI image coordinate system so that the nipple position x p, surface detected as described above is the origin. Specifically, it executes s p acquired in the process of the, surface, i, s p, pectral, i, x p, surface, x p, pectral the -x p, the process only to translate Surface. With the above processing, anatomical features are extracted in step S310.
　なお、上記の説明では解剖学特徴抽出部1020が伏臥位MRI画像を処理して解剖学特徴を抽出する方法について説明したが、この方法に限定されない。例えば、処理装置100は、伏臥位MRI画像をモニタ160に表示し、ユーザがマウス170やキーボード180によって解剖学特徴に関する情報を処理装置100に入力できるようにしても良い。また、画像処理によって抽出した解剖学特徴を、ユーザがマウス170やキーボード180を用いて修正・変更できるようにしても良い。また、処理装置100は、解剖学特徴のうち一部を画像処理によって抽出し、それ以外をユーザによる入力によって取得するようにしても良い。その時、画像処理によって抽出した解剖学特徴の一部をモニタ160に表示するようにしても良い。例えば、処理装置100は、体表面形状と大胸筋面形状を画像処理によって抽出し、その結果をモニタ160に表示する。そして、表示された体表面形状や大胸筋面形状を参照しながら乳頭位置と大胸筋面上の基準位置をマウス170やキーボード180を使ってユーザが処理装置100に入力するようにしても良い。 In the above description, the method in which the anatomical feature extraction unit 1020 extracts the anatomical features by processing the prone position MRI image is described, but the present invention is not limited to this method. For example, the processing apparatus 100 may display the prone position MRI image on the monitor 160 so that the user can input information on anatomical features to the processing apparatus 100 using the mouse 170 or the keyboard 180. Further, the anatomical features extracted by the image processing may be corrected / changed by the user using the mouse 170 or the keyboard 180. Further, the processing apparatus 100 may extract a part of the anatomical features by image processing and acquire the other by input by the user. At that time, a part of the anatomical features extracted by the image processing may be displayed on the monitor 160. For example, the processing apparatus 100 extracts the body surface shape and the pectoralis major surface shape by image processing, and displays the results on the monitor 160. Then, the user may input the nipple position and the reference position on the pectoral muscle surface using the mouse 170 or the keyboard 180 to the processing device 100 while referring to the displayed body surface shape or pectoralis muscle surface shape. good.
（ステップS320）伏臥位正規化座標系への変換を算出
　ステップS320において、正規化部1040は、ステップS310で抽出した被検体の伏臥位における解剖学特徴に基づき、伏臥位における被検体の形状を基準形状に変換する正規化変換を導出する。具体的には、正規化部1040は、伏臥位MRI画像座標系から伏臥位正規化座標系への変換を表す情報として、これらの座標系間の座標変換関数を算出する処理を実行する。この変換は、MRI画像座標系における体表面および大胸筋面の夫々が、伏臥位正規化座標系において予め定める面上に位置するような変換である。また、この変換は、変換の前後において乳房領域における任意の構造がトポロジーの観点で、なるべく損なわれない変換である。上記の座標変換関数を算出するためにステップS320が実行する具体的な処理の手順について、図5のフローチャートを用いて詳しく説明する。 (Step S320) Calculate transformation to the prone position normalized coordinate system In step S320, the normalization unit 1040 calculates the shape of the subject in the prone position based on the anatomical features in the prone position extracted in step S310. Derive a normalization transformation to transform to the reference shape. Specifically, the normalization unit 1040 executes a process of calculating a coordinate conversion function between these coordinate systems as information representing conversion from the prone position MRI image coordinate system to the prone position normalized coordinate system. This conversion is such that each of the body surface and the pectoral muscle surface in the MRI image coordinate system is located on a predetermined plane in the prone position normalized coordinate system. Further, this conversion is a conversion in which an arbitrary structure in the breast region is not damaged as much as possible before and after the conversion from the viewpoint of topology. A specific processing procedure executed by step S320 to calculate the coordinate transformation function will be described in detail with reference to the flowchart of FIG.
　〈ステップS3200〉体表面の測地線距離を算出
　ステップS3200において、正規化部1040は、ステップS310で抽出した解剖学特徴に基づき、伏臥位における被検体の体表面形状を構成する各位置における、乳頭位置を基準とした測地線距離を算出する処理を実行する。すなわち、正規化部1040は、体表面形状を構成する各位置のうち、乳頭位置については測地線距離を0とし、それ以外の任意の位置における乳頭からの測地線距離を算出する。なお、測地線距離を算出する方法は周知のいかなる方法を用いても良い。本実施形態における体表面形状は、体表面を構成する位置の集合と共に、それらの接続に関する情報も付随しているため、測地線距離を算出する方法として例えばダイクストラ法などを用いることができる。以上の処理により、体表面形状を構成する各位置の測地線距離dp,surface,i (1≦i≦Np,surface)を算出する。ここで、添え字のiは体表面形状sp,surface,i(1≦i≦Np,surface)の添え字iと共通であり、i番目の体表面形状の位置sp,surface,iにおける測地線距離をdp,surface,iとする。 <Step S3200> Calculate the geodesic distance of the body surface In step S3200, the normalization unit 1040, based on the anatomical features extracted in step S310, at each position constituting the body surface shape of the subject in the prone position A process for calculating a geodesic distance based on the position is executed. That is, the normalization unit 1040 calculates the geodesic distance from the nipple at any other position, with the geodesic distance set to 0 for each nipple position among the positions constituting the body surface shape. Note that any known method may be used as a method of calculating the geodesic distance. Since the body surface shape in the present embodiment is accompanied by a set of positions constituting the body surface and information on their connection, for example, the Dijkstra method can be used as a method for calculating the geodesic distance. The geodesic distance d p, surface, i (1 ≦ i ≦ N p, surface ) of each position constituting the body surface shape is calculated by the above processing. Here, the subscript i is the same as the subscript i of the body surface shape sp , surface, i (1 ≦ i ≦ N p, surface ), and the position sp of the i- th body surface shape sp, surface, i Let d p, surface, i be the geodesic distance at.
　〈ステップS3210〉体表面の方位を算出
　ステップS3210において、正規化部1040は、ステップS310で抽出した解剖学特徴に基づき、伏臥位における被検体の体表面形状を構成する各位置における、乳頭位置を基準とした方位を算出する処理を実行する。ここで方位とは、例えばMRI画像座標系におけるX-Z平面上の方位とすることができる。この場合、体表面形状を構成する各位置の座標値sp,surface,i (1≦i≦Np,surface)のうち、X座標値xiとZ座標値ziとを用いて、数1に示す計算により方位ap,surface,i [rad]を算出するようにできる。
　（数１）
　　ap,surface,i =tan-1(zi/ xi)
　ここで、添え字のiは体表面形状sp,surface,i(1≦i≦Np,surface)の添え字iと共通であり、i番目の体表面形状の位置sp,surface,iにおける方位をap,surface,iとする。 <Step S3210> Calculate the orientation of the body surfaceIn step S3210, the normalization unit 1040 calculates the nipple position at each position constituting the body surface shape of the subject in the prone position based on the anatomical features extracted in step S310. A process for calculating a reference azimuth is executed. Here, the orientation can be, for example, an orientation on the XZ plane in the MRI image coordinate system. In this case, among the coordinate values s p, surface, i (1 ≦ i ≦ N p, surface ) of each position constituting the body surface shape, the X coordinate value x i and the Z coordinate value z i are used to calculate the number. The direction a p, surface, i [rad] can be calculated by the calculation shown in 1.
(Equation 1)
a p, surface, i = tan -1 (z i / x i )
Here, the subscript i is the same as the subscript i of the body surface shape sp , surface, i (1 ≦ i ≦ N p, surface ), and the position sp of the i- th body surface shape sp, surface, i Let azimuth be a p, surface, i .
　なお、方位の算出方法は上記の方法に限らず、例えば以下の方法により算出できる。すなわち、乳頭位置と大胸筋面上の基準位置とを結ぶベクトルをY軸とし、被検体の体軸方向（足側から頭側へ向かう方向）をZ軸とする。ただし、Z軸がY軸と直交しない場合には補正を行う必要がある。そして、Y軸とZ軸との外積方向をX軸と設定したうえで、上記数1の算出を行うようにしてもよい。以上の方法によれば、MRI画像座標系において、MRI画像に描出されている被検体の姿勢が斜めに傾いているような場合であっても、被検体の姿勢を基準とした座標軸で方位を算出できる効果がある。 In addition, the calculation method of an azimuth | direction is not restricted to said method, For example, it can calculate with the following method. That is, a vector connecting the nipple position and the reference position on the pectoral muscle surface is taken as the Y axis, and the body axis direction (direction from the foot side to the head side) of the subject is taken as the Z axis. However, if the Z axis is not orthogonal to the Y axis, correction is required. Then, the above equation 1 may be calculated after setting the outer product direction of the Y axis and the Z axis as the X axis. According to the above method, in the MRI image coordinate system, even when the orientation of the subject depicted in the MRI image is inclined obliquely, the orientation is determined with the coordinate axes based on the orientation of the subject. There is an effect that can be calculated.
　〈ステップS3220〉大胸筋面の測地線距離を算出〉
　ステップS3220において、正規化部1040は、ステップS310で抽出した解剖学特徴に基づき、伏臥位における被検体の大胸筋面形状を構成する各位置sp,pectral,iにおける、大胸筋面上の基準位置xp,pectralを基準とした測地線距離dp,pectral,i(1≦i≦Np,pectral)を算出する処理を実行する。本処理ステップは、体表面を対象としたステップS3200と同様の処理を大胸筋面に適用することで実行される。 <Step S3220> Calculate the geodesic distance of the pectoral muscle surface>
In step S3220, the normalization unit 1040, based on the anatomical features extracted in step S310, on the pectoral muscle surface at each position sp, pectral, i constituting the pectoral muscle surface shape of the subject in the prone position. A process of calculating a geodesic distance d p, pectral, i (1 ≦ i ≦ N p, pectral ) based on the reference position x p, pectral of is executed. This processing step is executed by applying the same processing as step S3200 for the body surface to the pectoralis major muscle surface.
　〈ステップS3230〉大胸筋面の方位を算出
　ステップS3230において、正規化部1040は、ステップS310で抽出した解剖学特徴に基づき、伏臥位における被検体の大胸筋面形状を構成する各位置sp,pectral,iにおける、大胸筋面上の基準位置xp,pectralを基準とした方位ap,pectral,i(1≦i≦Np,pectral)を算出する処理を実行する。本処理ステップは、体表面を対象としたステップS3210と同様の処理を大胸筋面に適用することで実行される。 <Step S3230> Calculate the orientation of the pectoralis major plane In step S3230, the normalization unit 1040 determines each position s constituting the pectoralis major plane shape of the subject in the prone position based on the anatomical features extracted in step S310. p, Pectral, in i, performs processing for calculating a reference position x p on the pectoralis major surface, orientation a p relative to the pectral, pectral, i a (1 ≦ i ≦ N p, pectral). This processing step is executed by applying the same processing as step S3210 for the body surface to the pectoralis major surface.
　〈ステップS3240〉体表面を正規化座標系に座標変換
　ステップS3240において、正規化部1040は、ステップS3200およびステップS3210で算出した体表面上の測地線距離および方位に基づいて、伏臥位における被検体の体表面形状を、伏臥位正規化座標系における所定の面へ座標変換する変換を求める処理を実行する。具体的には、正規化部1040は、伏臥位MRI画像座標系における体表面形状を構成する夫々の位置sp,surface,iに対応する、伏臥位正規化座標系における位置s’p,surface,iを算出する。 <Step S3240> Transform the body surface into a normalized coordinate system In step S3240, the normalization unit 1040 determines the subject in the prone position based on the geodesic distance and orientation on the body surface calculated in steps S3200 and S3210. A process for obtaining a transformation for converting the body surface shape of the body into a predetermined plane in the prone position normalized coordinate system is executed. Specifically, the normalization unit 1040 corresponds to the position s ′ p, surface in the prone position normalized coordinate system corresponding to each position s p, surface, i constituting the body surface shape in the prone position MRI image coordinate system. , i is calculated.
　この処理について図6A及び図6Bを用いて説明する。図6Aは、伏臥位MRI画像400における乳房の模式図である。図6Bは、伏臥位正規化座標系で表わされる伏臥位正規化空間における乳房の模式図である。図6A、図6B共に、紙面による説明の都合上、2次元の画像として例示するが、実際の処理では三次元の空間を持つ。例えば、体表面401は図中では曲線であるが、実際の処理では曲面である。同様に正規化体表面411は図中では直線であるが、実際の処理では平面である。本処理ステップでは、正規化部1040は、図6Aのように、輪郭形状が曲面となる体表面401を、矩形形状の上側の平面である正規化体表面411に座標変換する処理を実行する。ここで、伏臥位正規化座標系には、正規化乳頭413の位置が予め所定の位置に定義されているものとする。本実施形態では一例として、正規化乳頭413の位置を伏臥位正規化座標系の原点に定義する場合について説明する。 This process will be described with reference to FIGS. 6A and 6B. FIG. 6A is a schematic diagram of the breast in the prone position MRI image 400. FIG. FIG. 6B is a schematic diagram of the breast in the prone position normalization space expressed in the prone position normalization coordinate system. Both FIG. 6A and FIG. 6B are illustrated as a two-dimensional image for convenience of explanation on paper, but in actual processing, there is a three-dimensional space. For example, the body surface 401 is a curved line in the figure, but is a curved surface in actual processing. Similarly, the normalized surface 411 is a straight line in the figure, but is a plane in the actual processing. In this processing step, as shown in FIG. 6A, the normalization unit 1040 executes a process of performing coordinate conversion of the body surface 401 whose contour shape is a curved surface into a normalized body surface 411 which is a rectangular upper surface. Here, in the prone position normalized coordinate system, the position of the normalized nipple 413 is defined in advance as a predetermined position. In the present embodiment, as an example, a case will be described in which the position of the normalized nipple 413 is defined as the origin of the prone position normalized coordinate system.
　体表面401から正規化体表面411への座標変換に関する具体的な処理手順について説明する。体表面401は、本実施形態でsp,surface,iと表記するNp,surface個の点の集合である。これら個々の点については、ステップS3200およびステップS3210の処理により測地線距離dp,surface,iと方位ap,surface,iが算出されている。本処理ステップでは、正規化部1040は、これらの算出結果に基づいて、伏臥位正規化座標系における対応する位置を算出する。具体的には、正規化部1040は、数2から数4の計算により座標値を算出する。
　（数2）
　　xi= dp,surface,i・cos(ap,surface,i)
　（数3）
　　yi=0
　（数4）
　　zi= dp,surface,i・sin(ap,surface,i) A specific processing procedure regarding coordinate conversion from the body surface 401 to the normalized body surface 411 will be described. The body surface 401 is a set of N p, surface points denoted as sp, surface, i in this embodiment. For these individual points, the geodesic distance d p, surface, i and the direction a p, surface, i are calculated by the processing of step S3200 and step S3210. In this processing step, the normalization unit 1040 calculates a corresponding position in the prone position normalized coordinate system based on these calculation results. Specifically, the normalization unit 1040 calculates the coordinate value by calculation of Equation 2 to Equation 4.
(Equation 2)
x i = d p, surface, i・ cos (a p, surface, i )
(Equation 3)
y i = 0
(Equation 4)
z i = d p, surface, i・ sin (a p, surface, i )
　この計算は、正規化部1040が体表面401上の全ての点に以下の座標変換を施すことを意味する。すなわち、正規化部1040は、伏臥位MRI画像座標系における体表面401上の全ての点を、伏臥位正規化座標系においてy=0のx-z平面上に座標変換する。また、正規化部1040は、全ての点について、伏臥位正規化座標系における正規化乳頭413を基準とした距離及び方位が、伏臥位MRI画像座標系における乳頭406を基準とした測地線距離及び方位と一致するようにする。以上の処理により算出した、伏臥位正規化座標系における正規化体表面の位置をs’p,surface,i(1≦i≦Np,surface)と表記する。 This calculation means that the normalization unit 1040 performs the following coordinate transformation on all points on the body surface 401. That is, the normalization unit 1040 performs coordinate conversion of all points on the body surface 401 in the prone position MRI image coordinate system on the xz plane where y = 0 in the prone position normalization coordinate system. Further, the normalization unit 1040, for all points, the distance and orientation with respect to the normalized nipple 413 in the prone position normalized coordinate system, the geodesic distance with respect to the nipple 406 in the prone position MRI image coordinate system, and Match the direction. The position of the normalized body surface in the prone position normalized coordinate system calculated by the above processing is expressed as s ′ p, surface, i (1 ≦ i ≦ N p, surface ).
　〈ステップS3250〉大胸筋面を正規化座標系に座標変換
　ステップS3250において、正規化部1040は、ステップS3220およびステップS3230で算出した大胸筋面上の測地線距離および方位に基づいて、伏臥位における被検体の大胸筋面形状を、伏臥位正規化座標系における所定の面へ座標変換する変換を求める処理を実行する。具体的には、正規化部1040は、伏臥位MRI画像座標系における大胸筋面形状を構成する夫々の位置sp,pectral,iに対応する、伏臥位正規化座標系における位置s’p,pectral,iを算出する。 <Step S3250> Transform the pectoralis muscle surface into a normalized coordinate system In step S3250, the normalization unit 1040 determines the prone position based on the geodesic distance and orientation on the pectoral muscle surface calculated in steps S3220 and S3230. A process for obtaining a transformation for coordinate-transforming the shape of the pectoralis major muscle surface of the subject to a predetermined plane in the prone position normalized coordinate system is executed. Specifically, the normalization unit 1040 corresponds to the position s ′ p in the prone position normalized coordinate system corresponding to each position s p, pectral, i constituting the pectoralis major plane shape in the prone position MRI image coordinate system. , pectral, i is calculated.
　この処理について図6A及び図6Bを用いて説明する。本処理ステップでは、正規化部1040は、体表面を対象としたステップS3240の処理と同様にして、大胸筋面に対して処理を実行する。すなわち、正規化部1040は、図6Aのように輪郭形状が曲面となる大胸筋面404を、矩形形状の下側の平面である正規化大胸筋面412に座標変換する処理を実行する。ここで、伏臥位正規化座標系には、正規化大胸筋面の基準点414の位置が予め所定の位置に定義されているものとする。本実施形態では一例として、正規化大胸筋面の基準点414を伏臥位正規化座標系の座標値(0,100,0)に定義する場合について説明する。 This process will be described with reference to FIGS. 6A and 6B. In this processing step, the normalization unit 1040 executes processing on the pectoralis major muscle surface in the same manner as in step S3240 for the body surface. That is, the normalization unit 1040 executes processing for coordinate-transforming the pectoralis major muscle surface 404 whose contour shape is a curved surface as shown in FIG. 6A into a normalized pectoral major muscle surface 412 which is a lower plane of the rectangular shape. . Here, in the prone position normalized coordinate system, it is assumed that the position of the reference point 414 of the normalized pectoral muscle surface is defined in advance as a predetermined position. In the present embodiment, as an example, a case will be described in which the reference point 414 of the normalized pectoral muscle surface is defined as coordinate values (0, 100, 0) of the prone position normalized coordinate system.
　具体的な処理は、正規化部1040が、大胸筋面404上の全ての点sp,pectral,iについて、数5から数7の計算を行う事で実行される。すなわち、正規化部1040は、正規化大胸筋面の基準点414と同一のx-z平面上に全ての点を座標変換する。このとき、正規化部1040は、全ての点について、正規化大胸筋面の基準点414を基準とした距離及び方位が、伏臥位MRI画像座標系における大胸筋面の基準点からの測地線距離dp,pectral,i及び方位ap,pectral,iと一致するようにする。
　（数5）
　　xi= dp,pectral,i・cos(ap,pectral,i)
　（数6）
　　yi=100
　（数7）
　　zi= dp,pectral,i・sin(ap,pectral,i)
　以上の処理により算出した、伏臥位正規化座標系における正規化大胸筋面の位置をs’p,pectral,i (1≦i≦Np,pectral)と表記する。 A specific process is executed by the normalization unit 1040 performing calculations of Formulas 5 to 7 for all points sp, pectral, i on the pectoralis muscle surface 404. That is, the normalizing unit 1040 performs coordinate conversion on all points on the same xz plane as the reference point 414 on the normalized pectoralis major muscle surface. At this time, the normalization unit 1040, for all points, the distance and orientation with respect to the reference point 414 of the normalized pectoralis muscle surface are geodesic from the reference point of the pectoral muscle surface in the prone MRI image coordinate system Match the line distance d p, pectral, i and the orientation a p, pectral, i .
(Equation 5)
x i = d p, pectral, i・ cos (a p, pectral, i )
(Equation 6)
y i = 100
(Equation 7)
z i = d p, pectral, i・ sin (a p, pectral, i )
The position of the normalized pectoralis major muscle surface in the prone position normalized coordinate system calculated by the above processing is expressed as s ′ p, pectral, i (1 ≦ i ≦ N p, pectral ).
　〈ステップS3260〉正規化変形を算出
　ステップS3260において、正規化部1040は、伏臥位MRI画像座標系から伏臥位正規化座標系への変換を表す情報として、当該座標系間の座標変換関数（変形場）を算出する処理を実行する。すなわち、正規化部1040は、ステップS3240およびステップS3250で求めた体表面および大胸筋面の伏臥位正規化座標系への離散的な座標変換の結果群を空間的に補間して、伏臥位MRI画像座標系から伏臥位正規化座標系への密な変換を算出する。この処理は、具体的には放射基底関数やB-スプラインなどを用いた周知の補間方法により実現できる。本処理ステップで算出した伏臥位MRI画像座標系から伏臥位正規化座標系への変換関数を、本実施形態ではφp(x)と表記する。ただし、φp(x)は伏臥位MRI画像座標系における位置座標値を引数とし、それに対応する伏臥位正規化座標系における位置座標値を返す関数である。 <Step S3260> Calculate Normalization Deformation In step S3260, the normalization unit 1040 uses a coordinate conversion function (deformation) between the coordinate systems as information representing conversion from the prone position MRI image coordinate system to the prone position normalized coordinate system. The process of calculating the field is executed. That is, the normalization unit 1040 spatially interpolates the result group of the discrete coordinate conversion to the prone position normalized coordinate system of the body surface and pectoral muscle surface obtained in steps S3240 and S3250, and Calculate the dense transformation from the MRI image coordinate system to the prone position normalized coordinate system. Specifically, this processing can be realized by a known interpolation method using a radial basis function, a B-spline, or the like. The transformation function from the prone position MRI image coordinate system calculated in this processing step to the prone position normalized coordinate system is expressed as φ p (x) in this embodiment. Here, φ p (x) is a function that takes the position coordinate value in the prone position MRI image coordinate system as an argument and returns the corresponding position coordinate value in the prone position normalized coordinate system.
　また正規化部1040は、φp(x)とは逆に、伏臥位正規化座標系における位置座標値を引数として、それに対応する伏臥位MRI画像座標系の位置を返す関数も同様に算出する。本実施形態では、これをφp -1(x)と表記する。ここでφp -1 (x)は、伏臥位正規化座標系における所定の矩形領域において定義されるものとする。前記矩形領域は、例えば、s’p,surface,iおよびs’p,pectral,iの全てを内包する矩形領域である。 Also, the normalization unit 1040 calculates a function that returns the position of the prone position MRI image coordinate system corresponding to the position coordinate value in the prone position normalization coordinate system as an argument, similarly to φ p (x). . In the present embodiment, this is expressed as φ p −1 (x). Here, φ p −1 (x) is defined in a predetermined rectangular region in the prone position normalized coordinate system. The rectangular area is, for example, a rectangular area that includes all of s ′ p, surface, i and s ′ p, pectral, i .
　なお、上記の方法で算出した変換関数φp(x)およびφp -1(x)は、数8から数11に示す性質を備えている。
　（数8）
　　s’p,surface,i≒φp(sp,surface,i) 
　（数9）
　　s’p,pectral,i≒φp(sp,pectral,i) 
　（数10）
　　sp,surface,i≒φp -1 (s’p,surface,i)
　（数11）
　　sp,pectral,i≒φp -1 (s’p,pectral,i)
　以上に説明したステップS3200からステップS3260の処理により、本実施形態におけるステップS320の処理が実行される。 Note that the conversion functions φ p (x) and φ p −1 (x) calculated by the above method have the properties shown in Equations 8 to 11.
(Equation 8)
s' p, surface, i ≒ φ p (s p, surface, i )
(Equation 9)
s' p, pectral, i ≒ φ p (s p, pectral, i )
(Equation 10)
s p, surface, i ≒ φ p -1 (s' p, surface, i )
(Equation 11)
s p, pectral, i ≒ φ p -1 (s' p, pectral, i )
By the processing from step S3200 to step S3260 described above, the processing of step S320 in the present embodiment is executed.
（ステップS340）仰臥位MRI画像取得
　ステップS340において、画像取得部1000は、被検体の乳房を仰臥位の体位で撮像したMRI画像（仰臥位MRI画像）を、データサーバ120から処理装置100へ取り込む処理を実行する。この処理は伏臥位のMRI画像を対象としたステップS300と同様の手順で実行できるため、詳細な説明は省略する。取得した仰臥位MRI画像は、仰臥位MRI画像座標系における三次元のボリュームデータである。 (Step S340) Acquisition of Supine Position MRI Image In step S340, the image acquisition unit 1000 captures an MRI image (a supine position MRI image) obtained by imaging the subject's breast in the supine position from the data server 120 to the processing apparatus 100. Execute the process. Since this process can be executed in the same procedure as Step S300 for the prone position MRI image, detailed description thereof is omitted. The acquired supine position MRI image is three-dimensional volume data in the supine position MRI image coordinate system.
（ステップS350）仰臥位MRI画像から解剖学特徴を抽出
　ステップS350において、解剖学特徴抽出部1020は、ステップS340で取得した仰臥位MRI画像を処理することにより、被検体の仰臥位における解剖学特徴を抽出する処理を実行する。この処理は伏臥位MRI画像を対象としたステップS310と同様の処理を仰臥位MRI画像に適用して実行できるため、詳細な説明は省略する。なお、以下では、本処理ステップにおいて抽出した、仰臥位における体表面形状をss,surface,i (1≦i≦Ns,surface)、大胸筋面形状をss,pectral,i (1≦i≦Ns,pectral)、乳頭位置をxs,surface、大胸筋面の基準点をxs,pectralと表記する。 (Step S350) Extract anatomical features from the supine position MRI image In step S350, the anatomical feature extraction unit 1020 processes the supine position MRI image acquired in step S340, thereby anatomical features in the supine position of the subject. Execute the process to extract. Since this process can be executed by applying the same process as step S310 for the prone position MRI image to the supine position MRI image, detailed description thereof will be omitted. In the following, the body surface shape in the supine position extracted in this processing step is s s, surface, i (1 ≦ i ≦ N s, surface ), and the pectoral muscle surface shape is s s, pectral, i (1 ≦ i ≦ N s, pectral ), the nipple position is expressed as x s, surface , and the pectoral muscle surface reference point is expressed as x s, pectral .
（ステップS360）仰臥位正規化座標系への変換の算出
　ステップS360において、正規化部1040は、ステップS350で抽出した被検体の仰臥位における解剖学特徴に基づき、仰臥位における被検体の形状を基準形状に変換する正規化変換を導出する。具体的には、正規化部1040は、仰臥位MRI画像座標系から仰臥位正規化座標系への変換を表す情報として、これらの座標系間の座標変換関数を算出する処理を実行する。この処理は伏臥位の解剖学特徴を対象としたステップS320と同様の手順を仰臥位の解剖学特徴に適用して実行できるため、詳細な説明は省略する。なお、以下では、本処理ステップにおいて取得した仰臥位MRI画像座標系から仰臥位正規化座標系への変換関数をφs(x)と表記する。また、仰臥位正規化座標系から仰臥位MRI画像座標系への変換関数をφs -1(x) と表記する。 (Step S360) Calculation of conversion to the supine position normalized coordinate system In step S360, the normalization unit 1040 calculates the shape of the subject in the supine position based on the anatomical features in the supine position extracted in step S350. Derive a normalization transformation to transform to the reference shape. Specifically, the normalizing unit 1040 executes a process of calculating a coordinate conversion function between these coordinate systems as information representing conversion from the supine position MRI image coordinate system to the supine position normalized coordinate system. Since this process can be executed by applying the same procedure as step S320 for the prone anatomical feature to the supine anatomical feature, detailed description thereof will be omitted. In the following, the conversion function from the supine position MRI image coordinate system acquired in this processing step to the supine position normalized coordinate system is denoted as φ s (x). A conversion function from the supine position normalized coordinate system to the supine position MRI image coordinate system is denoted as φ s −1 (x).
（ステップS380）MRI画像を変形
　ステップS380において、画像変形部1060は、ステップS320およびステップS360の処理結果に基づいて、伏臥位MRI画像を仰臥位に変形した変形画像を生成する処理を実行する。具体的には、画像変形部1060は、伏臥位MRI画像を構成する全てのボクセル（ボリュームデータを構成する画素）に対して、そのボクセルの位置xpを数12の計算により座標変換し、変換後の位置xdを算出する。
　（数12）
　　xd=φs -1[φps{φp(xp)}] (Step S380) Deformation of MRI Image In step S380, the image deformation unit 1060 executes a process of generating a deformed image obtained by deforming the prone position MRI image into the supine position based on the processing results of steps S320 and S360. Specifically, the image deformation unit 1060, prone position for all voxels that constitutes the MRI image (pixels constituting the volume data), and the coordinate transformation by calculating the position x p number 12 of that voxel, conversion The subsequent position xd is calculated.
(Equation 12)
x d = φ s -1 [φ ps {φ p (x p )}]
　そして、画像変形部1060は、その変換後の位置xdに輝度値Ip(xp)を持つボリュームデータを生成する。ただし関数φps(x)は伏臥位正規化座標系から仰臥位正規化座標系の間の任意の変換関数であり、ここでは数13に示す恒等関数とする。また、変換関数φps(x)の定義域はφp -1 (x)と同じ矩形領域である。
　（数13）
　　x=φps(x)
　上記の処理で生成したボリュームデータを変形MRI画像Id(x)と表記する。つまり、変形MRI画像Id(x)は、数14に示す計算により伏臥位MRI画像Ip(x)から算出される。
　（数14）
　　Id(x)= Ip [φp -1 {φps -1(φs(x))}] Then, the image transformation unit 1060 generates volume data having a luminance value I p (x p ) at the converted position x d . However, the function φ ps (x) is an arbitrary conversion function between the prone position normalized coordinate system and the supine position normalized coordinate system, and is assumed to be an identity function shown in Equation 13 herein. The domain of the transformation function φ ps (x) is the same rectangular area as φ p −1 (x).
(Equation 13)
x = φ ps (x)
The volume data generated by the above processing is expressed as a modified MRI image I d (x). That is, the deformed MRI image I d (x) is calculated from the prone position MRI image I p (x) by the calculation shown in Equation 14.
(Equation 14)
I d (x) = I p [φ p -1 {φ ps -1 (φ s (x))}]
　本処理ステップにおいて実行される数12の計算は、具体的には以下の事を意味する。すなわち、伏臥位MRI画像座標系における位置xpは伏臥位正規化座標系へと変換され、伏臥位正規化座標系と仰臥位正規化座標系とを同一視した上で、その座標値が仰臥位MRI画像座標系に変換されている。つまり、伏臥位と仰臥位の間の形状の差異が夫々の正規化によって打ち消される（解剖学的に同一の点が正規化によって正規化座標系の略一致した座標に写像される）と仮定し、その仮定に基づき、伏臥位MRI画像座標系と仰臥位MRI画像座標系との間の変換を求められている（変形位置合わせをしている）ことを意味している。 Specifically, the calculation of the number 12 executed in this processing step means the following. That is, the position x p in the prone position MRI image coordinate system is converted into the prone position normalized coordinate system, and the coordinate value is supine after equating the prone position normalized coordinate system and the supine position normalized coordinate system. The position has been converted to the MRI image coordinate system. In other words, it is assumed that the difference in shape between the prone position and the supine position is canceled by the respective normalizations (anatomically identical points are mapped to the approximate coordinates of the normalized coordinate system by normalization). Based on that assumption, it means that conversion between the prone position MRI image coordinate system and the supine position MRI image coordinate system is required (deformation alignment is performed).
　なお、上記の説明では、伏臥位正規化座標系と仰臥位正規化座標系との間の座標変換φps(x)として恒等関数を用いる場合を例として説明したが、任意の座標変換であって良い。例えば、φps(x)は変形MRI画像と仰臥位MRI画像との間の画像間類似度を高める変形関数であって良い。φps(x)の一例としては、非線形座標変換の代表的な手法の一つであるFFD(Free Form Deformation)を用いて表現するようにできる。この場合、数15に示す画像間類似度を最大化するようにFFDの変形パラメータの最適化する処理を実行する。
　（数15）
Figure JPOXMLDOC01-appb-I000001
　ただし、Is(x)は仰臥位MRI画像であり、Ωは仰臥位MRI画像座標系における乳房領域である。FFDの変形パラメータの最適化は最急勾配法など周知の非線形最適化方法によって実行される。また、画像間類似度は、数15に示す計算方法以外にも相互相関や相互情報量を用いる方法など、周知のいかなる画像間類似度の計算方法であって良い。上記の方法によれば、MRI画像に描出されている被検体の体表面や大胸筋面などの形状情報以外に、伏臥位MRI画像および仰臥位MRI画像の輝度値の類似度が高い変形を生成することができる。このため、伏臥位MRI画像と仰臥位MRI画像との位置合わせを、より高精度に実行できる効果がある。 In the above description, the case where the identity function is used as the coordinate transformation φ ps (x) between the prone position normalized coordinate system and the supine position normalized coordinate system is described as an example. It's okay. For example, φ ps (x) may be a deformation function that increases the similarity between images between the deformed MRI image and the supine position MRI image. As an example of φ ps (x), it can be expressed using FFD (Free Form Deformation), which is one of the typical methods of nonlinear coordinate transformation. In this case, processing for optimizing the FFD deformation parameters is performed so as to maximize the similarity between images shown in Formula 15.
(Equation 15)
Figure JPOXMLDOC01-appb-I000001
Where I s (x) is a supine position MRI image, and Ω is a breast region in the supine position MRI image coordinate system. Optimization of FFD deformation parameters is performed by well-known nonlinear optimization methods such as steepest gradient method. The similarity between images may be any known method for calculating the similarity between images, such as a method using cross-correlation or mutual information, in addition to the calculation method shown in Equation 15. According to the above method, in addition to the shape information such as the body surface of the subject and the pectoralis major muscle surface depicted in the MRI image, deformation with high similarity in the luminance values of the prone position MRI image and the supine position MRI image is performed. Can be generated. For this reason, there is an effect that the alignment between the prone position MRI image and the supine position MRI image can be executed with higher accuracy.
（ステップS390）変形画像を表示
　ステップS390において、観察画像生成部1080は、ステップS380で生成した変形画像Id(x)と、仰臥位MRI画像Is(x)とを並べた観察画像を生成する。この時、観察画像生成部1080は、変形画像Id(x)と仰臥位MRI画像Is(x)の夫々をユーザの操作に応じて任意の平面で切断した画像（断面画像）を切り出し、これらを並べて観察画像を構成するようにできる。また、観察画像生成部1080は、変形画像Id(x)と仰臥位MRI画像Is(x)の夫々をボリュームレンダリングした画像を並べて観察画像を構成するようにしても良い。また、観察画像生成部1080は、変形画像Id(x)と仰臥位MRI画像Is(x)の夫々から生成した断面画像を重畳または融合して観察画像を構成するようにしても良い。そして、観察画像生成部1080は、以上の処理で生成した観察画像をモニタ160に表示する処理を実行する。 (Step S390) In the display step S390 the deformed image, the observation image generating unit 1080 generates modified image I d (x) generated in step S380, an observation image obtained by arranging the supine position MRI image I s (x) To do. At this time, the observation image generation unit 1080 cuts out an image (cross-sectional image) obtained by cutting each of the deformed image I d (x) and the supine position MRI image I s (x) at an arbitrary plane in accordance with a user operation, These can be arranged side by side to form an observation image. Further, the observation image generation unit 1080 may configure an observation image by arranging images obtained by volume rendering of the deformed image I d (x) and the supine position MRI image I s (x). Further, the observation image generation unit 1080 may configure an observation image by superimposing or fusing cross-sectional images generated from the deformed image I d (x) and the supine position MRI image I s (x). Then, the observation image generation unit 1080 executes processing for displaying the observation image generated by the above processing on the monitor 160.
　以上に説明した方法により、第1実施形態による処理装置100の処理が実施される。本実施形態によれば、乳房の変形に関する生体力学的な特性を考慮した正規化を行っているため、変形に伴う位置の変動を概ね吸収し、解剖学的に共通する空間へと変換できる。そのため、伏臥位および仰臥位で撮像された被検体の乳房の夫々を解剖学的に略一致した空間に写像する正規化変換を施す事ができる。また、伏臥位および仰臥位で撮像された被検体の乳房MRI画像を簡易な方法で変形位置合わせできる仕組みを提供できる。 The processing of the processing apparatus 100 according to the first embodiment is performed by the method described above. According to the present embodiment, normalization is performed in consideration of biomechanical characteristics related to the deformation of the breast, so that the change in position due to the deformation can be generally absorbed and converted into an anatomically common space. Therefore, normalization conversion can be performed in which each of the breasts of the subject imaged in the prone position and the supine position is mapped to a space that approximately matches anatomically. In addition, it is possible to provide a mechanism capable of deforming and aligning the breast MRI image of the subject imaged in the prone position and the supine position by a simple method.
　（第1実施形態の変形例）矩形形状以外の正規化空間 
　第1実施形態の説明では、ステップS320の処理において、正規化部1040が図6Aに示す乳房領域402が、図6Bに示す矩形形状となる正規化変形を生成する場合を例として説明したが、形状はこの場合に限定されない。例えば、正規化座標系における乳房領域は矩形形状以外の形状でも良い。一例としては、二次曲面などの任意の幾何曲面で囲まれた形状であっても良い。また、処理装置100に予め複数の形状情報を備え、その中からユーザが任意に選択できるようにしても良い。この場合、処理装置100は、例えば伏臥位MRI画像と仰臥位MRI画像とをモニタ160に表示するなどしてユーザに提示し、ユーザは、その画像を観察しながら適切な形状情報を選択できるようにしても良い。この方法によれば、被検体毎に多様な形状を持ちうる乳房の特性に対して、正規化変形の方法を適応的に選択でき、より精度の良い位置合わせが行える効果がある。 (Modification of the first embodiment) Normalized space other than rectangular shape
In the description of the first embodiment, in the process of step S320, the normalization unit 1040 has been described as an example in which the breast region 402 illustrated in FIG. 6A generates a normalization deformation having a rectangular shape illustrated in FIG. The shape is not limited to this case. For example, the breast region in the normalized coordinate system may have a shape other than the rectangular shape. As an example, it may be a shape surrounded by an arbitrary geometric curved surface such as a quadric surface. In addition, the processing apparatus 100 may be provided with a plurality of pieces of shape information in advance, and the user may arbitrarily select among them. In this case, the processing apparatus 100 presents the prone position MRI image and the supine position MRI image to the user by displaying them on the monitor 160, for example, so that the user can select appropriate shape information while observing the image. Anyway. According to this method, the normalization deformation method can be adaptively selected for the characteristics of the breast that can have various shapes for each subject, and there is an effect that alignment with higher accuracy can be performed.
［第2実施形態］曲断面表示
　第1実施形態の説明では、ステップS380の処理において、画像変形部1060が伏臥位MRI画像を変形した変形MRI画像を生成する場合を例に説明したが、生成するMRI画像はこの例に限定されない。本発明の第2実施形態では、画像変形部1060が、伏臥位MRI画像を伏臥位正規化座標系に変換した伏臥位正規化画像と、仰臥位MRI画像を仰臥位正規化座標系に変換した仰臥位正規化画像とを生成し、これらの画像を並べて表示する場合について説明する。 [Second Embodiment] Curve Section Display In the description of the first embodiment, the case where the image deforming unit 1060 generates a deformed MRI image obtained by deforming the prone position MRI image in the process of step S380 has been described. The MRI image to be performed is not limited to this example. In the second embodiment of the present invention, the image deforming unit 1060 converts the prone position MRI image into the prone position normalized coordinate system and the supine position MRI image into the supine position normalized coordinate system. A case where a supine position normalized image is generated and these images are displayed side by side will be described.
　以下、第1実施形態との相違点についてのみ説明する。なお、本実施形態における処理装置の機能構成は図1と同様であり、画像変形部1060の機能のみが異なっている。本実施形態における画像変形部1060は、伏臥位正規化画像Ipdと仰臥位正規化画像Isdを生成する。また本実施形態における処理装置の処理手順は図3と同様であり、ステップS380およびステップS390の処理内容のみが異なっている。以下、本実施形態におけるステップS380およびステップS390の処理について説明する。 Only the differences from the first embodiment will be described below. Note that the functional configuration of the processing apparatus in the present embodiment is the same as that in FIG. 1, and only the function of the image deformation unit 1060 is different. The image deforming unit 1060 in the present embodiment generates a prone position normalized image I pd and a supine position normalized image I sd . Further, the processing procedure of the processing apparatus in the present embodiment is the same as that in FIG. 3, and only the processing contents of step S380 and step S390 are different. Hereinafter, the processing of step S380 and step S390 in the present embodiment will be described.
　ステップS380において、画像変形部1060は、伏臥位MRI画像Ipを変換関数φp -1 (x)に基づいて伏臥位正規化座標系に変換した伏臥位正規化画像Ipdを生成する。図7A乃至図7Dは、この処理によって生成される画像の具体例を示す図である。図7Aにおいて、伏臥位MRI画像400はIpを模式的に表した例である。画像変形部1060は、この伏臥位MRI画像400を変換関数φp -1 (x)に基づいて変形させることで、図7Bに示すように、伏臥位正規化座標系における画像として伏臥位正規化画像410、すなわちIpdを生成する。またステップS380において画像変形部1060は、仰臥位MRI画像Isについても同様の処理を行い、図7Cの仰臥位MRI画像420をφs -1 (x)に基づいて変形させ、図7Dの仰臥位正規化画像430、すなわちIsdを生成する。以上の処理により、三次元のボリュームデータである伏臥位正規化画像Ipdおよび仰臥位正規化画像Isdが生成される。 In step S380, the image deforming unit 1060 generates a prone position normalized image I pd obtained by converting the prone position MRI image I p to the prone position normalized coordinate system based on the conversion function φ p −1 (x). 7A to 7D are diagrams illustrating specific examples of images generated by this processing. In FIG. 7A, the prone position MRI image 400 is an example schematically representing I p . The image deforming unit 1060 deforms the prone position MRI image 400 based on the transformation function φ p −1 (x), thereby normalizing the prone position as an image in the prone position normalized coordinate system, as shown in FIG. An image 410, i.e., I pd is generated. Image transforming unit 1060 in addition step S380 performs the same processing for the supine position MRI image I s, is modified based supine MRI image 420 of FIG. 7C to φ s -1 (x), supine Figure 7D A position normalized image 430, ie, I sd is generated. Through the above processing, the prone position normalized image I pd and the supine position normalized image I sd which are three-dimensional volume data are generated.
　ステップS390において、観察画像生成部1080は、ステップS380で生成した伏臥位正規化画像Ipdおよび仰臥位正規化画像Isdに基づいて、観察画像を生成する処理を実行する。具体的には、観察画像生成部1080は、伏臥位正規化画像Ipdと仰臥位正規化画像Isdの双方を y=任意の定数 となるx-z平面で切断した断面画像I slice,pdおよびI slice,sdを生成し、これらの断面画像を並べた画像を観察画像として生成する。ここで、伏臥位正規化座標系および仰臥位正規化座標系において、Y座標の値は概ね体表面および大胸筋面との間の距離の比率を表している。従って、断面画像I slice,pdおよびI slice,sdには、伏臥位MRI画像座標系および仰臥位MRI画像座標系において、体表面と大胸筋面との距離が一定の割合となる曲面形状上の断面（曲断面）が切り出される。そのため、両画像の医学的・解剖学的な観点での高度な比較が容易に行える効果がある。例えば、乳房の体表面付近に存在する表在血管の走行や、乳房領域における乳腺の広がり方などを、単一の断面画像で広い範囲に渡って比較観察できる効果がある。 In step S390, the observation image generation unit 1080 executes processing for generating an observation image based on the prone position normalized image I pd and the supine position normalized image I sd generated in step S380. Specifically, the observation image generation unit 1080 slices both the prone position normalized image I pd and the supine position normalized image I sd along the xz plane where y = arbitrary constant I slice, pd and I Slice and sd are generated, and an image in which these cross-sectional images are arranged is generated as an observation image. Here, in the prone position normalized coordinate system and the supine position normalized coordinate system, the value of the Y coordinate generally represents the ratio of the distance between the body surface and the pectoral muscle surface. Therefore, the slice images I slice, pd and I slice, sd have a curved surface shape with a constant ratio of the distance between the body surface and the pectoral muscle surface in the prone MRI image coordinate system and the supine MRI image coordinate system. The cross section (curved cross section) is cut out. For this reason, there is an effect that the two images can be easily compared with each other from a medical and anatomical viewpoint. For example, there is an effect that a single cross-sectional image can compare and observe the running of superficial blood vessels existing near the body surface of the breast and the spread of the mammary gland in the breast region over a wide range.
（第2実施形態の変形例）
　上記のようにMRI画像の曲断面を生成して表示する処理は、必ずしも伏臥位MRI画像と仰臥位MRI画像との両方に対して実行する必要は無い。例えば、処理装置100は、伏臥位MRI画像または仰臥位MRI画像の何れか一方を入力とし、第1実施形態のステップS300からステップS320の処理を実行し、上記の曲断面を生成する処理を実行して表示するようにしても良い。この方法によれば、表在血管の走行や乳腺の広がり方など医学的・解剖学的な観点での高度な画像観察を行うことができる効果がある。 (Modification of the second embodiment)
The process of generating and displaying the curved section of the MRI image as described above does not necessarily have to be performed on both the prone position MRI image and the supine position MRI image. For example, the processing apparatus 100 receives either the prone position MRI image or the supine position MRI image as input, and executes the process from step S300 to step S320 of the first embodiment to generate the curved section described above. May be displayed. According to this method, there is an effect that it is possible to perform advanced image observation from a medical / anatomical viewpoint such as running of superficial blood vessels and spreading of mammary glands.
［第3実施形態］統計変形モデル生成、位置合わせ
　本実施形態による処理装置200は、第1実施形態と同様の正規化処理を多症例（学習症例）に対して適用し、正規化された各症例の変形を統計処理することにより、変形に関するモデル（統計変形モデル）を構築する。ここで、異なる症例間における正規化について説明する。少なくとも正常人体においては、個体の違いによらず、トポロジー的な観点でほぼ同一の解剖学的構造を有する。また、個体の違いは概ねスケール変換（相似変換）によって吸収できる。ただし、乳房については発達のメカニズムに起因し、前述のスケール変換による個体差の吸収には限りがある。一方、正常人体において、乳頭、体表面、大胸筋面、正中線、頭尾方向（体軸）などは解剖学的に全ての個体で共通する特徴的な幾何構造である。 [Third Embodiment] Statistical Deformation Model Generation and Registration The processing apparatus 200 according to the present embodiment applies normalization processing similar to that of the first embodiment to multiple cases (learning cases), and each normalized A model related to deformation (statistic deformation model) is constructed by statistically processing the deformation of the case. Here, normalization between different cases will be described. At least the normal human body has almost the same anatomical structure from a topological point of view, regardless of individual differences. Individual differences can be absorbed by scale conversion (similarity conversion). However, with regard to the breast, due to the developmental mechanism, there is a limit to the absorption of individual differences due to the aforementioned scale conversion. On the other hand, in a normal human body, the nipple, body surface, pectoral muscle surface, midline, head-tail direction (body axis), etc. are characteristic geometric structures that are anatomically common to all individuals.
　本実施形態による処理装置200は、上記の特性を考慮して、個体間のスケール変換に加え、前記特徴的な幾何構造で基準化した空間を考え、異なる個体の人体の乳房を、その空間に座標変換する。これにより、個体間の違いを概ね吸収し、解剖学的に共通する空間へと変換できる。本実施形態では、Nsamples個の症例の伏臥位および仰臥位のMRI画像を学習症例とする場合を例として説明する。さらに処理装置200は、学習症例とは異なる未知の症例（対象症例）に対して統計変形モデルの当てはめを行うことにより、変形の推定を行う。これにより、対象症例の伏臥位および仰臥位のMRI画像間の変形位置合わせを高精度に行う。 In consideration of the above characteristics, the processing apparatus 200 according to the present embodiment considers the space normalized by the characteristic geometric structure in addition to the scale conversion between individuals, and the breasts of human bodies of different individuals are included in the space. Convert coordinates. Thereby, the difference between individuals can be generally absorbed and converted into an anatomically common space. In the present embodiment, an example will be described in which MRI images in the prone position and the supine position of N samples cases are used as learning cases. Further, the processing apparatus 200 estimates the deformation by fitting a statistical deformation model to an unknown case (target case) different from the learning case. Thereby, the deformation position alignment between the MRI images of the prone position and the supine position of the target case is performed with high accuracy.
（機能構成）
　図8は、本実施形態による処理システムの構成を示す図である。本実施形態において、第1実施形態と同様の機能を持つ構成要素には図1と同一の番号を付しており、説明は省略する。同図に示すように、本実施形態における処理装置200は、画像取得部1000、解剖学特徴抽出部1020、正規化部1040、学習症例変形生成部1220、スケール算出部1230、統計変形モデル生成部1240、対象症例変形生成部1420、画像変形部1060、観察画像生成部1080を持つ。 (Functional configuration)
FIG. 8 is a diagram showing a configuration of a processing system according to the present embodiment. In the present embodiment, components having the same functions as those in the first embodiment are denoted by the same reference numerals as those in FIG. As shown in the figure, the processing device 200 in this embodiment includes an image acquisition unit 1000, an anatomical feature extraction unit 1020, a normalization unit 1040, a learning case deformation generation unit 1220, a scale calculation unit 1230, and a statistical deformation model generation unit. 1240, a subject case deformation generation unit 1420, an image deformation unit 1060, and an observation image generation unit 1080.
　学習症例変形生成部1220は、学習症例の夫々のMRI画像に基づき、伏臥位から仰臥位への変形を生成する。スケール算出部1230は、学習症例の夫々に関するスケールの算出を行う。統計変形モデル生成部1240は、学習症例の夫々に関する変形・スケールに基づいて統計変形モデルを生成する。対象症例変形生成部1420は、対象症例の伏臥位・仰臥位間の変形を生成する。 The learning case deformation | transformation production | generation part 1220 produces | generates the deformation | transformation from a prone position to a supine position based on each MRI image of a learning case. The scale calculation unit 1230 calculates a scale for each of the learning cases. The statistical deformation model generation unit 1240 generates a statistical deformation model based on the deformation / scale regarding each of the learning cases. The target case deformation generation unit 1420 generates a deformation between the prone position and the supine position of the target case.
（処理フロー）
　次に、処理装置200が行う全体の動作について説明する。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また、以下に説明する処理装置200が行う各処理の結果は、主メモリ212に格納することにより記録される。 (Processing flow)
Next, the overall operation performed by the processing apparatus 200 will be described. In the present embodiment, it is realized by the CPU 211 executing a program that realizes the function of each unit stored in the main memory 212. In addition, the result of each process performed by the processing device 200 described below is recorded by being stored in the main memory 212.
　本実施形態における処理装置200の処理は、学習フェーズの処理と変形推定フェーズの処理から成り、まず学習フェーズの処理を実行し、その後に変形推定フェーズの処理を実行する。学習フェーズの処理では、多症例の伏臥位および仰臥位のMRI画像間の変形を学習し、統計変形モデルを生成する処理が実行される。変形推定フェーズの処理では、学習フェーズで算出した統計変形モデルを用いて対象症例の伏臥位、仰臥位間の変形位置合わせが実行される。 The processing of the processing device 200 according to the present embodiment includes a learning phase process and a deformation estimation phase process. First, the learning phase process is performed, and then the deformation estimation phase process is performed. In the process of the learning phase, the process of learning the deformation between the MRI images of the prone position and the supine position of many cases and generating a statistical deformation model is executed. In the process of the deformation estimation phase, the deformation positioning between the prone position and the supine position of the target case is executed using the statistical deformation model calculated in the learning phase.
　以下に記載する本実施形態の説明では、処理装置200が前記学習フェーズの処理と変形推定フェーズの処理の両方を実行する場合を例として説明するが、学習フェーズの処理と、変形推定フェーズの処理を異なる処理装置で実行するようにしても良い。また、本実施形態による処理装置200は、学習フェーズの処理と変形推定フェーズの処理の両方の処理を実行する場合に限らず、例えば、学習フェーズの処理だけを実行するようにしても良い。また、学習フェーズの処理の結果として得られる統計変形モデル自体の提供も、本実施形態に含まれる。 In the following description of the present embodiment, a case where the processing device 200 executes both the learning phase process and the deformation estimation phase process will be described as an example. However, the learning phase process and the deformation estimation phase process are described. May be executed by a different processing apparatus. Further, the processing device 200 according to the present embodiment is not limited to executing both the learning phase process and the deformation estimation phase process, and may execute only the learning phase process, for example. The provision of the statistical deformation model itself obtained as a result of the learning phase process is also included in the present embodiment.
（学習フェーズの処理）
　図9は本実施形態における処理装置200が行う、学習フェーズの処理の手順を説明するフローチャートである。以下、このフローチャートに示す処理手順に従って、本実施形態の学習フェーズの処理について詳しく説明する。 (Learning phase processing)
FIG. 9 is a flowchart for explaining the procedure of the learning phase process performed by the processing apparatus 200 according to this embodiment. Hereinafter, according to the processing procedure shown in this flowchart, the learning phase processing of the present embodiment will be described in detail.
（ステップS500）学習症例の画像を算出
　ステップS500において、画像取得部1000は、Nsamples個の学習症例の伏臥位MRI画像と仰臥位MRI画像を取得する処理を実行する。この処理は第1実施形態のステップS300およびS340と同様の処理を、Nsamples個の学習症例の夫々に対して適用することで実行できる。詳細な説明は省略する。 (Step S500) Calculation of Learning Case Image In step S500, the image acquisition unit 1000 executes a process of acquiring prone MRI images and supine MRI images of N samples of learning cases. This process can be executed by applying the same process as steps S300 and S340 of the first embodiment to each of the N samples learning cases. Detailed description is omitted.
（ステップS510）学習症例の解剖学特徴を抽出
　ステップS510において、解剖学特徴抽出部1020は、ステップS500で取得した学習症例の伏臥位MRI画像と仰臥位MRI画像の夫々を処理することにより、解剖学特徴を抽出する処理を実行する。この処理は第1実施形態のステップS310およびS350と同様の処理を、Nsamples個の学習症例の夫々に対して適用することで実行できる。詳細な説明は省略する。 (Step S510) Extracting Anatomical Features of Learning Case In step S510, the anatomical feature extracting unit 1020 performs anatomy by processing each of the prone position MRI image and the supine position MRI image of the learning case acquired in step S500. A process for extracting academic features is executed. This process can be executed by applying the same process as steps S310 and S350 of the first embodiment to each of the N samples learning cases. Detailed description is omitted.
（ステップS520）学習症例の正規化座標系への変形関数を算出
　ステップS520において、正規化部1040は、ステップS510で抽出した学習症例の解剖学特徴に基づき、学習症例の夫々に関して、被検体の形状を基準形状に変換する正規化変換を導出する。具体的には、正規化部1040は、伏臥位MRI画像の夫々について、伏臥位MRI画像座標系から伏臥位正規化座標系への変形関数を算出する処理を実行する。また、正規化部1040は、仰臥位MRI画像の夫々に関して、仰臥位MRI画像座標系から仰臥位正規化座標系への変形関数を算出する処理を実行する。これらの処理は、第1実施形態で説明したステップS320およびS360と同様の処理で実行できる。詳細な説明は省略する。 (Step S520) Calculate a deformation function to the normalized coordinate system of the learning case In step S520, the normalization unit 1040, for each of the learning cases based on the anatomical features of the learning case extracted in step S510 A normalization transformation is derived that transforms the shape into a reference shape. Specifically, the normalization unit 1040 executes a process of calculating a deformation function from the prone position MRI image coordinate system to the prone position normalized coordinate system for each prone position MRI image. In addition, the normalization unit 1040 executes a process of calculating a deformation function from the supine position MRI image coordinate system to the supine position normalized coordinate system for each of the supine position MRI images. These processes can be executed by the same processes as steps S320 and S360 described in the first embodiment. Detailed description is omitted.
　以上の処理により算出された学習症例の伏臥位MRI画像座標系から伏臥位正規化座標系の変形関数をφp,j(x)と表記する。また、仰臥位MRI画像座標系から伏臥位正規化座標系の変形関数をφs,j(x)と表記する。ここで、jは学習症例の症例番号を意味し、1≦j≦Nsamplesである。すなわち、Nsamples個の学習症例の夫々に関して変形関数を求める処理を実行する。 The deformation function of the prone position normalized coordinate system is expressed as φ p, j (x) from the prone position MRI image coordinate system of the learning case calculated by the above processing. In addition, the transformation function from the supine position MRI image coordinate system to the prone position normalized coordinate system is expressed as φ s, j (x). Here, j means the case number of the learning case, and 1 ≦ j ≦ N samples . That is, a process for obtaining a deformation function is executed for each of the N samples learning cases.
（ステップS540）学習症例の伏臥位正規化座標系から仰臥位正規化座標系への変換関数を算出
　ステップS540において、学習症例変形生成部1220は、学習症例の夫々に関して、伏臥位正規化座標系から仰臥位正規化座標系への変換関数を算出する処理を実行する。具体的には、学習症例変形生成部1220は、以下に説明する処理をNsamples個の学習症例の夫々について実行する。 (Step S540) Calculate a conversion function from the prone position normalized coordinate system of the learning case to the supine position normalized coordinate system. In step S540, the learning case deformation generation unit 1220 determines the prone position normalized coordinate system for each of the learning cases. A process of calculating a conversion function from to the supine position normalized coordinate system is executed. Specifically, the learning case deformation | transformation production | generation part 1220 performs the process demonstrated below about each of N samples learning cases.
　まず、学習症例変形生成部1220は、伏臥位MRI画像座標系および仰臥位MRI画像座標系の双方で対応する位置を、マウス170やキーボード180を用いたユーザ入力等により取得する。ここでは、この対応する位置が、ユーザから入力されたものとする。入力された伏臥位MRI画像座標系および仰臥位MRI画像座標系における対応する位置を夫々、xp,corres,k、xs,corres,kとする。ただしkは対応点のインデックスであり、Ncorresを対応する位置の数としたときに1≦k≦Ncorresである。ここで、対応する位置は、例えばMRI画像における血管の分岐点や、乳腺の特徴的な構造を持つ部位などであり、ユーザが目視により対応が与えられる位置の組である。 First, the learning case deformation | transformation production | generation part 1220 acquires the position which respond | corresponds in both a prone position MRI image coordinate system and a supine position MRI image coordinate system by the user input etc. which used the mouse | mouth 170 and the keyboard 180. FIG. Here, it is assumed that the corresponding position is input from the user. The corresponding positions in the input prone position MRI image coordinate system and supine position MRI image coordinate system are x p, corres, k and x s, corres, k , respectively. Where k is the index of the corresponding points is 1 ≦ k ≦ N corres when the number of positions corresponding to N corres. Here, the corresponding position is, for example, a branch point of a blood vessel in an MRI image, a part having a characteristic structure of a mammary gland, or the like, and is a set of positions to which a user can give a correspondence visually.
　次に、学習症例変形生成部1220は、取得したxp,corres,k、xs,corres,kの夫々を、ステップS520で取得した正規化座標系への変換を用いて変換する。具体的には、学習症例変形生成部1220は、数16の処理を実行し、伏臥位正規化座標系および仰臥位正規化座標系における位置x’p,corres,k、x’s,corres,kを算出する。
　（数16）
　　x’p,corres,k=φp,j(xp,corres,k) 　　　(1≦k≦Ncorres)
　（数17）
　　x’s,corres,k=φs,j(xs,corres,k) 　　　(1≦k≦Ncorres) Next, the learning case deformation | transformation production | generation part 1220 converts each of acquired xp, corres, k, xs, corres, k using the conversion to the normalization coordinate system acquired by step S520. Specifically, the learning case deformation | transformation production | generation part 1220 performs the process of several 16, and position x'p, corres, k , x's , corres, in a prone position normalization coordinate system and a supine position normalization coordinate system , k is calculated.
(Equation 16)
x ' p, corres, k = φ p, j (x p, corres, k ) (1 ≦ k ≦ N corres )
(Equation 17)
x ' s, corres, k = φ s, j (x s, corres, k ) (1 ≦ k ≦ N corres )
　さらに本処理ステップでは、学習症例変形生成部1220は、算出したx’p,corres,k、x’s,corres,kに基づいて、伏臥位正規化座標系から仰臥位正規化座標系への変換関数φps,j(x)を算出する。具体的には、学習症例変形生成部1220は、数18の関係を最小の誤差で近似するように変換関数φps,j(x)を算出する。
　（数18）
　　x’s,corres,k =φps,j(x’p,corres,k)　　　(1≦k≦Ncorres)
　なお、数18の誤差は、例えばNcorres個の対応する位置に関する二乗和誤差を用いることができる。ここで、変換関数φps,j(x)は、伏臥位正規化座標系において定義される連続関数であり、具体的にはFFD(Free Form Deformation)やRBF(Radial BasisFunction)等を用いて表現するようにできる。 Further, in this processing step, the learning case deformation generation unit 1220 converts the prone position normalized coordinate system to the supine position normalized coordinate system based on the calculated x ′ p, corres, k and x ′ s, corres, k . The conversion function φ ps, j (x) is calculated. Specifically, the learning case deformation | transformation production | generation part 1220 calculates conversion function (phi) ps, j (x) so that the relationship of several 18 may be approximated with the minimum error.
(Equation 18)
x ' s, corres, k = φ ps, j (x' p, corres, k ) (1 ≦ k ≦ N corres )
As the error of Equation 18, for example, a square sum error regarding N corres corresponding positions can be used. Here, the transformation function φ ps, j (x) is a continuous function defined in the prone position normalized coordinate system, specifically expressed using FFD (Free Form Deformation), RBF (Radial Basis Function), etc. You can do that.
　この時、学習症例変形生成部1220は、伏臥位正規化座標系における体表面の位置（本実施形態ではy=0の平面）における変換関数φps,j(x)の値が、仰臥位正規化座標系における体表面の位置（同じくy=0の平面）を出力するように所定の拘束を設けることが望ましい。同様に、学習症例変形生成部1220は、伏臥位正規化座標系における大胸筋面の位置（本実施形態ではy=100の平面）における変換関数φps,j(x)の値が、仰臥位正規化座標系における大胸筋面の位置（同じくy=100の平面）を出力するように所定の拘束を設けることが望ましい。これにより、学習症例変形生成部1220は、伏臥位と仰臥位との間の位置の関係において、体表面同士および大胸筋面同士とが合致するという条件と、ユーザが入力した乳房内部などの対応する位置の情報との両方を考慮した変換関数を求めることができる。本処理ステップでは、学習症例変形生成部1220は、以上に説明した処理を、Nsamples個の学習症例の夫々について実行し、各症例について伏臥位正規化座標系から仰臥位正規化座標系への変換関数φps,j(x)を算出する。 At this time, the learning case deformation generation unit 1220 determines that the value of the transformation function φ ps, j (x) at the position of the body surface in the prone position normalized coordinate system (in this embodiment, y = 0 plane) It is desirable to provide a predetermined constraint so as to output the position of the body surface (also a plane where y = 0) in the generalized coordinate system. Similarly, the learning case deformation generation unit 1220 determines that the value of the transformation function φ ps, j (x) at the position of the pectoral muscle surface in the prone position normalized coordinate system (in this embodiment, y = 100 plane) is supine. It is desirable to provide a predetermined constraint so as to output the position of the pectoralis major muscle surface in the position normalization coordinate system (also the plane where y = 100). Thereby, the learning case deformation | transformation production | generation part 1220, in the positional relationship between a prone position and a supine position, the conditions that body surfaces and pectoral muscle surfaces agree, and the inside of the breast which the user input etc. It is possible to obtain a conversion function that considers both the corresponding position information. In this processing step, the learning case deformation | transformation production | generation part 1220 performs the process demonstrated above about each of N samples learning cases, and is converted from a prone position normalization coordinate system to a supine position normalization coordinate system about each case. The conversion function φ ps, j (x) is calculated.
　なお、上記の説明では、学習症例変形生成部1220は、伏臥位MRI画像座標系および仰臥位MRI画像座標系の双方で対応する位置の情報を取得し、それに基づいて変形関数φps,j(x)を算出する場合を例として説明したが、変形関数φps,j(x)の算出方法はこの例に限定されない。例えば、第1実施形態のステップS380の処理として説明したことと同様に、学習症例変形生成部1220は、伏臥位MRI画像と仰臥位MRI画像の画像間類似度に基づいて変形関数φps,j(x)を算出するようにしても良い。また、学習症例変形生成部1220は、伏臥位MRI画像座標系および仰臥位MRI画像座標系の双方で対応する位置の情報に加えて、伏臥位MRI画像と仰臥位MRI画像の画像間類似度に基づいて変形関数φps,j(x)を算出するようにしても良い。上記の方法によれば、より正確に学習症例の変形を取得できる効果がある。 In the above description, the learning case deformation | transformation production | generation part 1220 acquires the information of the position corresponding to both a prone position MRI image coordinate system and a supine position MRI image coordinate system, and based on it, deformation | transformation function (phi) ps, j ( The case of calculating x) has been described as an example, but the method of calculating the deformation function φ ps, j (x) is not limited to this example. For example, the learning case deformation | transformation production | generation part 1220 is the deformation | transformation function (phi) ps, j based on the similarity between the prone position MRI image and a supine position MRI image similarly to having demonstrated as a process of step S380 of 1st Embodiment. (x) may be calculated. In addition to the information on the corresponding positions in both the prone position MRI image coordinate system and the supine position MRI image coordinate system, the learning case deformation generation unit 1220 determines the similarity between images of the prone position MRI image and the supine position MRI image. Based on this, the deformation function φ ps, j (x) may be calculated. According to said method, there exists an effect which can acquire the deformation | transformation of a learning case more correctly.
（ステップS550）学習症例のスケールの算出
　ステップS550において、スケール算出部1230は、学習症例の夫々に関して、症例のスケールを算出する処理を実行する。ここで症例のスケールとは、症例毎に異なる乳房領域の大きさを表す数値である。スケールの算出方法は、例えば、伏臥位における被検体の、乳頭位置と、乳頭位置から最も近い正中線直上の体表位置との間の距離の値を計測する事で算出する。この処理は、ユーザが、伏臥位における被検体に対して直接的に測定器具を用いて計測した数値を処理装置200に入力するようにしても良い。または、処理装置200が、伏臥位MRI画像の上で上記の距離の値を計測できるようにしても良い。この時、処理装置200は、伏臥位MRI画像を自動処理することで上記計測値を算出するようにしても良い。または、処理装置200は、モニタ160などを用いてユーザに伏臥位MRI画像を提示し、ユーザによるマウス170やキーボード180の操作により計測値を取得できるようしても良い。一例としては、処理装置200は、モニタ160上に伏臥位MRI画像を表示し、画像上に描出されている被検体の乳頭位置と、乳頭位置から最も近い正中線直上の体表位置とをユーザに指定させ、その間の距離を算出することで実現できる。 (Step S550) Calculation of Learning Case Scale In step S550, the scale calculation unit 1230 executes a process of calculating a case scale for each of the learning cases. Here, the scale of the case is a numerical value representing the size of the breast region that is different for each case. The scale is calculated by, for example, measuring the distance between the nipple position of the subject in the prone position and the body surface position immediately above the midline closest to the nipple position. In this processing, the user may input a numerical value measured directly using a measuring instrument to the subject in the prone position into the processing apparatus 200. Alternatively, the processing apparatus 200 may be configured to measure the above distance value on the prone position MRI image. At this time, the processing apparatus 200 may calculate the measurement value by automatically processing the prone position MRI image. Alternatively, the processing device 200 may present the prone position MRI image to the user using the monitor 160 or the like, and obtain the measurement value by operating the mouse 170 or the keyboard 180 by the user. As an example, the processing apparatus 200 displays a prone position MRI image on the monitor 160, and displays the nipple position of the subject depicted on the image and the body surface position directly on the midline closest to the nipple position. This can be achieved by calculating the distance between them.
　上記の例では、乳頭位置と、乳頭位置から最も近い正中線上の体表位置との間の距離（ユークリッド距離）を用いて症例のスケールを算出する方法について説明したが、スケールを算出する方法はこの方法に限定されない。例えば、上記二点の間の測地線距離を用いてスケールを算出するようにしても良い。これによれば、症例毎の乳房の形状の違いも考慮したスケール値を算出できる効果がある。また、スケールの算出は上記二点間の距離または測地線距離に限らず、例えば乳房領域の体積や、乳房の外端までの距離、被検体の胸囲などに基づいて算出するようにしても良い。また、スケールを算出する方法は一つとは限らず、例えば複数の種類の方法で算出した値に基づいて算出しても良い。この場合、複数の種類で算出した値をベクトル化した多次元のスケール値としても良いし、複数の種類で算出した値の平均演算や線形結合演算などによってスカラ値としてスケール値を算出するようにしても良い。何れにしても、Nsamples個の複数症例に対して同一の方法・基準でスケールを算出することが望ましい。 In the above example, the method for calculating the scale of the case using the distance (Euclidean distance) between the nipple position and the body surface position on the midline closest to the nipple position has been described. It is not limited to this method. For example, the scale may be calculated using the geodesic distance between the two points. According to this, there is an effect that it is possible to calculate a scale value in consideration of the difference in the shape of the breast for each case. The calculation of the scale is not limited to the distance between the two points or the geodesic distance, and may be calculated based on the volume of the breast region, the distance to the outer edge of the breast, the chest circumference of the subject, and the like. . Further, the method for calculating the scale is not limited to one. For example, the scale may be calculated based on values calculated by a plurality of types of methods. In this case, a multi-dimensional scale value obtained by vectorizing values calculated from a plurality of types may be used, or a scale value may be calculated as a scalar value by an average operation or a linear combination operation of values calculated by a plurality of types. May be. In any case, it is desirable to calculate the scale with the same method and standard for a plurality of N samples .
　以上に説明した方法により算出したスケールを vj (1≦j≦Nsamples)と表記する。本実施形態では、伏臥位における乳頭位置と乳頭位置から最も近い正中線上の体表位置との間の距離（ユークリッド距離）であるスカラ値と所定の基準値との比率をスケール値とする。ここで、所定の基準値は、例えば標準的な乳房における乳頭位置と乳頭位置から最も近い正中線上の体表位置との間の距離の値である。 The scale calculated by the method described above is expressed as v j (1 ≦ j ≦ N samples ). In the present embodiment, the scale value is the ratio between the scalar value, which is the distance (Euclidean distance) between the nipple position in the prone position and the body surface position on the median line closest to the nipple position, and a predetermined reference value. Here, the predetermined reference value is, for example, a value of a distance between a nipple position in a standard breast and a body surface position on the midline closest to the nipple position.
（ステップS580）統計変形モデルの生成
　ステップS580において、統計変形モデル生成部1240は、ステップS500からステップS570の処理によって算出したNsamples個の被検体に関するφps,j(x)、vjに基づいて統計変形モデルを生成する処理を実行する。図10は、ステップS580の処理をさらに詳しく説明するフローチャートである。以下、図10のフローチャートに沿って説明する。 (Step S580) Generation of Statistical Deformation Model In step S580, the statistical deformation model generation unit 1240 is based on φ ps, j (x), v j related to N samples objects calculated by the processing from step S500 to step S570. To generate a statistical deformation model. FIG. 10 is a flowchart for explaining the process of step S580 in more detail. Hereinafter, description will be given along the flowchart of FIG.
　〈ステップS5800〉φps,j(x)のスケーリング
　ステップS5800において、統計変形モデル生成部1240は、Nsamples個の症例に関する変換関数φps,j(x)と、スケールvjとに基づいて、変換関数φps,j(x)をスケーリング処理した変換関数φ’ps,j(x)を算出する処理を実行する。具体的には数19のようにして変換関数φ’ps,j(x)を算出する。
　（数19）
　　φ’ps,j(x’)= φps,j(x)/ vj
　ただし、ここでx=( x , y , z )Tとした場合に、x’=( x×vj, y , z×vj )Tである。つまり、φ’ps,j(x)はφps,j(x)を、X座標およびZ座標に関して当該症例のスケール値vjでスケーリングした関数である。なお、φ’ps,j(x)の定義域はφps,j(x)の定義域と比較して、X座標およびZ座標に関して当該症例のスケール値vj分だけ縮小した領域である。統計変形モデル生成部1240は、以上の処理をNsamples個の全症例の変換関数φps,j(x)　 (1≦j≦Nsamples)について実行し、各症例のスケーリング処理した変換関数φ’ps,j(x) 　 (1≦j≦Nsamples)を算出する。 <Step S5800> Scaling of φ ps, j (x) In step S5800, the statistical deformation model generation unit 1240 is based on the transformation function φ ps, j (x) and the scale v j for N samples cases. transformation function phi ps, the conversion function and scaling processing the j (x) φ 'ps, executes a process of calculating a j (x). Specifically, the conversion function φ ′ ps, j (x) is calculated as shown in Equation 19.
(Equation 19)
φ ' ps, j (x') = φ ps, j (x) / v j
However, when x = (x, y, z) T here, x ′ = (x × vj , y, z × vj ) T. That is, φ ′ ps, j (x) is a function obtained by scaling φ ps, j (x) by the scale value v j of the case with respect to the X coordinate and the Z coordinate. Note that the domain of φ ′ ps, j (x) is an area that is reduced by the scale value v j of the case with respect to the X coordinate and the Z coordinate as compared with the domain of φ ps, j (x). Statistical deformation model generation unit 1240, the above process the N samples number of conversion functions phi ps of all cases, j (x) (1 ≦ j ≦ N samples) was performed for the conversion function phi 'scaled processing each case ps, j (x) (1 ≦ j ≦ N samples ) is calculated.
　〈ステップS5820〉φ’ps,j(x)のベクトル化
　ステップS5820において、統計変形モデル生成部1240は、ステップS5800で算出したスケーリング処理後の変換関数φ’ps,j(x)を離散化する処理を実行する。この離散化の処理は以下の手順により実行される。 <Step S5820> Vectorization of φ ′ ps, j (x) In step S5820, the statistical deformation model generation unit 1240 discretizes the transformation function φ ′ ps, j (x) after the scaling processing calculated in step S5800. Execute the process. This discretization process is executed according to the following procedure.
　まず、統計変形モデル生成部1240は、Nsamples個の症例に関する変換関数φ’ps,j(x)の共通の定義域を求める。Nsamples個の変換関数φ’ps,j(x)の夫々は、各症例の体表面や大胸筋面の形状、スケール値などによって異なる定義域を持つが、本実施形態では、Nsamples個の全症例においてφ’ps,j(x)が定義されている領域を共通の定義域とする。従って、この定義域内ではNsamples個の全ての変換関数φ’ps,j(x)が値を持つ。 First, the statistical deformation model generation unit 1240 obtains a common domain of the conversion function φ ′ ps, j (x) for N samples cases. Each of the N samples conversion functions φ ′ ps, j (x) has a different domain depending on the shape of the body surface and the pectoral muscle surface of each case, the scale value, etc. In this embodiment, N samples The region where φ ′ ps, j (x) is defined in all cases is defined as a common domain. Therefore, in this domain, all N samples conversion functions φ ′ ps, j (x) have values.
　次に、統計変形モデル生成部1240は、変換関数φ’ps,j(x)の値を上記の共通の定義域に渡ってサンプリングし、そのサンプリング結果を縦に並べた離散化ベクトルを生成する。ここで、離散化ベクトルの生成は、上記の定義域内を所定の間隔でラスタスキャン状にサンプリングした値を順に並べたベクトルとする。なお、変換関数φ’ps,j(x)はx、y、zの三次元の値を返す関数であるため、統計変形モデル生成部1240は、離散化ベクトルを各座標軸毎に生成する。ここでは、x、y、zの三次元の各座標軸毎の離散化ベクトルをpx,j、py,j、pz,j、とする。離散化ベクトルは上記のラスタスキャンによるサンプリングの回数分の次元をもつ実ベクトルである。 Next, the statistical deformation model generation unit 1240 samples the value of the conversion function φ ′ ps, j (x) over the common domain, and generates a discretized vector in which the sampling results are arranged vertically. . Here, the generation of the discretized vector is a vector in which values sampled in a raster scan form at predetermined intervals in the above defined area are arranged in order. Since the transformation function φ ′ ps, j (x) is a function that returns a three-dimensional value of x, y, and z, the statistical deformation model generation unit 1240 generates a discretized vector for each coordinate axis. Here, it is assumed that the discretized vectors for the three-dimensional coordinate axes of x, y, and z are p x, j , p y, j , and p z, j . The discretized vector is a real vector having dimensions corresponding to the number of times of sampling by the raster scan.
　統計変形モデル生成部1240は、以上に説明した処理をNsamples個の全ての変換関数φ’ps,j(x)について適用する。これによりNsamples個の離散化ベクトルpx,j、py,j、pz,jを取得する。なお、上記のラスタスキャン状のサンプリングにより得た離散化ベクトルは、任意の補間関数などによって、実空間の変換関数に逆変換できる。本実施形態では、離散化ベクトルpx,j、py,j、pz,jと実空間の位置xとを引数とする補間関数finterp(px,j , py,j , pz,j, x)により、φ’ps,j(x)が近似されるものとする。 The statistical deformation model generation unit 1240 applies the processing described above to all N samples conversion functions φ ′ ps, j (x). As a result, N samples discretized vectors p x, j , p y, j and p z, j are obtained. Note that the discretized vector obtained by the raster scan sampling can be inversely converted into a real space conversion function by an arbitrary interpolation function or the like. In the present embodiment, an interpolating function f interp (p x, j , p y, j , p z) using the discretized vectors p x, j , p y, j , p z, j and the real space position x as arguments. , j , x) approximate φ ′ ps, j (x).
　〈ステップS5840〉主成分分析による統計変形モデル生成
　ステップS5840において、統計変形モデル生成部1240は、ステップS5820で算出した離散化ベクトルpx,j、py,j、pz,j (1≦j≦Nsamples)を主成分分析することにより、統計変形モデルを生成する処理を実行する。主成分分析は周知の方法により実行できるため、ここでは詳細な説明は省略する。主成分分析の結果、統計変形モデル生成部1240は、各離散化ベクトルに関する平均ベクトルeave,x、eave,y、eave,zと、固有ベクトル ex,k、ey,k、ez,k (1≦k≦Nmode)を得る。ここで、Nmodeは主成分分析で算出する固有ベクトルの総数であり、例えば主成分分析により算出される累積寄与率に所定の閾値を設定することにより設定できる。本実施形態では、上記の処理により算出した平均ベクトルおよび固有ベクトルを統計変形モデルと呼ぶ。 <Step S5840> Statistical Deformation Model Generation by Principal Component Analysis In step S5840, the statistical deformation model generation unit 1240, the discretization vector p x, j , p y, j , p z, j (1 ≦ j calculated in step S5820) A process of generating a statistical deformation model is executed by performing principal component analysis of ≦ N samples ). Since the principal component analysis can be executed by a known method, a detailed description is omitted here. As a result of the principal component analysis, the statistical deformation model generation unit 1240 calculates the mean vector e ave, x , e ave, y , e ave, z and the eigenvectors e x, k , e y, k , e z for each discretization vector. , k (1 ≦ k ≦ N mode ). Here, N mode is the total number of eigenvectors calculated by principal component analysis, and can be set, for example, by setting a predetermined threshold for the cumulative contribution rate calculated by principal component analysis. In the present embodiment, the average vector and eigenvector calculated by the above processing are called a statistical deformation model.
　なお、この平均ベクトルおよび固有ベクトルは、これらを適切な加重で線形和演算を行う数20の計算を行うことで、離散化ベクトルを近似することができる。
　（数20）
Figure JPOXMLDOC01-appb-I000002
　ここで、Exはex,kを横に並べた行列である。また、bはbkを縦に並べたベクトルであり、本実施形態ではこれを係数ベクトルと呼ぶ。一般的に、症例数Nsamplesが十分に大きい場合には、それらの変形を表す離散化ベクトルは、Nsamplesより少数の固有ベクトルおよび平均ベクトルの線形和によって高い精度で近似できることが既に知られている。 Note that the average vector and eigenvector can be approximated to a discretized vector by performing the calculation of Equation 20 for performing a linear sum operation with an appropriate weight.
(Equation 20)
Figure JPOXMLDOC01-appb-I000002
Here, E x is a matrix in which e x, k are arranged horizontally. Further, b is a vector in which b k is vertically arranged, and in the present embodiment, this is called a coefficient vector. In general, when the number of samples N samples is sufficiently large, it is already known that the discretized vectors representing these deformations can be approximated with high accuracy by a linear sum of fewer eigenvectors and average vectors than N samples . .
　以上に説明したステップS500からステップS580の処理により、本実施形態の学習フェーズの処理が実行される。この処理の結果、統計変形モデルが生成される。 The learning phase processing of the present embodiment is executed by the processing from step S500 to step S580 described above. As a result of this processing, a statistical deformation model is generated.
（変形推定フェーズの処理）
　図11は、本実施形態における処理装置200が行う、変形推定フェーズの処理の手順を説明するフローチャートである。以下、このフローチャートに示す処理手順に従って、本実施形態の変形推定フェーズの処理について詳しく説明する。 (Deformation estimation phase process)
FIG. 11 is a flowchart for explaining the processing procedure of the deformation estimation phase performed by the processing device 200 according to this embodiment. Hereinafter, the process of the deformation estimation phase of the present embodiment will be described in detail according to the processing procedure shown in this flowchart.
（ステップS600）統計変形モデル読み込み
　ステップS600において、処理装置200は、学習フェーズの処理によって生成した統計変形モデルを、処理装置200の主メモリ212に読みだす処理を実行する。 (Step S600) Statistical Deformation Model Reading In step S600, the processing device 200 executes a process of reading the statistical deformation model generated by the learning phase processing into the main memory 212 of the processing device 200.
（ステップS602）対象症例の画像取得
　ステップS602において、画像取得部1000は、対象症例の伏臥位および仰臥位のMRI画像を取得する処理を実行する。この処理は第1実施形態のステップS300およびステップS340と同様の処理で実行できる。詳細な説明は省略する。 (Step S602) Image acquisition of target case In step S602, the image acquisition unit 1000 executes a process of acquiring MRI images of the prone position and the supine position of the target case. This processing can be executed by the same processing as Step S300 and Step S340 of the first embodiment. Detailed description is omitted.
（ステップS604）対象症例の解剖学特徴を抽出
　ステップS604において、解剖学特徴抽出部1020は、ステップS602で取得した対象症例の伏臥位および仰臥位のMRI画像を処理して、対象症例の解剖学特徴を抽出する処理を実行する。この処理は第1実施形態のステップS310およびステップS350の処理と同様の処理で実行できる。詳細な説明は省略する。 (Step S604) Extracting Anatomical Features of Target Case In step S604, the anatomical feature extracting unit 1020 processes the prone and supine MRI images of the target case acquired in step S602, and anatomy of the target case A process for extracting features is executed. This process can be executed by the same process as the process of step S310 and step S350 of the first embodiment. Detailed description is omitted.
（ステップS610）対象症例の正規化座標系への変換を算出
　ステップS610において、正規化部1040は、ステップS604で抽出した対象症例の解剖学特徴に基づき、対象症例の伏臥位MRI画像座標系から伏臥位正規化座標系への変換、および仰臥位MRI画像座標系から仰臥位正規化座標系への変換を算出する処理を実行する。この処理は、学習フェーズの処理として説明したステップS520の処理と同様の処理を対象症例に適用して実行される。詳細な説明は省略する。この処理により算出した伏臥位MRI画像座標系から伏臥位正規化座標系への変換をφp,target(x)とする。また、仰臥位MRI画像座標系から仰臥位正規化座標系への変換をφs,target(x)とする。 (Step S610) Calculate transformation of the target case into a normalized coordinate system In step S610, the normalization unit 1040, based on the anatomical features of the target case extracted in step S604, from the prone position MRI image coordinate system of the target case A process of calculating conversion to the prone position normalized coordinate system and conversion from the supine position MRI image coordinate system to the supine position normalized coordinate system is executed. This process is executed by applying the same process as the process of step S520 described as the process of the learning phase to the target case. Detailed description is omitted. The transformation from the prone position MRI image coordinate system calculated by this processing to the prone position normalized coordinate system is defined as φ p, target (x). Also, let φ s, target (x) be the transformation from the supine position MRI image coordinate system to the supine position normalized coordinate system.
（ステップS630）対象症例のスケール算出
　ステップS600において、スケール算出部1230は、対象症例のスケールを算出する処理を実行する。この処理は学習フェーズの処理として説明したステップS550の処理と同様の処理を対象症例に適用して実行する。詳細な説明は省略する。この処理により算出した対象症例のスケールをvtargetとする。 (Step S630) Scale calculation of target case In step S600, the scale calculation unit 1230 executes a process of calculating the scale of the target case. This process is executed by applying the same process as the process of step S550 described as the process of the learning phase to the target case. Detailed description is omitted. The scale of the target case calculated by this processing is set as v target .
（ステップS640）統計変形モデルの係数の最適化
　ステップS600において、対象症例変形生成部1420は、対象症例の伏臥位MRI画像座標系と仰臥位MRI画像座標系との間の変換を算出する処理を実行する。すなわち、対象症例変形生成部1420は、伏臥位MRI画像と仰臥位MRI画像の間の変形位置合わせ処理を実行する。この処理は学習フェーズの処理で取得した統計変形モデルと、対象症例の伏臥位および仰臥位のMRI画像に基づいて実行される。具体的には、数21で示す計算によって算出される評価関数G(b)を最大化するような係数ベクトルbを算出する。
　（数21）
　　G(b)=Gsimil{ D(Ip,b) , Is }
　ここで、Ipは対象症例の伏臥位MRI画像、Isは対象症例の仰臥位MRI画像である。また、関数Gsimil(I1,I2)は、引数として与えられた2つの画像間の類似度を評価する関数であり、例えばSSDやSAD、相互相関、相互情報量などの周知の画像間類似度評価方法により実現できる。 (Step S640) Optimization of coefficients of statistical deformation model In step S600, the target case deformation generation unit 1420 performs a process of calculating conversion between the prone position MRI image coordinate system and the supine position MRI image coordinate system of the target case. Execute. That is, the target case deformation generation unit 1420 executes deformation alignment processing between the prone position MRI image and the supine position MRI image. This process is executed based on the statistical deformation model acquired in the process of the learning phase and the MRI images of the prone position and the supine position of the target case. Specifically, a coefficient vector b that maximizes the evaluation function G (b) calculated by the calculation shown in Equation 21 is calculated.
(Equation 21)
G (b) = G simil {D (I p , b), I s }
Here, the I p prone position MRI image, I s of the object cases are supine position MRI image of the object cases. The function G simil (I 1 , I 2 ) is a function for evaluating the degree of similarity between two images given as arguments. For example, a known image between SSD, SAD, cross-correlation, mutual information, etc. This can be realized by the similarity evaluation method.
　また、関数D(I,b)は、統計変形モデルの係数ベクトルbに基づいて画像Iを変形させる関数である。関数D(I,b)は、より具体的には以下の処理を行う。すなわち、係数ベクトルbに基づき、数22で示す計算により離散化ベクトルpx、py、pzを算出する。
　（数22）
Figure JPOXMLDOC01-appb-I000003
The function D (I, b) is a function that deforms the image I based on the coefficient vector b of the statistical deformation model. More specifically, the function D (I, b) performs the following processing. That is, based on the coefficient vector b, the discretized vectors p x , p y , and p z are calculated by the calculation shown in Equation 22.
(Equation 22)
Figure JPOXMLDOC01-appb-I000003
　そして、算出された離散化ベクトルpx、py、pzに基づいて数23によって変形関数φtarget(x)を求める。
　（数23）
　　φtarget(x)= φs -1[ finterp{px , py , pz , φp(x) } ] Then, based on the calculated discretized vectors p x , p y , and p z , a deformation function φ target (x) is obtained by Expression 23.
(Equation 23)
φ target (x) = φ s -1 [f interp {p x , p y , p z , φ p (x)}]
　さらに、ステップS630で算出した対象症例のスケールvtargetを用いて変換関数φtarget(x)をスケーリングした変換関数φ’target(x)を数24により算出する
　（数24）
　　φ’target(x’)= φtarget(x)×vtarget
　ただし、ここで、x=( x , y , z )Tとした場合に、x’=( x×vtarget, y , z×vtarget )Tである。つまり、φ’target(x)はφtarget(x)を、X座標およびZ座標に関して対象症例のスケール値vjでスケーリングし、さらに関数の値についてスケール値vtargetでスケーリングした関数である。 Further, a conversion function φ ′ target (x) obtained by scaling the conversion function φ target (x) using the scale v target of the target case calculated in step S630 is calculated by Expression 24 (Expression 24)
φ ' target (x') = φ target (x) x v target
Here, x ′ = (x × v target , y, z × v target ) T where x = (x, y, z) T. That is, φ ′ target (x) is a function obtained by scaling φ target (x) by the scale value v j of the target case with respect to the X coordinate and the Z coordinate and further scaling the function value by the scale value v target .
　そして、関数D(I,b)は、この変形関数φ’target(x)に基づいて画像Iを変形させる。つまり、数21におけるD(Ip,b)は、以下の数25の計算を行うことになる。
　（数25）
　　D(Ip,b)= Ip{φ’target(x) } The function D (I, b) deforms the image I based on the deformation function φ ′ target (x). That is, D (I p , b) in Equation 21 is calculated as shown in Equation 25 below.
(Equation 25)
D (I p , b) = I p {φ ' target (x)}
　以上に説明したように、数21に示した評価関数G(b)は、係数ベクトルbに基づいて、伏臥位MRI画像を変形させた画像と、仰臥位MRI画像との類似度を評価する。本処理ステップでは、対象症例変形生成部1420は、最急降下法や準ニュートン法、共役勾配法などの非線形最適化の方法を用いて、数21に示す評価関数の値を最大化する係数ベクトルbを算出する処理を実行する。本処理により得た係数ベクトルをboptと表記する。 As described above, the evaluation function G (b) shown in Equation 21 evaluates the similarity between the image obtained by deforming the prone position MRI image and the supine position MRI image based on the coefficient vector b. In this processing step, the target case deformation generation unit 1420 uses a nonlinear optimization method such as the steepest descent method, the quasi-Newton method, or the conjugate gradient method to maximize the coefficient vector b The process of calculating is executed. The coefficient vector obtained by this processing is expressed as b opt .
　上記の説明では、伏臥位MRI画像を変形した変形MRI画像と、仰臥位MRI画像との間の画像間類似度に基づいて係数ベクトルを算出する場合を例として説明したが、係数ベクトルの算出方法はこの例に限定されない。例えば、対象症例の伏臥位MRI画像と仰臥位MRI画像の間で対応する位置が同定できる場合には、これらの位置情報を処理装置200が取得し、対象症例変形生成部1420は、その対応の関係を近似するように係数ベクトルを算出するようにしても良い。例えば、処理装置200が、この対応する位置をユーザの入力によって取得する場合には、ユーザが両画像間で合致して欲しいと考える位置が合致させるように変形を推定するようにできる効果がある。 In the above description, the case where the coefficient vector is calculated based on the inter-image similarity between the deformed MRI image obtained by deforming the prone position MRI image and the supine position MRI image is described as an example. Is not limited to this example. For example, when the corresponding position can be identified between the prone position MRI image and the supine position MRI image of the target case, the processing device 200 acquires these position information, and the target case deformation generation unit 1420 A coefficient vector may be calculated so as to approximate the relationship. For example, when the processing device 200 acquires the corresponding position by the user's input, there is an effect that the deformation can be estimated so that the position that the user wants to match between both images is matched. .
　また、数21に示した画像間類似度の評価関数に、さらに対象症例の伏臥位MRI画像と仰臥位MRI画像の間で対応する位置の誤差の評価関数を加えた関数を新たな評価関数としても良い。これによれば、画像間類似度とユーザが入力した対応する位置との両方の情報に基づいた、より精度の高い変形推定が行える効果がある。なお、上記の対応する位置の情報は、必ずしもユーザによる入力によって取得する場合に限らず、伏臥位MRI画像と仰臥位MRI画像の双方の画像からnSIFTなどによる特徴点検出・特徴点対応付けの方法などを用いて、自動的に対応する位置の情報を取得するようにしても良い。これによれば、より効率的に変形推定が実行できる効果がある。 In addition, a new evaluation function is added to the evaluation function for the similarity between images shown in Equation 21 and an evaluation function for the error of the corresponding position between the prone position MRI image and the supine position MRI image of the target case. Also good. According to this, there is an effect that more accurate deformation estimation can be performed based on both information of the similarity between images and the corresponding position input by the user. Note that the above-described corresponding position information is not necessarily acquired by user input, and a feature point detection / feature point association method using nSIFT or the like from both prone MRI images and supine MRI images For example, the corresponding position information may be automatically acquired. According to this, there is an effect that the deformation estimation can be executed more efficiently.
　また、本処理ステップにおいて算出する係数ベクトルは、必ずしも評価関数の最大化等によって得る必要はなく、例えば、係数ベクトルは0ベクトルであっても良い。この場合、本処理ステップで算出される変形は、本実施形態における学習フェーズの処理であるS580で算出した平均的な変形となるが、前述の第1実施形態においてφps(x)を恒等関数とする場合との比較によれば、より高精度な変形推定が実行できる。 In addition, the coefficient vector calculated in this processing step does not necessarily have to be obtained by maximizing the evaluation function. For example, the coefficient vector may be a zero vector. In this case, the deformation calculated in this processing step is the average deformation calculated in S580, which is the processing of the learning phase in the present embodiment, but φ ps (x) is identical in the first embodiment described above. According to the comparison with the case of using a function, more accurate deformation estimation can be performed.
（ステップS650）MRI画像を変形
　ステップS600において、画像変形部1060は、ステップS640で算出した変換に基づいて伏臥位MRI画像を変形した変形MRI画像を生成する処理を実行する。具体的には、画像変形部1060は、数24に示した、画像の変形関数D(I,b)を用い、対象症例の伏臥位MRI画像Ipを係数ベクトルboptに基づいて変形した変形MRI画像 Idを算出する。 (Step S650) Deformation of MRI Image In step S600, the image deformation unit 1060 executes a process of generating a deformed MRI image obtained by deforming the prone position MRI image based on the conversion calculated in step S640. Specifically, the image deformation unit 1060 uses the image deformation function D (I, b) shown in Equation 24 and deforms the prone position MRI image I p of the target case based on the coefficient vector b opt. MRI image Id is calculated.
（ステップS660）変形画像を表示
　ステップS600において、観察画像生成部1080は、ステップS650で生成した変形MRI画像Idおよび対象症例の仰臥位MRI画像Isとを並べた観察画像を生成する。本処理ステップの具体的な処理は第1実施形態におけるステップS390の処理と同様であるため、詳細な説明は省略する。 (Step S660) displaying a deformed image step S600, the observation image generating unit 1080 generates an observation image obtained by arranging the supine position MRI image I s modified MRI image I d and the object cases generated in step S650. Since the specific process of this process step is the same as the process of step S390 in the first embodiment, detailed description thereof is omitted.
　以上に説明したステップS600からステップS660の処理により、本実施形態の変形推定フェーズの処理が実行される。この処理の結果、対象症例に関する伏臥位MRI画像と仰臥位MRI画像の間の変形推定処理が実行される。そして、仰臥位MRIと対応するように伏臥位MRI画像を変形した変形MRI画像が生成され、仰臥位MRI画像と共に表示されることで、比較容易な形態で入力画像を提示される。 The deformation estimation phase processing of this embodiment is executed by the processing from step S600 to step S660 described above. As a result of this process, a deformation estimation process between the prone position MRI image and the supine position MRI image related to the target case is executed. Then, a deformed MRI image obtained by deforming the prone position MRI image so as to correspond to the supine position MRI is generated and displayed together with the supine position MRI image, so that the input image is presented in a form that is easy to compare.
（第3実施形態の変形例1）標準形状（お椀型，円錐などを含む）に正規化する，伏臥位・仰臥位で異なる正規化をする場合も含む
　本実施形態におけるステップS540およびステップS610の処理は、基準点である乳頭位置からの体表面および大胸筋面を構成する点群の距離と方位に基づいて正規化座標系への変換φpおよびφsを算出する場合を例として説明した。しかし、変換φpおよびφsの算出方法はこの例に限定されない。例えば、ステップS540およびステップS610における正規化座標系への変換φpおよびφsは，伏臥位および仰臥位に関する標準形状への変換関数とすることができる。ここで標準形状とは、例えば、特定の1症例の乳房形状とすることができる。 (Modification 1 of the third embodiment) Normalized to a standard shape (including bowl shape, cone, etc.), including different normalization in prone position and supine position In steps S540 and S610 in this embodiment The process is described by taking as an example the case where the transformations φ p and φ s to the normalized coordinate system are calculated based on the distance and azimuth of the point group constituting the body surface and the pectoral muscle surface from the nipple position as the reference point did. However, the calculation method of the transformations φ p and φ s is not limited to this example. For example, the transformations φ p and φ s into the normalized coordinate system in step S540 and step S610 can be transformation functions to standard shapes related to the prone position and the supine position. Here, the standard shape can be, for example, a breast shape of a specific case.
　具体的には、本実施形態において学習するNsamples個の症例の中の1症例をユーザが任意に選択し、選択した症例の体表形状、大胸筋形状を標準形状とすることができる。また、標準形状は学習するNsamples個の症例の平均形状とするようにしても良い。また、標準形状は必ずしも学習症例の中から選択する場合に限らず、学習症例とは異なる症例の体表形状、大胸筋形状を用いるようにしても良い。また、実在する特定の症例の形状を用いる場合に限らず、例えば、人工的に構築した乳房の模擬形状であっても良い。例えば、球や楕円体を切断した形状や円錐，お椀のような形状等を標準形状としても良い。また、伏臥位と仰臥位とで同一の形状を標準形状とするようにしても良いし、夫々異なる形状を標準形状とするようにしても良い。また、予め複数の標準形状に関する情報を処理装置200が持ち、学習症例の解剖学特徴に基づいて適切な標準形状を選択するようにしても良い。何れの場合も、本実施形態における統計変形モデルは、伏臥位の標準形状を基準とした座標系と仰臥位の標準形状を基準とした座標系との間の変換関数を近似して表現するモデルである。 Specifically, the user can arbitrarily select one of N samples cases to be learned in the present embodiment, and the body surface shape and the pectoralis major shape of the selected case can be set as the standard shape. The standard shape may be the average shape of N samples cases to be learned. Further, the standard shape is not necessarily selected from the learning cases, and the body surface shape and the pectoralis major shape of a case different from the learning case may be used. Moreover, it is not limited to the case of using a specific shape of a specific case, and may be, for example, an artificially constructed simulated breast shape. For example, a shape obtained by cutting a sphere or an ellipsoid, a shape such as a cone, or a bowl may be used as the standard shape. Further, the same shape may be used as the standard shape in the prone position and the supine position, and different shapes may be used as the standard shapes. Alternatively, the processing apparatus 200 may have information regarding a plurality of standard shapes in advance, and an appropriate standard shape may be selected based on the anatomical characteristics of the learning case. In any case, the statistical deformation model in the present embodiment is a model that approximates and expresses a conversion function between a coordinate system based on the standard shape in the prone position and a coordinate system based on the standard shape in the supine position. It is.
（第3実施形態の変形例2）学習症例の正規化座標系の間の変形はFFDでも良い。その場合、統計モデルはSDMを用いても良い。
　本実施形態では、ステップS580の処理として、ステップS540で算出した変形φps,j(x)を，正規化座標系の空間における変形の場（離散化ベクトル）として展開する場合を例として説明したが、別の形態によってこの展開が行われても良い。例えば，ステップS540では変形φps,j(x)をFFDにより表現し、FFDのパラメータ（制御点が持つ制御量）をベクトル化して離散化ベクトルpx,j、py,j、pz,jを算出するようにしても良い。この場合、統計変形モデルは、非特許文献2に開示のある手法（Statistical Deformation Model法）により構築できる。この方法によれば，ステップS580において、変形φps,j(x)を変形場の離散化ベクトルとして展開する処理を実行する必要がなく、計算処理量とメモリ容量の消費を低減できる効果がある。 (Modification 2 of the third embodiment) The deformation between the normalized coordinate systems of the learning cases may be FFD. In that case, SDM may be used as the statistical model.
In the present embodiment, the case where the deformation φ ps, j (x) calculated in step S540 is developed as a deformation field (discretization vector) in the space of the normalized coordinate system has been described as an example of the processing in step S580. However, this development may be performed in another form. For example, in step S540, the deformation φ ps, j (x) is expressed by FFD, and the FFD parameters (control amounts possessed by the control points) are vectorized to obtain discretized vectors p x, j , p y, j , p z, j may be calculated. In this case, the statistical deformation model can be constructed by a method (Statistical Deformation Model method) disclosed in Non-Patent Document 2. According to this method, there is no need to execute the process of expanding the deformation φ ps, j (x) as a discretized vector of the deformation field in step S580, and there is an effect that the amount of calculation processing and the memory capacity can be reduced. .
［第4実施形態］伏臥位乳房の統計アトラスを構築する例
　本実施形態による処理装置800は、多症例の乳房を伏臥位の体位で撮像したMRI画像を学習データとして、各症例間で異なる乳房の形状を正規化した上で、その形状を効率的に表現する統計形状モデルを構築する。なお、本実施形態では伏臥位の体位で撮像した乳房を学習データとして用いる場合を例として説明するが、他の体位における乳房であっても良い。例えば仰臥位や立位等であっても良い。 [Fourth Embodiment] Example of constructing a statistical atlas of prone breasts The processing apparatus 800 according to the present embodiment uses an MRI image obtained by imaging multiple cases of breasts in the prone position as learning data, and breasts that differ between cases After normalizing the shape, a statistical shape model that efficiently expresses the shape is constructed. In the present embodiment, a case where a breast imaged in the prone position is used as learning data will be described as an example, but a breast in another position may be used. For example, it may be a supine position or a standing position.
（機能構成）
　図12は、本実施形態による処理システムの構成を示す図である。本実施形態において、第1実施形態と同様の機能を持つ構成要素には図1と同一の番号を付しており、説明は省略する。同図に示すように、本実施形態における処理装置800は、画像取得部1000、解剖学特徴抽出部1020、正規化部1040、スケール算出部1620、統計形状モデル生成部1640を持つ。スケール算出部1620は学習症例の夫々に関するスケールの算出を行う。統計形状モデル生成部1640は学習症例の夫々に関する変形・スケールに基づいて統計形状モデルを生成する。 (Functional configuration)
FIG. 12 is a diagram showing a configuration of a processing system according to the present embodiment. In the present embodiment, components having the same functions as those in the first embodiment are denoted by the same reference numerals as those in FIG. As shown in the figure, the processing device 800 in this embodiment includes an image acquisition unit 1000, an anatomical feature extraction unit 1020, a normalization unit 1040, a scale calculation unit 1620, and a statistical shape model generation unit 1640. The scale calculation unit 1620 calculates a scale for each of the learning cases. The statistical shape model generation unit 1640 generates a statistical shape model based on the deformation / scale regarding each of the learning cases.
（処理フロー）
　次に、処理装置800が行う全体の動作について説明する。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また以下に説明する処理装置200が行う各処理の結果は、主メモリ212に格納することにより記録される。図13は、本実施形態における処理装置800の処理手順を説明するフローチャートである。以下、この図に沿って説明する。 (Processing flow)
Next, the overall operation performed by the processing apparatus 800 will be described. In the present embodiment, it is realized by the CPU 211 executing a program that realizes the function of each unit stored in the main memory 212. In addition, the result of each process performed by the processing device 200 described below is recorded by being stored in the main memory 212. FIG. 13 is a flowchart for explaining the processing procedure of the processing apparatus 800 in the present embodiment. Hereinafter, it demonstrates along this figure.
（ステップS700）学習症例の画像取得
　ステップS700において、画像取得部1000は、学習症例の伏臥位MRI画像を取得する処理を実行する。本実施形態では、画像取得部1000は、Nsamples個の学習症例の伏臥位MRI画像を取得する。この処理は、第1実施形態におけるステップS300と同様の処理をNsamples個の学習症例の夫々について適用して実行する。詳細な説明は省略する。 (Step S700) Acquisition of Learning Case Image In step S700, the image acquisition unit 1000 executes a process of acquiring a prone position MRI image of a learning case. In the present embodiment, the image acquisition unit 1000 acquires prone MRI images of N samples learning cases. This process is executed by applying the same process as step S300 in the first embodiment to each of the N samples learning cases. Detailed description is omitted.
（ステップS705）学習症例の解剖学特徴を抽出
　ステップS705において解剖学特徴抽出部1020は、ステップS700で取得した学習症例の伏臥位MRI画像の夫々を処理して、学習症例の解剖学特徴を抽出する処理を実行する。この処理は、第1実施形態におけるステップS310と同様の処理をNsamples個の学習症例の夫々について適用して実行する。詳細な説明は省略する。 (Step S705) Extract anatomical features of learning case In step S705, the anatomical feature extraction unit 1020 processes each prone position MRI image of the learning case acquired in step S700 to extract the anatomical features of the learning case. Execute the process. This process is executed by applying the same process as step S310 in the first embodiment to each of the N samples learning cases. Detailed description is omitted.
（ステップS710）学習症例の正規化座標系への変換を算出
　ステップS710において、正規化部1040は、複数の学習症例の夫々に関して、被検体の形状を基準形状に変換する正規化変換を導出する。具体的には、正規化部1040は、MRI画像座標系から正規化座標系への座標変換関数を算出する処理を実行する。この処理は、第1実施形態におけるステップS320と同様の処理を、Nsamples個の学習症例の夫々について適用して実行する。詳細な説明は省略する。 (Step S710) Calculation of Conversion of Learning Case to Normalized Coordinate System In step S710, the normalization unit 1040 derives a normalization conversion for converting the shape of the subject to the reference shape for each of the plurality of learning cases. . Specifically, the normalization unit 1040 executes processing for calculating a coordinate conversion function from the MRI image coordinate system to the normalized coordinate system. This process is executed by applying the same process as step S320 in the first embodiment to each of the N samples learning cases. Detailed description is omitted.
　本実施形態では算出した正規化座標系への変換を関数φp,j(x)と表記する。ここで関数φp,j(x)は各症例毎に算出され、各症例における伏臥位MRI画像座標系から伏臥位正規化座標系への変換関数である。伏臥位正規化座標系から伏臥位MRI画像座標系への変換についても第1実施形態と同様に算出する。これを、φ-1 p,j(x)と表記する。ここで、jは学習症例の症例番号のインデックスであり、本実施形態では1≦j≦Nsamplesである。なお、本実施形態では学習症例の夫々に関して、伏臥位MRI画像における乳頭位置が、伏臥位MRI画像座標系の原点となるように、画像の並進、もしくは座標系の並進が予め施されているものとする。 In the present embodiment, the calculated conversion to the normalized coordinate system is expressed as a function φ p, j (x). Here, the function φ p, j (x) is calculated for each case, and is a conversion function from the prone position MRI image coordinate system to the prone position normalized coordinate system in each case. The conversion from the prone position normalized coordinate system to the prone position MRI image coordinate system is also calculated in the same manner as in the first embodiment. This is expressed as φ −1 p, j (x). Here, j is an index of a case number of a learning case, and in this embodiment, 1 ≦ j ≦ N samples . In this embodiment, for each of the learning cases, translation of the image or translation of the coordinate system is performed in advance so that the nipple position in the prone position MRI image is the origin of the prone position MRI image coordinate system. And
（ステップS720）学習症例のスケールの算出
　ステップS720において、スケール算出部1620は、学習症例の夫々に関して、症例のスケールを算出する処理を実行する。この処理は、第3実施形態におけるステップS550の処理と同様にして実行する。詳細な説明は省略する。算出したスケールをvj (1≦j≦Nsamples)と表記する。 (Step S720) Calculation of Scale of Learning Case In step S720, the scale calculation unit 1620 executes a process of calculating the scale of the case for each of the learning cases. This process is executed in the same manner as the process of step S550 in the third embodiment. Detailed description is omitted. The calculated scale is expressed as v j (1 ≦ j ≦ N samples ).
（ステップS740）変換関数のスケーリング
　ステップS740において、統計形状モデル生成部1640は、Nsamples個の症例に関する変換関数φ-1 p,j(x)と、スケールvjとに基づいて、変換関数φ-1 p,j(x)をスケーリング処理した変換関数φ’-1 p,j(x)を算出する処理を実行する。具体的には数26のようにして変換関数φ’-1 p,j(x)を算出する。
　（数26）
　　φ’-1 p,j (x’)= φ-1 p,j (x)/ vj
　ただし、ここでx=( x , y , z )Tとした場合に、x’=( x×vj, y , z×vj )Tである。つまり、φ’-1 p,j(x)はφ-1 p,j(x)を、定義域についてX座標およびZ座標の方向に学習症例のスケール値vjでスケーリングし、さらに関数の値についてスケール値vjでスケーリングした関数である。統計形状モデル生成部1640は、以上の処理をNsamples個の全症例の変換関数φ-1 p,j(x)　 (1≦j≦Nsamples)について実行し、各症例のスケーリング処理した変換関数φ’-1 p,j(x) 　 (1≦j≦Nsamples)を算出する。 (Step S740) Scaling of Conversion Function In step S740, the statistical shape model generation unit 1640 converts the conversion function φ based on the conversion function φ −1 p, j (x) related to N samples cases and the scale v j. -1 p, transformation function scaling processing j (x) φ '-1 p , executes a process of calculating a j (x). Specifically, the conversion function φ ′ −1 p, j (x) is calculated as shown in Equation 26.
(Equation 26)
φ ' -1 p, j (x') = φ -1 p, j (x) / v j
However, when x = (x, y, z) T here, x ′ = (x × vj , y, z × vj ) T. In other words, φ ' -1 p, j (x) is a scaled value of φ -1 p, j (x) in the direction of the X and Z coordinates in the domain with the scale value v j of the learning case, and then the value of the function Is a function scaled by a scale value vj. Transform function statistical shape model generating unit 1640 executes the above processing a transformation function phi -1 p of N samples pieces of all cases, the j (x) (1 ≦ j ≦ N samples), scaled processing each case φ ′ −1 p, j (x) (1 ≦ j ≦ N samples ) is calculated.
（ステップS760）統計形状モデル生成
　ステップS760において、統計形状モデル生成部1640は、ステップS740で算出した変換関数φ’-1 p,j(x)(1≦j≦Nsamples)を統計処理することで、統計形状モデルを生成する処理を実行する。具体的な処理手順について説明する。 (Step S760) Statistical Shape Model Generation In step S760, the statistical shape model generation unit 1640 statistically processes the conversion function φ ′ −1 p, j (x) (1 ≦ j ≦ N samples ) calculated in step S740. Then, a process of generating a statistical shape model is executed. A specific processing procedure will be described.
　まず、統計形状モデル生成部1640は、変換関数φ’-1 p,j(x)を離散化する処理を実行する。この処理は第3実施形態のステップS5820においてφ’ps,j(x)を対象とした処理と同様の処理を、本実施形態における変換関数φ’-1 p,j(x)を対象として実行する。詳細な説明は省略する。これによって得た離散化ベクトルを、qx,j、qy,j、qz,j、とする。統計形状モデル生成部1640は、この処理をNsamples個の全ての変換関数φ’-1 p,j(x)について適用する。ここで、算出した離散化ベクトルqx,j、qy,j、qz,jの夫々は正規化座標系における変換関数をサンプリングしたベクトルである。正規化座標系においては、学習症例の夫々が解剖学的に略一致した位置関係を持つことから、これら離散ベクトルの同一の次元の値は、学習症例の夫々において解剖学的に略同一の位置における変換関数の値を持つ。 First, the statistical shape model generation unit 1640 executes a process of discretizing the conversion function φ ′ −1 p, j (x). This process is the same as the process for φ ′ ps, j (x) in step S5820 of the third embodiment, and the conversion function φ ′ −1 p, j (x) in this embodiment is the target. To do. Detailed description is omitted. The discretized vector obtained in this way is defined as q x, j , q y, j , q z, j . The statistical shape model generation unit 1640 applies this processing to all N samples conversion functions φ ′ −1 p, j (x). Here, each of the calculated discretized vectors q x, j , q y, j , q z, j is a vector obtained by sampling a conversion function in the normalized coordinate system. In the normalized coordinate system, each of the learning cases has a substantially anatomical positional relationship. Therefore, the values of the same dimension of these discrete vectors have the same anatomical position in each of the learning cases. With the value of the conversion function in.
　次に、統計形状モデル生成部1640は、算出した離散化ベクトルqx,j、qy,j、qz,j(1≦j≦Nsamples)について主成分分析による統計処理によって統計形状モデルを生成する処理を実行する。この処理は第3実施形態のステップS5840の処理と同様にして実行する。詳細な説明は省略する。以上の処理によって得た平均ベクトルを、e’ave,x、e’ave,y、e’ave,zと表記する。また得られた固有ベクトルを e’x,k、e’y,k、e’z,k と表記する。ここでkは主成分分析によって得た固有ベクトルのインデックスであり、固有ベクトルをN’mode個取得する場合には、1≦k≦N’modeである。 Next, the statistical shape model generation unit 1640 generates a statistical shape model by statistical processing using principal component analysis for the calculated discretized vectors q x, j , q y, j , q z, j (1 ≦ j ≦ N samples ). Execute the process to generate. This process is executed in the same manner as the process in step S5840 of the third embodiment. Detailed description is omitted. The average vector obtained by the above processing is expressed as e ′ ave, x , e ′ ave, y , e ′ ave, z . The resulting eigenvector e 'x, k, e' y, denoted k, e 'z, and k. Here, k is an index of the eigenvector obtained by the principal component analysis. When N ′ mode eigenvectors are acquired, 1 ≦ k ≦ N ′ mode .
　以上に説明したステップS700からステップS760の処理により、本実施形態における処理装置800は、学習症例に基づいて統計形状モデルを生成する。この統計形状モデルは、第3実施形態のステップS5840における説明として数20に示したように、学習症例の夫々の変換関数φ’-1 p,j(x)を少ない数の基底で効率的に近似するモデルである。このモデルは学習症例に共通する統計的な特性を考慮したものであり、例えば学習症例には含まれない未知の症例が与えられた場合でも、その症例における変換関数を精度よく近似できることが期待できる。ここで変換関数は正規化座標系を定義域とした関数であり、正規化座標系における体表面および大胸筋面の位置は既知であるから、以下のようにして統計形状モデルを利用できる。 Through the processing from step S700 to step S760 described above, the processing device 800 in the present embodiment generates a statistical shape model based on the learning case. As shown in Equation 20 as an explanation in Step S5840 of the third embodiment, this statistical shape model efficiently converts each transformation function φ ′ −1 p, j (x) of the learning case with a small number of bases. This is an approximate model. This model considers the statistical characteristics common to the learning cases. For example, even when an unknown case that is not included in the learning case is given, it can be expected that the conversion function in that case can be approximated with high accuracy. . Here, the conversion function is a function having the normalized coordinate system as a domain, and the positions of the body surface and the pectoral muscle surface in the normalized coordinate system are known, and thus the statistical shape model can be used as follows.
　すなわち、未知症例の伏臥位MRI画像から抽出される体表面や大胸筋面の形状と、統計形状モデルが表す体表面や大胸筋面の形状とが略合致するように統計形状モデルの係数ベクトルを求めることができる。ここで、未知症例の伏臥位MRI画像から抽出する体表面や大胸筋面の形状は一部に情報の欠損がある場合や、雑音を含むような場合であっても良い。つまり、未知症例の伏臥位MRI画像から体表面や大胸筋面の形状に関する限られた観測情報から係数ベクトルを求めることができる。係数ベクトルが算出されれば、未知症例に対する変換関数が推定できるため、限られた観測情報を補う情報を生成することができる。つまり、統計形状モデルは乳房領域のセグメンテーションに利用できる。 That is, the coefficient of the statistical shape model so that the shape of the body surface or pectoral muscle surface extracted from the prone position MRI image of the unknown case substantially matches the shape of the body surface or pectoral muscle surface represented by the statistical shape model. A vector can be obtained. Here, the shape of the body surface or the pectoral muscle surface extracted from the prone position MRI image of an unknown case may be a case where information is partially lost or a case where noise is included. In other words, the coefficient vector can be obtained from limited observation information relating to the shape of the body surface and the pectoral muscle surface from the prone position MRI image of an unknown case. If the coefficient vector is calculated, since a conversion function for an unknown case can be estimated, information that supplements limited observation information can be generated. That is, the statistical shape model can be used for segmentation of the breast region.
［第5実施形態］
　本実施形態では、第3実施形態で説明した統計変形モデルおよび、第4実施形態で説明した統計形状モデルの両方を構築し、これらのモデルを用いることで対象症例に対する正規化処理を簡便かつロバストに実行する処理装置900を例示する。 [Fifth Embodiment]
In this embodiment, both the statistical deformation model described in the third embodiment and the statistical shape model described in the fourth embodiment are constructed, and the normalization process for the target case is simple and robust by using these models. A processing apparatus 900 to be executed is illustrated.
（機能構成）
　図14は、本実施形態による処理システムの構成を示す図である。本実施形態において、第1乃至第4実施形態と同様の機能を持つ構成要素には同一の番号を付しており、説明は省略する。同図に示すように、本実施形態における処理装置900は、画像取得部1000、解剖学特徴抽出部1020、正規化部1040、スケール算出部1230、統計形状モデル生成部1640、統計変形モデル生成部1240を持つ。また処理装置900は、対象症例形状抽出部1800、対象症例正規化部1820、対象症例スケール算出部1830、対象症例変形生成部1420、画像変形部1060、観察画像生成部1080を持つ。 (Functional configuration)
FIG. 14 is a diagram showing a configuration of a processing system according to the present embodiment. In this embodiment, the same number is attached | subjected to the component which has a function similar to 1st thru | or 4th embodiment, and description is abbreviate | omitted. As shown in the figure, the processing device 900 in this embodiment includes an image acquisition unit 1000, an anatomical feature extraction unit 1020, a normalization unit 1040, a scale calculation unit 1230, a statistical shape model generation unit 1640, and a statistical deformation model generation unit. With 1240. The processing apparatus 900 includes a target case shape extraction unit 1800, a target case normalization unit 1820, a target case scale calculation unit 1830, a target case deformation generation unit 1420, an image deformation unit 1060, and an observation image generation unit 1080.
　対象症例形状抽出部1800は、画像取得部1000が取得した対象症例のMRI画像から、対象症例の体表および大胸筋の形状の抽出を行う。対象症例スケール算出部1830は、画像取得部が取得した対象症例のMRI画像、および、対象症例形状抽出部1800が抽出した対象症例の体表および大胸筋の形状に基づいて、対象症例のスケールを算出する。対象症例正規化部1820は、統計形状モデル生成部1640が生成した統計形状モデルと、対象症例形状抽出部1800が抽出した対象症例の体表および大胸筋の形状、および、対象症例スケール算出部1830が算出した対象症例のスケールに基づき、対処症例の正規化座標系への変換を算出する。 The target case shape extraction unit 1800 extracts the shape of the body surface of the target case and the greater pectoral muscle from the MRI image of the target case acquired by the image acquisition unit 1000. The target case scale calculation unit 1830 calculates the scale of the target case based on the MRI image of the target case acquired by the image acquisition unit and the shape of the body surface of the target case and the greater pectoral muscle extracted by the target case shape extraction unit 1800. Is calculated. The target case normalization unit 1820 includes a statistical shape model generated by the statistical shape model generation unit 1640, a shape of the body surface and pectoral muscle of the target case extracted by the target case shape extraction unit 1800, and a target case scale calculation unit. Based on the scale of the target case calculated by 1830, the conversion of the handling case into the normalized coordinate system is calculated.
（処理フロー）
　次に、処理装置900が行う全体の動作について説明する。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また以下に説明する処理装置900が行う各処理の結果は、主メモリ212に格納することにより記録される。本実施形態における処理装置900の処理は、学習フェーズの処理と変形推定フェーズの処理から成り、まず学習フェーズの処理を実行し、その後に変形推定フェーズの処理を実行する。学習フェーズの処理では、多症例の伏臥位および仰臥位のMRI画像間の変形を学習し、統計変形モデルを生成する処理を実行する。また学習フェーズの処理では、多症例の伏臥位および仰臥位の形状を学習し統計形状モデルを生成する処理を実行する。変形推定フェーズの処理では学習フェーズで生成した統計変形モデルおよび統計形状モデルを用いて対象症例の伏臥位、仰臥位間の変形位置合わせを実行する。 (Processing flow)
Next, the overall operation performed by the processing apparatus 900 will be described. In the present embodiment, it is realized by the CPU 211 executing a program that realizes the function of each unit stored in the main memory 212. In addition, the result of each process performed by the processing apparatus 900 described below is recorded by being stored in the main memory 212. The processing of the processing apparatus 900 in the present embodiment includes a learning phase process and a deformation estimation phase process. First, the learning phase process is executed, and then the deformation estimation phase process is executed. In the process of the learning phase, a process of learning a deformation between MRI images in the prone position and the supine position of many cases and generating a statistical deformation model is executed. In the process of the learning phase, a process of learning a prone position and a supine position of many cases and generating a statistical shape model is executed. In the process of the deformation estimation phase, the deformation positioning between the prone position and the supine position of the target case is executed using the statistical deformation model and the statistical shape model generated in the learning phase.
　以下に記載する本実施形態の説明では、処理装置900が前記学習フェーズの処理と変形推定フェーズの処理の両方を実行する場合を例として説明するが、学習フェーズの処理と、変形推定フェーズの処理を異なる処理装置で実行するようにしても良い。また、本実施形態による処理装置900は、学習フェーズの処理と変形推定フェーズの処理の両方の処理を実行する場合に限らず、例えば、学習フェーズの処理だけを実行するようにしても良い。また、学習フェーズの処理の結果として得られる統計変形モデルおよび統計形状モデルの提供も、本実施形態に含まれる。 In the following description of the present embodiment, a case where the processing device 900 executes both the learning phase process and the deformation estimation phase process will be described as an example. However, the learning phase process and the deformation estimation phase process are described. May be executed by a different processing apparatus. In addition, the processing apparatus 900 according to the present embodiment is not limited to executing both the learning phase process and the deformation estimation phase process, and may execute only the learning phase process, for example. Further, provision of a statistical deformation model and a statistical shape model obtained as a result of the learning phase processing is also included in this embodiment.
（学習フェーズの処理）
　図15は、本実施形態による処理装置900の学習フェーズの処理手順を説明するフローチャートである。以下、この図に沿って説明する。 (Learning phase processing)
FIG. 15 is a flowchart for explaining the processing procedure of the learning phase of the processing apparatus 900 according to the present embodiment. Hereinafter, it demonstrates along this figure.
（S6000）～（S6050）
ステップS6000からステップS6050において処理装置900は、第3実施形態における処理装置200が実行するステップS500からステップS580と同様の処理を実行する。ステップS6040で算出した学習症例のスケール値をvjと表記する。ここで、jは学習症例の症例番号のインデックスであり、本実施形態では1≦j≦Nsamplesである。また、ステップS6050で生成した統計変形モデルの平均ベクトルをe deform_ave,x、e deform_ave,y、e deform_ave,z、固有ベクトルをe deform_x,k、e deform_y,k、e deform_z,kと表記する。kは主成分分析によって得た複数の固有ベクトルのインデックスである。本実施形態では固有ベクトルをN deform_mode個取得することとする。すなわち、1≦k≦Ndeform_modeである。詳細な説明は省略する。 (S6000) to (S6050)
In step S6000 to step S6050, the processing device 900 performs the same processing as in step S500 to step S580 executed by the processing device 200 in the third embodiment. The scale value of the learning case calculated in step S6040 is expressed as v j . Here, j is an index of a case number of a learning case, and in this embodiment, 1 ≦ j ≦ N samples . Further, the mean vector of the statistical deformation model generated in step S6050 is expressed as e deform_ave, x , e deform_ave, y , e deform_ave, z , and the eigenvector is expressed as e deform_x, k , e deform_y, k , e deform_z, k . k is an index of a plurality of eigenvectors obtained by principal component analysis. In the present embodiment, N deform_mode eigenvectors are acquired. That is, 1 ≦ k ≦ N deform_mode . Detailed description is omitted.
（S6070）伏臥位統計形状モデル生成
　ステップS6070において、統計形状モデル生成部1640は、学習症例の伏臥位の形状に対して第4実施形態におけるステップS740およびステップS760と同様の処理を実行し、学習症例の伏臥位の形状に関する統計形状モデルを生成する。この処理において、学習症例のスケーリングに用いるスケール値は、ステップS6040で算出したスケール値vjである。以上の処理により伏臥位の統計形状モデルが生成される。ここで生成した伏臥位の統計形状モデルの平均ベクトルをe p_shape,ave,x、e p_shape,ave,y、e p_shape,ave,z、固有ベクトルをe p_shape,x,k、e p_shape,y,k、e p_shape,z,kと表記する。ここでkは主成分分析によって得た複数の固有ベクトルのインデックスである。本実施形態では固有ベクトルをN p_shape_mode個取得することとする。すなわち、1≦k≦Np_shape_modeである。本処理ステップの詳細な説明は、第4実施形態のステップS740およびステップS760の処理の説明と重複するため省略する。 (S6070) Prone position statistical shape model generation In step S6070, the statistical shape model generation unit 1640 performs the same processing as step S740 and step S760 in the fourth embodiment on the prone position shape of the learning case, and learns Generate a statistical shape model for the prone shape of the case. In this process, the scale value used for scaling the learning case is the scale value v j calculated in step S6040. The statistical shape model of the prone position is generated by the above processing. E p_shape, ave, x , e p_shape, ave, y , e p_shape, ave, z and eigenvectors e p_shape, x, k , e p_shape, y, k , And e p_shape, z, k . Here, k is an index of a plurality of eigenvectors obtained by principal component analysis. In the present embodiment, N p_shape_mode eigenvectors are acquired. That is, 1 ≦ k ≦ N p_shape_mode . The detailed description of this processing step is omitted because it overlaps with the description of the processing of step S740 and step S760 of the fourth embodiment.
（S6080）仰臥位統計形状モデル生成
　ステップS6080において、統計形状モデル生成部1640は、学習症例の仰臥位の形状に対して第4実施形態におけるステップS740およびステップS760と同様の処理を実行し、学習症例の仰臥位の形状に関する統計形状モデルを生成する。この処理において、学習症例のスケーリングに用いるスケール値は、ステップS6040で算出したスケール値vjである。 (S6080) Supine position statistical shape model generation In step S6080, the statistical shape model generation unit 1640 performs processing similar to steps S740 and S760 in the fourth embodiment on the shape of the supine position of the learning case, and learns Generate a statistical shape model for the supine shape of the case. In this process, the scale value used for scaling the learning case is the scale value v j calculated in step S6040.
　以上の処理により伏臥位の統計形状モデルが生成される。ここで生成した伏臥位の統計形状モデルの平均ベクトルをe s_shape,ave,x、e s_shape,ave,y、e s_shape,ave,z、固有ベクトルをe s_shape,x,k、e s_shape,y,k、e s_shape,z,kと表記する。ここでkは主成分分析によって得た固有ベクトルのインデックスである。本実施形態では固有ベクトルをNs_shape_mode個取得することとする。すなわち、1≦k≦N s_shape_modeである。本処理ステップの詳細な説明は、第4実施形態のステップS740およびステップS760の処理の説明と重複するため省略する。以上に説明した処理により、処理装置900は、学習症例に関する統計変形モデルと伏臥位および仰臥位の統計形状モデルを生成する。 The statistical shape model of the prone position is generated by the above processing. E s_shape, ave, x , e s_shape, ave, y , e s_shape, ave, z and eigenvectors e s_shape, x, k , e s_shape, y, k , E s_shape, z, k . Here, k is an index of the eigenvector obtained by the principal component analysis. In this embodiment, N s_shape_mode eigenvectors are acquired. That is, 1 ≦ k ≦ N s_shape_mode . The detailed description of this processing step is omitted because it overlaps with the description of the processing of step S740 and step S760 of the fourth embodiment. Through the processing described above, the processing device 900 generates a statistical deformation model and a prone and supine statistical shape model regarding the learning case.
（変形推定フェーズの処理）
　次に図16のフローチャートを用いて処理装置900が実行する変形推定フェーズの処理手順について説明する。 (Deformation estimation phase process)
Next, the processing procedure of the deformation estimation phase executed by the processing device 900 will be described using the flowchart of FIG.
（S6100）
　ステップS6100において処理装置900は、学習フェーズの処理で生成した伏臥位および仰臥位の統計形状モデルを、処理装置900の主メモリ212に読みだす処理を実行する。 (S6100)
In step S6100, the processing apparatus 900 executes a process of reading the prone and supine statistical shape models generated in the learning phase process into the main memory 212 of the processing apparatus 900.
（S6110）から（S6120）：統計変形モデル読み込み、対象症例の画像取得
　ステップS6110からステップS6120において処理装置900は、第3実施形態における処理装置200が変形推定フェーズの処理として実行するステップS600からステップS602と同様の処理を実行する。説明は省略する。 (S6110) to (S6120): Statistical deformation model reading and target case image acquisition In step S6110 to step S6120, the processing device 900 executes steps S600 to S6 executed by the processing device 200 in the third embodiment as processing of the deformation estimation phase. Processing similar to S602 is executed. Description is omitted.
（S6130）対象症例の形状を抽出
　ステップS6130において、対象症例形状抽出部1800は、ステップS6120で取得した対象症例の伏臥位MRI画像および仰臥位MRI画像を処理することにより、対象症例の伏臥位および仰臥位における体表面および大胸筋面の形状を抽出する処理を実行する。具体的には、対象症例形状抽出部1800は、夫々のMRI画像から、体表面と大胸筋面の位置を表す複数の点群を抽出する。この処理は、第3実施形態の処理装置200が実行するステップS604の処理の一部と同様の処理である。ただし、上記の形状の抽出はMRI画像に描出される被検体の乳房の全領域に渡る領域を対象とする必要はなく、乳房領域の一部やその周辺の領域における形状を検出すれば良い。また、抽出する形状は、第3実施形態のステップS604の処理として記載した解剖学特徴の抽出の結果のように密な点群である必要はなく、比較的に疎な点の集合であって良い。本実施形態では、抽出した伏臥位の形状をsp,surface,i(1≦i≦Np,surface)、仰臥位の形状をss,surface,i (1≦i≦Ns,surface)とする。ここで、N p,surfaceは伏臥位の形状を表す点の数であり、同様にN s,surfaceは伏臥位の形状を表す点の数である。 (S6130) Extracting the shape of the target case In step S6130, the target case shape extraction unit 1800 processes the prone position MRI image and the supine position MRI image of the target case acquired in step S6120, thereby A process of extracting the shape of the body surface and the pectoral muscle surface in the supine position is executed. Specifically, the target case shape extraction unit 1800 extracts a plurality of point groups representing the positions of the body surface and the pectoralis muscle surface from each MRI image. This process is the same as a part of the process of step S604 executed by the processing apparatus 200 of the third embodiment. However, the extraction of the shape does not need to be performed on the entire region of the breast of the subject depicted on the MRI image, and the shape may be detected in a part of the breast region or in the surrounding region. Further, the shape to be extracted does not have to be a dense point group like the result of the extraction of the anatomical feature described as the process of step S604 in the third embodiment, and is a set of relatively sparse points. good. In this embodiment, the extracted prone position shape is s p, surface, i (1 ≦ i ≦ N p, surface ), and the supine position shape is s s, surface, i (1 ≦ i ≦ N s, surface ). And Here, N p, surface is the number of points representing the prone position shape, and similarly, N s, surface is the number of points representing the prone position shape.
　また、ステップS6130において、対象症例形状抽出部1800は、前記処理を実行するとともに、対象症例の伏臥位および仰臥位における乳頭位置および大胸筋面上の基準位置を取得する処理を実行する。この処理は例えば、処理装置900がモニタ160に伏臥位MRI画像および仰臥位MRI画像を表示し、表示された画面上をユーザがマウス170やキーボード180によって位置を指定し、その結果を対象症例形状抽出部1800が取得することにより実行される。 Further, in step S6130, the target case shape extraction unit 1800 executes the above-described processing, and executes processing for acquiring the nipple position and the reference position on the pectoral muscle surface in the prone position and the supine position of the target case. In this process, for example, the processing device 900 displays the prone position MRI image and the supine position MRI image on the monitor 160, the user designates the position on the displayed screen with the mouse 170 or the keyboard 180, and the result is the target case shape. It is executed by the acquisition by the extraction unit 1800.
（S6140）対象症例のスケール算出
　ステップS6140において、対象症例スケール算出部1830は、本実施形態の学習フェーズにおけるステップS6040で学習症例に対して実行する処理と同様の処理を、対象症例に対して実行する。これにより、対象症例のスケールvtargetを算出する。 (S6140) Target Case Scale Calculation In step S6140, the target case scale calculation unit 1830 executes the same processing for the target case as the processing performed for the learning case in step S6040 in the learning phase of the present embodiment. To do. Thereby, the scale v target of the target case is calculated.
（S6150）統計形状モデルを用いた正規化
　ステップS6150において、対象症例正規化部1820は、対象症例の伏臥位の形状sp,surface,i、仰臥位の形状ss,surface,i、スケールvtargetに基づき、対象症例に対して統計形状モデルのパラメータを最適化する処理を実行し、正規化座標系への変換を算出する。 (S6150) Normalization Using Statistical Shape Model In step S6150, the target case normalization unit 1820 performs the prone position shape sp , surface, i , the supine position shape ss , surface, i , and the scale v of the target case. based on target, it executes the process of optimizing the parameters of the statistical shape model for the target patients, and calculates the conversion to the normalized coordinate system.
　具体的には、対象症例正規化部1820は、以下の処理を実行する。まず、対象症例正規化部1820は、ステップS6070で取得した伏臥位の統計形状モデルに対するパラメータの最適化を行う。ここでパラメータとは、統計形状モデルの複数の固有ベクトルに対する重み係数であり、固有ベクトルの数と同数の次元をもつベクトルである。このベクトルの値の最適化は、以下の基準により実行される。すなわち、伏臥位MRI画像座標系における伏臥位の形状sp,surface,iを正規化座標系における伏臥位の形状sp,surface,i’に変換した際の、sp,surface,i’が示す位置と、正規化座標系における基準形状との差異を最小化する基準である。つまり、対象症例正規化部1820は、伏臥位の形状sp,surface,iが基準形状へと適切にマッピングされるように統計形状モデルのパラメータを最適化する。 Specifically, the target case normalization unit 1820 executes the following processing. First, the target case normalization unit 1820 optimizes parameters for the prone position statistical shape model acquired in step S6070. Here, the parameter is a weight coefficient for a plurality of eigenvectors of the statistical shape model, and is a vector having the same number of dimensions as the number of eigenvectors. This vector value optimization is performed according to the following criteria. That is, prone position shapes s p in prone position MRI image coordinate system, Surface, shape s p of prone position in the normalized coordinate system i, Surface, 'when converted into, s p, Surface, i' i is This is a reference for minimizing the difference between the indicated position and the reference shape in the normalized coordinate system. That is, the target case normalization unit 1820 optimizes the parameters of the statistical shape model so that the prone position sp , surface, i is appropriately mapped to the reference shape.
　ところで、本実施形態における伏臥位の統計形状モデルは伏臥位の正規化座標系から伏臥位MRI画像座標系への変換を表現するモデルである。そのため、上記の最適化の処理は、具体的には以下の手順で実行する。まず、対象症例正規化部1820は、伏臥位の正規化座標系における体表面と大胸筋面の形状を点群や多角形などの任意の形状表現で表す。なお、本実施形態では伏臥位の正規化座標系における体表面と大胸筋面の形状は共に平面である。次に、対象症例正規化部1820は、伏臥位の統計形状モデルのパラメータに任意の初期値を設定し、このパラメータで表現される伏臥位の統計形状モデルを用いて、体表面と大胸筋面の形状を、伏臥位のMRI画像座標系に変換する。そして、対象症例正規化部1820は、変換した体表面と大胸筋面の形状と伏臥位のMRI画像座標系の形状sp,surface,iとの差異を評価する。そして、伏臥位の統計形状モデルのパラメータを様々に変更して上記の差異の評価が最小となるパラメータを探索する。すなわち、対象症例正規化部1820は、伏臥位の統計形状モデルのパラメータを上記の差異の評価に基づいて、繰り返し処理によって最適化する。 By the way, the prone position statistical shape model in the present embodiment is a model expressing conversion from the prone position normalized coordinate system to the prone position MRI image coordinate system. Therefore, the above optimization process is specifically executed in the following procedure. First, the target case normalization unit 1820 represents the shapes of the body surface and the pectoralis muscle surface in the prone position normalization coordinate system by an arbitrary shape expression such as a point cloud or a polygon. In the present embodiment, the body surface and the pectoralis major surface are both flat in the prone position normalized coordinate system. Next, the target case normalization unit 1820 sets an arbitrary initial value for a parameter of the prone position statistical shape model, and uses the prone position statistical shape model represented by this parameter, and uses the body surface and the pectoral muscles. Convert the shape of the surface to the prone position MRI image coordinate system. Then, the target case normalization unit 1820 evaluates the difference between the converted shape of the body surface and pectoral muscle surface and the shape sp , surface, i of the prone position MRI image coordinate system. Then, various parameters of the statistical shape model in the prone position are changed to search for a parameter that minimizes the evaluation of the difference. That is, the target case normalization unit 1820 optimizes the parameters of the prone position statistical shape model by iterative processing based on the evaluation of the difference.
　なお、上記の処理において対象症例の伏臥位MRI画像座標系における形状sp,surface,iの座標値と、統計形状モデルとの間のスケーリングには、ステップS6140で算出したスケールvtargetが考慮される。仰臥位の統計形状モデルに関しても、同様に、ステップS6080で取得した仰臥位の統計形状モデルのパラメータに関して、仰臥位の形状ss,surface,iに基づいて最適化する。 In the above processing, the scale v target calculated in step S6140 is considered for scaling between the coordinate value of the shape sp , surface, i in the prone position MRI image coordinate system of the target case and the statistical shape model. The Similarly, regarding the statistical shape model in the supine position, the parameters of the statistical shape model in the supine position acquired in step S6080 are optimized based on the shape s s, surface, i in the supine position.
　以上の処理により、伏臥位および仰臥位に関する統計形状モデルのパラメータが対象症例の形状に対して最適化される。これにより、対象症例の伏臥位に関する正規化座標系への変換φp,target(x)および仰臥位に関する正規化座標系への変換φs,target(x)が算出される。 Through the above processing, the parameters of the statistical shape model regarding the prone position and the supine position are optimized with respect to the shape of the target case. Thereby, the transformation φ p, target (x) to the normalized coordinate system related to the prone position of the target case and the transformation φ s, target (x) to the normalized coordinate system related to the supine position are calculated.
（S6160）から（S6180）統計変形モデルの係数の最適化、MRI画像変形、表示
　ステップS6160からステップS6180において、処理装置900は、第3実施形態における処理装置200が実行するステップS640からステップS660と同様の処理を実行する。詳細な説明は省略する。 (S6160) to (S6180) Statistical deformation model coefficient optimization, MRI image deformation, display In steps S6160 to S6180, the processing device 900 performs steps S640 to S660 executed by the processing device 200 in the third embodiment. A similar process is executed. Detailed description is omitted.
　以上に説明したステップS6100からステップS6180の処理により、本実施形態の変形推定フェーズの処理が実行される。この処理の結果、対象症例に関する伏臥位MRIと仰臥位MRI画像の間の変形推定処理が実行される。そして、仰臥位MRIと対応するように伏臥位MRI画像を変形した変形MRI画像が生成され、仰臥位MRI画像と共に表示されることで、容易に比較できる形態で入力画像を提示できる。 By the processing from step S6100 to step S6180 described above, the deformation estimation phase processing of this embodiment is executed. As a result of this process, a deformation estimation process between the prone position MRI and the supine position MRI image regarding the target case is executed. Then, a deformed MRI image obtained by deforming the prone position MRI image so as to correspond to the supine position MRI is generated and displayed together with the supine position MRI image, so that the input image can be presented in a form that can be easily compared.
　本実施形態の処理装置によれば、第3実施形態の処理装置と比較して、対象症例の体表面形状や大胸筋面形状を表す密な点群に関する情報を含む解剖学特徴を抽出する必要がなく、比較的に疎な体表面形状、大胸筋面形状を抽出するだけで良い。なぜならば、体表面形状と大胸筋面形状を表す点群が空間的に疎な場合であっても、統計形状モデルのパラメータを推定することは可能であり、そのパラメータに基づいてMRI画像座標系から各正規化座標系への変換が算出できるからである。そのため、対象症例のMRI画像の画質等の影響により体表面形状および大胸筋面形状を表す点群を密に抽出することが困難な場合であっても、両画像間の変形位置合わせを実行することが可能となる。 According to the processing apparatus of this embodiment, compared with the processing apparatus of the third embodiment, anatomical features including information on dense point groups representing the body surface shape and the pectoralis major surface shape of the target case are extracted. There is no need to extract a relatively sparse body surface shape and pectoralis major surface shape. This is because the parameters of the statistical shape model can be estimated even if the points representing the body surface shape and the pectoral muscle surface shape are spatially sparse, and the MRI image coordinates based on the parameters This is because the conversion from the system to each normalized coordinate system can be calculated. Therefore, even when it is difficult to extract point clouds representing the body surface shape and pectoralis major surface shape due to the influence of the image quality of the MRI image of the target case, the deformation alignment between both images is performed. It becomes possible to do.
（第5実施形態の変形例1）統計形状モデルの使用・不使用・切り替え
　本実施形態における変形推定フェーズでは、伏臥位・仰臥位の両方の統計形状モデルを用いる場合を例として説明したが、何れか一方であっても良い。例えば、ステップS6130の処理のうち、伏臥位または仰臥位の何れか一方の体位に関する処理は、第3実施形態におけるステップS604と同様の処理を実行するようにしても良い。この場合、後段の処理であるステップS6150の処理は、上記の伏臥位または仰臥位の何れか一方の体位に関する正規化座標系への変換の算出処理を、第3実施形態におけるステップS610と同様の処理としてもよい。これによれば、変形推定フェーズにおいて、対象症例の伏臥位または仰臥位のいずれか一方の体位における密な体表面形状および大胸筋面形状が得られる場合にはMRI画像座標系から正規化座標系への変換を、より高い精度で算出できる効果がある。 (Modification 1 of the fifth embodiment) Use / non-use / switching of the statistical shape model In the deformation estimation phase in this embodiment, the case where the statistical shape model of both prone position and supine position is used has been described as an example. Either one may be sufficient. For example, among the processes in step S6130, the process related to either the prone position or the supine position may be performed in the same manner as in step S604 in the third embodiment. In this case, the process of step S6150, which is the latter stage process, is the same as the process of step S610 in the third embodiment, with respect to the calculation process of conversion to the normalized coordinate system related to either the prone position or the supine position. It is good also as processing. According to this, in the deformation estimation phase, when a dense body surface shape and pectoral muscle surface shape in either the prone position or the supine position of the target case are obtained, normalized coordinates are obtained from the MRI image coordinate system. There is an effect that the conversion to the system can be calculated with higher accuracy.
　また、本実施形態や上記の変形例いずれかの方法を、対象症例の解剖学特徴の抽出結果に基づいて切り替えて実行するようにしてもよい。例えば、第3実施形態に記載の処理方法を標準的な処理として実行しつつ、対象症例のMRI画像から密な体表面形状および大胸筋面形状の抽出が困難または困難と予測される場合に、本実施形態および上記変形例の処理に切り替えて実行するようにしてもよい。これによれば、対象症例のMRI画像の画質等の影響を考慮して適切な処理方法を切り替えて実行することができるため、対象症例の変形位置合わせを、より頑健に行える効果がある。 Also, the method of this embodiment or any of the above-described modifications may be switched and executed based on the extraction result of the anatomical features of the target case. For example, when it is predicted that it is difficult or difficult to extract a dense body surface shape and pectoral muscle surface shape from an MRI image of a target case while executing the processing method described in the third embodiment as a standard process The processing may be switched to the processing of the present embodiment and the above modification. According to this, since an appropriate processing method can be switched and executed in consideration of the influence such as the image quality of the MRI image of the target case, there is an effect that the deformation positioning of the target case can be performed more robustly.
　また、本実施形態は、対象症例の伏臥位および仰臥位の両方の体位におけるMRI画像が取得される場合に限定されない。例えば、対象症例の伏臥位または仰臥位のいずれか一方の体位においては、MRI画像が取得されず、比較的に疎な体表面の形状だけが取得されるような場合であってもよい。一例として、対象症例の仰臥位におけるMRI画像が取得されず、対象症例の仰臥位における体表面の形状を、位置計測が可能なスタイラス等を用いて計測される場合について説明する。この場合、変形推定フェーズの処理のステップS6120では対象症例の伏臥位に関するMRI画像を取得するまたステップS6130の処理では、伏臥位に関しては第3実施形態におけるステップS604と同様の処理を実行するとともに、仰臥位に関しては前記スタイラス等を用いて計測した対象症例の疎な体表面の形状を取得する。ステップS6150では、伏臥位に関する正規化座標系への変換の算出処理を、第3実施形態におけるステップS610と同様の処理を実行し、仰臥位に関しては本実施形態のS6150の処理を前記疎な体表面の形状に基づいて実行する。ステップS6160以降の処理は本実施形態に記載の通りの処理を実行する。 Further, the present embodiment is not limited to the case where MRI images in both the prone position and the supine position of the target case are acquired. For example, in either the prone position or the supine position of the target case, an MRI image may not be acquired and only a relatively sparse body surface shape may be acquired. As an example, a case will be described in which the MRI image in the supine position of the target case is not acquired and the shape of the body surface in the supine position of the target case is measured using a stylus or the like that can measure the position. In this case, in step S6120 of the process of the deformation estimation phase, an MRI image related to the prone position of the target case is acquired.In the process of step S6130, for prone position, the same process as in step S604 in the third embodiment is performed, For the supine position, the sparse body surface shape of the target case measured using the stylus or the like is acquired. In step S6150, the calculation processing for conversion to the normalized coordinate system related to the prone position is performed in the same manner as in step S610 in the third embodiment, and for the supine position, the processing in S6150 of the present embodiment is performed as the sparse body. Run based on the shape of the surface. The processing after step S6160 executes the processing as described in this embodiment.
　以上の方法により、対象症例の仰臥位における体表面の形状および、統計形状モデルに基づいて推定される仰臥位における大胸筋面の形状に合致するように対象症例の伏臥位のMRI画像を変形して表示できる。上記の方法によれば、例えば対象症例の手術等を効果的に支援することができる。具体的には、手術に先立って撮影した対象症例の伏臥位におけるMRI画像を、仰臥位の体位において実施される手術時に計測した体表面の形状に基づいて変形して表示することができる。これにより、伏臥位におけるMRI画像においてユーザが注目している部位等が、手術時の仰臥位において、どこに位置するかを手術中にユーザに提示できる。 By the above method, transform the MRI image of the prone position of the target case to match the shape of the body surface in the supine position of the target case and the shape of the pectoral muscle surface in the supine position estimated based on the statistical shape model Can be displayed. According to the above method, for example, surgery for a target case can be effectively supported. Specifically, the MRI image in the prone position of the target case photographed prior to the surgery can be deformed and displayed based on the shape of the body surface measured during the surgery performed in the supine position. Thereby, it can be shown to a user during operation where the site | part etc. which the user has paid attention in the MRI image in prone position are located in the supine position at the time of an operation.
（第5実施形態の変形例2）伏臥位・仰臥位の統合モデル
　本実施形態では、統計形状モデル生成部1640が伏臥位および仰臥位の夫々に関する統計形状モデルを個別に構築する場合を例として説明したが、このように個別に構築することに限定されない。例えば、統計形状モデル生成部1640は、伏臥位の形状に関する情報と仰臥位の形状とを統合した統計形状モデルを構築するようにしてもよい。具体例としては、学習フェーズの処理では、ステップS6070およびステップS6080の処理に代えて、以下の処理を実行する。すなわち、統計形状モデル生成部1640は、第4実施形態に記載した処理装置800がステップS760で実行する離散化ベクトルqx,j、qy,j、qz,j、の算出処理を、学習症例の伏臥位および仰臥位の夫々について実行する。ここでは、算出した伏臥位に関する離散化ベクトルをq p_x,j、q p_y,j、q p_z,j、仰臥位に関する離散化ベクトルをq s_x,j、q s_y,j、q s_z,j、と表記する。 (Modification 2 of the fifth embodiment) Integrated model of prone position and supine position In the present embodiment, as an example, the statistical shape model generation unit 1640 individually constructs a statistical shape model for prone position and supine position. Although described, it is not limited to building individually as described above. For example, the statistical shape model generation unit 1640 may construct a statistical shape model in which information regarding the shape of the prone position and the shape of the supine position are integrated. As a specific example, in the learning phase process, the following process is executed instead of the process of step S6070 and step S6080. That is, the statistical shape model generation unit 1640 learns the calculation process of the discretization vectors q x, j , q y, j , q z, j executed by the processing device 800 described in the fourth embodiment in step S760. Execute for the prone and supine positions of the case. Here, the calculated prone position regarding discretized vector q p_x, j, q p_y, j, q p_z, j, q s_x discretization vectors for supine, j, q s_y, j, q s_z, j, and write.
　そして、統計形状モデル生成部1640は、これら6個のベクトルを結合したベクトルを学習症例の夫々に関して算出し、そのベクトルの群に対して主成分分析を実行することで、平均ベクトルをおよび固有ベクトルを算出する。これらの情報を本実施形態では伏・仰臥位統計形状モデルと称する。伏・仰臥位統計形状モデルは、学習症例に関する伏臥位のMRI画像座標系から伏臥位の正規化座標系への変換と、仰臥位のMRI座標系から仰臥位の正規化座標系への変換の両方の変換を表すモデルとなる。また、このモデルはこの２つの変換の間の統計的な特性を記述したモデルとなる。変形推定フェーズでは、ステップS6150の処理に代えて以下の処理を実行する。すなわち、対象症例正規化部1820は、伏臥位および仰臥位のMRI画像座標系から夫々の正規化座標系への変換を、上記のモデルのパラメータの最適化処理によって算出する。これにより、対象症例の伏臥位および仰臥位の夫々の正規化座標系への変換を、両変換の間の統計的な特性を考慮して算出できるため、正規化座標系への変換を、より精度良く実行できる効果がある。 Then, the statistical shape model generation unit 1640 calculates a vector obtained by combining these six vectors with respect to each of the learning cases, and performs a principal component analysis on the group of vectors, thereby obtaining an average vector and an eigenvector. calculate. In the present embodiment, these pieces of information are referred to as a prone and supine statistical shape model. The prone and supine statistical shape model is a transformation of the prone position MRI image coordinate system to the prone position normalized coordinate system and the supine position MRI coordinate system to the supine normalized coordinate system for the learning case. A model that represents both transformations. Also, this model is a model describing the statistical characteristics between the two transformations. In the deformation estimation phase, the following process is executed instead of the process of step S6150. That is, the target case normalization unit 1820 calculates the transformation from the prone position and the supine position MRI image coordinate system to each normalized coordinate system by the above-described model parameter optimization processing. As a result, the conversion to the normalized coordinate system of the prone position and the supine position of the target case can be calculated in consideration of the statistical characteristics between both conversions. There is an effect that can be executed with high accuracy.
　また、対象症例における伏臥位または仰臥位の何れか一方の正規化座標系への変換を別途（例えば第4実施形態に記載の方法等により）算出できる場合に、他方の変換を上記の伏・仰臥位統計形状モデルを用いて推定することができる。例えば、対象症例の伏臥位または仰臥位の何れか一方の形状の抽出が実行できないような場合であっても、上記の統計形状モデルを用いることで、他方の正規化座標系への変換を推定できる。これにより、変形推定フェーズの処理のステップS6160以降の処理を実行できる。この方法によれば、対象症例の伏臥位または仰臥位の何れか一方の体位におけるMRI画像が取得されないような場合においても、MRI画像が取得できる体位におけるMRI画像を、他方の体位へ統計的に尤もらしく変形させることができる。 In addition, when the conversion to the normalized coordinate system of either the prone position or the supine position in the target case can be separately calculated (for example, by the method described in the fourth embodiment, etc.), It can be estimated using a supine position statistical shape model. For example, even if the extraction of either the prone position or the supine position of the target case cannot be performed, the conversion to the other normalized coordinate system is estimated by using the above statistical shape model it can. Thereby, the process after step S6160 of the process of a deformation | transformation estimation phase can be performed. According to this method, even when an MRI image in either the prone position or the supine position of the target case is not acquired, the MRI image in the position where the MRI image can be acquired is statistically transferred to the other position. It can be deformed reasonably.
［第6実施形態］
　第5実施形態の説明では、統計変形モデルと、伏臥位および仰臥位に関する統計形状モデルとを生成し、各モデルを用いて対象症例の伏臥位MRI画像と仰臥位MRI画像の間の変形を推定する場合を例に説明した。第6実施形態では、伏臥位および仰臥位のMRI画像座標系と各正規化座標系への変換と、各正規化座標系の間の変形とを統合したモデルを生成し、生成したモデルを用いて対象症例の伏臥位および伏臥位のMRI画像間の変形を推定する方法について説明する。本実施形態では、生成するモデルを統計モデルと称する。 [Sixth embodiment]
In the description of the fifth embodiment, a statistical deformation model and a statistical shape model relating to the prone position and the supine position are generated, and the deformation between the prone position MRI image and the supine position MRI image of the target case is estimated using each model. The case has been described as an example. In the sixth embodiment, a model in which the MRI image coordinate system in the prone position and the supine position is converted to each normalized coordinate system and the deformation between each normalized coordinate system is generated, and the generated model is used. A method for estimating the deformation between the prone position and the prone position MRI images of the target case will be described. In the present embodiment, the generated model is referred to as a statistical model.
（機能構成）
　図17は、本実施形態における処理装置950の機能構成を表す図である。同図において、前記第1乃至第5実施形態と同様の機能を持つ構成要素には、各実施形態で付した番号と同一の番号を付しており、説明は省略する。統計モデル生成部1840は、正規化部1040および学習症例変形生成部1220およびスケール算出部1230が実行する処理の結果に基づき、学習症例の統計モデルを生成する。対象症例変形生成部1850は、統計モデル生成部1840が生成する統計モデルおよび、解剖学特徴抽出部1020が抽出する対象症例の解剖学特徴およびスケール算出部1230が算出するスケールに基づいて、対象症例の変形を生成する。 (Functional configuration)
FIG. 17 is a diagram illustrating a functional configuration of the processing device 950 in the present embodiment. In the figure, components having the same functions as those in the first to fifth embodiments are denoted by the same reference numerals as those in the respective embodiments, and description thereof is omitted. The statistical model generation unit 1840 generates a statistical model of learning cases based on the results of processing executed by the normalization unit 1040, the learning case deformation generation unit 1220, and the scale calculation unit 1230. The target case deformation generation unit 1850 is based on the statistical model generated by the statistical model generation unit 1840 and the anatomical features of the target case extracted by the anatomical feature extraction unit 1020 and the scale calculated by the scale calculation unit 1230. Generate a deformation of
（処理フロー）
　次に、処理装置950が行う全体の動作について説明する。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また、以下に説明する処理装置200が行う各処理の結果は、主メモリ212に格納することにより記録される。本実施形態における処理装置950の処理は、第5実施形態と同様に、学習フェーズの処理と変形推定フェーズの処理から成り、まず学習フェーズの処理を実行し、その後に変形推定フェーズの処理を実行する。学習フェーズの処理では、多症例の伏臥位および仰臥位のMRI画像間の変形を学習し、統計モデルを生成する処理を実行する。変形推定フェーズの処理では学習フェーズで生成した統計モデルを用いて対象症例の伏臥位、仰臥位間の変形位置合わせを実行する。 (Processing flow)
Next, the overall operation performed by the processing device 950 will be described. In the present embodiment, it is realized by the CPU 211 executing a program that realizes the function of each unit stored in the main memory 212. In addition, the result of each process performed by the processing device 200 described below is recorded by being stored in the main memory 212. As in the fifth embodiment, the processing of the processing device 950 according to the present embodiment includes a learning phase process and a deformation estimation phase process. First, the learning phase process is performed, and then the deformation estimation phase process is performed. To do. In the process of the learning phase, a process of learning a deformation between MRI images in the prone position and the supine position of many cases and generating a statistical model is executed. In the process of the deformation estimation phase, deformation positioning between the prone position and the supine position of the target case is executed using the statistical model generated in the learning phase.
（学習フェーズの処理）
　図18は、本実施形態における処理装置950が行う、学習フェーズの処理の手順を説明するフローチャートである。以下、このフローチャートに示す処理手順に従って、本実施形態の学習フェーズの処理について詳しく説明する。 (Learning phase processing)
FIG. 18 is a flowchart for explaining the procedure of the learning phase process performed by the processing apparatus 950 according to this embodiment. Hereinafter, according to the processing procedure shown in this flowchart, the learning phase processing of the present embodiment will be described in detail.
（S7000）から（S7040）
　ステップS7000からステップS7040において処理装置950は、第5実施形態における処理装置900が実行するステップS6000からステップS6040と同様の処理を実行する。詳細な説明は省略する。 (S7000) to (S7040)
In step S7000 to step S7040, the processing device 950 performs the same processing as in step S6000 to step S6040 executed by the processing device 900 in the fifth embodiment. Detailed description is omitted.
（S7050）
　ステップS7050において統計モデル生成部1840は、統計モデルを生成する処理を実行する。この処理について詳しく説明する。まず統計モデル生成部1840は、学習症例の伏臥位および仰臥位の夫々に対して、第4実施形態におけるステップS740およびS760の一部と同様の処理を実行し、MRI画像座標系から正規化座標系への変換に関する離散ベクトルを算出する。本実施形態では、伏臥位のMRI画像座標系から伏臥位の正規化座標系への変換に関する離散ベクトルをqp_x,j、qp_y,j、qp_z,j、同様に仰臥位のMRI画像座標系から仰臥位の正規化座標系への変換に関する離散ベクトルをqs_x,j、qs_y,j、qs_z,j、と記す。 (S7050)
In step S7050, the statistical model generation unit 1840 executes processing for generating a statistical model. This process will be described in detail. First, the statistical model generation unit 1840 performs processing similar to that of steps S740 and S760 in the fourth embodiment for each of the prone position and the supine position of the learning case, and normalizes coordinates from the MRI image coordinate system. A discrete vector for conversion to a system is calculated. In the present embodiment, q p_x, j , q p_y, j , q p_z, j and discrete MRI image coordinates in the supine position are used for conversion from the prone position MRI image coordinate system to the prone position normalized coordinate system. The discrete vectors related to the conversion from the system to the normalized coordinate system in the supine position are denoted as q s_x, j , q s_y, j , and q s_z, j .
　次に、統計モデル生成部1840は、学習症例の伏臥位および仰臥位の夫々の正規化座標系の間の変形に関する離散ベクトルpx,j、py,j、pz,jを算出する。この処理は、第3実施形態におけるステップS5800およびステップS5820と同様の処理により実行する。詳細な説明は省略する。 Next, the statistical model generation unit 1840 calculates discrete vectors p x, j , p y, j , p z, j relating to the deformation between the normalized coordinate systems of the prone position and the supine position of the learning case. This processing is executed by the same processing as Step S5800 and Step S5820 in the third embodiment. Detailed description is omitted.
　次に、統計モデル生成部1840は、各症例毎に上記の方法で算出したベクトルを結合したベクトルを生成する。そして、統計モデル生成部1840は、各症例に関する結合ベクトルについて主成分分析を行い、平均ベクトルと複数の固有ベクトルとを算出する。以後、この処理によって算出した平均ベクトルと複数の固有ベクトルを統計モデルと称する。この統計モデルは、後述する変形推定フェーズにおいて利用される。統計モデルが持つ平均ベクトルと複数の固有ベクトルの加重和により、MRI画像座標系から正規化座標系への変換と、各正規化座標系の間の変形の統計的な特性が記述される。 Next, the statistical model generation unit 1840 generates a vector obtained by combining the vectors calculated by the above method for each case. Then, the statistical model generation unit 1840 performs principal component analysis on the combined vectors related to each case, and calculates an average vector and a plurality of eigenvectors. Hereinafter, the average vector and the plurality of eigenvectors calculated by this process are referred to as a statistical model. This statistical model is used in the deformation estimation phase described later. The statistical characteristics of the transformation from the MRI image coordinate system to the normalized coordinate system and the deformation between each normalized coordinate system are described by the weighted sum of the average vector and the plurality of eigenvectors of the statistical model.
　以上に説明したステップS7000からステップS7040の処理により、本実施形態の学習フェーズの処理が実行される。この処理の結果、統計モデルが生成される。 The learning phase processing of the present embodiment is executed by the processing from step S7000 to step S7040 described above. As a result of this processing, a statistical model is generated.
（変形推定フェーズの処理）
　図19は、本実施形態による処理装置950が行う、変形推定フェーズの処理の手順を説明するフローチャートである。以下、このフローチャートに示す処理手順に従って、本実施形態の変形推定フェーズの処理について詳しく説明する。 (Deformation estimation phase process)
FIG. 19 is a flowchart for explaining the processing procedure of the deformation estimation phase performed by the processing device 950 according to the present embodiment. Hereinafter, the process of the deformation estimation phase of the present embodiment will be described in detail according to the processing procedure shown in this flowchart.
（S7100）
　ステップS6700において処理装置950は、学習フェーズの処理で生成した統計モデルを、主メモリ212に読みだす処理を実行する。 (S7100)
In step S6700, the processing device 950 executes a process of reading the statistical model generated by the learning phase process into the main memory 212.
（S7120）から（S7140）
　ステップS7120からステップS7140において処理装置950は、第5実施形態における処理装置900が実行するステップS6120からステップS6140と同様の処理を実行する。詳細な説明は省略する。 (S7120) to (S7140)
In step S7120 to step S7140, the processing device 950 performs the same processing as in step S6120 to step S6140 executed by the processing device 900 in the fifth embodiment. Detailed description is omitted.
（S7160）
　ステップS7160において、対象症例変形生成部1850は、ステップS7100で取得した統計モデル、ステップS7130で取得した対象症例の体表面および大胸筋面の形状、およびステップS7140で算出したスケールに基づいて、対象症例の変形を生成する処理を実行する。この処理について詳しく説明する。 (S7160)
In step S7160, the target case deformation generation unit 1850 determines the target based on the statistical model acquired in step S7100, the shape of the body surface and pectoral muscle surface of the target case acquired in step S7130, and the scale calculated in step S7140. A process of generating a case deformation is executed. This process will be described in detail.
　本処理ステップにおいて、対象症例変形生成部1850は、ステップS7100で取得した統計モデルに関するパラメータを、対象症例に対して最適化することによって変形を推定する。ここでパラメータとは、生成された統計モデルの固有ベクトルに対する重み係数を表すベクトルである。対象症例変形生成部1850は、このパラメータに基づいて統計モデルの平均ベクトルと固有ベクトルとの加重線形和を演算することにより、伏臥位および仰臥位のMRI画像座標系から正規化座標系への変換と、各正規化座標系の間の変形を生成する。 In this processing step, the target case deformation generation unit 1850 estimates the deformation by optimizing the parameters related to the statistical model acquired in step S7100 with respect to the target case. Here, the parameter is a vector representing a weighting factor for the eigenvector of the generated statistical model. The target case deformation generation unit 1850 calculates the weighted linear sum of the mean vector and eigenvector of the statistical model based on this parameter, thereby converting the prone position and the supine position from the MRI image coordinate system to the normalized coordinate system. Generate a deformation between each normalized coordinate system.
　統計モデルに関するパラメータの最適化は、以下の評価基準を組み合わせた評価に基づいて実行するようにできる。すなわち、第5実施形態のステップS6150の処理として説明した統計形状モデルの最適化に関する基準（正規化評価の基準と称する）、および第3実施形態のステップS640の処理として説明した評価関数G（変形評価の基準と称する）を組み合わせて実行できる。具体的には、対象症例変形生成部1850は、正規化評価の基準と変形評価の基準の両方の基準により算出される評価値を最小化、または構成によっては最大化、するように統計モデルに関するパラメータを最適化する。 Optimize parameters related to statistical model can be executed based on evaluation combining the following evaluation criteria. That is, the standard (referred to as normalization evaluation standard) regarding the optimization of the statistical shape model described as the process of step S6150 of the fifth embodiment, and the evaluation function G (deformation) described as the process of step S640 of the third embodiment (Referred to as evaluation criteria). Specifically, the target case deformation generation unit 1850 relates to the statistical model so as to minimize or maximize the evaluation value calculated based on both the normalization evaluation standard and the deformation evaluation standard. Optimize parameters.
　以上の処理により、統計モデルのパラメータが最適化され、対象症例の伏臥位および仰臥位のMRI画像座標系から各正規化座標系への変換、および各正規化座標系の間の変形が推定される。 Through the above process, the parameters of the statistical model are optimized, and the transformation from the MRI image coordinate system of the prone position and the supine position of the target case to each normalized coordinate system and the deformation between each normalized coordinate system are estimated. The
（S7170）から（S7180）
　ステップS7170からステップS7180において処理装置950は、第5実施形態における処理装置900が実行するステップS6170からステップS6180と同様の処理を実行する。詳細な説明は省略する。 From (S7170) to (S7180)
In step S7170 to step S7180, the processing device 950 performs the same processing as in step S6170 to step S6180 executed by the processing device 900 in the fifth embodiment. Detailed description is omitted.
　以上に説明したステップS7100からステップS7180の処理により、本実施形態の変形推定フェーズの処理が実行される。この処理の結果、対象症例に関する伏臥位MRI画像と仰臥位MRI画像の間の変形推定処理が実行される。そして、仰臥位MRIと対応するように伏臥位MRI画像を変形した変形MRI画像が生成され、仰臥位MRI画像と共に表示されることで、比較容易な形態で入力画像が提示される。 By the processing from step S7100 to step S7180 described above, the processing of the deformation estimation phase of this embodiment is executed. As a result of this process, a deformation estimation process between the prone position MRI image and the supine position MRI image related to the target case is executed. Then, a deformed MRI image obtained by deforming the prone position MRI image so as to correspond to the supine position MRI is generated and displayed together with the supine position MRI image, so that the input image is presented in an easily comparable form.
　本実施形態の処理装置によれば、学習フェーズにおいては、学習症例に関する伏臥位および仰臥位のMRI画像座標系から正規化座標系への変換と、各正規化座標系の間の変形との両方の統計的な特性を持つ統計モデルが生成される。ここで、MRI画像座標系から正規化座標系への変換は、主に各症例の形状の違いを吸収する変換であり、この変換自体には各症例の形状に関する情報が含まれている。本実施形態では、このMRI画像座標系から正規化座標系への変換に関する情報と、各正規化座標系の間の変形とを対にした学習データを主成分分析することによって統計モデルを生成する。これにより、各症例の形状と変形との間の統計的な特性を反映したモデルが生成される。したがって、変形推定フェーズにおける前記統計モデルを用いた変形推定により、対象症例の形状と変形の両方を同時に考慮し、統計的に尤もらしい変形を推定できる。これにより、第5実施形態の処理装置と比べて、高い精度で変形推定を行える効果がある。 According to the processing apparatus of the present embodiment, in the learning phase, both the prone position and the supine position MRI image coordinate system from the prone position related to the learning case to the normalized coordinate system and the deformation between the respective normalized coordinate systems. A statistical model having the following statistical characteristics is generated. Here, the conversion from the MRI image coordinate system to the normalized coordinate system is a conversion that mainly absorbs the difference in the shape of each case, and this conversion itself includes information on the shape of each case. In the present embodiment, a statistical model is generated by principal component analysis of learning data that is a pair of information regarding the conversion from the MRI image coordinate system to the normalized coordinate system and deformation between the normalized coordinate systems. . Thereby, a model reflecting a statistical characteristic between the shape and deformation of each case is generated. Therefore, by the deformation estimation using the statistical model in the deformation estimation phase, both the shape and deformation of the target case can be considered simultaneously, and a statistically plausible deformation can be estimated. Thereby, there is an effect that deformation can be estimated with higher accuracy than the processing apparatus of the fifth embodiment.
（第6実施形態の変形例1）階層モデルにする
　本実施形態では、ステップS7050の処理では、統計モデル生成部1840は、学習症例の夫々についてMRI画像座標系から各正規化座標系への変換と、正規化座標系の間の変形の夫々に関する離散ベクトルを算出し、算出した離散ベクトルを結合したベクトルに基づいて統計モデルを生成する場合を例として説明した。しかし、変形例として、例えば、第5実施形態で説明した処理装置900と同様に、統計形状モデルと統計変形モデルを夫々算出し、それに加えて両モデルの上位モデルを構築するようにしても良い。 (Modification 1 of the sixth embodiment) Hierarchical model In the present embodiment, in the processing of step S7050, the statistical model generation unit 1840 converts each learning case from the MRI image coordinate system to each normalized coordinate system. As an example, a case was described in which a discrete vector for each of the deformations between the normalized coordinate systems is calculated, and a statistical model is generated based on a vector obtained by combining the calculated discrete vectors. However, as a modified example, for example, similarly to the processing apparatus 900 described in the fifth embodiment, a statistical shape model and a statistical deformation model may be calculated, and in addition thereto, a higher model of both models may be constructed. .
　具体的には、まず、第5実施形態と同様にして、統計モデル生成部1840は、統計形状モデルと統計変形モデルとを生成する。そして、統計モデル生成部1840は、伏臥位および仰臥位のMRI画像座標系から各正規化座標系への変換を、統計形状モデルを用いて表現した際のパラメータを学習症例の夫々について算出する。算出したパラメータをベクトルbshape,j(1≦j≦Nsamples)とする。また、統計モデル生成部1840は、伏臥位および仰臥位の正規化座標系の間の変形を、統計変形モデルを用いて表現した際のパラメータを学習症例の夫々について生成する。算出したパラメータをベクトルbdeform,j(1≦j≦Nsamples)とする。そして、統計モデル生成部1840は、学習症例毎にbshape,jとbdeform,jを結合したベクトルを生成し、結合したベクトルに対して主成分分析を行う。これにより、算出される平均ベクトルおよび複数の固有ベクトルを以て上位モデルとすることができる。この場合、変形推定フェーズでは、上位モデルに関するパラメータを推定することにより、対象症例の変形を推定するようにできる。 Specifically, first, as in the fifth embodiment, the statistical model generation unit 1840 generates a statistical shape model and a statistical deformation model. Then, the statistical model generation unit 1840 calculates a parameter when the conversion from the prone position and the supine position MRI image coordinate system to each normalized coordinate system is expressed using a statistical shape model for each of the learning cases. The calculated parameter is a vector b shape, j (1 ≦ j ≦ N samples ). Further, the statistical model generation unit 1840 generates parameters for each learning case when the deformation between the prone position and the supine position normalized coordinate system is expressed using the statistical deformation model. The calculated parameter is a vector b deform, j (1 ≦ j ≦ N samples ). Then, the statistical model generation unit 1840 generates a vector in which b shape, j and b deform, j are combined for each learning case, and performs principal component analysis on the combined vector. As a result, the calculated average vector and a plurality of eigenvectors can be used as a higher model. In this case, in the deformation estimation phase, the deformation of the target case can be estimated by estimating the parameters related to the upper model.
　以上の方法によれば、統計形状モデルと統計変形モデルとで異なる数の固有ベクトルを利用するようにできる。そのため、第6実施形態に記載した処理装置950が持つ効果に加え、より柔軟に統計モデルを生成するようにできる効果がある。 According to the above method, different numbers of eigenvectors can be used in the statistical shape model and the statistical deformation model. Therefore, in addition to the effect of the processing device 950 described in the sixth embodiment, there is an effect that the statistical model can be generated more flexibly.
［第7実施形態］
　第1実施形態から第6実施形態では、人体の乳房を処理の対象とする場合を、一例として説明した。しかし、処理の対象は人体の乳房に限定されない。例えば、処理の対象は、人体以外の動物の乳房であっても良い。また、処理の対象は、他の臓器であっても良い。例えば心臓を対象とする場合には、心臓の外壁と内壁によって囲まれた領域を心臓領域とし、心臓の外壁形状から尖点を基準点として抽出することで上記の実施形態を適用できる。この場合、該実施形態による処理装置は、例えば診断対象の心臓の形状と正常な心臓の形状とを位置合わせすることで形状間の比較を行い、形状に現れる心疾患に関する解析情報を生成することができる。 [Seventh embodiment]
In the first to sixth embodiments, the case where the breast of a human body is a processing target has been described as an example. However, the processing target is not limited to the human breast. For example, the processing target may be the breast of an animal other than a human body. Further, the processing target may be another organ. For example, in the case of targeting the heart, the above-described embodiment can be applied by extracting an area surrounded by the outer wall and the inner wall of the heart as a heart area and extracting a cusp as a reference point from the outer wall shape of the heart. In this case, the processing device according to the embodiment performs comparison between shapes, for example, by aligning the shape of the heart to be diagnosed with the shape of a normal heart, and generates analysis information regarding the heart disease that appears in the shape. Can do.
　また、上記の実施形態による処理装置は、拍動する心臓の時系列撮像画像の間の位置合わせを行い、心臓形状を時系列にトラッキングすることで、心臓の形状変動に現れる心疾患に関する解析情報を生成することができる。また、該実施形態による処理装置は、同一症例の過去の撮像画像と現在の撮像画像との間、もしくは時期の異なる過去の複数の画像との間の位置合わせに適用し、心疾患等の進行度などを示す解析情報を生成することもできる。本発明の実施はこれ以外にも、例えば肝臓や肺などの他の臓器に適用することができる。 Further, the processing device according to the above embodiment performs alignment between time-series captured images of the beating heart and tracks the heart shape in time series, thereby analyzing information regarding heart diseases that appear in heart shape fluctuations. Can be generated. In addition, the processing device according to the embodiment is applied to alignment between a past captured image of the same case and a current captured image, or between a plurality of past images at different times, and a progression of heart disease or the like. Analysis information indicating the degree or the like can also be generated. In addition to this, the present invention can be applied to other organs such as the liver and lungs.
　また、上記の実施形態は必ずしも人体の臓器を対象とした医療目的に用いられる場合に限らず、例えば工業用部品等の形状解析や精度分析などに適用することもできる。一例としてはプレス加工による部品成型を行う際に、成形された部品の形状と、金型の形状との間の形状比較に本発明を実施することもできる。これによれば、成形された部品の形状のばらつきが比較的に大きい場合であっても、形状間の比較を頑健に行える効果が期待できる。 Also, the above embodiment is not necessarily used for medical purposes targeting human organs, and can be applied to, for example, shape analysis and accuracy analysis of industrial parts and the like. As an example, when performing component molding by press working, the present invention can also be implemented for shape comparison between the shape of a molded component and the shape of a mold. According to this, even when the variation in the shape of the molded parts is relatively large, it is possible to expect an effect that the comparison between the shapes can be performed robustly.
（その他の実施例）　
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。 The present invention is not limited to the above embodiment, and various changes and modifications can be made without departing from the spirit and scope of the present invention. Therefore, in order to make the scope of the present invention public, the following claims are attached.
　本願は、２０１４年１月１０日提出の日本国特許出願特願２０１４－００３６９９を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。 This application claims priority on the basis of Japanese Patent Application No. 2014-003699 filed on Jan. 10, 2014, the entire contents of which are incorporated herein by reference.

Claims (14)

  1. 　２つの異なる姿勢で撮影された対象物体の画像それぞれから、該対象物体の注目部位の解剖学特徴を取得する取得手段と、
    　前記解剖学特徴に基づいて、前記２つの異なる姿勢の前記対象物体の注目部位の形状をそれぞれ、所定の基準となる形状に変換させるための正規化変換情報を生成する正規化手段と、
    　前記正規化変換情報に基づいて、前記２つの異なる姿勢で撮影された前記対象物体の画像間の変形の統計的な特性を示す統計変形モデルを生成する生成手段とを有することを特徴とする処理装置。     Acquisition means for acquiring an anatomical feature of the target region of the target object from each of the images of the target object photographed in two different postures;
    Normalization means for generating normalization conversion information for converting the shapes of the target portions of the target objects of the two different postures into shapes serving as predetermined references based on the anatomical features;
    And generating means for generating a statistical deformation model indicating a statistical characteristic of deformation between images of the target object photographed in the two different postures based on the normalized conversion information. apparatus.
  2. 　前記取得手段は、複数の症例それぞれについて前記２つの異なる姿勢で撮影された対象物体の画像それぞれから、該対象物体の注目部位の解剖学特徴を取得し、
    　前記正規化手段は、前記複数の症例それぞれについて取得された前記解剖学特徴に基づいて前記正規化変換情報を生成し、
    　前記生成手段は、前記複数の症例それぞれについて生成された前記正規化変換情報に基づいて前記統計変形モデルを生成することを特徴とする請求項1に記載の処理装置。     The acquisition means acquires an anatomical feature of a target region of the target object from each of the images of the target object taken in the two different postures for each of a plurality of cases,
    The normalization means generates the normalized conversion information based on the anatomical features acquired for each of the plurality of cases,
    2. The processing apparatus according to claim 1, wherein the generation unit generates the statistical deformation model based on the normalized conversion information generated for each of the plurality of cases.
  3. 　前記生成手段は、前記複数の症例それぞれについて生成された前記正規化変換情報を用いて、前記２つの異なる姿勢について前記所定の基準となる形状に変換された後の該２つの姿勢の間の変換の関係である変換情報を生成し、該変換情報を用いて前記統計変形モデルを生成することを特徴とする請求項2に記載の処理装置。 The generation means converts between the two postures after the two different postures are converted into the predetermined reference shape using the normalized conversion information generated for each of the plurality of cases. 3. The processing apparatus according to claim 2, wherein conversion information that is a relationship between the statistical deformation model and the statistical deformation model is generated using the conversion information.
  4. 　前記生成手段は、前記変換情報を前記対象物体の注目部位の大きさを用いてスケーリングし、該スケーリングした前記変換情報をベクトル化し、前記ベクトル化されたベクトルを主成分分析することによって前記統計変形モデルを生成することを特徴とする請求項3に記載の処理装置。 The generating means scales the conversion information using the size of the target region of the target object, vectorizes the scaled conversion information, and performs principal component analysis on the vectorized vector. 4. The processing apparatus according to claim 3, wherein a model is generated.
  5. 　前記統計変形モデルは、前記主成分分析された前記ベクトルの平均ベクトルと固有ベクトルで表されることを特徴とする請求項4に記載の処理装置。 5. The processing apparatus according to claim 4, wherein the statistical deformation model is represented by an average vector and an eigenvector of the vector subjected to the principal component analysis.
  6. 　前記生成手段はさらに、前記複数の症例それぞれについて前記２つの異なる姿勢のうちの１つの姿勢で撮影された対象物体の画像それぞれから、該１つの姿勢で撮影された対象物体の注目部位の形状と前記所定の基準となる形状に変換させた前記注目部位の形状との統計的な関係を示す統計形状モデルを生成することを特徴とする請求項2乃至5のいずれか1項に記載の処理装置。 The generating means further includes, from each of the images of the target object imaged in one of the two different attitudes for each of the plurality of cases, the shape of the target region of the target object imaged in the one attitude 6. The processing apparatus according to claim 2, wherein a statistical shape model is generated that indicates a statistical relationship with the shape of the target region that has been converted into the predetermined reference shape. .
  7. 　前記統計変形モデルと前記統計形状モデルを統合させた統計モデルを生成する統計モデル生成手段を更に有することを特徴とする請求項6に記載の処理装置。 The processing apparatus according to claim 6, further comprising statistical model generation means for generating a statistical model obtained by integrating the statistical deformation model and the statistical shape model.
  8. 　前記複数の症例とは異なる対象症例について前記２つの異なる姿勢で撮影された対象物体の画像間の変形を、前記統計変形モデルを用いて算出する算出手段を更に有することを特徴とする請求項2乃至6のいずれか1項に記載の処理装置。 3. The apparatus according to claim 2, further comprising: a calculating unit that calculates a deformation between images of the target object photographed in the two different postures for a target case different from the plurality of cases using the statistical deformation model. 7. The processing apparatus according to any one of 1 to 6.
  9. 　前記複数の症例とは異なる対象症例について前記２つの異なる姿勢で撮影された対象物体の画像間の変形を、前記統計変形モデルと前記統計形状モデルを用いて算出する算出手段を更に有することを特徴とする請求項6に記載の処理装置。 The image processing apparatus further includes a calculation unit configured to calculate deformation between images of the target object photographed in the two different postures for a target case different from the plurality of cases using the statistical deformation model and the statistical shape model. The processing apparatus according to claim 6.
  10. 　前記複数の症例とは異なる対象症例について前記２つの異なる姿勢で撮影された対象物体の画像間の変形を、前記統計モデルを用いて算出する算出手段を更に有することを特徴とする請求項7に記載の処理装置。 8. The apparatus according to claim 7, further comprising a calculation unit that calculates, using the statistical model, deformation between images of the target object photographed in the two different postures for a target case different from the plurality of cases. The processing apparatus as described.
  11. 　前記変形に基づいて、前記対象症例について撮影された前記対象物体の画像を変形する変形手段を更に有することを特徴とする請求項8乃至10のいずれか1項に記載の処理装置。 11. The processing apparatus according to claim 8, further comprising a deformation unit that deforms an image of the target object photographed for the target case based on the deformation.
  12. 　前記解剖学特徴は、該対象物体の注目部位の輪郭と該輪郭上の所定の位置にある基準点を含むことを特徴とする請求項1乃至11のいずれか1項に記載の処理装置。 12. The processing apparatus according to claim 1, wherein the anatomical feature includes an outline of a target region of the target object and a reference point at a predetermined position on the outline.
  13. 　２つの異なる姿勢で撮影された対象物体の画像それぞれから、該対象物体の注目部位の解剖学特徴を取得する取得工程と、
    　前記解剖学特徴に基づいて、前記２つの異なる姿勢の前記対象物体の注目部位の形状をそれぞれ、所定の基準となる形状に変換させるための正規化変換情報を生成する正規化工程と、
    　前記正規化変換情報に基づいて、前記２つの異なる姿勢で撮影された前記対象物体の画像間の変形の統計的な特性を示す統計変形モデルを生成する生成工程とを有することを特徴とする処理方法。     An acquisition step of acquiring an anatomical feature of a target region of the target object from each of the images of the target object photographed in two different postures;
    Based on the anatomical features, a normalization step of generating normalization conversion information for converting the shapes of the target portions of the target objects of the two different postures into shapes that serve as predetermined standards,
    A generating step of generating a statistical deformation model indicating a statistical characteristic of deformation between images of the target object photographed in the two different postures based on the normalized conversion information. Method.
  14. 　請求項1乃至請求項12のいずれか１項に記載の処理装置としてコンピュータを機能させることを特徴とするプログラム。 A program that causes a computer to function as the processing device according to any one of claims 1 to 12.
PCT/JP2014/005220 2014-01-10 2014-10-15 Processing device, processing method, and program WO2015104737A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-003699 2014-01-10
JP2014003699A JP6383153B2 (en) 2014-01-10 2014-01-10 Processing device, processing method, and program

Publications (1)

Publication Number Publication Date
WO2015104737A1 true WO2015104737A1 (en) 2015-07-16

Family

ID=53523600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005220 WO2015104737A1 (en) 2014-01-10 2014-10-15 Processing device, processing method, and program

Country Status (2)

Country Link
JP (1) JP6383153B2 (en)
WO (1) WO2015104737A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210290167A1 (en) * 2020-03-19 2021-09-23 Siemens Healthcare Gmbh Deformation model for a tissue

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109074659B (en) * 2016-05-04 2023-04-04 皇家飞利浦有限公司 Medical atlas registration
JP7252366B2 (en) * 2019-10-30 2023-04-04 富士フイルム株式会社 OBJECT DETECTION DEVICE, OBJECT DETECTION METHOD AND PROGRAM
US20230410981A1 (en) * 2020-11-25 2023-12-21 Panasonic Holdings Corporation Medical image display system, medical image display method, and recording medium
WO2022138278A1 (en) * 2020-12-24 2022-06-30 富士フイルム株式会社 Medical image processing method, medical image processing program, medical image processing device, and learning method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004275361A (en) * 2003-03-14 2004-10-07 Fuji Photo Film Co Ltd Image display device
JP2005514148A (en) * 2001-12-28 2005-05-19 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Medical examination apparatus having means for executing setting correction
JP2008165773A (en) * 2006-12-19 2008-07-17 Fujifilm Corp Method and apparatus for probabilistic atlas based on shape modeling technique
JP2011123682A (en) * 2009-12-10 2011-06-23 Canon Inc Information processing apparatus and method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005514148A (en) * 2001-12-28 2005-05-19 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Medical examination apparatus having means for executing setting correction
JP2004275361A (en) * 2003-03-14 2004-10-07 Fuji Photo Film Co Ltd Image display device
JP2008165773A (en) * 2006-12-19 2008-07-17 Fujifilm Corp Method and apparatus for probabilistic atlas based on shape modeling technique
JP2011123682A (en) * 2009-12-10 2011-06-23 Canon Inc Information processing apparatus and method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210290167A1 (en) * 2020-03-19 2021-09-23 Siemens Healthcare Gmbh Deformation model for a tissue

Also Published As

Publication number Publication date
JP2015130973A (en) 2015-07-23
JP6383153B2 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
JP6346445B2 (en) PROCESSING DEVICE, PROCESSING DEVICE CONTROL METHOD, AND PROGRAM
JP5546230B2 (en) Information processing apparatus, information processing method, and program
US8908944B2 (en) Information processing apparatus, information processing method, and program
JP6000705B2 (en) Data processing apparatus and data processing method
KR101267759B1 (en) Information processing apparatus, information processing method, and storage medium
US9218542B2 (en) Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
JP6383153B2 (en) Processing device, processing method, and program
JP7214434B2 (en) MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING PROGRAM
JP6407959B2 (en) Model initialization based on view classification
US10762648B2 (en) Image processing apparatus, image processing method, image processing system, and program
US9129392B2 (en) Automatic quantification of mitral valve dynamics with real-time 3D ultrasound
JP6905323B2 (en) Image processing equipment, image processing methods, and programs
JP2016087109A (en) Image processing system, image processing method, and program
US9286688B2 (en) Automatic segmentation of articulated structures
JP2022111705A (en) Leaning device, image processing apparatus, medical image pick-up device, leaning method, and program
JP2022111704A (en) Image processing apparatus, medical image pick-up device, image processing method, and program
JP6660428B2 (en) Processing device, processing method, and program
JP5943267B2 (en) Personal model data generation method, generation program, and generation system
JP2019500114A (en) Determination of alignment accuracy
Mao Three-dimensional Ultrasound Fusion for Transesophageal Echocardiography
JP2022111706A (en) Image processing apparatus, image processing method, medical imaging apparatus, and program
JPWO2020138136A1 (en) Image processing equipment, image processing methods and programs
JP2021086260A (en) Image processing apparatus, image processing method, and program
JP2021086263A (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14878008

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14878008

Country of ref document: EP

Kind code of ref document: A1