JP6821403B2 - 画像処理装置、画像処理方法、画像処理システム、及びプログラム。 - Google Patents
画像処理装置、画像処理方法、画像処理システム、及びプログラム。 Download PDFInfo
- Publication number
- JP6821403B2 JP6821403B2 JP2016224383A JP2016224383A JP6821403B2 JP 6821403 B2 JP6821403 B2 JP 6821403B2 JP 2016224383 A JP2016224383 A JP 2016224383A JP 2016224383 A JP2016224383 A JP 2016224383A JP 6821403 B2 JP6821403 B2 JP 6821403B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- conversion
- information
- deformation
- acquisition means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 131
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 292
- 230000009466 transformation Effects 0.000 claims description 123
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000004048 modification Effects 0.000 claims description 16
- 238000012986 modification Methods 0.000 claims description 16
- 238000000844 transformation Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 135
- 238000010606 normalization Methods 0.000 description 83
- 230000008569 process Effects 0.000 description 77
- 230000006870 function Effects 0.000 description 23
- 230000008859 change Effects 0.000 description 9
- 210000000481 breast Anatomy 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000001131 transforming effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000002445 nipple Anatomy 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000003325 tomography Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000000779 thoracic wall Anatomy 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- OHVLMTFVQDZYHP-UHFFFAOYSA-N 1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-2-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound N1N=NC=2CN(CCC=21)C(CN1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)=O OHVLMTFVQDZYHP-UHFFFAOYSA-N 0.000 description 1
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical class C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 1
- IHCCLXNEEPMSIO-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperidin-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C1CCN(CC1)CC(=O)N1CC2=C(CC1)NN=N2 IHCCLXNEEPMSIO-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000001152 differential interference contrast microscopy Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10108—Single photon emission computed tomography [SPECT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、画像処理装置、画像処理方法、画像処理システム、及びプログラムに関する。
複数の画像を位置合わせして表示させたり、解析したりする技術が、たとえば医療分野における画像診断に活用されている。位置合わせの精度を向上するために、位置合わせを行う画像間の対応する点である対応点の情報を取得し、位置合わせに用いることがある。そこで、対応点の情報の取得を支援するための技術が提案されている。たとえば特許文献1や特許文献2には、同一の被検体の異なる形状を撮像した画像について、対応点を目視で同定しやすい画像とするために当該被検体の特定の構造に基づいた座標変換をそれぞれの画像に施し、当該座標変換が施された画像間で対応点の情報を取得することが開示されている。
複数の画像に対して、対応点を同定しやすくするためにそれぞれ座標変換を施すと、変形された画像に描出される被検体の形状は、元の画像に描出されている被検体の形状と大きく異なる場合がある。したがって、座標変換を施すことにより対応点が同定しやすくなる代わりに、座標変換を施されて変形された画像間で位置合わせを行うことが難しくなる場合がある。
本発明にかかる画像処理装置は、被検体を撮像して得られる第一の画像と第二の画像のそれぞれを、前記被検体の注目部位の輪郭と前記輪郭上にある基準点とに基づいて第一の変換画像と第二の変換画像に変換するための座標変換を取得する座標変換取得手段と、前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の情報である対応情報を取得する情報取得手段と、前記情報取得手段により取得された前記対応情報と、前記変換取得手段により取得された前記座標変換とに基づいて、前記第一の変換画像に含まれる対応点の位置を前記第一の画像における位置に変換し、前記第二の変換画像に含まれる対応点の位置を、前記第二の画像における位置に変換する変換手段と、前記第一の画像と前記第二の画像における位置にそれぞれ前記変換手段により変換された前記対応点の情報と、前記第一の画像と前記第二の画像における前記被検体の変形を規定する正則化の情報とに基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換を取得する変形変換取得手段と、を有することを特徴とする。
本発明によれば、対応点を同定しやすい画像に変形するための座標変換が施された画像間で取得された対応点の情報を、元の画像における対応点の情報に変換することで、元の画像の特性に応じた位置合わせのための変形変換を取得することができる。これにより、対応点を同定しやすくするために変形された画像間で位置合わせを行うことが難しい場合に、元の画像に基づいて位置合わせを行えるようになるので、精度の高い位置合わせを行うための仕組みを提供することができる。
以下、図面を参照して本発明の実施形態を説明する。
[第一の実施形態]
医療分野における画像診断には、たとえば複数の撮像装置(モダリティ)、異なる日時、異なる体位、異なる撮像モードで撮像された複数の画像が用いられることがある。複数の画像を用いた画像診断において、複数の画像間の位置合わせが行われることがある。位置合わせの精度を向上するために、たとえばそれぞれの画像に描出されている構造などを対応点として目視で対応付ける作業が行われる。
医療分野における画像診断には、たとえば複数の撮像装置(モダリティ)、異なる日時、異なる体位、異なる撮像モードで撮像された複数の画像が用いられることがある。複数の画像を用いた画像診断において、複数の画像間の位置合わせが行われることがある。位置合わせの精度を向上するために、たとえばそれぞれの画像に描出されている構造などを対応点として目視で対応付ける作業が行われる。
第一の実施形態にかかる画像処理装置100は、互いに異なる変形状態で被検体を撮像した第一の画像と第二の画像を入力として、第一の画像と第二の画像との間の位置合わせのための変形変換を取得する。そして、画像処理装置100は、第一の画像と第二の画像のうちの一方を他方の画像に一致させるように変形させる変形画像を生成する。この、位置合わせに用いる対応点を取得するために、当該入力画像の間で対応する位置を取得するために、第一の画像と第二の画像を比較して観察しやすい空間、たとえば正規化空間へ投影する。そして、画像処理装置100は、正規化空間に投影された画像上で、ユーザの操作入力等により対応する位置を取得する。さらに、画像処理装置100は、取得した位置に対応する位置を元の画像の空間すなわち実空間に投影し、この実空間において被検体の物理的な変形の適切さを考慮するための正則化の情報に基づいて(変形に正則化を施した)位置合わせを行う。ここで、実空間とはモダリティによる撮像で得られる画像の画像座標系で定義される空間である、第一の画像や第二の画像の画像座標系で定義される空間である。正規化空間については、後に詳しく説明する。
図1は、画像処理装置100の機能構成の一例を示すブロック図である。画像処理装置100は、データサーバ170、操作部180、及び表示部190と接続されている。
データサーバ170は、ネットワークを介して画像処理装置100と接続されており、以下に説明する第一の画像及び第二の画像を保持している。データサーバ170が保持する第一の画像及び第二の画像は、それぞれ異なる条件で被検体を予め撮像して得られた医用画像である。ここで、条件とは撮像に用いられたモダリティの種類や、撮像モードや、日時や、被検体の体位等である。医用画像とは、たとえば、MRI(magnetic resonance imaging)装置、X線CT(computed tomography)装置、超音波撮影装置、光音響トモグラフィ(PAT:photoacoustic tomography)装置、PET(positron emission tomography)/SPECT(single photon emission computed tomography)、OCT(optic coherence tomography)装置といったモダリティにより撮像される三次元断層画像等である。第一の実施形態において第一の画像及び第二の画像は、同一の被検体を撮像して得られる2つの医用画像であり、同一の被検体をそれぞれ異なる変形状態で撮像して得られる2つの医用画像である。第一の画像及び第二の画像は、例えば、異なるモダリティや異なる撮像モードで同時期に撮像されたものであってもよく、経過観察のために同一患者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよい。第一の画像及び第二の画像は、データ取得部102を介して画像処理装置100に入力される。
操作部180は、たとえばマウスやキーボードである。操作部180は、ユーザの操作を受け付ける。ユーザが操作部180を介した操作入力により指定する、第一の画像と第二の画像との間の対応点の位置が、対応点取得部106を介して画像処理装置100に入力される。
表示部190は、画像処理装置100からの出力に基づいて表示を行う。たとえば、画像処理装置100が生成する表示画像を表示し、ユーザからの指示を取得するためのGUIを提供する。
画像処理装置100は、データ取得部102、正規化変換取得部103、正規化画像生成部104、表示制御部105、対応点取得部106、対応点変換部107、変換変形取得部(変形推定部)108、変形画像生成部109を有する。データ取得部102は、データサーバ170から、入力画像である第一の画像及び第二の画像を取得する。正規化変換取得部103は、第一の画像及び第二の画像のそれぞれを、対応点を同定しやすい画像に変形するための座標変換を取得する。第一の実施形態においては、正規化変換取得部103は第一の画像及び第二の画像に関する正規化変換を取得する。正規化変換取得部103は、座標変換取得手段の一例である。正規化画像生成部104は、第一の画像及び第二の画像のそれぞれを正規化変換した正規化画像である第一の正規化画像と第二の正規化画像とを生成する。正規化画像生成部104は、変換画像生成手段の一例である。表示制御部105は、第一の画像、第二の画像、第一の正規化画像、第二の正規化画像及び後述する変形画像を、ユーザの操作入力又は所定のプログラムによる制御に応じて表示部190に表示させる。表示制御部105は、たとえば表示部190といった外部の装置に対して、表示可能な画像データを出力する出力手段としても機能する。対応点取得部106は、ユーザによる操作部180の操作に従って、第一の正規化画像上と第二の正規化画像上とにおける対応点の位置に関する情報を取得する。対応点取得部106は、情報取得手段の一例である。対応点変換部107は、正規化変換に基づいて、対応点の位置を正規化空間からそれぞれの元の画像の空間である実空間へと変換する。対応点変換部107は、変換手段の一例である。変形変換取得部(変形推定部)108は、変換された実空間における対応点の位置に基づいて、第一の画像と第二の画像の間の変形推定を行い、画像間の変形変換を取得する。変形変換取得部108は、変形変換取得手段の一例である。変形画像生成部109は、画像間の変形変換に基づいて、第一の画像と第二の画像の少なくともいずれか一方を変形させることにより位置合わせがされた第一の変形画像あるいは第二の変形画像を生成する。以下では、一つの画像上に、他の画像上の位置と対応する位置を示す点である対応点として指定された一つの点或いは複数の点のそれぞれの位置を対応点位置と称する。
図2は、画像処理装置100のハードウェア構成の一例を示す図である。画像処理装置100はたとえばコンピュータである。画像処理装置100は、主制御部であるCPU(Central Processing Unit)201、記憶部であるRAM(Random Access Memory)202、ROM(Read Only Memory)203、SSD(Solid State Drive)204、通信部である通信回路205、接続部であるUSB(Universal Serial Bus)206、HDMI(登録商標)(High Definition Multimedia Interface)208、グラフィック制御部であるGPU(Graphics Processing Unit)207、を有し、これらは内部バスにより通信可能に接続されている。CPU201は画像処理装置100及びこれに接続する各部を統合的に制御する制御回路である。RAM202は画像処理装置100及びこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶するためのメモリである。RAM202は、CPU201が実行する制御プログラムを格納し、CPU201が各種制御を実行する際の様々なデータを一時的に格納する。ROM203は、CPU201による制御の手順を記憶させたプログラムやデータを格納する。SSD204はプログラムやデータを格納する。通信回路205はネットワークを介してデータサーバ170と通信を行う。USB206は操作部180と接続している。GPU207は画像処理ユニットであり、CPU201からの制御に応じて画像処理を実行する。画像処理の結果得られる画像はHDMI(登録商標)208を介して表示部190に出力され、表示される。操作部180と表示部190はタッチパネルモニタとして統合されていても良い。
図1に示される各構成が有する機能は、実施形態の一つでは、RAM202、ROM203、SSD204に格納されているプログラムをCPU201が実行することにより実現される。別の実施形態では、図1に示される各構成が有する機能を、上述のCPU201に加えてGPU207やFPGA(Field−Programmable Gate Array)(不図示)といった回路により実現される。この場合、GPU207やFPCA(不図示)に対する入力、画像処理にかかるパラメータの設定、GPU207やFPGA(不図示)からの出力の受け取りの少なくともいずれかの処理はCPU201により制御される。表示制御部105の機能は、CPU201及びGPU207により実現される。この際にCPU201はGPU207に対して表示部190への所定の情報の表示を指示し、GPU207が表示部190に表示させるための表示データを生成及び当該表示データの表示部190への出力を行う。別の実施形態では通信回路205は単一のNIC(network interface card)又は必要に応じて複数のNICにより実現される。別の実施形態では、CPU201は装置の中に複数含まれていてもよい。
図3は、画像処理装置100が行う全体の処理の一例を示すフローチャートである。図4はステップS301の処理の一例を説明するための図である。図5はステップS301の処理の一例を示すフローチャートである。図6は、画像処理装置100が行う全体の処理の一例を説明するための図である。以下、図3乃至図6を適宜参照して、画像処理装置100が行う処理について説明する。
(ステップS300:画像データの取得)
図3に示すステップS300において、データ取得部102は、データサーバ170から、第一の画像及び第二の画像を取得する。第一の実施形態では、第一の画像としてMRI画像を、第二の画像としてPAT画像を取得する場合を例に説明する。以下、第一の実施形態では、第一の画像をI1、第二の画像をI2と表記する。ここで第一の画像I1と第二の画像I2は同一被検体の乳房であって、変形状態の異なる乳房を撮像した画像とする。被検体はMRI撮像時とPAT撮像時とで異なる体位をとることや、MRI装置、PAT装置と乳房が接触することによって、第一の画像I1と第二の画像I2では描出される乳房の形状が異なっている。なお、第一の画像I1と第二の画像I2はそれぞれ三次元画像であり、それぞれの画像には画像座標系が定義されているものとする。第一の実施形態では、第一の画像I1や第二の画像I2の画像座標系で定義される空間を実空間と称する。ステップS300の処理は、図6に示す第一の画像I1(600)と第二の画像I2(601)を取得する処理である。
図3に示すステップS300において、データ取得部102は、データサーバ170から、第一の画像及び第二の画像を取得する。第一の実施形態では、第一の画像としてMRI画像を、第二の画像としてPAT画像を取得する場合を例に説明する。以下、第一の実施形態では、第一の画像をI1、第二の画像をI2と表記する。ここで第一の画像I1と第二の画像I2は同一被検体の乳房であって、変形状態の異なる乳房を撮像した画像とする。被検体はMRI撮像時とPAT撮像時とで異なる体位をとることや、MRI装置、PAT装置と乳房が接触することによって、第一の画像I1と第二の画像I2では描出される乳房の形状が異なっている。なお、第一の画像I1と第二の画像I2はそれぞれ三次元画像であり、それぞれの画像には画像座標系が定義されているものとする。第一の実施形態では、第一の画像I1や第二の画像I2の画像座標系で定義される空間を実空間と称する。ステップS300の処理は、図6に示す第一の画像I1(600)と第二の画像I2(601)を取得する処理である。
(ステップS301:正規化変換の取得)
図3に示すステップS301において、正規化変換取得部103は、第一の画像I1及び第二の画像I2のそれぞれを正規化した画像へと変換する第一の正規化変換Tn1及び第二の正規化変換Tn2を取得する。すなわち、実空間上に定義された座標系を持つ第一の画像I1及び第二の画像I2を、正規化空間へと投影する変換を取得する処理を実行する。ステップS301の処理は、図6に示す座標変換Tn1(602)と座標変換Tn2(603)を取得する処理である。
図3に示すステップS301において、正規化変換取得部103は、第一の画像I1及び第二の画像I2のそれぞれを正規化した画像へと変換する第一の正規化変換Tn1及び第二の正規化変換Tn2を取得する。すなわち、実空間上に定義された座標系を持つ第一の画像I1及び第二の画像I2を、正規化空間へと投影する変換を取得する処理を実行する。ステップS301の処理は、図6に示す座標変換Tn1(602)と座標変換Tn2(603)を取得する処理である。
第一の実施形態における正規化とは、被検体の注目部位の輪郭と当該輪郭上にある基準点とに基づいて、第一の画像と第二の画像をそれぞれ第一の変換画像と第二の変換画像に変換するための座標変換である。より詳細には、第一の実施形態における正規化とは、複数の異なる変形状態で撮像された被検体の画像である第一の画像と第二の画像における解剖学的特徴の位置・形状を、それらが略同一の位置・形状となる共通空間(正規化空間)へと投影する座標変換である。第一の実施形態における正規化の座標変換である正規化変換は、異なる変形状態で撮像された第一の画像I1と第二の画像I2に共通して描出される乳頭や体表などの解剖学的特徴の位置・形状に基づき、各画像の解剖学的特徴の位置・形状が略同一の位置・形状となる正規化空間への座標変換である。第一の画像を正規化変換して得られる第一の変換画像を、以下では第一の正規化画像とする。また、第二の画像を正規化変換して得られる第二の変換画像を、以下では第二の正規化画像とする。以下に、正規化変換の取得方法の一例を説明する。
図4(A)は、第一の画像I1の模式図である。第一の実施形態における第一の画像は三次元のMRI画像であり、図4(A)に示す断面画像400は、第一の画像I1のある断面画像を表す模式図である。ステップS300において、正規化変換取得部103は、第一の画像I1の断面画像400から被検体の乳頭401の位置座標P1及び体表402の形状情報S1を取得する。これらの情報は、第一の画像I1の座標系における位置情報、すなわち実空間における位置情報として取得される。
図4(B)は、後述するステップS302で生成する第一の正規化画像I1´のある断面画像を表す模式図である。ステップS300において、正規化変換取得部103は、図4(A)の断面画像400に表されるような第一の画像I1を、図4(B)の断面画像410に表されるような第一の正規化画像I1´へと変形させるための座標変換を取得する。図4(B)に示す第一の正規化画像I1´の断面画像410において乳頭411は、図4(A)に示す第一の画像I1の断面画像400の乳頭401の位置座標P1をステップS300で取得される正規化変換により変換した座標位置P1´に位置する。同様に、体表412は、図4(A)の体表402を正規化変換により変換した形状S1´により表される。体表412は第一の正規化画像I1´において、所定の平面上に位置する形状である。また、体表412上の各位置における乳頭411との間の体表に沿った測地線距離は、正規化変換の前後で略同一の距離を保つものとする。すなわち、正規化変換により図4(A)の体表402は乳頭401を中心として伸縮することなく、または小さな伸縮の範囲内で、図4(B)の体表412に変換される。
上記の正規化変換を取得するために、ステップS301で正規化変換取得部103が実行する処理を、図5のフローチャートを用いて詳細に説明する。
(ステップS3010:体表形状の取得)
図5に示すステップS3010において、正規化変換取得部103は、第一の画像I1における被検体の体表形状を取得する。この処理は、例えば第一の画像I1に対してエッジ検出といった画像処理を行うことで自動的に取得することができる。また第一の画像I1を、表示制御部105を介して表示部190に表示させてユーザが観察できるようにし、ユーザの操作入力等に基づいて体表形状を取得するようにしてもよい。ここで取得される体表形状をS1と表記する。第一の実施形態ではS1は体表形状を表す点群により構成され、それらの点群は第一の画像I1の座標系における位置情報、すなわち実空間における位置情報として取得される。
図5に示すステップS3010において、正規化変換取得部103は、第一の画像I1における被検体の体表形状を取得する。この処理は、例えば第一の画像I1に対してエッジ検出といった画像処理を行うことで自動的に取得することができる。また第一の画像I1を、表示制御部105を介して表示部190に表示させてユーザが観察できるようにし、ユーザの操作入力等に基づいて体表形状を取得するようにしてもよい。ここで取得される体表形状をS1と表記する。第一の実施形態ではS1は体表形状を表す点群により構成され、それらの点群は第一の画像I1の座標系における位置情報、すなわち実空間における位置情報として取得される。
(ステップS3011:乳頭位置の取得)
ステップS3011において、正規化変換取得部103は、第一の画像I1における被検体の乳頭位置を取得する。この処理は、例えば第一の画像に対してエッジ検出等の画像処理を行うことで取得することができる。あるいは、ステップS3010で取得した体表形状S1に基づき、その形状の曲率の変曲点や頂点位置などを取得することで取得するようにしてもよい。また、ユーザによる入力操作等に基づいて取得してもよい。第一の実施形態では、取得した乳頭位置をP1と表記する。乳頭位置P1は、第一の画像の画像座標系における位置情報、すなわち実空間における位置情報として取得される。
ステップS3011において、正規化変換取得部103は、第一の画像I1における被検体の乳頭位置を取得する。この処理は、例えば第一の画像に対してエッジ検出等の画像処理を行うことで取得することができる。あるいは、ステップS3010で取得した体表形状S1に基づき、その形状の曲率の変曲点や頂点位置などを取得することで取得するようにしてもよい。また、ユーザによる入力操作等に基づいて取得してもよい。第一の実施形態では、取得した乳頭位置をP1と表記する。乳頭位置P1は、第一の画像の画像座標系における位置情報、すなわち実空間における位置情報として取得される。
(ステップS3012:正規化空間における乳頭位置、体表形状の取得)
ステップS3012において、正規化変換取得部103は、正規化空間すなわち第一の正規化画像I1´の座標系における乳頭位置及び体表形状を取得する。以下では、正規化空間における乳頭位置をP1´と表記する。第一の実施形態においてP1´は、正規化空間における原点位置(x,y,z)=(0,0,0)とする。また、以下では正規化空間における体表形状をS1´と表記する。S1´は正規化空間における点群により構成する。第一の実施形態においてS1´は、正規化空間のy=0の平面上の位置とする。S1´を構成する各点のx座標値及びz座標値は、正規化前後における乳頭との体表に沿った測地線距離の変化が小さくなるように定める。またS1を構成する点群の相互の距離を保つように、正規化空間におけるS1´の位置を定める。S1´の位置は、例えば多次元尺度構成法といった低歪な次元縮退方法など、公知の手法を用いて決定される。
ステップS3012において、正規化変換取得部103は、正規化空間すなわち第一の正規化画像I1´の座標系における乳頭位置及び体表形状を取得する。以下では、正規化空間における乳頭位置をP1´と表記する。第一の実施形態においてP1´は、正規化空間における原点位置(x,y,z)=(0,0,0)とする。また、以下では正規化空間における体表形状をS1´と表記する。S1´は正規化空間における点群により構成する。第一の実施形態においてS1´は、正規化空間のy=0の平面上の位置とする。S1´を構成する各点のx座標値及びz座標値は、正規化前後における乳頭との体表に沿った測地線距離の変化が小さくなるように定める。またS1を構成する点群の相互の距離を保つように、正規化空間におけるS1´の位置を定める。S1´の位置は、例えば多次元尺度構成法といった低歪な次元縮退方法など、公知の手法を用いて決定される。
(ステップS3013:正規化変換の取得)
ステップS3013において、正規化変換取得部103は、P1とP1´及びS1とS1´の位置の関係に基づいて、第一の画像I1を正規化するための第一の正規化変換Tn1を取得する。具体的にはFFD法(Free Form Deformation法)やTPS法(Thin Plate Spline法)などの公知の変形補間方法または変形取得手法を用いて、正規化変換を取得することができる。例えば、FFD法を用いる場合であれば、元の画像である第一の画像I1のP1及びS1を構成する各点の位置が、正規化変換後にP1´及びS1´に近づくように繰り返し計算を行うことにより、変形の最適化を行う。この時、変換による空間の歪や急激な変化、極端な伸縮等を抑制、するための条件に基づいて正規化変換を取得することが好ましい。例えば、被検体の乳房の内部の位置において、正規化変換による体表からの距離の変動を抑制する拘束を加えて正規化変換を取得するようにしてもよい。すなわち正規化変換とは、被検体の体表の位置と形状が第一の変換画像I1´と第二の変換画像I2´とで略一致するように変形される正規化空間への非線形変換である。
ステップS3013において、正規化変換取得部103は、P1とP1´及びS1とS1´の位置の関係に基づいて、第一の画像I1を正規化するための第一の正規化変換Tn1を取得する。具体的にはFFD法(Free Form Deformation法)やTPS法(Thin Plate Spline法)などの公知の変形補間方法または変形取得手法を用いて、正規化変換を取得することができる。例えば、FFD法を用いる場合であれば、元の画像である第一の画像I1のP1及びS1を構成する各点の位置が、正規化変換後にP1´及びS1´に近づくように繰り返し計算を行うことにより、変形の最適化を行う。この時、変換による空間の歪や急激な変化、極端な伸縮等を抑制、するための条件に基づいて正規化変換を取得することが好ましい。例えば、被検体の乳房の内部の位置において、正規化変換による体表からの距離の変動を抑制する拘束を加えて正規化変換を取得するようにしてもよい。すなわち正規化変換とは、被検体の体表の位置と形状が第一の変換画像I1´と第二の変換画像I2´とで略一致するように変形される正規化空間への非線形変換である。
以上の処理により、第一の正規化変換Tn1が取得される。ここでTn1は、第一の画像I1の画像座標系における位置座標xを、後述する第一の正規化画像I1´の座標系における位置座標x´へと変換する変換関数である。第一の実施形態では、第一の正規化変換Tn1の作用を式1のように表記する。
(式1)x´=Tn1(x)
さらに、ステップS3013において、正規化変換取得部103は、上記の処理で取得した第一の正規化変換Tn1の逆変換Tn1_invを取得する。このとき、Tn1_invの作用は、式2のように表記できる。
(式2)x=Tn1_inv(x´)
すなわち、Tn1_invは、第一の正規化画像I1´の画像座標系における位置座標x´を、第一の画像I1の画像座標系における位置座標xへと変換する変換関数である。Tn1_invは、Tn1に対して逆変換の誤差(Σ||x―Tn1_inv(Tn1(x))||)を極力小さくなるような変換である。なお、ある変換Tが定義された際にその逆変換T_invを求める方法は公知であるので、詳細な説明は省略する。
(式1)x´=Tn1(x)
さらに、ステップS3013において、正規化変換取得部103は、上記の処理で取得した第一の正規化変換Tn1の逆変換Tn1_invを取得する。このとき、Tn1_invの作用は、式2のように表記できる。
(式2)x=Tn1_inv(x´)
すなわち、Tn1_invは、第一の正規化画像I1´の画像座標系における位置座標x´を、第一の画像I1の画像座標系における位置座標xへと変換する変換関数である。Tn1_invは、Tn1に対して逆変換の誤差(Σ||x―Tn1_inv(Tn1(x))||)を極力小さくなるような変換である。なお、ある変換Tが定義された際にその逆変換T_invを求める方法は公知であるので、詳細な説明は省略する。
上記のステップS3010からS3013では、第一の画像I1に関する第一の正規化変換Tn1とその逆変換Tn1_invを取得する場合を説明した。第一の実施形態の正規化変換取得部103は、さらに、ステップS301の処理において、上記ステップS3010からS3013と同様の処理を第二の画像I2に対しても実行する。すなわち、第二の画像I2から体表形状S2及び乳頭位置P2を検出し、これらの情報に基づいて、第二の画像I2を正規化するための第二の正規化変換Tn2と、その逆変換Tn2_invを取得する。このように、ステップS301において図6に示す第一の正規化変換Tn1(602)とその逆変換Tn1_inv(604)、及び第二の正規化変換Tn2(603)とその逆変換Tn2_inv(605)が取得される。
(ステップS302:正規化画像の生成)
ステップS302において、正規化画像生成部104は、ステップS300で取得した第一の画像I1をステップS301で取得した第一の正規化変換Tn1に基づいて変形した第一の正規化画像I1´を生成する。同様に正規化画像生成部104は、第二の画像I2を第二の正規化変換Tn2に基づいて変形した第二の正規化画像I2´を生成する。ここで、変換関数に基づいて画像を変形させた変形画像を生成する処理は公知のいかなる手法を用いて実行してもよい。また画像の変換においては、それぞれの正規化変換の逆変換Tn1_inv及びTn2_invを用いてもよい。すなわち、ステップS402において、図6に示す第一の変換画像I1´(606)と、第二の変換画像I2´(607)が取得される。
ステップS302において、正規化画像生成部104は、ステップS300で取得した第一の画像I1をステップS301で取得した第一の正規化変換Tn1に基づいて変形した第一の正規化画像I1´を生成する。同様に正規化画像生成部104は、第二の画像I2を第二の正規化変換Tn2に基づいて変形した第二の正規化画像I2´を生成する。ここで、変換関数に基づいて画像を変形させた変形画像を生成する処理は公知のいかなる手法を用いて実行してもよい。また画像の変換においては、それぞれの正規化変換の逆変換Tn1_inv及びTn2_invを用いてもよい。すなわち、ステップS402において、図6に示す第一の変換画像I1´(606)と、第二の変換画像I2´(607)が取得される。
(ステップS303:正規化空間での対応点の取得)
ステップS303において、対応点取得部106は、第一の正規化画像I1´と第二の正規化画像I2´の間における複数の対応点の位置を取得する。以後ではこれを、正規化空間での対応点位置と称する。第一の実施形態で対応点として用いる点は、例えば、血管分岐点といった、被検体の特徴的な構造を表す特徴点である。すなわち対応点取得部106は、第一の正規化画像I1´と第二の正規化画像I2´に共通して描出されている、血管分岐点といった被検体の同一の特徴点の位置を、正規化空間での対応点位置として取得する。ここで、正規化空間での対応点位置は、第一の正規化画像I1´と第二の正規化画像I2´のそれぞれの座標系(正規化画像座標系)における位置情報の対の群である。第一の実施形態では、正規化空間におけるi番目の対応点位置を、C1_i´及び、C2_i´と表記する。ここで添え字のiは対応点のインデックスを表す。第一の実施形態では、ステップS303で取得される対応点の数をNcとする。すなわち、1≦i≦Ncである。同一のインデックスが付された対応点位置は互いに対応する位置を表す。つまり、被検体における、ある一つの(i番目の)特徴点の位置が、第一の正規化画像ではC1_i´の位置に描出され、同一の分岐点が第二の正規化画像ではC2_i´の位置に描出されていることを表している。
ステップS303において、対応点取得部106は、第一の正規化画像I1´と第二の正規化画像I2´の間における複数の対応点の位置を取得する。以後ではこれを、正規化空間での対応点位置と称する。第一の実施形態で対応点として用いる点は、例えば、血管分岐点といった、被検体の特徴的な構造を表す特徴点である。すなわち対応点取得部106は、第一の正規化画像I1´と第二の正規化画像I2´に共通して描出されている、血管分岐点といった被検体の同一の特徴点の位置を、正規化空間での対応点位置として取得する。ここで、正規化空間での対応点位置は、第一の正規化画像I1´と第二の正規化画像I2´のそれぞれの座標系(正規化画像座標系)における位置情報の対の群である。第一の実施形態では、正規化空間におけるi番目の対応点位置を、C1_i´及び、C2_i´と表記する。ここで添え字のiは対応点のインデックスを表す。第一の実施形態では、ステップS303で取得される対応点の数をNcとする。すなわち、1≦i≦Ncである。同一のインデックスが付された対応点位置は互いに対応する位置を表す。つまり、被検体における、ある一つの(i番目の)特徴点の位置が、第一の正規化画像ではC1_i´の位置に描出され、同一の分岐点が第二の正規化画像ではC2_i´の位置に描出されていることを表している。
正規化空間での対応点位置の取得方法の一例は、ユーザによる操作入力によって取得する方法である。すなわち、表示制御部105が正規化画像生成部104から出力された第一の正規化画像I1´及び第二の正規化画像I2´とそれらの断面画像を表示部190に表示させることで、ユーザが各画像を観察できるようにする。そして、各画像を観察したユーザが、画像間で対応する位置を発見できるようにする。特に、正規化画像のXZ断面を表示することで、体表から等距離の位置にある部位を切り出した断面が提示される。このとき、XZ断面のY座標は体表からの距離すなわち深さを表しており、ユーザは、表示するXZ断面のY座標を操作することができる。これによると、体表から等距離の部位が同一平面内に描出されるため、体表に沿って走行する血管等の全体像を把握しやすくなる効果がある。また、被検体内の部位の体表からの距離(深さ)は被検体が変形しても変化しにくいので、その情報を、対応点を画像間で同定する際の参考情報として用いることができる。例えば、同じY座標の近辺でXZ断面を比較することで、対応点の同定を効率的に行うことができる。ユーザが対応する位置を操作部180を介して入力することにより、対応点取得部106は対応点の情報を取得できる。ここで操作部180は、例えばマウスやキーボードなどの入力デバイスである。これにより、対応点取得部106は、ユーザが発見した正規化空間での対応点位置を取得することができる。そして、対応点入力を終了する指示をユーザから受信したときに、対応点取得部106は、その時点までに取得した正規化空間における対応点位置を、対応点変換部107へと送信する。そして、ステップS304へと処理を進める。ここで、第一の正規化画像I1´及び第二の正規化画像I2´は、第一の画像I1及び第二の画像I2と比較して、正規化変換が施されているために、双方の画像に描出される被検体の共通する解剖学的特徴は空間的に近い位置となっている。そのため、ユーザは第一の画像I1及び第二の画像I2を目視で観察する場合よりも、より対応点位置を発見しやすいというメリットがある。
なお、正規化空間での対応点位置の所得方法は、上記の方法に限らず、第一の正規化画像I1´及び第二の正規化画像I2´の画像を画像処理することにより自動的に取得するようにしてもよい。例えば、対応点取得部106は各画像から特徴点を複数検出し、その複数の特徴点に関する位置情報や画像の輝度パターン等に基づいて対応付けを行うことで正規化空間での対応点位置を取得することができる。当該処理の具体的な方法は、公知のいかなる手法を用いて実行してもよい。第一の正規化画像I1´及び第二の正規化画像I2´は、第一の画像I1及び第二の画像I2と比較して、正規化変換が施されているために、双方の画像に描出される被検体の共通する解剖学的特徴は空間的に近い位置となっている。そのため、対応点位置を自動的に取得する方法を実施する場合には、第一の画像I1及び第二の画像I2を用いるよりも、精度や安定性、計算処理負荷の面でメリットがある。
以上のようにして、ステップS303では図6に示す正規化空間における対応点の情報である対応情報(608)を取得する。
(ステップS304:実空間への対応点位置の変換)
ステップS304において、対応点変換部107は、ステップS301で取得した正規化変換の逆変換Tn1_inv及びTn2_invに基づいて、ステップS303で取得した正規化空間での対応点位置を変換して実空間における対応点位置を取得する。実空間における対応点位置の取得は、具体的には、以下の式に示す計算処理により行われる。
(式3)C1_i=Tn1_inv(C1_i´) (1≦i≦Nc)
(式4)C2_i=Tn2_inv(C2_i´) (1≦i≦Nc)
ここで、C1_i(1≦i≦Nc)は、第一の正規化画像I1´上におけるi番目の対応点位置C1_i´(1≦i≦Nc)に対応する第一の画像I1上の対応点位置である。同様にC2_i(1≦i≦Nc)は、第二の正規化画像I2´上におけるi番目の対応点位置C2_i´(1≦i≦Nc)に対応する第二の画像I2上の対応点位置である。第一の実施形態では、前記C1_i、C2_i(1≦i≦Nc)を、実空間での対応点位置と総称する。
ステップS304において、対応点変換部107は、ステップS301で取得した正規化変換の逆変換Tn1_inv及びTn2_invに基づいて、ステップS303で取得した正規化空間での対応点位置を変換して実空間における対応点位置を取得する。実空間における対応点位置の取得は、具体的には、以下の式に示す計算処理により行われる。
(式3)C1_i=Tn1_inv(C1_i´) (1≦i≦Nc)
(式4)C2_i=Tn2_inv(C2_i´) (1≦i≦Nc)
ここで、C1_i(1≦i≦Nc)は、第一の正規化画像I1´上におけるi番目の対応点位置C1_i´(1≦i≦Nc)に対応する第一の画像I1上の対応点位置である。同様にC2_i(1≦i≦Nc)は、第二の正規化画像I2´上におけるi番目の対応点位置C2_i´(1≦i≦Nc)に対応する第二の画像I2上の対応点位置である。第一の実施形態では、前記C1_i、C2_i(1≦i≦Nc)を、実空間での対応点位置と総称する。
以上のようにして、ステップS304では図6に示す実空間における対応点の情報である対応情報(609)を取得する。
(ステップS305:変形変換の取得)
ステップS305において、変形変換取得部(変形推定部)108は、ステップS304で取得した実空間での対応点位置に基づいて、第一の画像I1と第二の画像I2との間の変形変換を取得する処理を実行する。変形変換は、実空間における被検体の変形を規定する正則化の情報に基づいて取得される。変形変換を取得する処理は、画像間の変形を推定する変形推定処理、あるいは画像間の変形位置合わせを行う変形位置合わせ処理と捉えてもよい。
ステップS305において、変形変換取得部(変形推定部)108は、ステップS304で取得した実空間での対応点位置に基づいて、第一の画像I1と第二の画像I2との間の変形変換を取得する処理を実行する。変形変換は、実空間における被検体の変形を規定する正則化の情報に基づいて取得される。変形変換を取得する処理は、画像間の変形を推定する変形推定処理、あるいは画像間の変形位置合わせを行う変形位置合わせ処理と捉えてもよい。
ここで、実空間での対応点位置に基づく画像間の変形処理は公知のいかなる手法を用いてもよく、例えば、TPS法を用いて実行することができる。この方法によれば、第一の画像I1と第二の画像I2の各画像上の位置座標値であるC1_i、C2_i(1≦i≦Nc)を合致させ、かつ変形による曲げエネルギーを最小化した変形変換を取得できる。具体的には、C1_i(1≦i≦Nc)のそれぞれがC2_i(1≦i≦Nc)へと変換され、かつその変換による、実空間における空間的な歪をエネルギーとして定義する。歪のエネルギーは、たとえば、変形変換の空間的な二次微分により算出される値として定義できる。そして、その歪のエネルギーの総量が最少となる変形変換を取得する。すなわち変形変換取得部(変形推定部)108は、被検体の実空間において妥当な変形となるように変形を規定する正則化の情報に基づいて、変形変換を取得する。正則化の情報に基づく変形変換の取得は、前述の変形変換の空間的な二次微分により算出される値に基づく場合に限らない。たとえば、変形変換による変位量の空間的に高周波な成分の大きさや、変形変換による局所的な体積変化率の大きさ等に基づいて定義することもできる。
また変形変換の取得は、第一の画像I1及び第二の画像I2における乳頭位置及び体表形状の情報にも基づいて実行するようにできる。例えば、第一の画像I1における乳頭位置P1と第二の画像I2における乳頭位置P2とを合致させる拘束をさらに加えて変形変換を取得するようにできる。また、体表形状S1とS2とを合致させる拘束をさらに加えて変形変換を取得するようにできる。このとき、体表形状S1とS2はそれぞれを構成する点群同士が対応付けられているわけではないため、体表形状S1を構成する点群により表現される体表の曲面と、体表形状S2を構成する点群により表現される体表の曲面との間の位置合わせを行う必要がある。この処理は、例えば、ICP(Iterative Closest Point)法などの公知の手法を用いて実行することができる。また、実空間における対応点位置や乳頭位置に基づいてTPS法で取得した変形変換を体表形状S1に適用して体表形状S2に形状を近づけた変形形状を取得した上で、2つの形状を表す点群の間で、ICP法などを用いて体表形状上の点群を対応付けるようにしてもよい。そして、対応付けられた体表上の点群の情報を追加して、再びTPS法で変形変換を取得すればよい。さらに、変形変換の取得と対応付けの更新を、収束するまで反復実行するようにしてもよい。
これにより、第一の画像I1から第二の画像I2への変形変換、すなわち、第一の画像I1の座標系における位置x1を第二の画像I2の座標系における対応する位置x2に投影する変換を取得できる。第一の実施形態では当該変形変換をT1_2と表記する。このとき、T1_2の作用は式5のように表記できる。
(式5)x2=T1_2(x1)
(式5)x2=T1_2(x1)
つまり、変形変換T1_2は、被検体における任意の位置が、第一の画像I1においては座標x1の位置に描出され、一方、第二の画像においては座標x2の位置に描出される場合に、x1からx2への間の変換を与える。なお、ステップS305において、変形変換取得部(変形推定部)108は、前記T1_2の逆変換、すなわち、第二の画像I2から第一の画像I1への変形変換をさらに求めるようにしてもよい。なお、逆変換の取得はステップS3013で説明した正規化変換の逆変換の取得と同様であるので、説明は省略する。ここでT1_2の逆変換をT2_1と表記する。このとき、T2_1の作用は式6のように表記できる。
(式6)x1=T2_1(x2)
(式6)x1=T2_1(x2)
以上の処理により、第一の画像I1と第二の画像I2との間の変形変換が取得される。ステップS305の処理において、図6に示す第一の画像I1から第二の画像I2への変形変換(610)が取得される。仮に、第一の正規化画像I1´と第二の正規化画像I2´の少なくとも一方を変形することにより位置合わせを行おうとしても、実空間における変形の物理的な妥当性を反映した正則化の情報を用いることは難しい。第一の実施形態においては、対応点を同定しやすいように変形された正規化空間での対応点位置を、実空間での対応点位置に変換することにより、実空間における変形の物理的な妥当性を反映した位置合わせを行うための変形変換を取得することができる。
(ステップS306:変形画像の生成)
ステップS306において、変形画像生成部109は、ステップS305で取得した変形変換T1_2に基づいて、第一の画像I1を第二の画像I2と略合致するように変形させた第一の変形画像I1_dを生成する。また変形画像生成部109は、ステップS305で取得した変形変換T2_1に基づいて、第二の画像I2を第一の画像I1と略合致するように変形させた第二の変形画像I2_dを生成してもよい。なお、変形変換を用いた変形画像の生成方法は公知であるので、詳細な説明は省略する。
ステップS306において、変形画像生成部109は、ステップS305で取得した変形変換T1_2に基づいて、第一の画像I1を第二の画像I2と略合致するように変形させた第一の変形画像I1_dを生成する。また変形画像生成部109は、ステップS305で取得した変形変換T2_1に基づいて、第二の画像I2を第一の画像I1と略合致するように変形させた第二の変形画像I2_dを生成してもよい。なお、変形変換を用いた変形画像の生成方法は公知であるので、詳細な説明は省略する。
(ステップS307:変形画像の表示)
ステップS307において、表示制御部105は、ステップS306で生成した第一の変形画像I1_d及び第二の変形画像I2_dを表示部190に表示させる制御を行う。また表示制御部105は、ユーザの入力操作等に応じて、第一の画像I1と第二の変形画像I2_dとを比較可能な形態で表示部190に表示するようにしてもよい。同様に、第一の変形画像I1_dと第二の画像I2とを比較可能な形態で表示部190に表示するようにしてもよい。
ステップS307において、表示制御部105は、ステップS306で生成した第一の変形画像I1_d及び第二の変形画像I2_dを表示部190に表示させる制御を行う。また表示制御部105は、ユーザの入力操作等に応じて、第一の画像I1と第二の変形画像I2_dとを比較可能な形態で表示部190に表示するようにしてもよい。同様に、第一の変形画像I1_dと第二の画像I2とを比較可能な形態で表示部190に表示するようにしてもよい。
以上により、第一の実施形態における画像処理装置の処理が実行される。第一の実施形態によれば、画像を観察するユーザにとって対応点位置の同定が行いやすい正規化画像を表示し、その画像上で指定された対応点位置に基づいて画像を変形する仕組みを提供できる。ユーザが入力した正規化画像上での対応点を、元の入力画像上の対応する位置に変換した上で、画像間の変形を取得できるため、元の入力画像における変形に関する、曲げエネルギーの最小化といった実空間での物理的な拘束、すなわち正則化の情報を反映した変換が行える。すなわち、被検体の変形について物理的な実態に即した変形変換を取得できる。特に、第一の画像と第二の画像が実空間の画像である場合には、これまでに提案されている、位置合わせに関する種々のアルゴリズムを利用することができる。
(変形例1−1)
第一の実施形態では、ステップS301の処理として、体表からの距離が等しい点を同一平面に変換するような正規化変換を行っていた。しかし、対応点を同定しやすくするための座標変換の方法はこれに限定されるものではない。例えば、特許文献2に開示されているような技術を用いて、画像中の乳頭位置からの距離が等しい点を同一平面に変換するような正規化変換を取得してもよい。
第一の実施形態では、ステップS301の処理として、体表からの距離が等しい点を同一平面に変換するような正規化変換を行っていた。しかし、対応点を同定しやすくするための座標変換の方法はこれに限定されるものではない。例えば、特許文献2に開示されているような技術を用いて、画像中の乳頭位置からの距離が等しい点を同一平面に変換するような正規化変換を取得してもよい。
また別の変形例としては、被検体の胸壁形状に基づいた座標変換を用いてもよい。たとえば、第一の画像と第二の画像として、被検体である乳房の周辺のより広い範囲を撮像しているMRI画像やCT画像を用いる場合にこのような座標変換を利用できる。この場合、第一の画像及び第二の画像の双方には、乳頭位置や体表形状に加えて、胸壁形状も描出される。そのため、ステップS301で正規化変換取得部103が実行する正規化変換の取得処理として、画像に描出される被検体の乳頭位置、体表形状及び胸壁形状に基づく正規化変換を取得するようにできる。例えば特許文献1に開示されているような技術を用いて、第一の画像及び第二の画像のそれぞれを正規化する正規化変換を取得できる。この方法によれば、被検体の検査対象部位である乳房の深部、すなわち被検体の体表より内部の側に位置する胸壁が所定の位置に投影される正規化変換が取得できるため、当該位置の画像間の比較が容易になる効果がある。
また、第一の実施形態では、乳房の画像が位置合わせの対象である場合を例として説明したが、対象はこれに限定されるものではない。例えば、心臓や肝臓などの他の臓器の画像が位置合わせの対象あってもよい。この場合、対象とする臓器の画像を正規化空間に変換するための、公知の様々な正規化手法を用いることができる。このとき、正規化の方法として、第一の実施形態と同様な、臓器の表面からの距離に基づく正規化を用いてもよい。また、特許文献2に開示されているような、特定のランドマーク位置からの距離に基づく正規化を用いてもよい。
(変形例1−2)
第一の実施形態では、ステップS303において正規化空間における対応点位置を取得し、ステップS304において正規化空間における対応点位置を実空間における対応点位置に変換する処理を実行する場合を例として説明した。しかし本発明の実施はこれに限らない。例えば、ステップS304の処理で取得する対応点位置は、正規化空間における対応点位置を実空間に変換して取得した位置に加えて、実空間の画像である第一の画像及び第二の画像から直接取得した対応点位置を含んでもよい。この場合、表示制御部105は、第一の画像及び第二の画像を表示部190に表示させる制御を行う。そして、対応点取得部106は、各画像に共通して描出されている解剖学的に特徴のある位置などを、操作部180を介したユーザの操作入力により取得するようにできる。そして取得した位置を、前記実空間における対応点位置に加えるようにしてもよい。これにより、正規化画像では同定しづらく、かつ、元の入力画像では同定が可能な対応点位置を追加で取得できる。
第一の実施形態では、ステップS303において正規化空間における対応点位置を取得し、ステップS304において正規化空間における対応点位置を実空間における対応点位置に変換する処理を実行する場合を例として説明した。しかし本発明の実施はこれに限らない。例えば、ステップS304の処理で取得する対応点位置は、正規化空間における対応点位置を実空間に変換して取得した位置に加えて、実空間の画像である第一の画像及び第二の画像から直接取得した対応点位置を含んでもよい。この場合、表示制御部105は、第一の画像及び第二の画像を表示部190に表示させる制御を行う。そして、対応点取得部106は、各画像に共通して描出されている解剖学的に特徴のある位置などを、操作部180を介したユーザの操作入力により取得するようにできる。そして取得した位置を、前記実空間における対応点位置に加えるようにしてもよい。これにより、正規化画像では同定しづらく、かつ、元の入力画像では同定が可能な対応点位置を追加で取得できる。
また別の変形例としては、変形例1−1に示したような様々な座標変換により得られる複数の変換画像において対応点位置を取得し、それぞれ実空間における対応点位置に変換してもよい。例えば、被検体の体表付近の対応点を同定しやすくするような座標変換を施した変換画像と、被検体の内部の対応点を同定しやすくするような座標変換を施した変換画像とを併用してもよい。これにより、対応点の取得をより精度良く行うことができる。
これらの変形例によれば、より多くの対応点位置に基づいてステップS305以降の処理を実行できるため、精度の高い変形変換を取得し、変形画像を表示させることができる効果がある。
(変形例1−3)
第一の実施形態におけるステップS305の処理は、上述した処理に加えて、さらに以下の処理を実行するようにしてもよい。すなわち、ステップS304で取得した実空間での対応点位置や、ステップS302の処理で取得した乳頭位置P1、P2、体表形状S1、S2に関する情報を、データサーバ170に保存するようにしてもよい。この場合、ステップS300でデータ取得部102が取得した第一の画像I1及び第二の画像I2に関係づけて保存することが望ましい。また、ステップS300の処理は、上記に説明した説明に加えて、さらに以下の処理を実行するようにしてもよい。すなわち、第一の画像I1及び第二の画像I2に対応付けられた実空間における対応点位置、乳頭位置、体表形状に関する情報がデータサーバ170に保存されている場合には、これらを読み出して取得する処理を行うようにしてもよい。そして、これらの情報を読み出して取得した場合には、ステップS301の処理は、ステップS3010、S3011の処理を省略し、読み出した情報に基づいてS3012、S3013を処理するようにできる。また、ステップS303及びS304の処理を省略するようにしてもよい。または、ステップS303及びS304の処理を実行して取得した実空間での対応点位置を、データサーバ170から読み出して取得した実空間における対応点位置と統合して、以降の処理を実行するようにしてもよい。データサーバ170から読み出した実空間における対応点位置などの情報は、正規化空間に変換する処理を施し、第一の正規化画像I1´や第二の正規化画像I2´と共に表示部190に表示させるようにしてもよい。また、データサーバ170から読み出した情報に限らず、第一の実施形態におけるステップS303で取得した情報に対して同様の処理を行ってもよい。これにより、ユーザ操作を必要とする対応点位置の取得を、複数回に分けて実行することができるため、対応点位置の情報の追加などを柔軟に行える仕組みを提供できる。
第一の実施形態におけるステップS305の処理は、上述した処理に加えて、さらに以下の処理を実行するようにしてもよい。すなわち、ステップS304で取得した実空間での対応点位置や、ステップS302の処理で取得した乳頭位置P1、P2、体表形状S1、S2に関する情報を、データサーバ170に保存するようにしてもよい。この場合、ステップS300でデータ取得部102が取得した第一の画像I1及び第二の画像I2に関係づけて保存することが望ましい。また、ステップS300の処理は、上記に説明した説明に加えて、さらに以下の処理を実行するようにしてもよい。すなわち、第一の画像I1及び第二の画像I2に対応付けられた実空間における対応点位置、乳頭位置、体表形状に関する情報がデータサーバ170に保存されている場合には、これらを読み出して取得する処理を行うようにしてもよい。そして、これらの情報を読み出して取得した場合には、ステップS301の処理は、ステップS3010、S3011の処理を省略し、読み出した情報に基づいてS3012、S3013を処理するようにできる。また、ステップS303及びS304の処理を省略するようにしてもよい。または、ステップS303及びS304の処理を実行して取得した実空間での対応点位置を、データサーバ170から読み出して取得した実空間における対応点位置と統合して、以降の処理を実行するようにしてもよい。データサーバ170から読み出した実空間における対応点位置などの情報は、正規化空間に変換する処理を施し、第一の正規化画像I1´や第二の正規化画像I2´と共に表示部190に表示させるようにしてもよい。また、データサーバ170から読み出した情報に限らず、第一の実施形態におけるステップS303で取得した情報に対して同様の処理を行ってもよい。これにより、ユーザ操作を必要とする対応点位置の取得を、複数回に分けて実行することができるため、対応点位置の情報の追加などを柔軟に行える仕組みを提供できる。
[第二の実施形態] FPD法を用いる実施形態
第一の実施形態では、画像間の変形変換をTPS法により取得する場合を例として説明したが、本発明の実施はこれに限らない。第二の実施形態では、画像間の変形変換をFFD法(Free Form Deformation法)を用いて取得する場合について説明する。
第一の実施形態では、画像間の変形変換をTPS法により取得する場合を例として説明したが、本発明の実施はこれに限らない。第二の実施形態では、画像間の変形変換をFFD法(Free Form Deformation法)を用いて取得する場合について説明する。
第二の実施形態における機能構成は、第一の実施形態における機能構成を例示した図1と同様である。ここでは説明を省略する。また、第二の実施形態における全体の処理手順は、第一の実施形態における処理手順を例示した図2を用いて説明できる。以下、第二の実施形態における処理の詳細について説明する。
ステップS300からステップS304の処理は、第一の実施形態と同様の処理を実行する。ここでは説明を省略する。
(ステップS305)
ステップS305において、変形変換取得部(変形推定部)108は、ステップS304の変換処理によって取得した実空間における対応点位置C1_iおよびC2_iに基づいて、第一の画像I1と第二の画像I2との間の変形変換を取得する処理を実行する。第二の実施形態では、実空間における対応点位置C1_i、C2_iのそれぞれを略一致させる変形変換を、FFD法を用いて求める。FFD法は、グリッド状に制御点を配置し、その各制御点における制御量を変形パラメータとして、空間中の変位量を取得する変形表現方法である。FFD法による変形表現取得は公知であるため、詳細な説明は省略する。ここではFFD法において変形変換の特性を定める制御量すなわち変形パラメータの取得方法について説明する。
ステップS305において、変形変換取得部(変形推定部)108は、ステップS304の変換処理によって取得した実空間における対応点位置C1_iおよびC2_iに基づいて、第一の画像I1と第二の画像I2との間の変形変換を取得する処理を実行する。第二の実施形態では、実空間における対応点位置C1_i、C2_iのそれぞれを略一致させる変形変換を、FFD法を用いて求める。FFD法は、グリッド状に制御点を配置し、その各制御点における制御量を変形パラメータとして、空間中の変位量を取得する変形表現方法である。FFD法による変形表現取得は公知であるため、詳細な説明は省略する。ここではFFD法において変形変換の特性を定める制御量すなわち変形パラメータの取得方法について説明する。
第二の実施形態において、変形変換取得部(変形推定部)108は、式7に示すコスト関数を最小化する変形変換Φを取得する。
ここでΦ(x)は位置座標xの変形変換Φによる変換結果の位置座標を取得する関数である。式7におけるEsmoothness(Φ)は滑らかな変形を取得するための正則化項(正則化の情報)であり、例えば式9に示す計算で取得される変形変換Φの曲げエネルギーにより計算できる。
ここでJ(Φ)は変形変換Φに関する空間微分であるヤコビ行列を返す関数であり、三次元の変形を対象とする第二の実施形態では3行3列の行列を返す関数である。また、det()は引数の行列の行列式を求める関数である。式10は変形変換Φがもたらす空間変換において、局所的な体積変化の大きさを取得し、それを空間的に積分する演算を表している。
また、式7においてλsmoothness及びλcompressionは、それぞれ変形の滑らかさに関する正則化パラメータ、体積変化に関する正則化パラメータであり、それぞれの正則化の影響の強さを制御する。
以上の処理により求めた変形変換Φを、第二の実施形態ではT1_2と表記する。変形変換T1_2は、第一の画像I1の画像座標系における位置座標を、第二の画像I2の画像座標系における対応する位置座標へと変換する変換関数である。
ステップS306およびステップS307の処理は、第一の実施形態と同様の処理を実行する。ここでは説明を省略する。
以上の処理により、第二の実施形態における画像処理装置の処理が実行される。第二の実施形態によれば、第一の実施形態と比較して、被検体の局所的な体積変化を伴う変形を抑制した変形変換を取得することができる。ユーザが正規化空間において入力した対応点を、元の入力画像上の対応する位置に変換した上で、画像間の変形変換を取得できるため、元の入力画像における変形に関する局所的な体積変化を抑制した変形変換が取得できる。すなわち、被検体の変形について、実空間での正則化の情報に基づいた、より精度の高い変形変換を取得できる。
[第三の実施形態] 正規化空間での正則化を併用する実施形態
第一の実施形態及び第二の実施形態では、第一の画像I1と第二の画像I2との間の変形変換を取得する際に、実空間における被検体の変形に関する正則化を施す場合を例として説明した。一方、第三の実施形態に係る画像処理装置は、正規化空間における正則化をさらに併用することを特徴とする。
第一の実施形態及び第二の実施形態では、第一の画像I1と第二の画像I2との間の変形変換を取得する際に、実空間における被検体の変形に関する正則化を施す場合を例として説明した。一方、第三の実施形態に係る画像処理装置は、正規化空間における正則化をさらに併用することを特徴とする。
第三の実施形態に係る画像処理装置の機能構成や全体の処理手順は、第二の実施形態と同様である。ただし、ステップS305で変形変換取得部(変形推定部)108が行う処理の一部のみが異なっている。以下では、第二の実施形態との差異のみを説明する。
(ステップS305)
ステップS305において、変形変換取得部(変形推定部)108は、ステップS304で取得した実空間における対応点位置に基づいて、第一の画像と第二の画像との間の変形変換を取得する。このとき、第三の実施形態における変形変換取得部(変形推定部)108は、第二の実施形態の式7で定義した変形変換取得のコスト関数に、さらに、正規化空間での正則化を行うコスト項(正則化項)を追加したものを、変形変換取得のコスト関数として用いる。つまり、ステップS305で取得する変形変換は、正規化空間における変形に関する正則化の制約を含むように構成される。この点のみが、第二の実施形態のステップS305で変形変換取得部(変形推定部)108が行う処理との差異である。
ステップS305において、変形変換取得部(変形推定部)108は、ステップS304で取得した実空間における対応点位置に基づいて、第一の画像と第二の画像との間の変形変換を取得する。このとき、第三の実施形態における変形変換取得部(変形推定部)108は、第二の実施形態の式7で定義した変形変換取得のコスト関数に、さらに、正規化空間での正則化を行うコスト項(正則化項)を追加したものを、変形変換取得のコスト関数として用いる。つまり、ステップS305で取得する変形変換は、正規化空間における変形に関する正則化の制約を含むように構成される。この点のみが、第二の実施形態のステップS305で変形変換取得部(変形推定部)108が行う処理との差異である。
以下では、正規化空間での正則化を行うコスト項(正則化項)の取得方法を説明する。まず、変形変換取得部(変形推定部)108は、第一の画像I1と第二の画像I2との間の変形変換T1_2の候補値に基づいて、第一の正規化画像I1´と第二の正規化画像I2´の間の変形変換T1_2´を取得する。ここで、第一の正規化画像I1´と第二の正規化画像I2´の間の変形変換T1_2´は、以下のように作用する変形関数である。
(式11) x2´=T1_2´(x1´)
(式11) x2´=T1_2´(x1´)
このとき、T1_2´は、第一の正規化画像I1´から第一の画像I1への変換Tn1_inv、第一の画像I1から第二の画像I2への変換T1_2、さらに第二の画像I2から第二の正規化画像I2´への変換Tn2を、この順番につなぎ合わせることで取得できる。すなわち、これらの変換は次式の関係を満たしている。
(式12) x2´=Tn2(T1_2(Tn1_inv(x1´)))
(式12) x2´=Tn2(T1_2(Tn1_inv(x1´)))
すなわち、変形変換Φ(=T1_2)の候補値に対してT1_2´が取得できる。したがって、実空間と同様に正規化空間での任意の正則化項を定式化しておけば、Φの候補値に対するその値を、T1_2´に基づき取得することができる。具体例としては、正規化空間において体表面と深部との間の剪断変形を抑制する正則化を導入できる。この正則化は、被検体の変形を精度よく推定するために効果的である。
以上の方法によれば、第一の画像I1および第二の画像I2においては曲面となる被検体の体表形状が、正規化空間では所定の平面上に投影されるため、被検体の体表形状を基準とした正則化をより簡易な処理で実現できる効果がある。
[第四の実施形態] 正規化画像上で対応点を入力する実施形態
第一の実施形態では、対応点の位置に関する情報を正規化画像上で取得する場合を例として説明したが、本発明はこれに限らない。第四の実施形態では、第一の画像を第二の画像に位置合わせして得られた第一の変形画像を用いて対応点の位置に関する情報を取得する場合を説明する。
第一の実施形態では、対応点の位置に関する情報を正規化画像上で取得する場合を例として説明したが、本発明はこれに限らない。第四の実施形態では、第一の画像を第二の画像に位置合わせして得られた第一の変形画像を用いて対応点の位置に関する情報を取得する場合を説明する。
図7は、第四の実施形態に係る画像処理装置700の機能構成の一例を示すブロック図である。なお、図1と同様の構成については同じ符号を付し、上述した説明を援用することにより、ここでの詳しい説明を省略する。
画像処理装置700は、データ取得部102、正規化変換取得部103、正規化画像生成部104、表示制御部705、対応点取得部706、対応点変換部707、変形変換取得部(変形推定部)708、変形画像生成部109を有する。
表示制御部705は、第一の画像、第二の画像、第一の正規化画像、第二の正規化画像、第一の変形画像、後述する第一の正規化変形画像を、ユーザの操作入力又は所定のプログラムによる制御に応じて表示部190に表示させる。第一の正規化変形画像は、第一の変形画像を正規化して得られる画像である。
対応点取得部706は、ユーザによる操作部180の操作に従って、第一の正規化画像上と第二の正規化画像上とにおける対応点の位置に関する情報を取得する。また、対応点取得部706は、第一の画像上と第二の画像上とにおける対応点の位置に関する情報を取得する。また、対応点取得部706は、第一の変形画像上と第二の画像上とにおける対応点の位置に関する情報を取得する。また、対応点取得部706は、第一の正規化変形画像上と第二の正規化画像上とにおける対応点の位置に関する情報を取得する。
対応点変換部707は、正規化変換取得部103が取得する正規化変換に基づいて、対応点位置を正規化空間からそれぞれの元の画像の空間である実空間へと変換する。また、対応点変換部707は、該正規化変換に基づいて、第一の正規化変形画像上の対応点位置を第一の変形画像上の位置へと変換する。また、対応点変換部707は、変形変換取得部(変形推定部)708が取得する変形変換に基づいて、第一の変形画像上の対応点位置を第一の画像上の位置へと変換する。すなわち、第一の変形画像上の対応点の位置を、元の画像の空間である実空間における位置へと変換する。さらに、対応点変換部707は、該正規化変換に基づいて、第一の画像、第二の画像、第一の変形画像における対応点の位置を、それぞれ第一の正規化画像、第二の正規化画像、第一の正規化変形画像における位置へと変換する。また、対応点変換部707は、該変形変換に基づいて、第一の画像における対応点の位置を、第一の変形画像における位置へと変換する。
変形変換取得部(変形推定部)708は、実空間で取得した対応点位置、及び正規化画像上や変形画像上や正規化変形画像上で取得し実空間へと変換された実空間における対応点位置に基づいて、第一の画像と第二の画像の間の変形推定を行い、画像間の変形変換を取得する。
画像処理装置700のハードウェア構成は、図2に示した例と同様である。上述した説明を援用することにより、ここでは詳しい説明を省略する。
図8は、画像処理装置700が行う全体の処理の一例を示すフローチャートである。ここで、ステップS800からステップS802までの処理は図3に示すステップS300からステップS302までの処理と同様である。ステップS804からステップS805までの処理は、ステップS805の後にステップS815に進むこと以外は、図3に示すステップS303からステップS304までの処理と同様である。同様の処理については、上述した説明を援用することにより、ここでは詳しい説明を省略する。
(ステップS803:正規化画像上で対応点位置を取得するか否かの判定)
ステップS803において、対応点取得部706は、正規化画像上で対応点位置を取得するか否かの判定を行う。例えば、対応点取得部706は、ユーザが操作部180を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部190に表示される正規化画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部190に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。正規化画像上で対応点位置を取得すると判定された場合にはステップS804へ進み、正規化画像上で対応点位置を取得すると判定されなかった場合にはステップS806へ進む。
ステップS803において、対応点取得部706は、正規化画像上で対応点位置を取得するか否かの判定を行う。例えば、対応点取得部706は、ユーザが操作部180を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部190に表示される正規化画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部190に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。正規化画像上で対応点位置を取得すると判定された場合にはステップS804へ進み、正規化画像上で対応点位置を取得すると判定されなかった場合にはステップS806へ進む。
(ステップS806:実画像上で対応点位置を取得するか否かの判定)
ステップS806において、対応点取得部706は、実画像上で対応点位置を取得するか否かの判定を行う。実画像とは、第一の画像I1及び第二の画像I2である。例えば、対応点取得部706は、ユーザが操作部180を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部190に表示される実画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部190に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。実画像上で対応点位置を取得すると判定された場合にはステップS807へ進み、実画像上で対応点位置を取得すると判定されなかった場合にはステップS808へ進む。
ステップS806において、対応点取得部706は、実画像上で対応点位置を取得するか否かの判定を行う。実画像とは、第一の画像I1及び第二の画像I2である。例えば、対応点取得部706は、ユーザが操作部180を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部190に表示される実画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部190に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。実画像上で対応点位置を取得すると判定された場合にはステップS807へ進み、実画像上で対応点位置を取得すると判定されなかった場合にはステップS808へ進む。
(ステップS807:実画像上での対応点の取得)
ステップS807において、対応点取得部706は、第一の画像I1と第二の画像I2の間における対応点の位置を取得する。対応点取得部706は、対応点位置を、表示部190に表示された第一の画像I1と第二の画像I2のそれぞれに対する操作入力に基づいて取得する。対応点が取得されると、ステップS815に進む。
ステップS807において、対応点取得部706は、第一の画像I1と第二の画像I2の間における対応点の位置を取得する。対応点取得部706は、対応点位置を、表示部190に表示された第一の画像I1と第二の画像I2のそれぞれに対する操作入力に基づいて取得する。対応点が取得されると、ステップS815に進む。
(ステップS808:変形画像上で対応点位置を取得するか否かの判定)
ステップS808において、画像処理装置700は、変形画像上または正規化変形画像上で対応点位置を取得するか否かの判定を行う。変形画像とは、ステップS814で取得される第一の変形画像I1_dである。正規化変形画像とは、ステップS814で取得される第一の正規化変形画像I1_d´である。例えば、対応点取得部706は、ユーザが操作部180を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部190に表示される変形画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部190に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。変形画像上で対応点位置を取得すると判定された場合にはステップS809へ進み、変形画像上で対応点位置を取得すると判定されなかった場合にはステップS811へ進む。
ステップS808において、画像処理装置700は、変形画像上または正規化変形画像上で対応点位置を取得するか否かの判定を行う。変形画像とは、ステップS814で取得される第一の変形画像I1_dである。正規化変形画像とは、ステップS814で取得される第一の正規化変形画像I1_d´である。例えば、対応点取得部706は、ユーザが操作部180を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部190に表示される変形画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部190に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。変形画像上で対応点位置を取得すると判定された場合にはステップS809へ進み、変形画像上で対応点位置を取得すると判定されなかった場合にはステップS811へ進む。
(ステップS809:変形変換を取得済みか否かの判定)
ステップS809において、変形変換取得部708は、変形変換を既に取得しているか否かの判定を行う。第一の画像I1と第二の画像I2に関する変形変換T1_2が変形変換取得部708により既に取得されている場合にはステップS810へ進む。変形変換T1_2が取得されていない場合にはステップS811へ進む。
ステップS809において、変形変換取得部708は、変形変換を既に取得しているか否かの判定を行う。第一の画像I1と第二の画像I2に関する変形変換T1_2が変形変換取得部708により既に取得されている場合にはステップS810へ進む。変形変換T1_2が取得されていない場合にはステップS811へ進む。
(ステップS810:変形画像上での対応点位置の取得)
ステップS810において、対応点取得部706は、変形画像上の対応点を取得する。以下では、変形変換T1_2により第一の画像I1から第一の変形画像I1_dが生成されている場合を例に説明する。対応点取得部706は、第一の変形画像I1_dと第二の画像I2との間における対応点の位置を取得する。取得した対応点の位置は、変形変換T2_1により実空間における位置に変換される。また、対応点取得部706は、第一の正規化変形画像I1_d´と第二の正規化画像I2´の間における対応点位置を取得する。取得した対応点の位置は、正規化変換Tn1_dの逆変換及び変形変換T1_2により、実空間における位置に変換される。対応点取得部706は、変形画像または正規化変形画像において取得された対応点位置を、実空間における対応点位置に変換した情報を取得する。対応点が取得されると、ステップS815に進む。
ステップS810において、対応点取得部706は、変形画像上の対応点を取得する。以下では、変形変換T1_2により第一の画像I1から第一の変形画像I1_dが生成されている場合を例に説明する。対応点取得部706は、第一の変形画像I1_dと第二の画像I2との間における対応点の位置を取得する。取得した対応点の位置は、変形変換T2_1により実空間における位置に変換される。また、対応点取得部706は、第一の正規化変形画像I1_d´と第二の正規化画像I2´の間における対応点位置を取得する。取得した対応点の位置は、正規化変換Tn1_dの逆変換及び変形変換T1_2により、実空間における位置に変換される。対応点取得部706は、変形画像または正規化変形画像において取得された対応点位置を、実空間における対応点位置に変換した情報を取得する。対応点が取得されると、ステップS815に進む。
図9は、ステップS810の処理の一例を説明するためのフローチャートである。
(ステップS8100:正規化変形画像上で対応点位置を取得するか否かの判定)
ステップS8100において、対応点取得部706は、正規化変形画像上で対応点位置を取得するか否かの判定を行う。正規化変形画像とは、変形変換により生成された変形画像を、さらに正規化することにより得られる画像である。対応点取得部706は、ユーザが操作部180を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部190に表示される正規化変形画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部190に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。正規化変形画像上で対応点位置を取得すると判定された場合にはステップS8103へ進み、正規化変形画像上で対応点位置を取得すると判定されなかった場合にはステップS8101へ進む。
ステップS8100において、対応点取得部706は、正規化変形画像上で対応点位置を取得するか否かの判定を行う。正規化変形画像とは、変形変換により生成された変形画像を、さらに正規化することにより得られる画像である。対応点取得部706は、ユーザが操作部180を介して入力した指示の情報を取得し、当該指示の内容に応じて上述の判定を行う。当該指示は、例えば表示部190に表示される正規化変形画像上の対応点を指定する操作入力により行われる。あるいは、当該指示は表示部190に表示される、対応点を入力する画像を選択可能なユーザインタフェースに対する操作入力により行われる。正規化変形画像上で対応点位置を取得すると判定された場合にはステップS8103へ進み、正規化変形画像上で対応点位置を取得すると判定されなかった場合にはステップS8101へ進む。
(ステップS8101:変形画像上での対応点位置の取得)
ステップS8101において、対応点取得部706は、第一の変形画像I1_dと第二の画像I2の間における対応点位置を取得する。対応点取得部706は、ユーザによる操作部180を介した操作入力に応じて、第一の変形画像I1_dと第二の画像I2との間の対応点位置を取得する。
ステップS8101において、対応点取得部706は、第一の変形画像I1_dと第二の画像I2の間における対応点位置を取得する。対応点取得部706は、ユーザによる操作部180を介した操作入力に応じて、第一の変形画像I1_dと第二の画像I2との間の対応点位置を取得する。
(ステップS8102:正規化変形画像上での対応点位置の取得)
ステップS8102において、対応点取得部706は、第一の正規化変形画像I1_d´と第二の正規化画像I2´の間における対応点位置を取得する。対応点取得部706は、ユーザによる操作部180を介した操作入力に応じて、第一の正規化変形画像I1_d´と第二の正規化画像I2´との間の対応点位置を取得する。
ステップS8102において、対応点取得部706は、第一の正規化変形画像I1_d´と第二の正規化画像I2´の間における対応点位置を取得する。対応点取得部706は、ユーザによる操作部180を介した操作入力に応じて、第一の正規化変形画像I1_d´と第二の正規化画像I2´との間の対応点位置を取得する。
(ステップS8103:実画像上への対応点位置の変換)
ステップS8103において、対応点変換部707は、ステップS8101からステップS8102までの処理で取得された対応点位置を、実空間における対応点位置に変換する。
ステップS8103において、対応点変換部707は、ステップS8101からステップS8102までの処理で取得された対応点位置を、実空間における対応点位置に変換する。
対応点変換部707は、変形変換T2_1に基づいて、ステップS8101で取得した第一の変形画像I1_d上での対応点位置を変換し、第一の画像I1上すなわち実画像上における対応点位置を取得する。第一の変形画像I1_dにおける対応点位置を第一の画像I1における対応点位置に変換する処理は、たとえば式13のように表される。
(式13)C1=T2_1(C1_d)
ここで、C1_dは、第一の変形画像I1_d上に指定された対応点である。
(式13)C1=T2_1(C1_d)
ここで、C1_dは、第一の変形画像I1_d上に指定された対応点である。
また、対応点変換部707は、ステップS8102で取得した正規化変換Tn1_dと変形変換T1_2とに基づいて、第一の正規化変形画像I1_d´上での対応点位置を変換し、第一の画像I1上すなわち実画像上における対応点位置を取得する。第一の正規化変形画像I1_d´における対応点位置を第一の画像I1における対応点位置に変換する処理は、たとえば式14のように表される。
(式14)C1=T2_1(Tn1_d_inv(C1_d))
ここでTn1_d_invはTn1_dの逆変換であり、逆変換は公知の方法により取得される。以上により、変形画像上での対応点位置の取得処理が実行され、ステップS815に進む。
(式14)C1=T2_1(Tn1_d_inv(C1_d))
ここでTn1_d_invはTn1_dの逆変換であり、逆変換は公知の方法により取得される。以上により、変形画像上での対応点位置の取得処理が実行され、ステップS815に進む。
(ステップS811:変形変換を取得するか否かの判定)
ステップS811において、変形変換取得部708は、変形変換を取得するか否かの判定を行う。例えば、変形変換取得部708は、ユーザによる操作部180を介した操作入力によって判定の指示を取得する。当該指示は、変形変換を取得することを指示するためのユーザインタフェースに対する操作入力により行われる。変形変換を取得すると判定された場合にはステップS812へ進み、変形変換を取得すると判定されなかった場合にはステップS815へ進む。
ステップS811において、変形変換取得部708は、変形変換を取得するか否かの判定を行う。例えば、変形変換取得部708は、ユーザによる操作部180を介した操作入力によって判定の指示を取得する。当該指示は、変形変換を取得することを指示するためのユーザインタフェースに対する操作入力により行われる。変形変換を取得すると判定された場合にはステップS812へ進み、変形変換を取得すると判定されなかった場合にはステップS815へ進む。
(ステップS812:対応点数が十分か否かの判定)
ステップS812において、変形変換取得部708は、対応点数が変形変換の取得に十分であるか否かの判定を行う。たとえば、変形変換取得部708は、対応点の個数が所定の数より多い場合に、十分であると判定する。対応点数が十分である場合には、ステップS813へ進み、対応点数が十分でない場合にはステップS815へ進む。
ステップS812において、変形変換取得部708は、対応点数が変形変換の取得に十分であるか否かの判定を行う。たとえば、変形変換取得部708は、対応点の個数が所定の数より多い場合に、十分であると判定する。対応点数が十分である場合には、ステップS813へ進み、対応点数が十分でない場合にはステップS815へ進む。
(ステップS813:変形変換の取得)
ステップS813において、変形変換取得部(変形推定部)708は、ステップS813までに取得された、実空間における対応点位置に基づいて、第一の画像I1と第二の画像I2との間の変形変換T1_2を取得する。変形変換T1_2を取得するための処理は、ステップS305の処理と同様であるので、上述した説明を援用することによりここでの詳しい説明を省略する。
ステップS813において、変形変換取得部(変形推定部)708は、ステップS813までに取得された、実空間における対応点位置に基づいて、第一の画像I1と第二の画像I2との間の変形変換T1_2を取得する。変形変換T1_2を取得するための処理は、ステップS305の処理と同様であるので、上述した説明を援用することによりここでの詳しい説明を省略する。
(ステップS814:変形画像の生成)
ステップS814において、変形画像生成部109は、ステップS813で取得した変形変換T1_2に基づいて、第一の画像I1を第二の画像I2と略合致するように変形させた第一の変形画像I1_dを生成する。また変形画像生成部109は、ステップS305で取得した変形変換T2_1に基づいて、第二の画像I2を第一の画像I1と略合致するように変形させた第二の変形画像I2_dを生成してもよい。なお、変形変換を用いた変形画像の生成方法は公知であるので、詳細な説明は省略する。
ステップS814において、変形画像生成部109は、ステップS813で取得した変形変換T1_2に基づいて、第一の画像I1を第二の画像I2と略合致するように変形させた第一の変形画像I1_dを生成する。また変形画像生成部109は、ステップS305で取得した変形変換T2_1に基づいて、第二の画像I2を第一の画像I1と略合致するように変形させた第二の変形画像I2_dを生成してもよい。なお、変形変換を用いた変形画像の生成方法は公知であるので、詳細な説明は省略する。
さらに、ステップS814において、正規化変換取得部103は、第一の変形画像I1_dを正規化変形画像に変換するための正規化変換Tn1_dを取得する。正規化変換Tn1_dは、ステップS801と同様の方法、すなわち図5に例示する処理により求められる。ただし、正規化変換取得部103は、第一の変形画像I1_dにおける体表形状や乳頭位置を、ステップS801で求めた第一の画像I1の体表形状や乳頭位置に変形変換T1_2を施して第一の変形画像における形状や位置に変換することにより取得する。さらに、ステップS814において、正規化画像生成部104は、正規化変換Tn1_dに基づいて第一の変形画像I1_dを変換し、第一の正規化変形画像I1_d´を生成する。なお、第一の変形画像I1_dは、第一の画像I1を第二の画像I2と略合致するように変形させて生成した画像であることから、ステップS801で取得した第二の正規化変換Tn2に基づいて第一の変形画像I1_dを変換して、第一の正規化変形画像I1_d´を生成してもよい。
(ステップS815:画像と対応点の表示)
ステップS815において、表示制御部705は、ステップS815までに取得された対応点位置を示す情報を、表示部190に表示させる。また、表示制御部705は、ステップS814で生成された変形画像を表示部190に表示させる。表示制御部705は、ステップS814までに生成された他の画像をさらに表示部190に表示させてもよい。たとえば表示制御部705は、第一の画像、第二の画像、第一の正規化画像、第二の正規化画像、第一の変形画像、及び第一の正規化変形画像のうちステップS814までに生成された画像を、表示部190にタイル状に並べて表示させてもよい。表示制御部705は、対応点が入力された画像を区別可能に、対応点の位置を表示させてもよい。たとえば、表示制御部705は、対応点位置を表す図形を、当該対応点が入力された画像の種類に応じて異なる表示態様(例えば異なる色や形)で表示させる。また、変形変換T1_2とT2_1が不可逆である場合には、第一の変形画像または第一の正規化変形画像上で取得して変換していない対応点位置は、それらを変換しさらに逆変換した位置と一致しない。したがって表示制御部705は、第一の変形画像および第一の正規化変形画像上には、第一の変形画像または第一の正規化変形画像上で取得して変換していない対応点位置を表す図形は表示させないようにしてもよい。
ステップS815において、表示制御部705は、ステップS815までに取得された対応点位置を示す情報を、表示部190に表示させる。また、表示制御部705は、ステップS814で生成された変形画像を表示部190に表示させる。表示制御部705は、ステップS814までに生成された他の画像をさらに表示部190に表示させてもよい。たとえば表示制御部705は、第一の画像、第二の画像、第一の正規化画像、第二の正規化画像、第一の変形画像、及び第一の正規化変形画像のうちステップS814までに生成された画像を、表示部190にタイル状に並べて表示させてもよい。表示制御部705は、対応点が入力された画像を区別可能に、対応点の位置を表示させてもよい。たとえば、表示制御部705は、対応点位置を表す図形を、当該対応点が入力された画像の種類に応じて異なる表示態様(例えば異なる色や形)で表示させる。また、変形変換T1_2とT2_1が不可逆である場合には、第一の変形画像または第一の正規化変形画像上で取得して変換していない対応点位置は、それらを変換しさらに逆変換した位置と一致しない。したがって表示制御部705は、第一の変形画像および第一の正規化変形画像上には、第一の変形画像または第一の正規化変形画像上で取得して変換していない対応点位置を表す図形は表示させないようにしてもよい。
(ステップS816:全体の終了判定)
ステップS816において、画像処理装置700は、全体の処理を終了するか否かの判定を行う。例えば、画像処理装置700は、ユーザによる操作部180の操作入力によって終了の指示を取得する。当該終了の指示は、表示部190に表示されるユーザインタフェースに対する操作入力により行われる。ステップS812において対応点の個数が不足していると判定された場合には、表示制御部705は対応点の個数が不足している旨をユーザに報知する画面を表示部190に表示させてもよい。全体の処理を終了すると判定された場合には図8に示す処理を終了し、全体の処理を終了すると判定されなかった場合にはステップS803へ処理を戻す。
ステップS816において、画像処理装置700は、全体の処理を終了するか否かの判定を行う。例えば、画像処理装置700は、ユーザによる操作部180の操作入力によって終了の指示を取得する。当該終了の指示は、表示部190に表示されるユーザインタフェースに対する操作入力により行われる。ステップS812において対応点の個数が不足していると判定された場合には、表示制御部705は対応点の個数が不足している旨をユーザに報知する画面を表示部190に表示させてもよい。全体の処理を終了すると判定された場合には図8に示す処理を終了し、全体の処理を終了すると判定されなかった場合にはステップS803へ処理を戻す。
以上により、第四の実施形態における画像処理装置の処理が実行される。第四の実施形態によれば、画像を観察するユーザにとって対応点位置の同定が行いやすいように変形状態を揃えた(一方の画像に他方の画像を変形位置合わせした)画像を表示し、その画像上で指定した対応点位置に基づいて画像を変形する仕組みを提供できる。また、第四の実施形態によれば、第一の正規化画像上で入力した対応点、及び第一の変形画像上で入力した対応点を、第一の画像上の位置に変換した上で、第一の画像上で入力した対応点と共に一元管理することができる。このように、第一の画像上の位置で対応点が管理されるので、変形変換が更新された後にも、対応点の位置は第一の変形画像上の適切な位置に変換されることになる。
[第四の実施形態の変形例]
(変形例4−1)
第四の実施形態では、第一の変形画像上に、第一の変形画像上で取得して変換していない対応点位置を表す図形を表示しない場合について説明した。しかし、本発明の実施はこれに限らず、第一の変形画像上で取得して変換および逆変換した対応点位置を表す図形や、第一の画像上で取得して逆変換した対応点位置を表す図形とは異なる表示態様で表示してもよい。
(変形例4−1)
第四の実施形態では、第一の変形画像上に、第一の変形画像上で取得して変換していない対応点位置を表す図形を表示しない場合について説明した。しかし、本発明の実施はこれに限らず、第一の変形画像上で取得して変換および逆変換した対応点位置を表す図形や、第一の画像上で取得して逆変換した対応点位置を表す図形とは異なる表示態様で表示してもよい。
(変形例4−2)
第四の実施形態では、第一の画像を第二の画像に位置合わせして第一の変形画像を生成し、生成した第一の変形画像上と第二の画像上とにおける対応点の位置に関する情報を取得する場合について説明した。本発明はこれに限らず、第二の変形画像と第一の画像との間の対応点の位置に関する情報を取得してもよい。あるいは、第一の画像と第二の画像とを変形させた変形画像間における対応点の位置に関する情報を取得してもよい。
第四の実施形態では、第一の画像を第二の画像に位置合わせして第一の変形画像を生成し、生成した第一の変形画像上と第二の画像上とにおける対応点の位置に関する情報を取得する場合について説明した。本発明はこれに限らず、第二の変形画像と第一の画像との間の対応点の位置に関する情報を取得してもよい。あるいは、第一の画像と第二の画像とを変形させた変形画像間における対応点の位置に関する情報を取得してもよい。
(変形例4−3)
第四の実施形態では、原画像、変形画像、正規化画像、および正規化変形画像上で対応点を入力する場合について説明した。しかし、本発明の実施はこれに限らず、正規化画像および/または正規化変形画像は生成せずに、当該画像上では対応点を入力しないようにしてもよい。
第四の実施形態では、原画像、変形画像、正規化画像、および正規化変形画像上で対応点を入力する場合について説明した。しかし、本発明の実施はこれに限らず、正規化画像および/または正規化変形画像は生成せずに、当該画像上では対応点を入力しないようにしてもよい。
(変形例4−4)
第四の実施形態にかかる画像処理装置700による処理を図8及び図9に例示したが、当該処理の順序はこれに限らない。たとえば、ステップS803、S804、S805からなる処理と、ステップS806、S807からなる処理と、ステップS808、S809、S810からなる処理とを、図8に例示した順序とは異なる順序で行ってもよい。また、ステップS805、S807、S810のそれぞれが終了した際にステップS815に進む例を示したが、当該処理の順序はこれに限らない。たとえば、それぞれのステップが終了した際に、対応点の表示処理を行った上で、それぞれの次のステップ(S805の場合はS806、S807の場合はS808、S810の場合はS811)に進んでもよい。ステップS803、S806、S808の順に判定する例を示したが、これに限らない。たとえば、画像処理装置700はユーザの指示を待ち受けるモードで待機し、対応点を入力する画像を選択する操作入力に基づいて、特定のステップに進んでもよい。
第四の実施形態にかかる画像処理装置700による処理を図8及び図9に例示したが、当該処理の順序はこれに限らない。たとえば、ステップS803、S804、S805からなる処理と、ステップS806、S807からなる処理と、ステップS808、S809、S810からなる処理とを、図8に例示した順序とは異なる順序で行ってもよい。また、ステップS805、S807、S810のそれぞれが終了した際にステップS815に進む例を示したが、当該処理の順序はこれに限らない。たとえば、それぞれのステップが終了した際に、対応点の表示処理を行った上で、それぞれの次のステップ(S805の場合はS806、S807の場合はS808、S810の場合はS811)に進んでもよい。ステップS803、S806、S808の順に判定する例を示したが、これに限らない。たとえば、画像処理装置700はユーザの指示を待ち受けるモードで待機し、対応点を入力する画像を選択する操作入力に基づいて、特定のステップに進んでもよい。
(変形例4−5)
第四の実施形態において、様々な画像を用いて入力された対応点位置の情報を実空間における対応点位置にそれぞれ変換する例を説明した。画像処理装置700は、実画像すなわち第一の画像及び第二の画像の少なくともいずれかに、実空間における対応点位置の情報を付帯させてもよい。第四の実施形態では、ステップS805やステップS8103においてそれぞれ対応点位置を実空間に変換する処理を行うが、所定のタイミングで対応点位置を実空間に変換する処理を行ってもよいし、対応点が入力される都度行ってもよい。また、様々な画像を用いて入力された対応点位置の情報を、所定のタイミング(たとえばステップS815)で表示部190に表示してもよいし、それまでに入力された対応点位置を、表示部190に表示されている画像における位置に変換した状態で表示部190に表示してもよい。
第四の実施形態において、様々な画像を用いて入力された対応点位置の情報を実空間における対応点位置にそれぞれ変換する例を説明した。画像処理装置700は、実画像すなわち第一の画像及び第二の画像の少なくともいずれかに、実空間における対応点位置の情報を付帯させてもよい。第四の実施形態では、ステップS805やステップS8103においてそれぞれ対応点位置を実空間に変換する処理を行うが、所定のタイミングで対応点位置を実空間に変換する処理を行ってもよいし、対応点が入力される都度行ってもよい。また、様々な画像を用いて入力された対応点位置の情報を、所定のタイミング(たとえばステップS815)で表示部190に表示してもよいし、それまでに入力された対応点位置を、表示部190に表示されている画像における位置に変換した状態で表示部190に表示してもよい。
[変形例]
第一の実施形態乃至第四の実施形態においては、画像間の変形変換をTPS法やFFD法で表す場合を例として説明したが、実空間での正則化を考慮して変形パラメータの最適化を行える変形表現方法であれば、対象はこれに限定されるものではない。例えば、TPSとは別の放射基底関数を用いる方法を用いることができる。また、速度場の積分によって変形変換を表現するLDDMM(Large Deformation Diffeomorphic Metric Mapping)法などを用いてもよい。
第一の実施形態乃至第四の実施形態においては、画像間の変形変換をTPS法やFFD法で表す場合を例として説明したが、実空間での正則化を考慮して変形パラメータの最適化を行える変形表現方法であれば、対象はこれに限定されるものではない。例えば、TPSとは別の放射基底関数を用いる方法を用いることができる。また、速度場の積分によって変形変換を表現するLDDMM(Large Deformation Diffeomorphic Metric Mapping)法などを用いてもよい。
第一の実施形態乃至第四の実施形態においては、第一の画像と第二の画像のそれぞれに対して座標変換を施すことにより、第一の変換画像と第二の変換画像を取得する例について説明したが、本発明はこれに限らない。たとえば、第一の画像に描出されている被検体の形状を第二の画像に描出されている被検体の形状に近づけるような座標変換を施して、第一の変換画像のみを取得してもよい。第一の変換画像と、第二の画像に描出されている被検体の形状が近づくことにより、対応点の同定が容易になる。この場合、対応点変換部107は、第一の変換画像と第二の画像にそれぞれ含まれる対応点の情報であって、第一の変換画像上の当該対応点の位置を、第一の画像における位置に変換する。そして対応点変換部107は、第一の画像と第二の画像における対応点の位置を変形変換取得部(変形推定部)108に出力する。
第一の実施形態乃至第四の実施形態において説明した機能を、たとえばサーバ装置(不図示)とクライアント装置(不図示)により構成されるシステムにより実現してもよい。たとえば、図1に示す変形変換取得部(変形推定部)108と変形画像生成部109とを有するサーバ装置(不図示)と、正規化変換取得部103.正規化画像生成部104、表示制御部105、対応点取得部106、対応点変換部107とを有し、操作部180と表示部190と接続されているクライアント装置(不図示)である。この場合、クライアント装置(不図示)はデータサーバ170から取得した画像に座標変換を施し、座標変換された空間で対応点位置を取得し、元の画像の空間における対応点位置に変換する。そして、クライアント装置(不図示)は、サーバ装置(不図示)に位置合わせを行いたい複数の画像と、対応点位置とを出力する。サーバ装置(不図示)は、クライアント装置(不図示)から入力された複数の画像と、対応点位置の情報とに基づいて変形変換を取得し、クライアント装置(不図示)に出力する。クライアント装置(不図示)は、サーバ装置(不図示)から入力された変形変換に基づいて、位置合わせされた画像を生成し、表示部190に表示させる。サーバ装置(不図示)は、さらに正規化変換取得部103を有していてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の各実施形態における画像処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。画像処理装置及び画像処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。
Claims (22)
- 被検体を撮像して得られる第一の画像と第二の画像のそれぞれを、第一の変換画像と第二の変換画像に変換するための座標変換に関する情報を取得する座標変換取得手段と、
前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の情報である対応情報を取得する情報取得手段と、
前記情報取得手段により取得された前記対応情報と、前記変換取得手段により取得された前記座標変換とに基づいて、前記第一の変換画像に含まれる対応点の位置を前記第一の画像における位置に変換し、前記第二の変換画像に含まれる対応点の位置を、前記第二の画像における位置に変換する変換手段と、
前記第一の画像と前記第二の画像における位置にそれぞれ前記変換手段により変換された前記対応点の情報に基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換に関する情報を取得する変形変換取得手段と、
を有することを特徴とする画像処理装置。 - 前記変形変換取得手段は、前記第一の画像と前記第二の画像における前記被検体の変形を規定する正則化の情報に基づいて前記変形変換に関する情報を取得することを特徴とする請求項1に記載の画像処理装置。
- 前記座標変換取得手段により取得された前記座標変換に関する情報に基づいて、前記第一の画像と前記第二の画像のそれぞれを前記第一の変換画像と前記第二の変換画像に変換する変換画像生成手段と、
前記第一の変換画像と前記第二の変換画像とを表示部に表示させる表示制御手段をさらに有し、
前記情報取得手段は、前記表示部に表示された前記第一の変換画像と前記第二の変換画像に対するユーザの操作入力に基づいて、前記対応情報を取得することを特徴とする、請求項1又は請求項2に記載の画像処理装置。 - 前記変形変換取得手段は、前記第一の変換画像及び前記第二の変換画像における、前記被検体の変形を規定する正則化の情報にさらに基づいて、前記変形変換に関する情報を取得することを特徴とする請求項1乃至請求項3のいずれか一項に記載の画像処理装置。
- 前記第一の画像と前記第二の画像は同一の被検体の異なる形状を撮像して得られる画像であって、実空間の画像であることを特徴とする請求項1乃至請求項4のいずれか一項に記載の画像処理装置
- 前記座標変換取得手段は、前記被検体の体表の形状と前記体表上にある基準点とに基づいて前記体表の形状を所定の形状に変形した第一の変換画像と第二の変換画像に変換するための座標変換に関する情報を取得することを特徴とする請求項1乃至請求項5のいずれか一項に記載の画像処理装置。
- 前記座標変換取得手段は前記座標変換に関する情報として、前記第一の画像及び前記第二の画像の空間から、前記被検体の体表の位置と形状が前記第一の変換画像と前記第二の変換画像とで略一致するように変形される正規化空間への非線形変換に関する情報をそれぞれ取得することを特徴とする請求項1乃至請求項6のいずれか一項に記載の画像処理装置。
- 前記変形変換取得手段は、前記第一の画像と前記第二の画像のそれぞれにおける前記被検体の体表形状を略一致させる変形変換に関する情報を取得することを特徴とする、請求項1乃至請求項7のいずれか一項に記載の画像処理装置。
- 前記変形変換取得手段は、変形に伴う歪みを最小化するように制御するための正則化の情報に基づいて、前記変形変換に関する情報を取得することを特徴とする請求項1乃至請求項8のいずれか一項に記載の画像処理装置。
- 前記第一の画像と、前記第二の画像と、前記第一の変換画像と、前記第二の変換画像と、前記変形変換取得手段により取得された前記変形変換により位置合わせされた画像と、の少なくともいずれかの画像を外部の装置において表示可能なデータを出力する出力手段をさらに有することを特徴とする請求項1乃至請求項9のいずれか一項に記載の画像処理装置。
- 前記座標変換取得手段は、前記第一の画像と前記第二の画像のそれぞれを、前記対応点の位置を取得しやすい空間に変換するための座標変換に関する情報を取得することを特徴とする請求項1乃至請求項10のいずれか一項に記載の画像処理装置。
- 前記情報取得手段は、さらに前記第一の画像と前記第二の画像に基づいて対応点の情報を取得し、
前記変形変換取得手段は、前記情報取得手段により前記第一の画像と前記第二の画像に基づいて取得された対応点の情報と、前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の位置を前記第一の画像と前記第二の画像における位置に変換された対応点の情報とに基づいて前記変形変換に関する情報を取得することを特徴とする請求項1乃至請求項11のいずれか一項に記載の画像処理装置。 - 前記座標変換取得手段は、前記第一の画像と前記第二の画像を変換するための異なる複数の座標変換に関する情報を取得し、
前記情報取得手段は、前記座標変換取得手段により取得された前記異なる複数の座標変換をそれぞれ前記第一の画像と前記第二の画像に施して得られる、異なる複数の変換画像の組にそれぞれ含まれる対応点の情報を前記対応情報として取得することを特徴とする請求項1乃至請求項12のいずれか一項に記載の画像処理装置。 - 前記情報取得手段により取得された対応情報を、前記第一の画像または前記第二の画像の少なくともいずれかに対応付けて記憶させる記憶手段をさらに有することを特徴とする請求項1乃至請求項13のいずれか一項に記載の画像処理装置。
- 被検体を撮像して得られる第一の画像と第二の画像のそれぞれを、第一の変換画像と第二の変換画像に変換するための座標変換を取得する座標変換取得手段と、
前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の情報である対応情報を取得する情報取得手段と、
前記情報取得手段により取得された前記対応情報と、前記変換取得手段により取得された前記座標変換とに基づいて、前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の位置を、前記第一の画像と前記第二の画像における位置にそれぞれ変換する変換手段と、
前記変換手段により前記第一の画像と前記第二の画像における位置に変換された前記対応点の位置と、前記第一の画像と、前記第二の画像とを、画像間の位置合わせの変形変換を取得するための装置に出力する出力手段と、
を有することを特徴とする画像処理装置。 - 前記変形変換取得手段により取得された前記変形変換に基づいて第一の画像を変形して第一の変形画像を生成する変形画像生成手段をさらに有し、
前記情報取得手段は、前記第一の変形画像と前記第二の画像のそれぞれに含まれる対応点の情報である第二の対応情報を取得し、
前記変形変換取得手段は、前記第二の対応情報に基づいて前記第一の画像と前記第二の画像とを位置合わせするための変形変換に関する情報を取得することを特徴とする請求項1乃至請求項15のいずれか1項に記載の画像処理装置。 - 被検体を撮像して得られる第一の画像と第二の画像のそれぞれに含まれる対応点の情報である第一の対応情報を取得する第一の情報取得手段と、
前記第一の対応情報に基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換に関する情報を取得する変形変換取得手段と、
前記変形変換に関する情報に基づいて、前記第一の画像と前記第二の画像とのうち少なくともいずれかを変形して変形画像を生成する変形画像生成手段と、
前記変形画像に基づいて、前記第一の画像と前記第二の画像のそれぞれに含まれる対応点の情報である第二の対応情報を取得する第二の情報取得手段と、を有し
前記変形変換取得手段は、さらに前記第二の対応情報に基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換に関する情報を取得することを特徴とする画像処理装置。 - 前記第二の情報取得手段は、前記第二の対応情報を前記第一の画像と前記第二の画像における対応点の位置に変換して得られる情報である第3の対応情報を取得し、
前記変形変換取得手段は、前記第3の対応情報に基づいて、前記変形変換に関する情報を取得することを特徴とする、請求項17に記載の画像処理装置。 - 前記第二の情報取得手段により前記第二の対応情報を変換して得られる、前記第一の画像における対応点の位置を、前記第一の座標変換に関する情報に基づいて前記第一の変形画像における位置に変換する逆変換手段と、
前記逆変換手段が算出した前記第一の変形画像における位置を、該第一の変形画像上に表示させる表示制御手段と、
をさらに有することを特徴とする、請求項18に記載の画像処理装置。 - 被検体を撮像して得られる第一の画像と第二の画像のそれぞれを、第一の変換画像と第二の変換画像に変換するための座標変換を取得する座標変換取得手段と、
前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の情報である対応情報を取得する情報取得手段と、
前記情報取得手段により取得された前記対応情報と、前記変換取得手段により取得された前記座標変換とに基づいて、前記第一の変換画像に含まれる対応点の位置を前記第一の画像における位置に変換し、前記第二の変換画像に含まれる対応点の位置を、前記第二の画像における位置に変換する変換手段と、
前記第一の画像と前記第二の画像における位置にそれぞれ前記変換手段により変換された前記対応点の情報に基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換を取得する変形変換取得手段と、
を有することを特徴とする画像処理システム。 - 被検体を撮像して得られる第一の画像と第二の画像のそれぞれを、第一の変換画像と第二の変換画像に変換するための座標変換を取得する座標変換取得ステップと、
前記第一の変換画像と前記第二の変換画像のそれぞれに含まれる対応点の情報である対応情報を取得する情報取得ステップと、
前記情報取得ステップにおいて取得された前記対応情報と、前記変換取得ステップにおいて取得された前記座標変換とに基づいて、前記第一の変換画像に含まれる対応点の位置を前記第一の画像における位置に変換し、前記第二の変換画像に含まれる対応点の位置を、前記第二の画像における位置に変換する変換ステップと、
前記第一の画像と前記第二の画像における位置にそれぞれ前記変換ステップにおいて変換された前記対応点の情報に基づいて、前記第一の画像と前記第二の画像とを位置合わせするための変形変換を取得する変形変換取得ステップと、
を有することを特徴とする画像処理方法。 - 請求項21に記載の画像処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/005253 WO2017130263A1 (en) | 2016-01-29 | 2016-12-28 | Image processing apparatus, image processing method, image processing system, and program |
US16/073,156 US10762648B2 (en) | 2016-01-29 | 2016-12-28 | Image processing apparatus, image processing method, image processing system, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016016446 | 2016-01-29 | ||
JP2016016446 | 2016-01-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017136354A JP2017136354A (ja) | 2017-08-10 |
JP6821403B2 true JP6821403B2 (ja) | 2021-01-27 |
Family
ID=59565290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016224383A Active JP6821403B2 (ja) | 2016-01-29 | 2016-11-17 | 画像処理装置、画像処理方法、画像処理システム、及びプログラム。 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10762648B2 (ja) |
JP (1) | JP6821403B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11048345B2 (en) * | 2016-12-27 | 2021-06-29 | Wacom Co., Ltd. | Image processing device and image processing method |
CN107301660A (zh) * | 2017-05-31 | 2017-10-27 | 民政部国家减灾中心 | 用于灾情研判的矢量图处理方法及系统 |
WO2019208804A1 (ja) * | 2018-04-27 | 2019-10-31 | キヤノンメディカルシステムズ株式会社 | 医用情報処理システム及び医用情報処理プログラム |
JP7258640B2 (ja) | 2018-04-27 | 2023-04-17 | キヤノンメディカルシステムズ株式会社 | 医用情報処理システム及び医用情報処理プログラム |
US11106189B2 (en) * | 2019-03-06 | 2021-08-31 | Mitsubishi Electric Research Laboratories, Inc. | System and method for data-driven control of constrained system |
JP7210337B2 (ja) * | 2019-03-14 | 2023-01-23 | 株式会社東芝 | 画像処理装置、及び、歪み補正係数算出方法 |
CN112419377B (zh) * | 2020-11-20 | 2021-10-08 | 推想医疗科技股份有限公司 | 配准图像确定方法及配准图像确定装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7327902B2 (en) | 2004-12-10 | 2008-02-05 | Radiological Imaging Technology, Inc. | Optimizing image alignment |
CN101522107B (zh) * | 2006-10-10 | 2014-02-05 | 株式会社日立医药 | 医用图像诊断装置、医用图像测量方法、医用图像测量程序 |
JP2009031996A (ja) * | 2007-07-26 | 2009-02-12 | Panasonic Corp | 画像照合装置 |
JP5586917B2 (ja) | 2009-10-27 | 2014-09-10 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP6000705B2 (ja) * | 2012-07-17 | 2016-10-05 | キヤノン株式会社 | データ処理装置及びデータ処理方法 |
US20160217560A1 (en) | 2013-09-30 | 2016-07-28 | Koninkljke Philips N.V. | Method and system for automatic deformable registration |
JP6346445B2 (ja) | 2014-01-10 | 2018-06-20 | キヤノン株式会社 | 処理装置、処理装置の制御方法、およびプログラム |
JP6401459B2 (ja) * | 2014-02-14 | 2018-10-10 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6383189B2 (ja) * | 2014-06-16 | 2018-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
2016
- 2016-11-17 JP JP2016224383A patent/JP6821403B2/ja active Active
- 2016-12-28 US US16/073,156 patent/US10762648B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20190035094A1 (en) | 2019-01-31 |
JP2017136354A (ja) | 2017-08-10 |
US10762648B2 (en) | 2020-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6821403B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム。 | |
US10102622B2 (en) | Processing apparatus, processing method, and non-transitory computer-readable storage medium | |
US10546377B2 (en) | Image processing apparatus and method, and processing system | |
EP1695287B1 (en) | Elastic image registration | |
US20110262015A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2016087109A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6383153B2 (ja) | 処理装置、処理方法、およびプログラム | |
US9224188B2 (en) | Image processing device, method and program | |
JP6934734B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP6706128B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
EP4075379A1 (en) | System and method for heart strain determination | |
JP6821303B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
Puyol-Anton et al. | Towards a multimodal cardiac motion atlas | |
Mao et al. | Direct 3d ultrasound fusion for transesophageal echocardiography | |
US11138736B2 (en) | Information processing apparatus and information processing method | |
WO2017130263A1 (en) | Image processing apparatus, image processing method, image processing system, and program | |
JP2017080157A (ja) | 画像処理装置 | |
JP5706933B2 (ja) | 処理装置および処理方法、プログラム | |
US10163529B2 (en) | Display processing method and apparatus | |
JP6660428B2 (ja) | 処理装置、処理方法、およびプログラム | |
JP7106096B2 (ja) | 心機能解析装置、解析方法、プログラムおよび記録媒体 | |
Su et al. | Automatic generation of endocardial surface meshes with 1-to-1 correspondence from cine-MR images | |
Mao | Three-dimensional Ultrasound Fusion for Transesophageal Echocardiography | |
Zakkaroff et al. | Investigation into diagnostic accuracy of common strategies for automated perfusion motion correction | |
US20200121225A1 (en) | Information processing device, information processing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210106 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6821403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |