JP6971544B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6971544B2 JP6971544B2 JP2016147779A JP2016147779A JP6971544B2 JP 6971544 B2 JP6971544 B2 JP 6971544B2 JP 2016147779 A JP2016147779 A JP 2016147779A JP 2016147779 A JP2016147779 A JP 2016147779A JP 6971544 B2 JP6971544 B2 JP 6971544B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- tissue
- attention
- information indicating
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T12/00—Tomographic reconstruction from projections
- G06T12/30—Image post-processing, e.g. metal artefact correction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
Description
本実施形態における画像処理装置は、被検体の参照画像における注目組織の向きを表す情報に基づいて、対象画像(比較される一方の画像)における注目組織の画像描出態様を推定する。画像描出態様とは、画像として描き出されるありさまを表す。そして、画像処理装置は、推定された画像描出態様に基づいて、注目組織の参照画像(比較される他方の画像)における表示態様を変更する。表示態様は、視覚的に表現されるありさまを表す。なお、本実施形態では、被検体は異なるモダリティによって撮像され、それぞれ対象画像(以下、第1画像とも呼ぶ)と参照画像(以下、第2画像とも呼ぶ)と称される。また、本実施形態では、被検体は乳房であり、対象画像(第1画像)がPAT画像(PAT装置によって撮像された画像)、参照画像(第2画像)がMRI画像(MRI装置によって撮像された画像)、注目組織が血管であるとして、以下の説明を行う。
ステップS2000において、画像取得部110は、被検体の第1画像と第2画像をデータサーバ180から取得する。
ステップS2010において、指向性情報取得部112は、第1画像の撮像時における指向性を表す情報(指向性情報)をデータサーバ180から取得する。本実施形態では、指向性情報取得部112は、指向性を表す情報として、指向性の向きを表す方向情報(方向ベクトル)と、指向性の高さを表す角度情報(角度のスカラー値)を取得する。
ステップS2020において、注目組織抽出部114は、第2画像から注目組織(本実施形態では血管)の画像を抽出する画像処理を実行する。例えば、周辺の組織と比較して注目組織の画素値が高い場合には、注目組織抽出部114は、判別分析法等によって高画素値の領域と低画素値の領域とに領域分割する。この場合、高画素値の領域が注目組織に相当する領域となる。なお、第2画像から注目組織の画像を抽出する処理は、判別分析法に限らず、例えばp−タイル法や公知の機械学習の手法等を用いてもよい。あるいは、画像処理装置100の操作者が、表示部190に表示された第2画像の断面画像を観察しながら、画像処理装置100へ注目組織の画像の情報を入力するようにしてもよい。本実施形態では、注目組織抽出部114は、注目組織の画像として、注目組織の画素値が所定の値(例えば、1)で、該注目組織以外の画素値が該所定の値以外の値(例えば、0)となるラベル画像を生成して保持するものとする。なお、データサーバ180が注目組織の画像を表す情報を保持している場合には、注目組織抽出部114は、本ステップの処理として、データサーバ180からその情報を取得する。
ステップS2030において、位置合わせ部116は、第1画像と第2画像の間の位置合わせ処理(第2画像から第1画像への変換規則を算出する処理)を行う。位置合わせには、例えば、特徴点の対応付けや画像類似度に基づくFFD(Free−form Deformation)法や、LDDMM(Large Deformation Diffeomorphic Metric Mapping)法等の公知の方法が用いられる。また、画像間の変形が小さい場合や無視できる場合(画像処理装置100の操作者が指示した場合)には、位置合わせ部116は、アフィン変換や剛体変換等の線形変換による画像間の座標変換を変換規則として算出する。
ステップS2040において、組織方向算出部118は、ステップS2020で抽出されたラベル画像と、ステップS2030で算出された変換規則に基づいて、注目組織の向きを表す情報を算出する。本実施形態では、注目組織の向きを表す情報として、組織方向算出部118は、血管の走行方向を算出するものとする。以下、図3のフローチャートを用いて、本ステップにおける処理の詳細を説明する。図3は、組織方向算出部118の処理手順を示すフローチャートである。組織方向算出部118は、該変換規則を用いて該ラベル画像を変換して変形ラベル画像を生成し、該変形ラベル画像における所定の値を有する画素位置に基づいて、注目組織の向きを表す情報を算出する。
ステップS3000において、組織方向算出部118は、ステップS2020で第2画像から抽出された注目組織を表すラベル画像を第1画像に合わせて変換して、変形ラベル画像を生成する。
ステップS3010において、組織方向算出部118は、注目組織の変形ラベル画像に対して、公知の細線化処理を施して、細線化された画素列を算出する。あるいは、画像処理装置100の操作者が、表示部190に表示した第2画像の変形画像または変形ラベル画像の断面画像を観察しながら、画像処理装置100へ注目組織の芯線を表す曲線を入力するようにしてもよい。
ステップS3020において、組織方向算出部118は、ステップS3010で細線化された画素列に対して2分割法等の公知のベクトル化処理を施して、画素列を近似する折線を算出する。あるいは、ステップS3010およびS3020の代わりに、画像処理装置100の操作者が、表示部190に表示した第2画像の変形画像または変形ラベル画像の断面画像を観察しながら、画像処理装置100へ注目組織の芯線を表す折線を入力するようにしてもよい。
ステップS3030において、組織方向算出部118は、ステップS3010で細線化された画素毎に、ステップS3020で算出した折線の向きを表す方向ベクトルを算出する。
ステップS3040において、組織方向算出部118は、ステップS3030で算出した方向ベクトルの各成分を画素値とする折線方向画像(X方向折線画像、Y方向折線画像、およびZ方向折線画像)を生成する。
ステップS3050において、組織方向算出部118は、変形ラベル画像の画素値が所定の値(例えば、1)である画素位置で、かつ、折線方向画像に画素値が設定されていない画素について、折線方向画像に画素値が設定されている最近傍の画素位置の画素値を設定する。本ステップの処理により生成される組織方向画像(X方向画像、Y方向画像、およびZ方向画像)が、注目組織の向きを表す情報となる。以上のようにして、組織方向算出部118によるステップS2040の処理が実行される。
図2に戻り、ステップS2050において、画像処理装置100は、描出態様推定部120の処理として、ステップS2010で取得された指向性を表す情報と、ステップS2040で算出された注目組織の向きを表す情報との関係に基づいて、第1画像における注目組織の画像描出態様を推定する。以下、図5のフローチャートを用いて、本ステップにおける処理の詳細を説明する。図5は、本実施形態における描出態様推定部120の処理手順を示すフローチャートである。描出態様推定部120は、変形ラベル画像における所定の画素値を有する画素位置において、指向性を表す情報と注目組織の向きを表す情報に基づいて注目組織の描出の明瞭度を算出し、該明瞭度と前記第2画像の変形画像に基づいて画像描出態様を推定する。
ステップS5000において、描出態様推定部120は、変形ラベル画像の画素値が所定の値(例えば、1)である各画素位置において、指向性の向きを表す方向ベクトルと注目組織の向きを表す方向ベクトルとのなす角度θを算出する。ここで、注目組織の向きを表す方向ベクトルは、ステップS2040で生成された組織方向画像から取得される。
ステップS5010において、描出態様推定部120は、変形ラベル画像の画素値が1である各画素位置において、ステップS5000で算出した角度θと指向性の高さを表す角度φとの関係に基づいて、注目組織の描出の明瞭度を算出する。すなわち、描出態様推定部120は、各画素位置における明瞭度が設定された明瞭度画像を生成する。例えば、90度からθを引いた角度がφよりも小さい場合には、注目組織が描出されることが期待されるので、描出態様推定部120は、明瞭度(注目組織が明瞭に描出される度合い)を1に設定する。そして、それ以外の場合には、注目組織が描出されないと推定されるので、描出態様推定部120は、明瞭度を0に設定する。
ステップS5020において、描出態様推定部120は、第2画像の変形画像の画素値に対して対応する明瞭度画像の画素値(明瞭度)を掛け合わせることによって、注目組織の画像描出態様の推定画像を生成する。以上のようにして、描出態様推定部120によるステップS2050の処理が実行される。
図2に戻り、ステップS2060において、パラメータ設定部122は、表示画像生成のための表示パラメータとして、第2画像の変形画像における注目組織の画素値を調整するための第1パラメータと、該第1パラメータによる調整後の第2画像の変形画像上に重畳表示する際の透過度を調整するための第2パラメータを、不図示のUIを介した操作者の入力に基づいて設定する。具体的には、パラメータ設定部122は、第2画像の変形画像における注目組織の画素値を調整する(注目組織と周辺組織との判別しやすさを調整する)ためのパラメータL(0≦L≦1)を、第1のパラメータとして、操作者の入力に基づいて設定する。また、パラメータ設定部122は、ステップS2050で生成された推定画像を、前記調整後の第2画像の変形画像上に重畳表示する際の透過度を調整するパラメータT(0≦T≦1)を、第2のパラメータとして設定する。これらのパラメータに基づいて画素値を算出する処理については、後述のステップS2070で説明する。
ステップS2070において、表示画像生成部124は、第2画像の変形画像に、推定された画像描出態様で注目組織を重畳表示した画像を表示画像として生成する。具体的には、表示画像生成部124は、操作者が設定した切断面によって切り取られる第2画像の変形画像の断面画像上に、ステップS2050で推定された画像描出態様で注目組織を重畳表示した画像を表示画像として生成する。このとき、表示画像生成部124は、ステップS2060で求められた第1のパラメータ(L)と第2のパラメータ(T)に基づいて表示画像を生成する。具体的には、まず、ステップS2060で設定されたパラメータLに基づいて、表示画像生成部124は、以下の式によって、第2画像の変形画像における注目組織の画素値I2を画素値I2’に変更する。
(数1)
I2’ = IS + L・(I2−IS)
ただし、ISは、注目組織の周辺に存在する組織(以下、周辺組織と呼ぶ)の代表的な画素値であり、例えば、注目組織の輪郭に外接する画素値の平均値を用いることができる。ここで、パラメータLが1の時は注目組織の画素値はI2から変更されないことになる。一方、パラメータLが0の時は、注目組織の画素値I2’は周辺組織の代表的な画素値ISと一致する(注目組織が周辺組織と判別できない態様で表示される)ことになる。
(数2)
I2” = T・IE + (1−T)・I2’
ここで、IEは、ステップS2050で生成された推定画像における画素値を表す。この式によって、推定画像における画素値IEと、上述の変更を施した第2画像の変形画像における画素値I2’とが合成される。ここで、パラメータTが1の時は、第2画像の変形画像における注目組織の画素値I2’が、推定画像の画素値IEにより上書きされることになる。一方、パラメータTが0の時は、推定画像における画素値IEは表示されないことになる。
図2に戻り、ステップS2080において、表示制御部126は、ステップS2070で生成された表示画像を表示部190に表示する制御を行う。以上の処理によって表示される画像の例を図6および図7に示す。
ステップS2090において、画像処理装置100は、表示態様を変更(表示パラメータを再設定)する指示を不図示のUIを介して操作者により入力されたか否かを判定する。例えば、画像処理装置100は、キーボードの所定のキーを操作者が押すなどして入力した変更の指示を取得する。そして、画像処理装置100は、表示態様を変更すると判定した場合には、ステップS2060へと処理を戻して、表示パラメータの再設定処理を実行する。一方、表示態様を変更しないと判定した場合には、画像処理装置100は、ステップS2100へと処理を進める。
ステップS2100において、画像処理装置100は、全体の処理を終了するか否かの判定を行う。例えば、画像処理装置100は、キーボードの所定のキー(終了キー)を操作者が押すなどして入力された終了の指示を取得する。画像処理装置100は、全体の処理を終了すると判定した場合には、画像処理装置100の処理を終了させる。一方、画像処理装置100は、全体の処理を終了すると判定しなかった場合には、ステップS2070へと処理を戻し、操作者が設定した新たな切断面に応じて表示画像を表示する処理を繰り返し実行する。以上によって、画像処理装置100の処理が実行される。
第1実施形態では、注目組織が血管である例について説明したが、注目組織は血管に限らない。例えば、注目組織は被検体の乳腺や体表であってもよい。注目組織が被検体の乳腺である場合には、血管と同様の処理を行えばよい。一方、注目組織が被検体の体表である場合には、ステップS2040において、組織方向算出部118は、注目組織の向きを表す情報として、体表の法線方向を算出すればよい。そして、ステップS5010において、描出態様推定部120は、θがφよりも小さい場合に推定値を1に設定し、それ以外の場合に推定値を0に設定すればよい。
第1実施形態では、被検体が乳房である例について説明したが、被検体は乳房に限らず、心臓、肝臓、肺、脳等の任意の臓器であってもよい。
第1実施形態では、対象画像(第1画像)がPAT画像(PAT装置によって撮像された画像)である例について説明したが、対象画像はPAT画像に限らない。例えば、超音波診断装置によって撮像された画像であってもよいし、X線マンモグラフィ装置によって撮像された画像であってもよい。
第1実施形態では、参照画像(第2画像)がMRI画像(MRI装置によって撮像された画像)である例について説明したが、参照画像はMRI画像に限らない。例えば、参照画像(第2画像)は、CT画像(X線CT装置によって撮像された画像)であってもよいし、超音波診断装置によって撮像された3次元超音波画像であってもよい。あるいは、参照画像(第2画像)は、トモシンセシス装置によって撮像された画像であってもよい。
第1画像と第2画像が予め位置合わせされている(画像間に座標系の違いや変形状態の違いが無く、同じ座標は同じ場所を表すように予め画像が揃えられている)場合には、ステップS2030の処理を省略できる。例えば、超音波画像とPAT画像を同時撮像可能なハイブリッド装置で撮像した3次元超音波画像とPAT画像を表示する場合がそれに相当する。この場合、3次元超音波画像で得た注目組織の位置を、そのままPAT画像における注目組織の位置とみることができる。そして、ステップS2040以降における、第2画像の変形画像に対する処理は、第2画像に対する処理に置き換えることができる。
第2実施形態における画像処理装置は、対象画像(PAT画像)における注目組織の画像描出態様を推定した結果に基づいて、対象画像(PAT画像)を補正することを特徴とする。以下、本実施形態に係る画像処理装置について、第1実施形態と異なる部分について説明する。
ステップS2060において、パラメータ設定部122は、表示画像生成のための表示パラメータを、不図示のUIを介した操作者の入力に基づいて設定する。具体的には、パラメータ設定部122は、ステップS2050で生成された推定画像に基づいて、第1画像における注目組織に対応する部位の画素値を補正するためのパラメータC(0≦C≦1)を、操作者の入力に基づいて設定する。このパラメータは、補正度合いを調整するためのものである。このパラメータに基づいて画素値を変更する処理については、後述のステップS2070で説明する。
ステップS2070において、表示画像生成部124は、推定された画像描出態様に基づいて、第1画像における注目組織に対応する部位の画素値を補正し、該補正した画像を表示画像として生成する。具体的には、表示画像生成部124は、操作者が設定した切断面によって切り取られる第1画像の断面画像における注目組織に対応する部位の画素値を、ステップS2050で生成した推定画像に基づいて補正し、該補正した画像を表示画像として生成する。このとき、表示画像生成部124は、ステップS2060で求めた表示パラメータを適用する。具体的には、表示画像生成部124は、ステップS2060で設定したパラメータCに基づいて、以下の式によって、第1画像の断面画像における注目組織に対応する部位の画素値I1を変更して、表示画像の画素値I1’を算出する。
(数3)
I1’ = IE + C・(I1−IE)
ここで、パラメータCが1の時は、注目組織の画素値はI1から変更されないことになる。また、パラメータCが0の時は、注目組織の画素値は注目組織の推定画像の画素値IEと一致する(注目組織の画素値が推定画像の画素値IEで置き換えられる)ことになる。
ステップS2080において、表示制御部126は、ステップS2070で生成された表示画像を表示部190に表示する制御を行う。以上の処理によって表示される画像の例を図8に示す。図8は、パラメータCが0.5の場合の第1画像(PAT画像)の断面画像を図示している。図8におけるPAT画像800において、補正された血管801が表されていることがわかる。
第3実施形態に係る画像処理装置は、対象画像(PAT画像)における注目組織の画像描出態様の推定と、その結果に基づく第2画像から第1画像への変換規則の更新を繰り返して、位置合わせを高精度化することを特徴とする。以下、本実施形態に係る画像処理装置について、第1実施形態と異なる部分について説明する。
ステップS10030において、位置合わせ部916は、第1画像と第2画像の間の位置合わせ処理(第2画像から第1画像への変換規則を算出する処理)を行う。本実施形態の位置合わせ処理においては、位置合わせ部916は、位置合わせの手掛かりとなる情報として対応点の情報を取得して、対応点に基づく位置合わせ処理を実行する。ここで、ステップS10060の後に本ステップの処理を実行する場合には、位置合わせ部916は、ステップS10050で推定された注目組織の画像描出態様に基づいて、第2画像から第1画像への変換規則を更新する。例えば、位置合わせ部916は、ステップS10050におけるステップS5010で算出された明瞭度を、位置合わせの手掛かりとなる情報の信頼度として扱う。そして、位置合わせ部916は、対応点に基づく位置合わせ処理を実行する際に、該信頼度に応じた重み付けを行うことによって、第2画像から第1画像への変換規則を更新する。
ステップS10100において、画像処理装置900は、全体の処理を終了するか否かの判定を行う。画像処理装置900は、全体の処理を終了すると判定した場合には、画像処理装置100の処理を終了させる。一方、画像処理装置100は、終了すると判定しなかった場合には、ステップS10030へと処理を戻し、第2画像から第1画像への変換規則を更新する。以上によって、画像処理装置900の処理が実行される。
第3実施形態では、表示画像の生成までは行わない例について説明したが、第1実施形態と同様に表示画像の生成まで行ってもよい。本変形例では、画像処理装置900は、画像処理装置100と同様に、パラメータ設定部122、表示画像生成部124、および表示制御部126も備える。また、ステップS2060からS2090の処理も実行する。この場合、ステップS10030において、ステップS10050で推定した注目組織の画像描出態様に基づいて操作者が対応点の情報を更新することができる。そして、位置合わせ部916は、更新された対応点に基いて位置合わせ処理を実行する。あるいは、位置合わせ部916は、表示画像に基づく公知の画像ベースの位置合わせ処理を実行することもできる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (17)
- 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報を取得する取得手段と、
第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出手段と、
前記第2画像から前記第1画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記被写体の注目組織の向きを表す方向情報を取得する組織方向取得手段と、
前記指向性の向きを表す方向情報と前記被写体の注目組織の向きを表す方向情報とからなる角度情報に基づいて、前記第1画像における前記注目組織の各画素位置に対応する明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定手段と、
を有することを特徴とする画像処理装置。 - 前記第2画像から前記第1画像への変換規則を取得し、前記変換規則を用いて前記第2画像を第1画像に合わせて変形させて前記第2画像の変形画像を生成する位置合わせ手段を更に有し、
前記組織方向取得手段は、前記注目組織を表す画像と前記変換規則に基づいて、前記被写体の注目組織の向きを表す方向情報を取得することを特徴とする請求項1に記載の画像処理装置。 - 前記抽出手段は、前記注目組織を表す画像として、該注目組織の画素値が所定の値で、該注目組織以外の画素値が該所定の値以外の値となるラベル画像を生成し、
前記組織方向取得手段は、前記変換規則を用いて該ラベル画像を変換して変形ラベル画像を生成し、該変形ラベル画像における前記所定の値を有する画素位置に基づいて、前記被写体の注目組織の向きを表す方向情報を算出することを特徴とする請求項2に記載の画像処理装置。 - 前記推定手段は、前記変形ラベル画像における前記所定の画素値を有する画素位置において、前記指向性を表す情報と前記被写体の注目組織の向きを表す方向情報に基づいて前記注目組織の描出の明瞭度を算出し、該明瞭度と前記第2画像の変形画像に基づいて、前記第1画像における前記注目組織の各画素位置に対応する前記注目組織の画像描出態様を推定することを特徴とする請求項3に記載の画像処理装置。
- 前記位置合わせ手段は、推定された前記第1画像における前記注目組織の各画素位置に対応する画素値に基づいて前記変換規則を更新することを特徴とする請求項2から4のいずれか1項に記載の画像処理装置。
- 前記第2画像の変形画像に、推定された前記第1画像における前記注目組織の各画素位置に対応する画素値で前記注目組織を重畳表示した画像を表示画像として生成する表示画像生成手段を更に有することを特徴とする請求項2から5のいずれか1項に記載の画像処理装置。
- 前記注目組織と周辺組織との判別しやすさを調整するように、前記第2画像の変形画像における前記注目組織の画素値を調整するための第1パラメータと、該第1パラメータによる調整後の前記第2画像の変形画像上に重畳表示する際の透過度を調整するための第2パラメータを設定する設定手段を更に有し、
前記表示画像生成手段は、前記第1パラメータと前記第2パラメータに基づいて前記表示画像を生成することを特徴とする請求項6に記載の画像処理装置。 - 前記表示画像生成手段は、推定された前記第1画像における前記注目組織の各画素位置に対応する画素値に基づいて、前記第1画像における前記注目組織に対応する部位の画素値を補正し、該補正した画像を前記表示画像として生成することを特徴とする請求項6または7に記載の画像処理装置。
- 推定された前記第1画像における前記注目組織の各画素位置に対応する画素値に基づいて、前記第1画像の診断を支援する情報を求める導出手段を更に有することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記第1装置はPAT(PhotoAcoustic Tomography)装置であり、前記第2装置はMRI(Magnetic Resonance Imaging)装置であることを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
- 前記注目組織は血管であることを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。
- 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得手段と、
第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出手段と、
前記第2画像から前記第1画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出手段と、
前記変換された注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定手段と、
を有することを特徴とする画像処理装置。 - 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得手段と、
第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出手段であって、前記第1画像と前記第2画像が予め位置合わせされている、抽出手段と、
前記注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出手段と、
前記注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定手段と、
を有することを特徴とする画像処理装置。 - 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報を取得する取得工程と、
第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出工程と、
前記第2画像から前記第1画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記被写体の注目組織の向きを表す方向情報を取得する組織方向取得工程と、
前記指向性の向きを表す方向情報と前記被写体の注目組織の向きを表す方向情報とからなる角度情報に基づいて、前記第1画像における前記注目組織の各画素位置に対応する明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定工程と、
を有することを特徴とする画像処理方法。 - 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得工程と、
第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出工程と、
前記第2画像から前記第1画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出工程と、
前記変換された注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定工程と、
を有することを特徴とする画像処理方法。 - 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得工程と、
第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出工程であって、前記第1画像と前記第2画像が予め位置合わせされている、抽出工程と、
前記注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出工程と、
前記注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定工程と、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から13のいずれか1項に記載の画像処理装置として機能させるプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015156241 | 2015-08-06 | ||
| JP2015156241 | 2015-08-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017035469A JP2017035469A (ja) | 2017-02-16 |
| JP6971544B2 true JP6971544B2 (ja) | 2021-11-24 |
Family
ID=58047232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016147779A Expired - Fee Related JP6971544B2 (ja) | 2015-08-06 | 2016-07-27 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10304158B2 (ja) |
| JP (1) | JP6971544B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6745796B2 (ja) * | 2014-10-17 | 2020-08-26 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 介入治療内で器具を挿入する間の実時間の臓器区分化及び器具ナビゲーションのためのシステム、並びにその作動方法 |
| JP6608110B2 (ja) * | 2016-04-13 | 2019-11-20 | 富士フイルム株式会社 | 画像位置合わせ装置および方法並びにプログラム |
| JP6840481B2 (ja) | 2016-07-19 | 2021-03-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6711715B2 (ja) | 2016-07-19 | 2020-06-17 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6849420B2 (ja) * | 2016-12-12 | 2021-03-24 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置及び医用画像処理装置 |
| JP2018110615A (ja) | 2017-01-06 | 2018-07-19 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP6934734B2 (ja) | 2017-03-17 | 2021-09-15 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
| WO2019065466A1 (ja) | 2017-09-29 | 2019-04-04 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP7022554B2 (ja) | 2017-10-03 | 2022-02-18 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラム |
| JP2019149124A (ja) * | 2018-02-28 | 2019-09-05 | 富士フイルム株式会社 | 変換装置、変換方法、及びプログラム |
| JP7226728B2 (ja) * | 2018-08-24 | 2023-02-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
| KR102375775B1 (ko) * | 2020-02-10 | 2022-03-21 | 주식회사 메디픽셀 | 혈관 영상에 기초한 주요 혈관 영역 추출 방법 및 장치 |
| US11373391B2 (en) | 2020-03-16 | 2022-06-28 | Novatek Microelectronics Corp. | Image processing device, image processing system and image processing method |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3388954B2 (ja) * | 1995-08-23 | 2003-03-24 | 株式会社東芝 | 超音波診断装置 |
| US6106466A (en) * | 1997-04-24 | 2000-08-22 | University Of Washington | Automated delineation of heart contours from images using reconstruction-based modeling |
| JP3805231B2 (ja) | 2001-10-26 | 2006-08-02 | キヤノン株式会社 | 画像表示装置及びその方法並びに記憶媒体 |
| JP3796449B2 (ja) | 2002-01-31 | 2006-07-12 | キヤノン株式会社 | 位置姿勢決定方法および装置並びにコンピュータプログラム |
| EP1349114A3 (en) | 2002-03-19 | 2011-06-15 | Canon Kabushiki Kaisha | Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus |
| JP4136859B2 (ja) | 2003-01-10 | 2008-08-20 | キヤノン株式会社 | 位置姿勢計測方法 |
| JP2005149409A (ja) | 2003-11-19 | 2005-06-09 | Canon Inc | 画像再生方法及び装置 |
| US20090226065A1 (en) * | 2004-10-09 | 2009-09-10 | Dongqing Chen | Sampling medical images for virtual histology |
| JP5105981B2 (ja) * | 2007-07-18 | 2012-12-26 | 株式会社東芝 | 医用画像処理表示装置、およびその処理プログラム |
| JP5242235B2 (ja) | 2008-05-08 | 2013-07-24 | 株式会社東芝 | Mri画像診断装置及びmr画像形成方法 |
| JP5335280B2 (ja) * | 2008-05-13 | 2013-11-06 | キヤノン株式会社 | 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体 |
| WO2011021181A1 (en) * | 2009-08-16 | 2011-02-24 | Ori Hay | Assessment of spinal anatomy |
| US20120069049A1 (en) * | 2010-09-16 | 2012-03-22 | Omnyx, LLC | Digital pathology image manipulation |
| JP5694991B2 (ja) * | 2011-07-14 | 2015-04-01 | 富士フイルム株式会社 | 光音響画像化方法および装置 |
| GB2510741A (en) | 2011-09-28 | 2014-08-13 | Canon Kk | Image processing apparatus, image processing method and program |
| JP2014054362A (ja) * | 2012-09-12 | 2014-03-27 | Toshiba Corp | 超音波診断装置、画像処理装置及びプログラム |
| JP6112861B2 (ja) * | 2012-12-28 | 2017-04-12 | キヤノン株式会社 | 被検体情報取得装置、信号処理装置および表示装置 |
| JP6081299B2 (ja) * | 2013-06-13 | 2017-02-15 | 東芝メディカルシステムズ株式会社 | 超音波診断装置 |
| JP6397269B2 (ja) | 2013-09-06 | 2018-09-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| US9230331B2 (en) * | 2013-10-21 | 2016-01-05 | Samsung Electronics Co., Ltd. | Systems and methods for registration of ultrasound and CT images |
| JP6393106B2 (ja) | 2014-07-24 | 2018-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US9808213B2 (en) | 2014-08-11 | 2017-11-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, medical image diagnostic system, and storage medium |
| KR102328266B1 (ko) * | 2014-10-29 | 2021-11-19 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 영상 처리부가 마련된 초음파 영상 장치 |
-
2016
- 2016-07-27 JP JP2016147779A patent/JP6971544B2/ja not_active Expired - Fee Related
- 2016-08-01 US US15/224,854 patent/US10304158B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US10304158B2 (en) | 2019-05-28 |
| US20170039776A1 (en) | 2017-02-09 |
| JP2017035469A (ja) | 2017-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6971544B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP6448356B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
| JP5345290B2 (ja) | 局所的に重み付けされた適合化を使用する画像位置合わせ | |
| EP2505162B1 (en) | Method and apparatus for generating medical image of body organ by using 3-D model | |
| CN107847274B (zh) | 用于在机器人外科手术期间提供更新后的患者图像的方法和装置 | |
| KR102251830B1 (ko) | 초음파 및 ct 영상의 정합에 관한 시스템 및 작동 방법 | |
| EP2925216B1 (en) | Stenosis therapy planning | |
| CN109152566B (zh) | 校正超声融合成像系统中的探头引起的变形 | |
| JP6458166B2 (ja) | 医用画像処理方法及び装置及びシステム及びプログラム | |
| JP6967983B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP7409624B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN113870227B (zh) | 基于压力分布的医学定位方法、装置、电子设备及存储介质 | |
| JP2022111704A (ja) | 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム | |
| JP6934734B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
| US20030128890A1 (en) | Method of forming different images of an object to be examined | |
| JP2022111705A (ja) | 学習装置、画像処理装置、医用画像撮像装置、学習方法およびプログラム | |
| JP2007105352A (ja) | 差分画像表示装置、差分画像表示方法およびそのプログラム | |
| CN116725640B (zh) | 一种身体穿刺打印模板的构建方法 | |
| JP2011125569A (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
| CN117635656A (zh) | 医学图像配准方法、装置、设备及存储介质 | |
| JP2014042830A (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
| CN107092774B (zh) | 一种提供参考信息的方法及装置 | |
| JP2021157108A (ja) | トレーニングシステム、画像処理装置、画像処理方法および画像処理プログラム | |
| US20240338941A1 (en) | Image processing apparatus, and image processing method | |
| JP2025509469A (ja) | 正規化された医用画像の提供 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190712 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201029 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210810 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210810 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210819 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211102 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6971544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |