JP6971544B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP6971544B2
JP6971544B2 JP2016147779A JP2016147779A JP6971544B2 JP 6971544 B2 JP6971544 B2 JP 6971544B2 JP 2016147779 A JP2016147779 A JP 2016147779A JP 2016147779 A JP2016147779 A JP 2016147779A JP 6971544 B2 JP6971544 B2 JP 6971544B2
Authority
JP
Japan
Prior art keywords
image
tissue
attention
information indicating
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016147779A
Other languages
English (en)
Other versions
JP2017035469A (ja
Inventor
隆明 遠藤
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2017035469A publication Critical patent/JP2017035469A/ja
Application granted granted Critical
Publication of JP6971544B2 publication Critical patent/JP6971544B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T12/00Tomographic reconstruction from projections
    • G06T12/30Image post-processing, e.g. metal artefact correction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)

Description

本発明は、3次元断層画像を提示するための画像処理装置、画像処理方法、およびプログラムに関する。
医療の分野において、医師は、磁気共鳴映像装置(以下、MRI(Magnetic Resonance Imaging)装置と呼ぶ)、超音波診断装置、光音響撮像装置(以下、PAT(PhotoAcoustic Tomography)装置と呼ぶ)、コンピュータ断層撮像装置(以下、X線CT(Computed Tomography)装置と呼ぶ)等の様々なモダリティによって撮像された医用画像を用いた診断を行う。使用するモダリティや撮像モードによっては、注目組織が実際には欠損していないにも関わらず、あたかも欠損しているかのように描出される場合がある(すなわち、偽欠損箇所)。特許文献1には、医用画像の撮像において発生する注目組織の偽欠損箇所を抽出し、注目組織の向きを表す情報に基づいて補間して表示する手法が開示されている。
また、医師は、様々なモダリティによって撮像された医用画像を併用した診断を行う場合や、撮像モードや撮影体位、時相、撮影日時等の異なる同一モダリティの画像を比較した診断を行う場合がある。このような場合においても、撮像時における指向性の影響により、同じ組織の描出態様が対象画像(比較される一方の画像)と参照画像(比較される他方の画像)で異なる場合がある。非特許文献1には、参照画像に基づいて、撮像時における指向性がある対象画像の描出態様を推定し提示する手法が開示されている。
特開2009−268741号公報
W.Wein,A.Khamene,D−A. Clevert,O.Kutter,and N.Navab,"Simulation and fully automatic multimodal registration of medical ultrasound,"Proc.MICCAI’07,vol.1,pp.136−143,2007.
しかし、特許文献1に記載の方法は、注目組織が描出されない偽欠損箇所が広範囲に及ぶ場合には、補間が必ずしもうまくいくとは限らないという課題がある。一方、非特許文献1に記載の方法は、注目組織に基づく処理を行っていないので、対象画像における注目組織の描出態様を適切に推定することができないという課題がある。
本発明はかかる課題を解決するためになされたものであり、対象画像における注目組織の画像描出態様を適切に推定することを目的とする。
上記の目的を達成するための本発明の一様態による画像処理装置は、以下の構成を有する。すなわち、第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報を取得する取得手段と、第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出手段と、前記第2画像から前記第1画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記被写体の注目組織の向きを表す方向情報を取得する組織方向取得手段と、前記指向性の向きを表す方向情報と前記被写体の注目組織の向きを表す方向情報とからなる角度情報に基づいて、前記第1画像における前記注目組織の各画素位置に対応する明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定手段と、を有することを特徴とする。
本発明によれば、対象画像における注目組織の画像描出態様を適切に推定することが可能となる。
第1実施形態における画像処理システムおよび画像処理装置の機能構成を示す図。 第1実施形態における画像処理装置の処理手順を示すフローチャート。 第1実施形態における組織方向算出部118の処理手順を示すフローチャート。 第1実施形態における第2画像の変形画像の例を示す模式図。 第1実施形態における描出態様推定部120の処理手順を示すフローチャート。 第1実施形態における画像処理装置が生成する画像の例を示す模式図。 第1実施形態における画像処理装置が生成する画像の別の例を示す模式図。 第2実施形態における画像処理装置が生成する画像の例を示す模式図。 第3実施形態における画像処理システムおよび画像処理装置の機能構成を示す図。 第3実施形態における画像処理装置の処理手順を示すフローチャート。 第1実施形態における撮像装置の例を示す図。 第1実施形態における撮像装置の別の例を示す図。
以下、添付の図面を参照しながら、本発明の実施の形態について詳説する。ただし、本発明の範囲は図示例に限定されるものではない。
(第1実施形態)
本実施形態における画像処理装置は、被検体の参照画像における注目組織の向きを表す情報に基づいて、対象画像(比較される一方の画像)における注目組織の画像描出態様を推定する。画像描出態様とは、画像として描き出されるありさまを表す。そして、画像処理装置は、推定された画像描出態様に基づいて、注目組織の参照画像(比較される他方の画像)における表示態様を変更する。表示態様は、視覚的に表現されるありさまを表す。なお、本実施形態では、被検体は異なるモダリティによって撮像され、それぞれ対象画像(以下、第1画像とも呼ぶ)と参照画像(以下、第2画像とも呼ぶ)と称される。また、本実施形態では、被検体は乳房であり、対象画像(第1画像)がPAT画像(PAT装置によって撮像された画像)、参照画像(第2画像)がMRI画像(MRI装置によって撮像された画像)、注目組織が血管であるとして、以下の説明を行う。
図1は、本実施形態における画像処理システム1の構成を示す。同図に示すように、本実施形態における画像処理システム1は、データサーバ180、画像処理装置100、表示部190を有している。ただし、画像処理システム1の構成要素はこれらの装置等に限定されるものではなく、さらに別の構成要素を含んでもよいし、その一部が含まれないように構成してもよい。
データサーバ180は、観察対象である被検体の第1画像と第2画像を保持している。また、データサーバ180は、第1画像と第2画像の間の位置合わせ情報を保持している。データサーバ180は、画像処理装置100からの要求に応じて、これらの情報を画像処理装置100へと出力する。
なお、第1画像と第2画像の間の位置合わせ情報とは、位置合わせの手掛かりとなる情報、あるいは、位置合わせの結果である。例えば前者(位置合わせの手掛かりとなる情報)として、データサーバ180は、第1画像と第2画像の両方に共通して描出される血管構造の分岐部等の対応点群の3次元座標を保持している。対応点は予め医師や技師によって手作業で入力された点であってもよいし、画像処理によって取得した点であってもよい。また、例えば後者(位置合わせの結果)として、データサーバ180は、画像間の剛体変換パラメータ,アフィン変換パラメータ,非線形変形モデルのパラメータ,変形場等を保持している。これらの情報は、画像間の対応付けや位置合わせを行う不図示の他の画像処理装置を用いて事前に導出される。表示部190は、画像処理装置100から出力される画像を表示する。
画像処理装置100は、画像取得部110、指向性情報取得部112、注目組織抽出部114、位置合わせ部116、組織方向算出部118、描出態様推定部120、パラメータ設定部122、表示画像生成部124、および表示制御部126を備えている。画像処理装置100は、データサーバ180と表示部190に接続されている。
画像取得部110は、被検体の第1画像と第2画像をデータサーバ180から取得する。指向性情報取得部112は、第1装置により撮像された被写体の第1画像の撮像時における指向性を表す情報を取得する。注目組織抽出部114は、第2装置により撮像された該被写体の第2画像から注目組織(本実施形態では血管)の画像を抽出する。なお、本実施形態では、第1装置はPAT装置であり、第2装置はMRI装置である。位置合わせ部116は、第2画像から第1画像への変換規則を取得し、該変形規則を用いて第2画像を第1画像に合わせて変形させて、第2画像の変形画像を生成する。組織方向算出部118は、注目組織の画像に基づいて注目組織の向きを表す情報(本実施形態では血管の走行情報)を算出する。描出態様推定部120は、指向性を表す情報と注目組織の画像との関係に基づいて、第1画像における注目組織の画像描出態様を推定する。パラメータ設定部122は、表示画像生成のための表示パラメータを設定する。表示画像生成部124は、パラメータ設定部122が設定したパラメータに基づいて、第1画像と第2画像から表示画像を生成する。表示制御部126は、生成された表示画像を表示部190に表示する制御を行う。
次に、図2のフローチャートを参照して、本実施形態における画像処理装置100が実施する処理の手順について説明する。
(S2000:画像の取得)
ステップS2000において、画像取得部110は、被検体の第1画像と第2画像をデータサーバ180から取得する。
(S2010:指向性情報の取得)
ステップS2010において、指向性情報取得部112は、第1画像の撮像時における指向性を表す情報(指向性情報)をデータサーバ180から取得する。本実施形態では、指向性情報取得部112は、指向性を表す情報として、指向性の向きを表す方向情報(方向ベクトル)と、指向性の高さを表す角度情報(角度のスカラー値)を取得する。
ここで、図11と図12を用いて、指向性を表す情報の例を説明する。図11は、本実施形態における撮像装置の例を示す図であり、図12は、本実施形態における撮像装置の別の例を示す図である。図11に示すPAT装置1110は、開口部1112に挿入された被験者1100の乳房1101が2つの保持部材1113及び1114に挟まれることにより保持される平行平板型の装置である。図12に示すPAT装置1210は、開口部1203に挿入された乳房1201が保持膜1204により保持される保持膜型の装置である。図12に示すPAT装置1210においては、照射部1208が乳房1201に対して光照射を行い、当該光照射により発生する音響波を超音波探触子1205で検出する。図12に示すPAT装置1210においては、超音波探触子1205及び照射部1208を含む撮像ユニット1209が可動ステージ1207により移動させられる。図12に示すPAT装置1210においては、形状計測装置1206により乳房1201の形状が計測されている。第1画像(PAT画像)を撮像する撮像装置が図11に示すような平行平板型のPAT装置1110である場合には、指向性情報取得部112は、指向性の向きを表す方向情報として、保持版1114の法線方向を設定すればよい。そして、指向性情報取得部112は、指向性の高さを表す角度情報としては、例えば30度という値を設定すればよい。また、第1画像(PAT画像)を撮像する撮像装置が図12に示すような保持膜型のPAT装置1210である場合には、指向性情報取得部112は、指向性の向きを表す方向情報(方向ベクトル)として、PAT装置1210の上面1202の法線方向(あるいは、撮像ユニット1209の回転軸の方向)を設定すればよい。そして、指向性情報取得部112は、指向性の高さを表す角度情報としては、例えば60度という値を設定すればよい。
なお、指向性情報取得部112は、指向性の高さを表す角度情報として、前述のように固定値ではなく、第1画像中の画素の位置に応じた値を取得してもよい。例えば、第1画像(PAT画像)の撮像装置が図12に示すようなPAT装置1210である場合には、指向性情報取得部112は、乳房1201の大胸筋付近の画素の位置における角度を、乳頭付近の画素の位置における角度よりも小さく設定すればよい。なお、指向性情報取得部112は、指向性の高さを表す角度情報を、必ずしもデータサーバ180から取得する必要はない。例えば、指向性情報取得部112は、画像処理装置100の操作者により不図示のUI(User Interface)を介して入力された角度情報を取得するようにしてもよい。
(S2020:注目組織の抽出)
ステップS2020において、注目組織抽出部114は、第2画像から注目組織(本実施形態では血管)の画像を抽出する画像処理を実行する。例えば、周辺の組織と比較して注目組織の画素値が高い場合には、注目組織抽出部114は、判別分析法等によって高画素値の領域と低画素値の領域とに領域分割する。この場合、高画素値の領域が注目組織に相当する領域となる。なお、第2画像から注目組織の画像を抽出する処理は、判別分析法に限らず、例えばp−タイル法や公知の機械学習の手法等を用いてもよい。あるいは、画像処理装置100の操作者が、表示部190に表示された第2画像の断面画像を観察しながら、画像処理装置100へ注目組織の画像の情報を入力するようにしてもよい。本実施形態では、注目組織抽出部114は、注目組織の画像として、注目組織の画素値が所定の値(例えば、1)で、該注目組織以外の画素値が該所定の値以外の値(例えば、0)となるラベル画像を生成して保持するものとする。なお、データサーバ180が注目組織の画像を表す情報を保持している場合には、注目組織抽出部114は、本ステップの処理として、データサーバ180からその情報を取得する。
(S2030:位置合わせ)
ステップS2030において、位置合わせ部116は、第1画像と第2画像の間の位置合わせ処理(第2画像から第1画像への変換規則を算出する処理)を行う。位置合わせには、例えば、特徴点の対応付けや画像類似度に基づくFFD(Free−form Deformation)法や、LDDMM(Large Deformation Diffeomorphic Metric Mapping)法等の公知の方法が用いられる。また、画像間の変形が小さい場合や無視できる場合(画像処理装置100の操作者が指示した場合)には、位置合わせ部116は、アフィン変換や剛体変換等の線形変換による画像間の座標変換を変換規則として算出する。
なお、データサーバ180が第2画像から第1画像への変換規則の情報を保持している場合には、位置合わせ部116は、データサーバ180からその情報を取得する。また、データサーバ180が位置合わせの手掛かりとなる情報を保持している場合には、位置合わせ部116は、データサーバ180からその情報を取得して、該情報に基づいて変換規則を算出する。例えば、位置合わせ部116は、位置合わせの手掛かりとなる情報として対応点の情報を取得した場合、該対応点に基づいて変換規則を算出する。
次に、位置合わせ部116は、上記のようにして得た変換規則を用いて、第2画像を第1画像に合わせて変形させて、第2画像の変形画像(本実施形態では変形MRI画像)を生成する。図4は、以上の処理によって生成される第2画像の変形画像(変形MRI画像400)の例を示す図である。図4に示す変形MRI画像400には、血管401及び腫瘍402が表されている。
(S2040:注目組織の向きの算出)
ステップS2040において、組織方向算出部118は、ステップS2020で抽出されたラベル画像と、ステップS2030で算出された変換規則に基づいて、注目組織の向きを表す情報を算出する。本実施形態では、注目組織の向きを表す情報として、組織方向算出部118は、血管の走行方向を算出するものとする。以下、図3のフローチャートを用いて、本ステップにおける処理の詳細を説明する。図3は、組織方向算出部118の処理手順を示すフローチャートである。組織方向算出部118は、該変換規則を用いて該ラベル画像を変換して変形ラベル画像を生成し、該変形ラベル画像における所定の値を有する画素位置に基づいて、注目組織の向きを表す情報を算出する。
(S3000:変形ラベル画像の生成)
ステップS3000において、組織方向算出部118は、ステップS2020で第2画像から抽出された注目組織を表すラベル画像を第1画像に合わせて変換して、変形ラベル画像を生成する。
(S3010:細線化)
ステップS3010において、組織方向算出部118は、注目組織の変形ラベル画像に対して、公知の細線化処理を施して、細線化された画素列を算出する。あるいは、画像処理装置100の操作者が、表示部190に表示した第2画像の変形画像または変形ラベル画像の断面画像を観察しながら、画像処理装置100へ注目組織の芯線を表す曲線を入力するようにしてもよい。
(S3020:折線近似)
ステップS3020において、組織方向算出部118は、ステップS3010で細線化された画素列に対して2分割法等の公知のベクトル化処理を施して、画素列を近似する折線を算出する。あるいは、ステップS3010およびS3020の代わりに、画像処理装置100の操作者が、表示部190に表示した第2画像の変形画像または変形ラベル画像の断面画像を観察しながら、画像処理装置100へ注目組織の芯線を表す折線を入力するようにしてもよい。
(S3030:方向ベクトルの算出)
ステップS3030において、組織方向算出部118は、ステップS3010で細線化された画素毎に、ステップS3020で算出した折線の向きを表す方向ベクトルを算出する。
(S3040:折線方向画像の生成)
ステップS3040において、組織方向算出部118は、ステップS3030で算出した方向ベクトルの各成分を画素値とする折線方向画像(X方向折線画像、Y方向折線画像、およびZ方向折線画像)を生成する。
(S3050:組織方向画像の生成)
ステップS3050において、組織方向算出部118は、変形ラベル画像の画素値が所定の値(例えば、1)である画素位置で、かつ、折線方向画像に画素値が設定されていない画素について、折線方向画像に画素値が設定されている最近傍の画素位置の画素値を設定する。本ステップの処理により生成される組織方向画像(X方向画像、Y方向画像、およびZ方向画像)が、注目組織の向きを表す情報となる。以上のようにして、組織方向算出部118によるステップS2040の処理が実行される。
(S2050:描出態様の推定)
図2に戻り、ステップS2050において、画像処理装置100は、描出態様推定部120の処理として、ステップS2010で取得された指向性を表す情報と、ステップS2040で算出された注目組織の向きを表す情報との関係に基づいて、第1画像における注目組織の画像描出態様を推定する。以下、図5のフローチャートを用いて、本ステップにおける処理の詳細を説明する。図5は、本実施形態における描出態様推定部120の処理手順を示すフローチャートである。描出態様推定部120は、変形ラベル画像における所定の画素値を有する画素位置において、指向性を表す情報と注目組織の向きを表す情報に基づいて注目組織の描出の明瞭度を算出し、該明瞭度と前記第2画像の変形画像に基づいて画像描出態様を推定する。
(S5000:角度の算出)
ステップS5000において、描出態様推定部120は、変形ラベル画像の画素値が所定の値(例えば、1)である各画素位置において、指向性の向きを表す方向ベクトルと注目組織の向きを表す方向ベクトルとのなす角度θを算出する。ここで、注目組織の向きを表す方向ベクトルは、ステップS2040で生成された組織方向画像から取得される。
(S5010:明瞭度の算出)
ステップS5010において、描出態様推定部120は、変形ラベル画像の画素値が1である各画素位置において、ステップS5000で算出した角度θと指向性の高さを表す角度φとの関係に基づいて、注目組織の描出の明瞭度を算出する。すなわち、描出態様推定部120は、各画素位置における明瞭度が設定された明瞭度画像を生成する。例えば、90度からθを引いた角度がφよりも小さい場合には、注目組織が描出されることが期待されるので、描出態様推定部120は、明瞭度(注目組織が明瞭に描出される度合い)を1に設定する。そして、それ以外の場合には、注目組織が描出されないと推定されるので、描出態様推定部120は、明瞭度を0に設定する。
なお、明瞭度は0と1の2値に限らず、0から1までの連続的な値として設定してもよい。その場合、90度からθを引いた角度がφと等しい場合に、明瞭度が0.5となるように設定することが望ましい。あるいは、明瞭度と、90度からθを引いた角度とφとの間の角度差との関係を表すテーブルが予め作成してデータサーバ180に保持され、ステップS2010において、指向性情報取得部112が指向性の高さに関する情報として取得するようにしてもよい。その場合、本ステップにおいて、描出態様推定部120は、当該テーブルに基づいて明瞭度を設定すればよい。なお、変形ラベル画像の画素値が0である各画素位置については、描出態様推定部120は、明瞭度画像の画素値を0に設定する。
(S5020:描出態様の推定画像の生成)
ステップS5020において、描出態様推定部120は、第2画像の変形画像の画素値に対して対応する明瞭度画像の画素値(明瞭度)を掛け合わせることによって、注目組織の画像描出態様の推定画像を生成する。以上のようにして、描出態様推定部120によるステップS2050の処理が実行される。
(S2060:表示パラメータの設定)
図2に戻り、ステップS2060において、パラメータ設定部122は、表示画像生成のための表示パラメータとして、第2画像の変形画像における注目組織の画素値を調整するための第1パラメータと、該第1パラメータによる調整後の第2画像の変形画像上に重畳表示する際の透過度を調整するための第2パラメータを、不図示のUIを介した操作者の入力に基づいて設定する。具体的には、パラメータ設定部122は、第2画像の変形画像における注目組織の画素値を調整する(注目組織と周辺組織との判別しやすさを調整する)ためのパラメータL(0≦L≦1)を、第1のパラメータとして、操作者の入力に基づいて設定する。また、パラメータ設定部122は、ステップS2050で生成された推定画像を、前記調整後の第2画像の変形画像上に重畳表示する際の透過度を調整するパラメータT(0≦T≦1)を、第2のパラメータとして設定する。これらのパラメータに基づいて画素値を算出する処理については、後述のステップS2070で説明する。
(S2070:表示画像の生成)
ステップS2070において、表示画像生成部124は、第2画像の変形画像に、推定された画像描出態様で注目組織を重畳表示した画像を表示画像として生成する。具体的には、表示画像生成部124は、操作者が設定した切断面によって切り取られる第2画像の変形画像の断面画像上に、ステップS2050で推定された画像描出態様で注目組織を重畳表示した画像を表示画像として生成する。このとき、表示画像生成部124は、ステップS2060で求められた第1のパラメータ(L)と第2のパラメータ(T)に基づいて表示画像を生成する。具体的には、まず、ステップS2060で設定されたパラメータLに基づいて、表示画像生成部124は、以下の式によって、第2画像の変形画像における注目組織の画素値I2を画素値I2’に変更する。
(数1)
I2’ = IS + L・(I2−IS)
ただし、ISは、注目組織の周辺に存在する組織(以下、周辺組織と呼ぶ)の代表的な画素値であり、例えば、注目組織の輪郭に外接する画素値の平均値を用いることができる。ここで、パラメータLが1の時は注目組織の画素値はI2から変更されないことになる。一方、パラメータLが0の時は、注目組織の画素値I2’は周辺組織の代表的な画素値ISと一致する(注目組織が周辺組織と判別できない態様で表示される)ことになる。
次に、ステップS2060で設定されたパラメータTに基づいて、変形ラベル画像の画素値が1である各画素位置において、表示画像生成部124は、以下の式によって、表示画像の画素値I2”を算出する。なお、変形ラベル画像の画素値が0である各画素位置については、表示画像生成部124は、第2画像の変形画像における画素値I2をそのまま表示画像の画素値I2”とすればよい。
(数2)
I2” = T・IE + (1−T)・I2’
ここで、IEは、ステップS2050で生成された推定画像における画素値を表す。この式によって、推定画像における画素値IEと、上述の変更を施した第2画像の変形画像における画素値I2’とが合成される。ここで、パラメータTが1の時は、第2画像の変形画像における注目組織の画素値I2’が、推定画像の画素値IEにより上書きされることになる。一方、パラメータTが0の時は、推定画像における画素値IEは表示されないことになる。
なお、表示画像生成部124は、注目組織の描出態様の推定画像を生成して第2画像の変形画像に重畳表示する代わりに、ステップS5010で算出された明瞭度に基づいて表示画像の画素値I2”を算出してもよい。例えば、表示画像生成部124は、変形ラベル画像の画素値が1である各画素位置について、ステップS5010で算出された明瞭度を、第2画像の変形画像における画素値I2に掛け合わせることによって、表示画像の画素値I2”を算出してもよい。その場合、ステップS5020およびステップS2060の処理は実行する必要はない。
(S2080:画像の表示)
図2に戻り、ステップS2080において、表示制御部126は、ステップS2070で生成された表示画像を表示部190に表示する制御を行う。以上の処理によって表示される画像の例を図6および図7に示す。
図6は、パラメータLが1、パラメータTが0.5の場合の表示画像を図示している。この場合、変形MRI画像(第2画像の変形画像)400の断面画像上に、推定された画像描出態様で血管(注目組織)が半透明で重畳表示される(重畳表示された血管601)。また、図6は、対応するPAT画像(第1画像)600を並べて表示する表示例を示している。
一方、図7は、パラメータLが0、パラメータTが1の場合の表示画像を図示している。この場合、変形MRI画像(第2画像の変形画像)400の断面画像における血管(注目組織)が周辺組織と判別できない態様で表示される(抽出された血管401)。さらに当該断面画像上に、推定された画像描出態様で血管(注目組織)が上書き表示される(推定された画像描出態様の血管701)。また、図7においても、対応するPAT画像(第1画像)600を並べて表示する表示例を示している。
(S2090:表示態様の変更の判定)
ステップS2090において、画像処理装置100は、表示態様を変更(表示パラメータを再設定)する指示を不図示のUIを介して操作者により入力されたか否かを判定する。例えば、画像処理装置100は、キーボードの所定のキーを操作者が押すなどして入力した変更の指示を取得する。そして、画像処理装置100は、表示態様を変更すると判定した場合には、ステップS2060へと処理を戻して、表示パラメータの再設定処理を実行する。一方、表示態様を変更しないと判定した場合には、画像処理装置100は、ステップS2100へと処理を進める。
(S2100:終了の判定)
ステップS2100において、画像処理装置100は、全体の処理を終了するか否かの判定を行う。例えば、画像処理装置100は、キーボードの所定のキー(終了キー)を操作者が押すなどして入力された終了の指示を取得する。画像処理装置100は、全体の処理を終了すると判定した場合には、画像処理装置100の処理を終了させる。一方、画像処理装置100は、全体の処理を終了すると判定しなかった場合には、ステップS2070へと処理を戻し、操作者が設定した新たな切断面に応じて表示画像を表示する処理を繰り返し実行する。以上によって、画像処理装置100の処理が実行される。
以上のように、本実施形態における画像処理装置は、第2画像(参照画像)における注目組織の向きを表す情報に基づいて、第1画像(対象画像)における注目組織の画像描出態様を推定し、推定された画像描出態様で注目組織を第2画像(参照画像)上に表示する。このように、注目組織に基づく推定処理および表示処理を行うことで、第1画像(対象画像)における注目組織の画像描出態様を適切に推定し、第2画像(参照画像)上に分かりやすく表示することができる。
(変形例1)
第1実施形態では、注目組織が血管である例について説明したが、注目組織は血管に限らない。例えば、注目組織は被検体の乳腺や体表であってもよい。注目組織が被検体の乳腺である場合には、血管と同様の処理を行えばよい。一方、注目組織が被検体の体表である場合には、ステップS2040において、組織方向算出部118は、注目組織の向きを表す情報として、体表の法線方向を算出すればよい。そして、ステップS5010において、描出態様推定部120は、θがφよりも小さい場合に推定値を1に設定し、それ以外の場合に推定値を0に設定すればよい。
(変形例2)
第1実施形態では、被検体が乳房である例について説明したが、被検体は乳房に限らず、心臓、肝臓、肺、脳等の任意の臓器であってもよい。
(変形例3)
第1実施形態では、対象画像(第1画像)がPAT画像(PAT装置によって撮像された画像)である例について説明したが、対象画像はPAT画像に限らない。例えば、超音波診断装置によって撮像された画像であってもよいし、X線マンモグラフィ装置によって撮像された画像であってもよい。
(変形例4)
第1実施形態では、参照画像(第2画像)がMRI画像(MRI装置によって撮像された画像)である例について説明したが、参照画像はMRI画像に限らない。例えば、参照画像(第2画像)は、CT画像(X線CT装置によって撮像された画像)であってもよいし、超音波診断装置によって撮像された3次元超音波画像であってもよい。あるいは、参照画像(第2画像)は、トモシンセシス装置によって撮像された画像であってもよい。
(変形例5)
第1画像と第2画像が予め位置合わせされている(画像間に座標系の違いや変形状態の違いが無く、同じ座標は同じ場所を表すように予め画像が揃えられている)場合には、ステップS2030の処理を省略できる。例えば、超音波画像とPAT画像を同時撮像可能なハイブリッド装置で撮像した3次元超音波画像とPAT画像を表示する場合がそれに相当する。この場合、3次元超音波画像で得た注目組織の位置を、そのままPAT画像における注目組織の位置とみることができる。そして、ステップS2040以降における、第2画像の変形画像に対する処理は、第2画像に対する処理に置き換えることができる。
(第2実施形態)
第2実施形態における画像処理装置は、対象画像(PAT画像)における注目組織の画像描出態様を推定した結果に基づいて、対象画像(PAT画像)を補正することを特徴とする。以下、本実施形態に係る画像処理装置について、第1実施形態と異なる部分について説明する。
本実施形態における画像処理システム1の構成、画像処理装置100の各部の動作、処理手順は、第1実施形態と概ね同様である。ただし、ステップS2060からS2080までの処理が、第1実施形態と異なっている。以下に、ステップS2060からS2080までの処理について説明する。
(S2060:表示パラメータの設定)
ステップS2060において、パラメータ設定部122は、表示画像生成のための表示パラメータを、不図示のUIを介した操作者の入力に基づいて設定する。具体的には、パラメータ設定部122は、ステップS2050で生成された推定画像に基づいて、第1画像における注目組織に対応する部位の画素値を補正するためのパラメータC(0≦C≦1)を、操作者の入力に基づいて設定する。このパラメータは、補正度合いを調整するためのものである。このパラメータに基づいて画素値を変更する処理については、後述のステップS2070で説明する。
(S2070:表示画像の生成)
ステップS2070において、表示画像生成部124は、推定された画像描出態様に基づいて、第1画像における注目組織に対応する部位の画素値を補正し、該補正した画像を表示画像として生成する。具体的には、表示画像生成部124は、操作者が設定した切断面によって切り取られる第1画像の断面画像における注目組織に対応する部位の画素値を、ステップS2050で生成した推定画像に基づいて補正し、該補正した画像を表示画像として生成する。このとき、表示画像生成部124は、ステップS2060で求めた表示パラメータを適用する。具体的には、表示画像生成部124は、ステップS2060で設定したパラメータCに基づいて、以下の式によって、第1画像の断面画像における注目組織に対応する部位の画素値I1を変更して、表示画像の画素値I1’を算出する。
(数3)
I1’ = IE + C・(I1−IE)
ここで、パラメータCが1の時は、注目組織の画素値はI1から変更されないことになる。また、パラメータCが0の時は、注目組織の画素値は注目組織の推定画像の画素値IEと一致する(注目組織の画素値が推定画像の画素値IEで置き換えられる)ことになる。
なお、表示画像生成部124は、注目組織の画像描出態様の推定画像を生成して第1画像における注目組織に対応する部位を補正する代わりに、ステップS5010で算出された明瞭度に基づいて表示画像の画素値I1’を算出してもよい。例えば、表示画像生成部124は、変形ラベル画像の画素値が1である各画素位置について、明瞭度の逆数を第1画像における注目組織に対応する部位の画素値I1に掛け合わせる(画素値I1を持ち上げる)ことによって、表示画像の画素値I1’を算出してもよい。ここで、明瞭度が閾値以下の場合には、表示画像生成部124は、明瞭度の逆数の代わりに閾値の逆数を掛け合わせればよい。この場合、ステップS5020およびステップS2060の処理は実行する必要はない。
(S2080:画像の表示)
ステップS2080において、表示制御部126は、ステップS2070で生成された表示画像を表示部190に表示する制御を行う。以上の処理によって表示される画像の例を図8に示す。図8は、パラメータCが0.5の場合の第1画像(PAT画像)の断面画像を図示している。図8におけるPAT画像800において、補正された血管801が表されていることがわかる。
以上説明したように、本実施形態における画像処理装置は、第2画像(参照画像)における注目組織の向きを表す情報に基づいて、第1画像(対象画像)における注目組織の画像描出態様を推定する。そして、画像処理装置は、推定された画像描出態様に基づいて、第1画像(対象画像)における注目組織に対応する部位の画素値を補正する。このような処理を行うことで、第1画像(対象画像)における注目組織の偽欠損箇所を適切に補正して表示することができる。また、当該補正により、PAT画像における注目組織(血管)の画像描出態様のばらつきを抑制することができるため、PAT画像の定量性を向上させることができる。
なお、本実施形態では、画像処理装置は、推定された画像描出態様に基づいて、第1画像(対象画像)における注目組織に対応する部位の画素値を補正する例について説明したが、例えば、不図示の導出部が、推定された画像描出態様に基づいて診断を支援する情報を求めてもよい。例えば、画像処理装置は、推定された画像描出態様で注目組織を第1画像上に重畳した画像を生成して、操作者に提示することによって、第1画像上に描出されている組織が注目組織かノイズかを操作者が判断しやすいように支援してもよい。
(第3実施形態)
第3実施形態に係る画像処理装置は、対象画像(PAT画像)における注目組織の画像描出態様の推定と、その結果に基づく第2画像から第1画像への変換規則の更新を繰り返して、位置合わせを高精度化することを特徴とする。以下、本実施形態に係る画像処理装置について、第1実施形態と異なる部分について説明する。
図9は、本実施形態における画像処理システム9の構成を示す。なお、図1と同じ部分については同じ番号、記号を付けており、その説明を省略する。
画像処理装置900は、画像取得部110、指向性情報取得部112、注目組織抽出部114、位置合わせ部916、組織方向算出部118、および描出態様推定部920を備えている。そして、データサーバ180に接続されている。位置合わせ部916は、注目組織の画像描出態様の推定結果に基づいて、第2画像から第1画像への変換規則を算出する(位置合わせを行う)。描出態様推定部920は、位置合わせの結果と、注目組織の向きを表す情報と指向性を表す情報との関係に基づいて、描出された注目組織の表示態様を推定する。
図10は、本実施形態における画像処理装置100が実施する処理の手順を示すフローチャートである。ステップS10000、S10010、S10020、S10040、S10050の処理は、第1実施形態におけるステップS2000、S2010、S2020、S2040、S2050の処理と重複するため、説明を省略する。以下に、ステップS10030とS10060の処理について説明する。
(S10030:位置合わせ)
ステップS10030において、位置合わせ部916は、第1画像と第2画像の間の位置合わせ処理(第2画像から第1画像への変換規則を算出する処理)を行う。本実施形態の位置合わせ処理においては、位置合わせ部916は、位置合わせの手掛かりとなる情報として対応点の情報を取得して、対応点に基づく位置合わせ処理を実行する。ここで、ステップS10060の後に本ステップの処理を実行する場合には、位置合わせ部916は、ステップS10050で推定された注目組織の画像描出態様に基づいて、第2画像から第1画像への変換規則を更新する。例えば、位置合わせ部916は、ステップS10050におけるステップS5010で算出された明瞭度を、位置合わせの手掛かりとなる情報の信頼度として扱う。そして、位置合わせ部916は、対応点に基づく位置合わせ処理を実行する際に、該信頼度に応じた重み付けを行うことによって、第2画像から第1画像への変換規則を更新する。
ここで、位置合わせの繰り返し回数が少ない段階では、指向性情報取得部112が、指向性の高さを表す角度情報を実際よりも小さな値に設定して、確実に対応付けられる情報に基づく位置合わせが位置合わせ部916で行われるようにしてもよい。この場合、指向性情報取得部112は、位置合わせの繰り返しの回数に応じて、指向性の高さを表す角度情報を実際の値に近付けていき、最終的にはより高精度な位置合わせが位置合わせ部916で行われるようにすることができる。
(S10100:終了の判定)
ステップS10100において、画像処理装置900は、全体の処理を終了するか否かの判定を行う。画像処理装置900は、全体の処理を終了すると判定した場合には、画像処理装置100の処理を終了させる。一方、画像処理装置100は、終了すると判定しなかった場合には、ステップS10030へと処理を戻し、第2画像から第1画像への変換規則を更新する。以上によって、画像処理装置900の処理が実行される。
以上のように、本実施形態における画像処理装置は、対象画像(PAT画像)における注目組織の画像描出態様の推定と、その結果に基づく第2画像から第1画像への変換規則の更新を繰り返す。このような処理を行うことで、位置合わせを高精度化することができる。
(変形例1)
第3実施形態では、表示画像の生成までは行わない例について説明したが、第1実施形態と同様に表示画像の生成まで行ってもよい。本変形例では、画像処理装置900は、画像処理装置100と同様に、パラメータ設定部122、表示画像生成部124、および表示制御部126も備える。また、ステップS2060からS2090の処理も実行する。この場合、ステップS10030において、ステップS10050で推定した注目組織の画像描出態様に基づいて操作者が対応点の情報を更新することができる。そして、位置合わせ部916は、更新された対応点に基いて位置合わせ処理を実行する。あるいは、位置合わせ部916は、表示画像に基づく公知の画像ベースの位置合わせ処理を実行することもできる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1 画像処理システム、100 画像処理装置、110 画像取得部、112 指向性情報取得部、114 注目組織抽出部、116 位置合わせ部、118 組織方向算出部、120 描出態様推定部、122 パラメータ設定部、124 表示画像生成部、126 表示制御部、180 データサーバ、190 表示部

Claims (17)

  1. 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報を取得する取得手段と、
    第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出手段と、
    前記第2画像から前記第1画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記被写体の注目組織の向きを表す方向情報を取得する組織方向取得手段と、
    前記指向性の向きを表す方向情報と前記被写体の注目組織の向きを表す方向情報とからなる角度情報に基づいて、前記第1画像における前記注目組織の各画素位置に対応する明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定手段と、
    を有することを特徴とする画像処理装置。
  2. 前記第2画像から前記第1画像への変換規則を取得し、前記変換規則を用いて前記第2画像を第1画像に合わせて変形させて前記第2画像の変形画像を生成する位置合わせ手段を更に有し、
    前記組織方向取得手段は、前記注目組織を表す画像と前記変換規則に基づいて、前記被写体の注目組織の向きを表す方向情報を取得することを特徴とする請求項1に記載の画像処理装置。
  3. 前記抽出手段は、前記注目組織を表す画像として、該注目組織の画素値が所定の値で、該注目組織以外の画素値が該所定の値以外の値となるラベル画像を生成し、
    前記組織方向取得手段は、前記変換規則を用いて該ラベル画像を変換して変形ラベル画像を生成し、該変形ラベル画像における前記所定の値を有する画素位置に基づいて、前記被写体の注目組織の向きを表す方向情報を算出することを特徴とする請求項2に記載の画像処理装置。
  4. 前記推定手段は、前記変形ラベル画像における前記所定の画素値を有する画素位置において、前記指向性を表す情報と前記被写体の注目組織の向きを表す方向情報に基づいて前記注目組織の描出の明瞭度を算出し、該明瞭度と前記第2画像の変形画像に基づいて、前記第1画像における前記注目組織の各画素位置に対応する前記注目組織の画像描出態様を推定することを特徴とする請求項3に記載の画像処理装置。
  5. 前記位置合わせ手段は、推定された前記第1画像における前記注目組織の各画素位置に対応する画素値に基づいて前記変換規則を更新することを特徴とする請求項2から4のいずれか1項に記載の画像処理装置。
  6. 前記第2画像の変形画像に、推定された前記第1画像における前記注目組織の各画素位置に対応する画素値で前記注目組織を重畳表示した画像を表示画像として生成する表示画像生成手段を更に有することを特徴とする請求項2から5のいずれか1項に記載の画像処理装置。
  7. 前記注目組織と周辺組織との判別しやすさを調整するように、前記第2画像の変形画像における前記注目組織の画素値を調整するための第1パラメータと、該第1パラメータによる調整後の前記第2画像の変形画像上に重畳表示する際の透過度を調整するための第2パラメータを設定する設定手段を更に有し、
    前記表示画像生成手段は、前記第1パラメータと前記第2パラメータに基づいて前記表示画像を生成することを特徴とする請求項6に記載の画像処理装置。
  8. 前記表示画像生成手段は、推定された前記第1画像における前記注目組織の各画素位置に対応する画素値に基づいて、前記第1画像における前記注目組織に対応する部位の画素値を補正し、該補正した画像を前記表示画像として生成することを特徴とする請求項6または7に記載の画像処理装置。
  9. 推定された前記第1画像における前記注目組織の各画素位置に対応する画素値に基づいて、前記第1画像の診断を支援する情報を求める導出手段を更に有することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
  10. 前記第1装置はPAT(PhotoAcoustic Tomography)装置であり、前記第2装置はMRI(Magnetic Resonance Imaging)装置であることを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
  11. 前記注目組織は血管であることを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。
  12. 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得手段と、
    第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出手段と、
    前記第2画像から前記第1画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出手段と、
    前記変換された注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定手段と、
    を有することを特徴とする画像処理装置。
  13. 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得手段と、
    第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出手段であって、前記第1画像と前記第2画像が予め位置合わせされている、抽出手段と、
    前記注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出手段と、
    前記注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定手段と、
    を有することを特徴とする画像処理装置。
  14. 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報を取得する取得工程と、
    第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出工程と、
    前記第2画像から前記第1画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記被写体の注目組織の向きを表す方向情報を取得する組織方向取得工程と、
    前記指向性の向きを表す方向情報と前記被写体の注目組織の向きを表す方向情報とからなる角度情報に基づいて、前記第1画像における前記注目組織の各画素位置に対応する明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定工程と、
    を有することを特徴とする画像処理方法。
  15. 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得工程と、
    第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出工程と、
    前記第2画像から前記第1画像への変換規則を用いて前記注目組織の画像を変換して、変換された注目組織の画像を生成し、当該変換された注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出工程と、
    前記変換された注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定工程と、
    を有することを特徴とする画像処理方法。
  16. 第1装置により撮像された被写体の第1画像の撮像時における指向性の向きを表す方向情報、指向性の高さを表す角度情報とを取得する取得工程と、
    第2装置により撮像された前記被写体の第2画像から注目組織の画像を抽出する抽出工程であって、前記第1画像と前記第2画像が予め位置合わせされている、抽出工程と、
    前記注目組織の画像に基づいて、前記注目組織の向きを表す情報を算出する組織方向算出工程と、
    前記注目組織の画像における、注目組織に相当する所定の画素値を有する各画素位置において、前記指向性の向きを表す方向ベクトルと前記注目組織の向きを表す方向ベクトルとのなす角度を算出し、当該角度と前記指向性の高さを表す角度との関係に基づいて、前記各画素位置における明瞭度を算出し、当該明瞭度に基づいて、前記第1画像における前記注目組織の画像描出態様を推定する推定工程と、
    を有することを特徴とする画像処理方法
  17. コンピュータを、請求項1から13のいずれか1項に記載の画像処理装置として機能させるプログラム。
JP2016147779A 2015-08-06 2016-07-27 画像処理装置、画像処理方法、およびプログラム Expired - Fee Related JP6971544B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015156241 2015-08-06
JP2015156241 2015-08-06

Publications (2)

Publication Number Publication Date
JP2017035469A JP2017035469A (ja) 2017-02-16
JP6971544B2 true JP6971544B2 (ja) 2021-11-24

Family

ID=58047232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016147779A Expired - Fee Related JP6971544B2 (ja) 2015-08-06 2016-07-27 画像処理装置、画像処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US10304158B2 (ja)
JP (1) JP6971544B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6745796B2 (ja) * 2014-10-17 2020-08-26 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 介入治療内で器具を挿入する間の実時間の臓器区分化及び器具ナビゲーションのためのシステム、並びにその作動方法
JP6608110B2 (ja) * 2016-04-13 2019-11-20 富士フイルム株式会社 画像位置合わせ装置および方法並びにプログラム
JP6840481B2 (ja) 2016-07-19 2021-03-10 キヤノン株式会社 画像処理装置および画像処理方法
JP6711715B2 (ja) 2016-07-19 2020-06-17 キヤノン株式会社 画像処理装置および画像処理方法
JP6849420B2 (ja) * 2016-12-12 2021-03-24 キヤノンメディカルシステムズ株式会社 超音波診断装置及び医用画像処理装置
JP2018110615A (ja) 2017-01-06 2018-07-19 キヤノン株式会社 画像処理装置および画像処理方法
JP6934734B2 (ja) 2017-03-17 2021-09-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
WO2019065466A1 (ja) 2017-09-29 2019-04-04 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7022554B2 (ja) 2017-10-03 2022-02-18 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
JP2019149124A (ja) * 2018-02-28 2019-09-05 富士フイルム株式会社 変換装置、変換方法、及びプログラム
JP7226728B2 (ja) * 2018-08-24 2023-02-21 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
KR102375775B1 (ko) * 2020-02-10 2022-03-21 주식회사 메디픽셀 혈관 영상에 기초한 주요 혈관 영역 추출 방법 및 장치
US11373391B2 (en) 2020-03-16 2022-06-28 Novatek Microelectronics Corp. Image processing device, image processing system and image processing method

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3388954B2 (ja) * 1995-08-23 2003-03-24 株式会社東芝 超音波診断装置
US6106466A (en) * 1997-04-24 2000-08-22 University Of Washington Automated delineation of heart contours from images using reconstruction-based modeling
JP3805231B2 (ja) 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
JP3796449B2 (ja) 2002-01-31 2006-07-12 キヤノン株式会社 位置姿勢決定方法および装置並びにコンピュータプログラム
EP1349114A3 (en) 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
JP4136859B2 (ja) 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
JP2005149409A (ja) 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
US20090226065A1 (en) * 2004-10-09 2009-09-10 Dongqing Chen Sampling medical images for virtual histology
JP5105981B2 (ja) * 2007-07-18 2012-12-26 株式会社東芝 医用画像処理表示装置、およびその処理プログラム
JP5242235B2 (ja) 2008-05-08 2013-07-24 株式会社東芝 Mri画像診断装置及びmr画像形成方法
JP5335280B2 (ja) * 2008-05-13 2013-11-06 キヤノン株式会社 位置合わせ処理装置、位置合わせ方法、プログラム、及び記憶媒体
WO2011021181A1 (en) * 2009-08-16 2011-02-24 Ori Hay Assessment of spinal anatomy
US20120069049A1 (en) * 2010-09-16 2012-03-22 Omnyx, LLC Digital pathology image manipulation
JP5694991B2 (ja) * 2011-07-14 2015-04-01 富士フイルム株式会社 光音響画像化方法および装置
GB2510741A (en) 2011-09-28 2014-08-13 Canon Kk Image processing apparatus, image processing method and program
JP2014054362A (ja) * 2012-09-12 2014-03-27 Toshiba Corp 超音波診断装置、画像処理装置及びプログラム
JP6112861B2 (ja) * 2012-12-28 2017-04-12 キヤノン株式会社 被検体情報取得装置、信号処理装置および表示装置
JP6081299B2 (ja) * 2013-06-13 2017-02-15 東芝メディカルシステムズ株式会社 超音波診断装置
JP6397269B2 (ja) 2013-09-06 2018-09-26 キヤノン株式会社 画像処理装置、画像処理方法
US9230331B2 (en) * 2013-10-21 2016-01-05 Samsung Electronics Co., Ltd. Systems and methods for registration of ultrasound and CT images
JP6393106B2 (ja) 2014-07-24 2018-09-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9808213B2 (en) 2014-08-11 2017-11-07 Canon Kabushiki Kaisha Image processing apparatus, image processing method, medical image diagnostic system, and storage medium
KR102328266B1 (ko) * 2014-10-29 2021-11-19 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 영상 처리부가 마련된 초음파 영상 장치

Also Published As

Publication number Publication date
US10304158B2 (en) 2019-05-28
US20170039776A1 (en) 2017-02-09
JP2017035469A (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6971544B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6448356B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP5345290B2 (ja) 局所的に重み付けされた適合化を使用する画像位置合わせ
EP2505162B1 (en) Method and apparatus for generating medical image of body organ by using 3-D model
CN107847274B (zh) 用于在机器人外科手术期间提供更新后的患者图像的方法和装置
KR102251830B1 (ko) 초음파 및 ct 영상의 정합에 관한 시스템 및 작동 방법
EP2925216B1 (en) Stenosis therapy planning
CN109152566B (zh) 校正超声融合成像系统中的探头引起的变形
JP6458166B2 (ja) 医用画像処理方法及び装置及びシステム及びプログラム
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7409624B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113870227B (zh) 基于压力分布的医学定位方法、装置、电子设备及存储介质
JP2022111704A (ja) 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム
JP6934734B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
US20030128890A1 (en) Method of forming different images of an object to be examined
JP2022111705A (ja) 学習装置、画像処理装置、医用画像撮像装置、学習方法およびプログラム
JP2007105352A (ja) 差分画像表示装置、差分画像表示方法およびそのプログラム
CN116725640B (zh) 一种身体穿刺打印模板的构建方法
JP2011125569A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
CN117635656A (zh) 医学图像配准方法、装置、设备及存储介质
JP2014042830A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
CN107092774B (zh) 一种提供参考信息的方法及装置
JP2021157108A (ja) トレーニングシステム、画像処理装置、画像処理方法および画像処理プログラム
US20240338941A1 (en) Image processing apparatus, and image processing method
JP2025509469A (ja) 正規化された医用画像の提供

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201029

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210810

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210810

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210819

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211102

R151 Written notification of patent or utility model registration

Ref document number: 6971544

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees