JP6739374B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP6739374B2
JP6739374B2 JP2017038603A JP2017038603A JP6739374B2 JP 6739374 B2 JP6739374 B2 JP 6739374B2 JP 2017038603 A JP2017038603 A JP 2017038603A JP 2017038603 A JP2017038603 A JP 2017038603A JP 6739374 B2 JP6739374 B2 JP 6739374B2
Authority
JP
Japan
Prior art keywords
resampling
data
image
mask
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017038603A
Other languages
English (en)
Other versions
JP2018147044A5 (ja
JP2018147044A (ja
Inventor
詩乃 田中
詩乃 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017038603A priority Critical patent/JP6739374B2/ja
Priority to PCT/JP2017/043693 priority patent/WO2018159052A1/ja
Priority to US16/473,635 priority patent/US20200098109A1/en
Publication of JP2018147044A publication Critical patent/JP2018147044A/ja
Publication of JP2018147044A5 publication Critical patent/JP2018147044A5/ja
Application granted granted Critical
Publication of JP6739374B2 publication Critical patent/JP6739374B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/403Discrimination between the two tones in the picture signal of a two-tone original
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

本願発明は、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、CT(Computed Tomography)やMR(Magnetic Resonance)断層像に基づいてサンプリングした画像データに対して画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。
CTやMR断層像を読影する際に、これらの断層像に基づいて生成された3D画像や、各種解析処理によって生成された2次的な画像を利用することが行われている。これらの2次的な画像、特に3D画像としては、ボリュームレンダリング(Volume Rendering)画像やMPR(Multi-Planer Reconstruction)画像など種々の画像がある。また、解析処理から作成される画像としては、異常構造物を強調表示する画像や読影において指標となる数値を可視化した画像などが挙げられる。
そして、このような2次的な画像の生成の際に、特定の領域を抽出するために種々の方法が提案されている。例えば、特許文献1には、抹消血管を含む画像の原画像から平滑化画像を生成すると共に、原画像からエッジを強調した後に骨の再構成画像を生成し、平滑化画像から骨の再構成画像を減算することで、末梢血管の画像を取得することが開示されている。つまり、特許文献1には、画像データのみを用いて、3D画像において微細な構造物である造影血管を描画しつつ、造影血管と同程度の濃度値を持つ骨を描画させない技術が開示されている。
また、図7に示すように、2次的な画像に対して、必要に応じてマスクデータと呼ばれる処理対象を特定するためのデータを用いることで特定の領域を抽出することもある。マスクデータは複数の断層像から構成される各画像データと対で用いられ、画像データの各画素の描画の度合いを表す情報を有している。例えば、3次元画像を作成する処理では、処理対象となる画素を1、それ以外を0とする二値マスクデータを使用することがある。このとき、値が1となる画素の画素値から透明度や色などを計算することで所望の画素のみを3D画像として表示することができる。例えば、構造物として血管が造影された人体断面像を含むCT画像から血管を描画した3D画像を作成する場合にこのような処理が行われる。
また、読影指標となる数値を各画素に対して与えるような解析画像の場合、この数値に基づいて描画の度合いや色を決めた多値マスクデータを作成し元の画像データに重畳している。
このような3D画像作成処理や解析処理は、使用装置に対する負荷が大きいため、処理を実行できなかったり、結果表示までの時間が長くなってしまったりすることがある。このため、画像サイズの縮小、間引き処理や、補間処理などリサンプリングした画像データとそのマスクデータとで処理した結果を簡易表示したり、元のサイズの結果表示までのプレビューとしてリサンプリングしたデータの処理結果を表示したりしている。
特開2009−225979号公報
しかしながら、リサンプリングした画像を用いるには以下のような問題がある。
例えば、3D画像生成処理の際に、リサンプリング、特に、間引き処理において単純に等間隔に画素を引き抜く場合、3D画像において細かな構造情報が欠損することがある。また、3D画像において微細な構造物が描画されるように、画像データにおいて近傍の画素群の平均値をリサンプリング後の画素値とし、2値マスクデータにおいて近傍画素群の論理和をリサンプリング後の2値マスクデータの値とすると、微細な構造物は描画されやすくなるものの、一方で微細な構造物と同程度の画素値を持つマスク非対象の対象物の表面が描画されてしまうことがある。すなわち、リサンプリング後の画像から生成した3D画像において、描画対象の微細な構造物を鮮明に描写することと、描画対象でないものを描写しないようにすることとはトレードオフの関係にある。これは、血管が造影された人体断面像を含むCT画像から血管を描画する3D画像を作成する場合にしばしばみられる現象であり、具体的には、造影血管及びそれと同程度の画素値をとる骨を描画非対象とするときに生じうる。
リサンプリングした画像に対して、上記した特許文献1の処理を実行することもできるが、この場合には、例えば、一部の骨を描画非対象としながら他の骨を描画対象とするような3D画像をユーザが望む場合に対応できない。加えて、特許文献1の処理を行うに当たり、一時的に画像データと同じサイズのデータを複数保持する必要があり、使用できるメモリ量に制限がある場合には装置にかかる負荷が大きくなってしまう。
本発明は上記実状に鑑みてなされたものであり、リサンプリングした画像データ及びマスクデータを用いて生成された2次画像であっても構造情報を精度よく描画することを目的とする。
上記課題を解決するために、本発明は以下の手段を提供する。
本発明の一態様は、画像データから所望の描画対象物を抽出するために、画像データに対する画素毎の描画の度合いを定めたマスクデータを取得するマスクデータ取得部と、画像データをリサンプリング処理することによりリサンプリング画像データを生成するリサンプリング処理部と、マスクデータに基づいて、リサンプリング画像データに対する描画の度合いを定めたリサンプリングマスクデータを生成するリサンプリングマスクデータ生成部と、リサンプリング画像データとリサンプリングマスクデータとを用いて前記描画対象物の画像を生成する画像生成部と、を備え、リサンプリングマスクデータ生成部が、マスクデータ及び画像データの所定の局所領域に含まれる画素に基づいて、リサンプリング画像データの画素値を推定した推定値を算出する推定値算出部を有し、リサンプリング画像データの画素値と推定値とに基づいて、リサンプリング画像データの各画素についてのマスク値を定めるマスク値決定部と、を備えた画像処理装置を提供する。
本発明によれば、リサンプリングした画像データ及びマスクデータを用いて生成された2次画像であっても構造情報を精度よく描画することができる。
本発明の第1の実施形態に係る画像処理装置を含む画像処理システムの概略構成を示すブロック図である。 本発明の第1の実施形態に係る画像処理装置における画像処理の流れを示すフローチャートである。 本発明の第1の実施形態に係る画像処理装置のリサンプリングマスクデータ生成部によるリサンプリングマスクデータ生成に係る処理の流れを示すフローチャートである。 本発明の第1の実施形態に係る画像処理装置におけるリサンプリングマスクデータ生成に至る局所領域、推定値及びマスク値を説明する参考図である。 本発明の第2の実施形態に係る画像処理装置のリサンプリングマスクデータ生成部によるリサンプリングマスクデータ生成に係る処理の流れを示すフローチャートである。 本発明の第2の実施形態に係る画像処理装置におけるリサンプリングマスクデータ生成に至る局所領域、推定値及びマスク値を説明する参考図である。 画像データとマスクデータとから、特定の描画対象に係る3D画像を生成する場合の参考図である。
以下、本発明の一実施形態にかかる画像処理装置について説明する。
画像処理装置は、マスクデータ取得部、リサンプリング処理部、リサンプリングマスクデータ生成部、及び画像生成部を備えている。マスクデータ取得部は画像データから所望の描画対象物を抽出するために画像データに対する画素毎の描画の度合いを定めたマスクデータを取得し、リサンプリング処理部は画像データをリサンプリング処理することによりリサンプリング画像データを生成し、リサンプリングマスクデータ生成部は、マスクデータに基づいてリサンプリング画像データに対する描画の度合いを定めたリサンプリングマスクデータを生成し、画像生成部はリサンプリング画像データとリサンプリングマスクデータとを描画対象物の画像を生成する。特に、リサンプリングマスクデータ生成部は、マスクデータ及び画像データの所定の局所領域に含まれる画素に基づいて、リサンプリング画像データの画素値を推定した推定値を算出する推定値算出部と、リサンプリング画像データの画素値と推定値とに基づいて、リサンプリング画像データの各画素についてのマスク値を定めるマスク値決定部と、を備えている。
このような画像処理装置によれば、画素値が若干変化したリサンプリング画像データの画素の画素値と画像データの局所的な情報から求めた当該画素についての推定値とに基づいて、リサンプリング画像データの画素に対するマスク値を算出するので、リサンプリング画像データに対してより精度の高いリサンプリングマスクデータを生成することができる。したがって、不要な画素が描画されることを抑制し、描画非対象の対象物を描画することなく、微細な構造情報を描画することができる。
<第1の実施形態>
以下、本発明の第1の実施形態に医用画像処理装置について、図面を参照して説明する。図1に本発明の画像処理装置を含む画像処理システムの全体構成を示す。
画像処理システム1は、画像処理装置100と、画像表示装置107と、入力装置としてのマウス108及びキーボード109とを備えている。
画像処理装置100は、主として各構成要素の動作を制御する中央処理装置(CPU)101、画像処理装置100の制御プログラムが格納された主メモリ102、画像データを格納するデータ記録装置103、被検体の画像データを一時記憶する表示メモリ105、外部のネットワーク110との接続インターフェースであるネットワークアダプタ104、及びマウス108と接続されるコントローラ106を備えている。なお、データ記録装置103としては、磁気ディスク等の記憶装置、又は取り出し可能な外部メディアに対してデータ書込みや読出しを行う装置を適用することができる。
画像表示装置107は、表示メモリ105から受け取った画像データに基づいて画像を表示する。マウス108は、画像表示装置107上のソフトスイッチを操作することによりユーザによる画像処理装置100に対する入力を実現する。キーボード109は、各種パラメータ設定用のキーやスイッチを備え、ユーザによる画像処理装置100に対する所望の入力を実現する。
画像処理装置100には、ネットワークアダプタ104を介してローカルエリアネットワーク、電話回線、インターネット等のネットワーク110が接続されている。画像処理装置100はネットワークアダプタ104及びネットワーク110を介して外部の画像データベース111と接続されており、画像処理装置100と画像データベース111との間で画像データを送受信することができる。従って、画像処理装置100では、例えば、画像データベース111からネットワーク110を介して受信した画像データをデータ記憶装置103に格納し、当該画像データに所望の画像処理を行うことができる。
CPU101は、画像処理装置100を構成する各部を制御すると共に、マスクデータ取得部121、リサンプリング処理部122、リサンプリングマスクデータ生成部123、及び画像生成部124として機能する。
マスクデータ取得部121は、画像データから所望の描画対象物を抽出するために、前記画像データに対する画素毎の描画の度合いを示すマスク値を定めたマスクデータを生成する。または、マスクデータ取得部121は、ユーザが設定したマスクデータやデータ記録装置13に記録されたマスクデータを読み出すことによりマスクデータを取得する。
リサンプリング処理部122は、画像データにリサンプリング処理を行い、リサンプリング画像データを生成する。ここで、リサンプリング処理としては、間引き処理や、補間処理等様々手法を適用することができる。
リサンプリングマスクデータ生成部123は、マスクデータに基づいて、リサンプリング画像データに対する描画の度合いを定めたリサンプリングマスクデータを生成するものであり、推定値算出部221及びマスク値決定部222を備えている。推定値算出部221は、画像データの所定の局所領域に含まれる画素に基づいて、リサンプリング画像データの画素値を推定した推定値を算出する。マスク値決定部222は、リサンプリング画像データの画素値と推定値とに基づいて、リサンプリング画像データの各画素についてのマスク値を定める。
画像生成部124は、リサンプリング画像データとリサンプリングマスクデータとを用いて描画対象物の画像を生成する。画像生成部124で生成される画像の代表例として、描画対象物に係る3D画像等が挙げられる。
上記した各部は、CPU101が、主メモリ102やデータ記録装置103等の記憶部に予め格納されたプログラムを読み込んで実行することによりソフトウエアとして実現することができる。なお、これら各部が実行する動作の一部又は全部を、ASIC(application specific integrated circuit)やFPGA(field-programmable gate array)により実現することもできる。
続いて、上述した画像処理装置100における画像処理方法について図2のフローチャートに従って説明する。本実施形態においては、人体断面像を含む複数のCT断層像からなる画像データをリサンプリングし、データサイズが小さな画像データから3D画像を作成する例について説明する。特に、細かな構造物を含む造影血管が描画され、同程度の画素値である骨が描画されない3D画像を生成することを想定する。
ステップS11では、リサンプリング処理部122が、データ記録装置103に格納されたCT断層像に係る画像データ(以下、「元画像データ」という)に基づいて、リサンプリング処理を行ってリサンプリング画像データを生成する。ここでいうリサンプリング画像データとは、リサンプリング処理を行った後に対象物の構造情報ができるだけ残るような画像データである。従って、以下、リサンプリング画像データを単に「構造データ」という。構造データのデータサイズは元のサイズより小さくなっている。
ステップS11における具体的な処理は、リサンプリング処理部122は、まず元画像データに対してコンボリューション処理を行う。ここでのコンボリューション処理としては、移動平均フィルタやガウシアンフィルタなどによる処理が挙げられる。この他、メディアンフィルタでもよいし、カーネル内の画素のうちn番目(n=1,2,…,カーネルに含まれる画素数)の画素値を取得するようなフィルタ処理でもよく、描画対象の構造がより残る処理を選択することが好ましい。
そして、リサンプリング処理部122は、コンボリューション処理をした画像データに対して、間引き処理などのリサンプリング処理を行うことでリサンプリング画像データとしての構造データを取得する。
コンボリューション処理後の画像データは、処理前に比してボケた画像となるが、微細な造影血管などの径が若干太くなる。この状態で画像データに対して間引き処理を行うと、画像データ上に造影血管を示す領域が残りやすくなる。従って、生成される構造データは、画素値の変化はあるが構造状態を保持するデータとなる。
次のステップS12では、マスクデータ取得部121がデータ記録装置103に格納された元画像データに基づいてマスクデータを取得(生成)する。具体的には、データ記録装置103に格納されたCT断層像に係る画像データをセグメンテーションして、描画対象となる対象物を抽出し、描画度合いを示すマスク値が1又は0の2値マスクデータとして保持する。すなわち、2値マスクデータでは、マスク値が0の画素を描画非対象、値が1の画素を描画対象とする。なお、セグメンテーションは閾値処理、リージョングローイング法、またはレベルセット法などを使って抽出する。また、ユーザが手動で描画対象となる対象物を抽出することもできる。
ステップS13では、リサンプリングマスクデータ生成部123が、ステップS12で生成されたマスクデータの局所的な情報から元画像データの各画素について画素値の推定値を算出し、推定値に基づいて構造データにおける描画対象の描画の度合いを表すリサンプリングマスクデータを生成する。リサンプリングマスクデータ生成に係る処理の詳細は後述する。
ステップS14では、構造データとリサンプリングマスクデータとを用いて画像処理を行い3D画像を生成する。
続いて、リサンプリングマスクデータ生成部123によるリサンプリングマスクデータ生成に係る処理について図3のフローチャートに従って説明する。
ステップS21では、リサンプリング処理により生成された構造データに適用するリサンプリングマスクデータの生成処理を開始する。すなわち、構造データにおける画素i(i=1,2,3・・・n)に対するマスク値決定処理を開始する。
ステップS22では、元画像データにおいて、構造データの画素iと対応する位置にある画素と当該画素の近傍の画素を含む局所領域内の画素の画素値を取得する。図4に示すように、本実施形態では、元画像データの局所領域を、説明の便宜上2画素×2画素の計4画素からなる領域とする。局所領域に含まれる画素数の目安は、「リサンプリング前の画像数/リサンプリング後の画素数」程度の数とすることができる。
ステップS23では、構造データの画素値Vsを取得する。言い換えると、局所領域は、構造データの画素iと対応する位置にある元画像データの画素と当該画素の近傍の画素を含む領域であり、局所領域に含まれる画素の画素値の中から構造データの画素iの画素値Vsを取得することにより、構造データの画素値Vsを取得することとなる。本実施形態では、構造データの画素値Vsとして、図4に示すように、局所領域内の画素の値V1、V2、V3、及びV4の中から最大画素値を選択し、Vsとする例を挙げている。本実施形態では血管の画素値が高いという特徴を持つことから、高い画素値を取得することで、構造データにおいて、目的の血管の構造がより残りやすくなる。なお、描画対象の構造物の画素値が小さい場合は最小値をとるなどして、適宜処理を変更する。
ステップS24では、推定値算出部221が、局所領域に含まれる画素から構造データの画素値を推定した推定画素値Vdを取得する。推定画素値Vdは、生成する画像において描画対象となる画素(マスク値=1)の画素値がとると推定される値を示すものである。
本実施形態では、図4に示すように、局所領域に含まれる画素V1,V2,V3,V4に対応する2値マスクデータにおける画素のマスク値を夫々0,1,1,1とする。2値マスクデータの値が1の画素を3D画像作成対象としているので、推定値算出部221は2値マスクデータの値が1となる画像データの画素値V2、V3、及びV4の平均値Vd=(V2+V3+V4)/3を画素iに対応する構造データの画素の推定値Vdとして算出する。
ここでは、平均値を推定値とする例を挙げたが、推定値Vdの求め方は、画像として描画する描画対象物に応じて適宜変えることができ、局所領域の画素の最大値、最小値、または中央値でもよいし、局所領域から画素値に対する2値マスクの値が1となる確率を計算し最も確率が高くなる画素値を推定値としてもよい。
ステップS25では、マスク値決定部222により、ステップS24で算出した元画像データの局所領域の画素と対応する構造データの画素iの推定値Vdと、ステップS23で元画像データの局所領域から取得した構造データの画素値Vsとの差分の絶対値と所定の閾値とを比較する。マスク値決定部による絶対値と所定の閾値との比較の結果、絶対値が閾値以上である場合には、ステップS26に進み、描画対象画素であると判定して当該画素iに対するマスク値M=0とする。マスク値決定部による絶対値と所定の閾値との比較の結果、絶対値が閾値を下回る場合には、ステップS27に進み、描画対象画素ではないと判定して当該画素iに対するマスク値M=1とする。
次のステップS28では、上述の処理が構造データの全画素について行われたかを判定し、全画素に対する処理が終了していない場合はステップS29に進み、次の処理対象画素を決定し、ステップS22からステップS28までの処理を繰り返す。全画素に対する処理が終了している場合には、ステップS30に進み、算出した各画素に対する全てのマスク値Mから、リサンプリングマスクデータとしてデータ記録装置103に記憶し、上記処理を終了する。生成されたリサンプリングマスクデータは、図2のステップS14における3D画像の生成において用いられる。
上記処理を具体例に当てはめて説明する。例えば、所望の造影血管が描画される3D画像を作成するために、骨の部分の値を0、造影血管及び軟部組織を含む骨以外の画素を1と設定した2値マスクデータを生成する。このとき、骨の表面は2値マスクデータが0である骨の領域と1である軟部組織の領域との境界面となる。このような境界面上の点で上記処理を行うと、2値マスクデータの値が1の画素は骨より画素値が小さい軟部組織の画素であるので、推定値Vdは軟部組織相当の画素値程度となる。
ここで、画素iにおける構造データの画素値Vsが骨相当となった場合は推定値Vdとの差が大きくなるためマスク値Mは0となる。一方で、画素iにおける構造データの画素値Vsが軟部組織の画素値程度となった場合は推定値Vdとの差分は小さくなり、マスク値は1となる。最後に、構造データとリサンプリングマスクデータから3D画像を作成すると、構造データを計算した結果骨の境界付近で骨相当の画素値を持った画素は対象データにおいて0と設定されるため、3D画像作成処理の対象外となり描画されない。つまり、骨の表面が描画されることなく、所望の造影血管を描画することができる。これらは、一部の骨のみを2値マスクデータの値=0とした場合にも適用できる。
また、造影血管の画素を1、それ以外の画素を0とした2値マスクデータを適用した場合には、血管の表面付近では推定値Vdは造影血管相当となり、構造データにおいて造影血管に近い値をとったものは対象データにおいて1の値をとり、差が大きい値をとった画素の対象データの値は0となる。
このように本実施形態によれば最適なリサンプリングマスクデータを生成することができる。つまり、本実施形態によれば、画素値が若干変化した構造データの各画素に対して局所的な情報から求めた推定値Vdの画素と比較することで、間引き後の画素値Vsに対するより精度の高いマスク値を算出することができる。
すなわち、リサンプリング画像データに対してより精度の高いリサンプリングマスクデータを生成することができるので、不要な画素が描画されることを抑制し、描画非対象の対象物を描画することなく、微細な構造情報を描画することができる。更に、ユーザが設定した任意のマスクデータに対して、精度の高いリサンプリングマスクデータを得ることができる。また、使用するメモリ量も画像データと同じサイズのデータを複数個用意する必要がなく、装置に対する負荷を抑制することができる。
本実施形態においては、一例として、造影血管を描画対象、骨を描画非対象とした3D画像について説明したが、大腸CT撮影で得られた造影された血管と造影された残渣を含む画像において、造影血管を描画対象、造影残渣と骨を描画非対象として3D画像を作成するなど他の部位に対しても適用することができる。
<第2の実施形態>
次に、本発明の第2の実施形態に係る画像処理装置について説明する。上述した第1の実施形態では、人体断面像を含む複数のCT断層像からなる画像データをリサンプリングし、データサイズが小さな画像データから3D画像を作成する例であって、特に、所望の造影血管が描画される3D画像を作成する例について説明した。本実施形態では、画像の一部を切り出し拡大し、画素サイズがより小さい他の画像に張り付ける処理について説明する。このような処理は、例えば、PET画像から腫瘍部分を切り取り、画素サイズ(または、FOV)の小さいCT画像やMR画像などの他の画像に、画素サイズが同じになるように拡大して重畳する処理である。本実施形態に係る画像処理装置は、上述した第1の実施形態に係る画像処理装置と同一の構成を有するため、同一の符号を付し、各構成の詳細な説明を省略し、リサンプリングマスクデータの生成処理の流れについてのみ説明する。
以下、具体的に本実施の形態に係る画像処理装置におけるリサンプリングマスクデータの生成処理について図5のフローチャートに従って説明する。なお、画像処理装置は、リサンプリングマスデータの生成に先立って、マスクデータ取得部121により元画像データのマスクデータを取得すると共に、リサンプリング処理部122により、コンボリューション処理を行って、コンボリューション処理をした画像データに対して、拡大処理などのリサンプリング処理を行うことでリサンプリング画像データとして腫瘍が強調表示された構造データを生成する。本実施形態では、マスクデータは2値のマスクデータとし、構造データは元画像データよりもサイズの大きい拡大画像とする。
ステップS31では、リサンプリング処理により生成された構造データとしての拡大画像に適用するリサンプリングマスクデータの生成処理を開始する。すなわち、構造データにおける画素i(i=1,2,3・・・n)に対するマスク値決定処理を開始する。
ステップS32では、リサンプリングマスクデータ生成部123が、構造データである拡大画像の画素iの画素値を求めるために補間処理で使用された元画像データの画素群を局所領域として選択する。図6に、例として、2次元線形補間を想定した2画素×2画素の計4画素からなる局所領域を示す。
ステップS33では、構造データの画素値Vを取得する。なお、構造データの画素iの画素値Vは、元画像データの局所領域について補間処理を行って得られた値である。
ステップS34では、推定値算出部221が、局所領域に対して、マスクデータから当該局所領域に対するマスク値を用いて、局所領域内の画素のうちマスク値=0となる画素の平均画素値Vd0を第1の推定値として取得する。図6に示すように、局所領域の画素のうち画素V1,V3が、マスク値=0であるので、画素V1,V3の画素値の平均値がVd0を第2の推定値として算出する。
同様に、推定値算出部221が、局所領域内の画素のうちマスク値=となる画素の平均画素値Vd1を第2の推定値として取得する。図6に示すように、局所領域の画素のうち画素V2,V4が、マスク値=1であるので、画素V2,V4の画素値の平均画素値Vd1を第2の推定値として算出する。従って、構造データの画素値Vのより精度の高い画素値は、Vd0とVd1の間にあることが想定される。
ステップS35では、マスク値決定部222により、画素値V、推定値Vd0、Vd1を用いて不透明度Oを示すマスク値を求める。Vd0<Vd1としたとき、図6のグラフに示す画素値と不透明度Oの関係を想定し、この関係から不透明度Oを算出する。具体的には、以下の式(1)に従って定めることができる。
Figure 0006739374
次のステップS36では、上述の処理が構造データの全画素について行われたかを判定し、全画素に対する処理が終了していない場合はステップS32に進み、次の処理対象画素を決定し、ステップS32からステップS36までの処理を繰り返す。全画素に対する処理が終了している場合には、ステップS38に進み、算出した各画素に対する全てのマスク値Mから、リサンプリングマスクデータとしてデータ記録装置103に記憶し、上記処理を終了する。
生成されたリサンプリングマスクデータは、図2のステップ14における3D画像の生成において用いられる。つまり、拡大した画像を1つの画像に重畳する際に用いられる。ある画素の重畳処理は構造データの値をV、サンプリングマスクデータの値、すなわちマスク値をO、背景となる他の画像の画素値をPbackとすると、最終結果の画素値Pは以下の式(2)に示す通りとなる。
Figure 0006739374
このように、本実施形態に係る画像処理装置によれば、元画像データと元画像データに対するマスクデータとから取得した推定値に応じてマスク値を決定し構造データに適用することで、拡大画像における腫瘍部分の境界において、不必要なはみ出しが緩和され、構造物の形状が視認しやすくなる。また、境界が半透明になることで、背景画像の形状を確認することができるため形状評価がしやすくなる。
1・・・画像処理システム、100・・・画像処理装置、101・・・CPU、102・・・主メモリ、103・・・データ記録装置、104・・・ネットワークアダプタ、105・・・表示メモリ、106コントローラ、107・・・表示装置、108・・・マウス、109・・・キーボード、110・・・ネットワーク、111・・・画像データベース、121・・・マスクデータ取得部、122・・・リサンプリング処理部、123・・・リサンプリングマスクデータ生成部、124画像生成部、221・・・推定値算出部、222・・・マスク値決定部

Claims (6)

  1. 画像データから所望の描画対象物を抽出するために、前記画像データに対する画素毎の描画の度合いを示すマスク値を定めたマスクデータを取得するマスクデータ取得部と、
    前記画像データをリサンプリング処理することによりリサンプリング画像データを生成するリサンプリング処理部と、
    前記リサンプリング画像データに対する描画の度合いを定めた各画素のマスク値からなるリサンプリングマスクデータを前記マスクデータに基づいて生成するリサンプリングマスクデータ生成部と、
    前記リサンプリング画像データと前記リサンプリングマスクデータとを用いて前記描画対象物の画像を生成する画像生成部と、を備え、
    前記リサンプリングマスクデータ生成部が、
    前記マスクデータ及び前記画像データの所定の局所領域に含まれる画素に基づいて、前記リサンプリング画像データの画素値を推定した推定値を算出する推定値算出部と、
    前記リサンプリング画像データの画素値と前記推定値とに基づいて、前記リサンプリング画像データの各画素についてのマスク値を定めるマスク値決定部と、を備えた画像処理装置。
  2. 前記マスクデータが、マスク値が1又は0の2値マスクデータである請求項1記載の画像処理装置。
  3. 前記推定値算出部が、前記局所領域内の画素のうち、前記2値マスクデータのマスク値が1となる画素の画素値の平均値を前記推定値とする請求項2記載の画像処理装置。
  4. 前記リサンプリング処理部が、前記リサンプリング処理として、画像圧縮処理又は画像拡大処理を行ってリサンプリング画像データを生成する請求項1記載の画像処理装置。
  5. 画像データから所望の描画対象物を抽出するために、前記画像データに対する画素毎の描画の度合いを示すマスク値からなるマスクデータを取得し、
    前記画像データをリサンプリング処理することによりリサンプリング画像データを生成し、
    前記マスクデータ及び前記画像データの所定の局所領域に含まれる画素に基づいて、前記リサンプリング画像データの画素値を推定した推定値を算出し、前記リサンプリング画像データの画素値と前記推定値とに基づいて、前記リサンプリング画像データに対する各画素のマスク値を定めたリサンプリングマスクデータを生成し、
    前記リサンプリング画像データと前記リサンプリングマスクデータとを用いて前記描画対象物の画像を生成する画像処理方法。
  6. 画像データから所望の描画対象物を抽出するために、前記画像データに対する画素毎の描画の度合いを示すマスク値からなるマスクデータを取得し、
    前記画像データをリサンプリング処理することによりリサンプリング画像データを生成し、
    前記マスクデータ及び前記画像データの所定の局所領域に含まれる画素に基づいて、前記リサンプリング画像データの画素値を推定した推定値を算出し、前記リサンプリング画像データの画素値と前記推定値とに基づいて、前記リサンプリング画像データに対する各画素のマスク値を定めたリサンプリングマスクデータを生成し、
    前記リサンプリング画像データと前記リサンプリングマスクデータとを用いて前記描画対象物の画像を生成する画像処理をコンピュータに実行させる画像処理プログラム。
JP2017038603A 2017-03-01 2017-03-01 画像処理装置、画像処理方法及び画像処理プログラム Active JP6739374B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017038603A JP6739374B2 (ja) 2017-03-01 2017-03-01 画像処理装置、画像処理方法及び画像処理プログラム
PCT/JP2017/043693 WO2018159052A1 (ja) 2017-03-01 2017-12-05 画像処理装置、画像処理方法及び画像処理プログラム
US16/473,635 US20200098109A1 (en) 2017-03-01 2017-12-05 Image processing device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017038603A JP6739374B2 (ja) 2017-03-01 2017-03-01 画像処理装置、画像処理方法及び画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2018147044A JP2018147044A (ja) 2018-09-20
JP2018147044A5 JP2018147044A5 (ja) 2019-09-05
JP6739374B2 true JP6739374B2 (ja) 2020-08-12

Family

ID=63370797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017038603A Active JP6739374B2 (ja) 2017-03-01 2017-03-01 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (3)

Country Link
US (1) US20200098109A1 (ja)
JP (1) JP6739374B2 (ja)
WO (1) WO2018159052A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05336346A (ja) * 1992-06-02 1993-12-17 Hitachi Ltd 画像処理方法及び記憶装置
JP4192671B2 (ja) * 2003-05-15 2008-12-10 ソニー株式会社 画像処理装置および画像処理方法
JP2006252107A (ja) * 2005-03-10 2006-09-21 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及びそのプログラム
JP5803467B2 (ja) * 2011-09-14 2015-11-04 株式会社リコー 画像処理装置および撮像装置、ならびに画像処理方法

Also Published As

Publication number Publication date
US20200098109A1 (en) 2020-03-26
WO2018159052A1 (ja) 2018-09-07
JP2018147044A (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
US11379975B2 (en) Classification and 3D modelling of 3D dento-maxillofacial structures using deep learning methods
CN107808156B (zh) 感兴趣区域提取方法
US9466117B2 (en) Segmentation highlighter
JP6385318B2 (ja) 3d医用画像中の対象物をセグメンテーションするための3d対象物の変換
JP2015144632A (ja) 画像処理方法、画像処理装置及びプログラム
EP3025303A1 (en) Multi-modal segmentation of image data
US9324157B2 (en) Medical image data processing apparatus and method
JP7122918B2 (ja) 画像処理装置および画像処理方法
US20230390032A1 (en) Method for determining object area from three-dimensional model, and three-dimensional model processing device
US11457877B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
US20210027430A1 (en) Image processing apparatus, image processing method, and x-ray ct apparatus
JP6731753B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN115359257B (zh) 基于深度学习的脊椎图像分割方法及手术导航定位系统
JP6739374B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9153016B2 (en) Method and system for enhancing contrast of spatially-localized phenomena in mammography image
JP7479818B2 (ja) 画像処理装置及び画像生成方法
US8284196B2 (en) Method and system for reconstructing a model of an object
EP1828978A1 (en) A method, an apparatus and a computer program for segmenting a structure in a multi-dimensional dataset
CN111091504A (zh) 图像偏差场矫正方法、计算机设备和存储介质
EP4216160A1 (en) Methods and systems for real-time image 3d segmentation regularization
US20210049734A1 (en) Image processing method and apparatus
JP2018033545A (ja) 画像処理装置、画像処理方法およびプログラム
JP2023057859A (ja) 画像処理装置、画像処理方法及びプログラム
CN114612486A (zh) 冠脉狭窄率确定系统及存储介质
CN115731234A (zh) 基于超声成像数据的空间曲面成像方法及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200721

R150 Certificate of patent or registration of utility model

Ref document number: 6739374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250