JPWO2018043594A1 - 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、画像処理システム Download PDF

Info

Publication number
JPWO2018043594A1
JPWO2018043594A1 JP2018537361A JP2018537361A JPWO2018043594A1 JP WO2018043594 A1 JPWO2018043594 A1 JP WO2018043594A1 JP 2018537361 A JP2018537361 A JP 2018537361A JP 2018537361 A JP2018537361 A JP 2018537361A JP WO2018043594 A1 JPWO2018043594 A1 JP WO2018043594A1
Authority
JP
Japan
Prior art keywords
coordinate
voxel
value
image processing
voxels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018537361A
Other languages
English (en)
Other versions
JP7123798B2 (ja
Inventor
博之 関口
博之 関口
孝太郎 梅澤
孝太郎 梅澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JPWO2018043594A1 publication Critical patent/JPWO2018043594A1/ja
Application granted granted Critical
Publication of JP7123798B2 publication Critical patent/JP7123798B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本発明は、処理能力の小さいPCを使用する場合でも,最大値投影画像の移動・拡大・縮小・回転表示時に画質の高い最大値投影画像を短い処理時間で表示できるようにする。本発明は、三次元ボリュームデータのうち輝度値の高い一部のボクセルのみを描画対象として抽出し,これらボクセルの輝度値を対応するピクセルに適用することで最大値投影画像を描画する画像処理装置を提案する。

Description

本発明は、最大値投影法(maximum intensity projection: MIP)によって描画された画像の移動・拡大・縮小・回転表示等を実行する画像処理装置に関する。
三次元画像処理方法の一つに最大値投影法がある。最大値投影法は,投影面上の各ピクセルに対して直交する方向に並ぶ三次元空間上の画素列内の最大輝度値を,投影面上の各ピクセルの輝度値として表示する手法である。図1に,一般的に用いられている最大値投影法の処理イメージを示す。
ここで,データ空間1は,立体的な画素単位(以下「ボクセル」という。)2が,x方向,y方向,z方向のそれぞれの方向に配列された三次元空間であり,投影対象となる立体画像が規定される空間である。一方,投影面3は,平面的な単位画素(以下「ピクセル」という。)4が,X方向とY方向のそれぞれの方向に配列された二次元空間であり,前述の立体画像の投影像が形成される空間である。ここでの投影像が最大値投影画像である。
図1は,投影面3がデータ空間1のxy平面と平行である場合を示している。一般的な最大値投影法では,まず,投影面3上でピクセル4が指定され,次に当該ピクセル4と同じ座標値を有するボクセル2の列(z方向に並ぶN個のボクセルの集合)が特定され,更に当該N個のボクセル2の中での最大輝度値が指定されたピクセル4の輝度値として表示される。
図2に,データ空間1として光音響画像(Photoacoustic Imaging)データを用いる場合における最大値投影画像の一例を示す。ここでの光音響画像データは,1024×1024×200個のボクセルで構成されている。通常輝度データは,(x,y,z)座標系で(0,0,0),(1,0,0),(2,0,0)…(1023,0,0),(0,1,0),(1,1,0)…(1023,1,0),(0,2,0)…(1023,1023,0),(0,0,1)…(1023,1023,200)の順に輝度データのみメモリに記憶される。この空間構造において,z軸方向,y軸方向,x軸方向の最大値投影画像が作成されるまでの時間を計測した。すると,シングルコアのPCを使用する場合,メモリ上のデータ位置が,x軸方向,y軸方向,z軸方向と離れ,キャッシュ容量の制限のために,x方向へのスキャンに2.15秒,y方向へのスキャンに2.44秒,z方向へのスキャンに5.25秒,が必要であった。
ところで,投影面3上に表示された最大値投影画像の回転表示がユーザによって指示された場合,投影面3とデータ空間1のxy平面とは任意の角度で交差する位置関係へと変化する。図3に,投影面3がデータ空間1のxy平面に対して平行でない場合を示す。この場合,投影面3上のピクセル4に対応するボクセル2の列を特定するには,ピクセル4の座標値に基づいて該当するボクセル2の座標値を求める演算処理(座標変換処理)が必要となる。
特開2001−236492号公報 特開2009−189489号公報 特開2010−152609号公報
ところが,ユーザにより観察方向が任意に変更された場合に,各ピクセル4に対応するボクセル2の列をデータ空間1上で特定してその最大輝度値を探索するためには,非常に大きな計算量が必要となる。その理由は,ボクセル2がデータ空間1上では同じ列に属するとしても,当該ボクセルはデータ上不連続に存在するため,記憶容量が限られるキャッシュメモリへのデータの読み書き回数が必然的に増加し,各ボクセル列に対応する最大輝度値の探索に要求される演算量が飛躍的に増大するためである。
特に,処理能力の小さいノートPC(Personal Computer)においては,データ量の大きい(例えば数100MB)画像をリアルタイムで回転,拡大,縮小,移動表示することはできない。図4に,図2と同じ最大値投影画像を回転表示した例を示す。最大値投影画像が作成されるまでの時間を計測すると,シングルコアのCPUを使用する場合,13.2秒が必要であった。しかし,1つの回転量を与えてから最大値投影画像が描画されるまでに13.2秒も要するのでは,とても使用に耐えない。
また,ノートPCよりは処理能力の高いデスクトップ型のPCの場合にも,回転表示の際には,描画に要する計算時間を短縮するために,データを間引いて計算する(解像度,画質を落とす)等の工夫が採用されている。図5に,データの間引き処理を組み合わせて解像度を落とした場合の例を示す。図5の左端の画像は間引きなしで最大値投影画像を作成する場合,左から2つ目の画像はピクセルを1画素ごと間引いて最大値投影画像を作成する場合,左から3つ目の画像はピクセルを2画素ごと間引いて最大値投影画像を作成する場合,右端の画像はピクセルを3画素ごと間引いて最大値投影画像を作成する場合に相当する。
上段の4つの図は,各手法を適用して描画される最大値投影画像の全体像であり,下段の4つの図は,各画像の一部分を拡大した画像である。図5より明らかなように,間引く画素数を増やすことで処理時間を短縮することが可能である。一方で,間引く画素数を増やすほど画質の低下が認められる。このようにデータの間引き処理では,十分な画質を維持して,画像の回転表示を行うことは困難である。
そこで,本発明では,処理能力の小さいPCを使用する場合にも,最大値投影画像の移動・拡大・縮小・回転表示時等に要する処理時間が短く,同時に画質が良好な技術を提供する。
前述した技術課題を解決するための手段の一例として,各ボクセルの座標値に各々の輝度値を対応付けたボクセル座標データを生成するボクセル座標データ生成部と,少なくとも所定の閾値より高い輝度値を有するボクセル,又は,輝度値の大きい方から順番に所定個数個までのボクセルについて,各座標値を対応する投影面上のピクセルの各座標値に変換し,変換により得られた前記ピクセルの各座標値に,対応する前記ボクセルの輝度値を表示する座標変換部と,を有する画像処理装置を提案する。
また,前述した技術課題の解決のための手段の他の一例として,輝度値毎に,同じ大きさの輝度値を有する1つ又は複数のボクセルの座標値を対応付けたボクセル座標データを生成するボクセル座標データ生成部と,少なくとも所定の閾値より高い輝度値を有するボクセル,又は,輝度値の大きい方から順番に所定個数個までのボクセルについて,各座標値を対応する投影面上のピクセルの各座標値に変換し,変換により得られた前記ピクセルの各座標値に,対応する前記ボクセルの輝度値を表示する座標変換部と,を有する画像処理装置を提案する。
また、前述した技術課題の解決のための手段の他の一例として、各ボクセルの座標値に各々の輝度値を対応付けたボクセル座標データを生成するボクセル座標データ生成工程と、少なくとも所定の閾値より高い輝度値を有するボクセル、又は、輝度値の大きい方から順番に所定個数個までのボクセルについて、各座標値を対応する投影面上のピクセルの各座標値に変換する座標値変換工程と、変換により得られた前記ピクセルの各座標値に、対応する前記ボクセルの輝度値を表示する輝度表示工程と、を有する画像処理方法を提案する。
また、前述した技術課題の解決のための手段の他の一例として、三次元ボリュームデータに基づく投影画像を表示部に描画させるための、画像処理装置のコンピュータに、前記三次元ボリュームデータを構成する各ボクセルの座標値に各々の輝度値を対応付けたボクセル座標データを生成するボクセル座標データ生成ステップ、少なくとも所定の閾値より高い輝度値を有するボクセル、又は、輝度値の大きい方から順番に所定個数個までのボクセルについて、各座標値を対応する投影面上のピクセルの各座標値に変換する座標値変換ステップ、変換により得られた前記ピクセルの各座標値に、対応する前記ボクセルの輝度値を表示する輝度表示ステップ、を実行させることを特徴とする画像処理プログラムを提案する。
また、前述した技術課題の解決のための手段の他の一例として、三次元ボリュームデータに基づく投影画像を表示部に描画させるための画像処理システムであって、前記画像処理システムは、前記三次元ボリュームデータが記憶されたサーバと、画像処理装置と、前記サーバと前記画像処理装置とを接続するネットワークとを備え、前記画像処理装置は、前記三次元ボリュームデータを構成する各ボクセルの座標値に各々の輝度値を対応付けたボクセル座標データを生成するボクセル座標データ生成部と、少なくとも所定の閾値より高い輝度値を有するボクセル、又は、輝度値の大きい方から順番に所定個数個までのボクセルについて、各座標値を対応する投影面上のピクセルの各座標値に変換し、変換により得られた前記ピクセルの各座標値に、対応する前記ボクセルの輝度値を表示する座標変換部とを有することを特徴とする画像処理システムを提案する。
本発明は,三次元ボリュームデータを構成するボクセルのうち輝度値の高い一部のボクセルについてのみを描画対象として抽出し,これらボクセルの輝度値を対応するピクセルに適用することで最大値投影画像を描画する。この手法によれば,最大値投影画像を回転表示等する場合にも短時間で高画質の最大値投影画像を描画することができる。
一般的な最大値投影法による描画原理を説明する図。 図1の手法で得られる最大値投影画像の一例を示す図。 一般的な最大値投影法における回転表示時の描画原理を説明する図。 図3の手法で得られる最大値投影画像の回転表示例を示す図。 間引き量に応じた描画速度と画質の関係を説明する図。 光音響画像データのスパース性を説明する図。 実施例1に係る画像処理装置の構成例を示す図。 実施例1に係るボクセル座標データのデータ構造例を示す図。 実施例1に係る座標変換動作のイメージを説明する図。 実施例1に係る描画処理動作を説明するフローチャート。 実施例1に係る描画処理手法による最大輝度値画像の描画に要する時間と画質の関係を説明する図。 実施例2に係るボクセル座標データのデータ構造例を示す図。 実施例2に係る描画処理動作を説明するフローチャート。 実施例5に係る描画処理動作を説明するための図。 実施例6に係る表示画面の例を示す図。 実施例7に係る表示画面の例を示す図。
以下,図面に基づいて,本発明の実施の形態を説明する。なお,本発明の実施の態様は,後述する形態例に限定されるものではなく,その技術思想の範囲において,種々の変形が可能である。
(1)原理
発明者は,最大値投影画像の描画のための元データにあたる三次元ボリュームデータのスパース性に着目し,後述する処理手法を提案する。なお,実施例における三次元ボリュームデータには,前述の光音響画像データに加え,例えばX線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置によって構成される三次元画像データ,PET(Positron Emission Tomography)装置によって構成される三次元画像データなども含まれる。
また,実施例における三次元ボリュームデータは,医療画像データに限るものではなく,人体以外の物体等について得られた画像データであってもよい。三次元ボリュームデータは,元データの取得方法に依存するが,大なり小なりスパース性を有している。スパース性とは,読影上重要な又は有意なデータは,全データ中に疎に存在することをいう。
例えば光音響画像データの場合における輝度値の分布を図6に示す。図6の横軸は輝度値であり,縦軸は全画素数に対する対応画素数の割合(百分率)である。前述したように,読影対象である血管は高輝度画素として認識される。ところが,図のグラフに示すように輝度値の小さい方から90%が含まれる画素の輝度値は最大でも“26”である。輝度値が“26”の画素は現実には読影できないほど暗い。つまり,光音響画像データの90%は最大値投影画像に影響しない画素である。
そこで,発明者は,読影上重要な又は有意なデータとして輝度値の高い一部のボクセルにのみ着目し,当該ボクセルの輝度のみを投影面上のピクセルに反映させる手法を提案する。従来手法では,投影面上のピクセルに対応するボクセル列を特定するために全てのボクセルを処理対象とする必要があったが,以下の実施例で説明する手法では,三次元空間データを構成する全ボクセルの一部だけで済む。このため,座標変換処理など描画に必要な計算量を大幅に削減することができる。なお,本明細書における「最大値投影画像」とは,最大値のみならず最大値に準ずる輝度値(すなわち前述の輝度値の高い一部のボクセルの輝度値)によって構成される画像を含むものとする。
以下に説明する各実施例では、輝度値を例にとって議論するが、輝度値に代えてたとえば色としてもよい。そこで、これらを総称してボクセル値として表現することができる。
(2)実施例1
(2−1)装置構成
図7に,本実施例に係る画像処理システム100の構成例を示す。画像処理システム100は,サーバ110と画像処理装置130とで構成される。サーバ110と画像処理装置130は,ネットワーク120を通じて接続される。画像処理装置130は,サーバ110に対する入出力装置として使用される。なお,サーバ110と画像処理装置130が一体化した構成も可能である。
サーバ110には,前述した三次元ボリュームデータ111が記憶されている。サーバ110は,ハードディスクその他の記憶装置で構成される。三次元ボリュームデータ111は,例えば輝度値の違いにより濃淡が表現されている断面画像の集合である。本実施例の場合,断面画像は輝度値のみで表現される場合を想定するが,色情報(赤(R),緑(G),青(B),又は,シアン(C),マゼンタ(M),イエロー(Y),ブラック(K))を用いて表現されてもよい。
画像処理装置130は,いわゆるコンピュータによって構成される。すなわち,画像処理装置130は,主記憶装置,演算装置,制御装置,入出力装置によって構成される。画像処理装置130は,後述する各種の機能を,対応するプログラムの実行を通じて実現する。なお,機能の一部又は全てをハードウェアによって実現してもよい。
画像処理装置130を構成するCPUの処理能力に制限はないが,CPUの処理能力が低いほど実施例に係る処理手法の効果が顕著となる。そこで,本実施例では,画像処理装置130は,シングルコアのCPUを搭載するノートPCで構成されているものとする。また,画像処理装置130には,Windows 7(登録商標)以降の64ビットOSが搭載されているものとする。
本実施例における画像処理装置130は,ボクセル座標データ生成部131と,ボクセル座標データ記憶部132と,座標変換部134と,入力部135と,表示部136とを有する。勿論,実装時には,これら以外の機能部が画像処理装置130に搭載されていてもよい。画像処理プログラムを構成するソフトウェアモジュールとしてこれら機能部を構成する場合、記憶装置にこれら各機能部を格納するとともに、画像処理装置130が備える演算装置がこれらソフトウェアモジュールを実行することにより、画像処理装置130の機能を実現することができる。
ボクセル座標データ生成部131は,三次元ボリュームデータ111を構成する各ボクセルの座標値に,対応する輝度値を組み合わせてボクセル座標データ133を生成する。図8に,本実施例で使用するボクセル座標データ133のデータ構造例を示す。本実施例の場合,z座標,y座標,x座標のそれぞれは16ビットで表される。また,輝度値も16ビットで表される。すなわち,1つのボクセルに対応するボクセル座標データ133の1レコードは,64ビット(=16ビット×4)で構成される。
ボクセル座標データ記憶部132は,ボクセル座標データ133を記憶する記憶領域である。ボクセル座標データ記憶部132は,ハードディスクその他の記憶装置で構成される。ボクセル座標データ記憶部132には,三次元空間を構成する全てのボクセルに対応するボクセル座標データ133が記憶される。
ボクセル座標データ生成部131は,ボクセル座標データ記憶部132に記憶されたボクセル座標データ133を輝度値の大きさ順に並べ替える処理も実行する。この並べ替えにより,キャッシュメモリに読み出される輝度値の大きさをほぼ同じ大きさに揃えることができる。このことは,キャッシュメモリに対するデータの読み書きが効率化され,読み書き回数の低減に寄与することを意味する。一方で,ボクセル座標データ記憶部132に配列されるボクセル座標データ133の座標値は輝度値に対応した座標値の順に変更される。
ところで,輝度値に基づくボクセル座標データ133の並べ替えは,必ずしも厳密な意味での並べ替えである必要はない。本実施例における画像処理装置130は,読影上重要な又は有意なデータである高輝度値を最大値投影画像の描画処理に利用するため,輝度値順に厳密に整列されていなくても十分な描画速度と画質を実現することができる。
換言すると,ボクセル座標データ133の並べ替えは,輝度値のおおよその大きさ順に並べ替えられていればよい。なお,並べ替え処理は,ボクセル座標データ133の生成時に一度だけ実行すればよい。当該並べ替えに要する計算量は小さいため,ノートPCでも短時間で処理を完了することができる。このため,ボクセル座標データ133の並べ替えによる描画速度の遅れはほぼ無視することができる。
なお,ボクセル座標データ133の生成がサーバ110の側で既に完了している場合には,ボクセル座標データ生成部131は,読み出されるボクセル座標データ133の並べ替え処理のみを実行すればよい。
次に,座標変換のイメージを図9に示す。座標変換部134は,並べ替え後のボクセル座標データ133を所定の個数ずつキャッシュメモリに読み出し,対応する座標値を投影面140上のピクセルの座標値に変換する処理を実行する。図9に示すように,本実施例の場合,座標変換の方向は,ボクセルの座標値からピクセルの座標値であり,従来方式とは反対である。すなわち,本実施例の場合,座標(従属変数)が輝度(独立変数)の関数により表現され,輝度が(従属変数)が座標(独立変数)の関数により表現される従来方式と異なる。このため,複数のボクセル座標データ133の座標値が1つのピクセル4の座標値に変換される可能性もある。
座標変換部134は,変換により得られたピクセルの座標値に,変換元になったボクセル座標データ133の輝度値を割り当てる処理を実行する。同一のピクセルに既に他の輝度値が割り当てられる場合,座標変換部134は,輝度値の高い方を優先する。最大値投影画像を描画するためである。なお,前述の並べ替え処理が厳密な意味で実行されている場合には,後から割り当てられる輝度値が既に割り当てられている輝度値より大きくなることはない。従って,並べ替え処理が厳密に実行されている場合には,既に割り当てられている輝度値との大小関係を判定する処理は省略することができる。
さらに,座標変換部134は,投影面140への最大輝度値の描画の途中でも,入力部135を通じて観察向きの変更(投影面140の回転又は三次元ボリュームデータ111の回転)が入力された場合には,現在の描画を中止し,新たに指定された観察向きに応じた座標変換の実行と描画処理を実行する。後述するように最大値投影画像の描画は短時間で完了するため,ユーザの操作に追従して描画される最大値投影画像の内容を実質的に(または体感的に)連続的に更新することができる。
ところで,本実施例における座標変換部134は,前述の座標変換処理を2段階で実行する。第1段階の処理では,予め与えた所定の閾値より高い輝度値を有するボクセルを対象に,又は,輝度値の大きい方から順番に所定個数個までのボクセルを対象に前述の座標変換と輝度値の割り当てが実行される。
輝度値の閾値や個数の閾値は,最大値投影画像の描画に使用する三次元ボリュームデータ111における輝度値の分布に依存するが,本実施例の場合,輝度値の高い側から数%程度,例えば10%となるように設定する。前述したように,最大値投影画像の場合,低輝度値を描画に使用しても観察される画像自体はほとんど変わらないためである。なお,当該閾値は,利用者が自由に変更できることが望ましい。
第2段階の処理では,第1段階の処理の対象とならなかった残りのボクセル座標データ133について座標変換処理を実行する。残り全てのボクセル座標データ133の座標値を投影面140上のピクセル4の座標値に変換し,対応する輝度値を割り当てることにより,理論上は,最大値投影画像の細部の描写性を高めることができる。なお,輝度値はどんどん小さくなるため,既に輝度値が割り当てられているピクセルについての輝度値の割り当ては行われない。
座標変換部134には,拡大画像又は縮小画像の描画機能も搭載される。投影面140上に描画された最大値投影画像を拡大する場合,座標変換部134は,投影面140に描画されている最大値投影画像の部分領域を拡大率に応じて線形補間して拡大像を生成する。一方,投影面140上に描画された最大値投影画像を縮小する場合,座標変換部134は,縮小率に応じて縮小された投影面140上のピクセルにボクセル座標データ133の輝度値を適用することで縮小画像を生成する。いずれにしても,計算負荷は小さいため,短時間のうちに描画内容を変更することができる。
入力部135は,観察方向の入力や閾値の入力等に用いられる。観察方向の入力方法には,固定面である投影面140に対する三次元ボリュームデータ111の回転方向を入力する方法と,固定の三次元ボリュームデータ111に対する投影面140の回転方向を入力する方法がある。いずれの方法を用いるかはユーザが選択すればよい。表示部136は,液晶ディスプレイその他の表示装置で構成される。表示部136には,図2や図4に示すようなインターフェース画面が表示される。ここで,表示部136は,画像処理装置130と一体である必要は無く,画像処理装置130に対して外付けされていてもよい。
(2−2)描画処理動作
図10を用い,本実施例に係る描画処理動作を説明する。当該処理動作は,画像処理装置130によるプログラムの実行を通じて実現される。まず,ボクセル座標データ生成部131は,サーバ110から三次元ボリュームデータ111を読み出し,図8に示すデータ構造のボクセル座標データ133を生成する(ステップSP1)。続いて,ボクセル座標データ生成部131は,輝度値の大きさ順にボクセル座標データ133を並べ替える(ステップSP2)。
この後,座標変換部134は,入力部135を通じて入力された投影面140と三次元ボリュームデータ111との位置関係を受け付け,三次元ボリュームデータ111上のボクセルの座標値を投影面140上のピクセルの座標値に変換するための変換式を求める(ステップSP3)。
この後,座標変換部134は,並べ替え後のボクセル座標データ133を輝度値の大きい方から順番に所定の個数ずつキャッシュメモリに読出し,対応する座標値を投影面上のピクセルの座標値に変換する(ステップSP4)。また,座標変換部134は,変換後の座標値に対応する輝度値を適用して画面表示する(ステップSP5)。この際,座標変換部134は,同じピクセルについては常に輝度値の大きい方を優先する。
この後,座標変換部134は,残りのボクセルの輝度値が閾値より小さいか又は処理済みの個数は閾値より大きいか判定し,否定結果が得られている間はステップSP4に戻って描画を繰り返す(ステップSP6)。一方,ステップSP6において肯定結果が得られた場合,座標変換部134は最大値投影画像の描画処理を終了する。なお,ここでの描画処理の終了は,前述した第1段階の描画処理の終了であり,観察方向の変更などがユーザより入力されない場合には,第2段階の描画処理を開始する。
(2−3)効果
以上説明したように,本実施例に係る画像処理システム100を用いれば,従前の手法に比して短時間のうちに高画質の最大値投影画像を表示することができる。図11に,本実施例による最大値投影画像の描画に要する時間と画質の関係を示す。図11は,前述の図2及び図4の場合と同じく,三次元ボリュームデータ111が1024×1024×200個のボクセルで構成され,投影面140が1024×1024個のピクセルで構成される場合について表している。
図11より,全ボクセル数のうち輝度値が大きい方から上位10%を用いる場合,最大値投影画像の描画に0.56秒を要すること,同じく上位5%を用いる場合,最大値投影画像の描画に0.31秒を要すること,同じく上位2.5%を用いる場合,最大値投影画像の描画に0.18秒を要すること,同じく上位1.25%を用いる場合,最大値投影画像の描画に0.12秒を要することが分かる。いずれの秒数も,図5を用いて説明した間引き処理の場合に比して短時間で済んでいる。なお,図11の上段は,図5との比較のため,シングルコアのCPUを用いて計算した結果である。
また,図11の下段では,画質の劣化を強調するために,上段の画像の輝度レベルに50を加算して表示した画像であるが,図11に示す4つの事例のいずれの間にも画質の違いは認められない。このことは,間引き数を増やすほど画質の低下が認められた図5に示す従前の手法との大きな違いである。すなわち,本実施例の手法は,最大値投影画像を短時間で描画できるだけでなく,高い画質での描画を実現することができる。しかも,描画に使用するボクセル数を減らしても,描画される最大値投影画像の画質はほとんど低下せずに済むため,扱うボクセル数が増加しても描画に要する時間を実用上支障のない範囲に留めることができる。
また,本実施例に係る画像処理システム100では,三次元ボリュームデータ111に比べればデータサイズの小さいボクセル座標データ133だけを画像処理装置130側に保存すればよいため,ハードウェア資源に制限がある画像処理装置130における動作速度の低下を回避することができる。
(3)実施例2
(3−1)装置構成
本実施例に係る画像処理システム100の基本構成は実施例1と同じである。違いは,ボクセル座標データ133のデータ構造である。前述の実施例1では,三次元ボリュームデータ111によって構成されるデータ空間における各ボクセルの座標値に対応する輝度値を組み合わせたデータ構造(図8)を採用する場合について説明した。
一方,本実施例では,図12に示すデータ構造のボクセル座標データ133を使用する。図12より分かるように,本実施例では,輝度値単位でボクセルの座標値をまとめる手法を採用する。すなわち,1つの輝度値(value 1, value 2,…)に対して1つ又は複数の座標値を対応づけて保存する。
図12における1レコードは32ビットであり,z座標,y座標,x座標のそれぞれには10ビットが割り当てられている。なお,各レコードには2ビットのフラグfが割り当てられる。フラグfは,各レコードが濃度値か座標値であるかを識別するために使用される。
図12の場合,2番目のレコード(上から2番目のレコード)には,ボクセル数が格納されている。なお,上位のレコードには,下位のレコードに配置される輝度値よりも高い輝度値を配置する。このため,上位レコードから順番に処理することで,ピクセルに既に割り当てられている輝度値と新たに割り当てられる輝度値との大小関係を比較する必要性をなくすことができる。
また,図12に示すデータ構造の場合,1つのレコードを構成するビット数が実施例1のデータ構造(図8)の半分で済む。このため,本実施例で使用するデータ構造は,ストレージ容量の少ない画像処理装置130での使用に適している。
(3−2)描画処理動作
図13に,本実施例に係る描画処理動作を説明する。当該処理動作も,画像処理装置130によるプログラムの実行を通じて実現される。まず,ボクセル座標データ生成部131は,サーバ110から三次元ボリュームデータ111を読み出し,図12に示すデータ構造のボクセル座標データ133を生成する(ステップSP11)。本実施例の場合,ボクセル座標データ133が生成された時点で,座標の大きさ順の並べ替えが終わっている。
次に,座標変換部134は,入力部135を通じて入力された投影面140と三次元ボリュームデータ111との位置関係を受け付け,三次元ボリュームデータ111上のボクセルの座標値を投影面140上のピクセルの座標値に変換するための変換式を求める(ステップSP12)。
続いて,座標変換部134は,輝度値の大きさ順に対応するボクセルの座標値をキャッシュメモリに読み出し,それらを投影面140上のピクセルの座標値に変換する(ステップSP13)。また,座標変換部134は,変換後の座標値に対応する輝度値を適用して画面表示する(ステップSP14)。本実施例の場合,座標変換部134は,後から割り当てられる輝度値は常に小さいため,同じピクセルに割り当てられる輝度値が発生しても比較処理は行わない。
この後,座標変換部134は,残りのボクセルの輝度値が閾値より小さいか又は処理済みの個数は閾値より大きいか判定し,否定結果が得られている間はステップSP13に戻って描画を繰り返す(ステップSP15)。一方,ステップSP15において肯定結果が得られた場合,座標変換部134は最大値投影画像の描画処理を終了する。本実施例の場合も,ここでの描画処理の終了は,前述した第1段階の描画処理の終了であり,観察方向の変更などがユーザより入力されない場合には,第2段階の描画処理を開始する。
(3−3)効果
以上説明したように,本実施例に係る画像処理システム100を用いれば,実施例1と同様の効果を得ることができる。すなわち,従前の最大値投影手法に比べ,短時間のうちに高画質の最大値投影画像を作成することができる。しかも,本実施例の場合には,ボクセル座標データ133のデータサイズが実施例1の半分で済むため,ストレージ容量の小さい画像処理装置130への搭載に適している。
(4)実施例3
(4−1)装置構成
本実施例に係る画像処理システム100の基本構成は実施例1と同じである。実施例1とは、ボクセル座標データ133を表示部136に表示させるための描画処理動作が主に異なる。
本実施例に係るボクセル座標データ133のデータ構造は、実施例1および実施例2で示したデータ構造のいずれを用いてもよいし、これら以外のデータ構造としてもよい。
(4−2)描画処理動作
本実施例に係る描画処理動作を説明する。実施例1および実施例2においては、設定された輝度値の閾値よりも大きい輝度値を有するボクセル、または、輝度値の大きい方から順番に所定個数個までのボクセルについて、投影面上のピクセルの座標値に変換した。しかしながら、投影方向によっては、投影面を構成するピクセルのうちのごく一部のピクセルにのみボクセルが対応付けられ、投影面を構成するピクセルの大半が対応付けられたボクセルを有しないことが生じうる。仮に、対応付けられているボクセルがないピクセルの輝度値をたとえば0として表示すると、投影方向をユーザが変えた場合に、投影方向によって輝度値が0のピクセルの数が変わるため、ユーザが違和感を覚える可能性がある。そこで、本実施例では、ボクセルと対応付けられた投影面上のピクセルの数に閾値を設ける。
一例として、投影面を構成するピクセル数の70%以上と閾値を設定した場合に、全体の70%以上のピクセルに対してボクセルが対応付けられるまで、輝度値の大きいボクセルから順番に座標値を投影面上のピクセルの座標値に変換を行う。これにより、ユーザが観察向きを任意に変更しても、同程度の数のピクセルに対して0以外の輝度値が割り当てられることになるため、ユーザは違和感を覚えることなく観察を行える。
さらに、実施例1または実施例2と同様に、輝度値の閾値が設定され、さらに、ボクセルと対応付けられる投影面上のピクセルの数に閾値が設定される構成としてもよい。
一例として、三次元ボリュームデータを構成するボクセルのうち、上位5%の輝度値を持つボクセルについて、投影面上のピクセルの座標値に変換するように輝度値に閾値が設定されているとする。また、投影面を構成するピクセルの50%以上の数のピクセルにボクセルが対応付けられるようにピクセルの数に閾値が設定されているとする。この時、第一の投影面上の座標にボクセルの座標を変換した場合に、上位5%の輝度値を持つボクセルを第一の投影面に投影しても、第一の投影面を構成するピクセルの50%未満の数のピクセルにしかボクセルが対応付けられていないことがあり得る。その場合には、画像処理装置130は、輝度値の閾値よりもピクセルの数に係る閾値を優先して、上位5%の輝度値を持つボクセルよりも多くのボクセルについて第一の投影面への座標変換を行ってもよい。画像処理装置130は、輝度値の閾値を下回る1個のボクセルについて座標変換するごとに、ピクセルの数に係る条件を満たしたかどうかの判定を行ってもよいし、所定の単位、たとえば1%ずつ、の数のボクセルについて座標変換するごとに、ピクセルの数に係る条件を満たしたかどうかの判定を行ってもよい。
なお、輝度値に係る閾値やピクセルの数に係る閾値は、ユーザが入力部135を介して入力できるようにしてもよい。これは実施例1および2と同様である。
(4−3)効果
以上で説明したように、本実施例によれば、実施例1と同様の効果を得つつ、観察向きに関わらず、ユーザが違和感を覚えにくい表示を提供することができる。
(5)実施例4
本発明に係る別の実施例を説明する。
先述の実施例では、所定の閾値より高い輝度値を有するボクセル、又は、輝度値の大きい方から順番に所定個数個までのボクセルについて、各座標値を対応する投影面上のピクセルの座標値に変換する処理を行った。所定の閾値、あるいはボクセルの所定個数を、キャッシュメモリの記憶容量を考慮して設定することにより、最大値投影画像の処理時間を短縮することができる。
先述のとおり、キャッシュメモリは記憶容量が限られている。そのため、座標値の変換に供されるデータ量が、キャッシュメモリの容量に収まるように、輝度値に対する所定の閾値、あるいはボクセルの所定の個数を決定することで、キャッシュメモリへのデータの読み書き回数を減らすことができる。
一例として、画像処理装置130は、キャッシュメモリの容量に応じた閾値、あるいは個数を決定し、この決定された値に従って決定されるボクセルに対して投影面上への座標変換を行う。
画像処理装置130はまた、ユーザが入力部135を介して閾値、あるいは個数を入力した場合に、あらかじめ記憶装置に記憶されたキャッシュメモリの容量に応じた閾値、あるいは個数、と比較を行ってもよい。画像処理装置130は、当該比較の結果をユーザに通知してもよい。たとえば、ユーザが入力した値で決まるボクセルのデータ量が、あらかじめ記憶された値で決まるボクセルのデータ量に対して多い場合には、ユーザは閾値あるいは個数を変更することにより、座標変換に供されるボクセルのデータ量がキャッシュメモリの容量に収まるようにして、高速な処理を実現することができる。一方で、ユーザが入力した値で決まるボクセルのデータ量が、あらかじめ記憶された値で決まるボクセルのデータ量に対して多い場合には、ユーザは閾値あるいは個数を変更することにより、描画処理の速度を大きく損なうことなく、より高解像度の画像を観察することができる。
画像処理装置130は、キャッシュメモリの容量に応じた閾値、あるいは個数をデフォルト値として用いるように構成されていてもよい。
本実施例によれば、キャッシュメモリへのデータの読み書きの頻度を低減することで、投影画像の描画に要する時間を短縮するという効果が得られる。
(6)実施例5
本発明に係るさらに別の実施例を説明する。
本実施例では、画像処理装置130は、画像処理装置130の処理能力に応じて所定の閾値およびボクセルの所定個数の少なくとも一方を設定する。
ユーザが入力部135を介して入力した閾値、あるいはボクセルの個数に従うと、画像処理装置130の処理能力では投影画像の描出に過度に時間がかかってしまうことが起こり得る。そこで、本実施例では、ユーザが複数の観察方向から画像を見るために、観察向きを変更する入力を行った場合に、観察向きの変更後の投影画像が所定の時間内に、表示部に表示されるように、閾値およびボクセルの所定個数の少なくとも一方を設定する。所定時間は、たとえば表示装置のリフレッシュレートである。画像処理装置130は、観察向きを変更する入力を受け付けた後、所定フレーム内に観察向き変更後の画像が表示されるようにすることができる。
本実施例に係る画像処理装置130は、処理能力取得手段を備え、たとえば画像処理装置130を構成するCPUの動作周波数、コア数、キャッシュメモリ容量、記憶装置の容量、アクセス速度、表示部16のリフレッシュレート等の、画像表示に係る処理能力情報を取得する。処理能力取得手段は、主記憶装置が上記の処理能力情報をあらかじめ記憶しておく形で実現されていてもよいし、搭載されたOSの機能の一部として実現されていてもよい。
画像処理装置130は、ユーザが入力した閾値、あるいはボクセルの個数と、処理能力情報に応じた閾値、あるいは個数、と比較を行ってもよい。画像処理装置130は、当該比較の結果をユーザに通知してもよい。ユーザは、通知された比較結果に応じて、閾値あるいはボクセル個数を変更することができる。
また、ユーザが入力した閾値、あるいはボクセルの個数に従って決まる、座標変換に供されるボクセルを、上記の所定時間内にすべて表示処理できない場合には、所定時間内に表示できるボクセルを先に表示させ、所定時間内に表示できないボクセルは、それよりも後に表示させてもよい。
図14に、座標変換および表示処理の例を示す。図14(a)は、ボクセルの座標値を投影面上のピクセルの座標値に変換する座標変換処理と、投影画像の表示処理の時系列を示す図である。
期間T1においては、観察方向の変更、拡大、縮小等の指示がないため、時刻t0においては、それよりも前の指示に従った画像を表示する。時刻t1に表示される画像の例を図14(b)に示す。
時刻t1に、ユーザが観察向きを変える指示を行うと、画像処理装置130は座標変換処理を実行し、期間T2内に処理できる数のボクセルについて座標変換処理を行い、期間T2に引き続くタイミングで表示処理を行う。時刻t2に表示される画像を図14(c)に示す。ここでは、期間T2内に座標変換できるボクセル数が限られるため、対応付けられたボクセルのないピクセルは黒塗りで表示されている。
次に、時刻t2にユーザから拡大指示があったとする。画像処理装置130は、拡大指示に従って、拡大後の投影面に対するボクセルの座標変換処理を実行し、期間T3に引き続くタイミングで表示処理を行う。時刻t3に表示される画像を図14(d)に示す。ここでは、期間T3内に処理できるボクセル数が限られるため、対応付けられたボクセルのないピクセルは黒塗りで表示されている。
時刻t3では、ユーザからの指示がないため、期間T3内に座標変換処理が完了しなかったボクセルに対して、期間T4内で座標変換処理を実行する。そして、期間T4に引き続くタイミングで表示処理を行う。時刻t4に表示される画像を図14(e)に示す。図14(d)では黒塗りになっていたピクセルに対しても、ボクセルが対応付けられた様子が理解できる。
図14(a)〜(e)を用いて説明した動作を行うことにより、画像処理装置130は、ユーザからの指示に対して速やかに追従しながら、所定の時間内(ここでは画像の表示間隔内)に処理できないボクセルは、ユーザからの指示がなくなったのちに表示できる。
画像処理装置130は、処理能力情報に応じた閾値およびボクセルの個数の少なくとも一方をデフォルト値として用いるように構成されていてもよい。
本実施例によれば、観察向きを変更する入力を行った場合に、観察向きの変更後の投影画像が所定の時間内に、表示部に表示されるように、処理能力情報に基づいて閾値およびボクセルの所定個数の少なくとも一方を設定することができる。そのため、観察向きを変更後の画像が表示されるまでの時間が長大になることを低減できる。
本実施例は、画像処理装置130がノートPC、タブレットPC、スマートフォン等の処理能力が低い装置を用いて構成されている場合に特に有用である。たとえば、所定フレーム内に観察向きを変更後の画像が表示されることにより、ユーザはストレスを感じることなく観察方向を様々に変更することができる。
(7)実施例6
本発明に係るさらに別の実施例を説明する。
本実施例に係る画像処理装置130は、輝度値の閾値およびボクセルの所定個数の少なくとも一方を複数有し、ユーザが入力部を介して閾値あるいは所定個数を選択できる。
画像処理装置130が、複数の閾値を主記憶装置に記憶しているとする。画像処理装置130には、ボクセルの輝度値に対して、第1の閾値と、第1の閾値よりも低い第2の閾値を主記憶装置に記憶しているとする。
図15(a)に示すように、画像処理装置130は表示部136に投影画像とともに、表示モード選択手段を表示する。ここでは、ラジオボタンで「高閾値」と「低閾値」が排他的に選択可能となっている。図15(a)では「高閾値」が選択された状態を表しており、第1の閾値よりも大きい閾値を有するボクセルが投影面を構成するピクセル座標に座標変換されている。ユーザは、入力部135を介していずれかのモードを選択可能である。
図15(b)は、「低閾値」が選択された場合の表示画面の例を示す図である。この例では第2の閾値が採用された状態であるため、図15(a)と比べて、より輝度値の低いボクセルまで投影面への対応付けがなされていることが分かる。典型的には、「低閾値」を選択した場合には「高閾値」を選択した場合と比べてより多くのピクセルにボクセルが対応付けられる。
また、画像処理装置130は、異なる閾値に基づいて座標変換処理された複数の画像を同一画面に並べて表示し、ユーザが一つの画像を選択すると、選択された画像を拡大して表示したり、選択されなかった画像の表示を終了したりするようにしてもよい。
本実施例では、閾値をユーザが選択できる態様を説明したが、投影面におけるピクセルのうちボクセルが対応付けられたピクセルの多寡をユーザが選択できるようにしてもよい。
本実施例によれば、ユーザは、閾値を切り替えられるため、目的に適した投影画像を観察できる。
(8)実施例7
図16を参照しながら、本発明に係るさらに別の実施例を説明する。
図16(a)は、ある投影面の画像の例を示す。この図において、白色のセルは対応付けられたボクセルを有するピクセルを示し、黒色のセルは対応付けられたボクセルを有しないピクセルを示す。説明を簡単にするために白色セルは、三次元ボリュームデータ111内の最大の輝度値を有するものとする。
図16(a)に示すように、対応付けられたボクセルを有しないピクセルと隣接するピクセルとの輝度値の差が大きいと、その境界が強調されるため、ユーザが違和感を覚えることがある。そこで、本実施例においては、画像処理装置130は、座標変換処理によってボクセルが対応付けられたピクセルと、ボクセルが対応付けられていないピクセルとが隣接する場合に、ボクセルが対応付けられていないピクセルの輝度値を、たとえば周囲のピクセルの輝度値を用いて補間する処理を行う。この結果、図16(b)のように境界を滑らかに見せることができる。
(9)他の実施例
前述の実施例においては,ボクセル座標データ記憶部132には,三次元空間を構成する全てのボクセルに対応するボクセル座標データ133が記憶される場合について説明したが,最大値投影画像の描画に使用するボクセル数又は輝度値の範囲が決まっている場合には,条件を満たすボクセル数又は輝度値の範囲を満たす数のボクセル座標データ133だけを記憶してもよい。
前述の実施例においては,三次元ボリュームデータ111が光音響画像データである場合を想定し,最大値投影画像の描画に使用するボクセル数の割合を全ボクセル数の10%などとする場合について説明したが,これらの閾値は三次元ボリュームデータ111として用いられる三次元画像データの種類や輝度値の分布に応じて最適な値を使用すればよい。
前述の実施例においては,座標変換部134による座標変換処理と描画を2段階で実行する場合について説明したが,前述の第1段階のみを実行してもよい。このような仕組みを採用しても最大値投影画像の画質には大きな変化はない。
前述の実施例においては,同一のピクセルに対して複数のボクセルが対応付けられる場合に最も大きい輝度値を有するボクセルの輝度値を表示する場合について説明したが,表示対象とする高輝度ボクセル群(輝度値が所定の閾値より高いボクセル又は輝度値の大きい方から順番に所定の個数までのボクセル)の輝度値であれば,最も大きい輝度値に限る必要はない。高輝度ボクセル群に属するボクセルであれば,その輝度の違いは小さく,視覚的に輝度の違いを認識できないか,輝度の違いは無視できる程度に小さいからである。
この表示手法は,例えば1つのピクセルに対して,高輝度ボクセル群に属する2個のボクセルが対応付けられる場合に,輝度が低い方のボクセルの輝度値が表示されてもよいことを意味する。この表示手法は,例えば高輝度ボクセル群のボクセルであれば,対応付けられたピクセルに対して既に他のボクセルが対応付けられているか否かにかかわらず,新たに対応付けられたボクセルの輝度を対応付けることで実現できる。この手法を採用する場合でも,視認される画質と処理速度に実質的な影響は生じない。
前述の実施例においては,入力部135を通じて入力された投影面140と三次元ボリュームデータ111との位置関係を受け付けることを条件に,指定された回転角に応じた最大値投影画像の描画を前述の高輝度ボクセル群について実行し,その後,低輝度ボクセル群について最大値投影画像の描画を継続する場合について説明した。しかし,画像処理システム100について,有限回の自動回転機能が搭載されている場合には,高輝度ボクセル群による最大値投影画像の描画処理動作を適用してもよい。なお,自動回転機能では,各回において使用する回転方向及び回転量が事前に定められているものとする。また,自動回転に応じた最大値投影画像の描画処理の終了後は,前述の実施例と同様,低輝度ボクセル群を用いて描画品質を高める処理を実行してもよい。
前述の実施例において、観察向きの変更を例示的に説明したが、特段の断りがない限り、画像の拡大あるいは縮小についても同様に適用できる。
前述の実施例において、所定の閾値よりも高い輝度値を有するボクセル、又は、輝度値の大きい方から所定個数個までのボクセルについて、投影面上のピクセルの座標値に変換することを説明した。しかし、本発明はこれらに限られず、所定の範囲の輝度値を有するボクセル、又は、所定数のボクセルについて、座標値の変換を行ってもよい。たとえば、三次元ボクセルデータのうち、最大輝度値およびその近傍の輝度値が、ノイズに起因する成分であるような場合には、最大輝度値を含めて投影面に投影すると、かえって視認性を低下させる要因になり得る。そこで、最大輝度値を除く輝度値の範囲に含まれるボクセルを投影対象としてもよい。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
本願は、2016年08月30日提出の日本国特許出願特願2016-167790を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
1…データ空間
2…ボクセル
3…投影面
100…画像処理システム
110…サーバ
120…ネットワーク
130…画像処理装置
131…ボクセル座標データ生成部
132…ボクセル座標データ記憶部
133…ボクセル座標データ
134…座標変換部
135…入力部
136…表示部
140…投影面

Claims (18)

  1. 各ボクセルの座標値に各々の輝度値を対応付けたボクセル座標データを生成するボクセル座標データ生成部と,
    少なくとも所定の閾値より高い輝度値を有するボクセル,又は,輝度値の大きい方から順番に所定個数個までのボクセルについて,各座標値を対応する投影面上のピクセルの各座標値に変換し,変換により得られた前記ピクセルの各座標値に,対応する前記ボクセルの輝度値を表示する座標変換部と,
    を有する画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記座標変換部は,同一の前記ピクセルの座標値に対応するボクセルが複数ある場合,より高い輝度値を有するボクセル,又は、輝度値のより大きいボクセルの輝度値を表示する
    ことを特徴とする画像処理装置。
  3. 請求項1に記載の画像処理装置において,
    前記座標変換部は,
    前記ボクセル座標データを,輝度値の大きさ順に又はおおよその大きさ順に並べ替える処理を予め実行し,
    輝度値が高い方から順番に,1つ又は複数個のボクセル単位で,対応するピクセルの座標値を算出し,算出された座標値の前記ピクセルに,対応する前記ボクセルの輝度値を適用して表示する
    ことを特徴とする画像処理装置。
  4. 請求項1に記載の画像処理装置において,
    前記座標変換部は,
    前記所定の輝度値より高い輝度値を有するボクセルのみ,又は,輝度値の大きい方から順番に所定個数個までのボクセルのみを処理対象に用いる表示の終了後,残りのボクセルの輝度値を用いた表示処理を実行する
    ことを特徴とする画像処理装置。
  5. 請求項1に記載の画像処理装置において,
    前記投影面の拡大表示が指示された場合,前記座標変換部は,前記投影面の部分領域を拡大率に応じて線形補間して表示する
    ことを特徴とする画像処理装置。
  6. 請求項1に記載の画像処理装置において,
    前記投影面の縮小表示が指示された場合,前記座標変換部は,縮小率に応じて縮小された前記投影面上の各ピクセルに,座標変換された前記ボクセルの輝度値を適用して表示する
    ことを特徴とする画像処理装置。
  7. 輝度値毎に,同じ大きさの輝度値を有する1つ又は複数のボクセルの座標値を対応付けたボクセル座標データを生成するボクセル座標データ生成部と,
    少なくとも所定の閾値より高い輝度値を有するボクセル,又は,輝度値の大きい方から順番に所定個数個までのボクセルについて,各座標値を対応する投影面上のピクセルの各座標値に変換し,変換により得られた前記ピクセルの各座標値に,対応する前記ボクセルの輝度値を表示する座標変換部と,
    を有する画像処理装置。
  8. 請求項7に記載の画像処理装置において,
    前記座標変換部は,
    輝度値が高い方から順番に,1つ又は複数個のボクセル単位で,対応するピクセルの座標値を算出し,算出された座標値の前記ピクセルに,対応する前記ボクセルの輝度値を適用して表示する
    ことを特徴とする画像処理装置。
  9. 請求項7に記載の画像処理装置において,
    前記座標変換部は,
    前記所定の輝度値より高い輝度値を有するボクセルのみ,又は,輝度値の大きい方から順番に所定個数個までのボクセルのみを処理対象に用いる表示の終了後,残りのボクセルの輝度値を用いた表示処理を実行する
    ことを特徴とする画像処理装置。
  10. 請求項7に記載の画像処理装置において,
    前記投影面の拡大表示が指示された場合,前記座標変換部は,前記投影面の部分領域を拡大率に応じて線形補間して表示する
    ことを特徴とする画像処理装置。
  11. 各ボクセルの座標値に各々の輝度値を対応付けたボクセル座標データを生成するボクセル座標データ生成工程と、
    少なくとも所定の閾値より高い輝度値を有するボクセル、又は、輝度値の大きい方から順番に所定個数個までのボクセルについて、各座標値を対応する投影面上のピクセルの各座標値に変換する座標値変換工程と、
    変換により得られた前記ピクセルの各座標値に、対応する前記ボクセルの輝度値を表示する輝度表示工程と、
    を有する画像処理方法。
  12. 請求項11に記載の画像処理方法において、
    前記ボクセル座標データを、輝度値の大きさ順に又はおおよその大きさ順に並べ替える処理を実行する並替工程をさらに有し、
    前記座標値変換工程において、輝度値が高いボクセル座標データから順番に、1つ又は複数個のボクセル単位で、対応するピクセルの座標値を算出し、
    前記輝度表示工程において、算出された座標値の前記ピクセルに、対応する前記ボクセルの輝度値を適用して表示する
    ことを特徴とする画像処理方法。
  13. 三次元ボリュームデータに基づく投影画像を表示部に描画させるための、画像処理装置のコンピュータに、
    前記三次元ボリュームデータを構成する各ボクセルの座標値に各々の輝度値を対応付けたボクセル座標データを生成するボクセル座標データ生成ステップ、
    少なくとも所定の閾値より高い輝度値を有するボクセル、又は、輝度値の大きい方から順番に所定個数個までのボクセルについて、各座標値を対応する投影面上のピクセルの各座標値に変換する座標値変換ステップ、
    変換により得られた前記ピクセルの各座標値に、対応する前記ボクセルの輝度値を表示する輝度表示ステップ、
    を実行させることを特徴とする画像処理プログラム。
  14. 請求項13に記載の画像処理プログラムにおいて、
    前記画像処理プログラムは、前記コンピュータにさらに、
    前記ボクセル座標データを、輝度値の大きさ順に又はおおよその大きさ順に並べ替える処理を実行する並替ステップを実行させ、
    前記座標値変換ステップにおいては、前記コンピュータに、
    輝度値が高いボクセル座標データから順番に、1つ又は複数個のボクセル単位で、対応するピクセルの座標値を算出するステップを実行させ、
    前記輝度表示ステップにおいては、前記コンピュータに、
    算出された座標値の前記ピクセルに、対応する前記ボクセルの輝度値を適用して表示するステップを実行させる
    ことを特徴とする画像処理プログラム。
  15. 三次元ボリュームデータに基づく投影画像を表示部に描画させるための画像処理システムであって、
    前記画像処理システムは、前記三次元ボリュームデータが記憶されたサーバと、画像処理装置と、前記サーバと前記画像処理装置とを接続するネットワークとを備え、
    前記画像処理装置は、
    前記三次元ボリュームデータを構成する各ボクセルの座標値に各々の輝度値を対応付けたボクセル座標データを生成するボクセル座標データ生成部と、
    少なくとも所定の閾値より高い輝度値を有するボクセル、又は、輝度値の大きい方から順番に所定個数個までのボクセルについて、各座標値を対応する投影面上のピクセルの各座標値に変換し、変換により得られた前記ピクセルの各座標値に、対応する前記ボクセルの輝度値を表示する座標変換部とを有する
    ことを特徴とする画像処理システム。
  16. 三次元ボクセルデータを任意の投影面への二次元ピクセルデータに変換する画像処理装置であって、
    前記三次元ボクセルデータのうち、所定の範囲のボクセル値を有するボクセル、または、所定数個のボクセルについて、
    各ボクセルの座標値を、前記投影面上のピクセルの座標値に変換し、当該変換後のピクセルの座標値に、対応する前記ボクセルのボクセル値を対応付ける座標変換部を有すること
    を特徴とする画像処理装置。
  17. 前記三次元ボクセルデータの複数のボクセルを、ボクセル値の大きさに従って並び替えを行う並び替え部をさらに有し、
    前記座標変換部は、前記並び替え部によって並べ替えられた三次元ボクセルデータについて、前記変換および対応付けを行うこと
    を特徴とする請求項16に記載の画像処理装置。
  18. 前記三次元ボクセルデータは、光音響波に基づいて構成された被検体の三次元ボクセルデータであること
    を特徴とする請求項16または17に記載の画像処理装置。
JP2018537361A 2016-08-30 2017-08-30 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム Active JP7123798B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016167790 2016-08-30
JP2016167790 2016-08-30
PCT/JP2017/031242 WO2018043594A1 (ja) 2016-08-30 2017-08-30 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2018043594A1 true JPWO2018043594A1 (ja) 2019-06-24
JP7123798B2 JP7123798B2 (ja) 2022-08-23

Family

ID=61300824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537361A Active JP7123798B2 (ja) 2016-08-30 2017-08-30 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム

Country Status (5)

Country Link
US (2) US10997775B2 (ja)
EP (1) EP3509033B1 (ja)
JP (1) JP7123798B2 (ja)
CN (1) CN109643441B (ja)
WO (1) WO2018043594A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3509033B1 (en) * 2016-08-30 2024-02-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and image processing system
JP6862310B2 (ja) * 2017-08-10 2021-04-21 株式会社日立製作所 パラメータ推定方法及びx線ctシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245487A (ja) * 2001-02-20 2002-08-30 Toshiba Medical System Co Ltd 画像表示装置、画像表示方法、画像処理装置、及び医用画像診断装置
JP2006107518A (ja) * 2004-10-08 2006-04-20 Mitsubishi Electric Research Laboratories Inc 複数のボクセルを含むボリュームデータセットをレンダリングする方法
JP2007135843A (ja) * 2005-11-17 2007-06-07 Toshiba Corp 画像処理装置、画像処理プログラム、及び画像処理方法
JP2014151002A (ja) * 2013-02-08 2014-08-25 Toshiba Corp 医用画像処理装置
JP2015188574A (ja) * 2014-03-28 2015-11-02 富士フイルム株式会社 3次元方向設定装置および方法並びにプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06290276A (ja) * 1993-02-15 1994-10-18 Philips Electron Nv 3次元場面の映像化用配置及び方法
JPH09259298A (ja) * 1996-03-25 1997-10-03 Hitachi Medical Corp 疑似三次元画像構成方法
JP4526102B2 (ja) 2000-02-24 2010-08-18 株式会社日立メディコ 画像処理方法及び装置
US7301538B2 (en) * 2003-08-18 2007-11-27 Fovia, Inc. Method and system for adaptive direct volume rendering
JP4709177B2 (ja) * 2007-04-12 2011-06-22 富士フイルム株式会社 三次元画像処理装置および方法並びにプログラム
US8218905B2 (en) * 2007-10-12 2012-07-10 Claron Technology Inc. Method, system and software product for providing efficient registration of 3D image data
JP5334423B2 (ja) 2008-02-13 2013-11-06 株式会社日立メディコ 画像処理装置、画像処理方法、およびプログラム
JP5245811B2 (ja) 2008-12-25 2013-07-24 大日本印刷株式会社 ボクセル配列可視化装置
JP5127897B2 (ja) 2010-08-27 2013-01-23 キヤノン株式会社 眼科用画像処理装置及びその方法
EP2620103B1 (en) * 2010-09-21 2019-01-23 Hitachi, Ltd. Ultrasound diagnostic equipment and ultrasound image display method
JPWO2012063653A1 (ja) * 2010-11-12 2014-05-12 株式会社日立メディコ 医用画像表示装置及び医用画像表示方法
US9384592B2 (en) * 2012-03-22 2016-07-05 Kabushiki Kaisha Toshiba Image processing method and apparatus performing slab multi-planar reformatting rendering of volume data
JP6004714B2 (ja) * 2012-04-12 2016-10-12 キヤノン株式会社 被検体情報取得装置およびその制御方法
US10210956B2 (en) * 2012-10-24 2019-02-19 Cathworks Ltd. Diagnostically useful results in real time
JP5701272B2 (ja) 2012-10-26 2015-04-15 キヤノン株式会社 眼科用画像処理装置及びその方法
EP2929840A4 (en) * 2012-12-06 2016-08-24 Hitachi Aloka Medical Ltd ULTRASONIC DIAGNOSIS DEVICE AND METHOD FOR DISPLAYING ULTRASONIC IMAGES
JP6253962B2 (ja) * 2013-11-28 2017-12-27 富士通株式会社 情報処理装置及び方法
JP6401459B2 (ja) * 2014-02-14 2018-10-10 キヤノン株式会社 画像処理装置、画像処理方法
CN104123754B (zh) * 2014-07-18 2018-06-15 合肥工业大学 一种固态体积式真三维深度抗锯齿算法
EP3221847B1 (en) * 2014-11-20 2021-01-06 Koninklijke Philips N.V. Method for generation of synthetic mammograms from tomosynthesis data
KR102270712B1 (ko) * 2014-11-28 2021-06-30 삼성메디슨 주식회사 볼륨 렌더링 장치 및 볼륨 렌더링 방법
EP3242586A1 (en) * 2015-01-07 2017-11-15 C/o Canon Kabushiki Kaisha Photoacoustic apparatus, image display method, and program
CN106034212B (zh) 2015-03-10 2019-02-26 深圳富泰宏精密工业有限公司 投影装置、控制装置及穿戴式投影系统
US9672641B2 (en) * 2015-07-09 2017-06-06 Sirona Dental Systems Gmbh Method, apparatus, and computer readable medium for removing unwanted objects from a tomogram
EP3509033B1 (en) * 2016-08-30 2024-02-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and image processing system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245487A (ja) * 2001-02-20 2002-08-30 Toshiba Medical System Co Ltd 画像表示装置、画像表示方法、画像処理装置、及び医用画像診断装置
JP2006107518A (ja) * 2004-10-08 2006-04-20 Mitsubishi Electric Research Laboratories Inc 複数のボクセルを含むボリュームデータセットをレンダリングする方法
JP2007135843A (ja) * 2005-11-17 2007-06-07 Toshiba Corp 画像処理装置、画像処理プログラム、及び画像処理方法
JP2014151002A (ja) * 2013-02-08 2014-08-25 Toshiba Corp 医用画像処理装置
JP2015188574A (ja) * 2014-03-28 2015-11-02 富士フイルム株式会社 3次元方向設定装置および方法並びにプログラム

Also Published As

Publication number Publication date
EP3509033A1 (en) 2019-07-10
US20210209834A1 (en) 2021-07-08
EP3509033B1 (en) 2024-02-28
EP3509033A4 (en) 2020-03-11
WO2018043594A1 (ja) 2018-03-08
US10997775B2 (en) 2021-05-04
US11494972B2 (en) 2022-11-08
US20190188898A1 (en) 2019-06-20
JP7123798B2 (ja) 2022-08-23
CN109643441A (zh) 2019-04-16
CN109643441B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
TWI618030B (zh) 藉由追蹤物件及/或基元識別符的圖形處理增強之方法及系統,圖形處理單元及非暫時性電腦可讀媒體
US7439974B2 (en) System and method for fast 3-dimensional data fusion
US10275930B2 (en) Combined intensity projection
EP2074499B1 (en) 3d connected shadow mouse pointer
US20160232703A1 (en) System and method for image processing
CN110168619B (zh) 在虚拟现实或增强现实环境中渲染复杂数据的系统和方法
US8379955B2 (en) Visualizing a 3D volume dataset of an image at any position or orientation from within or outside
US20050237336A1 (en) Method and system for multi-object volumetric data visualization
US9224236B2 (en) Interactive changing of the depiction of an object displayed using volume rendering
JP2023500217A (ja) 差動脳ネットワーク分析
US11393139B2 (en) System and method for MPR streak reduction
Urschler et al. Forensic-case analysis: from 3D imaging to interactive visualization
US11494972B2 (en) Image processing apparatus, image processing method, and image processing system
US20220343589A1 (en) System and method for image processing
JP4668289B2 (ja) 画像処理装置および方法並びにプログラム
US9035945B1 (en) Spatial derivative-based ray tracing for volume rendering
US9082217B1 (en) Avoidance-based ray tracing for volume rendering
WO2022214093A1 (en) Systems and methods for image processing
JP2006000126A (ja) 画像処理方法および装置並びにプログラム
JP2019164619A (ja) レイキャスティングプログラム、探索制御データ、探索制御データ生成方法、レイキャスティング装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210909

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220512

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220512

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220523

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220810

R151 Written notification of patent or utility model registration

Ref document number: 7123798

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151