JP3642412B2 - ３次元画像の３次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法 - Google Patents
３次元画像の３次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法 Download PDFInfo
- Publication number
- JP3642412B2 JP3642412B2 JP2000399929A JP2000399929A JP3642412B2 JP 3642412 B2 JP3642412 B2 JP 3642412B2 JP 2000399929 A JP2000399929 A JP 2000399929A JP 2000399929 A JP2000399929 A JP 2000399929A JP 3642412 B2 JP3642412 B2 JP 3642412B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- data
- decomposition
- decomposed
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は３次元画像の３次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法に関し、特にＣＴ、ＭＲＩなどから発生する大量の３次元医用画像を、ネットワーク環境において高速に伝送するに好適な３次元ウェーブレット分解方法、３次元画像の階層符号化伝送方法および階層復号方法に関する。
【０００２】
【従来の技術】
近年、ＣＴ、ＭＲＩなどの技術革新により、放射線科等において３次元医用画像画像データが大量に取得できるようになってきており、３次元ＣＧを用いてこれらの画像を立体的に表示するビューアが開発、実用化されている。この３次元ビューアは、ＣＴ、ＭＲＩの機能の一部として実装されているものが多い。
【０００３】
一方、近年のネットワークの発達により、放射線科内だけでなく、病院内の他科や、病院外においてもこれらの３次元医用データを利用したいという要求が高まってくるものと予想される。
【０００４】
【発明が解決しようとする課題】
しかし、放射線科内における画像の蓄積、管理を目的としたシステムの規格であるＤＩＣＯＭ(Digital Imaging and Communications in Medicine)では、ネットワーク上にある画像を手元のビューアで表示したい場合に、一旦、シリーズ内の画像ファイル全てをビューアに持ってくる必要があるため、ＣＴ、ＭＲＩ画像のようにシリーズ内に画像が大量に存在する場合等では、伝送に大きな時間がかかってしまうという問題がある。また、計算機の発達により演算が高速に行えるようになったとはいえ、大量のデータをレンダリングして、立体的に表示するにはかなりの時間がかかってしまう。
【０００５】
３次元ウェーブレット変換を３次元医用画像に適用してデータを階層化し、まずはサイズの小さい画像データを伝送することにより、前記時間を短縮する研究は行われている。しかし、この研究は、２次元のウェーブレットをそのまま３次元に拡張したものであり、ｘ、ｙ、ｚ方向に等しくウェーブレットをかけている。このような方式の場合、データ伝送の途中段階では、スライス面内の解像度が小さい縮小画像をまず見ることができるが、スライス方向（ｚ方向）に対しても分解されているため、画像の枚数まで減少されてしまう。もし、スライス間隔が極端に大きい、画像枚数の少ないシリーズがあった場合には、ｚ方向の情報量が十分ではなく、誤診につながる可能性もある。
【０００６】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、３次元の画像を従来より短時間で伝送でき、また伝送の途中段階で得られる３次元画像データサイズを、ｘ、ｙ、ｚ方向にそれぞれ独立に制御することが可能であり、立体的に、かつ階層的に表示できる３次元画像の３次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、ｘ、ｙ空間に存在する２次元画像Ｐ１、Ｐ２、Ｐ３、・・・、Ｐｎ（以下、スライス画像）をｚ軸方向に重ね合わせた３次元画像のウェーブレット分解方法において、ｘ、ｙ、ｚ方向の分解順序および分解回数を変化させるようにし、繰り返し分解を行う際には、ｘ、ｙ、ｚ方向について独立に見て、ある方向において低周波数成分を含むウェーブレット変換係数全てに対して再帰的にその方向にウェーブレット分解を行い、
該ウェーブレット分解により生成された変換係数を蓄積するようにした点に第１の特徴がある。
【０００８】
この特徴によれば、スライス面内の画像解像度は小さくても良いから、まず全てのスライス枚数が欲しいという要求や、スライス枚数は少なくても良いから、スライス面内の画像はできるだけ大きい解像度が欲しい等というユーザからの要求に対して応えることができるウェーブレット分解方法を提供できるようになる。
【０００９】
また、本発明は、ｘ、ｙ空間に存在する２次元画像Ｐ１、Ｐ２、Ｐ３、・・・、Ｐｎをｚ軸方向に重ね合わせた３次元画像を、前記請求項１ないし３のいずれかに記された３次元ウェーブレット分解方法でウェーブレット分解し、該ウェーブレット分解されたブロックを符号化し、該符号化されたデータをファイルに纏めて出力するようにした点に第２の特徴がある。この特徴によれば、３次元の画像を従来より短時間で伝送できるようになる。
【００１０】
また、本発明は、ユーザまたは表示モジュールから、階層的伝送の途中段階では、スライス画面の画像解像度は小さくてもよいが、全てのスライス枚数が欲しいという要求がなされた時には、前記請求項２の３次元ウェーブレット分解方法で分解されたデータに関して、ｚ方向については全ての周波数成分を含みｘ、ｙ方向については低い周波数成分を含むものから分解データを順次伝送し、該分解データを受信したユーザまたは表示モジュールは、ｘ、ｙ方向に最も低い周波数成分を含む受信分解データに対してはｚ方向に合成して３次元画像データを再生し、その後順次受信した分解データに対しては、まずはｚ方向に合成した後、既に伝送済みのより低い周波数成分を含む分解データと合わせてｘ、ｙ方向に合成することにより、前記要求に応答するようにした点に第３の特徴がある。
【００１１】
また、ユーザまたは表示モジュールから、階層的伝送の途中段階では、スライス枚数は少なくてもよいが、スライス面内の画像はできるだけ大きい解像度が欲しいという要求がなされた時には、前記請求項３の３次元ウェーブレット分解方法で分解されたデータに関して、ｘ、ｙ方向については全ての周波数成分を含みｚ方向については低い周波数成分を含むものから分解データを順次伝送し、該分解データを受信したユーザまたは表示モジュールは、ｚ方向に最も低い周波数成分を含む受信分解データに対してはｘ、ｙ方向に合成して３次元画像データを再生し、その後順次受信した分解データに対しては、まずはｘ、ｙ方向に合成した後、既に伝送済みのより低い周波数成分を含む分解データと合わせてｚ方向に合成することにより、前記要求に応答するようにした点に第４の特徴がある。
【００１２】
該第３、第４の特徴によれば、伝送の途中段階で得られる３次元画像データサイズを、ｘ、ｙ、ｚ方向にそれぞれ独立に制御することが可能となり、立体的に、かつ階層的に表示できるようになる。
【００１３】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の概念を示すブロック図である。
【００１４】
図から明らかなように、本発明は、ＣＴ画像などの複数の２次元画像からなる３次元データを入力する構造化処理部１と、該構造化処理部１で形成された構造化ファイルを蓄積・伝送する蓄積・伝送部２と、伝送されてきた３次元データを受信し再生する再生処理部３とから構成されている。
【００１５】
前記構造化処理部１は、前記３次元データを階層化し、かつ必要な解像度のボリュームデータのみを伝送、表示できるように構造化し、次いで、該構造化したデータをファイル化して構造化ファイルを作成する処理を行う。また、前記蓄積・伝送部２は、構造化された３次元データを、階層的、部分的に再生処理部３に伝送し、再生処理部３は、受信した該３次元データを復号して再生する処理を行う。
【００１６】
次に、前記構造化処理部１、蓄積・伝送部２、および再生処理部３の処理の詳細を、順次説明する。まず、構造化処理部１の処理を説明する。
【００１７】
図２は、該構造化処理部１の機能の概要を示すブロック図である。該構造化処理部１は、図示されているように、入力ファイルとしての３次元ボクセルデータが入力するウェーブレット(Wavelet)分解部１１、予測モデリング部１２、エントロピー符号化部１３、および出力処理部１４から構成されている。
【００１８】
ここに、前記３次元ボクセルデータ２０は、図３に示されているように、ｘ、ｙ空間に存在する２次元画像Ｐ１、Ｐ２、Ｐ３、・・・、Ｐｎをｚ軸方向に重ね合わせた３次元データ（データサイズ、Ｘ×Ｙ×Ｚ）と定義される。
【００１９】
次に、前記ウェーブレット分解部１１の動作を説明する。図４は、該ウェーブレット分解部１１の処理の概要を示すフローチャートである。ステップＳ１では、初期値の設定が行われる。この初期値は、一例として、「階層的伝送の途中段階では、スライス面内の画像解像度は小さくても良いが、全てのスライス枚数が欲しい」という要求１に答えるモード（以下、モード１）と、「階層的伝送の途中段階では、スライス枚数は少なくても良いが、スライス面内の画像はできるだけ大きい解像度が欲しい」という要求２に答えるモード（以下、モード２）により、次のような値が設定される。
【００２０】
前記モード１の場合には、現時点の分解回数nIdxN = 0、現時点のｘ、ｙ、およびｚ方向の分解回数nIdxX = nIdxY =nIdxZ = 0とする。また、ｎ回目の分解の際の分解方向DIR[ｎ]を、次のように初期値設定する。
【００２１】
DIR[1] = x、DIR[2] = y、DIR[3] = x、DIR[4] = y、・・・、DIR[ 2Nx-1 ] = x、DIR[ 2Nx ] = y、DIR[ 2Nx+1 ] = z、DIR[ 2Nx+2 ] = z、・・・、DIR[ 2Nx+Nz ] = z。
【００２２】
このモード１は、全てのスライス画像に対して、まずスライス面内（ｘ、ｙ方向）についてのみ分解を２Nx回行い、その後スライス軸方向（ｚ方向）について分解をNz回行うようにしたものである。
【００２３】
また、前記モード２の場合には、現時点の分解回数nIdxN = 0、現時点のｘ、ｙ、およびｚ方向の分解回数nIdxX = nIdxY =nIdxZ = 0とする。また、ｎ回目の分解の際の分解方向DIR[ｎ]を、次のように初期値設定する。
【００２４】
DIR[1] = z、DIR[2] = z、DIR[3] = z、DIR[4] = z、・・・、DIR[ Nz ] = z、DIR[ Nz +1 ] = x、DIR[ Nz +2 ] = y、DIR[ Nz +3 ] = x、DIR[ Nz +4 ] = y、・・・、DIR[ Nz+2Nx-1 ] = x、DIR[ Nz+2Nx ] = y。
【００２５】
このモード２は、スライス軸方向（ｚ方向）についてのみ分解をNz回行い、その後スライス面内（ｘ、ｙ方向）について、分解を２Nx回行うようにしたものである。
【００２６】
前記初期値の設定がなされると、ステップＳ２に進み、３次元分解が行われる。この分解は、前記初期値に従って行われる。
【００２７】
前記モード１、モード２の場合の該分解の概要を、それぞれ図５、図６の３次元ボクセルデータ２０を参照して説明する。
【００２８】
なお、図５、図６は、それぞれ、前記モード１、モード２において、ｘ、ｙ、ｚ方向それぞれに対する分割回数を、Ｎx、Ｎy、Ｎzとした場合の各周波数領域を記述したものであり、該各周波数領域は、ＤＡＴＡN［ｓx、ｓy、ｓz］と記述することができる。ここに、［ｓx、ｓy、ｓz］は、周波数領域を示す指数であり、ｓx＝0,1,・・・，Ｎx、ｓy ＝ 0,1,・・・，Ｎy、ｓz＝0,1,・・・，Ｎzである。また、前記ＤＡＴＡN のＮは、Ｎ＝Ｎx＋Ｎy＋Ｎzである。
【００２９】
図５、図６は、Ｎx＝Ｎy＝Ｎz＝２で分解された３次元データの概念図を示している。なお、該分解の時には、ｘ、ｙ、ｚ方向に対して、それぞれ独立のウェーブレット変換フィルタを使用するようにする。
モード１の場合の３次元分割は、図５のようになる。 第１回目の分解方向はDIR[1] = xであるから、該３次元ボクセルデータ２０はｘ方向に分解される（図示のＸ１−Ｘ１）。これにより、ｘ方向に関して、低周波数を含む領域（左側）と、低周波数を含まない領域（右側）とに分けられる。第２回目の分解方向はDIR[2] = yであるから、ｙ方向に分解される（Ｙ２−Ｙ２）。これにより、ｙ方向に関して、低周波数を含む領域（手前側）と、低周波数を含まない側（後ろ側）とに分けられる。
【００３０】
次の分解はDIR[3] = xであるから、（Ｘ３−Ｘ３）で分解され、前記ｘ方向の低周波を含む側がさらに低周波を含む領域と含まない領域に分解される。次の分解はDIR[4] = yであるから、同様に（Ｙ４−Ｙ４）で分解され、前記ｙ方向の低周波を含む側がさらに低周波を含む領域と含まない領域にに分解される。このようにして、ｘ、ｙ方向の分解が終わると、次にｚ方向の分解に移る。
【００３１】
次の分解はDIR[５] = zであるから、ｚ方向に分解される（Ｚ５−Ｚ５）。これにより、ｚ方向に関して、低周波数を含む側（上側）と、含まない側（下側）とに分けられる。次の分解はDIR[６] = zであるから、ｚ方向に分解される（Ｚ６−Ｚ６）。これにより、前記ｚ方向の低周波数を含む側が（Ｚ６−Ｚ６）により、さらに低周波数を含む側（上側）と含まない側（下側）とに分けられる。この結果、［２，２，２］のブロックに低周波数成分のデータが集まり、逆に［０，０，０］のブロックには高周波成分のデータが集まることになる。
【００３２】
なお、前記の分解は、例えば本出願人の出願である特願２０００−３６１６６８号の図７、図８に示されているようなウェーブレット変換フィルタを用いて、ｘ、ｙ、ｚ方向に分解することができる。
【００３３】
このように、本実施形態のウェーブレット分解は、従来のウェーブレット分解（例えば、特開２０００−４１１４９号公報の図６参照）のように、全ての次元において低周波数を含む領域についてのみ再帰的に分解していくのではなく、ある次元方向に独立に見た場合、低周波数を含む領域全てに、その方向に対して再帰的に分解を行うようにした点に特徴がある。
【００３４】
次に、前記モード２の場合の３次元分割は、図６のようになる。すなわち、第１回目、第２回目の分割は、それぞれ、 DIR[1] = z、DIR[2] = zであるから、図示のＺ１−Ｚ１、Ｚ２−Ｚ２の分割が行われる。ｚ方向の分割が終わると、次に、DIR[３] = x 、DIR[４] =ｙ、 DIR[５] = x 、DIR[６] =ｙが順次行われ、Ｘ３−Ｘ３、Ｙ４−Ｙ４、 Ｘ５−Ｘ５、Ｙ６−Ｙ６の分割が順次行われる。
【００３５】
このウェーブレット分解においても、前記モード１の場合と同様に、従来のウェーブレット分解のように、全ての次元において低周波数を含む領域についてのみ再帰的に分解していくのではなく、ある次元方向に独立に見た場合、低周波数を含む領域全てに、その方向に対して再帰的に分解を行うようにしていることは、明らかである。
【００３６】
以上の３分割を、フローチャートで詳細に記述すると、次のような処理になる。まず、該処理に使用される用語の定義を、以下に説明する。
Nx ：x方向の分解回数
Ny ：y方向の分解回数
Nz ：z方向の分解回数
N ：全分解回数（＝ Nx + Ny + Nz）
DIR[n] ：n回目の分解の際の、分解方向。（X、YまたはZ）
nIdxN ：現時点の分解回数（カウンタ）
nIdxX ：現時点のx方向の分解回数（カウンタ）
nIdxY ：現時点のy方向の分解回数（カウンタ）
nIdxZ ：現時点のz方向の分解回数（カウンタ）
DATA n [ sx, sy, xz ]： n回の分解を行った後のデータブロックのうち、x方向の周波数が高い方から( sx＋1 )番目、y方向の周波数が高い方から( sy＋ 1 )番目、z方向の周波数の高い方から( sz＋1 )番目の周波数領域データブロック
AnalysisX_L(DATA)： 3次元データブロックDATAをx方向にウェーブレット
分解した時の低周波数成分
AnalysisX_H(DATA)： 3次元データブロックDATAをx方向にウェーブレット
分解した時の高周波数成分
AnalysisY_L(DATA)： 3次元データブロックDATAをｙ方向にウェーブレット
分解した時の低周波数成分
AnalysisY_H(DATA)： 3次元データブロックDATAをｙ方向にウェーブレット
分解した時の高周波数成分
AnalysisZ_L(DATA)： 3次元データブロックDATAをz方向にウェーブレット
分解した時の低周波数成分
AnalysisZ_H(DATA)： 3次元データブロックDATAをz方向にウェーブレット
分解した時の高周波数成分
SynthesisX(DATA1, DATA2)： 変換係数の3次元データブロックDATA1, DATA2をx方向に逆ウェーブレット変換して合成して得られる3次元データブロック
SynthesisY(DATA1, DATA2)： 変換係数の3次元データブロックDATA1, DATA2をy方向に逆ウェーブレット変換して合成して得られる3次元データブロック
SynthesisZ(DATA1, DATA2)： 変換係数の3次元データブロックDATA1, DATA2をz方向に逆ウェーブレット変換して合成して得られる3次元データブロック
SynthesisZ_all(DATA1, DATA2,…)： 変換係数の3次元データブロックDATA1, DATA2,… すべてをz方向に逆ウェーブレット変換して合成して得られる3次元データブロック
【００３７】
図７は、図４の３次元分解の処理（ステップＳ２）の詳細を示すフローチャートである。
【００３８】
ステップＳ１１では、現時点の分解回数nIdxNが予め定められた回数より小さいか否かの判断がなされ、この判断が肯定の時には、ステップＳ１２に進んで、１次元分解の処理が行われる。続いて、ステップＳ１３に進み、該現時点の分解回数nIdxNに１が加算されて、ステップＳ１１に戻り、前記した処理が繰り返される。ステップＳ１１の判断が否定になると、該３次元分解の処理が終了する。
【００３９】
次に、前記ステップＳ１２の１次元分解処理の詳細は、図８のフローチャートのように行われる。
【００４０】
ステップＳ２１では、現時点の分解回数の分解方向がＸ方向であるか否かの判断がなされる。この判断が肯定の場合にはステップＳ２４に進んで、ｘ方向の１次元分解が行われる。一方、否定の時にはステップＳ２２に進んで、現時点の分解回数の分解方向がＹ方向であるか否かの判断がなされる。この判断が肯定の場合にはステップＳ２５に進んで、ｙ方向の１次元分解が行われる。さらに、該判断が否定の時には、ステップＳ２３に進んで、現時点の分解回数の分解方向がＺ方向であるか否かの判断がなされる。この判断が肯定の場合にはステップＳ２６に進んで、ｚ方向の１次元分解が行われる。該ステップＳ２３の判断が否定の時またはステップＳ２６の処理が終了すると、該１次元の分解処理は終了する。
【００４１】
次に、前記ステップＳ２４のｘ方向１次元分解処理の詳細は、図９のフローチャートに示されているように行われる。また、前記ステップＳ２５のｙ方向１次元分解処理は図１０のフローチャートのように、また前記ステップＳ２６のｚ方向１次元分解は図１１のように行われるが、説明は省略する。
【００４２】
以上のようにして３次元分解されると、該３次元分解された３次元ボクセルデータの内の最低周波数の分割ブロック［２，２，２］（図５参照）は、図２の予測モデリング部１３に入力する。一方、該分割ブロック［２，２，２］以外の分割ブロックは、エントロピー符号化部１３に入力する。該予測モデリング部１３は、近傍点による空間的予測を行う。エントロピー符号化は、ウェーブレット係数の符号化を周波数領域毎に行う。
【００４３】
なお、前記最低周波数の分割ブロック［２，２，２］のみを予測モデリングする理由は、該最低周波数の分割ブロック内では、隣接画素間の相関が高く、予測モデリングをすることによりデータの圧縮が期待できるのに対して、他の分割ブロックは高周波成分を含んでいるから、大した圧縮を期待できないからである。
【００４４】
次に、前記エントロピー符号化されたデータは出力処理部１４に出力される。
出力処理部１４は、データをまとめて、１つのファイルを生成する働きをする。
該出力処理部１４で生成されたファイルは、図２の出力処理部１４から、構造化ファイルとして出力される。
【００４５】
該構造化されたファイルは、ファイル全体の情報として、ファイルの先頭に、画像サイズ（ｘ、ｙ、ｚ方向）、１画素当たりのバイト数、ｘ、ｙ、ｚ方向それぞれに対する分割回数（Ｎx、Ｎy、Ｎz）、および分割順序ＤＩＲ［ｎ］が付加される。また、各周波数領域に対応するデータ部分の先頭には、ブロック検出符号、周波数領域を示す指数（ｓx、ｓy、ｓz）、および符号化パラメータが付加される。
【００４６】
次に、図１の蓄積・伝送部２と再生処理部３の機能を説明する。本実施形態では、遠隔地における３次元ビューアのようなアプリケーションを想定する。該蓄積・伝送部２と再生処理部３は、構造化されたデータが蓄積されているサーバと、３次元画像を表示するためのクライアントにて構成されている。
【００４７】
該サーバに蓄積される構造化されたデータファイル内のデータは、例えば、図５、図６の３次元ウェーブレット分解した変換係数を、周波数領域毎にエントロピー符号化したものである。
【００４８】
本実施形態によれば、３次元の画像データを階層的に伝送・表示することが可能になる。その際、ある方向のデータを他の方向のデータに対して優先して伝送することが可能になる。ＣＴシリーズ画像の場合、ユーザまたは表示モジュールから、次の２通りの要求がなされると想定される。
【００４９】
［要求１］・・・階層的伝送の途中段階では、スライス画面の画像解像度は小さくてもよいが、全てのスライス枚数が欲しい。
【００５０】
［要求２］・・・・階層的伝送の途中段階では、スライス枚数は少なくてもよいが、スライス面内の画像はできるだけ大きい解像度が欲しい。
【００５１】
前記要求１を満足するには、前記モード１でウェーブレット分解されたデータの構造化データファイルを用いればよい。このモード１を用いると、（１）最初は低解像度で全体を表示し、（２）次に、段階的に解像度を上げ、（３）さらに、段階的に解像度を上げる表示をすることができるようになる。
【００５２】
前記（１）の表示をするためには、ｘ、ｙ方向共に低周波成分を含む領域（例えば、図５中の［２，２，ｓz］、ここに、ｓｚ＝０，１，・・・，Ｎz）を全て伝送し、受信されたデータを復号して、ウェーブレット変換係数を得、ｚ方向にウェーブレット変換を施すことにより、３次元画像データを得る。
【００５３】
次に、前記（２）の表示をするために、ｘ、ｙ方向に解像度を上げるのに必要な周波数領域（例えば、図５中の［１，２，ｓz］，「１，１，ｓz」および［２，１，ｓz］、ここに、ｓｚ＝０，１，・・・，Ｎz）を全て伝送する。次に、受信されたデータを復号してウェーブレット変換係数を得、その係数に対してｚ方向にウェーブレット変換を施したものと、前記（１）により既に再生されている画像データとを合わせて、ｘ、ｙ方向にウェーブレット逆変換を施すことにより、３次元データを得る。
【００５４】
さらに、前記（３）を表示するために、ｘ、ｙ方向に解像度を上げるのに必要な周波数領域（例えば、図５中の［０，０，ｓz］，「０，１，ｓz」，［０，２，ｓz］，［１，０、ｓz］，および［２，０，ｓz］、ここに、ｓｚ＝０，１，・・・，Ｎz）を全て伝送する。次に、受信されたデータを復号してウェーブレット変換係数を得、その係数に対してｚ方向にウェーブレット変換を施す。得られた変換係数のうち、［０，１，ｓｚ］と［０，２，ｓz］に対応する部分にウェーブレット逆変換をｙ方向に施して合成し、［１，０，ｓz］と［２，０，ｓz］に対応する部分にウェーブレット逆変換をｘ方向に施して合成する。それぞれ得られた係数と、既に再生されている画像データとを合わせて、ｘ、ｙ方向にウェーブレット逆変換を施すことにより、３次元データを得る。以降、同様にして、段階的に解像度を上げることが可能である。
【００５５】
次に、前記要求２を満足するには、前記モード２でウェーブレット分解されたデータの構造化データファイルを用いればよい。このモード２を用いると、（１）枚数の少ない３次元画像で全体の画面を表示し、（２）次に、段階的にスライス精度を上げることができるようになる。
【００５６】
前記（１）の表示をするために、ｚ方向（スライス方向）の最低周波数成分を含む領域（例えば、図６中の［ｓx、ｓy、２］、ここに、ｓx＝０，１，・・・，Ｎx、ｓy＝０，１，・・・，Ｎy）を全て伝送し、受信されたデータを復号して、ウェーブレット変換係数を得、ｘ、ｙ方向に必要な回数ウェーブレット逆変換を施すことにより、３次元画像データを得る。
【００５７】
次に、前記（２）の表示をするために、ｚ方向にスライス精度を上げるのに必要な周波数領域（例えば、図６中の［ｓx、ｓy、１］、ここに、ｓx＝０，１，・・・，Ｎx、ｓy＝０，１，・・・，Ｎy）を全て伝送し、受信されたデータを復号して、ウェーブレット変換係数を得、その係数に対して、ｘ、ｙ方向に必要な回数、ウェーブレット逆変換を施したものと、前記（１）により既に再生されている画像データとを合わせて、３次元画像データを得る。以降、同様にして、段階的にスライス精度を上げることが可能になる。
【００５８】
以上の、再生・表示処理をフローチャートで詳細に記述すると、図１２〜図２１のようになる。図１２〜図１８は、前記モード１の場合の処理、図１９〜図２１は、前記モード２の場合の処理である。
【００５９】
また、図１２、図１３は、低解像度での全体の表示（スライス面内の画像が低解像度、スライス軸方向には全ての画像が得られる）の処理を示し、図１４〜図１８は、段階的にスライス面内の画像解像度を上げる処理を示す。
【００６０】
また、図１９、図２０は、最初の、枚数の少ない３次元画像で全体を表示（スライス面内の画像は元画像と同じ解像度、スライス軸方向には枚数を縮小した３次元画像が得られる）の処理を示し、図２１は、スライス精度を一段階上げる処理を示す。
【００６１】
なお、前記実施例では、前記モード１、モード２を例にして本発明を説明したが、本発明はこれに限定されず、本発明の精神に従って、必要に応じて、該モード１，２で説明した順序以外の順序で３次元ウェーブレット分解をすることができることは明らかである。
【００６２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、新規の３次元ウェーブレット分解を用いてデータを高効率で符号化することにより、データの蓄積容量が削減できると同時に、データを高速に伝送することが可能になる。
【００６３】
また、変換の際に、分解の順序を制御することにより、階層化されたデータの伝送途中において、スライス面内の画像解像度は小さくても良いから、まず全てのスライス枚数が欲しいという要求や、スライス枚数は少なくても良いから、スライス面内の画像はできるだけ大きい解像度が欲しい等というユーザの様々な要求に、対応することができるようになる。
【００６４】
また、データを全て伝送する前に、ユーザから見て重要性の高い次元方向に情報量の多いデータを伝送することが可能になる。
【図面の簡単な説明】
【図１】 本発明の概念を示すブロック図である。
【図２】 図１の構造化処理部の詳細を示すブロック図である。
【図３】 ３次元ボクセルデータの説明図である。
【図４】 ウェーブレット分解の処理を示すフローチャートである。
【図５】 モード１のウェーブレット分解の説明図である。
【図６】 モード２のウェーブレット分解の説明図である。
【図７】 ３次元分解の処理を示すフローチャートである。
【図８】 図７の１次元分解の処理を示すフローチャートである。
【図９】 図８のｘ方向１次元分解の処理を示すフローチャートである。
【図１０】 図８のｙ方向１次元分解の処理を示すフローチャートである。
【図１１】 図８のｚ方向１次元分解の処理を示すフローチャートである。
【図１２】 低解像度で全体の表示を行う処理のフローチャートである。
【図１３】 変換係数の3次元データブロックDATAnをz方向に逆ウェーブレット変換し合成して3次元データブロックを得る処理のフローチャートである。
【図１４】 段階的にスライス面内の画像解像度を上げる処理のフローチャートである。
【図１５】 図１４の続きのフローチャートである。
【図１６】 変換係数の3次元データブロックDATAnをｙ方向に逆ウェーブレット変換し合成して3次元データブロックを得る処理のフローチャートである。
【図１７】 変換係数の3次元データブロックDATAnをｘ方向に逆ウェーブレット変換し合成して3次元データブロックを得る処理のフローチャートである。
【図１８】 ｘｙ方向の合成処理のフローチャートである。
【図１９】 枚数の少ない全体の画像の表示の処理を示すフローチャートである。
【図２０】 変換係数の3次元データブロックDATAn全てをｘ、ｙ方向に逆ウェーブレット変換し合成して3次元データブロックを得る処理のフローチャートである。
【図２１】 スライス精度を１段階上げる処理のフローチャートである。
【符号の説明】
１・・・構造化処理部、２・・・蓄積・伝送部、３・・・再生処理部、１１・・・ウェーブレット分解部、１２・・・予測モデリング部、１３・・・エントロピー符号化部、１４・・・出力処理部。
【発明の属する技術分野】
この発明は３次元画像の３次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法に関し、特にＣＴ、ＭＲＩなどから発生する大量の３次元医用画像を、ネットワーク環境において高速に伝送するに好適な３次元ウェーブレット分解方法、３次元画像の階層符号化伝送方法および階層復号方法に関する。
【０００２】
【従来の技術】
近年、ＣＴ、ＭＲＩなどの技術革新により、放射線科等において３次元医用画像画像データが大量に取得できるようになってきており、３次元ＣＧを用いてこれらの画像を立体的に表示するビューアが開発、実用化されている。この３次元ビューアは、ＣＴ、ＭＲＩの機能の一部として実装されているものが多い。
【０００３】
一方、近年のネットワークの発達により、放射線科内だけでなく、病院内の他科や、病院外においてもこれらの３次元医用データを利用したいという要求が高まってくるものと予想される。
【０００４】
【発明が解決しようとする課題】
しかし、放射線科内における画像の蓄積、管理を目的としたシステムの規格であるＤＩＣＯＭ(Digital Imaging and Communications in Medicine)では、ネットワーク上にある画像を手元のビューアで表示したい場合に、一旦、シリーズ内の画像ファイル全てをビューアに持ってくる必要があるため、ＣＴ、ＭＲＩ画像のようにシリーズ内に画像が大量に存在する場合等では、伝送に大きな時間がかかってしまうという問題がある。また、計算機の発達により演算が高速に行えるようになったとはいえ、大量のデータをレンダリングして、立体的に表示するにはかなりの時間がかかってしまう。
【０００５】
３次元ウェーブレット変換を３次元医用画像に適用してデータを階層化し、まずはサイズの小さい画像データを伝送することにより、前記時間を短縮する研究は行われている。しかし、この研究は、２次元のウェーブレットをそのまま３次元に拡張したものであり、ｘ、ｙ、ｚ方向に等しくウェーブレットをかけている。このような方式の場合、データ伝送の途中段階では、スライス面内の解像度が小さい縮小画像をまず見ることができるが、スライス方向（ｚ方向）に対しても分解されているため、画像の枚数まで減少されてしまう。もし、スライス間隔が極端に大きい、画像枚数の少ないシリーズがあった場合には、ｚ方向の情報量が十分ではなく、誤診につながる可能性もある。
【０００６】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、３次元の画像を従来より短時間で伝送でき、また伝送の途中段階で得られる３次元画像データサイズを、ｘ、ｙ、ｚ方向にそれぞれ独立に制御することが可能であり、立体的に、かつ階層的に表示できる３次元画像の３次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、ｘ、ｙ空間に存在する２次元画像Ｐ１、Ｐ２、Ｐ３、・・・、Ｐｎ（以下、スライス画像）をｚ軸方向に重ね合わせた３次元画像のウェーブレット分解方法において、ｘ、ｙ、ｚ方向の分解順序および分解回数を変化させるようにし、繰り返し分解を行う際には、ｘ、ｙ、ｚ方向について独立に見て、ある方向において低周波数成分を含むウェーブレット変換係数全てに対して再帰的にその方向にウェーブレット分解を行い、
該ウェーブレット分解により生成された変換係数を蓄積するようにした点に第１の特徴がある。
【０００８】
この特徴によれば、スライス面内の画像解像度は小さくても良いから、まず全てのスライス枚数が欲しいという要求や、スライス枚数は少なくても良いから、スライス面内の画像はできるだけ大きい解像度が欲しい等というユーザからの要求に対して応えることができるウェーブレット分解方法を提供できるようになる。
【０００９】
また、本発明は、ｘ、ｙ空間に存在する２次元画像Ｐ１、Ｐ２、Ｐ３、・・・、Ｐｎをｚ軸方向に重ね合わせた３次元画像を、前記請求項１ないし３のいずれかに記された３次元ウェーブレット分解方法でウェーブレット分解し、該ウェーブレット分解されたブロックを符号化し、該符号化されたデータをファイルに纏めて出力するようにした点に第２の特徴がある。この特徴によれば、３次元の画像を従来より短時間で伝送できるようになる。
【００１０】
また、本発明は、ユーザまたは表示モジュールから、階層的伝送の途中段階では、スライス画面の画像解像度は小さくてもよいが、全てのスライス枚数が欲しいという要求がなされた時には、前記請求項２の３次元ウェーブレット分解方法で分解されたデータに関して、ｚ方向については全ての周波数成分を含みｘ、ｙ方向については低い周波数成分を含むものから分解データを順次伝送し、該分解データを受信したユーザまたは表示モジュールは、ｘ、ｙ方向に最も低い周波数成分を含む受信分解データに対してはｚ方向に合成して３次元画像データを再生し、その後順次受信した分解データに対しては、まずはｚ方向に合成した後、既に伝送済みのより低い周波数成分を含む分解データと合わせてｘ、ｙ方向に合成することにより、前記要求に応答するようにした点に第３の特徴がある。
【００１１】
また、ユーザまたは表示モジュールから、階層的伝送の途中段階では、スライス枚数は少なくてもよいが、スライス面内の画像はできるだけ大きい解像度が欲しいという要求がなされた時には、前記請求項３の３次元ウェーブレット分解方法で分解されたデータに関して、ｘ、ｙ方向については全ての周波数成分を含みｚ方向については低い周波数成分を含むものから分解データを順次伝送し、該分解データを受信したユーザまたは表示モジュールは、ｚ方向に最も低い周波数成分を含む受信分解データに対してはｘ、ｙ方向に合成して３次元画像データを再生し、その後順次受信した分解データに対しては、まずはｘ、ｙ方向に合成した後、既に伝送済みのより低い周波数成分を含む分解データと合わせてｚ方向に合成することにより、前記要求に応答するようにした点に第４の特徴がある。
【００１２】
該第３、第４の特徴によれば、伝送の途中段階で得られる３次元画像データサイズを、ｘ、ｙ、ｚ方向にそれぞれ独立に制御することが可能となり、立体的に、かつ階層的に表示できるようになる。
【００１３】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の概念を示すブロック図である。
【００１４】
図から明らかなように、本発明は、ＣＴ画像などの複数の２次元画像からなる３次元データを入力する構造化処理部１と、該構造化処理部１で形成された構造化ファイルを蓄積・伝送する蓄積・伝送部２と、伝送されてきた３次元データを受信し再生する再生処理部３とから構成されている。
【００１５】
前記構造化処理部１は、前記３次元データを階層化し、かつ必要な解像度のボリュームデータのみを伝送、表示できるように構造化し、次いで、該構造化したデータをファイル化して構造化ファイルを作成する処理を行う。また、前記蓄積・伝送部２は、構造化された３次元データを、階層的、部分的に再生処理部３に伝送し、再生処理部３は、受信した該３次元データを復号して再生する処理を行う。
【００１６】
次に、前記構造化処理部１、蓄積・伝送部２、および再生処理部３の処理の詳細を、順次説明する。まず、構造化処理部１の処理を説明する。
【００１７】
図２は、該構造化処理部１の機能の概要を示すブロック図である。該構造化処理部１は、図示されているように、入力ファイルとしての３次元ボクセルデータが入力するウェーブレット(Wavelet)分解部１１、予測モデリング部１２、エントロピー符号化部１３、および出力処理部１４から構成されている。
【００１８】
ここに、前記３次元ボクセルデータ２０は、図３に示されているように、ｘ、ｙ空間に存在する２次元画像Ｐ１、Ｐ２、Ｐ３、・・・、Ｐｎをｚ軸方向に重ね合わせた３次元データ（データサイズ、Ｘ×Ｙ×Ｚ）と定義される。
【００１９】
次に、前記ウェーブレット分解部１１の動作を説明する。図４は、該ウェーブレット分解部１１の処理の概要を示すフローチャートである。ステップＳ１では、初期値の設定が行われる。この初期値は、一例として、「階層的伝送の途中段階では、スライス面内の画像解像度は小さくても良いが、全てのスライス枚数が欲しい」という要求１に答えるモード（以下、モード１）と、「階層的伝送の途中段階では、スライス枚数は少なくても良いが、スライス面内の画像はできるだけ大きい解像度が欲しい」という要求２に答えるモード（以下、モード２）により、次のような値が設定される。
【００２０】
前記モード１の場合には、現時点の分解回数nIdxN = 0、現時点のｘ、ｙ、およびｚ方向の分解回数nIdxX = nIdxY =nIdxZ = 0とする。また、ｎ回目の分解の際の分解方向DIR[ｎ]を、次のように初期値設定する。
【００２１】
DIR[1] = x、DIR[2] = y、DIR[3] = x、DIR[4] = y、・・・、DIR[ 2Nx-1 ] = x、DIR[ 2Nx ] = y、DIR[ 2Nx+1 ] = z、DIR[ 2Nx+2 ] = z、・・・、DIR[ 2Nx+Nz ] = z。
【００２２】
このモード１は、全てのスライス画像に対して、まずスライス面内（ｘ、ｙ方向）についてのみ分解を２Nx回行い、その後スライス軸方向（ｚ方向）について分解をNz回行うようにしたものである。
【００２３】
また、前記モード２の場合には、現時点の分解回数nIdxN = 0、現時点のｘ、ｙ、およびｚ方向の分解回数nIdxX = nIdxY =nIdxZ = 0とする。また、ｎ回目の分解の際の分解方向DIR[ｎ]を、次のように初期値設定する。
【００２４】
DIR[1] = z、DIR[2] = z、DIR[3] = z、DIR[4] = z、・・・、DIR[ Nz ] = z、DIR[ Nz +1 ] = x、DIR[ Nz +2 ] = y、DIR[ Nz +3 ] = x、DIR[ Nz +4 ] = y、・・・、DIR[ Nz+2Nx-1 ] = x、DIR[ Nz+2Nx ] = y。
【００２５】
このモード２は、スライス軸方向（ｚ方向）についてのみ分解をNz回行い、その後スライス面内（ｘ、ｙ方向）について、分解を２Nx回行うようにしたものである。
【００２６】
前記初期値の設定がなされると、ステップＳ２に進み、３次元分解が行われる。この分解は、前記初期値に従って行われる。
【００２７】
前記モード１、モード２の場合の該分解の概要を、それぞれ図５、図６の３次元ボクセルデータ２０を参照して説明する。
【００２８】
なお、図５、図６は、それぞれ、前記モード１、モード２において、ｘ、ｙ、ｚ方向それぞれに対する分割回数を、Ｎx、Ｎy、Ｎzとした場合の各周波数領域を記述したものであり、該各周波数領域は、ＤＡＴＡN［ｓx、ｓy、ｓz］と記述することができる。ここに、［ｓx、ｓy、ｓz］は、周波数領域を示す指数であり、ｓx＝0,1,・・・，Ｎx、ｓy ＝ 0,1,・・・，Ｎy、ｓz＝0,1,・・・，Ｎzである。また、前記ＤＡＴＡN のＮは、Ｎ＝Ｎx＋Ｎy＋Ｎzである。
【００２９】
図５、図６は、Ｎx＝Ｎy＝Ｎz＝２で分解された３次元データの概念図を示している。なお、該分解の時には、ｘ、ｙ、ｚ方向に対して、それぞれ独立のウェーブレット変換フィルタを使用するようにする。
モード１の場合の３次元分割は、図５のようになる。 第１回目の分解方向はDIR[1] = xであるから、該３次元ボクセルデータ２０はｘ方向に分解される（図示のＸ１−Ｘ１）。これにより、ｘ方向に関して、低周波数を含む領域（左側）と、低周波数を含まない領域（右側）とに分けられる。第２回目の分解方向はDIR[2] = yであるから、ｙ方向に分解される（Ｙ２−Ｙ２）。これにより、ｙ方向に関して、低周波数を含む領域（手前側）と、低周波数を含まない側（後ろ側）とに分けられる。
【００３０】
次の分解はDIR[3] = xであるから、（Ｘ３−Ｘ３）で分解され、前記ｘ方向の低周波を含む側がさらに低周波を含む領域と含まない領域に分解される。次の分解はDIR[4] = yであるから、同様に（Ｙ４−Ｙ４）で分解され、前記ｙ方向の低周波を含む側がさらに低周波を含む領域と含まない領域にに分解される。このようにして、ｘ、ｙ方向の分解が終わると、次にｚ方向の分解に移る。
【００３１】
次の分解はDIR[５] = zであるから、ｚ方向に分解される（Ｚ５−Ｚ５）。これにより、ｚ方向に関して、低周波数を含む側（上側）と、含まない側（下側）とに分けられる。次の分解はDIR[６] = zであるから、ｚ方向に分解される（Ｚ６−Ｚ６）。これにより、前記ｚ方向の低周波数を含む側が（Ｚ６−Ｚ６）により、さらに低周波数を含む側（上側）と含まない側（下側）とに分けられる。この結果、［２，２，２］のブロックに低周波数成分のデータが集まり、逆に［０，０，０］のブロックには高周波成分のデータが集まることになる。
【００３２】
なお、前記の分解は、例えば本出願人の出願である特願２０００−３６１６６８号の図７、図８に示されているようなウェーブレット変換フィルタを用いて、ｘ、ｙ、ｚ方向に分解することができる。
【００３３】
このように、本実施形態のウェーブレット分解は、従来のウェーブレット分解（例えば、特開２０００−４１１４９号公報の図６参照）のように、全ての次元において低周波数を含む領域についてのみ再帰的に分解していくのではなく、ある次元方向に独立に見た場合、低周波数を含む領域全てに、その方向に対して再帰的に分解を行うようにした点に特徴がある。
【００３４】
次に、前記モード２の場合の３次元分割は、図６のようになる。すなわち、第１回目、第２回目の分割は、それぞれ、 DIR[1] = z、DIR[2] = zであるから、図示のＺ１−Ｚ１、Ｚ２−Ｚ２の分割が行われる。ｚ方向の分割が終わると、次に、DIR[３] = x 、DIR[４] =ｙ、 DIR[５] = x 、DIR[６] =ｙが順次行われ、Ｘ３−Ｘ３、Ｙ４−Ｙ４、 Ｘ５−Ｘ５、Ｙ６−Ｙ６の分割が順次行われる。
【００３５】
このウェーブレット分解においても、前記モード１の場合と同様に、従来のウェーブレット分解のように、全ての次元において低周波数を含む領域についてのみ再帰的に分解していくのではなく、ある次元方向に独立に見た場合、低周波数を含む領域全てに、その方向に対して再帰的に分解を行うようにしていることは、明らかである。
【００３６】
以上の３分割を、フローチャートで詳細に記述すると、次のような処理になる。まず、該処理に使用される用語の定義を、以下に説明する。
Nx ：x方向の分解回数
Ny ：y方向の分解回数
Nz ：z方向の分解回数
N ：全分解回数（＝ Nx + Ny + Nz）
DIR[n] ：n回目の分解の際の、分解方向。（X、YまたはZ）
nIdxN ：現時点の分解回数（カウンタ）
nIdxX ：現時点のx方向の分解回数（カウンタ）
nIdxY ：現時点のy方向の分解回数（カウンタ）
nIdxZ ：現時点のz方向の分解回数（カウンタ）
DATA n [ sx, sy, xz ]： n回の分解を行った後のデータブロックのうち、x方向の周波数が高い方から( sx＋1 )番目、y方向の周波数が高い方から( sy＋ 1 )番目、z方向の周波数の高い方から( sz＋1 )番目の周波数領域データブロック
AnalysisX_L(DATA)： 3次元データブロックDATAをx方向にウェーブレット
分解した時の低周波数成分
AnalysisX_H(DATA)： 3次元データブロックDATAをx方向にウェーブレット
分解した時の高周波数成分
AnalysisY_L(DATA)： 3次元データブロックDATAをｙ方向にウェーブレット
分解した時の低周波数成分
AnalysisY_H(DATA)： 3次元データブロックDATAをｙ方向にウェーブレット
分解した時の高周波数成分
AnalysisZ_L(DATA)： 3次元データブロックDATAをz方向にウェーブレット
分解した時の低周波数成分
AnalysisZ_H(DATA)： 3次元データブロックDATAをz方向にウェーブレット
分解した時の高周波数成分
SynthesisX(DATA1, DATA2)： 変換係数の3次元データブロックDATA1, DATA2をx方向に逆ウェーブレット変換して合成して得られる3次元データブロック
SynthesisY(DATA1, DATA2)： 変換係数の3次元データブロックDATA1, DATA2をy方向に逆ウェーブレット変換して合成して得られる3次元データブロック
SynthesisZ(DATA1, DATA2)： 変換係数の3次元データブロックDATA1, DATA2をz方向に逆ウェーブレット変換して合成して得られる3次元データブロック
SynthesisZ_all(DATA1, DATA2,…)： 変換係数の3次元データブロックDATA1, DATA2,… すべてをz方向に逆ウェーブレット変換して合成して得られる3次元データブロック
【００３７】
図７は、図４の３次元分解の処理（ステップＳ２）の詳細を示すフローチャートである。
【００３８】
ステップＳ１１では、現時点の分解回数nIdxNが予め定められた回数より小さいか否かの判断がなされ、この判断が肯定の時には、ステップＳ１２に進んで、１次元分解の処理が行われる。続いて、ステップＳ１３に進み、該現時点の分解回数nIdxNに１が加算されて、ステップＳ１１に戻り、前記した処理が繰り返される。ステップＳ１１の判断が否定になると、該３次元分解の処理が終了する。
【００３９】
次に、前記ステップＳ１２の１次元分解処理の詳細は、図８のフローチャートのように行われる。
【００４０】
ステップＳ２１では、現時点の分解回数の分解方向がＸ方向であるか否かの判断がなされる。この判断が肯定の場合にはステップＳ２４に進んで、ｘ方向の１次元分解が行われる。一方、否定の時にはステップＳ２２に進んで、現時点の分解回数の分解方向がＹ方向であるか否かの判断がなされる。この判断が肯定の場合にはステップＳ２５に進んで、ｙ方向の１次元分解が行われる。さらに、該判断が否定の時には、ステップＳ２３に進んで、現時点の分解回数の分解方向がＺ方向であるか否かの判断がなされる。この判断が肯定の場合にはステップＳ２６に進んで、ｚ方向の１次元分解が行われる。該ステップＳ２３の判断が否定の時またはステップＳ２６の処理が終了すると、該１次元の分解処理は終了する。
【００４１】
次に、前記ステップＳ２４のｘ方向１次元分解処理の詳細は、図９のフローチャートに示されているように行われる。また、前記ステップＳ２５のｙ方向１次元分解処理は図１０のフローチャートのように、また前記ステップＳ２６のｚ方向１次元分解は図１１のように行われるが、説明は省略する。
【００４２】
以上のようにして３次元分解されると、該３次元分解された３次元ボクセルデータの内の最低周波数の分割ブロック［２，２，２］（図５参照）は、図２の予測モデリング部１３に入力する。一方、該分割ブロック［２，２，２］以外の分割ブロックは、エントロピー符号化部１３に入力する。該予測モデリング部１３は、近傍点による空間的予測を行う。エントロピー符号化は、ウェーブレット係数の符号化を周波数領域毎に行う。
【００４３】
なお、前記最低周波数の分割ブロック［２，２，２］のみを予測モデリングする理由は、該最低周波数の分割ブロック内では、隣接画素間の相関が高く、予測モデリングをすることによりデータの圧縮が期待できるのに対して、他の分割ブロックは高周波成分を含んでいるから、大した圧縮を期待できないからである。
【００４４】
次に、前記エントロピー符号化されたデータは出力処理部１４に出力される。
出力処理部１４は、データをまとめて、１つのファイルを生成する働きをする。
該出力処理部１４で生成されたファイルは、図２の出力処理部１４から、構造化ファイルとして出力される。
【００４５】
該構造化されたファイルは、ファイル全体の情報として、ファイルの先頭に、画像サイズ（ｘ、ｙ、ｚ方向）、１画素当たりのバイト数、ｘ、ｙ、ｚ方向それぞれに対する分割回数（Ｎx、Ｎy、Ｎz）、および分割順序ＤＩＲ［ｎ］が付加される。また、各周波数領域に対応するデータ部分の先頭には、ブロック検出符号、周波数領域を示す指数（ｓx、ｓy、ｓz）、および符号化パラメータが付加される。
【００４６】
次に、図１の蓄積・伝送部２と再生処理部３の機能を説明する。本実施形態では、遠隔地における３次元ビューアのようなアプリケーションを想定する。該蓄積・伝送部２と再生処理部３は、構造化されたデータが蓄積されているサーバと、３次元画像を表示するためのクライアントにて構成されている。
【００４７】
該サーバに蓄積される構造化されたデータファイル内のデータは、例えば、図５、図６の３次元ウェーブレット分解した変換係数を、周波数領域毎にエントロピー符号化したものである。
【００４８】
本実施形態によれば、３次元の画像データを階層的に伝送・表示することが可能になる。その際、ある方向のデータを他の方向のデータに対して優先して伝送することが可能になる。ＣＴシリーズ画像の場合、ユーザまたは表示モジュールから、次の２通りの要求がなされると想定される。
【００４９】
［要求１］・・・階層的伝送の途中段階では、スライス画面の画像解像度は小さくてもよいが、全てのスライス枚数が欲しい。
【００５０】
［要求２］・・・・階層的伝送の途中段階では、スライス枚数は少なくてもよいが、スライス面内の画像はできるだけ大きい解像度が欲しい。
【００５１】
前記要求１を満足するには、前記モード１でウェーブレット分解されたデータの構造化データファイルを用いればよい。このモード１を用いると、（１）最初は低解像度で全体を表示し、（２）次に、段階的に解像度を上げ、（３）さらに、段階的に解像度を上げる表示をすることができるようになる。
【００５２】
前記（１）の表示をするためには、ｘ、ｙ方向共に低周波成分を含む領域（例えば、図５中の［２，２，ｓz］、ここに、ｓｚ＝０，１，・・・，Ｎz）を全て伝送し、受信されたデータを復号して、ウェーブレット変換係数を得、ｚ方向にウェーブレット変換を施すことにより、３次元画像データを得る。
【００５３】
次に、前記（２）の表示をするために、ｘ、ｙ方向に解像度を上げるのに必要な周波数領域（例えば、図５中の［１，２，ｓz］，「１，１，ｓz」および［２，１，ｓz］、ここに、ｓｚ＝０，１，・・・，Ｎz）を全て伝送する。次に、受信されたデータを復号してウェーブレット変換係数を得、その係数に対してｚ方向にウェーブレット変換を施したものと、前記（１）により既に再生されている画像データとを合わせて、ｘ、ｙ方向にウェーブレット逆変換を施すことにより、３次元データを得る。
【００５４】
さらに、前記（３）を表示するために、ｘ、ｙ方向に解像度を上げるのに必要な周波数領域（例えば、図５中の［０，０，ｓz］，「０，１，ｓz」，［０，２，ｓz］，［１，０、ｓz］，および［２，０，ｓz］、ここに、ｓｚ＝０，１，・・・，Ｎz）を全て伝送する。次に、受信されたデータを復号してウェーブレット変換係数を得、その係数に対してｚ方向にウェーブレット変換を施す。得られた変換係数のうち、［０，１，ｓｚ］と［０，２，ｓz］に対応する部分にウェーブレット逆変換をｙ方向に施して合成し、［１，０，ｓz］と［２，０，ｓz］に対応する部分にウェーブレット逆変換をｘ方向に施して合成する。それぞれ得られた係数と、既に再生されている画像データとを合わせて、ｘ、ｙ方向にウェーブレット逆変換を施すことにより、３次元データを得る。以降、同様にして、段階的に解像度を上げることが可能である。
【００５５】
次に、前記要求２を満足するには、前記モード２でウェーブレット分解されたデータの構造化データファイルを用いればよい。このモード２を用いると、（１）枚数の少ない３次元画像で全体の画面を表示し、（２）次に、段階的にスライス精度を上げることができるようになる。
【００５６】
前記（１）の表示をするために、ｚ方向（スライス方向）の最低周波数成分を含む領域（例えば、図６中の［ｓx、ｓy、２］、ここに、ｓx＝０，１，・・・，Ｎx、ｓy＝０，１，・・・，Ｎy）を全て伝送し、受信されたデータを復号して、ウェーブレット変換係数を得、ｘ、ｙ方向に必要な回数ウェーブレット逆変換を施すことにより、３次元画像データを得る。
【００５７】
次に、前記（２）の表示をするために、ｚ方向にスライス精度を上げるのに必要な周波数領域（例えば、図６中の［ｓx、ｓy、１］、ここに、ｓx＝０，１，・・・，Ｎx、ｓy＝０，１，・・・，Ｎy）を全て伝送し、受信されたデータを復号して、ウェーブレット変換係数を得、その係数に対して、ｘ、ｙ方向に必要な回数、ウェーブレット逆変換を施したものと、前記（１）により既に再生されている画像データとを合わせて、３次元画像データを得る。以降、同様にして、段階的にスライス精度を上げることが可能になる。
【００５８】
以上の、再生・表示処理をフローチャートで詳細に記述すると、図１２〜図２１のようになる。図１２〜図１８は、前記モード１の場合の処理、図１９〜図２１は、前記モード２の場合の処理である。
【００５９】
また、図１２、図１３は、低解像度での全体の表示（スライス面内の画像が低解像度、スライス軸方向には全ての画像が得られる）の処理を示し、図１４〜図１８は、段階的にスライス面内の画像解像度を上げる処理を示す。
【００６０】
また、図１９、図２０は、最初の、枚数の少ない３次元画像で全体を表示（スライス面内の画像は元画像と同じ解像度、スライス軸方向には枚数を縮小した３次元画像が得られる）の処理を示し、図２１は、スライス精度を一段階上げる処理を示す。
【００６１】
なお、前記実施例では、前記モード１、モード２を例にして本発明を説明したが、本発明はこれに限定されず、本発明の精神に従って、必要に応じて、該モード１，２で説明した順序以外の順序で３次元ウェーブレット分解をすることができることは明らかである。
【００６２】
【発明の効果】
以上の説明から明らかなように、本発明によれば、新規の３次元ウェーブレット分解を用いてデータを高効率で符号化することにより、データの蓄積容量が削減できると同時に、データを高速に伝送することが可能になる。
【００６３】
また、変換の際に、分解の順序を制御することにより、階層化されたデータの伝送途中において、スライス面内の画像解像度は小さくても良いから、まず全てのスライス枚数が欲しいという要求や、スライス枚数は少なくても良いから、スライス面内の画像はできるだけ大きい解像度が欲しい等というユーザの様々な要求に、対応することができるようになる。
【００６４】
また、データを全て伝送する前に、ユーザから見て重要性の高い次元方向に情報量の多いデータを伝送することが可能になる。
【図面の簡単な説明】
【図１】 本発明の概念を示すブロック図である。
【図２】 図１の構造化処理部の詳細を示すブロック図である。
【図３】 ３次元ボクセルデータの説明図である。
【図４】 ウェーブレット分解の処理を示すフローチャートである。
【図５】 モード１のウェーブレット分解の説明図である。
【図６】 モード２のウェーブレット分解の説明図である。
【図７】 ３次元分解の処理を示すフローチャートである。
【図８】 図７の１次元分解の処理を示すフローチャートである。
【図９】 図８のｘ方向１次元分解の処理を示すフローチャートである。
【図１０】 図８のｙ方向１次元分解の処理を示すフローチャートである。
【図１１】 図８のｚ方向１次元分解の処理を示すフローチャートである。
【図１２】 低解像度で全体の表示を行う処理のフローチャートである。
【図１３】 変換係数の3次元データブロックDATAnをz方向に逆ウェーブレット変換し合成して3次元データブロックを得る処理のフローチャートである。
【図１４】 段階的にスライス面内の画像解像度を上げる処理のフローチャートである。
【図１５】 図１４の続きのフローチャートである。
【図１６】 変換係数の3次元データブロックDATAnをｙ方向に逆ウェーブレット変換し合成して3次元データブロックを得る処理のフローチャートである。
【図１７】 変換係数の3次元データブロックDATAnをｘ方向に逆ウェーブレット変換し合成して3次元データブロックを得る処理のフローチャートである。
【図１８】 ｘｙ方向の合成処理のフローチャートである。
【図１９】 枚数の少ない全体の画像の表示の処理を示すフローチャートである。
【図２０】 変換係数の3次元データブロックDATAn全てをｘ、ｙ方向に逆ウェーブレット変換し合成して3次元データブロックを得る処理のフローチャートである。
【図２１】 スライス精度を１段階上げる処理のフローチャートである。
【符号の説明】
１・・・構造化処理部、２・・・蓄積・伝送部、３・・・再生処理部、１１・・・ウェーブレット分解部、１２・・・予測モデリング部、１３・・・エントロピー符号化部、１４・・・出力処理部。
Claims (6)
- ｘ、ｙ空間に存在する２次元画像Ｐ１、Ｐ２、Ｐ３、・・・、Ｐｎ（以下、スライス画像）をｚ軸方向に重ね合わせた３次元画像のウェーブレット分解方法において、
ｘ、ｙ、ｚ方向の分解順序および分解回数を変化させるようにし、
繰り返し分解を行う際には、ｘ、ｙ、ｚ方向について独立に見て、ある方向において低周波数成分を含むウェーブレット変換係数全てに対して再帰的にその方向にウェーブレット分解を行い、
該ウェーブレット分解により生成された変換係数を蓄積するようにしたことを特徴とする３次元画像の３次元ウェーブレット分解方法。 - 請求項１に記載の３次元画像の３次元ウェーブレット分解方法において、
全てのスライス画像に対して、スライス面内（ｘ、ｙ方向）についてのみ複数回分解を行い、その後、スライス軸方向（ｚ方向）について複数回分解を行うようにしたことを特徴とする３次元画像の３次元ウェーブレット分解方法。 - 請求項１に記載の３次元画像の３次元ウェーブレット分解方法において、
スライス軸方向（ｚ方向）についてのみ複数回分解を行い、その後、スライス面内（ｘ、ｙ方向）について複数回分解を行うようにしたことを特徴とする３次元画像の３次元ウェーブレット分解方法。 - ｘ、ｙ空間に存在する２次元画像Ｐ１、Ｐ２、Ｐ３、・・・、Ｐｎをｚ軸方向に重ね合わせた３次元画像を、前記請求項１ないし３のいずれかに記された３次元ウェーブレット分解方法でウェーブレット分解し、
該ウェーブレット分解されたブロックを符号化し、
該符号化されたデータをファイルに纏めて出力するようにしたことを特徴とする３次元画像の階層符号化伝送方法。 - ユーザまたは表示モジュールから、階層的伝送の途中段階では、スライス画面の画像解像度は小さくてもよいが、全てのスライス枚数が欲しいという要求がなされた時には、前記請求項２の３次元ウェーブレット分解方法で分解されたデータに関して、ｚ方向については全ての周波数成分を含みｘ、ｙ方向については低い周波数成分を含むものから分解データを順次伝送し、該分解データを受信したユーザまたは表示モジュールは、ｘ、ｙ方向に最も低い周波数成分を含む受信分解データに対してはｚ方向に合成して３次元画像データを再生し、その後順次受信した分解データに対しては、まずはｚ方向に合成した後、既に伝送済みのより低い周波数成分を含む分解データと合わせてｘ、ｙ方向に合成することにより、前記要求に応答することを特徴とする３次元画像の階層伝送復号方法。
- ユーザまたは表示モジュールから、階層的伝送の途中段階では、スライス枚数は少なくてもよいが、スライス面内の画像はできるだけ大きい解像度が欲しいという要求がなされた時には、前記請求項３の３次元ウェーブレット分解方法で分解されたデータに関して、ｘ、ｙ方向については全ての周波数成分を含みｚ方向については低い周波数成分を含むものから分解データを順次伝送し、該分解データを受信したユーザまたは表示モジュールは、ｚ方向に最も低い周波数成分を含む受信分解データに対してはｘ、ｙ方向に合成して３次元画像データを再生し、その後順次受信した分解データに対しては、まずはｘ、ｙ方向に合成した後、既に伝送済みのより低い周波数成分を含む分解データと合わせてｚ方向に合成することにより、前記要求に応答することを特徴とする３次元画像の階層伝送復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000399929A JP3642412B2 (ja) | 2000-12-28 | 2000-12-28 | ３次元画像の３次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000399929A JP3642412B2 (ja) | 2000-12-28 | 2000-12-28 | ３次元画像の３次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002204168A JP2002204168A (ja) | 2002-07-19 |
| JP3642412B2 true JP3642412B2 (ja) | 2005-04-27 |
Family
ID=18864607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000399929A Expired - Fee Related JP3642412B2 (ja) | 2000-12-28 | 2000-12-28 | ３次元画像の３次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3642412B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4079315B2 (ja) | 2002-09-26 | 2008-04-23 | Ｋｄｄｉ株式会社 | ボリュームデータ符号化装置 |
| US20050111746A1 (en) * | 2003-11-26 | 2005-05-26 | Kumar Bharath S. | Progressive medical image volume navigation |
| JP4959358B2 (ja) * | 2007-02-01 | 2012-06-20 | 東芝Ｉｔコントロールシステム株式会社 | Ｍｐｒ表示装置及びコンピュータ断層撮影装置 |
| CN113366536A (zh) | 2019-02-05 | 2021-09-07 | 松下电器（美国）知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 |
-
2000
- 2000-12-28 JP JP2000399929A patent/JP3642412B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002204168A (ja) | 2002-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4183205B2 (ja) | 高速アスペクト比ズーミング及び圧縮及びシーリングを用いるサムネイル操作 | |
| CN101334818B (zh) | 用于高效的多维数据客户机-服务器可视化的方法和装置 | |
| CN102439976B (zh) | 重构深度图像的方法和重构深度图像的解码器 | |
| CN113615181A (zh) | 用于点云编码的隐式四叉树或二叉树几何形状分割 | |
| JPH04502843A (ja) | 多用途環境における高解像度ディジタル画像のための階層的記憶及び表示方法 | |
| US12020461B2 (en) | Method and apparatus for Haar-based point cloud coding | |
| US6909436B1 (en) | Radiologist workstation | |
| WO1996029818A1 (en) | Progressive transmission of images | |
| US10742954B2 (en) | Multi-overlay variable support and order kernel-based representation for image deformation and view synthesis | |
| US7463782B2 (en) | Data encoding with an amplitude model and path between the data and corresponding decoding | |
| Olanda et al. | Terrain data compression using wavelet-tiled pyramids for online 3D terrain visualization | |
| JP7383171B2 (ja) | 点群コーディングのための方法および装置 | |
| JP3642412B2 (ja) | ３次元画像の３次元ウェーブレット分解方法、階層符号化伝送方法および階層復号方法 | |
| TW200407799A (en) | Texture partition and transmission method for network progressive transmission and real-time rendering by using the wavelet coding algorithm | |
| CN1622631A (zh) | 逐级医学图像容积导航 | |
| US8086054B2 (en) | Method for locally decoding a bitstream of wavelet coefficients | |
| JP2002165217A (ja) | ３次元画像の階層符号化伝送方法および階層復号方法 | |
| CN101990763B (zh) | 从n阶变换矩阵生成2n阶变换矩阵的系统和方法 | |
| JP3243476B2 (ja) | 多次元データの構造化に基づく符号化方法 | |
| Walker et al. | The Transform and Data Compression Handbook | |
| Wu et al. | Design of distributed interactive online geographic information system viewer using wavelets | |
| Malassiotis et al. | Optimal biorthogonal wavelet decomposition of wire-frame meshes using box splines, and its application to the hierarchical coding of 3-D surfaces | |
| JP2005151207A (ja) | 画像符号化方法 | |
| Kompatsiaris et al. | Hierarchical representation and coding of surfaces using 3-d polygon meshes | |
| US8885974B2 (en) | Method and associated system for synchronous wavelet transformation for massive multidimensional data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050119 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050119 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |