JPWO2005111944A1

JPWO2005111944A1 - データ表示方法、データ表示装置、データ表示プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JPWO2005111944A1
Application number: JP2006513631A
Authority: JP
Inventors: 忍水田
Original assignee: Kyoto University
Current assignee: Kyoto University
Priority date: 2004-05-19
Filing date: 2005-05-19
Publication date: 2008-03-27
Also published as: WO2005111944A1

Abstract

スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示する。多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップ（Ｓ２２、Ｓ２３）と、連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築するステップ（Ｓ２３）とを備えている。また、木構造表現された等値面集合の各要素を二次元図形で表現し、木構造を二次元図形の入れ子構造により二次元表示するステップを備えている。これにより、多次元ディジタル画像データから等値面の位相構造を記述するＣｏｎｔｏｕｒＴｒｅｅを抽出し、矛盾なく表示し得るデータ表示方法、データ表示装置等を提供する。

Description

本発明は、電子装置（システム）に関し、多次元画像を取得し表示する装置にあって、得られた画像の構造を表現するための方法及び装置（システム）に関する。

近年、計算機性能の向上と画像化技術の発達に伴い、特に医学分野においてディジタル画像の利用機会は急速に増加している。医用画像としてはＸ線投影像等の２次元画像の他、ＭＲＩ（核磁気共鳴画像）等、断層像を積み重ねた３次元画像、３次元画像の時系列により構成される４次元画像等、種々の次元の画像が用いられる。

したがって、これらの画像から接続・包含等、観察対象間の位相関係を抽出し、利用者に提示する手法を確立することは重要である。特に、３次元以上の多次元画像では、画像の直接的な観察から対象の位相構造を把握することは困難であり、手法の確立は、対象の理解に大きく寄与する。

ここで、上記位相構造とは、スカラ値を場の値として持つ、濃淡画像等の多次元空間（多次元スカラ場）について、種々の場の値に対して得られる等値面間の接続・包含関係の全体をいうものとする。

多次元スカラ場の位相構造は、物体内部の温度分布や応力分布、医療用Ｘ線ＣＴ（ＣｏｍｐｕｔｅｒｉｚｅｄＴｏｍｏｇｒａｐｈｙ）画像により撮影される人体の内部構造等を理解する上で、有力な手がかりとなる。例えば、現在では、既存の医療装置を用いて二次元、三次元、時間項を含む四次元等の様々な人体腹部のデータが生成されると共に、そのディジタル画像が二次元的に表示される。この場合に、人体腹部における腎臓、心臓、肝臓、胃、腸等の各臓器について、その部位に指標をつけ、その部位と一体を形成する部位を切り出して任意に表示できれば、例えば、各臓器の立体画像等を表示することができ、疾患部位を検出する場合における判断の質の向上に役立てることができる。

この種の従来技術として、例えば、等値面（Ｃｏｎｔｏｕｒ）の位相構造を、ＣｏｎｔｏｕｒＴｒｅｅと呼ばれる手法により木構造表現することが可能である。このＣｏｎｔｏｕｒＴｒｅｅと呼ばれる木構造表現において、該ＣｏｎｔｏｕｒＴｒｅｅの各節は、場の値の変化に伴い等値面が生成・合併・分岐及び消失する点（特異点）と、この特異点を通過する等値面とを表現し、各枝上の任意の２点は、一方が他方を包含する等値面を表現している。なお、これを拡張し、特異点を通過しない等値面も節としてＣｏｎｔｏｕｒＴｒｅｅを構成する場合もある。

例えば、図１６（ａ）は２次元空間の等値面（ここでは等高線）集合を示し、図１６（ｂ）は対応するＣｏｎｔｏｕｒＴｒｅｅを示している。同図（ａ）において、Ｐ、Ｑ、Ｒ１、Ｒ２は等値面である。また、点Ａ〜点Ｅは、等値面が位相変化を起こす特異点（極大点、極小点、及び鞍点）である。さらに、処理対象となるスカラ場全体を囲む閉曲面上の１点を特殊な特異点として定義し、これを根（ｒｏｏｔ）と呼ぶ。

上記ＣｏｎｔｏｕｒＴｒｅｅによる位相構造表現の基本的な概念は、例えば、文献１（Ｂｏｙｅｌｌ他著“Ｈｙｂｒｉｄｔｅｃｈｎｉｑｕｅｓｆｏｒｒｅａｌ−ｔｉｍｅｒａｄａｒｓｉｍｕｌａｔｉｏｎ”（ＩＥＥＥＰｒｏｃｅｅｄｉｎｇｓＦａｌｌＪｏｉｎｔＣｏｍｐｕｔｅｒＣｏｎｆｅｒｅｎｃｅ６３，ｐｐ．３６−３７，１９６３））等に開示されている。また、多次元スカラ場におけるＣｏｎｔｏｕｒＴｒｅｅの具体的な構築手法は、文献２（Ｃａｒｒ他著“Ｃｏｍｐｕｔｉｎｇｃｏｎｔｏｕｒｔｒｅｅｓｉｎａｌｌｄｉｍｅｎｓｉｏｎｓ”（ＣｏｍｐｕｔａｔｉｏｎａｌＧｅｏｍｅｔｒｙ，Ｖｏｌ．２４，ｐｐ．７３−９４，２００３））等に開示されている。

ところで、ディジタル画像データにより多次元スカラ場を表現する場合、等値面が囲む領域における画素間の連結条件には、領域間で連結関係に矛盾が生じることを回避するために、前景と背景とで異なるものを用いる必要がある。なお、前景とは利用者が注目する対象物を含む画像中の領域をいう。また、背景とはそれ以外の領域をいう。

しかしながら、従来のＣｏｎｔｏｕｒＴｒｅｅ構築手法では、多次元スカラ場が多面体（例えば４面体）のメッシュにより記述されていることを前提としており、多次元ディジタル画像における画素間の連結条件の、前景及び背景での差異を考慮していないという問題点を有している。

また、多次元スカラ場から得られたＣｏｎｔｏｕｒＴｒｅｅについて、等値面の位相構造の表示は、木構造を直接二次元表示することにより実現される。この際、ＣｏｎｔｏｕｒＴｒｅｅの各部に該当する等値面は、二次元表示された木構造の特定部位を指定することにより選択表示可能である。このような従来のＣｏｎｔｏｕｒＴｒｅｅ表示方法及び等値面の選択表示方法は、具体的には、例えば、文献３（Ｃａｒｒ他著“Ｐａｔｈｓｅｅｄｓａｎｄｆｌｅｘｉｂｌｅｉｓｏｓｕｒｆａｃｅｓｕｓｉｎｇｔｏｐｏｌｏｇｙｆｏｒｅｘｐｌｏｒａｔｏｒｙｖｉｓｕａｌｉｚａｔｉｏｎ”（ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥＴＣＶＧＳｙｍｐｏｓｉｕｍｏｎＶｉｓｕａｌｉｚａｔｉｏｎ，ｐｐ．４９−５９，２００３））等に開示されている。

しかしながら、上記文献３に示す従来のＣｏｎｔｏｕｒＴｒｅｅ表示方法は、等値面の位相構造を理解するために木構造表現との対応関係を予め把握している必要があり、また、雑音等による微小領域の等値面と、観察対象となり得る大領域の等値面との間に表現上の差異が無いことから、木構造表現の観察により等値面の位相構造を直感的に理解することが困難であるという問題点を有している。また、これに伴い、木構造表現されたＣｏｎｔｏｕｒＴｒｅｅ上で注目等値面を選択することが困難となるという問題点を有している。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、多次元ディジタル画像データから等値面の位相構造を記述するＣｏｎｔｏｕｒＴｒｅｅを抽出し、矛盾なく表示し得るデータ表示方法、データ表示装置、データ表示プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体を提供することにある。

また、本発明は、従来のＣｏｎｔｏｕｒＴｒｅｅ構築手法が考慮していないディジタル画像の前景・背景による画素間連結条件の差異を考慮し、等値面が囲む領域間の連結関係に矛盾を生じることなく木構造を求めることを目的とする。

さらに、本発明は、ＣｏｎｔｏｕｒＴｒｅｅにより表現された等値面の位相構造を、等値面の囲む領域の大きさを反映し直感的に理解できる形式で表示することを目的とする。また、その表示を観察し、特定の部位を選択することにより、元画像の対応する等値面集合を表示し得ることを目的としている。

本発明のデータ表示方法は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示方法において、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築するステップと、を備えていることを特徴としている。

また、本発明のデータ表示装置は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示装置において、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築する手段と、を備えていることを特徴としている。

また、本発明のデータ表示方法は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示方法において、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、上記等値面集合から要素となる複数の等値面を選択するステップと、上記選択された複数等値面の間の接続・包含関係を上記木構造から抽出するステップと、を備えていることを特徴としている。

また、本発明のデータ表示装置は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示装置において、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築する手段と、上記等値面集合から要素となる複数の等値面を選択する手段と、上記選択された複数等値面の間の接続・包含関係を上記木構造から抽出する手段と、を備えていることを特徴としている。

また、本発明のデータ表示方法は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示方法において、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築するステップと、木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示するステップと、を備えていることを特徴としている。

また、本発明のデータ表示装置は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示装置において、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築する手段と、木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示する手段と、を備えていることを特徴としている。

また、本発明のデータ表示方法は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示方法において、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築するステップと、木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示するステップと、上記二次元図形集合の一部を選択することにより、これと対応する上記等値面集合の一部を表示するステップと、を備えていることを特徴としている。

また、本発明のデータ表示装置は、上記課題を解決するために、スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示装置において、上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築する手段と、木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示する手段と、上記二次元図形集合の一部を選択することにより、これと対応する上記等値面集合の一部を表示する手段と、を備えていることを特徴としている。

上記の発明において、まず、多次元ディジタル画像データを定義する。多次元ディジタル画像データは、多次元直交格子の格子点位置に配置された画素集合とする。

次に、多次元ディジタル画像の等値面を定義する。ある値Ｐに対し、Ｐに対応する等値面は、画素値ｐと値Ｐとの間に、ｐ≧Ｐ又はｐ≦Ｐの関係がある画素連結領域の、外部領域との境界とする。前者の連結成分をＲｉ（Ｐ）、後者をＳｊ（Ｐ）（ｉ，ｊ＝１，２，３，…）とする。

ここで、Ｒｉ（Ｐ）、Ｓｊ（Ｐ）の一方は前景、他方は背景に属するものとする。前景及び背景について連結領域を求めるための画素間の連結条件は、領域の連結関係の矛盾を避けるため、異なったものとする。画像を構成する各画素値をＰとして連結領域Ｒｉ（Ｐ）及びＳｊ（Ｐ）を求め、これらに対応する等値面の位相構造からＣｏｎｔｏｕｒＴｒｅｅを構築する。

また、等値面集合内に注目する等値面が複数存在し、それら等値面の接続・包含関係を求める場合には、上記等値面集合から対象となる複数の等値面を選択し、ＣｏｎｔｏｕｒＴｒｅｅに記述された等値面集合の位相構造から接続・包含関係を抽出する。

ＣｏｎｔｏｕｒＴｒｅｅの表示は、各等値面をその囲む領域の大きさに比例した面積の二次元図形（例えば矩形）により表現し、等値面の位相構造を、対応する二次元図形の入れ子構造により表示することで実現する。

上記の表示を観察し、特定の二次元図形を選択することにより、元画像の対応する等値面を表示する。複数の二次元図形を選択することも可能とし、この場合は複数の対応する等値面集合を表示する。

この結果、従来のＣｏｎｔｏｕｒＴｒｅｅ構築手法が考慮していないディジタル画像の前景・背景による画素間連結条件の差異を考慮し、等値面が囲む領域間の連結関係に矛盾を生じることなく木構造を求めることができる。また、得られた木構造を基に、複数等値面間の接続・包含関係を抽出することができる。

さらに、本発明は、ＣｏｎｔｏｕｒＴｒｅｅにより表現された等値面の位相構造を、等値面の囲む領域の大きさを反映し直感的に理解できる形式で表示することができる。また、その表示を観察し、特定の部位を選択することにより、元画像の対応する等値面集合を表示することができる。

したがって、多次元ディジタル画像データから等値面の位相構造を記述するＣｏｎｔｏｕｒＴｒｅｅを抽出し、矛盾なく表示し得るデータ表示方法及びデータ表示装置を提供することができる。

なお、上記データ表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記データ表示装置をコンピュータにて実現させるデータ表示装置の制御データ表示プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明のさらに他の目的、特徴、および優れた点は、以下に示す記載によって十分わかるであろう。また、本発明の利益は、添付図面を参照した次の説明で明白になるであろう。

本発明におけるデータ表示方法及びデータ表示装置の実施の一形態を示すものであり、多次元ディジタル画像データの等価面を表示する処理を示すフローチャートである。上記多次元ディジタル画像データの等価面における、前景と背景とを接続状態を示す説明図である。図１におけるＣｏｎｔｏｕｒＴｒｅｅを構築する処理を示すサブルーチンフローチャートである。図３におけるＪｏｉｎＴｒｅｅを構築する処理を示すサブルーチンフローチャートである。ＪｏｉｎＴｒｅｅの構築によって、画素と領域とを統合した状態を示す模式図である。ＳｐｌｉｔＴｒｅｅの構築によって、画素と領域とを統合した状態を示す模式図である。図３におけるＳｐｌｉｔＴｒｅｅを構築する処理を示すサブルーチンフローチャートである。図３におけるＣｏｎｔｏｕｒＴｒｅｅを構築する処理を示すサブルーチンフローチャートである。ＪｏｉｎＴｒｅｅを示す図である。ＳｐｌｉｔＴｒｅｅを示す図である。ＣｏｎｔｏｕｒＴｒｅｅを示す図である。同一画素値に対応した節の統合を示す説明図である。図１におけるＣｏｎｔｏｕｒＮｅｓｔを構築する処理を示すサブルーチンフローチャートである。図１０における処理Ａの処理を示すサブルーチンフローチャートである。ＣｏｎｔｏｕｒＮｅｓｔの具体例を示す図である。卵割の生じた受精卵の三次元物体に対する多次元ディジタル画像データ及びその切り出し部分を示す図である。図１３のＣｏｎｔｏｕｒＮｅｓｔを示す図である。上記データ表示装置の構成を示すブロック図である。ＣｏｎｔｏｕｒＴｒｅｅの概念を示すものであり、２次元空間の等値面集合を示す図である。図１６（ａ）に対応するＣｏｎｔｏｕｒＴｒｅｅを示す図である。

本発明の一実施形態について図１ないし図１４に基づいて説明すれば、以下の通りである。

本実施の形態のデータ表示方法では、図１に示すように、多次元ディジタル画像データを入力した後（Ｓ１）、図８（ｃ）に示すようなＣｏｎｔｏｕｒＴｒｅｅを構築し（Ｓ２）、さらに、図１２に示すようなＣｏｎｔｏｕｒＮｅｓｔを構築する（Ｓ３）。次いで、ＣｏｎｔｏｕｒＮｅｓｔ中の矩形を選択し（Ｓ４）、選択矩形に対応する等値面を表示する（Ｓ５）。これにより、多次元ディジタル画像データにおける特定の部位について、切り出して任意に表示することが可能となる。

以下、本実施の形態のデータ表示方法の具体的手順について説明する。

まず、本実施の形態では、多次元ディジタル画像データを、多次元直交格子の格子点位置に配置された画素集合として定義する。

また、多次元ディジタル画像の等値面については、ある値Ｐに対し、値Ｐに対応する等値面は、画素値ｐと値Ｐの間に（式１）の関係がある画素連結領域の、外部領域との境界と定義する。

ｐ≧Ｐ又はｐ≦Ｐ（式１）
前者の連結成分をＲｉ（Ｐ）、後者をＳｊ（Ｐ）（ｉ，ｊ＝１，２，３，…・）
と置くと、Ｐを閾値とする二値化により得られる等値面の集合は、連結成分の集合｛Ｒｉ（Ｐ），Ｓｊ（Ｐ−１）｝により求まる。

ここで、Ｒｉ（Ｐ）、Ｓｊ（Ｐ）の一方は前景、他方は背景に属するものとする。

前景及び背景について、連結領域を求めるための画素間の連結条件は、領域の連結関係の矛盾を避けるため、異なったものとする。画像を構成する各画素値をＰとして連結領域Ｒｉ（Ｐ）・Ｓｊ（Ｐ）を求め、これらに対応する等値面の位相構造からＣｏｎｔｏｕｒＴｒｅｅを構築する。

ＣｏｎｔｏｕｒＴｒｅｅの表示は、各等値面をその囲む領域の大きさに比例した面積の二次元図形（例えば矩形）により表現し、等値面の位相構造を、対応する二次元図形の入れ子構造により表示することによって、実現する。

次いで、上記の表示を観察し、特定の二次元図形を選択することにより、元画像の対応する等値面を表示する。複数の二次元図形を選択することも可能とし、この場合は複数の対応する等値面集合を表示する。その際、選択された等値面間の接続・包含関係を抽出し、例えば２つの等値面の一方が他方を包含している場合に、内側の等値面の観察を容易にするように、外側の等値面の透明度を自動的に高くすることを可能とする。

図２に示すように、２次元ディジタル画像データについて、例えば、Ｒ_ｉ（Ｐ）を前景、Ｓ_ｊ（Ｐ）を背景とする。このとき、本実施の形態では、例えば、前景Ｒ_ｉ（Ｐ）では注目画素Ｘ_１の周囲８画素、背景Ｓ_ｊ（Ｐ）では注目画素Ｙ_１の上下左右４画素を連結対象とする隣接画素として、２次元画像の連結領域を求める。

上述のように、前景と背景とに異なる連結関係を用いることにより、前景Ｒ_１（３）を境界として背景Ｓ_１（１）と背景Ｓ_２（１）とは適切に分離される。具体的には、同図に示すように、前景Ｒ_１（３）では注目画素Ｘ_１と画素Ｘ_２とが連結することが分かる。また、背景Ｓ_１（１）の注目画素Ｙ_１と背景Ｓ_２（１）の注目画素Ｙ_２とは連結しないことが分かる。

仮に、前景・背景共に注目画素の周囲８画素を連結対象とすると、前景Ｒ_１（３）の存在にも関わらず背景Ｓ_１（１）と背景Ｓ_２（１）とは連結し、矛盾が生じる。

図２に示す前景と背景とで差異を設けた画素間連結条件を用いて、図３に示す手順でディジタル画像データからＣｏｎｔｏｕｒＴｒｅｅを構築する。

ディジタル画像データは、画素値として非負の有限整数値をとるものとする。ディジタル画像データの外周に属する画素は、対象となる画像データの画素値のうち最小の値０をとるものとする。このとき、外周の画素を含む連結領域Ｒ（０）及びＳ（０）は、（式１）の関係により得られる等値面が、共に画像全体を囲む。

ディジタル画像データの各画素を、画素値の大きさに従ってソートする（Ｓ２１）。同一の画素値を持つ画素群については、他の条件（例えば座標値）を基準にソートを行う。

次いで、上記で得られた画素系列に対し、画素値の大きい画素から順に全ての画素についてＪｏｉｎＴｒｅｅを構築し（Ｓ２２）、画素値の小さい画素から順に全ての画素についてＳｐｌｉｔＴｒｅｅを構築し（Ｓ２３）、さらにＣｏｎｔｏｕｒＴｒｅｅの構築及び出力の処理を行う（Ｓ２４）。

まず、ＪｏｉｎＴｒｅｅの構築では、図４に示すように、注目する画素と、それまでに処理した画素群から構成される連結領域との連結関係を、前景の画素間連結関係を用いて探索し、当該画素と連結領域との統合による、領域の「拡張」（１つの領域と連結）、領域の「合併」（２つ以上の領域と連結）、又は領域の「生成」（当該画素単独での領域生成）を行う。図５（ａ）は前景における「合併」の例である。

上記の処理を行う際、処理の内容を木構造により記述する。具体的には、図４に示すサブルーチンフローチャートに基づいて行う。注目画素及び上記の処理により得られる連結領域に対応する節を新たに設定する。「拡張」及び「合併」では、連結対象となる領域に対応する節と、新たに設定した節とを枝で結ぶ。

次に、ＳｐｌｉｔＴｒｅｅの構築では、図６に示すように、注目する画素と、それまでに処理した画素群から構成される連結領域との連結関係を、背景の画素間連結関係を用いて探索し、当該画素と連結領域との統合による領域の「拡張」（１つの領域と連結）、「合併」（２つ以上の領域と連結）、「生成」（当該画素単独での領域生成）を行う。前記図５（ｂ）は背景における「合併」の例である。同図（ｂ）において、斜めの破線矢印は、領域７が画素の連結条件に合わないために合併されないことを示すものである。この結果、領域７は、注目画素Ｖとは繋がっていないと判断される。

上記の処理を行う際、処理の内容を木構造により記述する。具体的には、図６に示すサブルーチンフローチャートに基づいて行う。すなわち、注目画素及び上記処理により得られる連結領域に対応する節を新たに設定する。「拡張」「合併」では、連結対象となる領域に対応する節と、新たに設定した節とを枝で結ぶ。

前記ステップ２２の処理により得られた木構造は、ＪｏｉｎＴｒｅｅと呼ばれ、図８（ａ）に示すものとなる。一方、前記ステップ２３の処理により得られた木構造は、ＳｐｌｉｔＴｒｅｅと呼ばれ、図８（ｂ）に示すものとなる。ＪｏｉｎＴｒｅｅ及びＳｐｌｉｔＴｒｅｅの各節は共に元ディジタル画像データの各画素に対応しており、両者の節の対応関係を直ちに求めることができることから、これらと対応する節を持ち、双方の分岐を反映する木構造を求め、これを図８（ｃ）に示すように、ＣｏｎｔｏｕｒＴｒｅｅとする。

ＣｏｎｔｏｕｒＴｒｅｅの各節には、ＪｏｉｎＴｒｅｅの対応する節に対応する連結領域を囲む等値面と、ＳｐｌｉｔＴｒｅｅの対応する節とに対応する連結領域を囲む等値面のうち、囲む領域のより小さなものを選択し対応付ける。

複数の画素が同一の値を持つ場合、上記処理で得られるＣｏｎｔｏｕｒＴｒｅｅは画素の処理順序の影響を受けるが、これは等値面の位相構造を記述する上では意味を持たない。この影響を排除するため、枝の両端の節に対する以下の処理を、該当する節の組がなくなるまで行う。図９に処理例を示す。

ＣｏｎｔｏｕｒＴｒｅｅの枝のうち、両端の節に対応する画素が同じ画素値をとるものを探索する。該当する枝がある場合は、両端の節を統合し、該当する枝を除去し１つの節として再記述する。統合後の節に対応する等値面には、両者のうちでより大きいものを対応付ける。

画像全体を含む等値面に対応するＣｏｎｔｏｕｒＴｒｅｅの節を根（ｒｏｏｔ）とすると、ＣｏｎｔｏｕｒＴｒｅｅは根付き木として表現され、節間に親子関係が生じる。このとき、以下の２つの定理が成立する。

ここで、ある節Ｖに対応する等値面が囲む領域をγ（Ｖ）、等値面の大きさ（γ（Ｖ）を構成する画素数）をＳ（Ｖ）と置く。
〔定理１〕ＣｏｎｔｏｕｒＴｒｅｅの任意の節をＶ、Ｖの子節をＷとすると包含関係（式２）が成り立つ。

γ（Ｖ）⊃γ（Ｗ）（式２）
〔定理２〕ＣｏｎｔｏｕｒＴｒｅｅ上の任意の節Ｖ、Ｖの全ての子節をＷｉ（ｉ＝１・・・Ｎ，Ｎ≧１）とすると、（式３）が成り立つ。

Ｓ（Ｖ）＞ΣＳｉ（Ｗｉ）（式３）
前記２つの定理に基づき、ＣｏｎｔｏｕｒＴｒｅｅを矩形の入れ子構造の形で表現する。この表現形態をＣｏｎｔｏｕｒＮｅｓｔと呼ぶ。

ＣｏｎｔｏｕｒＮｅｓｔの作成は、根（ｒｏｏｔ）から順に子節をたどる形で、各節について、図１０及び図１１に示すサブルーチンフローチャートに基づく処理を行うことにより実現する。

例えば、図１２に示すように、注目している節を表す矩形の高さｈ_ｐと幅ｗ_ｐ、子節の数Ｎ、注目節及び各々の子節に対応する領域の大きさＳ_ｐ，Ｓ_ｃ１，…，Ｓ_ｃＮを既知とする。（式４）により、子節を表す矩形領域の共通の高さｈ_ｃと、全ての子節を表す矩形領域の幅の総和ｗ_{ｃ＿ａｌｌ}とを求める。

（式５）により、各々の子節を表す矩形領域の幅ｗ_ｃｉを求める。

（式４）と〔定理２〕とから、
ｗ_ｐ＞ｗ_{ｃ＿ａｌｌ}，ｈ_ｐ＞ｈ_ｃ（式６）
となるので、〔定理１〕に従って注目節を表す矩形内部に、その子節を表す矩形を、対応する元画像の等値面の大きさに比例する面積で、はみ出すことなく全て配置する。

２次元表示されたＣｏｎｔｏｕｒＮｅｓｔを構成する各矩形は、元画像の１つの等値面に対応している。これより、ＣｏｎｔｏｕｒＮｅｓｔの矩形を選択することにより、対応する等値面を選択し表示する。複数の矩形を選択することも可能とし、この場合は複数の対応する等値面集合を表示する。２次元表示された矩形の選択は、マウス操作等によって実現される。等値面の表示は、三次元画像ではサーフェスレンダリング等により実現する。複数等値面を表示する際には、まず、ＣｏｎｔｏｕｒＴｒｅｅにより選択された等値面間の接続・包含関係を抽出する。次に、抽出された関係に基づき、例えば２つの等値面の一方が他方を包含している場合に、内側の等値面の観察を容易にするように、レンダリングの際に、外側の等値面の透明度を自動的に高くする。

上記の処理によって得られる表示の具体例として、例えば、卵割の生じた受精卵の三次元物体に対する処理例を、図１３に示す。同図に示すように、受精卵外形１０からは透明体１２と呼ばれる領域におおわれて複数の細胞１４からなる受精卵の構造がわずかに観察される。この三次元物体を、Ｘ線ＣＴや超音波断層装置を用いて撮影し、三次元ディジタル画像を求める。これを本実施の形態の処理にて処理し、図１４に示すように、ＣｏｎｔｏｕｒＮｅｓｔを得る。表示されたＣｏｎｔｏｕｒＮｅｓｔ中の矩形を選択すると、対応する等値面を表示することができる（Ｓ４、Ｓ５）。複数の等値面を選択した場合は、等値面間の接続・包含関係に基づいた透明度の自動的な設定等により、これらの等値面を適切に表示することができる。

本実施の形態のデータ表示方法及び装置では、「医療機器」「非破壊検査機器」等三次元以上の多次元ディジタル画像データを扱う分野において画像解析装置、構造評価装置としての利用が想定される。

前者「医療機器」について効果の詳細例を示せば以下のようである。人体腹部には腎臓、心臓、肝臓、胃、腸等複数の臓器が存在する。既存の医療装置を用いて二次元、三次元、時間項を含む四次元等、様々なデータが生成される。多次元スカラ場を表現するこれらのデータは、データ構造として多次元ディジタル画像の形をとる場合が大多数である。観察者である医師又は放射線技師は過去に学んだ解剖図を想像しこれらの装置が表示する画像とマッチングさせて正常部位と疾患部位を判断する。しかし、疾患部の浸潤が激しくなると標準的な解剖図から程遠く判断の困難な画像として表示される。このとき明らかに疾患部であることが判る部位に指標をつけその部位と一体を形成する部位を切り出して表示できれば判断の質は向上する。実在の臓器では手術によって連続する部位を都度判断しつつ切り分けることが可能であるがここでは画像を取り扱う方法によって手術同様の手法を仮想的に展開することが可能となる。

このように、本実施の形態のデータ表示方法及び装置は、ディジタル画像データに対し等値面の位相構造を表現するものであり、医用分野で広く使われていることから応用対象は広範囲にわたる。ディジタル画像における前景・背景による画素間連結関係を考慮することにより、現実に即した位相構造の抽出が可能となる。位相構造を矩形等二次元図形の入れ子構造により表示し、また等値面が囲む領域の大きさを反映しているため、位相構造が直感的に理解可能である。これに伴い、形状把握のためには表示を要する等値面の選択が、容易に実現可能となる。三次元以上で等値面の位相構造が観察困難なデータについても、二次元表示により直接確認することができる。心臓のように時間領域の動きが含まれるデータ類にも適用できる。医用三次元画像解析上、外表皮に包含された病変部の存在を認識することが容易に可能となる。

最後に、本実施の形態では、上記のデータ表示方法は、図１５に示すデータ表示装置２０によって行われる。その際、データ表示装置２０の各手段は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、データ表示装置２０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）２１、上記プログラムを格納したＲＯＭ（ｒｅａｄｏｎｌｙｍｅｍｏｒｙ）２２、上記プログラムを展開するＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）２３、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）２４などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記憶装置（記録媒体）２４を、上記データ表示装置２０に供給し、そのコンピュータ（またはＣＰＵ２１やＭＰＵ）が記憶装置（記録媒体）２４に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記ＣＰＵ２１は、多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合算出部２１ａと、連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る等値面集合算出部２１ｂと、等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築する木構造構築部２１ｃと、等値面集合から要素となる複数の等値面を選択する等値面選択部２１ｄと、選択された複数等値面の間の接続・包含関係を上記木構造から抽出する接続・包含関係抽出部２１ｅと、木構造表現された等値面集合の各要素を二次元図形で表現し、木構造を二次元図形の入れ子構造により二次元表示するための二次元図形配置算出部２１ｆ、二次元図形の一部を選択することにより、これと対応する上記等値面集合の一部を抽出し、後述する表示部２６での抽出等値面の表示を駆動する等値面選択表示駆動部２１ｇとを備えている。

また、データ表示装置２０は、上記二次元図形集合の一部を選択する等のためのキーボード等の入力部２５と、データ等を表示するための表示部２６とを備えている。

ここで、上記記憶装置（記録媒体）２４としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、データ表示装置２０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（ｖｉｒｔｕａｌｐｒｉｖａｔｅｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波ディジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

尚、発明を実施するための最良の形態の項においてなした具体的な実施態様または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と特許請求の範囲内で、いろいろと変更して実施することができるものである。

本発明のデータ表示方法及び装置では、「医療機器」「非破壊検査機器」等三次元以上の多次元ディジタル画像データを扱う分野において画像解析装置、構造評価装置としての適用が可能である。

Claims

スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示方法において、
上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、
上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、
上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築するステップと、
を備えていることを特徴とするデータ表示方法。
スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示方法において、
上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、
上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、
上記等値面集合から要素となる複数の等値面を選択するステップと、
上記選択された複数等値面の間の接続・包含関係を上記木構造から抽出するステップと、
を備えていることを特徴とするデータ表示方法。
スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示方法において、
上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、
上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、
上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築するステップと、
木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示するステップと、
を備えていることを特徴とするデータ表示方法。
スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示方法において、
上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求めるステップと、
上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得るステップと、
上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築するステップと、
木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示するステップと、
上記二次元図形集合の一部を選択することにより、これと対応する上記等値面集合の一部を表示するステップと、
を備えていることを特徴とするデータ表示方法。
スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示装置において、
上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、
上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、
上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築する手段と、
を備えていることを特徴とするデータ表示装置。
スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示装置において、
上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、
上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、
上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築する手段と、
上記等値面集合から要素となる複数の等値面を選択する手段と、
上記選択された複数等値面の間の接続・包含関係を上記木構造から抽出する手段と、
を備えていることを特徴とするデータ表示装置。
スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示装置において、
上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、
上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、
上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築する手段と、
木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示する手段と、
を備えていることを特徴とするデータ表示装置。
スカラ値を画素にもつ多次元ディジタル画像データから、等値面間の接続・包含関係を木構造の形で抽出して表示するデータ表示装置において、
上記多次元ディジタル画像データから前景画像領域と背景画像領域とで異なる画素間連結条件を適用して各々の連結領域集合を求める手段と、
上記連結領域集合の各々について、それを囲む外部との境界を等値面として抽出することにより等値面集合を得る手段と、
上記等値面集合について、要素となる等値面間の接続・包含関係を示す木構造を構築する手段と、
木構造表現された上記等値面集合の各要素を二次元図形で表現し、上記木構造を上記二次元図形の入れ子構造により二次元表示する手段と、
上記二次元図形集合の一部を選択することにより、これと対応する上記等値面集合の一部を表示する手段と、
を備えていることを特徴とするデータ表示装置。
請求項５から８のいずれか１項に記載のデータ表示装置を動作させるデータ表示プログラムであって、コンピュータを上記の各手段として機能させるためのデータ表示プログラム。
請求項９に記載のデータ表示プログラムを記録したコンピュータ読み取り可能な記録媒体。