JP3905388B2 - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP3905388B2 JP3905388B2 JP2002004782A JP2002004782A JP3905388B2 JP 3905388 B2 JP3905388 B2 JP 3905388B2 JP 2002004782 A JP2002004782 A JP 2002004782A JP 2002004782 A JP2002004782 A JP 2002004782A JP 3905388 B2 JP3905388 B2 JP 3905388B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- net
- energy
- grid
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000000605 extraction Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 description 22
- 230000008602 contraction Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 5
- 241000270295 Serpentes Species 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- LFYJSSARVMHQJB-QIXNEVBVSA-N bakuchiol Chemical compound CC(C)=CCC[C@@](C)(C=C)\C=C\C1=CC=C(O)C=C1 LFYJSSARVMHQJB-QIXNEVBVSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、医療画像処理において、ＭＲＩやＣＴなどの画像から特定臓器の画像領域を抽出する場合などに有用な、画像中の特徴領域を自動抽出するための画像処理方法および画像処理装置に関する。
【０００２】
画像処理の分野では、画像認識や動画像処理等のために、幾何情報を保持する網（ネット）あるいは格子（グリッド）状の形状（以下、網のことをネット、格子のことをグリッドと呼ぶ）を、エネルギー最小化原理により特徴領域に収縮させて貼り付け、その領域を抽出することが行なわれる。その際の収縮処理で特徴領域を特定するために、画像に対応したエネルギー画像が作成されるが、本発明は、特徴領域を正確かつ安定に抽出可能にする新規なエネルギー画像を提供するものである。
【０００３】
【従来の技術】
ＭＲＩなどの画像データから特徴ある領域を抽出する際に、その特徴領域にネットあるいはグリッドを被わせることで、範囲を限定する方法( 例えば、Snakes,Balloon，Active Net ，3D Active Net ，3D Active Gridなど）が、これまでに開発されている。これらは、エネルギー最小化原理を用いてネットあるいはグリッドを特徴領域に収縮させて行くものである。Snakesは、曖昧な輪郭を抽出する手法として開発された輪郭モデルであり、内部歪みによる力と、画像の力と、外力により、線やエッジなどの画像中の特徴ある領域に整合する。Active Net は、Snakesを面モデルへ拡張し、2 次元画像から様々な領域を抽出することを可能にしたもので、坂上らにより開発された（参考文献１参照）。3D Active Net および3D Active Gridは、Active Net を３次元へ拡張し、さらには、格子構造をもつグリッドへの拡張したもので、本発明者らにより開発された（参考文献２，３，４参照）。
【０００４】
ここでは、基本的な Active Net について簡単に説明する。任意の特徴領域にネットを貼り付けるためには、あらかじめ、特徴領域に対して十分な大きさを持つ初期状態のネットを用意し、特徴となる領域へ徐々にネットを収縮させながら、所定の領域に貼り付ける。このため、特徴領域に依存してネットを特徴領域へ収縮させようと作用するエネルギーと、ネットに依存してネットの形状を保持するように作用するエネルギーとを生成させ、それらのエネルギーが釣り合う位置では、エネルギーの和が最小になるというエネルギー最小化原理を適用して釣り合い位置を求め、ネットの収縮が所定の位置で止まるようにしている。
【０００５】
ネットを特徴領域へ収縮させるエネルギーを生成するには、エネルギー画像が用いられる。エネルギー画像は、対象となる領域に対して、あらかじめエネルギーの値を小さく設定しておいて、ネットがそのエネルギーの小さい領域部分に収束されるようにするものである。例えば、ＭＲＩ画像中の特定の臓器の領域をネットに付着させる場合には、まず臓器の表面のエッジを抽出し、そのエッジ領域でエネルギ−が最小となるようにエッジ画像を作成する。図８は、脳のＭＲＩ画像の例であり、図９は、抽出されたエッジ画像の例である。エッジ画像は原画像を空間一次微分して濃度変化の大きい部分を強調して取り出したものであり、画像の輪郭などのエッジ部分を効率的に抽出することができる。しかし、このようなエッジ部分に直接最小のエネルギー値を設定してネットの収縮処理を行なうと、エッジ部分は細い線状や点状をなしていて面積が小さいため、ネットがエッジ部分を通り越してしまい、処理が不安定になりやすい。
【０００６】
そのため、従来は、エッジ画像にGaussianフィルタ等をかけてエッジ付近をぼかし、エッジ付近の領域面積を大きくしてネットの収縮を安定させる方法がとられていた。しかしながら、Gaussianフィルタ等をかけてエッジ付近をぼかすと、逆に画像境界があいまいになってしまうことから、ネットの正確な貼り合わせが困難になるという問題があった。
【０００７】
【発明が解決しようとする課題】
従来のネットやグリッドを用いて特徴領域の抽出を行なう画像処理では、原画像からエッジを検出した後、そのエッジ画像に対して Gaussian フィルタをかけ, エッジ画像境界をぼかしてエネルギー画像を作成していた。そのため、正確かつ安定したネットやグリッドの収縮を困難にしていた。
【０００８】
本発明の課題は、エッジ画像の境界をぼかすことなく、ネットやグリッドの収縮を正確かつ安定に行なわせることにある。
【０００９】
【課題を解決するための手段】
本発明は、エッジ画像を作成したあと、Gaussianフィルタを適用してぼかす代わりに、エッジからの距離画像を作成し、この距離画像をエネルギー画像として用いることにより、課題の解決を図るものである。これにより、本発明では、エッジから離れるほど距離つまりエネルギーが増加するようになるため、ネットの収縮計算が安定化され、かつ、エッジ付近でネットの位置があいまいになることがないので、正確なネットの貼り合わせが可能となる。
【００１０】
本発明は、以下のように構成される。
（１） 入力画像中の抽出したい特徴領域にネットあるいはグリッドを貼り付け特徴領域に収縮させて特徴領域を抽出するため、特徴領域でエネルギーが最小となるような画像エネルギーと、ネットあるいはグリッドの形状を保存しようとする保存エネルギーとを生成して、エネルギー最小化原理に基づく収束計算により、画像エネルギーとネットあるいはグリッドの保存エネルギーとを整合させ、特徴領域にネットあるいはグリッドを収縮させる画像処理方法において、
入力画像の特徴領域からエッジ画像を作成し、さらにエッジ画像上の任意の点から近傍の任意の点までの距離に応じた重みを示す距離画像を作成し、その距離画像をエネルギー画像として、上記特徴領域に貼り付けたいネットあるいはグリッドの保存エネルギーとを、エネルギー最小化原理に基づく収束計算により整合させることを特徴とする画像処理方法の構成。
（２） Active Net、３ＤActive Net、３ＤActive Grid のいずれかにより特徴領域を抽出することを特徴とする前項１に記載の画像処理方法の構成。
（３） 入力画像中の抽出したい特徴領域にネットあるいはグリッドを貼り付け特徴領域に収縮させて特徴領域を抽出するため、特徴領域でエネルギーが最小となるような画像エネルギーと、ネットあるいはグリッドの形状を保存しようとする保存エネルギーとを生成して、エネルギー最小化原理に基づく収束計算により、画像エネルギーとネットあるいはグリッドの保存エネルギーとを整合させ、特徴領域にネットあるいはグリッドを収縮させる画像処理装置において、
入力画像の特徴領域からエッジ画像を作成する手段と、さらにエッジ画像上の任意の点から近傍の任意の点までの距離に応じた重みを示す距離画像を作成する手段と、その距離画像をエネルギー画像として、上記特徴領域に貼り付けたいネットあるいはグリッドの保存エネルギーとを、エネルギー最小化原理に基づく収束計算により整合させる特徴抽出処理手段とを備えていることを特徴とする画像処理装置の構成。
（４） Active Net、３ＤActive Net、３ＤActive Grid のいずれかにより特徴領域を抽出するものであることを特徴とする前項３に記載の画像処理装置の構成。
【００１１】
【発明の実施の形態】
図１は、本発明の１実施の形態による画像処理システムの構成図であり、便宜上、Active Netによる特徴抽出処理の例を用いて示してある。
図１において、
１は、ＭＲＩ画像などの原画像データファイルである。
２は、画像処理システムであり、任意のコンピュータ上にソフトウエアによって構築される。
３は、原画像から特徴抽出を行ないたい領域部分を切り出す領域切り出し処理部である。原画像中にマニュアル操作により切り出し空間や閾値などを設定して必要領域を切り出す。
４は、エッジ画像作成処理部である。領域切り出し処理部３で切り出された領域を対象に、所定の画素間で空間１次微分を行ない、エッジ画像を作成する。
５は、距離画像作成処理部であり、作成されたエッジ画像に基づいて画素間の距離計算を行ない、距離画像を作成する。
６は、エネルギー画像設定部であり、作成された距離画像を、特徴抽出処理用のエネルギー画像として設定する。
７は、ネット画像初期化部であり、特徴抽出処理用ネットの初期サイズと形状などを指定する。
８は、ネット画像設定部であり、特徴抽出処理用のネット画像を設定する。
９は、特徴抽出処理部であり、設定されているエネルギー画像、ネット画像のデータにしたがって、エネルギー最小化原理の手法に基づく演算を反復実行し、ネット画像の収縮を進める。
１０は、ディスプレイである。
１１は、キーボードである。
１２は、マウスである。
【００１２】
次に、図１のシステム中の主要な処理について詳述する。
【００１３】
エッジ画像作成処理部４は、微分オペレータを用いて、エッジ領域を強調する。エッジは、元の画像から濃度が急激に変化する部分であるため、画像平面上で施せば、エッジ部分が高い値を持つように変換される。ディジタル画像上では、ｘ，ｙの各座標軸方向ごとに差分を取る。
【００１４】
ｘ方向の微分：Δfx(i,j) ＝f(i,j)-f(i-1,j)
ｙ方向の微分：Δfy(i,j) ＝f(i,j)-f(i,j-1)
エッジの強度ｅは、両方向の差分の自乗和の平方根（sqrt）をとる。
【００１５】
ｅ＝sqrt( Δfx(i,j）2 ＋Δfy(i,j）2)
エッジの強調には、主として１次微分オペレータが用いられるが、２次微分オペレータが用いられることもある。
【００１６】
図２は、原画像から切り出された特徴抽出対象画像の例であり、図３は、図２の画像に対して、1 次微分オペレータを用いてエッジを抽出し、エッジ領域の値を１、それ以外の領域の値を０に２値化したエッジ画像の例である。
【００１７】
距離画像作成処理部５は、任意の画素間の距離を、計算が容易な４近傍距離(4-neighbor distance) を用いて求める。２次元画像の場合、２つの画素f(i,j)とf(m,n)間の４近傍距離d4(f(i,j),f(m,n)) は、以下の式で計算できる。
【００１８】
d4(f(i,j),f(m,n)) ＝｜ｉ−ｍ｜＋｜ｊ−n ｜
また３次元画像の場合は、画素の位置を表す係数(i,j,k) と(m,n,l) を用いて以下の式で計算できる。
【００１９】
d4(f(i,j,k)),f(m,n,l))＝｜ｉ−ｍ｜＋｜ｊ−n ｜＋｜ｋ−ｌ｜
図４は、図３のエッジ画像を用いて、距離画像を作成した例である。エッジから離れるにつれて、値が大きくなる。ただし、図４では、画像の表示技術上、エッジ領域を白値の１とし、エッジから離れるほどその値が黒値に近づく（小さくなる）ように画素値を逆転させている。
４近傍の距離画像の場合、中心の画素からの距離値は、以下のような数値になる。
【００２０】
このような距離画像を求める処理は、図形の幅の計測や形状の特徴抽出（骨格（スケルトン）の形成など）に応用されている。特に骨格はその距離値から逆距離変換という操作を施すことにより画像の復元ができるため、データ圧縮の手法としても利用されている。
【００２１】
図５の（ａ）、（ｂ）、（ｃ）は、従来のガウシアンフィルタを適用したエネルギー画像と本発明による距離画像とのヒストグラム比較を示す。それぞれ横軸は距離、縦軸はエッジの画素数を示す。図５の（ａ）は、元のエッジ画像のヒストグラムであり、狭いエッジ幅にエッジ部分の画素が集中している様子を示す。図５の（ｂ）は、（ａ）のエッジにガウシアンフィルタを適用した結果のヒストグラムであり、エッジ幅がぼやけて広がっている様子を示す。図５の（ｃ）は、（ａ）のエッジについて求めた距離画像のヒストグラムであり、エッジ幅の中心部が先鋭に保存される様子を示す。
【００２２】
特徴抽出処理部９は、距離画像をエネルギー画像として用いて、エネルギー最小化原理によりネットの収束計算を反復して行ない、ネットを特徴領域に逐次的に収縮させる。距離画像をエネルギー画像とした場合、特徴領域のエッジ部分の位置でエネルギーが最小になるから、エネルギーが最小となるようにネットを収縮させたとき、ネットは特徴領域のエッジ部分に整合しており、特徴領域は、ネットにより抽出されたことになる。
【００２３】
図６は、図４の距離画像をエネルギー画像として収束計算を３００回行なった結果のネット収縮画像を示す。そして図７は、収束計算を１５００回行なった結果のネット収縮画像である。
【００２４】
図８〜図１２はＭＲＩ画像における特徴領域抽出例を示す。図８は、脳のＭＲＩ画像の例である。図９は図８の画像から抽出したエッジ画像を示す。図１０は、図９のエッジ画像から作成された距離画像である。図１１（ａ）は、特徴抽出に用いる円形ネットの初期画像、図１１（ｂ）は、図９の距離画像をエネルギー画像として用い収束計算を２００回反復した結果のネット収縮画像である。同様にして、図１２（ａ）は，収束計算を４００回反復した結果のネット収縮画像、図１２（ｂ）は，収束計算を６００回反復した結果のネット収縮画像を示す。収束計算の回数が増加するにつれ、ネット収縮が進むことがわかる。
【００２５】
本発明による、距離画像をエネルギー画像として用いる特徴抽出処理手法は、Active Netのほか、３ＤActive Net、３ＤActive Gridの手法にも適用することができる。以下、各手法におけるエネルギー最小化原理への本発明の適用について説明する。
３ D Active Net による特徴抽出
3D Active Net は、本発明者らが、先に、ボリュームデータから閉領域を抽出するため、2 次元平面の網モデルである Active Net を３次元空間に拡張したものである（参考文献２）。Snakesを3 次元空間に拡張する試みは、Cohen らが Balloons という曲面モデルを提案し、MRI ボリュームデータから顔の皮膚の一部を抽出しているが、それには特定の領域に整合するための境界条件を必要とする。しかし3D Active Net は、閉じた面モデルであるため、Balloonsのような境界条件を必要とせず、閉領域を包み込むようにして抽出する。また、本モデルはBalloonsのような有限要素法を用いたノード数の削減は行っていない。これは、格子構造を維持することでプログラムが簡単になり、並列計算による高速化が可能になるためである。
【００２６】
3D Active Net は曲面モデルであり、3 次元空間における曲面上の点を２つのパラメータp,q によって次の（１）式のように定義する。
【００２７】
【数１】
【００２８】
このモデルに対して、2 種類のエネルギー、Εint,Εdistを定義する。
【００２９】
Εint は、ネット曲面を保存しようと働く内部エネルギーを表し、面を滑らかに収縮させる力を生じる。
【００３０】
Εdistは、特徴領域のエッジ画像から作成された距離画像に依存する画像エネルギーであり、ネットをボリュームデータの特徴ある部分、つまりエッジ部分に動かす力を生じる。したがって、面全体のエネルギーは、２つのパラメータ p,qで積分して、次の（２）式のように定義される。
【００３１】
【数２】
【００３２】
Εint は、具体的には次の（３）式のように定義される。
【００３３】
【数３】
【００３４】
ここで（３）式の右辺の第１項は、面の１階微分の２乗和で、膜スプラインと呼ばれ、ちょうどゴムの膜のように面を縮ませる力を生じる。第２項は２階微分の２乗和で、薄板スプラインと呼ばれ、面の曲率を小さくし、形を滑らかにする。αとβは、１次偏微分の項と２次偏微分の項とを考慮する割合を決め、これら２つの力を制御するパラメータである。つまりαは網を縮める項のウェイト、βは網を滑らかにする項のウェイトである。
３ D Active Grid による特徴抽出
３D Active Netの手法により抽出される領域は表面のみのモデルであるため，有限要素法で解析するためには，非構造メッシュに変換する必要がある。しかし、対象となる領域が複雑に変形している場合，矛盾のない内部ノードの連結は困難である。また，非構造メッシュを生成せずに，ボクセルを６面体格子に変換して有限要素法を用いる方法を Zhuらが提案しているが，境界部分はボクセル近似となるため，表面の精度が悪くなる欠点を有し，使用するメモリ量および計算量も多い。そのため，本発明者らは、先に、ボリュームデータから領域を抽出し，直接，境界適合格子や有限要素法の６面体要素からなる非構造メッシュを生成する手法として，３D Active Gridを開発した（参考文献４）。
【００３５】
３D Active Gridのモデルは，図１３に示す６面体要素からなる格子構造からなり，各格子点は，３次元空間における位置を表すパラメータｐ．ｑ，ｒを用いて，次の（４）式のように表現される。
【００３６】
【数４】
【００３７】
次に、（４）式で表現されるモデルに対して、グリッドのエネルギーＥgrid
を、次の（５）式のように定義する。
【００３８】
【数５】
【００３９】
ここで，E int はグリッドを保存させるように働く内部歪みのエネルギー，E distは、グリッドを画像に適合させるように働く画像エネルギー，E consはグリッドの制約を規定する外力のエネルギーを表わす。即ち、E int は、グリッドを滑らかに縮小させ，かつ，その形状を保とうとする力であり，E distは、グリッドをボリュームデータの特徴的な領域，つまり距離が０のエッジ部分に移動させる力である。また，外力によるエネルギーE consは、ユーザによる外部からの強制的な制約を表す力である。たとえば，３次元モーフィング等で制約が必要な場合，E consはグリッドの一部を固定するといった場合に用いられる。
【００４０】
具体的には，E int を以下の（６）〜（１５）式で定義する。
【００４１】
【００４２】
ここで、（６）式の右辺第１項は、グリッドを収縮させる力を生じ、第２項は、グリッドの平行性および直進性を保持する力を生じる。またαおよびβは、第１項と第２項のそれぞれの力を制御するパラメータである。
【００４３】
３D Active Gridは，3D Active Net と同様，Active Netを３次元に拡張したモデルであるが，内部ノードを考慮している点で，3D Active Net とは異なる。3D Active Net では，ボリュームデータの輪郭（表面）情報のみを使用していたが，３D Active Gridは輪郭情報と内部情報を利用するため，精度面で3D Active Net より有利である。
＜参考文献＞
１．K.Sakaue and K.Yamamoto,“動的な網のモデルActive Netとその領域抽出への応用”，テレビジョン学会誌，45，10， pp.1155-1163(1991).
２. 高梨郁子，村木茂，土井章男，Ari E Kaufman ，" ３D Active Net-3次元ボリュームの抽出" 映画情報メディア学会，Vol.51，No.12 ，pp.1-9，1997.
３. 土井章男，三浦泰弘，千葉則茂，" ボリュームデータから有限要素メッシュを構築する一手法”，電子情報通信学会論文誌，Vol.82-D-II ，No.1，pp.1-4，1999.
４．土井章男，小向順，小山田耕二，“３D Active Gridを用いた３次元ボリュームの抽出”，情報処理学会論文誌，Vol.41，No.3，pp.570-576，2000.
【００４４】
【発明の効果】
本発明によれば、エネルギー最小化原理に基づく特徴抽出処理において、特徴領域に依存する画像エネルギーとして、エッジ部分からの距離を用いているため、エッジから離れるほど距離、つまりエネルギーの値が増加するため、ネットやグリッドの収束計算を安定に行なわせることができ、しかも従来のガウシアンフィルタのようにエッジ領域をあいまいにすることがないので、正確にネットを貼り付けることができ、精度のよい特徴領域の抽出が可能となる。
【図面の簡単な説明】
【図１】発明の１実施の形態による画像処理システムの構成図である。
【図２】特徴抽出対象画像の例である。
【図３】特徴抽出対象画像から検出されたエッジ画像である。
【図４】エッジ画像から作成した距離画像である。
【図５】距離画像の特性の説明図である。
【図６】収束計算３００回でのネット収縮例の説明図である。
【図７】 収束計算１５００回でのネット収縮例の説明図である。
【図８】脳のＭＲＩ画像の例である。
【図９】脳のＭＲＩ画像から抽出したエッジ画像である。
【図１０】脳のＭＲＩ画像の距離画像である。
【図１１】円形ネットを用いた収縮過程の説明図（その１）である。
【図１２】円形ネットを用いた収縮過程の説明図（その２）である。
【図１３】３D Active Gridの格子構造の説明図である。
【符号の説明】
１： ＭＲＩ画像などの原画像データファイル
２： 画像処理システム
３： 領域切り出し処理部
４： エッジ画像作成処理部
５： 距離画像作成処理部
６： エネルギー画像設定部
７： ネット画像初期化部
８： ネット画像設定部
９： 特徴抽出処理部
１０： ディスプレイ
１１： キーボード
１２： マウス
【発明の属する技術分野】
本発明は、医療画像処理において、ＭＲＩやＣＴなどの画像から特定臓器の画像領域を抽出する場合などに有用な、画像中の特徴領域を自動抽出するための画像処理方法および画像処理装置に関する。
【０００２】
画像処理の分野では、画像認識や動画像処理等のために、幾何情報を保持する網（ネット）あるいは格子（グリッド）状の形状（以下、網のことをネット、格子のことをグリッドと呼ぶ）を、エネルギー最小化原理により特徴領域に収縮させて貼り付け、その領域を抽出することが行なわれる。その際の収縮処理で特徴領域を特定するために、画像に対応したエネルギー画像が作成されるが、本発明は、特徴領域を正確かつ安定に抽出可能にする新規なエネルギー画像を提供するものである。
【０００３】
【従来の技術】
ＭＲＩなどの画像データから特徴ある領域を抽出する際に、その特徴領域にネットあるいはグリッドを被わせることで、範囲を限定する方法( 例えば、Snakes,Balloon，Active Net ，3D Active Net ，3D Active Gridなど）が、これまでに開発されている。これらは、エネルギー最小化原理を用いてネットあるいはグリッドを特徴領域に収縮させて行くものである。Snakesは、曖昧な輪郭を抽出する手法として開発された輪郭モデルであり、内部歪みによる力と、画像の力と、外力により、線やエッジなどの画像中の特徴ある領域に整合する。Active Net は、Snakesを面モデルへ拡張し、2 次元画像から様々な領域を抽出することを可能にしたもので、坂上らにより開発された（参考文献１参照）。3D Active Net および3D Active Gridは、Active Net を３次元へ拡張し、さらには、格子構造をもつグリッドへの拡張したもので、本発明者らにより開発された（参考文献２，３，４参照）。
【０００４】
ここでは、基本的な Active Net について簡単に説明する。任意の特徴領域にネットを貼り付けるためには、あらかじめ、特徴領域に対して十分な大きさを持つ初期状態のネットを用意し、特徴となる領域へ徐々にネットを収縮させながら、所定の領域に貼り付ける。このため、特徴領域に依存してネットを特徴領域へ収縮させようと作用するエネルギーと、ネットに依存してネットの形状を保持するように作用するエネルギーとを生成させ、それらのエネルギーが釣り合う位置では、エネルギーの和が最小になるというエネルギー最小化原理を適用して釣り合い位置を求め、ネットの収縮が所定の位置で止まるようにしている。
【０００５】
ネットを特徴領域へ収縮させるエネルギーを生成するには、エネルギー画像が用いられる。エネルギー画像は、対象となる領域に対して、あらかじめエネルギーの値を小さく設定しておいて、ネットがそのエネルギーの小さい領域部分に収束されるようにするものである。例えば、ＭＲＩ画像中の特定の臓器の領域をネットに付着させる場合には、まず臓器の表面のエッジを抽出し、そのエッジ領域でエネルギ−が最小となるようにエッジ画像を作成する。図８は、脳のＭＲＩ画像の例であり、図９は、抽出されたエッジ画像の例である。エッジ画像は原画像を空間一次微分して濃度変化の大きい部分を強調して取り出したものであり、画像の輪郭などのエッジ部分を効率的に抽出することができる。しかし、このようなエッジ部分に直接最小のエネルギー値を設定してネットの収縮処理を行なうと、エッジ部分は細い線状や点状をなしていて面積が小さいため、ネットがエッジ部分を通り越してしまい、処理が不安定になりやすい。
【０００６】
そのため、従来は、エッジ画像にGaussianフィルタ等をかけてエッジ付近をぼかし、エッジ付近の領域面積を大きくしてネットの収縮を安定させる方法がとられていた。しかしながら、Gaussianフィルタ等をかけてエッジ付近をぼかすと、逆に画像境界があいまいになってしまうことから、ネットの正確な貼り合わせが困難になるという問題があった。
【０００７】
【発明が解決しようとする課題】
従来のネットやグリッドを用いて特徴領域の抽出を行なう画像処理では、原画像からエッジを検出した後、そのエッジ画像に対して Gaussian フィルタをかけ, エッジ画像境界をぼかしてエネルギー画像を作成していた。そのため、正確かつ安定したネットやグリッドの収縮を困難にしていた。
【０００８】
本発明の課題は、エッジ画像の境界をぼかすことなく、ネットやグリッドの収縮を正確かつ安定に行なわせることにある。
【０００９】
【課題を解決するための手段】
本発明は、エッジ画像を作成したあと、Gaussianフィルタを適用してぼかす代わりに、エッジからの距離画像を作成し、この距離画像をエネルギー画像として用いることにより、課題の解決を図るものである。これにより、本発明では、エッジから離れるほど距離つまりエネルギーが増加するようになるため、ネットの収縮計算が安定化され、かつ、エッジ付近でネットの位置があいまいになることがないので、正確なネットの貼り合わせが可能となる。
【００１０】
本発明は、以下のように構成される。
（１） 入力画像中の抽出したい特徴領域にネットあるいはグリッドを貼り付け特徴領域に収縮させて特徴領域を抽出するため、特徴領域でエネルギーが最小となるような画像エネルギーと、ネットあるいはグリッドの形状を保存しようとする保存エネルギーとを生成して、エネルギー最小化原理に基づく収束計算により、画像エネルギーとネットあるいはグリッドの保存エネルギーとを整合させ、特徴領域にネットあるいはグリッドを収縮させる画像処理方法において、
入力画像の特徴領域からエッジ画像を作成し、さらにエッジ画像上の任意の点から近傍の任意の点までの距離に応じた重みを示す距離画像を作成し、その距離画像をエネルギー画像として、上記特徴領域に貼り付けたいネットあるいはグリッドの保存エネルギーとを、エネルギー最小化原理に基づく収束計算により整合させることを特徴とする画像処理方法の構成。
（２） Active Net、３ＤActive Net、３ＤActive Grid のいずれかにより特徴領域を抽出することを特徴とする前項１に記載の画像処理方法の構成。
（３） 入力画像中の抽出したい特徴領域にネットあるいはグリッドを貼り付け特徴領域に収縮させて特徴領域を抽出するため、特徴領域でエネルギーが最小となるような画像エネルギーと、ネットあるいはグリッドの形状を保存しようとする保存エネルギーとを生成して、エネルギー最小化原理に基づく収束計算により、画像エネルギーとネットあるいはグリッドの保存エネルギーとを整合させ、特徴領域にネットあるいはグリッドを収縮させる画像処理装置において、
入力画像の特徴領域からエッジ画像を作成する手段と、さらにエッジ画像上の任意の点から近傍の任意の点までの距離に応じた重みを示す距離画像を作成する手段と、その距離画像をエネルギー画像として、上記特徴領域に貼り付けたいネットあるいはグリッドの保存エネルギーとを、エネルギー最小化原理に基づく収束計算により整合させる特徴抽出処理手段とを備えていることを特徴とする画像処理装置の構成。
（４） Active Net、３ＤActive Net、３ＤActive Grid のいずれかにより特徴領域を抽出するものであることを特徴とする前項３に記載の画像処理装置の構成。
【００１１】
【発明の実施の形態】
図１は、本発明の１実施の形態による画像処理システムの構成図であり、便宜上、Active Netによる特徴抽出処理の例を用いて示してある。
図１において、
１は、ＭＲＩ画像などの原画像データファイルである。
２は、画像処理システムであり、任意のコンピュータ上にソフトウエアによって構築される。
３は、原画像から特徴抽出を行ないたい領域部分を切り出す領域切り出し処理部である。原画像中にマニュアル操作により切り出し空間や閾値などを設定して必要領域を切り出す。
４は、エッジ画像作成処理部である。領域切り出し処理部３で切り出された領域を対象に、所定の画素間で空間１次微分を行ない、エッジ画像を作成する。
５は、距離画像作成処理部であり、作成されたエッジ画像に基づいて画素間の距離計算を行ない、距離画像を作成する。
６は、エネルギー画像設定部であり、作成された距離画像を、特徴抽出処理用のエネルギー画像として設定する。
７は、ネット画像初期化部であり、特徴抽出処理用ネットの初期サイズと形状などを指定する。
８は、ネット画像設定部であり、特徴抽出処理用のネット画像を設定する。
９は、特徴抽出処理部であり、設定されているエネルギー画像、ネット画像のデータにしたがって、エネルギー最小化原理の手法に基づく演算を反復実行し、ネット画像の収縮を進める。
１０は、ディスプレイである。
１１は、キーボードである。
１２は、マウスである。
【００１２】
次に、図１のシステム中の主要な処理について詳述する。
【００１３】
エッジ画像作成処理部４は、微分オペレータを用いて、エッジ領域を強調する。エッジは、元の画像から濃度が急激に変化する部分であるため、画像平面上で施せば、エッジ部分が高い値を持つように変換される。ディジタル画像上では、ｘ，ｙの各座標軸方向ごとに差分を取る。
【００１４】
ｘ方向の微分：Δfx(i,j) ＝f(i,j)-f(i-1,j)
ｙ方向の微分：Δfy(i,j) ＝f(i,j)-f(i,j-1)
エッジの強度ｅは、両方向の差分の自乗和の平方根（sqrt）をとる。
【００１５】
ｅ＝sqrt( Δfx(i,j）2 ＋Δfy(i,j）2)
エッジの強調には、主として１次微分オペレータが用いられるが、２次微分オペレータが用いられることもある。
【００１６】
図２は、原画像から切り出された特徴抽出対象画像の例であり、図３は、図２の画像に対して、1 次微分オペレータを用いてエッジを抽出し、エッジ領域の値を１、それ以外の領域の値を０に２値化したエッジ画像の例である。
【００１７】
距離画像作成処理部５は、任意の画素間の距離を、計算が容易な４近傍距離(4-neighbor distance) を用いて求める。２次元画像の場合、２つの画素f(i,j)とf(m,n)間の４近傍距離d4(f(i,j),f(m,n)) は、以下の式で計算できる。
【００１８】
d4(f(i,j),f(m,n)) ＝｜ｉ−ｍ｜＋｜ｊ−n ｜
また３次元画像の場合は、画素の位置を表す係数(i,j,k) と(m,n,l) を用いて以下の式で計算できる。
【００１９】
d4(f(i,j,k)),f(m,n,l))＝｜ｉ−ｍ｜＋｜ｊ−n ｜＋｜ｋ−ｌ｜
図４は、図３のエッジ画像を用いて、距離画像を作成した例である。エッジから離れるにつれて、値が大きくなる。ただし、図４では、画像の表示技術上、エッジ領域を白値の１とし、エッジから離れるほどその値が黒値に近づく（小さくなる）ように画素値を逆転させている。
４近傍の距離画像の場合、中心の画素からの距離値は、以下のような数値になる。
【００２０】
【００２１】
図５の（ａ）、（ｂ）、（ｃ）は、従来のガウシアンフィルタを適用したエネルギー画像と本発明による距離画像とのヒストグラム比較を示す。それぞれ横軸は距離、縦軸はエッジの画素数を示す。図５の（ａ）は、元のエッジ画像のヒストグラムであり、狭いエッジ幅にエッジ部分の画素が集中している様子を示す。図５の（ｂ）は、（ａ）のエッジにガウシアンフィルタを適用した結果のヒストグラムであり、エッジ幅がぼやけて広がっている様子を示す。図５の（ｃ）は、（ａ）のエッジについて求めた距離画像のヒストグラムであり、エッジ幅の中心部が先鋭に保存される様子を示す。
【００２２】
特徴抽出処理部９は、距離画像をエネルギー画像として用いて、エネルギー最小化原理によりネットの収束計算を反復して行ない、ネットを特徴領域に逐次的に収縮させる。距離画像をエネルギー画像とした場合、特徴領域のエッジ部分の位置でエネルギーが最小になるから、エネルギーが最小となるようにネットを収縮させたとき、ネットは特徴領域のエッジ部分に整合しており、特徴領域は、ネットにより抽出されたことになる。
【００２３】
図６は、図４の距離画像をエネルギー画像として収束計算を３００回行なった結果のネット収縮画像を示す。そして図７は、収束計算を１５００回行なった結果のネット収縮画像である。
【００２４】
図８〜図１２はＭＲＩ画像における特徴領域抽出例を示す。図８は、脳のＭＲＩ画像の例である。図９は図８の画像から抽出したエッジ画像を示す。図１０は、図９のエッジ画像から作成された距離画像である。図１１（ａ）は、特徴抽出に用いる円形ネットの初期画像、図１１（ｂ）は、図９の距離画像をエネルギー画像として用い収束計算を２００回反復した結果のネット収縮画像である。同様にして、図１２（ａ）は，収束計算を４００回反復した結果のネット収縮画像、図１２（ｂ）は，収束計算を６００回反復した結果のネット収縮画像を示す。収束計算の回数が増加するにつれ、ネット収縮が進むことがわかる。
【００２５】
本発明による、距離画像をエネルギー画像として用いる特徴抽出処理手法は、Active Netのほか、３ＤActive Net、３ＤActive Gridの手法にも適用することができる。以下、各手法におけるエネルギー最小化原理への本発明の適用について説明する。
３ D Active Net による特徴抽出
3D Active Net は、本発明者らが、先に、ボリュームデータから閉領域を抽出するため、2 次元平面の網モデルである Active Net を３次元空間に拡張したものである（参考文献２）。Snakesを3 次元空間に拡張する試みは、Cohen らが Balloons という曲面モデルを提案し、MRI ボリュームデータから顔の皮膚の一部を抽出しているが、それには特定の領域に整合するための境界条件を必要とする。しかし3D Active Net は、閉じた面モデルであるため、Balloonsのような境界条件を必要とせず、閉領域を包み込むようにして抽出する。また、本モデルはBalloonsのような有限要素法を用いたノード数の削減は行っていない。これは、格子構造を維持することでプログラムが簡単になり、並列計算による高速化が可能になるためである。
【００２６】
3D Active Net は曲面モデルであり、3 次元空間における曲面上の点を２つのパラメータp,q によって次の（１）式のように定義する。
【００２７】
【数１】
このモデルに対して、2 種類のエネルギー、Εint,Εdistを定義する。
【００２９】
Εint は、ネット曲面を保存しようと働く内部エネルギーを表し、面を滑らかに収縮させる力を生じる。
【００３０】
Εdistは、特徴領域のエッジ画像から作成された距離画像に依存する画像エネルギーであり、ネットをボリュームデータの特徴ある部分、つまりエッジ部分に動かす力を生じる。したがって、面全体のエネルギーは、２つのパラメータ p,qで積分して、次の（２）式のように定義される。
【００３１】
【数２】
Εint は、具体的には次の（３）式のように定義される。
【００３３】
【数３】
ここで（３）式の右辺の第１項は、面の１階微分の２乗和で、膜スプラインと呼ばれ、ちょうどゴムの膜のように面を縮ませる力を生じる。第２項は２階微分の２乗和で、薄板スプラインと呼ばれ、面の曲率を小さくし、形を滑らかにする。αとβは、１次偏微分の項と２次偏微分の項とを考慮する割合を決め、これら２つの力を制御するパラメータである。つまりαは網を縮める項のウェイト、βは網を滑らかにする項のウェイトである。
３ D Active Grid による特徴抽出
３D Active Netの手法により抽出される領域は表面のみのモデルであるため，有限要素法で解析するためには，非構造メッシュに変換する必要がある。しかし、対象となる領域が複雑に変形している場合，矛盾のない内部ノードの連結は困難である。また，非構造メッシュを生成せずに，ボクセルを６面体格子に変換して有限要素法を用いる方法を Zhuらが提案しているが，境界部分はボクセル近似となるため，表面の精度が悪くなる欠点を有し，使用するメモリ量および計算量も多い。そのため，本発明者らは、先に、ボリュームデータから領域を抽出し，直接，境界適合格子や有限要素法の６面体要素からなる非構造メッシュを生成する手法として，３D Active Gridを開発した（参考文献４）。
【００３５】
３D Active Gridのモデルは，図１３に示す６面体要素からなる格子構造からなり，各格子点は，３次元空間における位置を表すパラメータｐ．ｑ，ｒを用いて，次の（４）式のように表現される。
【００３６】
【数４】
次に、（４）式で表現されるモデルに対して、グリッドのエネルギーＥgrid
を、次の（５）式のように定義する。
【００３８】
【数５】
ここで，E int はグリッドを保存させるように働く内部歪みのエネルギー，E distは、グリッドを画像に適合させるように働く画像エネルギー，E consはグリッドの制約を規定する外力のエネルギーを表わす。即ち、E int は、グリッドを滑らかに縮小させ，かつ，その形状を保とうとする力であり，E distは、グリッドをボリュームデータの特徴的な領域，つまり距離が０のエッジ部分に移動させる力である。また，外力によるエネルギーE consは、ユーザによる外部からの強制的な制約を表す力である。たとえば，３次元モーフィング等で制約が必要な場合，E consはグリッドの一部を固定するといった場合に用いられる。
【００４０】
具体的には，E int を以下の（６）〜（１５）式で定義する。
【００４１】
ここで、（６）式の右辺第１項は、グリッドを収縮させる力を生じ、第２項は、グリッドの平行性および直進性を保持する力を生じる。またαおよびβは、第１項と第２項のそれぞれの力を制御するパラメータである。
【００４３】
３D Active Gridは，3D Active Net と同様，Active Netを３次元に拡張したモデルであるが，内部ノードを考慮している点で，3D Active Net とは異なる。3D Active Net では，ボリュームデータの輪郭（表面）情報のみを使用していたが，３D Active Gridは輪郭情報と内部情報を利用するため，精度面で3D Active Net より有利である。
＜参考文献＞
１．K.Sakaue and K.Yamamoto,“動的な網のモデルActive Netとその領域抽出への応用”，テレビジョン学会誌，45，10， pp.1155-1163(1991).
２. 高梨郁子，村木茂，土井章男，Ari E Kaufman ，" ３D Active Net-3次元ボリュームの抽出" 映画情報メディア学会，Vol.51，No.12 ，pp.1-9，1997.
３. 土井章男，三浦泰弘，千葉則茂，" ボリュームデータから有限要素メッシュを構築する一手法”，電子情報通信学会論文誌，Vol.82-D-II ，No.1，pp.1-4，1999.
４．土井章男，小向順，小山田耕二，“３D Active Gridを用いた３次元ボリュームの抽出”，情報処理学会論文誌，Vol.41，No.3，pp.570-576，2000.
【００４４】
【発明の効果】
本発明によれば、エネルギー最小化原理に基づく特徴抽出処理において、特徴領域に依存する画像エネルギーとして、エッジ部分からの距離を用いているため、エッジから離れるほど距離、つまりエネルギーの値が増加するため、ネットやグリッドの収束計算を安定に行なわせることができ、しかも従来のガウシアンフィルタのようにエッジ領域をあいまいにすることがないので、正確にネットを貼り付けることができ、精度のよい特徴領域の抽出が可能となる。
【図面の簡単な説明】
【図１】発明の１実施の形態による画像処理システムの構成図である。
【図２】特徴抽出対象画像の例である。
【図３】特徴抽出対象画像から検出されたエッジ画像である。
【図４】エッジ画像から作成した距離画像である。
【図５】距離画像の特性の説明図である。
【図６】収束計算３００回でのネット収縮例の説明図である。
【図７】 収束計算１５００回でのネット収縮例の説明図である。
【図８】脳のＭＲＩ画像の例である。
【図９】脳のＭＲＩ画像から抽出したエッジ画像である。
【図１０】脳のＭＲＩ画像の距離画像である。
【図１１】円形ネットを用いた収縮過程の説明図（その１）である。
【図１２】円形ネットを用いた収縮過程の説明図（その２）である。
【図１３】３D Active Gridの格子構造の説明図である。
【符号の説明】
１： ＭＲＩ画像などの原画像データファイル
２： 画像処理システム
３： 領域切り出し処理部
４： エッジ画像作成処理部
５： 距離画像作成処理部
６： エネルギー画像設定部
７： ネット画像初期化部
８： ネット画像設定部
９： 特徴抽出処理部
１０： ディスプレイ
１１： キーボード
１２： マウス
Claims (4)
- 入力画像中の抽出したい特徴領域にネットあるいはグリッドを貼り付け特徴領域に収縮させて特徴領域を抽出するため、特徴領域でエネルギーが最小となるような画像エネルギーと、ネットあるいはグリッドの形状を保存しようとする保存エネルギーとを生成して、エネルギー最小化原理に基づく収束計算により、画像エネルギーとネットあるいはグリッドの保存エネルギーとを整合させ、特徴領域にネットあるいはグリッドを収縮させる画像処理方法において、
入力画像の特徴領域からエッジ画像を作成し、さらにエッジ画像上の任意の点から近傍の任意の点までの距離に応じた重みを示す距離画像を作成し、その距離画像をエネルギー画像として、上記特徴領域に貼り付けたいネットあるいはグリッドの保存エネルギーとを、エネルギー最小化原理に基づく収束計算により整合させることを特徴とする画像処理方法。 - Active Net、３ＤActive Net、３ＤActive Grid のいずれかにより特徴領域を抽出することを特徴とする請求項１に記載の画像処理方法。
- 入力画像中の抽出したい特徴領域にネットあるいはグリッドを貼り付け特徴領域に収縮させて特徴領域を抽出するため、特徴領域でエネルギーが最小となるような画像エネルギーと、ネットあるいはグリッドの形状を保存しようとする保存エネルギーとを生成して、エネルギー最小化原理に基づく収束計算により、画像エネルギーとネットあるいはグリッドの保存エネルギーとを整合させ、特徴領域にネットあるいはグリッドを収縮させる画像処理装置において、
入力画像の特徴領域からエッジ画像を作成する手段と、さらにエッジ画像上の任意の点から近傍の任意の点までの距離に応じた重みを示す距離画像を作成する手段と、その距離画像をエネルギー画像として、上記特徴領域に貼り付けたいネットあるいはグリッドの保存エネルギーとを、エネルギー最小化原理に基づく収束計算により整合させる特徴抽出処理手段とを備えていることを特徴とする画像処理装置。 - Active Net、３ＤActive Net、３ＤActive Grid のいずれかにより特徴領域を抽出するものであることを特徴とする請求項３に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002004782A JP3905388B2 (ja) | 2002-01-11 | 2002-01-11 | 画像処理方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002004782A JP3905388B2 (ja) | 2002-01-11 | 2002-01-11 | 画像処理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003208626A JP2003208626A (ja) | 2003-07-25 |
| JP3905388B2 true JP3905388B2 (ja) | 2007-04-18 |
Family
ID=27644014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002004782A Expired - Fee Related JP3905388B2 (ja) | 2002-01-11 | 2002-01-11 | 画像処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3905388B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5610129B2 (ja) * | 2010-03-26 | 2014-10-22 | 富士通株式会社 | ３次元テンプレート変形方法、装置及びプログラム |
| JP5505164B2 (ja) * | 2010-07-23 | 2014-05-28 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
-
2002
- 2002-01-11 JP JP2002004782A patent/JP3905388B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003208626A (ja) | 2003-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458957B (zh) | 一种基于神经网络的图像三维模型构建方法及装置 | |
| Min et al. | Fast global image smoothing based on weighted least squares | |
| US8265356B2 (en) | Method and apparatus for efficient automated re-contouring of four-dimensional medical imagery using surface displacement fields | |
| Malladi et al. | A real-time algorithm for medical shape recovery | |
| Li et al. | Feature-preserving 3D mesh simplification for urban buildings | |
| US8363926B2 (en) | Systems and methods for modeling three-dimensional objects from two-dimensional images | |
| EP2082370B1 (en) | Generalized rigid alignment of 3d ear impression models | |
| CN112686935B (zh) | 基于特征融合的机载测深雷达与多光谱卫星影像配准方法 | |
| CN109410260B (zh) | 点云数据网格化方法、装置、计算机设备和存储介质 | |
| CN107730587B (zh) | 一种基于图片快速三维化交互式建模方法 | |
| Liu et al. | Salient critical points for meshes | |
| Yung et al. | Efficient feature-based image registration by mapping sparsified surfaces | |
| CN113034694A (zh) | 自适应于流场特征的度量正交网格自动生成方法及装置 | |
| US6693631B2 (en) | System and method for multi-resolution fairing of non-manifold models | |
| JP6019230B2 (ja) | 地震水平線の決定を向上させるための方法 | |
| Zayer et al. | Setting the Boundary Free: A Composite Approach to Surface Parameterization. | |
| Hildebrandt et al. | Constraint-based fairing of surface meshes | |
| JP3905388B2 (ja) | 画像処理方法および装置 | |
| Lyu et al. | Laplacian-based 3D mesh simplification with feature preservation | |
| Lui et al. | Variational method on riemann surfaces using conformal parameterization and its applications to image processing | |
| CN108876922B (zh) | 一种基于内二面角补角正则化的网格修补方法 | |
| CN111402221B (zh) | 一种图像处理方法、装置及电子设备 | |
| Rumpf et al. | Geometry processing from an elastic perspective | |
| Yu et al. | Intensity guided depth upsampling using edge sparsity and super-weighted $ l_0 $ gradient minimization | |
| Lee et al. | Full 3D surface reconstruction of partial scan data with noise and different levels of scale |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20031031 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040119 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070111 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3905388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140119 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |