JP6267707B2 - ３ｄの通常の超音波画像およびコントラスト向上超音波画像における統合セグメンテーション - Google Patents

３ｄの通常の超音波画像およびコントラスト向上超音波画像における統合セグメンテーション Download PDF

Info

Publication number
JP6267707B2
JP6267707B2 JP2015529155A JP2015529155A JP6267707B2 JP 6267707 B2 JP6267707 B2 JP 6267707B2 JP 2015529155 A JP2015529155 A JP 2015529155A JP 2015529155 A JP2015529155 A JP 2015529155A JP 6267707 B2 JP6267707 B2 JP 6267707B2
Authority
JP
Japan
Prior art keywords
image data
ultrasound image
ultrasound
contrast
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015529155A
Other languages
English (en)
Other versions
JP2015528343A (ja
Inventor
マヌア ミシェル プレヴォ，ラファエル
マヌア ミシェル プレヴォ，ラファエル
ホセ アルドン，ロベルト
ホセ アルドン，ロベルト
ジャンードミニク ベルトラン モーリス モリー，ブノワ
ジャンードミニク ベルトラン モーリス モリー，ブノワ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2015528343A publication Critical patent/JP2015528343A/ja
Application granted granted Critical
Publication of JP6267707B2 publication Critical patent/JP6267707B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20116—Active contour; Active surface; Snakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20161—Level set
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30084—Kidney; Renal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Description

本発明は三次元超音波撮像に関し、特に本発明は画像処理およびスキャンされた体積中のオブジェクトのセグメンテーションに関する。
三次元超音波撮像または体積撮像において、三次元画像の取得は、関心のある体積をスライスする多数の二次元スキャンを実施することによって達成される。よって、互いに隣接する多数の二次元画像が取得される。適正な画像処理によって、これら多数の二次元画像から、関心体積の三次元画像が構築できる。多数の二次元画像から取得される三次元情報は、超音波システムのユーザーのためにディスプレイ上に適正な形で表示される。
さらに、いわゆるライブの三次元撮像または4D撮像がしばしば臨床応用において使われる。ライブの三次元撮像では、上記体積に対するリアルタイム・ビューが取得でき、ユーザーは解剖学的部位の動いている諸部分、たとえば拍動する心臓などを見ることができる。ライブの三次元撮像の臨床応用では、時には単一の弁または中隔欠損のような心臓の比較的小さな領域を撮像する必要があり、時には心室全体のような心臓の大きな領域を撮像する必要がある。
普通のまたは通常の超音波（US）と異なり、コントラスト向上超音波（CEUS: contrast-enhanced ultrasound）は血流のリアルタイムの三次元可視化を可能にする。この近年のモダリティは、種々の有用な情報を提供する一方、（放射線を使わなくてもよく、非毒性の造影剤を使えるため）患者にとって無害なので、ますます関心を集めつつある。腎臓または肝臓のような血管が分布する器官は完全に向上される一方、その周囲はほとんど信号を生じない。
画像セグメンテーションは放射線医にとってはありふれたタスクである。抽出された表面は、器官または腫瘍の体積を定量化するために、あるいは特徴ベースの画像位置合わせを実行するための目印として、使用されることができる。しかしながら、3D画像において手動で器官をセグメンテーションすることはしばしば面倒である。定量化および視覚化ツールは2D画像については比較的入手しやすいものの、3D体積解析はしばしば、臨床実務で実現するのが不可能な面倒な手順を通じて手で行なわれる。しかしながら、そのような方法は満足のいく結果を与えない。したがって、精密なセグメンテーションが必要とされているが、特に多くのノイズおよびさまざまなアーチファクトによって損なわれている超音波画像においては、得るのが難しい。
特許文献１は医療画像の位置合わせのための方法を開示している。この方法は、超音波手順の間に、前に取得した体積を超音波体積と位置合わせして、複数モード画像を生成する。複数モード画像は医療手順を案内するために使われてもよい。複数モード画像は、経直腸超音波画像法（TRUS: transrectal ultrasonography）手順の間にTRUS画像の枠組みにおいて呈示される磁気共鳴撮像（MRI）および／または磁気共鳴分光撮像（MRSI）情報を含む。
改善された自動的なまたは少なくともコンピュータ支援されたセグメンテーション・ツールが必要とされている。
米国特許出願公開第2009/0326363号
改善された超音波システムおよび方法を提供することが本発明の目的である。そのような方法を実装するためのコンピュータ・プログラムを提供することが本発明のさらなる目的である。
本発明の第一の側面では、体積中のオブジェクトを検査するための超音波撮像システムが提示される。本超音波撮像システムは、画像データを受領し、表示データを与えるよう構成された画像プロセッサを有する。該画像プロセッサは、三次元超音波画像データおよびコントラスト向上三次元超音波画像データを受領し、該三次元超音波画像データおよびコントラスト向上三次元超音波画像データから同時にオブジェクトのセグメンテーションを実施するよう構成される。
本発明のあるさらなる側面では、三次元超音波画像からオブジェクトをセグメンテーションする方法が提示される。本方法は、三次元超音波画像データおよびコントラスト向上三次元超音波画像データを提供し、該三次元超音波画像データおよびコントラスト向上三次元超音波画像データから同時にオブジェクトをセグメンテーションする段階を含む。
本発明のあるさらなる側面では、コンピュータ上で実行されたときにコンピュータにそのような方法の段階を実行させるプログラム・コード手段を含むコンピュータ・プログラムが提示される。
本発明の基本的発想は、いずれも超音波撮像を介して取得される二セットの画像データ――通常の三次元超音波画像データおよびコントラスト向上三次元超音波画像データ――を使って、オブジェクトをセグメンテーションするために両方のデータ・セットにおいて同時に探索するというものである。
一般に超音波画像における自動セグメンテーションは、限られた視野、影および減衰、ノイズおよびUSやCEUSに固有の他のさまざまなアーチファクトに起因する曖昧な画像情報のため、非常に困難であることがわかっている。さらに、USおよびCEUS画像にはいずれも異なる利点および困難がある。たとえば、腫瘍は通例、CEUSよりもUSにおいて通常の組織から区別しにくい。一方、CEUS画像では近隣の器官または血管がセグメンテーションを妨害することがある。よって、一つの超音波画像のみに依拠することは、十分堅牢ではなく、他の情報が必要とされる。
コンピュータ断層撮影（CT）のような他のモダリティとは異なり、通常およびコントラスト向上された三次元画像両方の同時取得は理論的には可能である。それにより、二つの画像は自然に整列している。しかしながら、通常およびコントラスト向上された三次元画像が逐次的に取得されることもありうる。その場合、両画像の位置合わせが必要とされる。US画像をCEUS画像に位置合わせする――またはその逆――は、二つの異なる種類の情報の融合を許容するので、それ自身、臨床上関心のあることである。提案される発明は、三次元USおよび三次元CEUS画像からのオブジェクトのセグメンテーションを提供する。セグメンテーションの間に位置合わせ変換が推定できるので、二つの体積は整列している必要はない。
よって、二つの異なる画像を同時に使うことが提案される。これにより既存のセグメンテーション結果が改善される。本セグメンテーションは、US画像は解剖学的情報を提供し、一方CEUS画像は血管分布を示すという点で相補的な情報を使う。目標器官境界の一部が二つの画像の一方において不明瞭であるまたさらには欠けている場合には、さらに、他方の画像からの情報を用いてセグメンテーションを外挿することが可能である。
本発明の好ましい実施形態は従属請求項において定義される。特許請求される方法が、特許請求される装置や従属請求項の定義と同様のおよび／または同一の好ましい実施形態をもつことが理解されるものとする。
ある実施形態では、画像プロセッサはさらに、セグメンテーションされた三次元超音波画像データおよびセグメンテーションされたコントラスト向上三次元超音波画像データの少なくとも一方を使って表示データを提供するよう構成される。ここで、超音波放出システムはさらに、該表示データを受け取って画像を提供するよう構成されるディスプレイを有する。
セグメンテーションされた三次元超音波画像データおよびセグメンテーションされたコントラスト向上三次元超音波画像データは、前に実施されたオブジェクトのセグメンテーションを介して取得される。これにより、セグメンテーションされたオブジェクトは、超音波撮像システムのディスプレイ上でユーザーに対して提示されることができる。特に、セグメンテーションされたオブジェクトは、通常の超音波画像およびコントラスト向上超音波画像として同時に提供されることができる。
あるさらなる実施形態では、画像プロセッサは、初期の幾何形状を変形したものがオブジェクト境界に実質的に一致するようエネルギー項を最小化することによってセグメンテーションを実施するよう構成される。初期の幾何形状は、前記エネルギー項が最小であるときに、オブジェクト境界に可能な限りよく一致するよう変形される。たとえばラプラシアン演算子を適用することによる、のちにより詳細に説明する個別的な応用では、変形された初期の幾何形状の表面を通じた画像勾配フラックスが最大化される。
セグメンテーション・プロセスの間に変換される、前に指定された初期の幾何形状を使う、モデル・ベースの方法が、通常の超音波撮像データおよびコントラスト向上超音波撮像データ両方においてオブジェクトを見出し、セグメンテーションするための、堅牢な収束する方法を提供することが見出された。
セグメンテーションは、初期モデル、たとえば目標オブジェクトの形をおおまかに表わす初期モデルを変形することを含む。一例として、目標オブジェクトが腎臓である場合、初期形状は楕円体であってもよい。この形状は陰関数によって表現される。すなわち、関数φが全空間において定義され、形状内部で正、外部で負となる。その場合、形状はそのような関数のゼロ・レベル集合である。この陰関数全体が空間変換ψによって変形される。特に、ゼロ・レベル集合が変化し、よって対応するオブジェクトも変化する。この変換は、異なる種類の二つの変換に分解される：
Figure 0006267707
 ・G〔本稿では上記に代えて便宜上このように通常の書体を使うことがある〕は、初期形状を並進、回転または再スケーリングすることのできるグローバルな変換である。これは基本的には、必要に応じて初期楕円体を補正する。
・Lは、画像中のセグメンテーションすべきオブジェクトにより精密に一致するようオブジェクトを実際に変形するローカルな変形である。
次いで、本方法の目標は、画像I情報を使って最良のLおよびGを見出すことである。これは、次のエネルギー：
Figure 0006267707
 を最小化することによってなされる。
データ忠実度とも呼ばれる第一項において、Hはヘビサイド関数である（x＞0であればH(x)＝1であり、x＜0であればH(x)＝0）。つまり、積分は実際には変形されるオブジェクトの内部のみである。r(x)は、各点において、ボクセルが関心対象オブジェクトの外部（または内部）にありそうであれば負（または正）の値を返す画像ベースの関数である。曖昧な領域については、r(x)は0に設定される。第二項がいわゆる正則化（regularization）である。第二項は、Lと恒等関数との間のノルムである。オブジェクト形状は楕円体からあまり大きく逸脱すべきではないので、変形の大きさはペナルティを与えられる。この第二項が、変換の分解の目的であったオブジェクトの位置および配向とは独立であることを強調しておく。そのようなエネルギーの最小化は、同時にLおよびGの両方に対する勾配降下法（gradient descent）を使って実行される。
本願では、正確に同じオブジェクトをもつ二つの異なる画像I1およびI2をセグメンテーションしたい。正確に同じオブジェクトをもつというのは、多数の器官、特に腎臓を扱うとき、あるいはUSおよびCEUS画像の両方が同時に取得された場合には妥当な仮定である。
二つの画像がすでに完璧に位置合わせされていたら、上記の式は簡単にもう一つのデータ忠実度項を加えることによって拡張できる。
Figure 0006267707
 しかしながら、位置合わせされた取得は、USおよびCEUS画像の両方が同時に取得される場合にのみ起こりうる。たとえばハードウェアの制約のためにそうでない場合、二つの画像は整列していない。このことはもう一つの変換で考慮に入れられる。一般に、この変換は非剛体変換であって、任意の型のものでもよい。しかしながら、腎臓のような剛体器官検査という個別的な場合、あるいは――他の何らかの理由により――同じオブジェクトを探しているという仮定ができる場合には、この変換（G12と記される）は剛体変換であることができる。すなわち、同じサイズでのみ、位置および配向のグローバルな変化を許容する。変換G12は、計算効率を失うことなく、任意のアフィン変換に設定され、たとえば体積変化を考慮に入れることもできる。その場合、エネルギーは次のようになる。
Figure 0006267707
 基本的に、これは変換G12によって第二項からくる画像情報を補正する。
第三項は、ローカルな変形に対する制約条件として構築される。これは、ローカルな変形がオブジェクトの形状を初期の幾何形状からあまりに大きく逸脱させる場合にペナルティを課す。よって、最小を探す際、第一項と第二項が同じ結果につながる場合には、初期の幾何形状を他の解より少なく変換する解が最良と考えられる。パラメータ「λ」は、この制約条件の重要さを決定するために設定されうる。
USおよびCEUSの応用については、腎臓は二つの画像において異なるコントラストをもつ。US画像では背景より暗く、CEUS画像ではより明るい。これを考慮に入れるため、エネルギーにおける対応する項の前に負号が加えられる。たとえば、US画像データがCEUS画像データに位置合わせされる場合、第二項は負号を加えられる必要がある。やはり最適化は勾配降下法によって、ただしL、GおよびG12に対して同時に実行される。最後に、関数
Figure 0006267707
 のゼロ・レベル集合としてのセグメンテーションは、二つの画像の情報を使ったので、より精密である。さらに、二つの画像を位置合わせすることを許容する変換G12の推定が、たとえば視覚化のために、達成される。
あるさらなる実施形態では、エネルギー項は三次元超音波画像データを表わす第一項およびコントラスト向上三次元超音波画像データを表わす第二項を含む。ここで、変形された初期の幾何形状は第一項および第二項の両方において同じであり、第一項および第二項の一方が、三次元超音波画像データおよびコントラスト向上三次元超音波画像データを位置合わせする位置合わせ変換を含む。
先に説明したように、（通常の）三次元超音波画像データ（US画像）がコントラスト向上三次元超音波画像データ（CEUS画像）に向けて位置合わせされてもよい。しかしながら、位置合わせは逆向きに実行することもできる、すなわちコントラスト向上三次元超音波画像データが三次元超音波画像データのほうに位置合わせされる。
これにより、三次元超音波画像データおよびコントラスト向上三次元超音波画像データからオブジェクトをセグメンテーションするとき、同時に位置合わせ変換も見出すことができる。セグメンテーションに向けて前もって三次元超音波画像データおよびコントラスト向上三次元超音波画像データを位置合わせする必要はない。むしろ、二つの画像データ・セットの位置合わせは、セグメンテーションと同時に実行される。したがって、両者を整列させる幾何学的変換が副産物として入手できる。これは、三次元超音波画像データおよびコントラスト向上三次元超音波画像データを位置合わせして、位置合わせされた両画像を超音波撮像システムのユーザーに対して同時に提供することを可能にする。
あるさらなる実施形態では、初期の幾何形状の変形は、該初期の幾何形状に対してグローバルな変換および非剛体的なローカルな変換を適用することによって実施される。ここで、グローバルな変換は初期の幾何形状を並進、回転およびスケーリングし、非剛体的なローカルな変換は、特に組み込みの平滑をもつ変位場（displacement field）を初期の幾何形状に適用する。エネルギー項はさらに、非剛体的なローカルな変換を制約する第三項を含む。
エネルギー項のこの構成は、セグメンテーションされるべきオブジェクトにおおまかに対応する初期の幾何形状が変換の間に大きく変形されすぎないという利点を提供する。これは、初期の幾何形状の変形を、該初期の幾何形状を並進、回転、スケーリングするグローバルな変換と、初期の幾何形状を変形させる別個のローカルな変換に分離することによって達成される。これにより、本方法はさらに、オブジェクトの形状を初期の幾何形状からあまりに大きく逸脱させるローカルな変換にペナルティを課す第三項を適用することができる。これにより、本アルゴリズムは、初期の幾何形状に近いセグメンテーションを優先する。
あるさらなる実施形態では、画像プロセッサはさらに、基本的な幾何形状の中心、サイズおよび配向を推定することを通じてコントラスト向上三次元超音波画像データにおいてオブジェクトを検出することによってセグメンテーションを初期化し、前記基本的な幾何形状の推定された中心、サイズおよび配向によって初期の幾何形状を提供するよう構成される。
これにより、基本的な幾何形状よりもセグメンテーションに対するよりよい出発点を提供する初期の幾何形状が見出せる。たとえば、スキャンされるオブジェクトが腎臓である場合、基本的な幾何形状は楕円体であってもよい。その場合、初期の幾何形状は、画像データ中の腎臓の実際の位置におおまかに対応するようすでに配向され、中心決めされ、サイズ決めされた楕円体として見出されうる。
あるさらなる実施形態では、画像プロセッサはさらに、三次元超音波画像データおよびコントラスト向上三次元超音波画像データの位置合わせを初期化することを、コントラスト向上三次元超音波画像データにおけるセグメンテーションの初期化によって提供された初期の幾何形状の並進および回転を実施することのみによって、三次元超音波画像データにおける初期の幾何形状を検出することによって、行なうよう構成される。
通常の三次元超音波（US）画像データにおいて楕円体を推定することはより難しい。しかしながら、セグメンテーションの初期化プロセスの間にコントラスト向上（CEUS）画像データにおいてすでに見出された初期の幾何形状を使うことによって、通常の三次元超音波画像データにおいては、並進および回転を探すだけでよい。ひとたびこれが実施されたら、位置合わせの初期化としての、通常の三次元超音波画像データとコントラスト向上三次元超音波画像データの間の位置合わせが得られる。
あるさらなる実施形態では、画像プロセッサはさらに、位置合わせ変換がアフィンであるよう構成される。
一般に、エネルギー項の第一項および第二項の一方において適用される位置合わせ変換は、一般的な変換または非剛体変換であることができる。位置合わせ変換は、いかなる種類のグローバルな線形変換であってもよい。特に、アフィン変換であることができる。アフィン変換は、直線および直線上にある点間の距離の比を保存する変換である。アフィン変換は、線形変換に続いて並進を行なうことと等価である。スキャンされるオブジェクトに依存して、相似またはアフィン変換であってもよい。オブジェクトがたとえば腎臓である場合、その形状は、たとえ通常の三次元超音波画像データおよびコントラスト向上三次元超音波画像データが同時ではなく逐次的に取得されるとしても、同じままであることが想定できる。これは、超音波診断法がスキャンの間、腎臓を変形させず、腎臓がかなり剛性の組織に囲まれているためである。同様の境界条件が、膵臓および脾臓のスキャンにも当てはまりうる。そのような場合、セグメンテーションおよび位置合わせプロセスを簡略化し、高速化するために、剛体変換が適用されてもよい。
あるさらなる実施形態では、超音波撮像システムは、患者の腎臓を検査するために設計される。ここで、画像プロセッサは、さらに、セグメンテーションが、基本的な幾何形状を推定することによって初期化されるよう構成される。基本的な幾何形状は楕円体であり、位置合わせ変換は剛体変換である。
提案される超音波放出システムおよび方法は、腎臓のスキャンにおいて特に有利であることが見出された。これは、位置合わせ変換として剛体変換が適用されうるからのみならず、腎臓の幾何形状が楕円体として推定できるからでもある。さらに、腎臓には血液が流れるので、腎臓をスキャンするためにコントラスト向上三次元超音波撮像が特に好適である。
しかしながら、提案されるシステムおよび方法は患者の他の任意の器官または患者内のオブジェクトの検査に適用されることもできることは強調しておく必要がある。患者の脾臓、膵臓、肝臓または心臓についての他の好適な基本的幾何形状も見出されうる。
あるさらなる実施形態では、超音波撮像システムはさらに、超音波受信信号を提供するよう構成されたトランスデューサ・アレイと、体積をスキャンするようトランスデューサ・アレイを制御するよう構成され、さらに前記超音波受信信号を受領し、画像信号を提供するよう構成されたビーム形成器と、前記ビーム形成器を制御するコントローラと、前記画像信号を受領し、三次元画像データおよびコントラスト向上三次元画像データを提供するよう構成された信号プロセッサとを有する。
これにより、通常の三次元画像データを取得してそれを画像プロセッサに提供するとともに、コントラスト向上三次元画像データも捕捉してそれを画像プロセッサに提供することができる、フルに機能する超音波撮像システムが提供される。これは、ユーザーが患者の身体をスキャンし、通常の超音波画像およびコントラスト向上超音波画像の両方として同時にセグメンテーションされたオブジェクトを見ることを可能にする。
あるさらなる実施形態では、体積中のオブジェクトの三次元超音波画像を与える方法が提供される。本方法は、ある体積の三次元超音波画像データおよび該体積のコントラスト向上三次元超音波画像データを入力し、三次元超音波画像データおよびコントラスト向上三次元超音波画像データを、三次元超音波画像からオブジェクトをセグメンテーションする前記方法に基づき、かつ本発明のある側面に基づいて処理して、セグメンテーションされた三次元超音波画像データおよびセグメンテーションされたコントラスト向上三次元超音波画像データを提供し、セグメンテーションされた三次元超音波画像データおよびセグメンテーションされたコントラスト向上三次元超音波画像データの少なくとも一方を処理して表示データを提供し、前記表示データを使って三次元超音波画像を表示する段階を含む。
これにより、セグメンテーションされたオブジェクトを示す三次元超音波画像がユーザーに提供されることができる。超音波画像は通常の三次元超音波画像またはコントラスト向上三次元超音波画像データまたさらには両方でありうる。さらに、両方の画像が与えられる場合、両者は位置合わせされてもよい。
あるさらなる実施形態では、前記体積の三次元超音波画像データおよび該体積のコントラスト向上三次元超音波画像データを入力する段階は、前記体積をトランスデューサ・アレイを用いて超音波スキャンして超音波信号を提供し、前記体積をトランスデューサ・アレイを用いてコントラスト向上超音波スキャンしてコントラスト向上超音波信号を提供し、前記超音波信号を処理して三次元超音波画像データを提供し、前記コントラスト向上超音波信号を処理して三次元コントラスト向上超音波画像データを提供する段階を含む。
これにより、オブジェクトはユーザーによってスキャンされることができ、ユーザーはこのセグメンテーションされたオブジェクトをディスプレイ上で見ることができる。前記体積をトランスデューサ・アレイを用いて超音波スキャンして超音波信号を提供する段階は、下記では「段階S1」と称され、前記体積をトランスデューサ・アレイを用いてコントラスト向上超音波スキャンしてコントラスト向上超音波信号を提供する段階は、下記では「段階S2」と称される。特に、段階S1およびS2は特定の順序で適用される必要はないことを強調しておく必要がある。これらは他の順で実施され、すなわちまずコントラスト向上超音波スキャンが実施され、次いで通常の超音波スキャンが実施されるのでもよく、あるいは両者が同時に実施されてもよい。
よって、あるさらなる実施形態では、前記体積をトランスデューサ・アレイを用いて超音波スキャンして超音波信号を提供する段階および前記体積をトランスデューサ・アレイを用いてコントラスト向上超音波スキャンしてコントラスト向上超音波信号を提供する段階は、逐次的にまたは同時に実施されうる。
これは、トランスデューサがそのようなスキャンに対応している場合には、オブジェクトの通常のスキャンとコントラスト向上スキャンを同時に行なう可能性を提供する。しかしながら、通常のスキャンとコントラスト向上スキャンが、利用可能なシステムおよび患者の状態に依存して、ある種の順序で実施される場合も可能である。
本発明のこれらおよびその他の側面は、以下に記載される実施形態を参照することから明白となり、明快にされるであろう。
患者の身体のある体積をスキャンするために使用される超音波撮像システムの概略図である。 超音波撮像システムのある実施形態の概略的なブロック図である。 プローブ・ヘッドによってスキャンされる体積の図解である。 オブジェクトの三次元超音波画像を提供する方法のある実施形態の流れ図である。 三次元超音波画像からオブジェクトをセグメンテーションする方法のある実施形態の流れ図である。 図５ａの方法のセグメンテーション段階の詳細な実施例の流れ図である。 ａ〜ｃは、セグメンテーションの間、初期の幾何形状に対して実施される変換を説明する例である。 セグメンテーションが通常の三次元超音波画像のみに基づいて実施される、通常の三次元超音波画像のスライスにおける腎臓のセグメンテーションの例を示す図である。 セグメンテーションが両方の画像において同時に実施される、通常の三次元超音波画像およびコントラスト向上三次元超音波画像のスライスにおける腎臓のセグメンテーションの例を示す図である。 セグメンテーション結果に基づいて位置合わせされた図８の両画像を示す。
図１は、ある実施形態に基づく超音波システム１０、具体的には医療超音波三次元撮像システムの概略図である。超音波撮像システム１０は、ある解剖学的部位、特に患者１２のある解剖学的部位の体積を検査するために適用される。超音波システム１０は、超音波を送信および／または受信する多数のトランスデューサ素子を有する少なくとも一つのトランスデューサ・アレイを有する超音波プローブ１４を有する。一例では、トランスデューサ素子はそれぞれ、ある特定のパルス継続時間の少なくとも一つの送信インパルス、特に複数のその後の送信パルスの形で超音波を送信できる。トランスデューサ素子は、たとえば二次元画像を提供するために、たとえば一次元の列に配列されることができ、それが軸のまわりに機械的に動かされるまたは振られることができる。さらに、トランスデューサ素子は、特に多断面または三次元画像を提供するために、二次元アレイに配列されてもよい。
一般に、それぞれが特定の音響ラインまたは走査ライン、特に走査受信ラインに沿っている多数の二次元画像は、三つの異なる仕方で得られる。第一に、ユーザーは、手動の走査を通じて多数の画像を達成してもよい。この場合、超音波プローブは、走査ラインまたは走査平面の位置および配向を追跡できる位置感知装置を有していてもよい。しかしながら、これは現在考えられていない。第二に、トランスデューサは超音波プローブ内で自動的に機械的に走査されてもよい。一次元的なトランスデューサ・アレイが使われる場合にこれが該当することがある。第三に、好ましくは、位相整列されるトランスデューサの二次元アレイが超音波プローブ内に位置していて、超音波ビームが電子的に走査される。超音波プローブはシステムのユーザー、たとえば医療スタッフまたは医師によって手で保持されてもよい。患者１２内の解剖学的部位の画像が与えられるよう、超音波プローブ１４は患者１２の身体にあてがわれる。
さらに、超音波システム１０は、超音波システム１０による三次元画像の提供を制御する制御ユニット１６を有する。下記でより詳細に説明するように、制御ユニット１６は、超音波プローブ１４のトランスデューサ・アレイによるデータの取得のみならず、超音波プローブ１４のトランスデューサ・アレイによって受領された超音波ビームのエコーから三次元画像を形成する信号および画像処理をも制御する。
超音波システム１０はさらに、三次元画像をユーザーに対して表示するためにディスプレイ１８を有する。さらに、キーまたはキーボード２２およびさらなる入力用デバイス、たとえばトラックボール２４を有する入力装置２０が設けられる。入力装置２０はディスプレイ１８に接続されてもよく、あるいは制御ユニット１６に直接接続されてもよい。
図２は、超音波システム１０の概略的なブロック図である。上記ですでに述べたように、超音波システム１０は、超音波プローブ（PR）１４と、制御ユニット（CU）１６と、ディスプレイ（DI）１８と、入力装置（ID）２０とを有する。上記でさらに述べたように、プローブ（PR）１４は位相整列される二次元トランスデューサ・アレイ２６を有する。一般に、制御ユニット（CU）１６は、画像取得および提供全体を協調させるために、アナログおよび／またはデジタル回路、プロセッサ、マイクロプロセッサなどを含んでいてもよい中央処理ユニットを有していてもよい。さらに、制御ユニット１６は、本稿で中央処理ユニット２８と呼ばれるものを有する。しかしながら、中央処理ユニット２８は、超音波システム１０内の別個のエンティティまたはユニットである必要はないことは理解しておく必要がある。中央処理ユニット２８は、制御ユニット１６の一部であることができ、一般にハードウェアまたはソフトウェア実装されることができる。今の区別は単に例解のためになされる。制御ユニット１６の一部としての中央処理ユニット（CPU）２８はビーム形成器を、またそれにより、体積４０のどんな画像が撮影されるかおよびそうした画像がどのようにして撮影されるかを制御してもよい。ビーム形成器（BF）３０はトランスデューサ・アレイ（TR）２６を駆動する電圧を生成し、部分反復周波数（parts repetition frequency）を決定する。それは、送信されるビームおよび受信もしくは受領ビーム（単数または複数）を走査し、合焦し、アポダイズしてもよく、さらに、トランスデューサ・アレイ２６によって返されるエコー電圧ストリームを増幅フィルタリングおよびデジタイズしてもよい。さらに、制御ユニット１６の中央処理ユニット２８は、一般的な走査方針を決定してもよい。そのような一般的な方針は、所望される体積取得レート、体積の横の広がり、体積の高さ方向の広がり、最大および最小ライン密度、上記ですでに説明した走査ライン時間およびライン密度を含んでいてもよい。ビーム形成器３０はさらに、トランスデューサ・アレイ２６から超音波信号を受領し、それを画像信号として転送する。
さらに、超音波システム１０は、画像信号を受領する信号プロセッサ（SP）３４を有する。信号プロセッサ３４は一般に、アナログからデジタルへの変換、デジタル・フィルタリング、たとえば帯域通過フィルタリングならびに受領された超音波エコーまたは画像信号の検出および圧縮、たとえばダイナミックレンジ縮小のために設けられる。信号プロセッサは画像データを転送する。
さらに、超音波システム１０は、信号プロセッサ３４から受領された画像データをディスプレイ１８上に最終的に示される表示データに変換する画像プロセッサ（IP）３６を有する。特に、画像プロセッサ３６は画像データを受領し、該画像データを前処理し、それを画像メモリに記憶してもよい。そうした画像データは次いでさらに、ディスプレイ１８を介してユーザーに対して最も便利な画像を提供するよう後処理される。今の場合、特に、画像プロセッサ３６は、各スライスにおける多数の二次元画像から三次元画像を形成してもよい。
ユーザー・インターフェースが概括的に参照符号３８で描かれており、ディスプレイ１８および入力装置２０を有する。さらなる入力装置、たとえばマウスまたは超音波プローブ１４自身に設けられていてもよいさらなるボタンを有していてもよい。
本発明を適用しうる三次元超音波システムの具体例は、特に出願人のX6-1またはX7-2t TEEトランスデューサまたは出願人のxMATRIX技術を使う他のトランスデューサとともに、出願人が発売しているCX40 CompactXtreme Ultrasoundシステムである。一般に、フィリップスiE33システムに見られるようなマトリクス・トランスデューサ・システムまたはたとえばフィリップスiU22およびHD15システムに見られるような機械的な3D/4Dトランスデューサ技術が本発明を適用しうる。
図３は、超音波プローブ１４に対する体積４０の例を示している。この例に描かれている例示的な体積４０は、超音波プローブ１４のトランスデューサ・アレイが二次元の電子的に走査されるフェーズド・アレイとして配列されることにより、セクタ型である。よって、体積４０のサイズは、上下角４２および横方向角４４によって表わせる。体積４０の奥行き４６は、ライン当たりの秒数で表わしたいわゆるライン時間によって表わせる。すなわち、特定の走査ラインを走査するために費やされる走査時間である。
体積４０は、多数のスライス４８、５０または二次元画像に分割されてもよい。二つのスライス４８、５０だけが例解目的のために描かれている。実際には、異なる上下角５２をもつ多数のスライス４８、５０が体積４０にわたって拡散している。むろん、スライス４８、５０は上下方向に配向していて、横方向に体積４０を通じて拡散していてもよい。画像取得の間に、超音波プローブ１４の二次元トランスデューサ・アレイは、体積４０が各スライス４８、５０内の多数のこれらの走査ラインに沿って逐次的に走査されるような仕方で、ビーム形成器によって操作される。複数ライン受信処理では、単一の送信ビームが多数、たとえば四つの受信走査ラインを照射してもよく、それらに沿って信号が並列に収集される。もしそうであれば、受信ラインのそのような諸セットは、次いで、体積４０を横断して逐次的に、電子的に操作される。
図４は、体積４０内のオブジェクトの三次元超音波画像を提供する方法の実施形態を示している。方法開始後、体積４０の三次元超音波画像データおよび体積４０のコントラスト向上三次元超音波画像データを入力する第一の段階S0が実施されてもよい。特に、この段階S0は、三つの段階S1、S2およびS3を含んでいてもよい。段階S1では、体積が、トランスデューサ・アレイを用いて（通常通りに）超音波スキャンされ、超音波信号を与える。段階S2では、特に前もって造影剤を与えられた体積の、トランスデューサ・アレイを用いたコントラスト向上超音波スキャンが実施され、コントラスト向上超音波信号を与える。段階S1およびS2は同時に実施されることもでき、あるいは段階S2が段階S1より前に実施されることもできる。
段階S3では、超音波信号およびコントラスト向上超音波信号が処理されて、三次元超音波画像データおよびコントラスト向上三次元超音波画像データを提供する。
この三次元超音波画像データおよびコントラスト向上三次元超音波画像データは、たとえば、超音波撮像システムの画像プロセッサ３６に与えられる。次いで、段階S4において、三次元超音波画像からオブジェクトをセグメンテーションする方法１１２が実施される。これは、三次元超音波画像データおよびコントラスト向上三次元超音波画像データから同時にオブジェクトをセグメンテーションする。この方法についてはのちにより詳細に述べる。
その後、セグメンテーションされた三次元超音波画像データおよびセグメンテーションされたコントラスト向上三次元超音波画像データの少なくとも一方が段階S5において処理され、表示データを与える。
段階S6では、次いで、表示データが、三次元超音波画像を提供するために使われる。三次元超音波画像は、通常の超音波画像および／またはコントラスト向上三次元超音波画像を含んでいてもよい。両方の画像が表示される場合、両者は位置合わせされてもよい。
図５ａは、オブジェクトをセグメンテーションする方法１１２において実施される段階を示している。
開始後、段階S7において、三次元超音波画像データおよびコントラスト向上三次元超音波画像データが提供される。段階S8では、オブジェクトは三次元超音波画像データおよびコントラスト向上三次元超音波画像データから同時にセグメンテーションされる。
本願では、正確に同じオブジェクトをもつ二つの異なる画像I1およびI2をセグメンテーションしたい。正確に同じオブジェクトをもつというのは、多数の器官、特に腎臓を扱うとき、あるいはUSおよびCEUS画像の両方が同時に取得された場合には妥当な仮定でありうる。
二つの画像がすでに完璧に位置合わせされていたら、上記の式は簡単にもう一つのデータ忠実度項を加えることによって拡張できる。
Figure 0006267707
 しかしながら、位置合わせされた取得は、USおよびCEUS画像の両方が同時に取得される場合にのみ起こりうる。逐次的に取得される場合には、USおよびCEUS画像が位置合わせされていることはきわめてありそうもない。よって、このことがもう一つの変換で考慮に入れられる。一般に、この変換は非剛体変換であって、任意の型のものでもよい。しかしながら、特に腎臓検査のような剛体器官検査の場合、あるいは同じオブジェクトを探しているという仮定ができる場合には、この変換（G12と記される）は剛体変換であることができる。すなわち、同じサイズでのみ、位置および配向のグローバルな変化を許容する。変換G12は、計算効率を失うことなく、任意のアフィン変換に設定され、たとえば体積変化を考慮に入れることもできる。その場合、エネルギーは次のようになる。
Figure 0006267707
 基本的に、これは剛体変換G12によって第二項からくる画像情報を補正する。
第三項は、ローカルな変形に対する制約条件として構築される。これは、ローカルな変形がオブジェクトの形状を初期の幾何形状からあまりに大きく逸脱させる場合にペナルティを課す。よって、最小を探す際、第一項と第二項が同じ結果につながる場合には、初期の幾何形状を他の解より少なく変換する解が最良と考えられる。パラメータ「λ」は、この制約条件の重要さを決定するために設定されうる。
USおよびCEUSの応用については、たとえばオブジェクトが腎臓である場合、オブジェクトは二つの画像において異なるコントラストをもつ。オブジェクトはUS画像では背景より暗く、CEUS画像ではより明るい。これを考慮に入れるため、エネルギーにおける対応する項の前に負号が加えられる。たとえば、US画像データがCEUS画像データに位置合わせされる場合、第二項は負号を加えられる必要がある。最適化はやはり勾配降下法によって、ただしL、GおよびG12に対して同時に実行される。最後に、関数
Figure 0006267707
 のゼロ・レベル集合としてのセグメンテーションは、二つの画像の情報を使ったので、より精密である。さらに、二つの画像を位置合わせすることを許容する変換G12の推定が、たとえば視覚化のために、達成される。
図５ｂは、セグメンテーションを実施する段階S8がどのように実施されるかを示している。この実施形態でも、三次元超音波画像データとコントラスト向上三次元超音波画像データの位置合わせが同時に取得できる。
実際のセグメンテーションは、二つの変換を用いて初期の幾何形状を変形することによって得られる。二つの変換とは、回転、並進およびスケーリングを考慮に入れるグローバルな変換と、初期の幾何形状を実際に修正するローカルな変換である。これら二つの変換は、変形後の形状が画像データ中の目標オブジェクトの境界に一致するよう領域競争エネルギー（region competition energy）を最小化することによって見出される。この実施形態では、USおよびCEUSの両方が考慮に入れられるよう、エネルギー項において二つの画像ベースの項が使用される。二つの画像データ・セットは必ずしも位置合わせされていないので、二つの画像ベースの項の一方は変換によって補正される必要がある。たとえば腎臓をスキャンする場合、通常の超音波画像データおよびコントラスト向上超音波画像データの取得の間腎臓は変形しないという仮定をすることができ、よって並進および回転のみする剛体変換が適用できる。次いで、USとCEUS画像の間のグローバルな変換、ローカルな変換および剛体変換に関するエネルギーが最適化されることができる。
まず、初期の幾何形状６４を見出すことによってセグメンテーションが初期化されてもよい。セグメンテーションのこの初期化は、次のように実施されてもよい。諸器官、特に腎臓のCEUS画像は皮質向上を示し、その後まもなくして髄質向上が続く。その場合、腎臓組織のよりよい視覚化が得られる。腎臓組織は高エコーであるのに対し、その脂肪質の周囲は信号を生じないからである。腎臓形状は楕円体によっておおまかに近似できるので、CEUS画像における腎臓検出問題は、最初に、高エコー・ボクセルの大半を包含する最小楕円体を見出すことに帰着できる。画像中の楕円を検出するために、ハフ変換のような方法が提案されている。しかしながら、その三次元への拡張は、可能ではあるが、推定すべきパラメータの数（三次元楕円体については九個のパラメータ）のため、通例、計算上高価である。他方、堅牢な最小体積楕円体（MVE: Minimum Volume Ellipsoid）推定器のような統計的なアプローチはより好適だが、突出値（ここではノイズおよびアーチファクト）の割合についての事前の知識を必要とする。この割合は画像によって変わりうるもので、よって入手可能ではない。
楕円体の中心c∈R3および3×3の正定値行列によってエンコードされるサイズ／配向を堅牢に推定するために、すでに提示された方法が使用されうる。突出値（outlier）を堅牢に除外することは、任意の点xが正常値（inlier）である信頼スコアを与える重み付け関数w（画像域Ωにわたって定義され[0,1]の値をもつ）を推定することによってなされる。
Figure 0006267707
 がグレースケール体積であるとし、次の検出エネルギーを最小にするものとしてc、Mおよびwが探索される。
Figure 0006267707
 楕円体はφ（内部で正になる）によって陰に表現される。よって、Edの第一項は、楕円体ができるだけ多くの明るいボクセルを含むようにさせる。wの役割は、突出値の影響を無視することである。第二項は、定義域体積|Ω|に対して楕円体の体積Vol(M)にペナルティを課す。これは、トレードオフ・パラメータμ＞0によって重み付けられ、∫Iwによって規格化される。
Edは統計的な意味をもつ：wが固定されているとき、それを最小にするもの（c*,M*）はそれぞれ重心およびIwで重みをかけた全ボクセルの共変行列の逆行列に比例する。さらに、Edは、定義により[0;1]に制約されるwに関して線形である。したがって、すべてのボクセルxにおいて、最小にするw*(x)は0または1に等しく、φ−μlog（Vol(M)／|Ω|）の符号のみに依存する。その場合、w*はμに比例して拡張された現在の楕円体推定の指標である。
μの選択は枢要である。理想的な場合（黒の背景上の白の楕円体）、本方法は（2Dでは）μ＝1/4または（3Dでは）μ＝1/5の場合に厳密な解を提供する。実際上、これらに近い値が選ばれるべきである。
Edの最小化は、表(1)にまとめたように変数c、Mおよびwを相次いで更新する交互逐次反復方式で実行される。エネルギーEdが各段階で減少するにつれて、エネルギーは極小に収束する。実際上、収束のためにはごく少数の反復工程が必要とされるだけであり、計算時間は標準的なコンピュータ上で１秒未満である。
上記で説明した公式を実装する、当業者に既知の方法は下記の表に示されるようになりうる。
Figure 0006267707
 よって、当業者に既知の上記の方法が、セグメンテーションを初期化するために使用されてもよい。しかしながら、初期の幾何形状を見出したら、位置合わせ７６も初期化されうることが見出された。これは、初期の幾何形状６４を通常の三次元超音波画像データにおいても、初期の幾何形状を並進および回転させることのみによって探すことによって実施されうる。これにより、通常の三次元超音波画像データとコントラスト向上三次元超音波画像データの間の初期の幾何学的変換を提供できる。この幾何学的変換は、前に推定された楕円体の、通常の三次元超音波画像中での（並進および回転による）網羅的探索によって推定される。次いで、ブロック６４および７６のための初期化を提供し、三次元超音波画像データ６２およびコントラスト向上三次元超音波画像データ６０を提供したところで、実際のセグメンテーションが行なえる。セグメンテーションは以下のように機能する。
前に検出された楕円体が今、腎臓をより精密にセグメンテーションするために、前に記述された枠組みに従って変形される。この個別的応用では、画像ベースの項がr(x)＝±△I(x)に設定される。ここで、△演算子はラプラシアン演算子を表わす。数学的には、オブジェクト内部の画像のラプラシアンを最小化することは、オブジェクトの表面の法線ベクトルが画像勾配に一致するべきであることを意味する。すなわち、本セグメンテーション方法は、明から暗（あるいは、複号に依存して暗から明）へのエッジを探す。非剛体的なローカル変形Lは変位場（displacement field）uを使って、
Figure 0006267707
 のように表わされる。Kσは、組み込みの平滑を提供するガウシアン・カーネルである。US画像またはUS画像データをI1、CEUS画像またはCEUS画像データをI2と表わすと、最終的なエネルギーは次のようになる。
Figure 0006267707
 このエネルギーが、勾配降下法を通じて、Gのパラメータ、G12のパラメータおよびベクトル場uの各成分に関して、最小化される。
図５ｂでは、超音波画像データのグローバル変換７０およびコントラスト向上超音波画像データのグローバル変換６８が実施されて、両画像データを参照系に変換することが示されている。通常の三次元超音波画像データはブロック７４で、コントラスト向上超音波画像データはブロック７２で変換される。しかしながら、もちろんのこと、通常の三次元超音波画像データまたはコントラスト向上超音波画像データのいずれかの座標系が参照系として使われてもよく、よって、通常の三次元超音波画像データおよびコントラスト向上三次元超音波画像データの一方のみが実際に変換される必要があるということもある。同時に、ローカル変形７８が上記で説明したようにして実施される。これは、上記で説明したような初期の幾何形状６４の６６の変形されたモデルにつながる。初期の幾何形状、たとえば腎臓の場合楕円体のこの変形したモデルを適用することによって、ブロック８０において、通常の三次元超音波画像データおよびコントラスト向上三次元超音波画像データからオブジェクトをセグメンテーションできる。副産物として、通常の三次元超音波画像データおよびコントラスト向上三次元超音波画像データは、同じ参照系においてグローバルおよびローカルに変形される必要があるので、通常の三次元超音波画像データおよび三次元超音波画像データを位置合わせする変換がブロック７６として見出される。
ここでもまた、例解目的のため、図６のａは、画像８２中の例示的な関数φ８４を示している。
図６のｂでは、上記で説明した初期化プロセスにおいて見出された初期の幾何形状６４が、基本的な幾何形状８４から与えられる。通常の三次元超音波画像データおよびコントラスト向上三次元超音波画像データからオブジェクトをセグメンテーションする変形されたモデル８６につながる変換ψが探される。
図６のｃでは、またもや、初期の幾何形状６４から変形されたモデル８６への変換がどのようにローカルな変形７８とグローバルな変形６８、７０との間で分割されるかが詳細に示されている。上記で説明したように、初期の幾何形状を変形形状９２にローカルに変形するローカル変換関数９０が提供される。次いで、変形モデル９２を並進、回転およびスケーリングするグローバル変換が供給される。対応する結果は図７ないし図９に示される。
図７は、コントラスト向上三次元超音波画像のみに基づく従来技術のセグメンテーションの結果を示している。近隣構造中においてたとえば血液の漏れがあるかもしれないので、そのようなセグメンテーション・プロセスの帰結は正しくない。そのようなコントラスト向上画像のみを使うのでは、曖昧な画像情報が存在するので、生じる問題に対処するのは非常に難しい。
画像９６は、オブジェクト９７、図７の示される例では腎臓を示している。セグメントは線９８によって指示されるが、正しくない。
図８が示すように、この曖昧さは、上記で提案したセグメンテーション方法および超音波撮像システムを使うことによって解決できる。図８は、通常の超音波画像１００およびコントラスト向上超音波画像９９両方において同時に腎臓のセグメンテーションを示す。超音波撮像システムにおける提案される方法は、両方の画像において同じ形状を見出す。セグメンテーションは両方の画像において正しくなる。二つの画像９９、１００において異なるサイズが示されている場合には、セグメンテーションされたオブジェクト１０１と１０２の間のわずかな逸脱が生じることがある。
さらに、副産物として、位置合わせ変換が検出される。図９は、二つの位置合わせされた画像、位置合わせされたコントラスト向上超音波画像１０４および位置合わせされた通常の超音波画像１０５が、図９に描かれるように同時に示されうることを示している。
本発明について、図面および上記の記述において詳細に図示し、説明してきたが、そのような図示および記述は制約するものではなく、例解または例示するものと考えられるべきである。本発明は開示されている実施形態に限定されるものではない。図面、本開示および付属の請求項の吟味から、開示されている実施形態に対する他の変形が、特許請求される発明を実施する際に当業者によって理解され、実施されることができる。
請求項において、「有する／含む」の単語は他の要素や段階を排除するものではなく、単数形の表現は複数を排除するものではない。単一の要素または他のユニットが請求項に記載されているいくつかの項目の機能を充足することもある。ある種の施策が互いに異なる従属請求項に記載されているというだけの事実が、それらの施策の組み合わせが有利に使用できないことを示すものではない。
コンピュータ・プログラムが、他のハードウェアと一緒にまたは他のハードウェアの一部として供給される光学式記憶媒体または固体媒体のような好適な媒体上で記憶／頒布されてもよいが、インターネットまたは他の有線もしくは無線の遠隔通信システムを介してなど他の形で頒布されてもよい。
請求項に参照符号があったとしても、範囲を限定するものと解釈するべきではない。
いくつかの態様を記載しておく。
〔態様１〕
体積中のオブジェクトを検査するための超音波撮像システムであって：
画像データを受領し、表示データを与えるよう構成された画像プロセッサであって、前記画像プロセッサは、三次元超音波画像データおよびコントラスト向上三次元超音波画像データを受領し、該三次元超音波画像データおよびコントラスト向上三次元超音波画像データから同時に前記オブジェクトのセグメンテーションを実施するよう構成されている、画像プロセッサを有する、
超音波撮像システム。
〔態様２〕
前記画像プロセッサはさらに、セグメンテーションされた三次元超音波画像データおよびセグメンテーションされたコントラスト向上三次元超音波画像データの少なくとも一方を使って表示データを提供するよう構成されており、当該超音波撮像システムはさらに、前記表示データを受け取って画像を提供するよう構成されたディスプレイを有する、態様１記載の超音波撮像システム。
〔態様３〕
前記画像プロセッサは、初期の幾何形状を変形したものが前記オブジェクトの境界に実質的に一致するようエネルギー項を最小化することによって前記セグメンテーションを実施するよう構成されている、態様１記載の超音波撮像システム。
〔態様４〕
前記エネルギー項は、前記三次元超音波画像データを表わす第一項および前記コントラスト向上三次元超音波画像データを表わす第二項を含み、前記初期の幾何形状を変形したものは前記第一項および前記第二項の両方において同じであり、前記第一項および前記第二項の一方が、前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データを位置合わせする位置合わせ変換を含む、態様３記載の超音波撮像システム。
〔態様５〕
前記初期の幾何形状の変形は、該初期の幾何形状に対してグローバルな変換および非剛体的なローカルな変換を適用することによって実施され、前記グローバルな変換は前記初期の幾何形状を並進、回転およびスケーリングし、前記非剛体的なローカルな変換は、前記初期の幾何形状に対して組み込みの平滑をもつ変位場を適用し、前記エネルギー項はさらに、前記非剛体的なローカルな変換を制約する第三項を含む、態様４記載の超音波撮像システム。
〔態様６〕
前記画像プロセッサはさらに、基本的な幾何形状の中心、サイズおよび配向を推定することを通じて前記コントラスト向上三次元超音波画像データにおいて前記オブジェクトを検出することによって前記セグメンテーションを初期化し、前記基本的な幾何形状の推定された中心、サイズおよび配向によって前記初期の幾何形状を提供するよう構成されている、態様１記載の超音波撮像システム。
〔態様７〕
前記画像プロセッサはさらに、前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データの位置合わせを初期化することを、前記コントラスト向上三次元超音波画像データにおける前記セグメンテーションの前記初期化によって提供された前記初期の幾何形状の並進および回転を実施することのみによって、前記三次元超音波画像データにおける前記初期の幾何形状を検出することによって行なうよう構成されている、態様６記載の超音波撮像システム。
〔態様８〕
前記画像プロセッサはさらに、前記位置合わせ変換がアフィンであるよう構成されている、態様４記載の超音波撮像システム。
〔態様９〕
当該超音波撮像システムは、患者の腎臓を検査するために設計されており、前記画像プロセッサはさらに、前記セグメンテーションが、基本的な幾何形状を推定することによって初期化されるよう構成されており、前記基本的な幾何形状は楕円体であり、前記位置合わせ変換は剛体的である、態様１記載の超音波撮像システム。
〔態様１０〕
超音波受信信号を提供するよう構成されたトランスデューサ・アレイと；
前記体積をスキャンするよう前記トランスデューサ・アレイを制御するよう構成され、さらに前記超音波受信信号を受領し、画像信号を提供するよう構成されたビーム形成器と；
前記ビーム形成器を制御するコントローラと；
前記画像信号を受領し、三次元画像データおよびコントラスト向上三次元画像データを提供するよう構成された信号プロセッサとをさらに有する、
態様１記載の超音波撮像システム。
〔態様１１〕
三次元超音波画像からオブジェクトをセグメンテーションする方法であって：
三次元超音波画像データおよびコントラスト向上三次元超音波画像データを提供する段階と；
前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データから同時に前記オブジェクトをセグメンテーションする段階とを含む、
方法。
〔態様１２〕
体積中のオブジェクトの三次元超音波画像を与える方法であって：
前記体積の三次元超音波画像データおよび前記体積のコントラスト向上三次元超音波画像データを入力する段階と；
前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データを、態様１１記載の方法に従って処理して、セグメンテーションされた三次元超音波画像データおよびセグメンテーションされたコントラスト向上三次元超音波画像データを提供する段階と；
前記セグメンテーションされた三次元超音波画像データおよび前記セグメンテーションされたコントラスト向上三次元超音波画像データの少なくとも一方を処理して表示データを与える段階と；
前記表示データを使って三次元超音波画像を表示する段階とを含む、
方法。
〔態様１３〕
前記体積の三次元超音波画像データおよび前記体積のコントラスト向上三次元超音波画像データを入力する前記段階は：
前記体積をトランスデューサ・アレイを用いて超音波スキャンして超音波信号を提供する段階と、
前記体積をトランスデューサ・アレイを用いてコントラスト向上超音波スキャンしてコントラスト向上超音波信号を提供する段階と、
前記超音波信号を処理して三次元超音波画像データを提供し、前記コントラスト向上超音波信号を処理して三次元コントラスト向上超音波画像データを提供する段階とを含む、
態様１２記載の方法。
〔態様１４〕
前記体積をトランスデューサ・アレイを用いて超音波スキャンして超音波信号を提供する前記段階および前記体積をトランスデューサ・アレイを用いてコントラスト向上超音波スキャンしてコントラスト向上超音波信号を提供する前記段階は、逐次的にまたは同時に実施される、態様１３記載の方法。
〔態様１５〕
コンピュータ上で実行されたときにコンピュータに態様１１記載の方法の段階を実行させるためのプログラム・コード手段を有するコンピュータ・プログラム。

Claims (12)

  1. 体積中のオブジェクトを検査するための超音波撮像システムであって、当該システムは：
    画像データを受領し、表示データを与えるよう構成された画像プロセッサを有しており、前記画像プロセッサは、
    三次元超音波画像データおよびコントラスト向上三次元超音波画像データを受領し、
    初期の幾何形状を変形したものが前記オブジェクトの境界に実質的に一致するようエネルギー項を最小化することによって、前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データから同時に前記オブジェクトのセグメンテーションを実施するよう構成されており、
    前記エネルギー項は、前記三次元超音波画像データを表わす第一項および前記コントラスト向上三次元超音波画像データを表わす第二項を含み、前記初期の幾何形状を変形したものは前記第一項および前記第二項の両方において同じであり、前記第一項および前記第二項の一方が、前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データを位置合わせする位置合わせ変換を含む、
    超音波撮像システム。
  2. 前記画像プロセッサはさらに、セグメンテーションされた三次元超音波画像データおよびセグメンテーションされたコントラスト向上三次元超音波画像データの少なくとも一方を使って表示データを提供するよう構成されており、当該超音波撮像システムはさらに、前記表示データを受け取って画像を提供するよう構成されたディスプレイを有する、請求項１記載の超音波撮像システム。
  3. 前記初期の幾何形状の変形は、該初期の幾何形状に対してグローバルな変換および非剛体的なローカルな変換を適用することによって実施され、前記グローバルな変換は前記初期の幾何形状を並進、回転およびスケーリングし、前記非剛体的なローカルな変換は、前記初期の幾何形状に対して組み込みの平滑をもつ変位場を適用し、前記エネルギー項はさらに、前記非剛体的なローカルな変換を制約する第三項を含む、請求項１記載の超音波撮像システム。
  4. 体積中のオブジェクトを検査するための超音波撮像システムであって、当該システムは：
    画像データを受領し、表示データを与えるよう構成された画像プロセッサを有しており、前記画像プロセッサは、
    三次元超音波画像データおよびコントラスト向上三次元超音波画像データを受領し、
    該三次元超音波画像データおよびコントラスト向上三次元超音波画像データから同時に前記オブジェクトのセグメンテーションを実施するよう構成されており、
    前記画像プロセッサはさらに、基本的な幾何形状の中心、サイズおよび配向を推定することを通じて前記コントラスト向上三次元超音波画像データにおいて前記オブジェクトを検出することによって前記セグメンテーションを初期化し、前記基本的な幾何形状の推定された中心、サイズおよび配向によって初期の幾何形状を提供するよう構成されている、
    超音波撮像システム。
  5. 前記画像プロセッサはさらに、前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データの位置合わせを初期化することを、前記コントラスト向上三次元超音波画像データにおける前記セグメンテーションの前記初期化によって提供された前記初期の幾何形状の並進および回転を実施することのみによって、前記三次元超音波画像データにおける前記初期の幾何形状を検出することによって行なうよう構成されている、請求項４記載の超音波撮像システム。
  6. 前記画像プロセッサはさらに、前記位置合わせ変換がアフィンであるよう構成されている、請求項１記載の超音波撮像システム。
  7. 当該超音波撮像システムは、患者の腎臓を検査するために設計されており、前記画像プロセッサはさらに、前記セグメンテーションが、基本的な幾何形状を推定することによって初期化されるよう構成されており、前記基本的な幾何形状は楕円体であり、前記位置合わせ変換は剛体的である、請求項１記載の超音波撮像システム。
  8. 超音波受信信号を提供するよう構成されたトランスデューサ・アレイと；
    前記体積をスキャンするよう前記トランスデューサ・アレイを制御するよう構成され、さらに前記超音波受信信号を受領し、画像信号を提供するよう構成されたビーム形成器と；
    前記ビーム形成器を制御するコントローラと；
    前記画像信号を受領し、三次元画像データおよびコントラスト向上三次元画像データを提供するよう構成された信号プロセッサとをさらに有する、
    請求項１ないし７のうちいずれか一項記載の超音波撮像システム。
  9. 三次元超音波画像からオブジェクトをセグメンテーションする方法であって：
    三次元超音波画像データおよびコントラスト向上三次元超音波画像データを提供する段階と；
    初期の幾何形状を変形したものが前記オブジェクトの境界に実質的に一致するようエネルギー項を最小化することによって、前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データから同時に前記オブジェクトをセグメンテーションする段階とを含み、
    前記エネルギー項は、前記三次元超音波画像データを表わす第一項および前記コントラスト向上三次元超音波画像データを表わす第二項を含み、前記初期の幾何形状を変形したものは前記第一項および前記第二項の両方において同じであり、前記第一項および前記第二項の一方が、前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データを位置合わせする位置合わせ変換を含む、
    方法。
  10. 体積中のオブジェクトの三次元超音波画像を表示する方法であって：
    前記体積の三次元超音波画像データおよび前記体積のコントラスト向上三次元超音波画像データを受領する段階と；
    前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データを、請求項９記載の方法に従って処理して、セグメンテーションされた三次元超音波画像データおよびセグメンテーションされたコントラスト向上三次元超音波画像データを提供する段階と；
    前記セグメンテーションされた三次元超音波画像データおよび前記セグメンテーションされたコントラスト向上三次元超音波画像データの少なくとも一方を処理して表示データを与える段階と；
    前記表示データを使って三次元超音波画像を表示する段階とを含む、
    方法。
  11. 受領された前記三次元超音波画像データおよび前記コントラスト向上三次元超音波画像データは、逐次的にまたは同時に実施された超音波スキャンによって得られたものである、請求項１０記載の方法。
  12. コンピュータ上で実行されたときにコンピュータに請求項９ないし１１のうちいずれか一項記載の方法の段階を実行させるためのプログラム・コード手段を有するコンピュータ・プログラム。
JP2015529155A 2012-08-30 2013-08-16 ３ｄの通常の超音波画像およびコントラスト向上超音波画像における統合セグメンテーション Active JP6267707B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12306033.7 2012-08-30
EP12306033 2012-08-30
PCT/IB2013/056676 WO2014033584A1 (en) 2012-08-30 2013-08-16 Coupled segmentation in 3d conventional ultrasound and contrast-enhanced ultrasound images

Publications (2)

Publication Number Publication Date
JP2015528343A JP2015528343A (ja) 2015-09-28
JP6267707B2 true JP6267707B2 (ja) 2018-01-24

Family

ID=46970164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015529155A Active JP6267707B2 (ja) 2012-08-30 2013-08-16 ３ｄの通常の超音波画像およびコントラスト向上超音波画像における統合セグメンテーション

Country Status (7)

Country Link
US (2) US9934579B2 (ja)
EP (1) EP2891133B1 (ja)
JP (1) JP6267707B2 (ja)
CN (1) CN104584074B (ja)
BR (1) BR112015004061B1 (ja)
RU (1) RU2653274C2 (ja)
WO (1) WO2014033584A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015004061B1 (pt) 2012-08-30 2021-12-14 Koninklijke Philips N.V. Sistema de geração de imagens por ultrassom para a inspeção de um objeto em um volume, e método para a provisão de uma imagem por ultrassom tridimensional de um objeto em um volume.
JP6537981B2 (ja) * 2013-02-28 2019-07-03 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 複数の三次元ビューからの大きな対象のセグメンテーション
CN106030657B (zh) * 2014-02-19 2019-06-28 皇家飞利浦有限公司 医学4d成像中的运动自适应可视化
CN106456128B (zh) 2014-06-12 2020-10-23 皇家飞利浦有限公司 医学图像处理设备和方法
CN106462971B (zh) 2014-06-25 2021-01-26 皇家飞利浦有限公司 用于配准不同成像模态的成像设备
WO2016092408A1 (en) * 2014-12-09 2016-06-16 Koninklijke Philips N.V. Feedback for multi-modality auto-registration
WO2016151428A1 (en) * 2015-03-25 2016-09-29 Koninklijke Philips N.V. Optimal ultrasound-based organ segmentation
CN107835661B (zh) * 2015-08-05 2021-03-23 深圳迈瑞生物医疗电子股份有限公司 超声图像处理系统和方法及其装置、超声诊断装置
KR102522539B1 (ko) * 2015-08-17 2023-04-18 삼성전자주식회사 의료영상 표시장치 및 의료영상 처리방법
US10417778B2 (en) 2016-01-29 2019-09-17 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus and medical image processing apparatus
CN106056589B (zh) * 2016-05-24 2018-12-07 西安交通大学 一种呼吸运动补偿的超声造影灌注参量成像方法
KR101915254B1 (ko) * 2016-11-17 2018-11-05 삼성메디슨 주식회사 초음파 영상 장치 및 제어방법
CN106991722A (zh) * 2017-03-01 2017-07-28 浙江大学 一种基于斜椭球域影响凸包的几何网格模型变形方法
EP3412214A1 (en) * 2017-06-08 2018-12-12 Koninklijke Philips N.V. Ultrasound imaging method
CN108198235B (zh) * 2017-12-25 2022-03-04 中国科学院深圳先进技术研究院 一种三维超声重建方法、装置、设备及存储介质
US10885630B2 (en) * 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
RU2681700C1 (ru) * 2018-04-19 2019-03-12 Общество С Ограниченной Ответственностью "Биомедицинские Технологии" Способ трехмерной визуализации в реальном времени
EP3692925A1 (en) * 2019-02-11 2020-08-12 Koninklijke Philips N.V. Methods and systems for valve regurgitation assessment
US11308627B1 (en) 2021-09-17 2022-04-19 King Abdulaziz University Method for 3D ultrasound reconstruction of supraspinatus (SSP) tendon
CN113962991B (zh) * 2021-12-21 2022-03-15 武汉大学 医学图像的处理方法、装置、计算机设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6544179B1 (en) 2001-12-14 2003-04-08 Koninklijke Philips Electronics, Nv Ultrasound imaging system and method having automatically selected transmit focal positions
US7650025B2 (en) 2005-08-01 2010-01-19 Siemens Medical Solutions Usa, Inc. System and method for body extraction in medical image volumes
US20090149756A1 (en) * 2006-06-23 2009-06-11 Koninklijke Philips Electronics, N.V. Method, apparatus and computer program for three-dimensional ultrasound imaging
US20100286524A1 (en) * 2006-07-14 2010-11-11 Koninklijke Philips Electronics, N.V. System and method for organizing, recording and displaying images in ultrasound imaging systems
RU2009129139A (ru) * 2006-12-29 2011-02-10 Конинклейке Филипс Электроникс, Н.В. (Nl) Улучшенная регистрация изображений и способы для компенсировния интраоперационного движения в контролируемых по изображениям процедурах оперативного вмешательства
US8781193B2 (en) * 2007-03-08 2014-07-15 Sync-Rx, Ltd. Automatic quantitative vessel analysis
US20090326363A1 (en) 2008-05-02 2009-12-31 Eigen, Llc Fused image modalities guidance
CN102460509B (zh) 2009-06-24 2015-01-07 皇家飞利浦电子股份有限公司 基于图像信息建立结构的轮廓
US8724878B2 (en) * 2012-01-12 2014-05-13 General Electric Company Ultrasound image segmentation
BR112014029565B1 (pt) * 2012-05-31 2021-12-28 Koninklijke Philips N.V. Sistema de formação de imagens de ultrassom e método de fornecimento de imagem de ultrassom com informações de vasos
BR112015004061B1 (pt) * 2012-08-30 2021-12-14 Koninklijke Philips N.V. Sistema de geração de imagens por ultrassom para a inspeção de um objeto em um volume, e método para a provisão de uma imagem por ultrassom tridimensional de um objeto em um volume.

Also Published As

Publication number Publication date
BR112015004061B1 (pt) 2021-12-14
CN104584074A (zh) 2015-04-29
EP2891133B1 (en) 2019-10-09
US10242450B2 (en) 2019-03-26
JP2015528343A (ja) 2015-09-28
BR112015004061A2 (pt) 2017-07-04
US20150213613A1 (en) 2015-07-30
US20180211391A1 (en) 2018-07-26
RU2653274C2 (ru) 2018-05-07
CN104584074B (zh) 2020-09-22
EP2891133A1 (en) 2015-07-08
RU2015111244A (ru) 2016-10-20
WO2014033584A1 (en) 2014-03-06
US9934579B2 (en) 2018-04-03

Similar Documents

Publication Publication Date Title
JP6267707B2 (ja) ３ｄの通常の超音波画像およびコントラスト向上超音波画像における統合セグメンテーション
JP6537981B2 (ja) 複数の三次元ビューからの大きな対象のセグメンテーション
CN106456128B (zh) 医学图像处理设备和方法
KR101932721B1 (ko) 의료 영상들의 정합 방법 및 장치
Lee et al. Non-rigid registration between 3D ultrasound and CT images of the liver based on intensity and gradient information
JP5835680B2 (ja) 画像位置合わせ装置
JP4918048B2 (ja) 画像処理装置及び方法
US9179890B2 (en) Model-based positioning for intracardiac echocardiography volume stitching
KR101121396B1 (ko) 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
Che et al. Ultrasound registration: A review
Prevost et al. Kidney detection and real-time segmentation in 3D contrast-enhanced ultrasound images
Guo et al. Automatic segmentation of a fetal echocardiogram using modified active appearance models and sparse representation
Leung et al. Sparse registration for three-dimensional stress echocardiography
WO2019130636A1 (ja) 超音波撮像装置、画像処理装置、及び方法
King et al. Image-to-physical registration for image-guided interventions using 3-D ultrasound and an ultrasound imaging model
Bergmeir et al. Operator guidance in 2D echocardiography via 3D model to image registration
Duan et al. Augmenting CT cardiac roadmaps with segmented streaming ultrasound
Leung Experimental Validation of an Elastic Registration Algorithm for Ultrasound Images
Leung Automated Analysis of 3D Stress Echocardiography

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170526

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171128

R150 Certificate of patent or registration of utility model

Ref document number: 6267707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250