JP6207534B2 - マルチモダリティ・デフォーマブルレジストレーション - Google Patents

マルチモダリティ・デフォーマブルレジストレーション Download PDF

Info

Publication number
JP6207534B2
JP6207534B2 JP2014561571A JP2014561571A JP6207534B2 JP 6207534 B2 JP6207534 B2 JP 6207534B2 JP 2014561571 A JP2014561571 A JP 2014561571A JP 2014561571 A JP2014561571 A JP 2014561571A JP 6207534 B2 JP6207534 B2 JP 6207534B2
Authority
JP
Japan
Prior art keywords
deformation
imaging
image
modality
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014561571A
Other languages
English (en)
Other versions
JP2015515297A (ja
Inventor
マラゴーシュ,アミル モハンマド タフマセビ
マラゴーシュ,アミル モハンマド タフマセビ
クリュッカー,ヨッヘン
シャリフィ,マフムードレザ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2015515297A publication Critical patent/JP2015515297A/ja
Application granted granted Critical
Publication of JP6207534B2 publication Critical patent/JP6207534B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30081Prostate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Description

本発明は、医用撮像の分野に関し、より具体的には、統計に基づく変形モデリングと疎らな変形データとを用いる自動的なマルチモダリティ・デフォーマブルレジストレーションのための方法、システム及びコンピュータプログラムに関する。
画像レジストレーションは、医用画像処理における重要な課題である。医用画像レジストレーションにおける主な目標は、同じ物体又は構造の同一の画像又は複数の異なる画像をアライメントする幾何学変換を計算することである。複数の異なる画像は同一のモダリティ又は複数の異なるモダリティを有し得る。医用画像レジストレーションに関する一般的なモダリティは、以下に限られないが、磁気共鳴撮像(MRI)、コンピュータ断層撮影(CT)、及び超音波(US)を含む。
画像レジストレーション問題の重要な一部分が、マルチモダリティ画像融合と呼ばれることもある異なる画像モダリティからの画像のマッチングに取り組んでいる。マルチモダリティ画像のグレー値(濃淡値)間の関係は常に容易に決定されるわけではなく、また一部のケース(例えば、USに対するMRI)では、関数従属性が一般的に欠けているか非常に特定困難かであるので、マルチモダリティ画像レジストレーションは特に難題である。
マルチモダリティ画像レジストレーションの一例は、例えば前立腺生検又は小線源治療などの画像誘導(画像ガイド下)手技におけるUS画像とのMRI画像の融合である。MRIモダリティは、高解像度の解剖学的画像を提供するが、MRIは、前立腺生検などの術中手技には高価である。一方、USモダリティは、前立腺生検などの画像誘導手技に必要とされるリアルタイム撮像に理想的であるが、非常に乏しい画像解像度を有する。これら2つのモダリティの融合は、リアルタイム撮像(US)の利益を高分解能撮像(MRI)と結合させる。例えば、標的前立腺生検手技において、術前MRI画像のリアルタイムUS撮像との融合は、MRI画像内で容易に識別されることが可能な癌性領域を超音波画像内で位置特定することに極めて重要である。前立腺の術前MRI画像をリアルタイム経直腸超音波(trans-rectal ultrasound;TRUS)撮像と融合する自動画像レジストレーション技術を開発することが有利となる。
MRIとUSという画像モダリティ間の関数従属性の欠如は、強度に基づくメトリック(計量)を画像レジストレーションに利用することを非常に困難にしている。故に、提案される殆どのMRI対US画像融合方法は、以下の2つの手法のうちの一方でのポイントマッチング法(点整合法)に集中している:(1)双方のモダリティからの画像内で視認可能な一組の共通のランドマーク(例えば尿道の輪郭など)が手動あるいは自動的の何れかで抽出されて、点ベースのレジストレーションに使用される;又は(2)自動技術又は手動技術を用いて2つのモダリティの各々内で前立腺の表面がセグメント化され、抽出された点群が、これら二組の点の間の距離を最小化しようとする点ベースのレジストレーションフレームワークに与えられる。
例えば、フィリップス社のUronavシステムでは、セグメント化された前立腺表面点データを用いてMRIをTRUSとレジストレーションするために、点ベースの剛体レジストレーション手法が使用されている。前立腺は、US画像及びMRI画像の双方で、一組の表面輪郭点として自動的にセグメント化される。剛体レジストレーションは、これら二組の点の間の距離を最小化する最良の並進パラメータ及び回転パラメータの組を発見しようとする。しかしながら、前立腺は剛性の形状ではなく、前立腺の形状は、これらのモダリティの各々による画像の収集中に様々に変形し得る。MRI画像は典型的に、画像品質を高めるために直腸コイル(Endorectal coil;ERC)が直腸に挿入されている間に収集される。TRUS撮像は、前立腺に隣接する直腸壁に直に接触するようにTRUSプローブを配置してフリーハンド実行され、それにより、画像収集中に前立腺の形状が変形される。
Chowdhury,Najeeb他の“Linked statistical shape models for multi-modal segmentation:application to prostate CT-ME segmentation in radiotherapy planning”、Medical Imaging 2011:Computer-aided Diagnosis、SPIE、1000 20 th St.、Bellingham WA 98225-6705 USA、第7963巻、第1号、2011年3月3日、pp.1-15、XP060008531、DOI:10.1117/12.878416は、マルチモダリティレジストレーション用の薄板スプライン(TPS)を用いて、異なるモダリティからの画像を互いにレジストレーションする方法を提示している。
マルチモダリティ・デフォーマブル画像レジストレーションのための方法、システム及びコンピュータプログラムを提供する。
本発明の一態様によれば、マルチモダリティ・デフォーマブル画像レジストレーションのための方法が提供される。この方法は2つの段階を有する。第1段階にて、異なる変形状態での同じ“高精細”撮像モダリティからの画像を用いて、変形モデルが訓練されて、平均変形と複数の変形モードベクトルとが決定される。この文脈において、高精細とは、関心ある構造を明瞭に描写する撮像モダリティを表す。第2段階にて、1つの変形状態での1つの撮像モダリティからの画像を、異なる変形状態での別の撮像モダリティからの画像にマッチングするのに必要な変形が推定される。2つの異なるモダリティにおける2つの変形状態間の変形を推定するため、双方のモダリティで一意的に識別可能な一組のランドマークが抽出されて非線形にレジストレーションされる。そして、識別されたランドマークの位置での計算された変形値を変形モデルに挿入して変形モードの固有係数を解くことによって、全ての点で2つのモダリティをマッチングする変形場が実現される。最後に、重み付けられた変形モードベクトルの線形結合と平均変形の場とが足し合わされて、残りの点における2つの撮像モード間の変形場が決定される。
一実施形態によれば、平均変形及び複数の変形モードベクトルは、各被検体について、画像を共通基準フレームに対して空間的にアライメントし、同じ撮像モダリティ且つ異なる変形状態からの各被検体の撮像データを、例えば強度に基づくメトリックなどの類似度メトリック及び例えばBスプラインなどの非線形変換技術を用いてワーピングし、且つ主成分分析を実行して平均変形及び複数の変形モードベクトルを決定することによって計算される。
一実施形態によれば、訓練段階において、同じモダリティの(異なる変形状態での)強度画像間でデフォーマブルレジストレーションを適用することに代えて、大きいランドマークセットが使用されてもよい。この実施形態においては、関心ある身体構造に関する変形場を生成するために、強度ベースのレジストレーションに代えて、点ベースの非線形レジストレーションが2つの異なる変形状態における全てのランドマーク間で実行される。そして、複数の被検体の変形場から、平均変形と変形モード固有ベクトルとが計算される。
一実施形態によれば、別の撮像モダリティからの画像は、平均変形と複数の変形モードベクトルとを計算するために使用された変形状態の何れからも異なる変形状態でのものである。例えば、TRUSプローブに伴う前立腺の変形状態は、MRI撮像中に使用される直腸コイルに伴う変形状態とも、MRI撮像中の直腸コイルなしでのゼロ変形状態とも異なるものである。
一実施形態によれば、別の撮像モダリティはリアルタイム撮像モダリティである。一実施形態において、このリアルタイム撮像モダリティは、TRUSプローブを用いる超音波撮像である。
本発明の他の一態様によれば、マルチモダリティ・デフォーマブル画像レジストレーションを実行するシステムが提供される。このシステムは、少なくとも1つのプロセッサと、プロセッサに動作的に接続される少なくとも1つのメモリと、少なくとも1つのメモリに格納されて少なくとも1つのプロセッサによって実行される少なくとも1つのプログラムの命令とを有する。このプログラムの命令は、複数の被検体についての異なる変形状態での同じ高精細撮像モードからの画像から、身体構造に関する平均変形と複数の変形モード固有ベクトルとを計算するためのプログラム命令と、同じ被検体についての高精細撮像モダリティからの一組のランドマーク点と別の撮像モダリティからの一組のランドマーク点との間で非線形レジストレーションを実行して、これらの画像からのランドマークに関する変形場を計算するためのプログラム命令と、平均変形及び変形モードベクトルとともにランドマーク位置の変形場の値を用いて、各変形モード固有ベクトルの重みを決定するためのプログラム命令と、重み付けられた変形モードベクトルの線形結合と平均変形の場とを足し合わせて、異なる撮像モード間の変形場を決定するためのプログラム命令とを有する。
一実施形態によれば、このシステムは更に、上記別の撮像モダリティを用いるリアルタイム撮像システムを有する。
一実施形態によれば、リアルタイム撮像システムは、超音波撮像システムであり、且つ、撮像データを生成するよう少なくとも1つのプロセッサに動作的に接続される経直腸超音波トランスデューサを更に有する。
一実施形態によれば、このシステムは更に、高精細画像を生成するよう少なくとも1つのプロセッサと動作的に接続される高精細撮像システムを有する。
一実施形態によれば、高精細撮像システムは、磁気共鳴撮像装置に動作的に接続される磁気共鳴撮像システムである。
一実施形態によれば、このシステムは更に、高精細撮像システムの撮像を向上させるように被検体内に配置される直腸コイルを有する。
一実施形態によれば、平均変形及び複数の変形モードベクトルは、各被検体について、画像を共通基準フレームに対して空間的にアライメントし、同じ撮像モダリティであるが異なる変形状態からの各被検体の撮像データを、例えば強度に基づくメトリックなどの類似度メトリック及び例えばBスプラインなどの非線形変換技術を用いてワーピングし、且つ主成分分析を実行して平均変形及び複数の変形モードベクトルを決定することによって計算される。
本発明の他の一態様によれば、マルチモダリティ・デフォーマブル画像レジストレーションを提供するためのコンピュータプログラムプロダクトが提供される。このコンピュータプログラムプロダクトは、少なくとも1つのコンピュータ実行可能プログラムの命令をエンコードした少なくとも1つのコンピュータ読み取り可能記憶装置を有し、この少なくとも1つのコンピュータ実行可能プログラムの命令は、複数の被検体についての異なる変形状態での同じ高精細撮像モードからの画像から、身体構造に関する平均変形と複数の変形モード固有ベクトルとを計算するためのプログラム命令と、同じ被検体についての高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場を計算するためのプログラム命令と、平均変形及び変形モードベクトルとともにランドマーク位置の変形場の値を用いて、各変形モード固有ベクトルの重みを決定するためのプログラム命令と、重み付けられた変形モードベクトルの線形結合と平均変形の場とを足し合わせて、異なる撮像モード間の変形場を決定するためのプログラム命令とを有する。
一実施形態によれば、平均変形と複数の変形モードベクトルとを計算するためのプログラム命令は、各被検体について、画像を共通基準フレームに対して空間的にアライメントするためのプログラム命令と、同じ撮像モダリティであるが異なる変形状態からの各被検体の撮像データを、例えば強度に基づくメトリックなどの類似度メトリック及び例えばBスプラインなどの非線形変換技術を用いてワーピングするためのプログラム命令と、主成分分析を実行して平均変形及び複数の変形モードベクトルを決定するためのプログラム命令とを有する。
以下の好適実施形態の詳細な説明を添付図面と関連付けて読むことにより、本発明の特徴及び効果が更に明瞭に理解されることになる。図面には以下の図が含まれる。
本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションの第1画像収集を提供するシステムを示す等角図である。 本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションの第2画像収集を提供するシステムを示す等角図である。 本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションを提供するシステムを示すブロック図である。 本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションに使用される変形モデルを訓練する方法を示すフロー図である。 本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションにおいて変形を推定する方法を示すフロー図である。
本発明は、マルチモダリティ・デフォーマブル画像レジストレーションのための方法、システム及びコンピュータプログラムを提供する。マルチモダリティ・デフォーマブルレジストレーションは二段階で実行される。第1段階において、レジストレーションされる画像の現場となる身体構造の変形モデルが生成される。このモデルは、複数の被検体の各々に対しての、相異なる変形状態での、同じ高精細撮像モードによる複数の画像、を用いて生成される。変形モデルは、平均変形及び複数の変形モードベクトルの形態で生成される。
第2段階において、第1段階からの1つの変形状態での高精細撮像モードによる画像を、異なる1つの変形状態を有した別の撮像モダリティからの画像に変形するための変形場が推定される。異なるモダリティからの単一の被検体の画像同士をマッチングするのに必要な変形場が、これらの異なるモダリティからの画像間でのレジストレーションを双方の撮像モダリティで一意的に識別可能な一組のランドマークを用いて実行することによって推定される。限られた数のランドマークに関して計算された変形値を用いて、上記複数の変形モードベクトルの各々の重みが決定される。(上述のレジストレーションに使用されたランドマーク以外の)残りの点の位置での、これら2つの異なる撮像モダリティ間の変形場を決定するため、平均変形場と、重み付けられた変形モードベクトルの線形結合とが足し合わされる。
図1は、本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションの第1段階を提供するシステムを示している。このシステムは、高精細撮像装置170を有している。図示した例において、高精細撮像装置は、MRI画像を取得するMRI装置である。しかしながら、理解されるように、本発明を実施することには、例えばCT又は超音波マシンなどの、その他の高精細撮像装置も使用され得る。
マルチモダリティ・デフォーマブル画像レジストレーションの第1段階を実行するシステムはまた、例えば汎用コンピュータ又はその他のプロセッシング装置などの、処理システム100を有している。
図3は、本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションを実行するシステムのブロック図である。図3に示すように、処理システム100(図1)は、プロセッサ110と、例えばシステムバス120によってなどでプロセッサに動作的に接続されるメモリ130と、撮像装置170をプロセッサ110に動作的に接続する入力/出力(I/O)コネクタ115とを有している。プロセッサ110は、例えば1つ以上のマイクロプロセッサなど、プログラム命令を実行することが可能な如何なる装置ともし得る。また、プロセッサ110は汎用コンピュータにて具現化されてもよい。
メモリ130は、例えばリムーバブルディスク、ハードドライブ、CD、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、又はこれらに類するものなど、データ及びプログラム命令を格納するのに適した如何なる揮発性記憶装置又は不揮発性記憶装置ともし得る。また、メモリ130は1つ以上の記憶装置を有し得る。
I/Oコネクタ115は、プロセッサ110を撮像装置170、別のコンピュータ又はデータソースに動作的に接続する如何なるハードウェアともし得る。I/Oコネクタは、以下に限られないが、RS232シリアルインタフェースポート、イーサネット(登録商標)ポート、及びUSBポートを含み得る。
処理システム100は更に、メモリ130に格納された撮像プログラム132を有し、撮像プログラム132は、プロセッサ110によって実行されて、撮像装置170から撮像データを受信して処理し、ディスプレイ140上に画像を表示する。撮像プログラム132は、高精細画像を取得するために使用される撮像装置種類に適した如何なる既知の撮像プログラムであってもよく、様々な画像処理機能に関するモジュール又はユニットを含み得る。
処理システム100はまた、詳細に後述されるように、マルチモダリティ画像レジストレーションに使用される変形モデルを生成するモデリングプログラム134を有している。
図4は、本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションに使用される変形モデルを訓練する方法のフロー図である。以下の説明においては、例えば前立腺生検又は小線源治療などの画像誘導手技のために前立腺のMRI画像を同じ被検体の前立腺のリアルタイム超音波画像にレジストレーションする一実施形態が記述される。しかしながら、当業者に理解されるように、更なる実施形態は、MRI以外、超音波以外、又はこれら双方以外の撮像モダリティに向けられ得る。また、更なる実施形態は、異なる身体構造及び異なる手技に向けられ得る。
撮像プログラム132が、複数の被検体の各々に対して、相異なる変形状態で高精細画像を取得する(ステップ410)。図示した例においては、前立腺の変形を引き起こす直腸コイル(ERC)180を直腸に挿入した第2変形状態で画像が撮影されるとともに、ERCなしの第1変形状態で画像が撮影される。技術的に知られているように、ERCは、前立腺MRI画像の画像品質を高めるために使用される。被検体数は、変形モデル内で使用されることになるモードベクトル数より多いように選定される。例えば、50の被検体サイズが使用され得る。
必要に応じて、セグメント化された画像が、ボクセルごとの識別及びレジストレーションを可能にする。
第1変形状態での全ての被検体からの画像(ERCなしMRI)が、例えば全ての被検体からのERCなし画像の平均などのテンプレートに空間的にアライメントされる(ステップ430)。空間的なアライメントは、剛体変換、アフィン変換、若しくは非線形レジストレーション、又はこれらの3つの何らかの組み合わせを用いて実現され得る。
そして、各被検体について、第1変形状態(ERCなし)MRI画像が、同じ被検体からの第2変形状態(ERCあり)MRI画像に対して、強度に基づくメトリックを用いて空間的にアライメントされる(ステップ440)。
第1変形状態(ERCなし)MRI画像が同じ被検体からの第2変形状態(ERCあり)MRI画像に空間アライメントされた後、第1変形状態(ERCなし)MRI画像が、同じ被検体からの第2変形状態(ERCあり)MRI画像へと、非線形にワーピングされる(歪められる)(ステップ450)。非線形ワーピングは各被検体について繰り返される。
非線形ワーピングは、強度に基づくメトリックを用いたBスプラインレジストレーション技術を用いて実行され得る。他の例では、第2状態画像データを同じ被検体の第1状態画像データへとワーピングして各被検体の前立腺に関する変形場を得るために、例えば有限要素法などの別の非線形推定技術が使用されてもよい。変形場の式は:
Figure 0006207534
であり、だたし、d<i>、及びバー(−)付きdは、それぞれ、サンプル訓練データiについてのERCなしMRI対ERCありMRIの非線形レジストレーションから得られる変形場、及び平均変形場を表す。
そして、平均変形が計算され、主成分分析(principal component analysis;PCA)を用いて、マルチモダリティ画像レジストレーションの第1(モデル)段階に使用された被検体の変位場から変形モードが取得される(ステップ460)。
平均変形は、複数の被検体の変形の平均をとることによって:
Figure 0006207534
として計算される。ただし、nはデータセット数すなわちサンプル数すなわち撮像される患者数であり、i=1,2,・・・,nはデータセットの索引を表す。
PCAを用いて、以下のようにして、サンプル画像の変位場から変形モードが取得される。計算された変位場(3つの成分x,y,zを有する)をDi(mx3)とする。各変形場が、そのデータセットの全てのデータ点からのx,y,z成分を連結することによって、1次元ベクトルへとフォーマット変更される。
共分散行列Σが:
Figure 0006207534
のように計算される。
共分散行列Σを対角化する変形固有ベクトルの行列Ψが:
Figure 0006207534
として見い出される。ただし、Λ=|λnxnは、Σの固有値をその対角要素として有する対角行列である。
データセット内のデータ点の個数をmとして、変位場行列(Dmxn)の固有ベクトルが:
Figure 0006207534
によって見い出される。
平均変形に変形モード(φ)の線形結合を加えた線形結合:
Figure 0006207534
から、任意の変位場を推定することができる。ただし、kは変形モードの個数であり、k<<nである。
他の一実施形態において、第1段階又は訓練段階は、強度に基づくレジストレーションに代えて、大きいランドマークセット(ランドマークの組)を用いて変形場を計算することを有する。同一の撮像モダリティからの(相異なる変形状態での)強度画像間にデフォーマブルレジストレーションを適用することに代えて、大きいランドマークセットが使用され得る。ランドマークは、相異なる変形状態を用いて同一の撮像モダリティから測定される。一方の変形状態でのランドマーク位置と他方の変形状態でのランドマーク位置との間でレジストレーションが実行されて、変形場が生成される。例えば主成分分析を用いて、変形場から平均変形と変形モード固有ベクトルとを計算することができる。この実施形態において、訓練段階用のランドマークセットは、第2段階で変形モード固有ベクトルの重みを計算するために使用されるランドマークセットより遥かに大きくされる。
図2は、本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションの第2画像を提供するシステムを示している。このシステムは、高精細撮像装置170とは異なる撮像モダリティの第2の撮像装置250を有している。図示した例において、第2の撮像装置は、超音波撮像プローブであり、より具体的には、例えば前立腺生検などの画像誘導インターベンション手技のためのリアルタイム画像を撮影する経直腸超音波トランスデューサ(TRUS)である。しかしながら、理解されるように、本発明を実施することには、如何なるリアルタイム撮像装置又はその他の撮像装置が使用されてもよい。
TRUS250は、撮像システム200と動作的に接続される。図3に示すように、撮像システム200は、TRUS250から受信された撮像データからの超音波画像を処理して、それらをディスプレイ240上で提示するプロセッサ210を有している。プロセッサ210は、例えばバス220を介してなどで、メモリ230(図3)と動作的に接続される。入力/出力(I/O)コネクタ215が、撮像装置250をプロセッサ210に動作的に接続するとともに、高精細撮像システム100をプロセッサ210に動作的に接続する。
プロセッサ210は、例えば1つ以上のマイクロプロセッサなど、プログラム命令を実行することが可能な如何なる装置ともし得る。また、プロセッサ210は汎用コンピュータにて具現化されてもよい。
メモリ230は、例えばリムーバブルディスク、ハードドライブ、CD、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、又はこれらに類するものなど、データ及びプログラム命令を格納するのに適した如何なる揮発性記憶装置又は不揮発性記憶装置ともし得る。また、メモリ230は1つ以上の記憶装置を有し得る。
I/Oコネクタ215は、プロセッサ210を撮像装置250、別のコンピュータ又はデータソースに動作的に接続する如何なるハードウェアともし得る。I/Oコネクタは、以下に限られないが、RS232シリアルインタフェースポート、イーサネット(登録商標)ポート、及びUSBポートを含み得る。
撮像システム200及び高精細撮像システム100は2つの別々のシステムとして示されているが、それらは実際には、単一の汎用コンピュータにて具現化された同じシステムであってもよい。他の例では、高精細撮像システム100からの撮像データは、記憶装置上で撮像システム200に提供されてもよいし、例えばイントラネット又はインターネットなどのネットワーク上でシステム間で伝送されてもよい。
メモリ230はその上に、撮像装置250から撮像データを受信して身体構造の画像を生成するための、プロセッサ210によって実行可能な撮像プログラムの命令232をエンコードしている。図示した実施形態において、撮像装置250はTRUSであり、生成される画像は前立腺のリアルタイム超音波画像である。
メモリ230はまたその上に、マルチモダリティ・デフォーマブル画像レジストレーションにおいて変形を推定するための、プロセッサ210によって実行可能な推定プログラムの命令234をエンコードしている。
図5は、本発明の一実施形態に従ったマルチモダリティ・デフォーマブル画像レジストレーションにおいて変形を推定する方法のフロー図である。これは、マルチモダリティ・デフォーマブル画像レジストレーションを提供する方法の第2段階である。
プロセッサ210によって実行される推定プログラムの命令234は、同じ被検体に関する2つの異なるモダリティからの2つの異なる変形状態での画像を、共通の基準に対して、空間的にアライメントする(ステップ510)。第1の画像モダリティは、ステップ410にて収集されて高精細撮像システム100のプロセッサ110によって送信された、複数の被検体からの例えばMRIなどの高精細画像モダリティのうちの1つとし得る。他の例では、高精細画像は、テンプレートを訓練するために使用された画像とは別個に、高精細撮像システム100によって収集され得る。
別の撮像モダリティは、本発明の一実施形態によれば、TRUSプローブ250を用いるリアルタイム超音波撮像モダリティとし得る。他の例では、高精細画像に対するレジストレーションに有利なその他の撮像モダリティの撮像システムが使用されてもよい。
一実施形態によれば、2つの異なる撮像モダリティは、変形モデルを訓練するために使用された高精細画像の平均に対して、空間的にアライメントされる。しかしながら、双方の画像が同一の基準にアライメントされる限り、如何なる共通基準が使用されてもよい。
推定プログラムの命令234は、同じ被検体からの双方の画像からランドマークを抽出する。図示した実施形態において、別のモダリティからの画像は、リアルタイム撮影されるTRUSプローブ250を用いた超音波画像である。リアルタイムTRUS画像は、例えば前立腺生検などの手技のためのインターベンション中のツール誘導に使用される。この実施形態における他方の画像は術前MRI画像である。推定プログラムの命令234を実行するプロセッサ210は、超音波撮像システム200のプロセッサであってもよいし、どちらかの撮像システム内の、あるいは双方の撮像システムの外部の、別個のプロセッサであってもよい。
ランドマークは、例えば尿道の輪郭又は前立腺表面輪郭点など、双方の画像内で視認可能な如何なるランドマークともし得る。各画像内のランドマークの点が、例えば強度に基づくメトリックなどの既知の点抽出法を用いて抽出され得る。抽出される点の個数は好ましくは、ステップ460にて計算される全ての変形モードついて固有値(又は、固有重み若しくは固有係数)を解くのに十分にされる。
推定プログラムの命令234は、抽出されたランドマークを2つの異なる撮像モダリティ間でレジストレーションして、ランドマーク点に関する変換行列を決定する(ステップ530)。この変換行列は、ランドマークに関してのみ正確であり、身体構造に内在する様々な変形モードを補償するものではない。
ステップ460にて計算された変形モデルからの平均変形及び固有ベクトルにランドマーク点をマッチングするように、計算された変形場を用いて、推定プログラムの命令234内の変形モデルソルバーが、i=1,2,・・・,kとして、各変形モードiに関する固有係数α又は固有値を計算する(ステップ540)。変形モデルソルバーは、固有重みを:
Figure 0006207534
のように計算する。ただし、Sはランドマーク点の組の索引に相当する。
そして、推定プログラムの命令234内の変形場エスティメータが、重み付けられた変形モードと平均変形とを足し合わせることによって、撮像された身体構造内の全ての点についての変形場を推定する(ステップ550)。変形場エスティメータは、ステップ460からの平均変形と、ステップ460からの変形モードの線形結合とを、ステップ540からの固有値を用いて:
Figure 0006207534
のように加算する。ただし、Pは画像内の全ての点に相当する。
本発明は、完全にハードウェアの実施形態、又はハードウェア要素とソフトウェア要素との双方を含んだ実施形態の形態を取ることができる。例示的な一実施形態において、本発明はソフトウェアにて実装され、ソフトウェアは、以下に限られないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む。
また、本発明は、コンピュータ又は何らかの命令実行システム若しくは装置によって、あるいはそれとともに使用されるプログラムコードを提供するコンピュータ使用可能あるいはコンピュータ読み取り可能な媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取り得る。ここでの説明の目的で、コンピュータ使用可能あるいはコンピュータ読み取り可能な媒体は、命令実行システム、機器又は装置によって、あるいはそれとともに使用されるプログラムを収容あるいは格納することができる如何なる装置ともし得る。
以上の方法は、例えばコンピュータなどの機械によって実行されるときに当該方法のステップを実行する機械実行可能なプログラムの命令を有した機械読み取り可能媒体を有するプログラムプロダクトによって実現されてもよい。このプログラムプロダクトは、以下に限られないがコンパクトディスク、フロッピー(登録商標)ディスク及びUSBメモリ装置などを含む多様な知られた機械読み取り可能媒体のうちの何れか上に格納され得る。
これらの媒体は、電子式、磁気式、光学式、電磁式、赤外線式、あるいは半導体のシステム(又は、機器若しくは装置)とすることができる。コンピュータ読み取り可能媒体の例は、半導体メモリ若しくはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、リジッドな磁気ディスク及び光ディスクを含む。光ディスクの現行例は、コンパクトディスク読み出し専用メモリ(CD−ROM)、書換可能コンパクトディスク(CD−R/W)、及びDVDを含む。
以上の説明及び添付の図面は、発明の限定ではなく、発明の例示を意図したものである。本発明の範囲は、以下の請求項の範囲全体に対して均等な変形及び構成を包含するものである。

Claims (15)

  1. マルチモダリティ・デフォーマブル画像レジストレーションを提供するシステムの作動方法であって、前記システムは、少なくとも1つのプロセッサを有し、当該方法は、
    前記プロセッサが、複数の被検体に対して高精細撮像モダリティを用いて異なる変形状態で収集された関心身体構造の変形モデルを生成するステップと、
    前記プロセッサが、前記モデルから前記関心身体構造に関して平均変形と複数の変形モードベクトルとを計算するステップと、
    前記プロセッサが、同じ被検体についての前記高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場変換行列を計算するステップと、
    前記プロセッサが、前記平均変形及び前記変形モードベクトルとともに前記ランドマークの位置の変形場の値を用いて、各変形モードベクトルの重みを決定するステップと、
    前記プロセッサが、重み付けられた変形モードベクトルの線形結合と前記平均変形の場とを足し合わせて、異なる撮像モード間の変形場を決定するステップと、
    を有する方法。
  2. 前記平均変形及び前記複数の変形モードベクトルは、
    各被検体について、画像を共通基準フレームに対して空間的にアライメントし、
    前記異なる変形状態からの各被検体の撮像データを、画像類似度メトリック及び非線形変換技術を用いてワーピングし、且つ
    主成分分析を実行して前記平均変形及び前記複数の変形モードベクトルを決定する
    ことによって計算される、請求項1に記載の方法。
  3. 前記平均変形及び前記複数の変形モードベクトルは、
    各被検体について、一組のランドマークの位置を測定し、
    全ての前記ランドマーク間で点ベースの非線形レジストレーションを実行し、且つ
    前記ランドマークに関する変形モデルを生成する
    ことによって計算される、請求項1に記載の方法。
  4. 前記別の撮像モダリティからの画像は、前記平均変形と前記複数の変形モードベクトルとを計算するために使用された前記変形状態の何れからも異なる変形状態でのものである、請求項1に記載の方法。
  5. 前記別の撮像モダリティはリアルタイム撮像モダリティである、請求項1に記載の方法。
  6. 前記別の撮像モダリティは経直腸超音波撮像(TRUS)である、請求項1に記載の方法。
  7. 前記身体構造は前立腺である、請求項6に記載の方法。
  8. マルチモダリティ・デフォーマブル画像レジストレーションを提供するシステムであって、
    少なくとも1つのプロセッサと、
    前記プロセッサに動作的に接続される少なくとも1つのメモリと、
    前記少なくとも1つのメモリに格納されて前記少なくとも1つのプロセッサによって実行される少なくとも1つのプログラムの命令と
    を有し、
    前記プロセッサは、
    複数の被検体についての異なる変形状態での同じ高精細撮像モダリティからの画像から、身体構造に関する平均変形と複数の変形モードベクトルとを計算し、
    同じ被検体についての前記高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場変換行列を計算し、
    前記平均変形及び前記変形モードベクトルとともに前記ランドマークの位置の変形場の値を用いて、各変形モードベクトルの重みを決定し、且つ
    重み付けられた変形モードベクトルの線形結合と前記平均変形の場とを足し合わせて、前記画像内の全ての点についての異なる撮像モード間の変形場を決定する
    ように構成されている、
    システム。
  9. 前記別の撮像モダリティを用いるリアルタイム撮像システム、を更に有する請求項8に記載のシステム。
  10. 前記リアルタイム撮像システムは、超音波撮像システムであり、且つ、撮像データを生成するよう前記少なくとも1つのプロセッサに動作的に接続される経直腸超音波プローブを更に有する、請求項9に記載のシステム。
  11. 高精細画像を生成するよう前記少なくとも1つのプロセッサと動作的に接続される高精細撮像システム、を更に有する請求項8に記載のシステム。
  12. 前記高精細撮像システムは、磁気共鳴撮像装置に動作的に接続される磁気共鳴撮像システムである、請求項11に記載のシステム。
  13. 前記高精細撮像システムの撮像を向上させるように被検体内に配置される直腸コイル、を更に有する請求項12に記載のシステム。
  14. 前記平均変形及び前記複数の変形モードベクトルは、
    各被検体について、画像を共通基準フレームに対して空間的にアライメントし、
    前記異なる変形状態からの各被検体の撮像データを、画像類似度メトリック及び非線形変換技術を用いてワーピングし、且つ
    主成分分析を実行して前記平均変形及び前記複数の変形モードベクトルを決定する
    ことによって計算される、請求項8に記載のシステム。
  15. マルチモダリティ・デフォーマブル画像レジストレーションを提供するためのコンピュータプログラムであって、
    複数の被検体についての異なる変形状態での同じ高精細撮像モダリティからの画像から、身体構造に関する平均変形と複数の変形モードベクトルとを計算するためのプログラム命令と、
    同じ被検体についての前記高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場変換行列を計算するためのプログラム命令と、
    前記平均変形及び前記変形モードベクトルとともに前記ランドマークの位置の変形場の値を用いて、各変形モードベクトルの重みを決定するためのプログラム命令と、
    重み付けられた変形モードベクトルの線形結合と前記平均変形の場とを足し合わせて、前記画像内の全ての点についての異なる撮像モード間の変形場を決定するためのプログラム命令と
    を有する、
    コンピュータプログラム。
JP2014561571A 2012-03-15 2013-03-13 マルチモダリティ・デフォーマブルレジストレーション Active JP6207534B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261611071P 2012-03-15 2012-03-15
US61/611,071 2012-03-15
US201261679218P 2012-08-03 2012-08-03
US61/679,218 2012-08-03
PCT/IB2013/051991 WO2013136278A1 (en) 2012-03-15 2013-03-13 Multi-modality deformable registration

Publications (2)

Publication Number Publication Date
JP2015515297A JP2015515297A (ja) 2015-05-28
JP6207534B2 true JP6207534B2 (ja) 2017-10-04

Family

ID=48468679

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014561571A Active JP6207534B2 (ja) 2012-03-15 2013-03-13 マルチモダリティ・デフォーマブルレジストレーション

Country Status (6)

Country Link
US (1) US9240032B2 (ja)
EP (1) EP2826019B1 (ja)
JP (1) JP6207534B2 (ja)
CN (1) CN104169969B (ja)
RU (1) RU2014141502A (ja)
WO (1) WO2013136278A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929706B2 (en) 2018-03-19 2021-02-23 Ricoh Company, Ltd. Image processing device and projection system

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9401051B2 (en) * 2010-06-23 2016-07-26 Varian Medical Systems International Ag Mechanism for dynamically propagating real-time alterations of medical images
KR102114415B1 (ko) * 2013-01-29 2020-05-22 삼성전자주식회사 의료 영상 정합 방법 및 장치
CA2918295A1 (en) * 2013-07-15 2015-01-22 Tel Hashomer Medical Research, Infrastructure And Services Ltd. Mri image fusion methods and uses thereof
CN104515961B (zh) * 2013-09-30 2018-02-13 西门子(深圳)磁共振有限公司 磁共振成像方法和装置
JP2016536035A (ja) * 2013-09-30 2016-11-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 変形可能レジストレーションのためのシステム及びモジュラーネットワーク
US10304219B2 (en) 2014-06-13 2019-05-28 Siemens Medical Solutions Usa, Inc. Intra reconstruction motion correction
US10729410B2 (en) 2014-06-18 2020-08-04 Koninklijke Philips N.V. Feature-based calibration of ultrasound imaging systems
GB2529139B (en) * 2014-07-08 2017-08-02 Siemens Medical Solutions Usa Inc Methods and systems for feature-based registration of patient medical images
JP6697438B2 (ja) * 2014-07-15 2020-05-20 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 個別化テンプレート画像による定位正則化を含むイメージングデータ統計的検定
GB201416416D0 (en) * 2014-09-17 2014-10-29 Biomediq As Bias correction in images
DE102014219915B3 (de) * 2014-10-01 2015-11-12 Siemens Aktiengesellschaft Verfahren zur Kompensation von durch eine zyklische Bewegung eines Patienten auftretenden Ortszuordnungsfehlern von PET-Daten und Bildaufnahmesystem
WO2016097910A1 (en) * 2014-12-15 2016-06-23 Koninklijke Philips N.V. Quality control of image registration
JP6682243B2 (ja) * 2015-01-09 2020-04-15 キヤノンメディカルシステムズ株式会社 医用画像診断装置、画像処理装置及び画像処理方法
JP7041052B6 (ja) * 2015-09-09 2022-05-30 コーニンクレッカ フィリップス エヌ ヴェ 反復介入手順を計画及び実行するシステム並びに方法
CA3017697C (en) * 2016-03-17 2021-01-26 Imagia Cybernetics Inc. Method and system for processing a task with robustness to missing input information
US10402969B2 (en) * 2017-03-10 2019-09-03 General Electric Company Methods and systems for model driven multi-modal medical imaging
US11484279B2 (en) 2018-09-24 2022-11-01 Siemens Medical Solutions Usa, Inc. Systems to assess projection data inconsistency
CN109544447B (zh) * 2018-10-26 2022-10-21 广西师范大学 一种图像拼接方法、装置及存储介质
CN111047629B (zh) * 2019-11-04 2022-04-26 中国科学院深圳先进技术研究院 多模态图像配准的方法、装置、电子设备及存储介质
CN112348735A (zh) * 2020-09-30 2021-02-09 深圳市阅影科技有限公司 动态图像变形过程的确定方法、确定装置与处理器
CN113393498B (zh) * 2021-05-26 2023-07-25 上海联影医疗科技股份有限公司 图像配准方法、装置、计算机设备和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7103399B2 (en) * 2003-09-08 2006-09-05 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
US8358819B2 (en) * 2005-06-24 2013-01-22 University Of Iowa Research Foundation System and methods for image segmentation in N-dimensional space
WO2007035688A2 (en) * 2005-09-16 2007-03-29 The Ohio State University Method and apparatus for detecting intraventricular dyssynchrony
GB0521640D0 (en) * 2005-10-24 2005-11-30 Ccbr As Automatic quantification of a pathology indicating measure from cartilage scan data
US20070167784A1 (en) 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
CA2666313A1 (en) * 2006-10-10 2008-05-08 Cedara Software Corp. System and method for segmenting a region in a medical image
US8175350B2 (en) * 2007-01-15 2012-05-08 Eigen, Inc. Method for tissue culture extraction
US8185186B2 (en) * 2007-04-13 2012-05-22 The Regents Of The University Of Michigan Systems and methods for tissue imaging
US20090326363A1 (en) 2008-05-02 2009-12-31 Eigen, Llc Fused image modalities guidance
DE102008032006B4 (de) * 2008-07-07 2017-01-05 Siemens Healthcare Gmbh Verfahren zur Steurung der Bildaufnahme bei einer Bildaufnahmeeinrichtung, sowie eine Bildaufnahmeeinrichtung
WO2010061322A1 (en) * 2008-11-25 2010-06-03 Koninklijke Philips Electronics N.V. Image provision for registration
CN102317971B (zh) * 2009-02-11 2015-02-25 皇家飞利浦电子股份有限公司 基于运动模型的组间图像配准
US9521994B2 (en) * 2009-05-11 2016-12-20 Siemens Healthcare Gmbh System and method for image guided prostate cancer needle biopsy
GB0913930D0 (en) * 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
JP5546230B2 (ja) * 2009-12-10 2014-07-09 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2014056371A (ja) * 2012-09-12 2014-03-27 Fujitsu Semiconductor Ltd 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10929706B2 (en) 2018-03-19 2021-02-23 Ricoh Company, Ltd. Image processing device and projection system

Also Published As

Publication number Publication date
RU2014141502A (ru) 2016-05-10
WO2013136278A1 (en) 2013-09-19
CN104169969A (zh) 2014-11-26
EP2826019B1 (en) 2016-05-18
US20150043794A1 (en) 2015-02-12
US9240032B2 (en) 2016-01-19
EP2826019A1 (en) 2015-01-21
CN104169969B (zh) 2017-03-29
JP2015515297A (ja) 2015-05-28

Similar Documents

Publication Publication Date Title
JP6207534B2 (ja) マルチモダリティ・デフォーマブルレジストレーション
AU2010280527B2 (en) Apparatus and method for registering two medical images
JP6609330B2 (ja) レジストレーションの基準マーカー、システム、および方法
US8233681B2 (en) Methods, systems, and computer program products for hierarchical registration between a blood vessel and tissue surface model for a subject and a blood vessel and tissue surface image for the subject
Elhawary et al. Multimodality non-rigid image registration for planning, targeting and monitoring during CT-guided percutaneous liver tumor cryoablation
US20160217560A1 (en) Method and system for automatic deformable registration
Ionescu et al. Automated registration of ultrasound with CT images: application to computer assisted prostate radiotherapy and orthopedics
Tadayyon et al. Target motion tracking in MRI-guided transrectal robotic prostate biopsy
Fei et al. A molecular image-directed, 3D ultrasound-guided biopsy system for the prostate
Schalk et al. 3D surface-based registration of ultrasound and histology in prostate cancer imaging
Plantefeve et al. Atlas-based transfer of boundary conditions for biomechanical simulation
Xiao et al. User-friendly freehand ultrasound calibration using Lego bricks and automatic registration
Guo et al. Ultrasound frame-to-volume registration via deep learning for interventional guidance
De Nigris et al. Fast and robust registration based on gradient orientations: case study matching intra-operative ultrasound to pre-operative mri in neurosurgery
Hu et al. A statistical motion model based on biomechanical simulations for data fusion during image-guided prostate interventions
Kadoury et al. Realtime TRUS/MRI fusion targeted-biopsy for prostate cancer: a clinical demonstration of increased positive biopsy rates
Tadayyon et al. Target motion compensation in MRI-guided prostate biopsy with static images
Škerl et al. Comparative evaluation of similarity measures for the rigid registration of multi-modal head images
Ji et al. An integrated model-based neurosurgical guidance system
Arbel et al. Fast and efficient image registration based on gradient orientations of minimal uncertainty
De Silva et al. Improving 2D-3D registration optimization using learned prostate motion data
Shakeri et al. Deformable MRI-TRUS surface registration from statistical deformation models of the prostate
Toews et al. Bayesian registration via local image regions: information, selection and marginalization
Zhang et al. A multiscale adaptive mask method for rigid intraoperative ultrasound and preoperative CT image registration
Ushakiran et al. Evaluation of Similarity Measure for Feature based 3D-2D Registration in Vertebral Pose Estimation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170905

R150 Certificate of patent or registration of utility model

Ref document number: 6207534

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250