JP6490423B2 - 医療画像内の管状構造への注記 - Google Patents

医療画像内の管状構造への注記 Download PDF

Info

Publication number
JP6490423B2
JP6490423B2 JP2014529100A JP2014529100A JP6490423B2 JP 6490423 B2 JP6490423 B2 JP 6490423B2 JP 2014529100 A JP2014529100 A JP 2014529100A JP 2014529100 A JP2014529100 A JP 2014529100A JP 6490423 B2 JP6490423 B2 JP 6490423B2
Authority
JP
Japan
Prior art keywords
marker
tubular structure
image
contour
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014529100A
Other languages
English (en)
Other versions
JP2014526301A (ja
JP2014526301A5 (ja
Inventor
マヤ エラ バーリー
マヤ エラ バーリー
テイス エレンバース
テイス エレンバース
ラウル フローレント
ラウル フローレント
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2014526301A publication Critical patent/JP2014526301A/ja
Publication of JP2014526301A5 publication Critical patent/JP2014526301A5/ja
Application granted granted Critical
Publication of JP6490423B2 publication Critical patent/JP6490423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、医療画像に注記するための注記装置、医療X線イメージングシステム、医療画像に注記する方法、コンピュータプログラム要素、及びコンピュータ可読媒体に関する。
医学的検査及び介入プロシージャの間、医療画像は、管状構造の特徴のロケーションを示すマーカ又は注記を、ユーザによって与えられることができる。
例えば、ステントを移植プロシージャの間、外科医は、ステント移植の正確な位置決めを確実にするために、及び特に側枝動脈へのその血流量がブロックされないことを確実にするために、ホワイトボードマーカを使用してモニタ画面に血管の側枝を描く。モニタ画面上でマーキングされる側枝の境界又は軸は、ステントグラフトを位置付けると共に、ガイドとして役立つ。しかしながら、モニタ画面上でこのような注記を入れることは、臨床医にとって煩わしく、時間がかかることでありうる。
このようにして、医療画像への情報の改善された手作業の挿入の必要がある。
本発明の目的は、独立請求項の要旨によって解決され、他の実施形態は、従属請求項に盛り込まれる。
以下に記述される本発明の見地は、注記装置、医療X線イメージングシステム、医療画像に注記する方法、コンピュータプログラム要素、及びコンピュータ可読媒体に当てはまることに留意すべきである。
本発明の第1の見地によれば、医療画像に注記する方法は、a)管状構造の画像を表示するステップと、b)管状構造の少なくとも1つのセグメント化された部分のグラフィック表現を表示するステップであって、グラフィック表現が、セグメント化された部分の形状及び/又は拡張を表す少なくとも1つのインジケータラインを含み、グラフィック表現が、管状構造の画像と組み合わされて表示される、ステップと、c)管状構造の画像上にオーバレイされる少なくとも1つのマーカを生成し、表示するステップであって、マーカは、グラフィック表現に沿って移動可能なものである、ステップと、d)管状構造の予め決められた特徴を示すために、グラフィック表現に沿ったロケーションにマーカを位置付けるステップと、を含む。
本発明の一見地によれば、グラフィック表現は、更なる情報のために示される画像をユーザが使用する可能性を提供するために、管状構造の画像に加えて表示される。例えば、ユーザは、自身の経験に基づいて、表示される画像を解釈することができる。こうして、自動検出アルゴリズムが十分に正確で信頼性が高いことに失ける場合であっても、特徴が、検出され、それに応じてマーカを位置付けることによってマーキングされることができる。言い換えると、例えばセグメント化された構造のような、すなわち画像データの解釈に基づく構造のようなアルゴリズムの結果を単に示すことに代わって、ユーザに提供される情報は、グラフィック表現の形のすでに解釈された又は処理されたデータと、更なる解釈のための他の画像データ、例えば生の画像データとの両方を含む。こうして、本発明による注記は更に、ほとんど目に見えないことがある特定の特徴を検出するために、ユーザ個人の知識及び経験及びスキルを使用し、利用する。
本発明の一見地によれば、管状構造は、血管構造である。例えば、管状構造は更に、対象の気道でありうる。管状構造は、尿路でもありうる。
本発明の一見地によれば、管状構造は血管構造であり、セグメント化された部分は、セグメント化された血管である。
本発明の例示の実施形態によれば、ステップc)において、少なくとも1つのマーカが、生成され、グラフィック表現の隣に自動的に初期的に位置付けられる。
少なくとも1つのマーカは、最初は自動的に、すなわち、ユーザとの対話処理の必要なく、グラフィック表現に対して位置付けられることができる。このように、自動的な位置付けは、ユーザがマーカ位置の任意の調整を始める前に、行われる。簡単に述べると、システムは初期的な提案をし、グラフィック表現上にマーカを位置付ける。例えば、マーカは、最初、管状構造の表示された画像上にオーバレイされるグラフィック表現の外側に、少なくとも部分的に位置付けられる。言い換えると、ユーザは、示される特徴のロケーションにマーカを位置付けることをすぐに始めることができる。
例えば、マーカは、グラフィック表現の近くに位置付けられ、表示される。
少なくとも1つのマーカが、最初は自動的なやり方で、グラフィック表現と並んで又はそれに沿って、すなわちグラフィック表現の近くに、グラフィック表現に隣接して又は接続されて、位置付けられることができる。例えば、マーカは、グラフィック表現に付されて位置付けられ、すなわちグラフィック表現のすぐ隣に、又は近くに、又は近接して位置付けられる。
例えば、自動的な位置付けのために、予め決められた特徴の高い確率をもつロケーションが、決定されることができ、マーカは、最初、与えられるロケーションに位置付けられる。
マーカは、予め決められた特徴のロケーションについての最も妥当な推測で位置付けられることができ、マーカは、最初、グラフィック表現と接触するが、グラフィック表現の側方に位置付けられることができる。
本発明の例示の実施形態によれば、表示される画像に対するマーカの移動可能性は、少なくとも1次元に制限され、制限は、グラフィック表現に関連する。
本発明の例示の実施形態によれば、マーカは、少なくとも1つのセグメント化された部分の個々の部分に対して垂直な方向を有する2Dマーカであり、2Dマーカは、セグメント化された部分に沿って、例えばセグメント化された血管に沿って、スライド可能である。
本発明の例示の実施形態によれば、マーカは、少なくとも1つのセグメント化された部分に対して空間方向を有する3Dマーカ矢であり、3D矢は、セグメント化された部分に沿ってスライド可能であり、例えばセグメント化された血管のような部分の周りを回転可能である。
本発明の例示の実施形態によれば、予め決められた特徴は、管状構造の(サブ)ブランチの分岐点である。
血管構造の場合、予め決められた特徴は、動脈瘤、血管構造内のカルシウム沈着、血管構造内に置かれるデバイス、血管の分析、病変、狭窄症及び血栓症を含むグループの少なくとも1つでありうる。
本発明の例示の実施形態によれば、例えば血管構造である管状構造の画像は、蛍光透視構造である。
画像は、管状/血管構造の3次元画像でありうる。例示の実施形態によれば、セグメント化された部分は、部分輪郭を提供される。例えば、セグメント化された血管は、血管輪郭を提供される。
グラフィック表現が、管状構造の画像にオーバレイされて表示されることができる。
本発明の第2の見地によれば、処理ユニット、表示ユニット及びインタフェースユニットを有する、医療画像に注記するための注記装置が提供される。処理ユニットは、管状構造の画像にオーバレイされる少なくとも1つのマーカを生成するように構成され、マーカは、グラフィック表現に沿って移動可能である。表示ユニットは、管状構造の画像を表示し、管状構造の少なくとも1つのセグメント化された部分のグラフィック表現を表示するように構成され、グラフィック表現は、セグメント化された部分の形状及び/又は拡張を表現する少なくとも1つのインジケータラインを含む。グラフィック表現は、管状構造の画像と組み合わされて表示される。表示ユニットは、管状構造の画像にオーバレイされる少なくとも1つのマーカを表示するように更に構成される。インタフェースユニットは、管状構造の予め決められた特徴を示すために、グラフィック表現に沿った或るロケーションにマーカを位置付けるように構成される。
例示の実施形態によれば、処理ユニットは、自動的に、少なくとも1つのマーカを生成し、グラフィック表現の隣に自動的に位置付けるように構成される。
一例によれば、処理ユニットは、表示された画像に対するマーカの移動可能性を、少なくとも1次元に制限するように構成され、かかる制限は、グラフィック表現に対するものである。
本発明の第3の見地によれば、X線源及びX線検出器を有するX線画像取得装置、並びに上述の見地による注記装置を具備する医療X線イメージングシステムが提供される。X線画像取得装置は、管状構造の画像を提供するように構成される。
本発明の一見地によれば、マーカは、医療画像と共に示される。管状構造のセグメント化された部分のグラフィック表現を提供することによって、ユーザは、検査された状況(例えば患者の血管構造)の主要な情報を提供される。後者の場合、すなわち、管状構造が血管構造である場合、セグメント化された部分はセグメント化された血管である。血管ブランチのような管状ブランチ及びサブブランチを更に決定するために、ユーザは、医療画像により提供されるそれぞれの画像情報を視覚的に識別することができ、それぞれの位置にマーカを容易に配置することができる。位置付けの前に、システムは、予め決められた性質又は特徴を有するグラフィック表現内のロケーションを決定し、最初は、グラフィック表現内のこのロケーションの隣にマーカを位置付けることができ、それにより、ユーザは、グラフィック表現に沿ってマーカを移動することによって実際の位置付けをすぐに始めることができ、マーカのいかなる扱いにくい位置付けも、すなわちグラフィック表現をヒットすることも、省略される。初期的な位置付けは、「最も妥当な推測」に基づくものでありうる(以下参照)。移動可能性が最小限に制限されるという点で、移動制御は容易にされる。これは、グラフィック表現の形で、セグメント化された血管構造のようなセグメント化された部分構造に沿ったスライド移動によってのみ移動されることができるマーカを提供することによって達成される。例えば、2Dの場合、血管のような管状構造の部分に沿ったスライド移動、すなわち部分又は血管ラインに沿っていわば行ったり来たりするスライド移動のみが可能にされる。管状構造の3D画像の場合には、マーカの移動は、2D画像のものと同様に、血管のような部分に沿ったスライド移動の形で可能であるが、マーカは更に、例えば側枝の立体構造を決定するために、血管軸のような各々の部分軸の周りで回転されることができる。しかしながら、3Dの場合も、マーカの移動可能性は、少なくとも1次元に制限される。血管構造のような管状構造内のサブブランチ又は分岐点を識別することに代わって、上述したような疑わしいカルシウム沈着、病変又はその他のような予め決められた特徴を識別することが更に可能であり、かかる識別は、制限された移動可能性のため、容易にされ、ゆえに強化され、それにより、医療画像上にマーカをセットすることを要求する際のより速い及びより少ない集中をユーザに与える。予め決められた特徴の識別は、すなわち、サブブランチ又は分岐点の識別に対する付加として、提供されることができる。例えば、例えば外科医のような臨床医は、血管のようなセグメント化された部分に沿ってマーカをスライドさせることができ、そして、血管のような部分に沿っていわば歩きながら、予め決められた特徴を識別することができる。ナビゲーションの場合、例えばテーブルサイドモジュール上のアップアンドダウンボタン、ベッドサイドマウス、又はシステムへの入力を提供する他の手段のみが提供されるので、このステアリング又は移動制御は、まさしく直接的な態様で提供される。
本発明のこれらの及び他の見地は、以下の記述される実施形態から明らかになり、それらを参照して説明される。
本発明の例示の実施形態は、添付の図面を参照して記述される。
本発明の例示の実施形態による医療X線イメージングシステムを概略的に示す図。 本発明の例示の実施形態による、医療画像に注記するための注記装置を概略的に示す図。 本発明の例示の実施形態による、医療画像に注記する方法の基本ステップを概略的に示す図。 本発明の一実施形態による、グラフィック表現及び2Dマーカと組み合わされる、管状構造の一例としての血管構造の2D画像を示す図。 本発明の例示の実施形態による、グラフィック表現及び3Dマーカを有する血管構造の3次元画像を示す図。 本発明の例示の実施形態による、医療画像に注記する方法の他の例を示す図。 本発明の例示の実施形態による、医療画像に注記する方法の他の例を示す図。 本発明の例示の実施形態による、医療画像に注記する方法の他の例を示す図。 本発明の例示の実施形態による、グラフィック表現及び2Dマーカを有する血管構造の2D画像の他の例を示す図。 本発明の例示の実施形態による、グラフィック表現及び2Dマーカを有する血管構造の2D画像の他の例を示す図。 本発明の例示の実施形態による、グラフィック表現及び2Dマーカを有する血管構造の2D画像の他の例を示す図。
図1は、X線源14及びX線検出器16を有するX線画像取得装置12を具備する医療X線イメージングシステム10を示す。更に、注記装置18が示されており、注記装置18については、以下の図面を参照して更に詳しく説明される。
X線画像取得装置12は、いわゆるCアーム構造として示されており、X線源14及びX線検出器16が、可動Cアーム構造20の対向する端部に載置されている。Cアーム構造20は、幾つかのスライド可能で回転可能な取付サポート構造を有する天井サポート22に可動に取り付けられており(これについては更に詳しくは述べない)、これは、例えば球状対象24によって示される患者でありうる関心対象の周りでのX線源及びX線検出器の回転運動を可能にする。患者24のような対象を支持するために、位置適応可能性を備えうる、すなわちテーブルの高さ及び位置を調整する可能性を有するテーブル26が提供される。
更に、ディスプレイ装置28が、テーブルの近傍に提供される。更に、ランプ構造30、及び図示されるX線画像取得配置及び他の装置の個々のコンポーネントを動作させるための第1の制御インタフェース32が、概略的に示されている。
X線画像取得配置12は、例えば患者の管状構造の画像を提供するように構成される。
本発明の1つの見地によれば、管状構造は血管構造であり、セグメント化された部分はセグメント化された血管である。
図2に示されるように、注記装置18は、処理ユニット34、表示ユニット36及びインタフェースユニット38を有する。処理ユニット34、表示ユニット36及びインタフェースユニット38は、接続ライン40によって接続されるものとして、概略的に示されている。更に、インタフェースユニット38が表示ユニット36に直接接続されうることに留意すべきである。当然ながら、表示ユニット36は、処理ユニット34に接続される代わりに、インタフェースユニット38に接続されることもできる。
処理ユニット34は、管状構造の画像にオーバレイされる少なくとも1つのマーカを生成するように構成され、該マーカは、グラフィック表現に沿って移動可能である。
表示ユニット36は、管状構造の画像を表示するように、及び管状構造の少なくとも1つのセグメント化された部分のグラフィック表現を表示するように、構成される。グラフィック表現は、セグメント化された部分の形状及び/又は拡張を表現する少なくとも1つのインジケータラインを含み、グラフィック表現は、管状構造の画像と組み合わされて表示される。表示ユニット36は、管状構造の画像にオーバレイされる少なくとも1つのマーカを表示するように更に構成される。
インタフェースユニット38は、管状構造の予め決められた特徴を示すために、グラフィック表現に沿ったロケーションにマーカを位置付けるように構成される。
例えば、処理ユニット34は、表示される画像に対するマーカの移動可能性を、少なくとも1次元に制限するように構成され、かかる制限は、グラフィック表現に対するものである。
図3を参照して、医療画像に注記する方法100が提供され、方法は、以下のステップを含む。第1の表示ステップ110において、管状構造112の画像が提供される。第2の表示ステップ114において、管状構造の少なくとも1つのセグメント化された部分のグラフィック表現116が表示される。グラフィック表現は、セグメント化された部分の形状及び/又は拡張を表現する少なくとも1つのインジケータラインを含む。グラフィック表現は、管状構造の画像と結合されて表示され、この結合は、破線で囲まれる四角118により図3に示され、第1及び第2の表示ステップ110、114が、少なくとも部分的に一時的に重なり合うように提供されることを示す。参照数字120によって示される更なるステップにおいて、管状構造の画像にオーバレイされる少なくとも1つのマーカが、生成され表示され、かかるマーカは、グラフィック表現に沿って移動可能である。少なくとも1つのマーカが、図3の参照数字122によって示されている。更に、位置付けステップ124において、マーカは、管状構造の予め決められた特徴126を示すために、グラフィック表現に沿ったロケーションに位置付けられる。
第1の表示ステップ110は、ステップa)ともよばれ、第2の表示ステップ114は、ステップb)ともよばれ、生成及び表示ステップ120はステップc)ともよばれ、位置付けステップ124はステップd)ともよばれる。
本発明の1つの見地によれば、表示された画像に対するマーカの移動可能性は、少なくとも1次元に制限され、かかる制限は、グラフィック表現に対するものである。
一例によれば、画像は2D画像であり、移動可能性は、1次元に制限され、すなわち管状構造のセグメント化された部分に沿って行ったり来たりするように制限される。これは、2の異なるコマンドのみを入力する形の、最小限のユーザインタラクションを必要とし、それは、例えば中立の中間位置を有するツーウェイスイッチのような簡単なインタフェースで達成されることができる。更なる低減のために、再び位置に到達するために、始点への復帰を可能にするループ機能が提供される場合、セグメント化された部分に沿って移動させるための単一のコマンドが十分であり、始点は、例えばセグメント化された部分の最も遠い開始ポイントである。
別の例によれば、画像が3D画像であり、移動可能性は、2次元にのみ制限され、すなわち、管状構造のセグメント化された部分に沿って行ったり来たりすること、及びセグメント化された部分の軸を中心に回転することに制限される。これは、セグメントに沿って移動するための2つの異なるコマンド及び軸を中心とする回転移動のための2つの異なるコマンドを入力する形で、最小限のユーザインタラクションを必要とする。回転移動のためのコマンドは、再び元の位置に達するための完全な回転により、ただ1つのコマンドの形の可能性もある。
例えば、グラフィック表現に沿った移動は、2信号インタフェースによって制御される。マーカは、ラインに沿って、すなわち血管のような管状構造の部分に沿って2つの異なる方向に移動することのみ可能であるので、例えば、ユーザは、テーブルサイドモジュールのアップアンドダウンボタンを使用して、又はベッドサイドのマウスにより、又は2信号の形でシステムに同様の入力を提供する他の手段により、セグメント化された部分の輪郭に沿ってマーカを移動させることができる。
マーカは、グラフィック表現に対して移動可能に取り付けられることができる。例えば、位置付けの間、マーカは、アンカーポイントによってグラフィック表現に取り付けられ、アンカーポイントは、セグメント化された部分に沿って移動可能である。
画像平面内に位置付けるために、マーカは、グラフィック表現に沿ってスライド可能である。
3次元でマーカを位置付ける場合、マーカは、セグメント化された部分の軸を中心に回転可能でありうる。
図4に示される他の実施形態によれば、マーカ122は、2Dマーカ128である。2Dマーカは、例えば、少なくとも1つのセグメント化された部分の個々の部分に対して垂直な方向を有し、セグメント化された部分に沿ってスライド可能である。図4に見られるように、管状構造の一例として、血管構造の画像130が表示される。更に、血管構造のセグメント化された血管のグラフィック表現132が示され、図4においてセグメント化された血管が実線で表現され、画像の血管構造が破線で表現される。
少なくとも実施形態のいくつかが、管状構造の例として血管構造に言及しているが、本発明は、例えば患者の気道又は尿路(詳しくは示さない)のような他の管状構造に関しても提供されることに留意されたい。特に、更に血管構造を示す実施形態を参照して記述される特徴は、他の管状構造も当てはまる。
2Dマーカの移動可能性は、両矢印134によって示される。
他の例示の実施形態によれば、血管(管状)構造の画像が、図5に示すように3D画像140である場合、マーカ122は、セグメント化された血管138(又はその部分)に対して空間的な方向を有する3Dマーカ矢印136である。3Dマーカ矢印136は、両矢印142によって示されるように血管に沿ってスライド可能であり、更に、円形矢印144によって示されるように血管の周りを回転可能である。
例えば、3Dマーカ矢印136は、管状部分の軸又は中心線(詳しく示さず)に対して垂直な部分146を少なくとも含む。
図4を参照して、更に、2Dマーカ128は、血管輪郭に対して垂直な少なくとも1つのマーカ部分148を含むことができる。例えば、部分は、ラインセグメントでありうる。
2D及び3Dにおいて、マーカは、グラフィック表現に沿ってのみ移動可能であり、すなわち、移動可能性は、グラフィック表現に沿った、例えば輪郭に沿った移動又は中心線の周りの回転に制限される。
従って、ユーザは、個々の部分ポイントにカーソルを配置する必要がない。かかるカーソル配置は、例えばトラックボール又はマウスによって、手作業で部分の輪郭に狙いを定めることを含む。本発明は、そうではなく、セグメント化された部分に沿って移動するように簡単なコマンドを入力する可能性を提供する。これは、マーカを提供することによって達成され、マーカは、セグメント化された部分の表現に、いわば磁気的にくっつく。従って、セグメント化された部分で正確にマーカを配置する必要がなく、長手方向にマーカを移動させるだけでよい。例えば、予め決められた特徴は、分岐点でありえ、図4及び図5に示される管状構造の例のように、例えば血管構造のサブブランチの分岐点でありうる。
本発明によれば、更に、管状構造が血管構造である場合、予め決められた特徴は、動脈瘤、血管構造内の石灰化、血管構造内部に配置されたデバイス、血管の切開、病変、狭窄及び血栓症を含むグループの中の少なくとも1つである(詳細は示さない)。
1つの医療画像内のそれぞれ異なる特徴を識別する場合、異なるマーカタイプが、個々の異なる特徴について提供されることができる。図6に示される他の例によれば、ステップa)の前に、管状構造の画像150が、X線イメージングモダリティを有する取得ステップ152において取得される。
血管構造の画像は、検査下で血管構造の造影剤が少なくとも部分的に注入された状態における血管構造を示すX線画像でありうる。造影剤は、気道及び尿路に関しても使用されることができる。
画像は、管状構造の2D画像でありうる。
図7に示されるように、ステップa)に供給される画像は、血管構造のデジタルサブトラクションアンギオグラム154でありうる。
図5に関してすでに述べたように、画像は、例えば血管のような管状構造の3D画像156でありうる。例えば、3D画像は、血管構造からX線画像データに基づく。例えば、3D画像の画像データは、破線の矢印160により図8に示されるコンピュータトモグラフィ158によって取得され、これは、CT(コンピュータトモグラフィ)が、3D画像情報を提供するための1つの可能性であることを示す。
図9a乃至図9cに関連して示される他の例示の実施形態によれば、セグメント化された血管は、血管輪郭162を提供される。
図9aは、X線ベースの画像、例えば医療画像としての蛍光透視画像164を示す。血管輪郭162は、グラフィック表現116の例であり、グラフィック表現116は、蛍光透視画像164にオーバレイされることができる。少なくとも1つのセグメント化された血管が、例えば大動脈及び/又は総腸骨血管のような主要な血管を少なくとも含むことができる。従って、グラフィック表現は、少なくとも血管路を含むことができる。図9a乃至図9cに示されるように、グラフィック表現(例えば輪郭162)は、血管構造の画像にオーバレイされる態様163で表示されることができる。図9a乃至図9cに見られるように、輪郭を描かれたセグメント化された血管の他に、他の画像情報も提供され、臨床医は、かかる情報から、例えば分岐点のロケーションを決定するために、十分な情報を導き出すことができる。図9a乃至図9cに示される蛍光透視画像は、血管構造を視覚化するために、注入された造影剤によって少なくとも部分的に示されることに留意すべきである。しかしながら、更に、石灰化、埋め込み装置又は他の特徴を示すために造影剤を用いることなく、蛍光透視画像のような個々の血管構造情報を示す他の画像を提供することも更に可能であることに留意されたい。
図9aを参照して、注記器とも呼ばれることができるマーカ122は、セグメント化された血管168に垂直に配される主要ラインセグメント166、及び主要セクション又は主要ライン部分166に対し垂直であるベース部分168、と共に示され、ベース部分又はベース要素は、血管輪郭と位置合わせされる。従って、ベース要素はラインセグメントであることができる。それは個々の隣接する血管輪郭セグメントの方向に位置合わせされる。分岐点のような予め決められた特徴を識別するために、ユーザは、血管輪郭162に沿って、マーカ122又は注記器を移動させるための簡単なコマンドを入力することができる。これは、図9bに示され、マーカ166は、なお血管に沿っている。図9cにおいて、マーカ166は、側枝血管のための例として、前腸骨へのブランチと位置合わせされるロケーションに達せられる。
言い換えると、本発明の例によれば、最初、マーカ166は、セグメント化された血管の輪郭に沿って自動的に配置されることができ、例えば、いわゆる「最も妥当な推測」レベルで提供されることができる。
「最も妥当な推測」という語は、管状構造(例えば狭窄、重い石灰化、動脈瘤など)の特定の特徴を検出するように設計されたコンピュータアルゴリズムの(自動化された又は半自動の)リターンをさす。「最も妥当な推測」の説明的な例は、コンピュータプログラムによって提供される場合、ステント移植プロシージャ中の造影剤強調ランから、血管分岐点ロケーションを自動的に決定する。このプログラムは、分岐点のロケーションの「最も妥当な推測」レベル及び方向をリターンし、かかるロケーション及び方向は、装置ナビゲーション中に使用されるためにモニタに表示されることができる。分岐点検出が、大きい血管(例えば大動脈、総腸骨動脈)に関しては、高い信頼性を伴って機能し、小さい大動脈側枝血管は、必ずしも正しく識別されず、例えば、側枝の小孔のロケーションの場合、アルゴリズムの「最も妥当な推測」は、実際のロケーションから2−3cmのところにありうる。この「最も妥当な推測」は、表示されるマーカロケーションが臨床的に使用可能であるようにするために、ユーザ調整を必要とする。
ユーザは、例えばアップアンドダウンボタンを使用して、血管輪郭に沿ってマーカを移動させることができる。輪郭の局所的な方向は、現在位置において決定される。マーカは、例えば単一ラインを含み、血管輪郭に対し垂直な方向に向けられる。マーカが、臨床医によって検出されるブランチと位置合わせされるようにスライディングによって移動された場合、更に、個々の時点でマーカをセットするためにコマンドを入力すること、及び他の標示の目的で他のマーカを生成することが可能である。
他の例によれば、マーカは、グラフィック表現の1つの側からグラフィック表現の他の側まで移動可能であり、例えば血管の一方の側から血管の他方の側まで移動可能である。こうして、マーカは、特徴が示されるべき位置へ移動されることができる。一方の側から他方の側へのこのような移動は、非常に容易なやり方で達成されることができ、最小限のユーザインタラクションのみを必要とする。
本発明の1つの見地によれば、わずかな量のユーザインタラクションのみが必要であり、これは、例えば完全に自動のセグメント化が十分には正確でない場合に、血管ブランチの注記を容易にする、これは、臨床医が例えば2つの軸の代わりに1つの軸に沿って移動させることのみが必要であるマーカを提供することによって達成され、これは、より容易であり且つより正確な配置を作る。従って、セグメント化された部分に沿った移動は、手作業でマーキングされるべきである検出された特徴の標示を容易にする。これは、特にフリーな空間モードで画像をマーキングすることと比較して、大きな軽減を提供する。
本発明の別の例示の実施形態において、先行する実施形態のうちの1つによる方法の方法ステップを適当なシステム上で実行するように適応されることによって特徴付けられるコンピュータプログラム又はコンピュータプログラム要素が提供される。
従って、コンピュータプログラム要素は、コンピュータユニット上に記憶されることができ、これは、本発明の一実施形態の一部でありうる。このコンピューティングユニットは、上述の方法におけるステップを実施する又はステップの実施を誘導するように適応されうる。更に、コンピューティングユニットは、上述の装置のコンポーネントを動作させるように適応されうる。コンピューティングユニットは、自動的に動作し及び/又はユーザのオーダーを実行するように適応されうる。コンピュータプログラムは、データプロセッサの作業メモリへロードされることができる。従って、データプロセッサは、本発明の方法を実施する能力を備えることができる。
本発明のこの例示の実施形態は、最初から直ちに本発明を使用するコンピュータプログラム、及び更新によって既存のプログラムを本発明を使用するプログラムに変えるコンピュータプログラムをカバーする。
更に、コンピュータプログラム要素は、上述したように方法の例示の実施形態のプロシージャを果たすためにすべての必要なステップを提供することが可能でありうる。
本発明の他の例示の実施形態によれば、例えばCD−ROMのようなコンピュータ可読媒体が提示され、コンピュータ可読媒体は、それに記憶されるコンピュータプログラム要素を有し、コンピュータプログラム要素は、先行するセクションによって記述されたものである。
コンピュータプログラムは、他のハードウェアと共に又はハードウェアの一部として供給される光学記憶媒体又はソリッドステート媒体のような適切な媒体に記憶され及び/又は分配されることができるが、更に、他の形式で、例えばインターネット又は他のワイヤード又はワイヤレスの通信システムを介して分配されることができる。
しかしながら、コンピュータプログラムは更に、ワールドワイドウェブのようにネットワークを通じて提示されてもよく、このようなネットワークからデータプロセッサの作業メモリにダウンロードされることができる。本発明の他の例示の実施形態によれば、コンピュータプログラム要素をダウンロードのために利用可能にする媒体が提供され、コンピュータプログラム要素は、本発明の既に記述された実施形態の1つによる方法を実施するように構成される。
本発明の実施形態は、それぞれ異なる発明の主題に関して記述されていることに留意しなければならない。特に、ある実施形態は、方法タイプの請求項に関して記述され、他の実施形態は、装置タイプの請求項に関して記述されている。しかしながら、当業者は、上述の及び以下の記述から、他の場合が示されない限り、1つのタイプの発明の主題に属する特徴の任意の組み合わせに加えて、更に、異なる主題に関する特徴の任意の組み合わせが、本願によって開示されていると考えられることを知るであろう。しかしながら、すべての特徴は、特徴の簡単な合計より多くの相乗効果を提供するように組み合わせられることができる。
本発明が、図面及び上述の記述において詳細に図示され記述されているが、このような図示及び記述は、説明的な又は例示的なものとして考えられるべきであり、制限的なものではない。本発明は、開示された実施形態に制限されない。開示された実施形態に対する他の変更は、図面、開示及び従属請求項の検討から、請求項に記載の本発明を実施する際に当業者によって理解され実現されることができる。
請求項において、「含む、有する」という語は、他の構成要素又はステップを除外せず、及び「a」又は「an」のような不定冠詞は複数性を除外しない。単一のプロセッサ又は他のユニットは、請求項に列挙されるいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示さない。請求項における任意の参照符号は、本発明の範囲を制限するものとして解釈されるべきでない。

Claims (12)

  1. 医療画像に注記するための注記装置であって、
    処理ユニットと、
    表示ユニットと、
    インタフェースユニットと、
    を有し、前記処理ユニットは、管状構造の画像にオーバレイされる少なくとも1つのマーカを生成するように構成され、
    前記表示ユニットは、管状構造の画像を表示し、前記管状構造の少なくとも1つのセグメント化された部分のグラフィック表現を表示し、前記管状構造の画像にオーバレイされる少なくとも1つのマーカを表示するように構成され、前記グラフィック表現は、セグメント化された部分の輪郭を含み、
    前記グラフィック表現は、前記管状構造の画像と組み合わされて表示され、前記インタフェースユニット、前記管状構造の予め決められた特徴を示すために、前記マーカを前記グラフィック表現に沿って移動させ、前記グラフィック表現に沿ったロケーションに前記マーカを位置付けるように構成され
    前記マーカが、
    前記少なくとも1つのセグメント化された部分の輪郭に対して或る方向を有して、前記輪郭から外方に延びる2Dマーカであって、前記セグメント化された部分の前記輪郭に沿ってのみスライドする2Dマーカ、又は、
    前記少なくとも1つのセグメント化された部分の輪郭に対して空間的な方向を有して、前記輪郭から外方に延びる3Dマーカ矢印であって、前記セグメント化された部分の前記輪郭に沿ってのみスライドし、前記セグメント化された部分の周りを回転する3Dマーカ矢印、
    である、注記装置。
  2. 前記処理ユニットは、少なくとも1つのマーカを自動的に生成し、前記グラフィック表現に沿ったロケーションに初期的に位置付けるように構成される、請求項1に記載の注記装置。
  3. X線源及びX線検出器を有するX線画像取得装置と、請求項1又は2に記載の注記装置と、を有し、前記X線画像取得装置が、前記管状構造の画像を提供するように構成される、医療X線イメージングシステム。
  4. 医療画像に注記するための注記装置の作動方法であって、
    a)管状構造の画像を表示するステップと、
    b)前記管状構造の少なくとも1つのセグメント化された部分のグラフィック表現を表示するステップであって、前記グラフィック表現が、セグメント化された部分の輪郭を含み、前記グラフィック表現が、前記管状構造の画像と組み合わされて表示される、ステップと、
    c)前記管状構造の画像にオーバレイされる少なくとも1つのマーカを生成し、表示するステップであって、前記マーカが、
    前記少なくとも1つのセグメント化された部分の輪郭に対して或る方向を有して、前記輪郭から外方に延びる2Dマーカ、又は、
    前記少なくとも1つのセグメント化された部分の輪郭に対して空間的な方向を有して、前記輪郭から外方に延びる3Dマーカ矢印、
    であるステップと、
    d)前記管状構造の予め決められた特徴を示すために、前記グラフィック表現に沿ったロケーションに前記マーカを位置付けるステップであって、
    前記2Dマーカを、前記セグメント化された部分の前記輪郭に沿ってのみスライド移動させるか、又は、
    前記3Dマーカ矢印を、前記セグメント化された部分の前記輪郭に沿ってのみスライド移動させ、前記セグメント化された部分の周りを回転移動させる
    ステップと、
    を含む、作動方法。
  5. 前記ステップc)において、少なくとも1つのマーカが、生成され、前記グラフィック表現に沿ったロケーションに初期的に自動的に位置付けられる、請求項4に記載の作動方法。
  6. 前記予め決められた特徴は、前記管状構造のサブブランチの分岐点、動脈瘤、前記管状構造内の石灰化、前記管状構造内に配されるデバイス、前記管状構造の切開、病変、狭窄、及び血栓のグループのうちの少なくとも1つである、請求項4又は5に記載の作動方法。
  7. 前記管状構造の画像が、蛍光透視画像である、請求項4乃至のいずれか1項に記載の作動方法。
  8. 前記画像が、前記管状構造の3D画像である、請求項4乃至のいずれか1項に記載の作動方法。
  9. 前記グラフィック表現は、前記管状構造の画像にオーバレイされて表示される、請求項4乃至のいずれか1項に記載の作動方法。
  10. 前記管状構造が血管構造であり、前記セグメント化された部分がセグメント化された血管である、請求項4乃至のいずれか1項に記載の作動方法。
  11. 請求項1乃至3のいずれか1項に記載の装置を制御するためのコンピュータプログラムであって、処理ユニットによって実行されるとき、請求項4乃至10のいずれか1項に記載の作動方法の各ステップを実施する、コンピュータプログラム。
  12. 請求項11に記載のコンピュータプログラムを記憶したコンピュータ可読媒体。
JP2014529100A 2011-09-13 2012-08-29 医療画像内の管状構造への注記 Active JP6490423B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161533817P 2011-09-13 2011-09-13
US61/533,817 2011-09-13
PCT/IB2012/054430 WO2013038290A1 (en) 2011-09-13 2012-08-29 Vessel annotator.

Publications (3)

Publication Number Publication Date
JP2014526301A JP2014526301A (ja) 2014-10-06
JP2014526301A5 JP2014526301A5 (ja) 2015-09-10
JP6490423B2 true JP6490423B2 (ja) 2019-03-27

Family

ID=47074748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014529100A Active JP6490423B2 (ja) 2011-09-13 2012-08-29 医療画像内の管状構造への注記

Country Status (6)

Country Link
US (1) US11810661B2 (ja)
EP (1) EP2751726B1 (ja)
JP (1) JP6490423B2 (ja)
CN (1) CN103814379B (ja)
RU (1) RU2595805C2 (ja)
WO (1) WO2013038290A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6780936B2 (ja) * 2016-01-13 2020-11-04 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
EP3522116A1 (en) * 2018-01-31 2019-08-07 Koninklijke Philips N.V. Device, system and method for determining the position of stents in an image of vasculature structure
JP7532402B2 (ja) 2019-04-01 2024-08-13 キャスワークス リミテッド 血管造影画像選択のための方法および装置
US12039685B2 (en) 2019-09-23 2024-07-16 Cathworks Ltd. Methods, apparatus, and system for synchronization between a three-dimensional vascular model and an imaging device

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5623582A (en) * 1994-07-14 1997-04-22 Immersion Human Interface Corporation Computer interface or control input device for laparoscopic surgical instrument and other elongated mechanical objects
JP4376340B2 (ja) * 1999-02-25 2009-12-02 富士通株式会社 曲線スライダ装置
US7778688B2 (en) * 1999-05-18 2010-08-17 MediGuide, Ltd. System and method for delivering a stent to a selected position within a lumen
US7386339B2 (en) 1999-05-18 2008-06-10 Mediguide Ltd. Medical imaging and navigation system
WO2003023737A1 (en) * 2001-09-07 2003-03-20 The General Hospital Corporation Medical procedure training system
US6782284B1 (en) 2001-11-21 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for semi-automatic aneurysm measurement and stent planning using volume image data
US7453472B2 (en) * 2002-05-31 2008-11-18 University Of Utah Research Foundation System and method for visual annotation and knowledge representation
WO2003105017A2 (en) 2002-06-05 2003-12-18 Koninklijke Philips Electronics N.V. Analysis of a multi-dimensional structure
EP1665130A4 (en) 2003-09-25 2009-11-18 Paieon Inc SYSTEM FOR THREE-DIMENSIONAL RECONSTRUCTION OF A TUBULAR ORGAN
US7639847B2 (en) * 2004-09-08 2009-12-29 Ge Medical Systems Information Technologies, Inc. Coronary artery tree imaging system and method
US20060074285A1 (en) 2004-09-24 2006-04-06 Paieon Inc. Apparatus and method for fusion and in-operating-room presentation of volumetric data and 3-D angiographic data
US7804990B2 (en) * 2006-01-25 2010-09-28 Siemens Medical Solutions Usa, Inc. System and method for labeling and identifying lymph nodes in medical images
US7912270B2 (en) * 2006-11-21 2011-03-22 General Electric Company Method and system for creating and using an impact atlas
US9757076B2 (en) 2006-11-22 2017-09-12 Koninklijke Philips N.V. Combining X-ray with intravascularly acquired data
US8505978B1 (en) * 2006-12-20 2013-08-13 Stamps.Com Inc. Systems and methods for creating and providing shape-customized, computer-based, value-bearing items
US20080287909A1 (en) * 2007-05-17 2008-11-20 Viswanathan Raju R Method and apparatus for intra-chamber needle injection treatment
JP2009022733A (ja) * 2007-06-20 2009-02-05 Toshiba Corp 医用診断支援装置、医用診断支援方法、及び放射線診断装置
US20080317195A1 (en) 2007-06-20 2008-12-25 Kabushiki Kaisha Toshiba Medical-diagnosis assisting apparatus, medical-diagnosis assisting method, and radiodiagnosis apparatus
CN102007516A (zh) * 2008-04-14 2011-04-06 汤姆森特许公司 自动跟踪对象的技术
JP5173718B2 (ja) 2008-09-30 2013-04-03 株式会社東芝 X線撮影装置
JP5624308B2 (ja) 2008-11-21 2014-11-12 株式会社東芝 画像処理装置及び画像処理方法
WO2010067276A1 (en) 2008-12-10 2010-06-17 Koninklijke Philips Electronics N.V. Vessel analysis
CN101751696B (zh) * 2009-12-22 2011-12-21 复旦大学附属中山医院 一种构建人体实质脏器仿生三维血管网络的方法

Also Published As

Publication number Publication date
RU2595805C2 (ru) 2016-08-27
EP2751726A1 (en) 2014-07-09
JP2014526301A (ja) 2014-10-06
RU2014114576A (ru) 2015-10-20
EP2751726B1 (en) 2019-10-09
US20150082143A1 (en) 2015-03-19
CN103814379B (zh) 2019-10-18
US11810661B2 (en) 2023-11-07
WO2013038290A1 (en) 2013-03-21
CN103814379A (zh) 2014-05-21

Similar Documents

Publication Publication Date Title
JP5844801B2 (ja) 物体の特定配向の決定
ES2940439T3 (es) Sistema de obtención de imágenes intravasculares y métodos para determinar el ángulo de visión del plano de corte de la rama lateral
JP5180367B2 (ja) 指定位置に治療装置をナビゲートする方法と装置
JP6581598B2 (ja) カテーテルの特定の位置を決定するための装置
US10959780B2 (en) Method and system for helping to guide an endovascular tool in vascular structures
CN104853689B (zh) 定位工具
US20150310586A1 (en) Digital Ruler and Reticule for Renal Denervation
JP6305915B2 (ja) 候補セグメンテーション画像を選択するための個別ボタンを備える医用画像装置
JP6490423B2 (ja) 医療画像内の管状構造への注記
US10806520B2 (en) Imaging apparatus for imaging a first object within a second object
US20120022366A1 (en) Registration of aorta to patient via two 2d images for placement of a stent
KR101703564B1 (ko) 혈관 정보를 포함하는 의료 영상을 디스플레이하는 장치 및 방법
CN108366834B (zh) 导航辅助系统
US10497115B2 (en) Method, apparatus and computer program for visually supporting a practitioner with the treatment of a target area of a patient
CN113424130A (zh) 放射医师的虚拟工具套件
JP6929687B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP6087604B2 (ja) 医用画像処理装置
EP3461411A1 (en) Augmented anatomical map
RU2574374C2 (ru) Определение конкретной ориентации объекта
JP6780936B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
von Aspern et al. Three-Dimensional Rotational Angiography

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170131

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170719

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170726

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190227

R150 Certificate of patent or registration of utility model

Ref document number: 6490423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250