JP6843130B2 - 側枝カットプレーンビュー角度を決定する脈管内撮像システム及び方法 - Google Patents

側枝カットプレーンビュー角度を決定する脈管内撮像システム及び方法 Download PDF

Info

Publication number
JP6843130B2
JP6843130B2 JP2018518982A JP2018518982A JP6843130B2 JP 6843130 B2 JP6843130 B2 JP 6843130B2 JP 2018518982 A JP2018518982 A JP 2018518982A JP 2018518982 A JP2018518982 A JP 2018518982A JP 6843130 B2 JP6843130 B2 JP 6843130B2
Authority
JP
Japan
Prior art keywords
side branch
angle
carina
data
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018518982A
Other languages
English (en)
Other versions
JP2018530395A (ja
Inventor
ゴピナス,アジェイ
カーン,サブハン
ディオン,デニス
Original Assignee
ライトラボ・イメージング・インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/975,671 external-priority patent/US10222956B2/en
Application filed by ライトラボ・イメージング・インコーポレーテッド filed Critical ライトラボ・イメージング・インコーポレーテッド
Publication of JP2018530395A publication Critical patent/JP2018530395A/ja
Application granted granted Critical
Publication of JP6843130B2 publication Critical patent/JP6843130B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007Evaluating blood vessel condition, e.g. elasticity, compliance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852Catheters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

冠動脈疾患は、世界中で主要な死因の1つである。冠動脈疾患をより良く診断し、監視し、治療する能力は、命を救う重要なものであり得る。脈管内光コヒーレンス断層撮影(optical coherence tomography)(OCT)は、光を使用して冠動脈壁を覗きこみ、その画像を調査のため生成するカテーテルベースの撮像モダリティである。コヒーレント光、干渉法、及びマイクロ光学を利用し、OCTは、マクロメートルレベル分解能で病的管内におけるビデオレートの生体内の断層撮影を提供することができる。光ファイバプローブを使用して高い分解能でサブサーフェス構造を見ることは、OCTを、内部組織及び器官の最小限侵襲的な撮像に特に有用にする。OCTで可能にされるこの詳細さレベルは、臨床医が冠動脈疾患を診断し、さらに進行を監視することを可能にする。OCT画像は、冠動脈形態の高分解能視覚化を提供し、単体で、又は血管造影データ及び他のソースの被検者データなどの他の情報と組み合わせて使用されて、診断やステント送達計画などのプランニングを支援することができる。
患者身体のうち部分のOCT撮像は、医師及び他に対して有用な診断ツールを提供する。例えば、脈管内OCTによる冠動脈の撮像は、狭まり又は狭窄の場所を明らかにすることがある。この情報は、心臓専門医が侵襲的冠動脈バイパス手術と、血管形成又はステント送達などのより侵襲的でないカテーテルベース処置との間で選択するのを助ける。人気の選択肢だが、ステント送達はその独自の関連リスクを有する。
ステントは、しばしばメッシュから形成されるチューブ状構造である。ステントは管部に挿入され、拡大されて、血流を制限する狭窄条件を弱めることができる。ステントは典型的に、金属又は高分子足場で作成される。これらは、カテーテルを介して狭窄の部位に展開できる。心臓血管処置の間、ステントは、ガイドワイヤを介してカテーテルを通して狭窄部位に送達され、バルーンを使用して拡大されることができる。典型的に、ステントは、予め設定された圧力を使用して拡大されて、狭窄した管部の内腔を広げる。血管造影システム、脈管内超音波システム、OCTシステムは、組み合わせで又は単体で使用されて、ステント送達計画及びステント展開を容易にすることができる。
ステントを展開するとき、患者転帰に影響するいくつかの要因がある。いくつかの処置において、ステントは、隣接した健康な管セグメントの直径に対応する直径に拡大されるべきである。ステントの過剰拡大は、管部への大きな損傷を引き起こし、解離、離断、及び壁内出血をしがちにするおそれがある。ステントの過少拡大は、管部を不十分に拡大するおそれがある。ステントの一部が管壁に接するのに失敗した場合、血栓症のリスクが増加するおそれがある。過少膨張の又は不良並置されたステントは、通常の流れを回復するのに失敗することがある。ステントが設置されると、ステント不良並置及びステントの過少拡大は、様々な問題を結果としてもたらす可能性がある。さらに、流れを制限する狭窄は、脈管側枝の近くにしばしば存在する。側枝は、ステントが主管内で展開されて狭窄又は他の病気に対処したとき、ステント支柱により部分的又は完全に閉塞され、あるいは「閉じ込められ」る可能性がある。側枝は、下流の組織に血液を運ぶのに不可欠である。ゆえに、閉じ込めは、望まれない虚血性インパクトを有する可能性がある。閉じ込めの虚血性影響は、複数の側枝がインパクトを受けたとき、又は単一の側枝の閉塞された表面積が著しいときに、悪化する。
本開示は上記チャレンジ及び他に対処する。
関連出願の相互参照
本出願は、2015年10月13日に申請された米国仮特許出願第62/241,056号及び2015年12月18日に申請された米国非仮特許出願第14/975,671号に対する優先権を主張し、これらの開示はその全体を本明細書において参照援用される。
部分的に、本開示は、脈管内データを変換して診断レビュー及び研究を容易にするコンピュータベースの方法及びシステムに関する。一実施形態において、本開示は、冠動脈分岐におけるカリーナの視覚化を生成するシステム及び方法に関する。方法及び方法の様々なステップは自動的に実行でき、これは、1つ以上のユーザアクションに応答したものを含むことができる。
部分的に、本開示は、プローブを使用して引き戻しの間に収集された脈管内データに応答して生成された動脈の様々なビューの表示に関する。ユーザ選択に応答しての1つ以上の断面又は3次元又はカットプレーンビューの表示は、血管内の1つ以上のカリーナの評価を容易にし、一実施形態においてユーザインターフェース制御を使用して自動的に切り替えできる。カリーナビューオン及びオフを切り替える能力もまた、有利な診断機能である。さらに、管に沿って異なるカリーナ間でジャンプし、あるいはその他の方法で移動する能力は、時間を節減し、異なる脈管内特徴の比較を容易にする。
部分的に、本開示は、血管の側枝の領域を検出する方法に関する。方法は、脈管内データの画像フレームのセットから血管の側枝を含む画像フレームのサブセットを識別するステップと、画像フレームのサブセットの各フレーム内で側枝開口の中点角度を計算するステップと、画像フレームのサブセットの各フレームについて計算された中点角度を使用して側枝開口のメジアン角度を計算するステップと、計算されたメジアン角度を使用して側枝を見るための視覚化プレーンを決定して、側枝に関連づけられた領域の検出を可能にするステップと、を含む。一実施形態において、側枝に関連づけられた検出された領域はカリーナを含む。一実施形態において、方法は、ビューイングプレーンに対して方向づけられた領域を表示するステップをさらに含む。
一実施形態において、領域はカリーナを含む。一実施形態において、方法は、ユーザアクションに応答してカリーナビューをアクティブ化する制御信号を生成するステップをさらに含む。一実施形態において、方法は、ユーザアクションに応答してカリーナビューをアクティブ化する制御信号を生成するステップをさらに含む。一実施形態において、方法は、ユーザインターフェースの断面ビューイングモードにおいて上記領域のユーザビューを自動的に方向づけるステップをさらに含む。一実施形態において、方法は、ユーザインターフェースの3次元ビューイングモードにおいて上記領域のユーザビューを自動的に方向づけるステップをさらに含む。一実施形態において、方法は、ユーザインターフェース切り替えのアクティブ化に応答して上記領域のユーザビューを自動的に方向づけるステップをさらに含む。
部分的に、本開示は、管の側枝に関連づけられた領域を検出するコンピュータベースシステムに関する。システムは、データ収集プローブを使用して血管に関して光コヒーレンス断層撮影引き戻しから取得された複数の画像フレームを処理するように構成された1つ以上の画像検出ソフトウェアモジュールを含むプロセッサであり、画像検出ソフトウェアモジュールは、画像フレームを処理して血管の1つ以上の側枝を検出し、側枝が検出された各画像フレームについて側枝の開口の角度を計算するように構成される、プロセッサと、上記計算された角度を、画像フレーム内に検出された各側枝の開口のメジアン角度を計算するために画像検出ソフトウェアモジュールにより使用されるように記憶するよう構成された1つ以上のメモリデバイスと、画像フレーム内の上記データの1つ以上のビューを表示するためにプロセッサと通信するディスプレイと、を含み、各側枝のメジアン角度は、各側枝の視覚化プレーンを決定してディスプレイが側枝の領域の検出のために各側枝の光学的ビューを示すことを可能にするように構成される。一実施形態において、側枝の上記検出された領域はカリーナを含む。一実施形態において、側枝の上記検出された領域はステント部分及び側枝部分を含む。
部分的に、本開示は、血管の側枝の領域を検出する方法に関する。方法は、マシン読取可能メモリに記憶された脈管内データのセットにアクセスするステップと、脈管内データに関して側枝検出を実行して1つ以上の側枝を識別するステップと、1つ以上の側枝のための複数のフレームを識別するステップと、複数のフレームの各々について、一貫した参照角度値を決定するステップと、複数の一貫した参照角度に適用される統計的尺度を使用して複数の一貫した参照角度を統計的に解析するステップと、全体の統計的に解析された角度を、ユーザインターフェースを有するディスプレイに生成された血管の表現のためのカットプレーンビューイング角度として選択するステップと、を含む。
一実施形態において、方法は、脈管内データを使用して血管セグメントの1つ以上の視覚的表現を生成するステップをさらに含む。一実施形態において、方法は、全体の統計的に解析された角度を使用して見える冠動脈分岐における1つ以上のカリーナの視覚化を自動的に生成するステップをさらに含む。一実施形態において、統計的尺度は、平均値、メジアン、最頻値、及び加重平均及びヒストグラムを含む群から選択される。一実施形態において、全体の統計的に解析された角度は複数の中点角度のメジアン角度である。一実施形態において、方法は、脈管内データの表現のディスプレイにおけるユーザインターフェース機能を介して、全体の統計的に解析された角度を使用する自動表示の「オン」及び「オフ」ステートを制御するステップをさらに含む。
図面は必ずしも縮尺どおりでなく、代わりに一般に、例示的な原理に対して強調が置かれている。図面はすべての態様において例示的と考えられるべきであり、本開示を限定するようには意図されず、本開示の範囲は特許請求の範囲によってのみ定義される。
本開示の一例示的な実施形態による脈管内撮像及びデータ収集システムの概略図である。 本開示の一例示的な実施形態によるステント送達計画を含む診断プロセスのためのユーザインターフェース表示、及び脈管内データ収集システム及びそれに適したインジケータ、並びに血管造影システムに関するさらなる詳細を示す。 本開示の一例示的な実施形態によるステント送達計画を含む診断プロセスのためのユーザインターフェース表示、及び脈管内データ収集システム及びそれに適したインジケータ、並びに血管造影システムに関するさらなる詳細を示す。 本開示の一例示的な実施形態によるステント送達計画を含む診断プロセスのためのユーザインターフェース表示、及び脈管内データ収集システム及びそれに適したインジケータ、並びに血管造影システムに関するさらなる詳細を示す。 本開示の一例示的な実施形態による1つ以上の撮像モダリティに対する様々なビューイング及び画像方向づけ機能を含む様々なユーザインターフェース及びデータ表現を示す。 本開示の一例示的な実施形態による1つ以上の撮像モダリティに対する様々なビューイング及び画像方向づけ機能を含む様々なユーザインターフェース及びデータ表現を示す。 本開示の一例示的な実施形態による1つ以上の撮像モダリティに対する様々なビューイング及び画像方向づけ機能を含むカリーナビューと他のデータ表現との間で切り替えるのに適したユーザインターフェースコンポーネントを示す。 本開示の一例示的な実施形態による1つ以上の撮像モダリティに対する様々なビューイング及び画像方向づけ機能を含むカリーナビューと他のデータ表現との間で切り替えるのに適したユーザインターフェースコンポーネントを示す。 本開示の一例示的な実施形態による主管の各側枝のカリーナ視覚化及び検出の方法を例示するフローチャートである。 本開示の一例示的な実施形態による側枝開口を含むフレームのサブセットを例示する概略図である。 本開示の一例示的な実施形態による側枝開口角度計算を例示する概略図である。 本開示の一例示的な実施形態による側枝開口メジアン角度決定を例示する概略図である。
一態様において、方法が、血管のコンピュータ生成表現において関心のある1つ以上の脈管内領域を視覚化するよう提供される。様々な実施形態において、方法は、血管表現の1つ以上の側枝の、1つ以上のビューイング視点を決定するステップを含む。血管表現は、光学的又は音響的データ収集プローブにより取得されるなどする脈管内画像データを使用して生成できる。
部分的に、本開示は、側枝に関連づけられた1つ以上の特徴に関する診断及び表示方法に関する。詳細には、本開示は、一実施形態において、冠動脈分岐又はその1つ以上のサブセクション若しくは領域などの枝分かれ動脈に対する1つ以上のビューを表示し、調整することに関する。上記冠動脈分岐のサブセクション又は領域は、分岐を構成する2つの管セグメントを分離する組織壁又は薄膜である流れ分割部を含むことができる。この流れ分割部、又は分岐の起点に関連づけられた組織領域は、本明細書においてカリーナ(carina)と呼ばれる。
管の側枝を視覚化し、側枝の近くの1つ以上の領域又はフレームを検出することは、例えば、側枝又は分岐に関連づけられた1つ以上のカリーナの場所を特定することに使用できる。次いで、カリーナを視覚化する処理は、カリーナの存在の観点から側枝にわたりステント留置し又は側枝を閉じ込める(jailing)潜在性がより大きいリスクを患者に課す血管に沿った場所を識別することに使用できる。
この診断ツールを用いて、側枝及びカリーナの場所を示し、さらに様々な拡張ビューイングモードを提供してこうした血管特徴の診断判断を容易にするロードマップを有することにより、血管内でステントを展開することが達成できる。ステント留置の間、カリーナの場所を特定するためにビューイング角度を決定することが重要であり、これは、側枝が主管(main vessel)に接合する角度に基づき達成できる。本明細書においてより詳細に説明されるように、ユーザは、脈管内測定から生成された診断ツール及び管表現を使用し、血管の側枝の近くの1つ以上のカリーナの表示ビューを選択し、あるいは切り替えることができる。このことは、側枝が血流を還流させる主要源であり、それをステントでブロックすることが問題のあるシナリオであり、それをカリーナの一部及びステントでブロックすることがさらにより悪い潜在的なシナリオを表すとき、かなり重要である。
部分的に、本開示は、OCT、IVUS、及び血管造影システムなどの脈管内データ収集システム、例としての前述のうち2つ以上の間におけるデータの交換、並びにインジケータなどの診断情報の生成及び表示に関する。一実施形態において、OCTなどの脈管内データが収集される間、血管造影データが同時に収集される。インジケータには、1つ以上の1又は2次元のグラフィック要素と、1つ以上の関連づけられたしるし(indicia)、例えば、色、グレースケール若しくは他スケール階調、ハッシュ、シンボル、又は他の視覚的要素などを含むことができる。
例えばインジケータを脈管内データ収集システムを使用して生成された画像にオーバーレイし、あるいはその他の方法で組み合わせることなどにより、1つ以上のこうしたインジケータを生成し、表示することができる。インジケータは、長手方向の、断面の、及び他のインジケータタイプ、例えば、ユーザ選択された目印に対して追跡するなどの関心のある診断情報を示すのに適した1つ以上のしるし又はグラフィカル要素などを含むことができる。ステント支柱インジケータがさらに使用できる。さらに、解離、側枝、及び他の管特徴として誤解され得る陰影及び他の要素が、暗くされ、あるいはその他の方法で変更されて、これらを区別し、画像フレーム及びデータのユーザレビュー及び解析を容易にすることができる。
適切な診断情報には、ステント並置情報、例えば、管壁又は内腔境界に対するステントの不良並置(malapposition)、管内のユーザ選択されたOCT位置及び関連づけられた血管造影フレーム場所、並びにステント送達計画を容易にするよう生成された他の脈管内診断情報又は他の情報などを含むことができる。システムは、グラフィカルユーザインターフェースと通信し、かつグラフィカルユーザインターフェースにコマンドを送信するように構成されたプロセッサを含む。1つ以上のソフトウェアプログラムが、下記のうち1つ以上を実行することに使用される:画像データのフレームなどのデータを相互位置合わせする(co-register)こと、決定された内腔境界に対するステント位置を示す長手方向インジケータを生成し、表示すること、1つ以上のグラフィカル要素を使用してユーザ選択されたOCT位置情報を血管造影表示に翻訳して相互位置合わせを容易にすること、及び本明細書に説明されるように計画目的及び他のためにステント及びシミュレートされたステントを視覚的に識別すること。様々な3次元フライスルービューがさらにオン及びオフに切り替えられて、本明細書に説明されるような診断レビュー及びステント計画を容易にすることができる。
部分的に、本開示は、画像データ又は被検体に対して測定された他の脈管内パラメータなどの被検体データに対してディスプレイに表現されるグラフィカルユーザインターフェース(GUI)要素又はインジケータに関する。光コヒーレンス断層撮影引き戻し記録又はIVUS又は他の脈管内若しくは血管造影システムの進路の間に長手方向に又は断面的に変化するときの任意の臨床的に有用なパラメータが、インジケータとして評価され、表示されることができる。要素は、インターベンションの心臓専門医が画像を手動で操作する必要なく単一のビューで引き戻し記録全体について臨床的に有用な情報を迅速に確認することに使用できる。インジケータは、臨床的に意味ある閾値を上回るか又は下回るパラメータに基づき、管内の関心のある特定の点にユーザをガイドすることができる。例えば、連続的カラーマップ、又は適切なしるしを使用した他のスケールにパラメータ値を符号化することにより、パラメータのさまざまな深刻さ度合いが、管全体について1つの解釈容易なビューに容易に要約されることができる。これら特徴は、様々な並置バー、ステントインジケータ、及び血管造影画像及び他の脈管内データ収集画像のための他のインジケータを用いて示される。
本明細書において、分岐した管内のステント及び他の医療デバイスを視覚化するシステム及び方法がさらに開示される。検出された側枝場所、内腔輪郭、及びステント支柱位置の組み合わせを使用して、側枝開口の方向に沿い主管を見るビューイング角度が提供され得る。このことは、臨床医が最適なステント留置について治療部位を評価し、ステント修正などのさらなるインターベンションが必要とされるかどうかを判断するための、クリアなユーザ表示を提供する。
閉じ込められた側枝内の血流を改善するために、バルーンを使用して展開されたステント内のセルのグループを開くことが必要であり得る。バルーンガイドワイヤが、典型的に、可能な限り遠位の(例えば、下流の)位置で、閉じ込められた側枝口(ostium)に導入される。遠位ガイドワイヤ位置を取得することは、ステント支柱が側枝口の近位(例えば、上流)側に押されることにつながり、これは、上記口部のより高い流れの遠位側での流れ途絶を最小限にする。ゆえに、ステント及び側枝に関連したガイドワイヤ位置のクリアな、迅速な視覚化は、臨床的に有利である。
図1に示されるように、脈管内データを収集することに使用されるデータ収集システム30は、血管を撮像するために使用できるデータ収集プローブ7を含む。ガイドワイヤが使用されて、プローブ7を血管に導入することができる。データ収集プローブ7は、データを収集する間、血管5の長さに沿って導入され、引き戻されることができる。光ファイバが血管の長さに沿って後退する(引き戻される)とき、複数のスキャン又はOCTデータセットが、プローブ又はその一部が回転するときに収集される。これは、一実施形態において引き戻しと呼ばれる。これらデータセット、又は画像データのフレームの集合が使用されて、狭窄又は展開されたステントなどの関心領域を識別することができる。一実施形態において、データ収集プローブ7は、干渉計とデータ処理システムとを含むOCTシステム10との使用について構成されたOCTプローブである。OCTプローブ7を使用して収集された距離測定値が処理されて、血管の断面ビュー又は長手方向ビュー(L
モードビュー)などの画像データのフレームを生成することができる。明りょうさのため、断面ビューは、長手方向ビューを限定なく含むことができる。これら画像は、1つ以上の画像データ処理モジュール又は段階を使用して処理できる。
プローブ7は、挿入の前又は後、血管内に示される。プローブ7は、OCTシステム10と光通信する。光ファイバ15を介してプローブ17に接続するOCTシステム又はサブシステム10は、レーザなどの光源、試料アーム及び参照アームを有する干渉計、様々な光路、クロック生成器、フォトダイオード、及び他のOCTシステムコンポーネントを含むことができる。
一実施形態において、光受信器31、例えば、バランスドフォトダイオードベースシステムが、プローブ7を出る光を受信することができる。コンピュータデバイス40、例えば、コンピュータプロセッサ、ASIC、又は他のデバイスが、OCTシステム10の一部でもよく、あるいはOCTシステム10と電気又は光通信する別個のサブシステムとして含まれてもよい。コンピュータデバイス40は、メモリ、記憶装置、バス、及びデータを処理するのに適した他のコンポーネント、並びにソフトウェア44、例えば、ステント視覚化、ステント不良並置検出、カリーナ表示、及び引き戻しデータ収集について構成された画像データ処理段階などを含むことができる。
一実施形態において、コンピューティングデバイス40は、ソフトウェアモジュール又はプログラム44を含み、あるいは該モジュール又はプログラム44にアクセスし、上記モジュール又はプログラム44は、例えば、側枝検出モジュール、ガイドワイヤ検出モジュール、内腔検出モジュール、ステント検出モジュール、メジアンマスククリア(median mask clearing)モジュール、強度平均算出(intensity averaging)モジュール、ステント不良並置検出モジュール、及び他のソフトウェアモジュールなどである。例えば、コンピューティングデバイス40は、カリーナ検出モジュール45にアクセスして、血管に沿って各側枝の場所でカリーナの存在を検出することができる。カリーナ又は分岐検出ソフトウェア45はさらに、ユーザインターフェースソフトウェアコンポーネントを含み、あるいは該コンポーネントと通信して、カリーナビューオン及びオフを切り換え、様々なユーザインターフェース表示モード、例えば、ステント計画、フライスルー、及び本明細書において説明される他のビューイングモードなどを表示し、切り替えることができる。ソフトウェアモジュール又はプログラム44は、画像データ処理パイプライン又はそのコンポーネントモジュールと1つ以上のグラフィカルユーザインターフェース(GUI)とを含むことができる。一例示的な画像処理パイプラインは、収集されたOCTデータを血管及びステントの2次元及び3次元ビューに変換するために使用される。画像データ処理パイプライン、又は本明細書に説明される方法のうち任意のものが、メモリに記憶され、プロセッサ、デバイス、又は他の集積回路などの1つ以上のコンピューティングデバイスを使用して実行される。
図1に示されるように、ディスプレイ46がさらにシステム10の一部でもよく、情報47、例えば、収集されたOCTデータを使用して生成された血管の断面及び長手方向ビューなどを示す。システム10が使用されて、血管について検出された側枝に関連づけられた1つ以上のカリーナに関する画像データを表示することができる。一実施形態において、1つ以上のステップが自動的に、又は初期ユーザ入力以外のユーザ入力なく実行されて、1つ以上の画像に対してナビゲートし、情報を入力し、コントローラ又はユーザインターフェースコンポーネントなどの入力を選択し、又は該入力と対話し、あるいはその他の方法で1つ以上のシステム出力を示すことができる。一実施形態において、カリーナビューは、選択すべき選択肢として提示されて、血管及び側枝に関連づけれらた1つ以上のカリーナの表現の2又は3次元ビューのレビューを容易にする。ユーザ入力に応答して1つ以上のビューイングモード間で切り替えることは、本明細書に説明される様々なステップに対して実行できる。
OCTベースの情報47は、1つ以上のグラフィックユーザインターフェース(GUI)を使用して表示できる。さらに、この情報47は、断面スキャンデータ、長手方向スキャン、直径グラフ、画像マスク、陰影領域、ステント、不良並置のエリア、内腔縁、自動的に検出された内腔縁に対して測定された垂直距離、及び内腔縁から検出されたステント支柱位置に延びる垂直距離、並びに血管についての他の画像又は表現、又はOCTシステム及びデータ収集プローブを使用して取得された基礎的な距離測定値を限定なく含むことができる。
コンピューティングデバイス40は、ステント支柱及び不良並置レベル(例えば、閾値及び測定された距離の比較に基づくなど)、並びに他の血管特徴を、例えば、テキスト、矢印、カラーコーディング、ハイライト、輪郭線、又は他の適切な人間若しくはマシン読取可能なしるしなどで識別するように構成されたソフトウェア又はプログラム44をさらに含むことができ、これは、1つ以上のメモリデバイス45に記憶できる。
ディスプレイ46は、一実施形態によれば、血管の様々なビューを表す。ディスプレイは、様々な特徴を示し又は隠すメニュー、例えば、表示すべき血管特徴を選択するメニュー、及び表示の仮想カメラ角度を選択するメニューなどを含むことができる。ユーザは、ユーザ表示上で複数のビュー角度間で切り替えることができる。さらに、ユーザは、例えば、特定の側枝を選択することによって、及び/又は特定の側枝に関連づけられたビューを選択することによってなどで、ユーザ表示上で異なる側枝間で切り替えることができる。例えば、ユーザは、一実施形態においてデフォルトビューであり得る口部ビュー、又はカリーナ状/カリーナビューを選択して、自身が1つ以上の側枝についてカリーナを見ることを可能にすることができる。一実施形態において、画像処理パイプライン及び関連ソフトウェアモジュールは、引き戻しの間に収集されたデータを使用して、撮像された動脈内の内腔境界及び側枝を検出する。一実施形態において、カリーナビューは、カリーナが表示されるとき、選択されてもよく、あるいはデフォルトビューでもよい。カリーナビューは、様々な実施形態においてオン又はオフを切り替えできる。カリーナビューを選択することにより、ディスプレイ上の血管のビューは、以下でより詳細に論じられるように、その計算されたカットプレーンにスナップする(snap to)。
OCTデータがプローブを用いて取得され、メモリに記憶されると、OCTデータが処理されて、情報47、例えば、引き戻し領域又はそのサブセットの長さに沿った血管の断面、長手方向、及び/又は3次元のビューなどを生成することができる。これらビューは、図4〜図5Bに示されるようにユーザインターフェースの一部として表せる。OCTシステムから取得された距離測定値を使用して生成された血管の画像は、血管及びその中に配設された物体に関する情報を提供する。
したがって、部分的に、本開示は、血管、ステント、又は関心のある他の脈管情報に関する情報を評価及び描写するのに適したソフトウェアベースの方法並びに関連システム及びデバイスに関する。OCTデータが使用されて、最初のステント展開又は矯正的ステント関連処置の前又は後、2Dビュー、例えば、血管の断面及び長手方向ビューを生成することができる。データ収集プローブ及び様々なデータ処理ソフトウェアモジュールを使用して取得されたOCTデータが使用されて、ステント、及び/又はステントに関する1つ以上の属性、及び/又はステントが配設されている内腔を識別し、特徴づけ、視覚化することができる。
血管の壁に対しての、及び血管の壁における側枝の開口に関連したステント位置が視覚化されて、側枝開口がステントによりブロックされないようすることができる。一実施形態において、カリーナを含む側枝が識別され、視覚化されて、ステント留置を支援し、ステントがカリーナを押すこと及び側枝に対する開口をブロックすることを防止する。一実施形態において、カリーナを識別すること及び/又は視覚化することは、側枝を見るための視覚的カットプレーンを決定してカリーナについての最適化されたビューを可能にすることにより達成され、ユーザは、血管の断面又は3次元ビューにおいてカリーナを視覚化できる。
図2A〜図2Cは、管50、及びカリーナ56を含む側枝52の開口54のビューを示す。図2Bは、管50の概略図であり、管50と側枝52との接合又は分岐を示す。図2Aにおいて、側枝52に対する開口54は、断面ビューにおいてBとラベル付けされた場所に見え、これは、図3において長手方向ビューでも示される。カリーナ56は、図3において側枝52の開口54の場所に、リップ(lip)又はフラップ(flap)として見える。図2Bにおいて、カリーナ56は、管50と枝52との間のフラップ又はリップとして示される。カリーナ56の場所におけるステントの留置は、カリーナ56が側枝52の開口54をブロックするのを回避するように行われなければならない。
図4〜図5Bは、図1に示されるディスプレイ46上でユーザに対して表示され得る例示的なユーザインターフェースを示す。図4〜図5Bは、プローブが引き通された管の長手方向を表す長手方向ビュー又はLモードを有するインターフェースを示す。ディスプレイは、選択されたカットプレーンとして管の断面ビューをさらに含む。ディスプレイは、ユーザがディスプレイ上の画像を制御することを可能にする制御を含む。一実施形態において、ディスプレイは、カリーナビューを制御するための切り替えボタン60を含む。これは、ディスプレイ上の画像を差し替えて、カットプレーンを使用して側枝のカリーナを示し、ユーザがカリーナの最適化されたビューを与えられるようにする。カリーナビューに切り替えることに追加で、ユーザは、検出された側枝すべてを通して切り替え、カリーナ検出について口部ビュー又はカリーナビューのいずれかを見ることができる。
例えば、カリーナを含む側枝の領域の視覚化を生成するために、枝検出アルゴリズムが使用されて、側枝を含むデータセットのサブセット、又は画像データのフレームを決定する。ゆえに、血管を通しての引き戻しの間にプローブ7により収集されたフレームのすべてについて、主管から外れた側枝を含むように決定されたフレームのサブセットが識別される。サブセット内の各フレームについて、以下でより詳細に論じられるように、側枝開口の中点角度が計算され、使用されて、枝開口のメジアン角度を決定する。計算されたメジアン角度が使用されて、フレームのサブセット内に発見された各側枝について、開口のまわりの領域の最適化された視覚化のためのカットプレーンを決定する。カリーナビューは、図4及び図5Aにおいてオンに切り替えられている。図4において、垂直参照65が、左上及び右上パネル内で、及び下の2つの水平ユーザインターフェースパネル内でカリーナに位置付けられる。参照及びカリーナビューは、垂直参照65と共に図5Aにも示される。
左上パネルは、パネルの上領域内に、カリーナを有するカットスルー3次元ビューを示す。カリーナの自動検出及び選択的ビューイング角度、並びにこれらの間でナビゲートする能力は、エンドユーザによるレビューを簡素化し、加速する。これは、患者に対する改善されたフィードバック及び診断情報を結果としてもたらす可能性がある。図5Bは、図4及び図5Aからのカリーナビューユーザインターフェース60を示す。インターフェース60は、ユーザインタラクションを介して、1つ以上のカリーナビューオン及びオフを切り替えるようにアクション可能である。ユーザインターフェース制御60が使用されて、ビューを、チェックマークにより示されるようにオンに、あるいは空のチェックされていない四角により示されるようにオフにすることができる。これは、エンドユーザにその診断レビューを制御し、合理化するための容易な方法を与える。ユーザは、マウスクリック、ジョイスティックボタン、リモートポインタ、タッチスクリーン制御、又は他のユーザベース入力デバイスで、カリーナビュー60オン及びオフを切り替えることができる。
所与の図内での方向性を示す矢印の使用、又はそれのないことは、情報が流れることができる方向を限定又は要求するようには意図されない。例えば、図1に示される要素を接続する図示された矢印及び線などの所与のコネクタについて、情報は、所与の実施形態に適するように1つ以上の方向に、又はだた1つの方向に流れることができる。接続は、様々な適切なデータ送信接続、例えば、光、ワイヤ、電力、無線、又は電気接続を含むことができる。
1つ以上のソフトウェアモジュールが使用されて、図1に示されるシステムから受信された情報のフレームを処理することができる。ソフトウェア、そのコンポーネント、又はソフトウェアベース若しくはプロセッサ実行方法の1つ以上のステップを限定なく含み得る様々なソフトウェアモジュールが、本開示の所与の実施形態において使用できる。ユーザインターフェース60は、図1のシステムを使用して生成及び処理された脈管内データの様々なパネルを通してナビゲートするように動作する。
図6は、主管の側枝の領域の視覚化、例えば、カリーナを含み得る領域の視覚的特徴を提供する方法のフローチャートを示す。ステップ70において、脈管内データが、図1のプローブ7などのプローブを使用して、管の画像フレームの形式で収集される。一実施形態において、ステップ70において、脈管内データは、図1のプローブ7などのプローブを使用して、スキャンラインとして収集される。画像処理が、一実施形態においてスキャンラインごとに、又は複数のスキャンラインに対して実行できる。一実施形態において、脈管内データはスキャンラインから生成でき、そのようなものとして画像フレームの形式であり得る。
ステップ72において、アルゴリズムが使用されて、主管から外れた側枝を含む画像フレームサブセットを決定する。各側枝について、フレームのサブセットを識別できる。主管の側枝を示すとして識別されたフレームのサブセットの一例が図7に示される。枝開始フレーム90が、主管からの特定の側枝開口を含む第1のフレームとして識別される。後続フレームが、枝終了フレーム92が検出されるまで、同じ側枝開口を含むとして識別される。
ステップ74において、サブセットのフレームについて側枝開口の中点角度が決定され、ステップ76において、この中点角度がデータベースに記憶される。図8に示されるように、中点角度94は、フレーム90において検出された側枝開口について計算される。側枝開口の中点角度は、枝終了フレーム92の中点角度96を含めサブセット内の各フレームについて発見される。
ステップ78において、サブセット内にさらなる画像フレームがあるか否かについて決定が行われる。さらなるフレームがある場合、中点角度が上記で説明されたように各々のさらなるフレームについて計算され、データベースに記憶される。サブセット内のすべてのフレームが処理された場合、フレームのサブセットからの中点角度についてのメジアン角度がステップ80において計算される。図9は、特定の側枝開口を含むフレームのサブセット内のすべてのフレームの中点角度を使用して計算された、側枝開口のメジアン角度を示す。
ステップ82において、計算されたメジアン角度は、例えばカリーナ検出のために、側枝の領域の視覚化のためのカットプレーンの角度として使用される。この方法は、プローブにより収集された画像フレームのセットから検出された各側枝についてのフレームの各サブセットについて実行される。ゆえに、各側枝について計算されたカットプレーンは、各々の特定の側枝を見てカリーナの存在を検出するのに最適なものである。決定されたカットプレーンは、カリーナビューモードがユーザにより選択されているか、又はそのようなビューモードが特定の診断適用のためのデフォルトとして設定できるとき、ユーザに対して自動的に表示できる。
別の実施形態において、側枝の領域を視覚化するプレーンは、開口を通して側枝にシリンダをフィットさせることにより決定される。側枝の軸は、シリンダの中心軸を使用して推定される。この軸が使用されて、側枝の領域を視覚化するため、特に側枝のカリーナを視覚化するための光学的カットプレーンを決定することができる。
部分的に、本開示は、動脈を通したプローブの引き戻し及び関連の収集された脈管内データの文脈において使用されることに適したステント計画及び最適化関連ソフトウェアにさらに関する。これらソフトウェアツール並びに本明細書に説明される他の方法及びシステムは、様々な研究、診断、及び適用可能な臨床的措置に適し、例えば、経皮的冠動脈インターベンション(percutaneous coronary intervention)(PCI)に関する判定をシミュレートし、モデル化し、あるいはガイドするなどする。本明細書に説明される方法及びシステムは、ステント留置前フェーズ及びステント留置後フェーズにおいて診断ツールとしてPCIをサポートするのに適する。ステント留置の前及び後のプローブの1つ以上の引き戻しが、動脈、その側枝、並びに関連した分岐及びカリーナを判断するために実行されてよい。本明細書に説明されるカリーナ視覚化の方法が使用されて、様々な研究及び診断適用をサポートすることができる。
部分的に、一実施形態において、様々な自動化された測定、例えば、ユーザインターフェースの1つ以上のパネルにおける最小内腔エリア決定及び表示、ユーザインターフェースに表示された血管造影画像における内腔長さ及び対応位置、並びにカットプレーン場所などの他の位置及び基準参照などが、デフォルト設定として自動的に表示できる。別法として、こうした情報は、ユーザが関心のある各表示選択肢を選択することに基づき選択的に表示されてもよい。一実施形態において、自動化された測定が、動脈の内腔プロファイルビューのための標準デフォルトとしてオンに切り替えられる。
部分的に、一実施形態において、ステント計画又は展開ステント解析の一部として、ステントロードマップ又は他の適切なステントユーザインターフェースが、例えば図4〜図5Bに示された表示などのユーザに対する表示に利用可能である。
一実施形態において、カリーナ及び側枝ビューに関して本明細書に説明されるように、本開示は、3D分岐モードをソフトウェア機能として含み、これにより、分岐は、長手方向の、断面の、又は他の角度若しくは3Dの動脈に沿って、ジャンプされ、あるいはオン及びオフを切り替えられることができる。ゆえに、ユーザは、複合シナリオに対して分岐モードを選択し、あるいはそれをデフォルトとして自動的に有することができる。図4並びに図5A及び図5Bに示される分岐/カリーナビューの様々な角度のビューイングプレーン及び関連した表示機能、並びに他の回転され又はユーザ構成され表示された分岐ビューが、図1のシステムなどのシステムと本明細書に説明される様々なソフトウェア関連方法及び画像処理ステップとを使用して実現できる。カリーナビューは、図4並びに図5A及び図5Bに示されるようにトグル60を使用してオン及びオフにすることができる。3次元分岐モードは、側枝検出及びカリーナビューを使用して、エンドユーザの診断目的をサポートする。
血管造影及び脈管内データ収集の方法及びシステムを実現する非限定的ソフトウェア機能及び実施形態
下記説明は、本明細書に説明される開示の方法を実行するのに適したデバイスハードウェア及び他の動作コンポーネントの概要を提供するよう意図される。この説明は、本開示の適用可能環境又は範囲を限定するようには意図されない。同様に、ハードウェア及び他の動作コンポーネントは、上記で説明された装置の一部として適し得る。本開示は、他のシステム構成で実施されてよく、上記システム構成には、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベース若しくはプログラマブル電子デバイス、ネットワークPC、ミニコンピュータ、メインフレームコンピュータが含まれる。
詳細な説明のうちいくつかの部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及びシンボル表現の観点で提示される。これらアルゴリズム説明及び表現は、コンピュータ及びソフトウェア関連分野の当業者により使用され得る。一実施形態において、アルゴリズムは、本明細書において及び一般に、所望の結果につながる動作の自己一貫したシーケンスであると考えられる。方法ステップとして実行され、あるいはその他の方法で本明細書に説明される動作は、物理的数量の物理的操作を必要とするものである。必ずではないが、大抵、これら数量は、記憶され、転送され、組み合わせられ、変換され、比較され、その他の方法で操作されることが可能な電気又は磁気信号の形式をとる。
下記の議論から明らかなように、別段具体的に示されない限り、説明全体を通して、「処理する」又は「算出する」又は「角度づける」又は「選択する」又は「切り替える」又は「計算する」又は「比較する」又は「弧長測定する」又は「検出する」又は「追跡する」又は「マスクする」又は「サンプリングする」又は「動作する」又は「生成する」又は「決定する」又は「表示する」などの用語を利用した議論は、コンピュータシステムのレジスタ及びメモリ内の物理的(電子的)数量として表現されたデータを操作し、コンピュータシステムメモリ若しくはレジスタ又は他のこうした情報記憶、送信若しくは表示デバイス内の物理的数量として同様に表現された他のデータに変換する、コンピュータシステム又は同様の電子コンピューティングデバイスのアクション及び処理を参照する。
本開示は、いくつかの実施形態において、本明細書における動作を実行する装置にさらに関する。この装置は、必要とされる目的のために特別に構築されてもよく、あるいは、コンピュータ内に記憶されたコンピュータプログラムにより選択的にアクティブ化され又は再構成される汎用目的コンピュータを含んでもよい。
本明細書において提示されるアルゴリズム及びディスプレイは、いかなる特定のコンピュータ又は他の装置にも本質的に関連しない。様々な汎用目的システムが、本明細書における教示に従うプログラムと共に使用されてよく、あるいは、必要とされる方法ステップを実行するようにより特化した装置を構築するのに便利であると証明し得る。様々なこれらシステムに必要とされる構造は、以下の説明から明らかになるであろう。
本開示の実施形態は多くの異なる形式で実現されてよく、上記形式には、これらに限られないが、プロセッサ(例えば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、又は汎用目的コンピュータ)と共に使用されるコンピュータプログラム論理、プログラマブル論理デバイスと共に使用されるプログラマブル論理(例えば、フィールドプログラマブルゲートアレイ(FPGA)又は他のPLD)、ディスクリートコンポーネント、集積回路(例えば、特定用途向け集積回路(ASIC))、又はこれらの組み合わせを含む任意の他の手段が含まれる。本開示の典型的な一実施形態において、OCTプローブ、FFRプローブ、血管造影システム、及び他の撮像及び被検体監視デバイス、並びにプロセッサベーシステムを使用して収集されたデータの処理のうちいくつか又はすべてが、コンピュータ実行可能形式にコンバートされ、そのようなものとしてコンピュータ読取可能媒体に記憶され、オペレーティングシステムの制御下でマイクロプロセッサにより実行されるコンピュータプログラム命令セットとして実現される。ゆえに、引き戻し又は相互位置合わせ要求の完了に基づくユーザインターフェース命令及びトリガが、例えば、OCTデータを生成し、ビューイング角度を変更し、カリーナビューをオン及びオフステート間で切り替え、様々な及び他の特徴並びに上記で説明された実施形態を使用して画像処理を実行することに適したプロセッサ理解可能命令に変換される。
本明細書で前に説明された機能性のうちすべて又は一部を実現するコンピュータプログラム論理が、様々な形式で具現化されてよく、上記形式には、これらに限られないが、ソースコード形式、コンピュータ実行可能形式、様々な中間形式(例えば、アセンブラ、コンパイラ、リンカ、又はロケータにより生成される形式)が含まれる。ソースコードは、様々なオペレーティングシステム又はオペレーティング環境で使用される様々なプログラミング言語(例えば、オブジェクトコード、アセンブリ言語、又は高水準言語、例えば、Fortran、C、C++、JAVA(登録商標)、又はHTMLなど)のうち任意のもので実現された一連のコンピュータプログラム命令を含んでよい。ソースコードは、様々なデータ構造及び通信メッセージを定義し、使用してよい。ソースコードは、(例えば、インタプリタを介する)コンピュータ実行可能形式でもよく、あるいはソースコードは、(例えば、トランスレータ、アセンブラ、又はコンパイラを介して)コンピュータ実行可能形式にコンバートされてもよい。
コンピュータプログラムは、任意の形式(例えば、ソースコード形式、コンピュータ実行可能形式、又は中間形式)で、永続的又は一時的のいずれかで有形記憶媒体にとどめられてよく、上記有形記憶媒体は、例えば、半導体メモリデバイス(例えば、RAM、ROM、PROM、EEPROM、又はフラッシュプログラマブルRAM)、磁気メモリデバイス(例えば、ディスケット又は固定ディスク)、光学メモリデバイス(例えば、CD‐ROM)、PCカード(例えば、PCMCIAカード)、又は他のメモリデバイスなどである。コンピュータプログラムは、任意の形式で、様々な通信技術のうち任意のものを使用してコンピュータに送信可能な信号にとどめられてよく、上記通信技術は、これらに限られないが、アナログ技術、デジタル技術、光技術、無線技術(例えば、Bluetooth(登録商標))、ネットワーキング技術、及びインターネットワーキング技術が含まれる。コンピュータプログラムは、任意の形式で、付随の印刷された又は電子的ドキュメンテーションを有する取外し可能記憶媒体(例えば、シュリンクラップソフトウェア)として配布されてもよく、コンピュータシステムに(例えば、システムROM又は固定ディスクに)予めロードされてもよく、あるいは通信システム(例えば、インターネット又はワールドワイドウェブ)を通じてサーバ又は電子掲示板から配布されてもよい。
本明細書に前に説明された機能性のうちすべて又は一部を実現するハードウェア論理(プログラマブル論理デバイスで使用されるプログラマブル論理を含む)が、従来的なマニュアルの方法を使用して設計されてよく、あるいは様々なツール、例えば、コンピュータ支援設計(CAD)、ハードウェア記述言語(例えば、VHDL又はAHDL)、又はPLDプログラミング言語(例えば、PALASM、ABEL、又はCUPL)などを使用して電子的に設計され、キャプチャされ、シミュレートされ、あるいはドキュメント化されてよい。
プログラマブル論理は、永続的又は一時的のいずれかで有形記憶媒体にとどめられてよく、上記有形記憶媒体は、例えば、半導体メモリデバイス(例えば、RAM、ROM、PROM、EEPROM、又はフラッシュプログラマブルRAM)、磁気メモリデバイス(例えば、ディスケット又は固定ディスク)、光学メモリデバイス(例えば、CD‐ROM)、又は他のメモリデバイスなどである。プログラマブル論理は、様々な通信技術のうち任意のものを使用してコンピュータに送信可能な信号にとどめられてよく、上記通信技術は、これらに限られないが、アナログ技術、デジタル技術、光技術、無線技術(例えば、Bluetooth)、ネットワーキング技術、及びインターネットワーキング技術が含まれる。プログラマブル論理は、任意の形式で、付随の印刷された又は電子的ドキュメンテーションを有する取外し可能記憶媒体(例えば、シュリンクラップソフトウェア)として配布されてもよく、コンピュータシステムに(例えば、システムROM又は固定ディスクに)予めロードされてもよく、あるいは通信システム(例えば、インターネット又はワールドワイドウェブ)を通じてサーバ又は電子掲示板から配布されてもよい。
適切な処理モジュールの様々な例が、以下でより詳細に論じられる。本明細書において使用されるとき、モジュールは、特定のデータ処理又はデータ送信タスクを実行するのに適したソフトウェア、ハードウェア、又はファームウェアを参照する。一実施形態において、モジュールは、命令又は様々なタイプのデータを受信し、変換し、ルーティングし、処理するのに適したソフトウェアルーチン、プログラム、又は他のメモリ常駐アプリケーションを参照し、上記命令又はデータは、例えば、ユーザインターフェース制御信号、画像データ、スキャンライン、画像フレーム、OCTデータ、FFRデータ、IVUSデータ、画素、ビューイングプレーン角度及び向き及び座標、平均値、メジアン、最頻値(mode)、加重平均、平均値、ユーザインターフェース表示機能及び様々なグラフィカル表示要素、並びに本明細書に説明されるような関心のある他の情報などである。
本明細書に説明されるコンピュータ及びコンピュータシステムは、データを取得、処理、記憶、及び/又は通信することに使用されるソフトウェアアプリケーションを記憶するメモリなどの、動作的に関連したコンピュータ読取可能媒体を含んでよい。こうしたメモリは、その動作的に関連したコンピュータ又はコンピュータシステムに関して内部的、外部的、リモート、又はローカルでよいことが十分理解され得る。
メモリは、ソフトウェア又は他の命令を記憶する任意の手段をさらに含んでよく、上記手段には、例えば、限定なく、ハードディスク、光学ディスク、フロッピーディスク、DVD(デジタル多用途ディスク)、CD(コンパクトディスク)、メモリスティック、フラッシュメモリ、ROM(読取専用メモリ)、RAM(ランダムアクセスメモリ)、DRAM(ダイナミックランダムアクセスメモリ)、PROM(プログラマブルROM)、EEPROM(拡張消去可能PROM)、及び/又は他の同様のコンピュータ読取可能媒体が含まれる。
一般に、本明細書に説明される開示の実施形態に関連して適用されるコンピュータ読取可能メモリ媒体は、プログラマブル装置により実行される命令を記憶することが可能な任意のメモリ媒体を含んでよい。適用可能な場合、本明細書に説明される方法ステップは、1つ又は複数のコンピュータ読取可能メモリ媒体に記憶された命令として具現化され、あるいは実行されてよい。これら命令は、C++、C、Java、及び/又は本開示の実施形態に従い命令を作成するのに適用され得る様々な他の種類のソフトウェアプログラミング言語などの、様々なプログラミング言語で具現化されたソフトウェアであり得る。
本開示の態様、実施形態、特徴、及び実施例は、すべての点において例示と考えられるべきであり、本開示を限定するようには意図されず、本開示の範囲は特許請求の範囲によってのみ定義される。他の実施形態、修正、及び使用が、請求された開示の主旨及び範囲から逸脱することなく当業者に明らかになるであろう。
本出願における見出し及びセクションの使用は、本開示を限定するものでなく、各セクションは、本開示の任意の態様、実施形態、又は特徴に適用できる。
本出願全体を通して、構成が特定のコンポーネントを有し、含み、又は備えると説明される場合、又は処理が特定の処理ステップを有し、含み、又は備えると説明される場合、本教示の構成もまた列挙されたコンポーネントを本質的に含み、あるいは含み、本教示の処理もまた列挙された処理ステップを本質的に含み、あるいは含むことが企図される。
本出願において、要素又はコンポーネントが列挙された要素又はコンポーネントのリストに含まれ、及び/又は該リストから選択されるように述べられる場合、要素又はコンポーネントは列挙された要素又はコンポーネントのうちの任意の1つでもよく、列挙された要素又はコンポーネントのうち2つ以上から成る群から選択されてもよいことが理解されるべきである。さらに、本明細書に説明される構成、装置、又は方法の要素及び/又は特徴は、本明細書において明示的か暗黙的かにかかわらず、本教示の主旨及び範囲から逸脱することなく様々な方法で組み合わせられてよいことが理解されるべきである。
用語「含む(include、includes、including)」又は「有する(have、has、having)」の使用は、別段具体的に示されない限り、上限なし及び非限定的として一般に理解されるべきである。
本明細書における単数の使用は、別段具体的に示されない限り、複数を含む(逆も同様である)。さらに、単数形「一の(a、an)」及び「その(the)」は、文脈が別段明示的に指示しない限り、複数形を含む。さらに、用語「約」の使用が数量値の前にある場合、本教示は、別段具体的に示されない限り、特定の数量値自体をさらに含む。本明細書において使用されるとき、用語「約」は、公称値から±10%のバリエーションを参照する。
ステップの順序又は特定アクションを実行する順序は、本教示が動作可能なままである限り重要でないことが理解されるべきである。さらに、2つ以上のステップ又はアクションが同時に実施されてよい。
請求された開示の様々な態様が、本明細書に開示された教示のサブセット及びサブステップに向けられることが十分理解されるべきである。さらに、本明細書において採用される用語及び表現は、限定でなく説明の用語として用いられ、こうした用語及び表現の使用において、図示及び説明された特徴のいかなる均等物又はその一部も除外する意図はなく、様々な修正が請求された開示の範囲内で可能であることが認識される。したがって、特許証により保護されるよう望まれるものは、すべての均等物を含め、下記の特許請求の範囲に定義及び区別された開示である。
用語「マシン読取可能媒体」は、マシンにより実行される命令セットを記憶、符号化、又は担体でき、かつマシンに本開示の方法論のうち任意の1つ以上を実行させる任意の媒体を含む。マシン読取可能媒体が一例示的な実施形態において単一の媒体であるように示されるが、用語「マシン読取可能媒体」は、1つ以上の命令セットを記憶する単一の媒体又は複数の媒体(例えば、データベース、1つ以上の集中型若しくは分散型データベース、及び/又は関連したキャッシュ及びサーバ)を含むようにとられるべきである。
本開示の特定の態様において、要素又は構造を提供するため、又は所与の1つ又は複数の機能を実行するために、単一のコンポーネントが複数のコンポーネントに置換されてよく、複数のコンポーネントが単一のコンポーネントに置換されてよいことが十分理解され得る。こうした代替が本開示の特定の実施形態を実施するのに有効でない場合を除き、こうした代替は本開示の範囲内と考えられる。
本明細書に提示された例は、本開示の潜在的及び具体的な実現例を示すよう意図される。実施例は当業者に対する本開示の例示を主に目的とすることが十分理解され得る。本開示の主旨から逸脱することなく本明細書に説明された図表又は動作に対してバリエーションがあり得る。例えば、特定の場合に、方法ステップ又は動作が異なる順序で遂行され又は実行されてよく、あるいは動作が追加され、削除され、修正されてよい。
さらに、本開示の特定の実施形態が、本明細書において本開示を限定する目的でなく本開示を例示する目的で説明されたが、要素、ステップ、構造、及び/又は部分の詳細、材料、及び配置の多くのバリエーションが特許請求の範囲に記載される開示から逸脱することなく本開示の原理及び範囲内でなされ得ることが当業者により十分理解されるであろう。

Claims (18)

  1. 血管の側枝の領域を検出するシステムにより実行される方法であって、前記システムは1つ以上のプロセッサ及び1つ以上のメモリデバイスを含み、当該方法は
    脈管内データの画像フレームのセットから血管の側枝を含む画像フレームのサブセットを識別するステップと、
    前記画像フレームのサブセットの各フレーム内の前記血管の円周に沿った側枝開口の中点角度を計算するステップと、
    前記画像フレームのサブセットの各フレームについて計算された前記中点角度を使用して前記側枝開口のメジアン角度を計算するステップと、
    前記計算されたメジアン角度を使用して前記側枝を見るための視覚化プレーンを決定して、前記側枝に関連づけられた領域の検出を可能にするステップと、
    を含む方法。
  2. 前記側枝に関連づけられた前記検出された領域はカリーナを含む、請求項1に記載の方法。
  3. 前記視覚化プレーンに対して方向づけられた前記領域を表示するステップ、をさらに含む請求項1に記載の方法。
  4. 前記領域はカリーナを含む、請求項3に記載の方法。
  5. ユーザアクションに応答してカリーナビューをアクティブ化する制御信号を生成するステップ、をさらに含む請求項2に記載の方法。
  6. ユーザアクションに応答してカリーナビューをアクティブ化する制御信号を生成するステップ、をさらに含む請求項4に記載の方法。
  7. ユーザインターフェースの断面ビューイングモードにおいて前記領域のユーザビューを自動的に方向づけるステップ、をさらに含む請求項1に記載の方法。
  8. ユーザインターフェースの3次元ビューイングモードにおいて前記領域のユーザビューを自動的に方向づけるステップ、をさらに含む請求項1に記載の方法。
  9. ユーザインターフェース切り替えのアクティブ化に応答して前記領域のユーザビューを自動的に方向づけるステップ、をさらに含む請求項1に記載の方法。
  10. 管の側枝に関連づけられた領域を検出するコンピュータベースシステムであって、
    データ収集プローブを使用して血管に関して光コヒーレンス断層撮影引き戻しから取得された複数の画像フレームを処理するように構成された1つ以上の画像検出ソフトウェアモジュールを含むプロセッサであり、前記画像検出ソフトウェアモジュールは、前記画像フレームを処理して前記血管の1つ以上の側枝を検出し、側枝が検出された各画像フレームについて前記血管の円周に沿った前記側枝の開口の角度を計算するように構成される、プロセッサと、
    前記計算された角度を、前記画像フレーム内に検出された各側枝の前記開口のメジアン角度を計算するために前記画像検出ソフトウェアモジュールにより使用されるように記憶するよう構成された1つ以上のメモリデバイスと、
    前記画像フレーム内のデータの1つ以上のビューを表示するために前記プロセッサと通信するディスプレイと、
    を含み、
    各側枝の前記メジアン角度は、各側枝の視覚化プレーンを決定して前記ディスプレイが前記側枝の領域の検出のために各側枝の光学的ビューを示すことを可能にするように構成される、システム。
  11. 前記側枝の前記検出された領域はカリーナを含む、請求項10に記載のシステム。
  12. 前記側枝の前記検出された領域はステント部分及び側枝部分を含む、請求項10に記載のシステム。
  13. 血管の側枝の領域を検出するシステムにより実行される方法であって、前記システムは1つ以上のプロセッサ、マシン読取可能メモリ、及び1つ以上のディスプレイを含み、当該方法は
    前記マシン読取可能メモリに記憶された脈管内データのセットにアクセスするステップと、
    前記脈管内データに関して側枝検出を実行して1つ以上の側枝を識別するステップと、
    前記1つ以上の側枝のための複数のフレームを識別するステップと、
    前記複数のフレームの各々について、一貫した参照角度値を決定するステップと、
    前記複数の一貫した参照角度に適用される統計的尺度を使用して前記複数の一貫した参照角度を統計的に解析するステップと、
    全体の統計的に解析された角度を、ユーザインターフェースを有する前記1つ以上のディスプレイに生成された前記血管の表現のためのカットプレーンビューイング角度として選択するステップと、
    を含む方法。
  14. 前記脈管内データを使用して血管セグメントの1つ以上の視覚的表現を生成するステップ、をさらに含む請求項13に記載の方法。
  15. 前記全体の統計的に解析された角度を使用して見える冠動脈分岐における1つ以上のカリーナの視覚化を自動的に生成するステップ、をさらに含む請求項13に記載の方法。
  16. 前記統計的尺度は、平均値、メジアン、最頻値、及び加重平均及びヒストグラムを含む群から選択される、請求項13に記載の方法。
  17. 前記全体の統計的に解析された角度は複数の中点角度を使用して計算されたメジアン角度である、請求項13に記載の方法。
  18. 前記脈管内データの前記表現のディスプレイにおけるユーザインターフェース機能を介して、前記全体の統計的に解析された角度を使用する自動表示の「オン」及び「オフ」ステートを制御するステップ、をさらに含む請求項13に記載の方法。
JP2018518982A 2015-10-13 2016-10-10 側枝カットプレーンビュー角度を決定する脈管内撮像システム及び方法 Active JP6843130B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562241056P 2015-10-13 2015-10-13
US62/241,056 2015-10-13
US14/975,671 2015-12-18
US14/975,671 US10222956B2 (en) 2015-05-17 2015-12-18 Intravascular imaging user interface systems and methods
PCT/US2016/056216 WO2017066108A1 (en) 2015-10-13 2016-10-10 Intravascular imaging system and methods to determine cut plane view angle of side branch

Publications (2)

Publication Number Publication Date
JP2018530395A JP2018530395A (ja) 2018-10-18
JP6843130B2 true JP6843130B2 (ja) 2021-03-17

Family

ID=58517798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018518982A Active JP6843130B2 (ja) 2015-10-13 2016-10-10 側枝カットプレーンビュー角度を決定する脈管内撮像システム及び方法

Country Status (7)

Country Link
EP (1) EP3361933B1 (ja)
JP (1) JP6843130B2 (ja)
CN (1) CN108135488B (ja)
AU (1) AU2016339822B9 (ja)
CA (1) CA3000948C (ja)
ES (1) ES2940439T3 (ja)
WO (1) WO2017066108A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
EP3349649B1 (en) 2015-09-18 2022-03-09 Auris Health, Inc. Navigation of tubular networks
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
WO2018183727A1 (en) 2017-03-31 2018-10-04 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) * 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
KR20200100613A (ko) 2017-12-14 2020-08-26 아우리스 헬스, 인코포레이티드 기구 위치 추정을 위한 시스템 및 방법
US11160615B2 (en) 2017-12-18 2021-11-02 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
US10827913B2 (en) 2018-03-28 2020-11-10 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
JP7214747B2 (ja) 2018-03-28 2023-01-30 オーリス ヘルス インコーポレイテッド 位置センサの位置合わせのためのシステム及び方法
KR102499906B1 (ko) 2018-05-30 2023-02-16 아우리스 헬스, 인코포레이티드 위치 센서-기반 분지부 예측을 위한 시스템 및 방법
WO2019231891A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Path-based navigation of tubular networks
KR102567087B1 (ko) 2018-05-31 2023-08-17 아우리스 헬스, 인코포레이티드 생리학적 잡음을 검출하는 내강 네트워크의 내비게이션을 위한 로봇 시스템 및 방법
KR102455671B1 (ko) 2018-05-31 2022-10-20 아우리스 헬스, 인코포레이티드 이미지-기반 기도 분석 및 매핑
EP4226864A1 (en) * 2018-10-26 2023-08-16 Koninklijke Philips N.V. Intraluminal ultrasound imaging with automatic and assisted labels and bookmarks
CN114340542B (zh) 2019-08-30 2023-07-21 奥瑞斯健康公司 用于位置传感器的基于权重的配准的系统和方法
US11147633B2 (en) 2019-08-30 2021-10-19 Auris Health, Inc. Instrument image reliability systems and methods
US20210113098A1 (en) * 2019-10-16 2021-04-22 Canon U.S.A., Inc. Image processing apparatus, method and storage medium to determine longitudinal orientation
CN114901192A (zh) 2019-12-31 2022-08-12 奥瑞斯健康公司 用于经皮进入的对准技术
KR20220123087A (ko) 2019-12-31 2022-09-05 아우리스 헬스, 인코포레이티드 경피 접근을 위한 정렬 인터페이스
KR20220123273A (ko) 2019-12-31 2022-09-06 아우리스 헬스, 인코포레이티드 해부학적 특징부 식별 및 표적설정
CN111062942B (zh) * 2020-03-16 2020-06-12 南京景三医疗科技有限公司 血管分叉的检测方法、装置及医疗设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6544219B2 (en) * 2000-12-15 2003-04-08 Advanced Cardiovascular Systems, Inc. Catheter for placement of therapeutic devices at the ostium of a bifurcation of a body lumen
EP2480124B1 (en) * 2009-09-23 2017-11-22 Lightlab Imaging, Inc. Lumen morphology and vascular resistance measurement data collection systems, apparatus and methods
WO2011119880A1 (en) * 2010-03-24 2011-09-29 Advanced Bifurcation Systems, Inc Methods and systems for ostial stenting of a bifurcation
EP2642922A1 (en) * 2010-11-24 2013-10-02 Boston Scientific Scimed, Inc. Systems and methods for detecting and displaying body lumen bifurcations
CA2836790C (en) * 2011-05-31 2019-04-23 Desmond Adler Multimodal imaging system, apparatus, and methods
US8831321B1 (en) * 2011-11-07 2014-09-09 Lightlab Imaging, Inc. Side branch detection methods, systems and devices
US9986938B2 (en) * 2014-02-25 2018-06-05 Medis Associated B.V. Method and device for determining a geometrical parameter of a blood vessel
JPWO2015136853A1 (ja) * 2014-03-14 2017-04-06 テルモ株式会社 画像処理装置、画像処理方法及びプログラム
CN104958061B (zh) * 2015-07-28 2016-09-14 北京信息科技大学 双目立体视觉三维成像的眼底oct成像方法及其系统

Also Published As

Publication number Publication date
WO2017066108A1 (en) 2017-04-20
EP3361933A1 (en) 2018-08-22
AU2016339822B2 (en) 2021-07-01
AU2016339822A1 (en) 2018-04-19
CA3000948A1 (en) 2017-04-20
CN108135488B (zh) 2021-11-26
ES2940439T3 (es) 2023-05-08
AU2016339822B9 (en) 2021-07-08
JP2018530395A (ja) 2018-10-18
EP3361933B1 (en) 2023-03-01
CA3000948C (en) 2024-02-20
CN108135488A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
JP6843130B2 (ja) 側枝カットプレーンビュー角度を決定する脈管内撮像システム及び方法
JP7375102B2 (ja) 血管内画像化システムの作動方法
AU2021203057B2 (en) Intravascular data visualization method
JP6682526B2 (ja) 血管内のステント配備を評価する為の、プロセッサベースの自動システムの作動方法、及び血管内のステント配備を評価する為の、プロセッサベースの自動システム
US10222956B2 (en) Intravascular imaging user interface systems and methods
JP2024054120A (ja) 血管内のステントストラットのカバレッジを表示するシステム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210222

R150 Certificate of patent or registration of utility model

Ref document number: 6843130

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250