JP7054411B2 - 血管造影画像を用いて心臓運動を評価するための方法 - Google Patents

血管造影画像を用いて心臓運動を評価するための方法 Download PDF

Info

Publication number
JP7054411B2
JP7054411B2 JP2020503319A JP2020503319A JP7054411B2 JP 7054411 B2 JP7054411 B2 JP 7054411B2 JP 2020503319 A JP2020503319 A JP 2020503319A JP 2020503319 A JP2020503319 A JP 2020503319A JP 7054411 B2 JP7054411 B2 JP 7054411B2
Authority
JP
Japan
Prior art keywords
angiographic image
angiographic
image frame
frame
intravascular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020503319A
Other languages
English (en)
Other versions
JP2020528779A (ja
Inventor
美絵 國尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon USA Inc
Original Assignee
Canon USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon USA Inc filed Critical Canon USA Inc
Priority claimed from PCT/US2018/043756 external-priority patent/WO2019023382A1/en
Publication of JP2020528779A publication Critical patent/JP2020528779A/ja
Application granted granted Critical
Publication of JP7054411B2 publication Critical patent/JP7054411B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12—Devices for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/481—Diagnostic techniques involving the use of contrast agents
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/504—Clinical applications involving diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • A61B6/503—Clinical applications involving diagnosis of heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2800/00—Detection or diagnosis of diseases
    • G01N2800/32—Cardiovascular disorders
    • G01N2800/323—Arteriosclerosis, Stenosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/404—Angiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Description

関連出願への相互参照
本願は、２０１７年７月２６日出願の米国仮出願第６２／５３７，２０４号と２０１８年６月５日出願の米国仮出願第６２／６８０，７８０号に対する優先権を主張する、２０１８年７月２５日出願の米国特許出願第１６／０４４，８８１号と２０１８年７月２５日出願の米国特許出願第１６／０４４，９３１号に関し、また、これらに対する優先権を主張するものであり、これらの出願は、参照によりそれらの全体が本明細書に組み込まれる。
本開示は、概して、血管造影画像データを処理することに関し、より具体的には、血管造影画像を用いて心臓運動を評価するための方法に関する。
経皮的冠動脈インターベンション（ＰＣＩ）は、冠動脈血管造影や血管内イメージング等の革新的なイメージングモダリティによって、著しく向上してきた。冠動脈血管造影により、冠動脈の長手方向のシルエットが提供される一方、血管内イメージングモダリティにより、冠動脈の断面情報が提供される。血管内超音波（ＩＶＵＳ）や光干渉断層撮影法（ＯＣＴ）等の血管内イメージングにより、例えば管腔サイズ、プラーク形態、埋め込みデバイス等のより精密な病変情報が提供され、医師が２つの異なるイメージングモダリティ間を接続することを可能にするシステムが開発された。この接続プロセスは、相互レジストレーション（co-registration）と呼ばれる。ＯＣＴ等の血管内イメージングは、心周期の間に取得され、相互レジストレーションプロセスは、心臓運動によって影響を受ける可能性がある。
よって、血管造影画像における放射線不透過性マーカの検出を改善するために、血管造影画像を用いて心臓運動を評価することによる、血管造影イメージングモダリティと血管内イメージングモダリティとの間の改善された相互レジストレーションが、当該技術分野において必要とされている。
本開示は、血管造影画像における放射線不透過性マーカの検出を改善するために、血管造影画像データを用いて心臓運動を評価し、心周期を推定するための方法を対象とする。血管造影画像における心臓運動を評価することにより、血管造影イメージングモダリティと血管内イメージングモダリティとの間の相互レジストレーションを改善することができる。血管造影画像を処理するための方法は、血管領域の複数の血管造影画像フレームと、イメージングカテーテルのプルバック中にイメージングカテーテルによって血管領域において取得される複数の血管内画像フレームとを取得することを含む。複数の血管造影画像フレームの各々において血管領域を検出すること、検出された血管領域の長手方向を決定すること、長手方向に交差する方向を定めること、及び、複数の血管造影画像フレーム内の血管領域の場所を評価することにより、当該方向に基づいて血管領域の運動を検出すること。本方法はまた、複数の血管造影画像フレームのうちの少なくとも１つにおいてイメージングカテーテルのマーカを検出するために、検出された運動及び検出された血管領域に基づいてエリアを定めることを含む。本方法は、検出されたマーカに基づいて、複数の血管造影画像フレームと複数の血管内画像フレームとの間の相互レジストレーションを実行することにより、完結することができる。
本開示の更なる特徴は、添付の図面を参照した例示的な実施形態の以下の説明から明らかになるであろう。
図１は、本開示の１つ以上の態様に従う、血管造影画像データを処理するために様々なステップを実行するためのイメージングシステムを示す概略図である。 図２は、本開示の１つ以上の態様に従う、様々な画像処理ステップを示すフローチャートである。 図３は、本開示の１つ以上の態様に従う、相互レジストレーションワークフローのタイミングを示すタイムチャート図である。 図４Ａは、本開示の１つ以上の態様に従う、直接検出されたイメージングカテーテル経路を用いた相互レジストレーションのための様々なステップを示すフローチャートである。 図４Ｂは、本開示の１つ以上の態様に従う、直接検出されたイメージングカテーテル経路を用いた相互レジストレーションのための様々なステップを示すフローチャートである。 図５は、本開示の１つ以上の態様に従う、図４Ａ及び図４Ｂの視覚表現を示す図である。 図６Ａは、本開示の１つ以上の態様に従う、マーカ位置に基づくイメージングカテーテル経路を用いた相互レジストレーションのための様々なステップを示すフローチャートである。 図６Ｂは、本開示の１つ以上の態様に従う、マーカ位置に基づくイメージングカテーテル経路を用いた相互レジストレーションのための様々なステップを示すフローチャートである。 図７は、本開示の１つ以上の態様に従う、図６Ａ及び図６Ｂの視覚表現を示す図である。 図８Ａは、本開示の１つ以上の態様に従う、取得された血管内画像フレームが血管造影画像フレーム上で位置する場所を決定するための様々なステップを示すフローチャートである。 図８Ｂは、本開示の１つ以上の態様に従う、取得された血管内画像フレームが血管造影画像フレーム上で位置する場所を決定するための様々なステップを示すフローチャートである。 図９は、本開示の１つ以上の態様に従う、血管造影画像フレーム上の取得された血管内画像フレームの位置を決定するための、血管造影画像フレーム及び血管内画像フレームを示す図である。 図１０は、本開示の１つ以上の態様に従う、相互レジストレーション結果を表示するためのグラフィカルユーザインタフェースを示す図である。 図１１は、本開示の１つ以上の態様に従う、心臓運動を考慮しながら各血管造影画像フレームにおいてマーカを検出するための、様々なステップを示すフローチャートである。 図１２は、本開示の１つ以上の態様に従う、心臓運動を評価するための様々なステップを示すフローチャートである。 図１３は、本開示の１つ以上の態様に従う、二値画像の概略図である。 図１４は、本開示の１つ以上の態様に従う、図１３の二値画像内の関心領域を示す図である。 図１５は、本開示の１つ以上の態様に従う、心周期を推定するための様々なステップを示すフローチャートである。 図１６は、本開示の１つ以上の態様に従う、心周期を推定するための様々なステップを示すフローチャートである。 図１７は、本開示の１つ以上の態様に従う、心周期を推定するための他の方法を示すフローチャートである。 図１８は、本開示の１つ以上の態様に従う、心臓運動に起因する冠動脈の動きを示すグラフである。 図１９は、本開示の１つ以上の態様に従う、血管内画像及び血管造影画像を表示するためのグラフィカルユーザインタフェースを示す図である。 図２０は、本開示の１つ以上の態様に従う、相互レジストレーションのためのユーザ入力を受け付けるためのグラフィカルユーザインタフェースを示す図である。 図２１は、本開示の１つ以上の態様に従う、相互レジストレーション処理が実行されている間に情報を表示するためのグラフィカルユーザインタフェースを示す図である。 図２２は、本開示の１つ以上の態様に従う、ユーザ確認のために相互レジストレーション結果を表示するためのグラフィカルユーザインタフェースを示す図である。 図２３は、本開示の１つ以上の態様に従う、ユーザ修正を受け付けるためのグラフィカルユーザインタフェースを示す図である。 図２４は、本開示の１つ以上の態様に従う、血管造影取得タイミングと血管内イメージング取得タイミングとの間の関係を示す図である。 図２５は、本開示の１つ以上の態様に従う、相互レジストレーションのためのユーザ入力を受け付けるための別のグラフィカルユーザインタフェースを示す図である。 図２６は、本開示の１つ以上の態様に従う、画面遷移の概略図である。 図２７は、本開示の１つ以上の態様に従う、相互レジストレーション経路を生成するために用いることのできるコンピュータの実施形態の概略図である。
以下の説明は、特定の例示の実施形態のものであるが、他の実施形態は、代替、均等物及び修正を含んでよい。更に、例示の実施形態は、いくつかの新規の特徴を含むことがあり、特定の特徴は、本明細書に記載されるデバイス、システム及び方法を実施するのに必要不可欠ではないことがある。
本開示は、各血管造影フレームにおいて、候補点としても知られる１つ又は複数の暗い点を検索することと、候補点から標的マーカを選択することとを含む。候補点は、冠動脈が心臓運動に起因して動くエリア内で見つけることができる。したがって、心臓運動を評価することにより、標的マーカのより正確な選択が可能になる。候補点が検索され得る関心範囲は、心臓運動に基づく。そして、標的マーカの選択により、結果として、血管造影画像と血管内画像との間の改善された相互レジストレーションがもたらされる。
これより図１を参照すると、例示的なイメージングシステム１０の概略図が示される。イメージングシステム１０では、血管内イメージングプルバック中に同時に取得される血管造影画像フレームを用いることにより、イメージングカテーテル上の放射線不透過性マーカの直接検出された位置、又は、イメージングカテーテル経路を表す回帰直線のいずれかに基づいて、イメージングカテーテル経路を生成することができる。イメージングシステム１０は、血管造影システム２０、血管内イメージングシステム３０、画像プロセッサ４０、ディスプレイ５０及び心電図検査（ＥＣＧ）デバイス６０を含む。血管造影システム２０は、患者２８の血管造影画像フレームを取得するための血管造影システムコントローラ２４及び血管造影画像プロセッサ２６に接続される、Ｃアーム２２等のＸ線イメージングデバイスを含む。
イメージングシステム１０の血管内イメージングシステム３０は、コンソール３２と、カテーテル３８と、血管内画像フレームを取得するためにカテーテル３８とコンソール３２との間を接続する患者インタフェースユニット３７とを含む。カテーテル３８は、患者２８の血管内へ挿入される。カテーテル３８は、特定の血管、例えば冠動脈等の管腔内に設置される、光照射器及びデータ収集プローブとしての機能を果たすことができる。カテーテル３８は、典型的には、プローブ先端、１つ以上の放射線不透過性マーカ、光ファイバ及びトルクワイヤを含む。プローブ先端は、１つ以上のデータ収集システムを含んでよい。カテーテル３８は、冠動脈の画像を取得するために、患者の動脈内に通される。患者インタフェースユニット３７は、血管内画像フレームの取得中にイメージング光学系のプルバックを可能にするために、内側にモータを有する。イメージングプルバック処置により、血管の画像が得られる。イメージングプルバック経路は、血管の関心領域又は標的領域であり得る相互レジストレーション経路を表すことができる。
コンソール３２は、光源３３及びコンピュータ３４を含む。コンピュータ３４は、血管内システムコントローラ３５及び血管内画像プロセッサ３６を含む。血管内画像プロセッサ３５は、患者インタフェースユニット３７のモータを制御する。血管内画像プロセッサ３５はまた、画像処理のための様々なステップを実行し、表示されるべき情報を制御することができる。
イメージングシステム１０内では、様々なタイプの血管内イメージングシステムが用いられてよい。血管内イメージングシステム３０は、イメージングシステム１０内で用いることのできる血管内イメージングシステムの一例にすぎない。例として、ＯＣＴシステム、マルチモダリティＯＣＴシステム又はＩＶＵＳシステムを含む、様々なタイプの血管内イメージングシステムが用いられてよい。
イメージングシステム１０はまた、患者２８の皮膚上に配置された電極を用いて、ある期間にわたって心臓の電気的活動を記録するための心電図検査（ＥＣＧ）デバイス６０を含んでよい。イメージングシステム１０はまた、血管造影データ、血管内イメージングデータ及びＥＣＧデバイス６０からのデータを受信して、様々な画像処理ステップを実行して、相互レジストレーション経路を有する血管造影画像フレームを表示するためにディスプレイ５０に送信するための、画像プロセッサ４０を含んでよい。イメージングシステム１０に関連する画像プロセッサ４０は、血管造影システム２０と血管内イメージングシステム３０の両方の外側にあるように見えるが、画像プロセッサ４０は、血管造影システム２０、血管内イメージングシステム３０、ディスプレイ５０又はスタンドアローンデバイス内に含まれてよい。或いは、画像プロセッサ４０は、イメージングシステム１０の血管造影画像プロセッサ２６又は血管内画像プロセッサ３６のいずれかを用いて様々な画像処理ステップが実行される場合には、必要とされない場合がある。
これより図２を参照すると、血管造影システム２０から得られる血管造影データを、血管内イメージングシステム３０から得られる血管内イメージングデータと相互レジストレーションするための様々なステップを示すフローチャート。血管造影データの血管内画像データとの相互レジストレーションのための以下のステップは、直接検出されたイメージングカテーテル経路にも、計算された回帰直線に基づく直接検出された放射線不透過性マーカ位置に基づいた回帰直線として作成されるイメージングカテーテル経路にも、適用可能である。第１のステップＳ１０において、血管造影画像フレーム等の血管造影データが、血管内画像フレームの取得と同時に取得される。次いで、ステップＳ２０において、血管造影画像フレームと血管内画像フレームの両方を画像プロセッサにインポートすることにより、相互レジストレーションのためのプロセスが開始される。続いて、ステップＳ３０において、血管造影データからの各血管造影画像フレームについて、放射線不透過性マーカ位置が検出される。取得された血管造影データからの各血管造影画像フレームは、カテーテル３８の放射線不透過性マーカに対応する暗い点を含むことがある。カテーテル３８の放射線不透過性マーカに対応する暗い点は、画像プロセッサによって認識される。画像プロセッサは、複数の血管造影画像フレームからの各フレームについての放射線不透過性マーカの位置を、記憶データベースに記憶する。
ステップＳ４０において、検出された放射線不透過性マーカ位置に基づく相互レジストレーション経路が生成される。相互レジストレーション経路は、画像プルバックが実行されるエリアを表すことができる。相互レジストレーション経路はまた、患者の冠動脈の標的領域を表すことができる。相互レジストレーション経路は、血管造影画像フレーム全体について生成されてもよいし、又は、選択された１つ又は複数の血管造影画像フレームについて生成されてもよい。
ステップＳ５０において、血管造影画像フレームに関して各血管内画像フレームが取得された位置が決定される。特に、検出されたＸ線不透過性マーカの位置と生成された相互レジストレーション経路との情報を用いて、冠動脈ツリーの全体ビューにおいて各血管内画像が取得された位置が検索される。ステップＳ６０において、冠動脈ツリーの全体ビューにおいて各血管内画像が取得された位置が、ＧＵＩ内の血管造影画像フレーム上に表示される。血管内画像フレームとともに、血管造影画像フレームも表示されてよい。取得された各血管内画像フレームには取得位置があり、それが、生成された相互レジストレーション経路とともに、表示された血管造影画像上に視覚的に表される。ユーザ嗜好に応じて、相互レジストレーション経路は、表示された血管造影フレーム上にオーバーレイされないように選択することができる。ＧＵＩ内での表示後、血管造影画像フレームと血管内画像フレームを相互レジストレーションするためのプロセスは終了する。
これより図３を参照すると、相互レジストレーションプロセスに関連する様々なステップがどの時点で発生するかを示すタイムチャート。相互レジストレーションプロセスに関連する様々なステップを参照する前に、タイムチャート内には留意すべき３つのイベントが存在する。第１のイベントは、血管内画像が取得されることになるエリア内の血液を鮮明にするために、造影剤が患者の動脈又は血管に注入されることに対応する。造影剤は、患者に注入される染料を指すことができる。造影剤が患者に注入された後しばらくして、造影剤は標的領域に達し、これは、タイムチャートに沿った第２のイベントに対応する。タイムチャートに関連する第３のイベントは、造影剤が患者の標的領域に達した後に発生する血管内イメージングプルバック処置の完了を含む。
血管内画像フレームは、造影剤が患者の標的領域に達するとき、血管内イメージングプルバック処置が完了するまで、取得される。血管内画像の前処理及び表示は、特定の時間遅延を伴って、血管内画像フレームの取得と並行して発生してよい。血管造影画像フレームを含む血管造影データは、Ｘ線がオンのとき、Ｘ線がオフになるまで取得される。血管造影画像フレームの取得は、造影剤が患者の標的領域に達する前に開始してよい。血管内イメージングプルバック処置が完了する第３のイベントまで血管造影データを取得しさえすればよい。血管造影データが取得された後、血管造影データをインポートすることによって、相互レジストレーションプロセスが開始されてよい。血管造影データのインポートは、血管内イメージングプルバック処置が完了した後に発生してよい。
相互レジストレーションプロセスにおける次のステップは、各血管造影画像フレームについて放射線不透過性マーカ位置を検出することを含む。放射線不透過性マーカ位置の検出は、血管造影データがインポートされた後に発生してよい。次に、血管造影データについて放射線不透過性マーカ位置が検出された後に、相互レジストレーション経路が生成される。相互レジストレーション経路を生成した後、画像プロセッサは、相互レジストレーション経路及び検出された放射線不透過性マーカ位置に関して、血管内画像フレームの取得位置を決定してよい。次いで、血管造影画像フレーム及び血管内画像フレームは、表示された血管造影画像フレームに相互レジストレーション経路と血管内画像フレームの取得位置を表す人工インジケータとをオーバーレイした状態で、モニタ上に表示されてよい。表示される血管造影画像フレーム及び血管内画像フレームは、オーバーレイする相互レジストレーション経路及び相互レジストレーション位置と一緒に、取得された血管造影データ及び血管内データ内で変更することができる。血管造影画像フレームと血管内画像フレームの両方は、ＧＵＩ上で再生する映像として表示されてよい。表示された相互レジストレーション結果は、次いで、例としてインターベンショナル心臓専門医によって分析される。
血管内画像データのフレームレートは血管造影画像データのものよりも高いので、放射線不透過性マーカ位置を直接検出することによって取得位置を血管造影画像データから直接決定することができない血管内フレームが、複数存在する。したがって、相互レジストレーション経路の生成は、対応する血管造影画像フレームがない血管内画像フレームについて取得位置を決定することが必要とされる。
これより図４Ａを参照すると、直接検出されるイメージングカテーテル経路に基づいて相互レジストレーション経路を生成するための様々なステップを示すフローチャート。イメージングカテーテル経路は相互レジストレーション経路として用いられるので、相互レジストレーションの正確性は、イメージングカテーテル経路生成の正確性に依存する。直接検出されたイメージングカテーテル経路を用いる利点は、典型的には、それが他の方法よりも正確であることである。
例として、イメージングカテーテルを標的血管に送達するためのガイドワイヤ、又はイメージングカテーテルのドライブケーブルを、イメージングカテーテル経路として用いることができる。イメージングカテーテル経路及び血管輪郭は、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓその他等のエッジ検出フィルタ、及び／又は、エッジ検出フィルタからの任意の組合せを適用することによって、検出することができる。放射線不透過性マーカは、例えば、Ｖｉｔｅｒｂｉベースの方法又は任意のエッジ検出方法を用いて、検出することができる。検出された情報は、心拍位相情報とともに各血管造影画像フレームに保存される。心拍位相情報は、推定された心周期情報を用いることによって取得することができ、その推定方法は後述される。
ステップＳ１００において、血管造影画像フレームを含む血管造影データをインポートすることで、プロセスが開始される。
図４Ａ及び図４Ｂは、血管造影画像フレームが心拍位相情報を含み（すなわち、血管造影データはＥＣＧ信号と同期される）、血管の標的領域に造影剤を含まない血管造影画像フレームが十分に存在する場合を示す。この場合では、システムは、相互レジストレーション経路（すなわちイメージングカテーテル経路）を直接検出することができる。イメージングカテーテル経路の正確性は、心拍位相情報の使用とともに、心臓運動によって向上させることができ、また、検出された放射線不透過性マーカ位置を用いて、検出されたイメージングカテーテル経路位置をチェックすることによって、向上させることができる。
ステップＳ１０２において、第１の血管造影画像フレームが選択される。ステップＳ１０４において、血管の標的領域に造影剤が存在するかどうかに関して、決定がなされる。直接検出されたイメージングカテーテル経路を生成するには、２つの要件が存在する。第１の要件は、各血管造影画像フレームに関連する心拍位相情報を含むことである。心拍位相情報とは、血管造影データと同期されたＥＣＧ信号を指す。第２の要件として、患者の血管の標的領域に造影剤を含まない最少量の血管造影画像フレームが挙げられる。よって、ステップＳ１０４において、血管の標的領域内の造影剤の決定により、血管造影画像フレームは２つの群に分けられる。血管造影画像フレームの一方の群は、標的領域に造影剤を含み、血管造影画像フレームの他方の群は、標的領域に造影剤を含まない。造影剤なしの血管造影画像フレームが十分に存在しない場合、イメージングカテーテル経路は、図６Ａ及び図６Ｂに関して以下に説明される回帰直線を用いて、決定される。当該決定は、標的領域に造影剤なしの血管造影画像フレームについての既定の閾値に基づいてなされてよい。既定の閾値は、自動的に選択されてもよいし、図１のイメージングシステム１０のユーザによって入力されてもよい。
イメージングシステムは、インポートされた血管造影データが、標的血管（すなわち血管内画像が取得される血管領域）に造影剤なしの血管造影画像フレームを十分に有するかどうかをチェックする。イメージングシステムは、造影剤なしの血管造影画像フレームが少なくとも１つの心周期について利用可能である場合、フレームの数が十分であると決定してよい。
ステップＳ１０４において、造影剤が血管の標的領域にないと決定された場合、第１の血管造影画像フレームは、標的領域に造影剤を含まない血管造影画像フレームの群内に記憶されてよく、プロセスはステップＳ１０６へ進む。ステップＳ１０６において、第１の血管造影画像フレームについて、イメージングカテーテル経路が検出される。ステップＳ１０８において、検出されたイメージングカテーテル経路と第１の血管造影画像フレームに関連する心拍位相との情報が、第１の血管造影画像フレームとともに保存される。検出されたイメージングカテーテル経路及び心拍位相が第１の血管造影画像フレームとともに保存された後、ステップＳ１１０において、第１の血管造影画像フレームが最後のフレームであるかどうかが決定される。この例では、第１の血管造影フレームは最後の血管造影画像フレームではなく、相互レジストレーションプロセスは、次の血管造影画像フレームを選択するためのステップＳ１１２へ進み、プロセスはステップＳ１０４へ戻る。この例では、次のフレームは第２の血管造影画像フレームであり、当該ステップは、最後の血管造影画像フレームが選択されるまで繰り返される。
図４ＡのステップＳ１０４を再び参照すると、選択された血管造影画像フレームの血管の標的領域に造影剤が存在すると決定された場合（ステップＳ１０４においてＹｅｓ）、プロセスはステップＳ１１４へ進む。ステップＳ１１４において、選択された血管造影画像フレームについて、標的領域の血管輪郭及び放射線不透過性マーカが検出される。ステップＳ１１４に続いて、検出された血管輪郭と、検出された放射線不透過性マーカと、選択された血管造影画像フレームに関連する心拍位相情報とが保存される。続いて、ステップＳ１１０において、選択された血管造影画像フレームが最後のフレームであるかどうかが決定される。選択された血管造影画像フレームが最後のフレームではないと決定された場合（ステップＳ１１０においてＮｏ）、ステップＳ１１２において次の血管造影画像フレームが選択され、プロセスはステップＳ１０４へ戻る。
ステップＳ１１０において、選択された血管造影画像フレームが最後の血管造影画像フレームであると決定された場合（ステップＳ１１０においてＹｅｓ）、プロセスは、図４ＢのステップＳ２００へ進む。これより図４Ｂを参照すると、フローチャートは、検出されたイメージングカテーテル経路を検出された放射線不透過性マーカ上にオーバーレイするために、血管造影画像フレームの一方の群から検出されたイメージングカテーテル経路が、血管造影画像フレームの他方の群から検出された血管輪郭内に位置するかどうかを決定するための、様々なステップを示す。
ステップＳ２００において、第１の造影剤あり血管造影画像フレームが選択され、次いでステップＳ２０２において、第１の造影剤あり血管造影画像フレームと同じ心拍位相を有する造影剤なし血管造影画像フレームが選択される。ステップＳ２０４において、２つの血管造影画像がオーバーレイされる。ステップＳ２０６において、検出されたイメージングカテーテル経路が、検出された血管輪郭内に位置するかどうかが決定される。検出されたイメージングカテーテル経路が、検出された血管輪郭内に位置する場合（ステップＳ２０６においてＹｅｓ）、プロセスはステップＳ２０８へ続いて、検出された放射線不透過性マーカがイメージングカテーテル経路上に位置するかどうかを決定する。ステップＳ２０８において、検出された放射線不透過性マーカがイメージングカテーテル経路上に位置すると決定された場合（ステップＳ２０８においてＹｅｓ）、イメージングカテーテル経路位置の情報は、ステップＳ２１４において、選択された造影剤あり血管造影画像フレームと、検出された放射線不透過性マーカ位置とともに、保存される。プロセスはステップＳ２１６へ続き、選択された第１の造影剤あり血管造影画像フレームが最後の造影剤あり血管造影画像フレームであるかどうかが決定される。選択された第１の造影剤あり血管造影画像フレームが最後のフレームではないと決定された場合（ステップＳ２１６においてＮｏ）、ステップＳ２１８において、次の造影剤あり血管造影画像フレームが選択され、プロセスはステップＳ２０２へ戻る。或いは、選択された造影剤あり血管造影画像フレームが最後のフレームである場合（ステップＳ２１６においてＹｅｓ）、プロセスは終了する。
ステップＳ２０６において、検出されたイメージングカテーテル経路が、検出された血管輪郭内に位置しないと決定された場合（ステップＳ２０６においてＮｏ）、ステップＳ２２０において、同じ心拍位相にある別の造影剤なし血管造影画像フレームが存在するかどうかが決定される。同じ心拍位相にある別の造影剤なし血管造影画像フレームが存在すると決定された場合（ステップＳ２２０においてＹｅｓ）、プロセスはステップＳ２０４へ戻り、同じ心拍位相にある新規の造影剤なしフレームが、選択された造影剤あり血管造影画像フレームとオーバーレイされる。或いは、同じ心拍位相にある造影剤なし血管造影画像フレームが存在しない場合（ステップＳ２２０においてＮｏ）、フローチャートはステップＳ２１６へ進む。
ステップＳ２０８に戻り、検出された放射線不透過性マーカがイメージングカテーテル経路上に位置しないと決定された場合（ステップＳ２０８においてＮｏ）、ステップＳ２１０において、検出された放射線不透過性マーカが、イメージングカテーテル経路から既定の距離内に位置するかどうかが決定される。検出された放射線不透過性マーカがイメージングカテーテル経路の既定の距離内にない場合（ステップＳ２１０においてＮｏ）、プロセスはステップＳ２２０へ戻る。或いは、検出された放射線不透過性マーカがイメージングカテーテル経路から既定の距離内に位置する場合（ステップＳ２１０においてＹｅｓ）、ステップＳ２１２において、イメージングカテーテル経路上の検出された放射線不透過性マーカに最も近い点が、マーカ位置として更新される。次いでステップＳ２１４において、更新されたマーカ位置及びイメージングカテーテル経路位置は、選択された造影剤あり血管造影画像フレームとともに保存される。
これより、図４Ａ及び図４Ｂに記載のプロセスを示す図５を参照する。血管造影データは、Ｘ線がオンのとき、Ｘ線がオフになるまで取得される。血管造影データは、血管造影画像フレームの２つの異なる群に分けられる複数の血管造影画像フレームを含む。血管造影画像フレームの第１の群は、標的血管の標的領域に造影剤なしの血管造影画像フレームを含んでよい。血管造影画像フレームの第１の群は、Ｘ線がオンである点から、造影剤が標的領域に達するまで取得される。造影剤なしの血管造影画像フレームの群についてイメージングカテーテル経路を検出するために、画像プロセッサを用いることができる。血管造影画像フレーム７０は、画像プロセッサによって検出されるイメージングカテーテル経路７１を含む。
血管造影画像フレームの第２の群は、標的血管の標的領域に造影剤ありの血管造影画像フレームを含んでよい。造影剤ありの血管造影画像フレームは、造影剤が標的領域に達すると、血管内イメージングプルバック処置が完了するまで取得される血管造影画像フレームである。血管造影画像フレーム７２は、検出された血管輪郭７４と、検出された放射線不透過性マーカ７３とを含む。
血管造影画像フレーム全体についての検出及び保存のプロセスの後、システムは、造影剤あり血管造影画像フレームの群から１つの血管造影画像フレームを選択し、造影剤なし血管造影画像フレームから、同じ心拍位相を有する血管造影画像フレームを見つける。次いで、選択された血管造影画像フレーム７０から検出されたイメージングカテーテル経路７１が、選択された血管造影画像フレーム７２上に、２つのオーバーレイされた血管造影画像フレーム（７０、７２）を含む血管造影画像フレーム７５に示されるように、オーバーレイされる。血管造影画像フレーム７５は、検出されたイメージングカテーテル経路７１が検出された血管輪郭内に位置するかどうかを決定して、検出されたイメージングカテーテル経路を血管の長手方向の代表線とすることができることを確認するために、用いられる。血管造影画像フレーム７５はまた、検出された放射線不透過性マーカ７３が、検出されたイメージングカテーテル経路上に位置するか、又はそこから特定の距離内に位置するかどうかを決定するために用いられる。オーバーレイされた画像７５を用いて、システムは、検出された放射線不透過性マーカが、検出されたイメージングカテーテル経路上に位置するか、又はそこから特定の距離内に位置するかどうかを決定することができる。距離の閾値は、システムによって事前に決定することができ、又は、ユーザによって決定することができる。オーバーレイされた画像が両方の基準を満たす場合、検出されたイメージングカテーテル経路位置の情報は、選択された造影剤あり血管造影フレームとともに保存される。検出された放射線不透過性マーカが、検出されたイメージングカテーテル経路上に位置しないが、特定の距離内に位置するとき、イメージングカテーテル経路上の検出された放射線不透過性マーカ位置に最も近い位置が検索され、その位置が、検出されたマーカ位置を更新することによって、造影剤あり血管造影フレームとともに保存される。オーバーレイされた画像がどちらの基準も満たさない場合、システムは、別の造影剤なし血管造影フレームを検索してよく、同じプロセスを進む。
同じ心拍位相を有する造影剤なし血管造影フレームが他に存在しない場合、システムは、選択された造影剤あり血管造影フレームについてのプロセスを停止する。次いで、システムは、別の造影剤あり血管造影画像フレームを選択し、最後の造影剤ありフレームが処理されるまで、プロセス全体を繰り返す。
これより図６Ａ及び図６Ｂを参照すると、フローチャートは、相互レジストレーション経路が、血管造影データに関連する検出されたマーカ位置に基づいた回帰直線から決定されるイメージングカテーテル経路に基づく場合を示す。図６Ａ及び図６Ｂのフローチャートは、血管造影データが心拍位相情報を含まないとき、かつ／又は、血管の標的領域に造影剤なしの血管造影画像フレームが十分に存在しないときに、適用することができる。図６Ａにおいて、プロセスは、複数の血管造影画像フレームを含み得る血管造影データをインポートすることを含むステップＳ３００によって開始する。ステップＳ３０２において、第１の血管造影画像フレームが選択される。ステップＳ３０４において、選択された第１の血管造影画像フレームについて、造影剤が標的血管の標的領域にあるかどうかが決定される。第１の血管造影画像フレームについて造影剤が標的血管にあると決定された場合（ステップＳ３０４においてＹｅｓ）、ステップＳ３０６において、選択された第１の血管造影画像フレームについて、標的領域の血管輪郭及び放射線不透過性マーカが検出される。ステップＳ３０８において、検出された血管輪郭及び放射線不透過性マーカが、選択された第１の血管造影画像フレームとともに保存される。
ステップＳ３１０において、選択された血管造影画像フレームが最後の血管造影画像フレームであるかどうかが決定される。選択された血管造影フレームが最後のフレームでない場合（ステップＳ３１０においてＮｏ）、ステップＳ３１２において、次の血管造影フレームが選択される。この例では、ステップＳ３１２において第２の血管造影画像フレームが選択され、プロセスは、全ての血管造影画像フレームが選択されるまで、ステップＳ３０４へ戻る。或いは、ステップＳ３１０において、最後のフレームが選択されたと決定された場合（ステップＳ３１０においてＹｅｓ）、プロセスは、図６ＢのステップＳ４００へ進む。ステップＳ３０４に戻り、選択された血管造影画像フレームが造影剤を含まない場合（ステップＳ３０４においてＮｏ）、プロセスはステップＳ３１０へ飛ぶ。
図６Ｂにおいて、プロセスは、ステップＳ４００において、標的血管に造影剤ありの全ての血管造影画像フレームを選択することによって開始される。次にステップＳ４０２において、選択された血管造影画像フレームからの全ての検出された放射線不透過性マーカ位置が収集される。ステップＳ４０４において、選択された血管造影画像フレームから収集された全ての検出された放射線不透過性マーカ位置に基づいて、例えば最小二乗回帰法を用いて、回帰直線が生成される。ステップＳ４０６において、造影剤あり血管造影画像フレームから、第１の血管造影画像フレームが選択される。ステップＳ４０８において、選択された造影剤あり血管造影画像フレームの検出された血管輪郭内に回帰直線がフィットするかどうかに関して、決定がなされる。検出された血管輪郭内に回帰直線がフィットする場合（ステップＳ４０８においてＹｅｓ）、ステップＳ４１０において、検出された放射線不透過性マーカが、生成された回帰直線上に位置するかどうかが決定される。
検出された放射線不透過性マーカが回帰直線上にある場合（ステップＳ４１０においてＹｅｓ）、ステップＳ４１２において、回帰直線及び検出された放射線不透過性マーカ位置に関連する情報が、選択された血管造影画像フレームとともに保存される。ステップＳ４１４において、選択された血管造影画像フレームが最後の造影剤ありフレームであるかどうかが決定される。選択された血管造影画像フレームが最後のフレームである場合（ステップＳ４１４においてＹｅｓ）、相互レジストレーション経路を生成するためのプロセスは完了する。或いは、選択された血管造影画像フレームが最後の造影剤あり血管造影画像フレームではないと決定された場合（ステップＳ４１４においてＮｏ）、ステップＳ４１６において次のフレームが選択され、プロセスはステップＳ４０８へ戻る。
ここでステップＳ４０８に戻り、検出された血管輪郭内に回帰直線がフィットしないと決定された場合（ステップＳ４０８においてＮｏ）、ステップＳ４１８において、最も近いフレームに関連する検出された血管輪郭内に回帰直線がフィットすることのできる最も近い血管造影画像フレームが決定される。次いでステップＳ４２０において、最も近い血管造影フレームが、検出された血管輪郭と一緒に、選択された血管造影画像フレームと置き換わる。
ステップＳ４１０において、検出された放射線不透過性マーカが回帰直線上に位置しない場合（ステップＳ４１０においてＮｏ）、ステップＳ４２２において、検出された放射線不透過性マーカに最も近い回帰直線上の点が決定される。次いで、ステップＳ４２４において、選択された血管造影フレームに関連する回帰直線上の最も近い点の位置が保存される。
これより図７を参照すると、標的血管の標的領域に造影剤を含む血管造影画像フレーム８０が一緒にグループ化される。血管造影画像フレーム８０は、造影剤が標的領域に達すると、血管内イメージングプルバック処置が完了するまで取得されるフレームである。血管造影画像フレーム８０の各々について、画像プロセッサを用いて、血管輪郭８２及び放射線不透過性マーカ８１を検出することができる。次いで、検出された放射線不透過性マーカ位置８４の全ての情報が収集され、血管造影画像フレーム８３の同じ平面にプロットされる。検出された放射線不透過性マーカ位置８４に基づいて、例えば最小二乗回帰法を用いることにより、血管造影画像フレーム８５に示される回帰直線８６が生成される。その後、システムは、以前に選択された血管造影画像フレームから血管造影画像フレームを選択し、検出された血管輪郭内に回帰直線が位置するかどうかをチェックする。血管造影画像フレーム８８に示されるように、回帰直線８６が血管輪郭内に位置しない場合、システムは、回帰直線８６が血管造影画像フレーム８７に示されるように血管輪郭内に位置することができ、かつ、元々選択された血管造影画像フレームに最も近いタイミングで取得された、別の血管造影画像フレームを検索する。最も近いタイミングで検索された血管造影画像フレーム８７は、元々選択された血管造影画像フレームに置き換わる。置換の際、検出された血管輪郭の情報も置き換えられるが、検出された放射線不透過性マーカ位置の情報は置き換えられない。
次いで、システムは、検出されたマーカが回帰直線上に位置するかどうかをチェックする。検出されたマーカが回帰直線上に位置しない場合、システムは、検出されたマーカ位置に最も近い回帰直線上の位置を検索し、放射線不透過性マーカ位置の情報を、新しく検索された位置で更新する。その後、検出又は更新されたマーカ位置及び回帰直線の情報は、選択された血管造影画像フレームとともに保存される。このプロセスは、血管の標的領域に造影剤ありの各血管造影画像フレームについて繰り返される。回帰直線を生成した後のプロセスは、異なる順序で実行することができる。システムは、まず、検出された血管輪郭内に回帰直線が位置するかどうかをチェックし、必要に応じて、造影剤あり血管造影画像フレームの群について血管造影画像フレームを更新してよい。次いで、システムは、検出された放射線不透過性マーカが回帰直線上に位置するか否かをチェックすることができ、必要に応じて、その位置を更新する。
図８Ａ及び図８Ｂは、血管造影画像フレームに関して血管内画像フレームの取得位置を見つけるための様々なステップを示すフローチャートである。図８Ａ及び図８Ｂは、図２のステップＳ５０に対応する。ステップＳ５００において、システムは、複数の血管内画像フレームを含む血管内画像データをインポートする。ステップＳ５０２において、図４Ａ及び図４Ｂ又は図６Ａ及び図６Ｂに概説される相互レジストレーションステップに基づいて決定された相互レジストレーション経路及びマーカ位置を有する血管造影画像フレームがインポートされる。必須の数の造影剤なし血管造影画像フレームだけでなく、心拍位相情報も利用可能であった場合、図４Ａ及び図４Ｂに概説される相互レジストレーションステップに基づいて決定された相互レジストレーション経路及びマーカ位置を有する血管造影画像フレームがインポートされる。或いは、心拍位相情報が利用可能でなかった場合、又は造影剤なし血管造影画像フレームが十分に存在しなかった場合、図６Ａ及び図６Ｂに概説される相互レジストレーションステップに基づいて決定された相互レジストレーション経路及びマーカ位置を有する血管造影画像フレームがインポートされる。言い換えると、システムは、血管内画像フレーム、及び、相互レジストレーション経路（図４Ａ及び図４Ｂのフローチャートに概説されるステップに基づく直接検出されたイメージングカテーテル経路、又は、回帰モデルによる新たに生成されたイメージングカテーテル経路のいずれか）と、図６Ａ及び図６Ｂのフローチャートに概説されるステップに基づく検出された放射線不透過性マーカ位置とを有する血管造影画像フレームを含む。
ステップＳ５０４において、第１の血管内画像フレームが選択される。次に、ステップＳ５０６において、選択された血管内画像フレームに関連するタイムスタンプに基づいて、対応する血管造影画像フレームが存在するかどうかが決定される。最初に、システムは、血管内画像フレームと血管造影画像フレームの両方のタイムスタンプを用いて、ほぼ同じ時間に取得された血管造影画像フレームを有する血管内画像フレームを検索してよい。タイムスタンプに基づいて対応する血管造影画像フレームが存在すると決定された場合（ステップＳ５０６においてＹｅｓ）、ステップＳ５０８において、対応する血管造影フレーム番号のインデックスが、選択された血管内画像フレームに追加される一方、ステップＳ５１０において、対応する血管内フレーム番号のインデックスが、血管造影画像フレームに追加される。或いは、タイムスタンプに基づいて対応する血管造影画像フレームが存在しないと決定された場合（ステップＳ５０６においてＮｏ）、ステップＳ５１２において、選択された血管内画像フレームが最後の血管内画像フレームであるかどうかが決定される。選択された血管内画像フレームが最後の血管内画像フレームではない場合（ステップＳ５１２においてＮｏ）、ステップＳ５１４において、次の血管内画像フレームが選択され、ステップＳ５０６へ戻る。このプロセスは、最後の血管内画像フレームが選択されるまで繰り返されてよい。ステップＳ５１２において、選択された血管内画像フレームが最後の血管内画像フレームであると決定された場合（ステップＳ５１２においてＹｅｓ）、フローチャートは、図８ＢのステップＳ６００へ続く。
これより図８Ｂを参照すると、ステップＳ６００において、対応する血管造影画像フレーム番号のインデックスを有する第１及び第２の血管内画像フレームが決定される。ステップＳ６０２において、第１の血管内画像フレームと第２の血管内画像フレームとの間の血管内画像フレームの数が決定される。次いで、ステップＳ６０４において、対応する２つの血管造影画像フレームにおける放射線不透過性マーカバンドの位置が決定される。ステップＳ６０６において、２つの放射線不透過性マーカバンド位置の間の距離が決定され、次いで、ステップＳ６０２において決定された、相互レジストレーション経路に沿った血管内画像フレームの数で割られる。ステップＳ６０８において、対応する血管造影フレーム番号のインデックスを有さない第１の血管内画像フレームが選択される。次いで、ステップＳ６１０において、ステップＳ６０８において選択された血管内画像フレームに近い時点で取得された血管造影画像フレームが複製される。ステップＳ６１２において、計算された距離に基づいて人工マーカ位置が生成され、その情報は、複製された血管造影画像フレームとともに保存される。ステップＳ６１４において、ステップＳ６００からの第２の血管内画像フレームが最後の血管内画像フレームであるかどうかが決定される。第２の血管内画像フレームが最後の血管内画像フレームでない場合（ステップＳ６１４においてＮｏ）、ステップＳ６１６において、対応する血管造影画像フレーム番号のインデックスを有する血管内画像フレームの次のセットが選択され、プロセスはステップＳ６００へ戻る。或いは、第２の血管内画像フレームが最後の血管内画像フレームである場合（ステップＳ６１４においてＹｅｓ）、血管造影画像フレームに関して血管内画像フレームの取得位置を見つけるためのプロセスは完了する。
これより図９を参照すると、図８Ｂの様々なステップに概説されるプロセスが視覚的に説明される。システムは、対応する血管造影画像フレーム番号のインデックスを有する第１の血管内画像フレーム９０及び第２の血管内画像フレーム９２［ｉiv番目及びｊiv番目のフレーム］を見つけることができ、これら２つの選択されたフレーム間の血管内画像フレームの数［ｎij_iv＝ｊiv－ｉiv］９４を数える。２つの対応する血管造影画像フレームは、ｉag番目９６及びｊag番目９８である。次いで、システムは、対応する血管造影画像フレーム［ｉag番目及びｊag番目のフレーム］（９６、９８）から、対応する放射線不透過性マーカ位置［（ｘi_ag，ｙi_ag）及び（ｘj_ag，ｙj_ag）］を見つける。次に、システムは、（ｘi_ag，ｙi_ag）と（ｘj_ag，ｙj_ag）との間の距離を、相互レジストレーション経路に沿ってｎij_ivで割る［ｄij＝｛（ｘj_ag，ｙj_ag）－（ｘi_ag，ｙi_ag）｝／ｎij_iv］。その後、システムは、（ｉiv＋１）番目の血管内画像フレームを選択し、（ｉiv＋１）番目の血管内画像フレームが取得されたタイミングに最も近いタイミングで取得された血管造影画像フレーム１００を複製する。
血管造影画像フレーム１００が複製されるとき、イメージングカテーテル経路１０４も複製される。複製された血管造影画像フレーム１００上で、システムは、相互レジストレーション経路に沿った（ｘi_ag，ｙi_ag）から、計算された距離ｄijに位置する点１０６（すなわち人工マーカ）を生成する。システムは次いで、複製された血管造影画像フレーム１００上の人工マーカ位置を、対応する血管内画像フレーム番号のインデックスとともに保存する。システムは、（ｊiv－１）番目の血管内画像フレームについてこれらのプロセスを終了するまで、これらのプロセスを繰り返す。次いで、システムは、対応する血管造影画像フレーム番号のインデックスを有する第２及び第３の血管内画像フレームを見つけ、上記プロセスを繰り返す。システムが、対応する血管造影画像フレーム番号のインデックスを有する、最後から２番目の血管内画像フレームと最後の血管内画像フレームとを終えるまで、プロセスは繰り返す。上記のプロセスは、異なる順序で完了されてよい。システムは、同時に取得された血管造影画像フレームを有する２つの血管内画像フレームを見つけるたびに、人工マーカを生成することができる。
血管内画像フレームと血管造影データとの間の相互レジストレーションペアを生成するための方法において、（ｉiv＋１）番目の血管内画像フレームが選択されるとき、血管造影画像フレームは複製される。しかしながら、別の方法では、血管造影画像フレームは複製される必要がない。（ｉiv＋１）番目の血管内画像フレームが選択されるとき、（ｉiv＋１）番目の血管内画像フレームが取得されたタイミングに最も近いタイミングで取得された血管造影画像フレームが検索され、そのフレーム番号は、（ｉiv＋１）番目の血管内画像フレームのインデックスに保存される。次いで、（ｉiv＋１）番目の血管内画像フレームの取得位置が、上記と同じプロセスを用いて、相互レジストレーション経路上で検索される。検索された位置は、血管造影フレーム番号のインデックスと一緒に、（ｉiv＋１）番目の血管内画像フレームに保存される。
これより図１０を参照すると、相互レジストレーション結果は、グラフィカルユーザインタフェース（ＧＵＩ）２００を用いて、モニタ又はディスプレイ上に表示することができる。ＧＵＩは、血管造影画像フレーム２０２と、血管内画像フレーム２０４と、相互レジストレーション経路２１０の一部の長手方向ビューとを含むことができる。相互レジストレーション経路２１０は、血管輪郭２０８と一緒に、血管造影画像フレーム２０２に含まれる。相互レジストレーション経路２１０は、血管内イメージングプルバック処置がどこで実行されたかを示す。
システムは、血管内画像フレームと、対応する血管内フレーム番号を有する血管造影画像フレームとを含む。血管内画像フレームがシステム又はユーザによって選択されると、システムは、血管造影画像フレームのインデックスを用いて、対応する血管造影フレームを検索し、血管造影画像フレーム上に人工インジケータ２１２がオーバーレイされた状態で、血管造影画像フレームをモニタに表示する。人工インジケータ２１２は、選択された血管内画像フレーム２０４が取得された位置を示す。システムはまた、そのデフォルト設定として、相互レジストレーション経路２１０（すなわち、直接検出されるか、又は回帰モデルを用いて生成されるイメージングカテーテル経路）をオーバーレイするが、ユーザは、ユーザ嗜好に基づいて、表示しないことを選択することができる。加えて、システムは、標的血管の長手方向ビュー２０６を表示する。長手方向ビューは、取得された血管内画像フレームを用いて生成され、複数のパターンを有してよい。一例では、長手方向ビューは、人工インジケータ２１６を用いて、血管内画像フレームが取得された位置を示す。
システムはまた、相互レジストレーションの信頼度をチェックする能力を有する。対応する血管造影画像フレームのインデックスを有する血管内画像フレームは、ｉiv番目、ｊiv番目、ｋiv番目、ｌiv番目、…、及びｚiv番目と番号付けされる。システムは、対応する血管造影画像フレーム番号のインデックスを有する２つの血管内画像フレーム［例えばｉiv番目及びｋiv番目のフレーム］を選択する。これら２つのフレームは、対応する血管造影フレーム番号のインデックスを有する少なくとも１つのフレーム分は離れている必要がある［この例では、ｊiv番目のフレームが飛ばされる］。次いで、システムは、２つの選択されたフレーム、ｉiv番目とｋiv番目のフレームの間で取得された血管内画像フレームの各々について、相互レジストレーション位置を推定する。その後、推定された相互レジストレーション位置は、対応する血管造影画像フレームから直接検出される（かつ更新される）実際の相互レジストレーション位置と比較される［この例では、ｊiv番目のフレームについて比較が実行される］。実際の位置と推定された位置との差は、信頼度値と見なされる。信頼度値が特定の閾値を超える場合、相互レジストレーション結果が表示されるときに、モニタに警告が示されてよい。閾値は、システムによって事前に決定されてもよいし、又は、ユーザ嗜好に基づいてユーザによって決定されてもよい。警告は、ディスプレイ上のテキストメッセージとすることができ、かつ／又は、色分けされたインジケータ２１４や、異なる線種又は異なる形状を有するインジケータ等、図形の出力とすることができる。
本開示の別の実施形態において、イメージングカテーテル経路検出（図４ＡのステップＳ１０６）及び放射線不透過性マーカ検出（図４ＡのステップＳ１１４及び図６ＡのステップＳ３０６）について、代替の方法が提供される。
まず、フィルタ、例えば準同形フィルタ（homomorphic filter）が、骨構造（例えば肋骨）及び／又は他の器官（例えば腎臓）に起因して作成されるバックグラウンドノイズを低減するために適用される。このプロセスは、図４ＡのステップＳ１０４の前、又は図６ＡのステップＳ３０４の前に適用されてよい。
次いで、ステップＳ１０６、すなわちイメージングカテーテル経路の検出では、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓその他等のエッジ検出フィルタ、及び／又はエッジ検出フィルタからの任意の組合せが適用され、拡張したエッジの内側空間が充填される。その後、イメージングカテーテル経路を含むコンポーネントが選択される。コンポーネント選択は、既定の閾値を設定することによって自動的に行うこともできるし、又は、おおよその位置を指定するためのユーザからの１つ又は複数の入力を得ることによって、半自動的に行うこともできる。次に、選択されたコンポーネントがスケルトン化される（skeletonized）。最後のステップとして、スケルトン化の結果が、平滑化関数、例えば三次スプライン関数又は多項式フィッティング関数を適用することによって、平滑化される。
放射線不透過性マーカの検出、すなわちステップＳ１１４又はステップＳ３０６では、バックグラウンドノイズを低減するためのフィルタを適用した後、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓその他等のエッジ検出フィルタ、及び／又は、エッジ検出フィルタからの任意の組合せが適用される。検出されたエッジの位置情報を用いて、血管造影画像フレームは、検出されたエッジ内のエリアのみを示すようにマスキングされる。次に、マスキングされた各血管造影画像フレームにおいて、１つ又は複数の暗い点が検索される。各フレームにおいて検索される点の数は、事前に決定することもできるし、又はユーザによって設定することもできるが、血管造影データ全体を通じて同じ数でなければならない。
全ての血管造影画像フレームにおいて１つ又は複数の暗い点が検索された後、各フレームについて標的放射線不透過性マーカが決定される。まず、ユーザは、第１の血管造影画像フレームにおいて放射線不透過性マーカ位置のおおよその位置を指定するように要求される。次いで、ユーザが第１の血管造影画像フレームで入力した点から最も近い点を検索することによって、標的放射線不透過性マーカが決定される。後続のフレームについては、標的放射線不透過性マーカは、前のフレームにおいて検出された放射線不透過性マーカ位置から最も近い点を検索することによって、決定される。
１つ又は複数の暗い点が検索され、標的放射線不透過性マーカの決定は、各血管造影画像フレームについて行うことができる。この場合、放射線不透過性マーカ検出の正確性は、前のフレームにおける標的放射線不透過性マーカ位置に基づいて検索エリアを狭めることによって、向上させることができる。１つ又は複数の暗い点を検索する前に、血管造影画像フレームは、検出されたエッジ内の、前のフレームにおいて検出された放射線不透過性マーカ位置に近位のエリアのみを示すように、更にマスキングされる。心臓運動に起因する標的血管の動きに適応するために、特定のマージンを追加することができる。マージンは、システムによって事前に決定することもできるし、又はユーザによって手動で設定することもできる。
第１の血管造影画像フレームにおいて放射線不透過性マーカ位置のおおよその位置を指定するユーザ入力は、第１の血管造影画像フレームにおいて標的放射線不透過性マーカが決定される前に、いつでも取得することができる。
次いで、Ｓ１０６、すなわちイメージングカテーテル経路の検出では、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓその他等のエッジ検出フィルタ、及び／又はエッジ検出フィルタからの任意の組合せが適用され、拡張したエッジの内側空間が充填される。その後、イメージングカテーテル経路を含むコンポーネントが選択される。コンポーネント選択は、既定の閾値を設定することによって自動的になされてもよいし、又は、おおよその位置を指定するためのユーザからの１つ又は複数の入力を得ることによって、半自動的になされてもよい。次に、選択されたコンポーネント又は選択されたコンポーネント内の検出されたエッジのいずれかに、多項式フィッティング関数等の曲面フィッティング関数が適用される。
放射線不透過性マーカの検出では、標的放射線不透過性マーカの決定は、全ての血管造影画像フレームにおいて１つ又は複数の暗い点が検索された後に、血管造影データ全体を通して各々の検索された点をトラッキングすることによって、達成することができる。次いで、各血管造影画像フレームにおいて、１つ又は複数の暗い点が検索される。各フレームにおいて検索される点の数は、事前に決定することもできるし、又はユーザによって設定することもできるが、血管造影データ全体を通じて同じ数でなければならない。放射線不透過性マーカは、プルバック中、１つの特定の方向、すなわち標的血管の遠位から近位の方向に移動するので、標的放射線不透過性マーカは、特定の方向に移動する１つの点を見つけることによって、決定することができる。トラッキングでは、例として、Ｖｉｔｅｒｂｉベースの方法又はSpeeded Up Robust Features（ＳＵＲＦ）方法が用いられてよい。
血管内イメージングデータ及び血管造影データは、複数の心周期の間に取得される。血管造影データは全体ビューにおいて冠動脈ツリーをキャプチャし、冠動脈は心臓運動に起因して心周期内に動くので、相互レジストレーションは、心臓運動によって影響を受ける可能性がある。したがって、相互レジストレーション結果、特に血管造影データの各フレームにおけるマーカの検出（図２のステップＳ３０、図４ＡのＳ１１４及び図６ＡのＳ３０６）を改善するためには、心臓運動の効果が克服される必要がある。心臓運動の推定は、ＥＣＧデバイス６０からの信号に基づいて特定される１つ又は複数の心周期内でキャプチャされた血管造影画像フレームを選択することによって実行することもできるし、又は、血管造影画像フレーム全体を用いて実行することもできる。後者の場合、ＥＣＧデバイス６０は、イメージングシステム１０に含まれる必要がない場合がある。少なくとも相互レジストレーション結果の改善を目的として、以下のプロセスを用いて、心臓運動を推定することができる。図１１は、相互レジストレーションに対する心臓運動の効果を克服するための４つの異なるステップを示すフローチャートに言及する。第１のステップＳ７００は、血管内イメージングプルバックが実行された冠動脈の位置を特定するためのユーザ入力を取得することに関与する。次いで、ユーザ入力を用いて、システムは、ステップＳ７０１において心臓運動を評価し、ステップＳ７０２において関心範囲を定める。続いて、システムは、ステップＳ７０３において、各血管造影画像フレームにおける関心範囲内でマーカを検出する。
ステップＳ７００においてシステムがユーザ入力を取得することには、いくつかの異なる方法が存在する。第１の方法では、システムは、１つの血管造影画像フレームを示し、遠位端から近位端へ血管内イメージングプルバックが実行された血管内又は血管近くのエリアに沿って入力を配置するように、ユーザに要求する。示される血管造影画像フレームは、血管内イメージングプルバックが始まる血管造影画像フレーム等、システムによって選択されてよい。或いは、ユーザが、血管造影データ全体から選択してもよいし、又は、システムによって選択されたフレームから調整してもよい。
ユーザ入力を取得するための第２の方法では、システムは、複数の血管造影画像フレームをユーザに示す。複数のフレームは、スキップすべきフレームの固定数に基づいて、又は、血管造影画像を用いて推定されるか若しくはＥＣＧ信号を介して決定される心周期に基づいて、システムによって選択されてよい。スキップすべきフレームの固定数は、システムによって事前に決定されてもよいし、又は、ユーザによって設定されてもよい。血管造影画像を用いて心周期を推定する方法は、図１５～図１８を参照して、更に詳細に後述される。心周期が推定又は決定されると、システムは、１つ又は複数の心周期内で、１つ以上の心拍位相（その血管造影画像フレームがユーザに示される）を決定する。ユーザが１つの入力又は複数の入力を配置する第１の血管造影画像フレームが、自動的にユーザに示され、次いで、ユーザが現在のフレーム上でユーザ入力の配置を終了すると、次の血管造影画像フレームが表示される。１フレームにつき配置されるユーザ入力の数は、システムによって事前に決定されてもよいし、又は、ユーザによって設定されてもよい。１フレームにつき１つのみのユーザ入力が許される場合、ユーザは、好ましくは、血管においてより暗い点として示されるマーカに対して入力を配置する。１フレームにつき複数のユーザ入力が許される場合、ユーザは、遠位から近位への血管内のプルバック領域を特定する。
この実施形態では、ユーザ入力はｕｉkで表される。ｕｉ1は、最も遠位のユーザ入力を指し、ｋが増加するにつれて、近位方向に向かって移動されたユーザ入力を指す。１つのみの血管造影画像フレームが示される方法では、ユーザが１つのフレームに対してｍ個のユーザ入力ｕｉ1～ｕｉmを配置することが仮定される。複数の血管造影画像フレームが示される方法では、ユーザは、１フレームにつき１つのユーザ入力が許されるとき、複数のフレームに対して合計でｍ個のユーザ入力ｕｉ1～ｕｉmを配置し、また、１フレームにつき複数のユーザ入力が許されるとき、合計ｍ×ｎ個のユーザ入力（ｎは、ユーザに示される複数のフレームの数である）で、第１のフレームに対してｍ個のユーザ入力ｕｉ1～ｕｉmが配置される。システムは、ｕｉ1が常に、血管内イメージングプルバックが始まる位置又はその近くに位置すると仮定する。
図１２は、図１１のステップＳ７０１に記載されるような心臓運動を評価するためのフローチャートに言及する。まず、システムは、ステップＳ８００において、各血管造影画像フレーム内の血管をセグメント化する。血管をセグメント化する１つの方法は、血管造影画像フレームを閾値化（thresholding）することである。血管には造影剤が注入されるので、血管は、血管造影データでは非常に暗く見える。閾値は、システムによって事前に決定されてもよいし、又は、ユーザによって手動で設定若しくは修正されてもよい。閾値は、全ての血管造影画像フレームについて同じであってもよいし、又は、各フレーム若しくは各フレーム群で異なってもよい。閾値よりも暗い血管造影画像フレームのエリアは、１の二進値が割り当てられ、閾値よりも暗くない血管造影画像フレームのエリアは、０の二進値が割り当てられる。このようにして、ステップＳ８０１に従って、各血管造影画像フレームの二値画像が生成される。二値画像データ（ｂｗデータ）（そのフレームは各血管造影フレームに対応する）は、セグメント化された血管を白色（値１）として示し、かつ他のエリアを黒色（値０）として示すように生成される。ｂｗデータに基づいて、ステップＳ８０２において、新規の二値画像（ＢＷ）が生成される。新規の二値画像ＢＷにおいて、白色エリアは、血管造影画像フレームのうちの少なくとも１つにおけるセグメント化された血管の位置を表す。
ＢＷを生成するために、一例では、システムは、ｂｗデータの全てのフレームを追加することができる。次いで、システムは、ステップＳ８０３において、連続するユーザ入力の間を直線で接続する。連続するユーザ入力を接続した直線は、血管内イメージングプルバックが実行された血管の長手方向を定めることができる。接続線に基づいて、ステップＳ８０４において、各ユーザ入力位置でプルバック方向に直交する方向が生成される。それらの方向は線によって定められ、線の各々が各ユーザ入力に交わる（ｖｌ1～ｖｌm）。第１のユーザ入力と最後のユーザ入力（ｕｉ1及びｕｉm）において、ｕｉ1における線（すなわちｖｌ1）又はｕｉmにおける線（すなわちｖｌm）は、それぞれ、ｕｉ1とｕｉ2との間又はｕｉm-1とｕｉmとの間で、接続線に直交する。他のユーザ入力（ｕｉk、１＜ｋ＜ｍ）において、線（すなわちｖｌk）は、ｕｉk-1とｕｉk+1を直接接続する直線に直交する。直交する線を定めた後、ステップＳ８０５において、直交する線上の、ＢＷの白色エリアにオーバーレイしかつユーザ入力を含むセグメントが、各線について検索される。次いで、直交する線はｘ軸又はｙ軸と平行ではないので、ステップＳ８０６において、ｘ軸及びｙ軸に投影される長さが、交差線の各セグメントについて評価される（ＣＭｘ1，ＣＭｙ1～ＣＭｘm，ＣＭｙm）。ステップＳ８０７において、評価された長さＣＭｘ1，ＣＭｙ1～ＣＭｘm，ＣＭｙmを用いて、ｘ方向とｙ方向（ＣＭｘ，ＣＭｙ）の両方における心臓運動が評価される。ＣＭｘ，ＣＭｙは、ＣＭｘ1～ＣＭｘm及びＣＭｙ1～ＣＭｙmの平均とすることができ、又は、ＣＭｘ1～ＣＭｘm及びＣＭｙ1～ＣＭｙmの最大値とすることができる。ステップＳ８０３及びＳ８０４は、図１２ではステップＳ８００～Ｓ８０２の後に発生するように示されるが、ステップＳ８０３及びＳ８０４は、ステップＳ８００～Ｓ８０２の前に実行されてもよい。更に、ステップＳ８００は、図１１のステップＳ７０１においてユーザ入力を取得する前に実行されてよい。
図１３は、図１２を参照して上述された二値画像ＢＷの例である。二値画像では、４つの異なるユーザ入力が、遠位端ｕｉ1４００から始まり近位端ｕｉ4４０６まで、間にｕｉ2４０２及びｕｉ3４０４を挟んで示される。連続するユーザ入力を接続する線４１０～４１２は、血管内画像プルバックが発生した血管の長手方向を定める。次いで、各ユーザ入力に直交する線４１４～４１７が、心臓運動を決定するために評価される。例えば、図１３は、第１のユーザ入力（ＣＭｘ1，ＣＭｙ1）について、ｘ方向における心臓運動４２２及びｙ方向における心臓運動４２４を示すための、ｕｉ1４００の拡大表示４２０を提供する。
ステップＳ７０１の後、接続線及び評価された心臓運動ＣＭｘ４２２，ＣＭｙ４２４を用いて、関心領域が定められる。まず、図１３に示されるように、接続線を白色エリアとして示す二値画像が生成される。次いで、接続線が、ｘ方向においてはＣＭｘで、ｙ方向においてはＣＭｙで拡張される。拡張後の白色エリアは、更なる処理における関心範囲として定められ、図１４で示されるように、網掛け領域４３０内に定められる。
マーカを検出するための図１１のステップＳ７０３において、まず、定められた関心範囲内のセグメント化された血管内の候補点、すなわち暗い点が、各血管造影フレームについて検索される。候補点の数は、システムによって事前に決定されてもよいし、又は、ユーザによって設定されてもよい。次いで、候補点から標的マーカが選択される。標的マーカの選択は、特定の方向に（すなわち近位から遠位の方向に）移動する１つの点を見つけることによって、又は、推定された標的マーカ位置から最も近い点を見つけることによって、前のフレームの標的マーカから最も近い点を選ぶことを含む。標的マーカの推定は、ユーザ入力位置、プルバック速度及び評価された心臓運動を用いて実行されてよい。ユーザ入力に基づいて、血管内の血管内プルバックの領域が定められる。ｕｉ1は血管内プルバックの開始近くに位置するので、プルバックの終了までの第１のフレームから次のフレームへのマーカの移動は、接続線又はセグメント化された血管に沿って、ｕｉ1位置から推定することができる。次いで、評価された心臓運動情報を追加することによって、かつ潜在的には、推定された心周期とともに心拍位相の評価を追加することによって、心臓運動に起因する動きが考慮される。
図１５は、心周期を推定するための様々なステップを示すフローチャートである。第１のステップＳ８００は、各血管造影画像フレーム内の血管をセグメント化する図１２の第１のステップと同じであり、ステップＳ８０１において、各フレームについてセグメント化された血管を示す二値画像（ｂｗデータ）が生成される。心臓運動が既に評価されている場合、ステップＳ８００及びＳ８０１は、心周期を推定するプロセスにおいてスキップされてよく、心臓運動評価プロセスからの情報が用いられてよい。次いで、システムは、ステップＳ９００において、ｂｗデータの第１のフレームからのｂｗデータの各フレームの絶対差を評価する。次いで、システムは、ステップＳ９０１において、心臓運動における最小差に対応するフレーム番号を見つける。このステップで、第１のフレームの絶対差である０は、最小差と見なされない。ユーザ嗜好に応じて、システムは、最小差だけでなく、第２又はそれ以上の最小差にも対応するフレーム番号を検索してよい。全てのフレーム番号が見つけられると、選択されたフレーム番号は昇順でソートされ、この一連の番号の始まりにフレーム番号１が追加される。次いで、ステップＳ９０２において、隣接するソート値間のフレーム番号の差が計算される。この差は、１つの心周期におけるフレームの数として定められる。複数の差が存在する場合、ステップＳ９０３において、差の平均が、１つの心周期におけるフレームの数と見なされる。
推定プロセスは、図１６のフローチャートの以下のステップに示されるように関心範囲が決定される場合に、更に改善することができる。関心範囲が上述のように心臓運動を評価することによって既に決定されている場合、システムは、ステップＳ９０４において、関心範囲内で第１のフレームからの各フレームの絶対差を評価することができる。このプロセスは、血管内イメージングが取得されるエリアにのみ着目しており、例として肋骨や横隔膜等の任意の不必要な構造体は除去してよい。図１６の他のステップは、図１１、１２及び１５からのステップに類似するので、ここでは繰り返さない。
本開示の別の実施形態において、心周期を推定するための第２の方法が、図１７及び図１８を参照して論じられる。この実施形態では、ユーザ入力に近い点が血管造影画像フレーム全体にわたってトラッキングされ、トラッキングされた点の移動をその移動方向とともに評価することによって、心周期が推定される。図１７は、点を選択しトラッキングするための様々なステップを示すフローチャートである。システムが１つの血管造影画像フレーム又は複数の画像フレームに対するユーザ入力を取得した後、システムは、ステップＳ８０３において、ユーザ入力を接続する。ステップＳ８０４において、システムは、接続線を形成するように接続された各ユーザ入力において、垂直線を生成する。ステップＳ１０００において、システムは、第１の血管造影画像フレームを選択し、ステップＳ１００１において、フレーム内の血管をセグメント化する。ステップＳ１００１におけるセグメント化は、図１２のステップＳ８００と同じように実行されてよい。次いで、ステップＳ１００２において、セグメント化された血管のエッジと垂直線との交点が検索される。ステップＳ１００３において、これらの交点から、各ユーザ入力に最も近い点が選択され、それらの座標が、ステップＳ１００４において、血管造影画像フレームのフレーム番号とともにシステムに保存される。これらの点の座標は（ｘk,i，ｙk,i）で表され、ｉはフレーム番号を指し、ｋ（１～ｍ）はユーザ入力（ｕｉ1～ｕｉm）の順番を指す。次いで、ステップＳ１００６において次の血管造影画像フレームが選択され、最後の血管造影画像フレームが処理されるまで、同じステップが繰り返される。ステップＳ１００５において、最後の血管造影画像フレームが処理されたと決定された場合、プロセスは終了する。ステップＳ１００３において第１の血管造影画像フレームではない任意の血管造影画像フレームについて、システムは、前のフレームで選択された点に最も近い点を選択する。或いは、ステップＳ１００３において、システムは、血管の両側の２つの最も近い点を選択してよく、システムは、中間点を計算し、ステップＳ１００４において、各ユーザ入力又は前のフレームで選択された各点について、中間点の座標を保存する。
このプロセスの後、各ｋについて、第１のフレームからの点の移動ｄi,kが評価される。
ｄi,k＝｜｜（ｘk,i，ｙk,i）－（ｘk,1，ｙk,1）｜｜（ｉ≧２）
移動が心臓の中心へ向かう場合、この値の符号は負へと変化する。ユーザ嗜好に応じて、反対方向、すなわち心臓の中心から外へ向かう動きを、負の値として扱うことができる。方向を定めるために、システムは、画像の中心が心臓の中心に近いと仮定することができ、又は、システムは、自動的に選択された１つの血管造影画像フレーム上で心臓の中心を定めるユーザ入力を提供するように、ユーザに要求することができる。あるｋについて、全てのｄi,k値が正又は負である場合、システムは、ｄi,kがゼロに近いフレーム番号を検索することにより、心周期を特定することができる。そうでない場合、システムは、ｄi,k値が正及び負に進んだ後にｄi,kがゼロに近いフレーム番号を検索することにより、心周期を特定することができ、又は、図１８のグラフに示されるようにその逆も同様である。各ｋについて１つの心周期におけるフレームの数を評価した後、システムは、フレームの平均数を計算し、それを、血管造影データについての１つの心周期におけるフレームの数として定めることができる。ｄi,kの評価は、心臓運動の評価に用いることができる。図１８に示されるように、各ｋについて、ｄi,kの最大値と最小値との差は、ユーザ入力ｕｉkにおける冠動脈の動きに対応するはずであり、システムは、この情報を用いて、ＣＭｘ及びＣＭｙを評価することができる。
心臓運動及び心周期の推定のための上述の方法は、ＥＣＧ信号又はＥＣＧ信号から取得される心拍位相情報が用いられる異なるプロセスにも利用することができる。例えば、ステップＳ２０２において、別の実施形態では、システムは、ＥＣＧ信号を用いる代わりに、上述の方法から取得される心拍位相情報を用いて、同じ心拍位相にある造影剤なしフレームを選択してよい。別の例では、ステップＳ１０８又はＳ１１６において、上述の方法から取得される心拍位相情報は、血管造影フレームとともに保存されてよい。ここでは、ＥＣＧデバイス６０は含まれる必要はなく、又は少なくとも、相互レジストレーションプロセスに用いられる必要はない。また、ＥＣＧデバイス６０が血管造影システム２０とともに用いられる場合、ＥＣＧ信号が血管造影フレームと同期されないか、又はＥＣＧ信号からの心拍位相情報が血管造影フレームの各々に関連しない状況において、上述の方法からの推定結果が利用されてよい。
ステップＳ８０４において、システムは、接続線を形成するように接続された各ユーザ入力において、心臓運動を推定するための垂直線４１４～４１７を生成する。しかしながら、本開示の実施形態において、心臓運動を推定するための線は、接続線の線分に対して必ずしも垂直でなくてもよい。本開示の一実施形態において、システムは、ユーザ入力を接続する線分に一定の角度で交差するが垂直ではない線を生成してよい。
血管が大きな曲率（curvature）を有し、ユーザ入力点を接続する線分が血管の長手方向に沿っていない場合、生成される線は、血管の長手方向に対して必ずしも垂直でなくてもよい。
別の実施形態において、システムは、接続線を用いる代わりに、血管の長手方向に沿う曲線に交差する線を生成してよい。曲線は、複数のユーザ入力に基づくスプライン補間処理から生成されてよい。
上記のように、ステップＳ７００において、イメージングシステム１０又は画像プロセッサ４０は、複数の血管造影フレームにおいてユーザ入力を受け付けるために、これらのフレームをモニタ５０に表示させる。本開示の実施形態では、心臓運動から評価される、１つ以上の特定の心拍位相の１つ以上のフレームが、特定及び表示される。一実施形態において、イメージングシステム１０は、図１５～図１８を参照して説明されるような心周期推定に基づいて、１つ以上の血管造影フレームを特定又は選択してよい。一実施形態において、イメージングシステム１０は、心周期推定のためのユーザ入力点を受け付けるための事前に選択されたフレームと同じ心拍位相の１つ以上の血管造影フレームを選択し、モニタ５０に表示させる。同じ心拍位相の複数のフレームにおいてユーザ入力を受け付けて利用することにより、マーカ検出の正確性が改善される。
別の実施形態において、イメージングシステム１０は、事前に選択されたフレームとは異なる心拍位相の１つ以上の血管造影フレームを選択し、モニタ５０に表示させる。イメージングシステム１０は、１つ以上のフレームを選択し、モニタ５０に表示させてよい。１つ以上のフレームは、図１８に示されるように、１つの心周期のｄi,kのピーク（距離がその極大及び極小にある）におけるフレームを含んでよい。これらのフレームにおいてユーザ入力を受け付けて利用することにより、マーカ検出の正確性が改善される。イメージングシステム１０は、事前に選択されたフレームのｄi,kからの絶対差がより大きいｄi,kを有するフレームを選択してよい。１つ以上のフレームは、冠動脈の動きｄi,kの最高速度でのフレーム、すなわち、図１８に示される周期曲線の勾配値がその最大又は最小にあるフレームを含んでよい。このフレームにおいてユーザ入力を受け付けて利用することにより、マーカ検出の正確性が改善される。
上述の実施形態では、心臓運動を評価するために、ユーザ入力において複数の（垂直）線が決定されるが、少なくとも心拍位相情報を推定することについては、イメージングシステム１０は、複数の血管造影画像フレームにおいて血管領域の１つの場所のみを評価すればよい。当該の１つの場所は、イメージングシステム１０によって事前に決定されてもよいし、又は、ユーザによって設定されてもよい。
別の実施形態では、システム１０は、相互レジストレーションプロセス中にユーザをナビゲートするために、複数のＧＵＩをディスプレイ５０に表示する（又は、画像プロセッサ４０がディスプレイ５０に表示させる）。図２のステップＳ２０の後、システムは、ＧＵＩを表示して、取得された血管造影画像と血管内画像を一緒に示す。例となるＧＵＩ１９００が、図１９に示される。ＧＵＩ１９００は、血管造影画像フレームを表示するエリア１９０１と、血管内画像フレームを表示するエリア１９０２と、血管の長手方向ビューを表示するエリア１９０３と、「相互レジストレーション」ボタン１９０４とを含む。このＧＵＩ１９００では、ユーザは（ユーザは、入力デバイス、例えばマウスデバイス、キーボード又はタッチパネルディスプレイを使用して）、線１９３１（長手方向ビューに重ね合わせられた）をＧＵＩ１９００の水平方向に移動させて、線１９３１の場所に対応する血管内画像を選択し、エリア１９０２に表示することができる。相互レジストレーションプロセスは、ユーザによって、例えば図１９の「相互レジストレーション」ボタン１９０４をクリックすることによって開始されてよく、次いでシステム１０は、ユーザ入力を取得するために次のＧＵＩを表示する。例となるＧＵＩ２０００が、図２０に示される。ＧＵＩは、血管造影画像フレームを表示するエリア２００１と、カーソル２０１１を有するスライドバー２０１０と、「続ける」ボタン２００２と、「フレームを追加」ボタン２００３と、「閉じる」ボタン２００４とを含む。このＧＵＩ２０００では、システム１０は、血管内イメージングプルバック中に取得される第１の血管造影画像フレームを自動的に選択し、表示する。プルバック中の第１の血管造影画像フレームを表示することにより、ユーザは、血管内イメージング取得の初期位置を比較的容易に特定することができ、これは、ユーザが血管において血管内イメージングプルバックの遠位領域を定めるのに役立つ。これはまた、システムが第１のフレーム上で放射線不透過性マーカ位置を特定するのに役立つ。一実施形態において、第１の血管造影画像は、プルバックが始まる直前若しくは直後に取得される血管造影画像であってよく、又は、血管内イメージングカテーテル３８の初期位置が表示される任意の血管造影画像であってもよい。一実施形態において、ユーザ嗜好に応じて、ユーザは、例えばスライドバー２０１０のカーソル２０１１を動かすことによって、血管造影画像フレーム、ユーザ入力を配置するエリア２００１を変更することができ、結果としてシステム１０は、スライドバー２０１０のカーソル２０１１の場所に対応する血管造影画像フレームを表示する。この例となるＧＵＩ２０００では、ユーザは、表示された血管造影画像フレーム２００１内の位置をクリックすることによって、表示された血管造影画像フレーム上に第１のユーザ入力２０１２を配置する。血管造影画像フレーム上に１つのユーザ入力２０１２のみが配置される場合、「続ける」ボタン２００２と「フレームを追加」ボタン２００３の両方が、システム１０によって無効化される。少なくとも２つのユーザ入力がユーザによって配置される場合、両方のボタンがシステム１０によって有効化される。「続ける」ボタン２００２がユーザによって選択された場合、システム１０は、図２の相互レジストレーションプロセスＳ３０～Ｓ５０を実行する。当該のプロセスの間、システム１０は別のＧＵＩを表示する。例となるＧＵＩ２１００が、図２１に示される。ＧＵＩ２１００は、プロセスが進行中であることをユーザに知らせるためのメッセージ２１０１と、「閉じる」ボタン２１０２とを含む。システム１０がプロセスを実行する間、ユーザが何らかの理由で相互レジストレーションプロセスを中止することを望む場合、ユーザは、「閉じる」ボタン２１０２をクリックすることができる。「閉じる」ボタン２１０２がクリックされると、システムは、相互レジストレーションプロセスを停止し、ＧＵＩ１９００へ戻る。ＧＵＩ１９００へ戻る前に、システム２１００は、相互レジストレーションプロセスを停止するかどうかをユーザにダブルチェックするために、ボタン付きの追加のウィンドウを表示することができる。図２０、図２２、図２３及び図２５の「閉じる」ボタンもまた、ここで説明された「閉じる」ボタン２１０２と同じ機能を有する。
一実施形態において、ユーザは、図２のステップＳ６０の前に、検出の結果をチェックすることができる。相互レジストレーションプロセスＳ３０～Ｓ５０が完了すると、システム１０は、放射線不透過性マーカの検出の結果を表示し、結果が承認可能であるか否かをユーザに尋ねる。図２２は、この段階についての例となるＧＵＩ２２００を含む。ＧＵＩ２２００は、血管造影画像を表示するエリアと、カーソル２２１１を有するスライドバー２２１０と、「承認」ボタン２２０２と、「キャンセル」ボタン２２０３と、「修正」ボタン２２０４と、「フレームを追加」ボタン２２０５と、「閉じる」ボタン２２０６とを含む。表示された血管造影画像フレーム上に、システム１０は、相互レジストレーションプロセスで検出された放射線不透過性マーカ位置を示すインジケータ２２１２と、相互レジストレーションプロセスで作成された相互レジストレーション経路を示す線２２１３とをオーバーレイする。インジケータ２２１２は、放射線不透過性マーカ位置を指し示す矢印であってよい。ユーザ嗜好に応じて、血管内イメージングカテーテル上の放射線不透過性マーカと取得位置（すなわち遠位光学素子位置）との間に一定の距離が存在する場合、システム１０は、検出された放射線不透過性マーカ位置の代わりに、血管内イメージングフレームの取得位置をオーバーレイすることができる。ユーザは、カーソル２２１１を動かして、エリア２２０１に表示される血管造影フレームを変更して、プルバック中の任意の血管造影画像フレームにおいて、検出された放射線不透過性マーカ位置２２１２が承認可能であるかどうかをチェックすることができる。ＧＵＩ２２００は、放射線不透過性マーカ検出結果を含む相互レジストレーション結果のユーザ確認のために表示される。ＧＵＩ２２００により、システム１０は、システム１０が相互レジストレーション結果を表示するか否かに関して、決定を行うか、又はユーザ決定を認識する。
システム１０は、ユーザによるチェック結果に基づいて、異なるＧＵＩを表示することを選択する。ユーザが結果を承認する場合、例えばユーザが「承認」２２０２ボタンをクリックした場合、そのクリックに応答して、システム１０は、検出されたマーカ位置を含む相互レジストレーション結果を伴う血管造影画像を有するＧＵＩを表示する。例となるＧＵＩは、図１０に示されるＧＵＩ２００である。このＧＵＩ２００では、上記のように、相互レジストレーション経路２１０と、対応する血管内イメージングフレームの取得位置を示す人工インジケータ２１２とが、血管造影画像フレーム２０２にオーバーレイされる。ユーザが結果を承認しない場合、例えばユーザが「キャンセル」ボタン２２０３をクリックした場合、システム１０は、相互レジストレーション結果を伴わないＧＵＩを表示し、すなわち、血管造影画像フレーム上には何の情報もオーバーレイされない。例となるＧＵＩは、ＧＵＩ１９００である。この段階では、図１９の「相互レジストレーション」ボタンは、無効化されてもよく、又は除去されてもよい。ユーザが検出結果をフレームごとに修正することを望む場合、ユーザは「修正」ボタン２２０４をクリックし、システム１０は、異なるＧＵＩを用いてユーザをナビゲートする。例となるＧＵＩ２３００が、図２３に示される。ＧＵＩ２３００は、血管造影画像フレームを表示するエリア２３０１と、カーソル２３１１を有するスライドバー２３１０と、「終了」ボタン２３０２と、「修正を消去」ボタン２３０３と、「修正を閉じる」ボタン２３０４と、「閉じる」ボタン２３０５とを含む。このＧＵＩ２３００では、システム１０は、検出された放射線不透過性マーカ位置を示すインジケータ２３１２と、相互レジストレーション経路を示す線２３１３とともに、血管造影画像フレームを表示する。ＧＵＩ２３００では、システム１０はまた、前のＧＵＩ２２００において「修正」ボタンがクリックされたときにユーザが見直す血管造影画像フレームを選択して、最初に表示し、カーソル２３１１は、最初、エリア２３０１の表示された血管造影画像フレームに従って位置付けられる。ユーザは、方法の一例として、スライドバー２３１０のカーソル２３１１を動かすことによって、エリア２３０１に表示されるフレームを変更することができる。「終了」ボタン２３０２及び「修正を消去」ボタン２３０３は、最初、システム１０によって無効化されるが、ユーザが血管造影画像フレーム上で実際の放射線不透過性マーカ位置をクリックして、ユーザ修正２３１４の位置を入力すると、「終了」ボタン２３０２と「修正を消去」ボタン２３０３の両方は、システム１０によって有効化される。ユーザ修正２３１４の受付けに応答して、システム１０は、システム１０のメモリに、表示された血管造影画像フレームにおけるユーザ修正２３１４の位置の情報を、そのフレーム番号又はその識別情報とともに記憶する。ユーザが「修正を消去」ボタン２３０４をクリックした場合、システム１０は、表示されたＧＵＩ２３００からユーザ修正２３１４を消去又は除去し、ユーザ修正２３１４の位置をメモリから消去又は除去する。ユーザが検出されたマーカ位置の修正を終了するとき、ユーザは、「終了」ボタン２３０２をクリックする。「終了」ボタン２３０２がクリックされると、システム１０は、ユーザ修正２３１４によって影響を受けた血管内画像フレームの取得位置を再計算する。ユーザが修正プロセスの中止を望む場合、ユーザは「修正を閉じる」ボタン２３０４をクリックすることができ、システムはＧＵＩ２２００を示すことができる。ユーザ嗜好に応じて、システム１０は、図１０の最終結果ＧＵＩ２００を直接表示することもできるし、又は、「修正を閉じる」ボタン２３０４がクリックされた後に、ＧＵＩ１９００を表示することもできる。「修正を閉じる」ボタン２３０４は、システム１０がＧＵＩ２３００を表示するときにはいつでも有効化される。
この修正プロセスにおいて、上記のように、ユーザが「終了」ボタン２３０２をクリックしたとき、システム１０は、ユーザ修正２３１４によって影響を受けた血管内画像フレームの取得位置を再計算する。言い換えると、血管造影画像フレームが取得された時間から一定の時間範囲に取得された血管内画像フレームについて、相互レジストレーションが再度実行される。システム１０は、再計算処理が実行されているとき、ＧＵＩ２１００を表示する。図２４を参照して、ユーザがｉag番目の血管造影画像フレーム上で検出結果を修正し、（ｉag－１）番目、ｉag番目及び（ｉag＋１）番目の血管造影画像フレームが、それぞれｈiv番目、ｉiv番目及びｊiv番目の血管内画像フレームが取得されたときと同時に取得されたと仮定する。ｉag番目の血管造影画像フレームの取得位置がユーザによって修正されるとき、このユーザ修正は、（ｈiv＋１）番目～（ｉiv－１）番目（図２４のフレーム群Ａ）と（ｉiv＋１）番目～（ｊiv－１）番目（図２４のフレーム群Ｂ）の血管内イメージングフレームについて計算された取得位置に影響を与える。上記のように、システム１０は、（ｉag－１）番目の血管造影画像フレーム上の検出結果とｉag番目の血管造影画像フレーム上の修正結果に基づいて、フレーム群Ａの血管内イメージングフレームについて取得位置を計算し、ｉag番目の血管造影画像フレーム上の修正結果と（ｉag＋１）番目の血管造影画像フレーム上の検出結果に基づいて、フレーム群Ｂの血管内イメージングフレームについて取得位置を計算する。
別の実施形態では、システム１０は、より良好な相互レジストレーション結果を取得するために、ユーザ入力を受け付けるための異なる方法をユーザに提供する。例えば、ある方法は、１つの血管造影画像フレームのみに対してユーザ入力を配置するように、ユーザに要求する。他の方法は、複数の血管造影画像フレームに対してユーザ入力を配置するように、ユーザに要求する。フレームごとのユーザ入力の数は、１つ又は複数であってよい。この説明では、方法１は、１フレームにつき複数のユーザ入力を有する１つの血管造影画像フレームとして定義され、方法２は、１フレームにつき１つのユーザ入力を有する複数の血管造影画像フレームとして定義され、方法３は、１フレームにつき複数のユーザ入力を有する複数の血管造影画像フレームとして定義される。再び図２０又は図２２を参照すると、ＧＵＩは、「フレームを追加」ボタン２００３又は２２０５を有する。一実施形態において、相互レジストレーションプロセスは方法１から始まり、ユーザ嗜好に応じて、ユーザは、「フレームを追加」ボタン２００３又は２２０５をクリックすることによって、その他のフレームに対して更なるユーザ入力を提供することができる。ユーザがボタン２００３をクリックした場合、初期の相互レジストレーションプロセスは、方法２又は方法３のいずれかを用いて実行される。ユーザがボタン２２０５をクリックした場合、システムは、方法２又は方法３を用いて、相互レジストレーションプロセスを再実行する。方法２又は方法３の選択は、システムによって自動的になされてもよいし、システム１０のメモリに記憶されたユーザ嗜好情報に基づいて事前にデフォルトを設定することによってなされてもよいし、又は、ユーザによって各血管内イメージングプルバック処置においてなされてもよい。
「フレームを追加」ボタン２００３又はボタン２２０５がクリックされると、システム１０は、更なるユーザ入力を取得するために、別のＧＵＩを表示する。例となるＧＵＩ２５００が、図２５に示される。この例では、システムは、方法３を用いて相互レジストレーションを実行することを選択する。ＧＵＩ２５００は、血管造影画像フレームを表示するエリア２５０１と、第１のカーソル２５１１及びマーカ２５１２を有するスライダバー２５１０と、「続ける」ボタン２５０２と、「次のフレーム」ボタン２５０３と、「今すぐ相互レジストレーション」ボタン２５０４と、「閉じる」ボタン２５０５とを含む。カーソル２５１１は、ユーザにより移動可能であり、矩形であってよく、その場所は、エリア２５０１に表示される血管造影画像フレームに対応している。マーカ２５１２は、ユーザ入力が既に配置されているフレームの位置を示す。マーカ２５１２は、三角形であってよく（カーソル２５１１と視覚的に異なってよい）、スライダバー２５１０の下に位置付けられてよく、一方、カーソル２５１１は、スライドバー２５１０内に位置付けられてよい。ＧＵＩ２５００において、ユーザは、エリア２５０１に表示される新規の血管造影画像フレーム上に、第１のユーザ入力２５１３を配置する。ユーザが更なるユーザ入力を提供するための血管造影画像フレームは、推定された心周期情報の有無にかかわらず、システムによって自動的に選択されてもよいし、又は、上記のように、スライドバーを用いてユーザによって手動で選択されてもよい。三角形のマーカ２５１２は、ユーザが既にユーザ入力を提供した血管造影画像フレーム位置を示す。この例となるＧＵＩ２５００では、上記と同様に、１つのみのユーザ入力が血管造影画像フレーム上に配置されるので、「続ける」ボタン２５０２及び「次のフレーム」ボタン２５０３は無効化される。両方のボタンは、ユーザが表示された血管造影画像フレーム上に２つ以上のユーザ入力を配置すると、有効化される。ユーザが「次のフレーム」ボタン２５０３をクリックすると、システムは、図２５に示される同じＧＵＩを用いて、システム１０によって選択された血管造影画像フレームの中から次の血管造影画像フレームを自動的に表示する。システムが、システム１０によって選択されたフレームの中から最後の血管造影画像フレームを表示するとき、「次のフレーム」ボタンは、無効化されてよく、又は、ＧＵＩ２５００上では利用可能でなくなる。一実施形態において、システム１０は、心周期情報に基づいて、同じ心拍位相の１つ以上の血管造影画像フレームを選択し、また、システム１０は、スライダバー２５１０に沿って、マーカ２５１２とは視覚的に異なる１つ以上のマーカを、選択された１つ以上のフレームに対応する場所に表示することができる。心周期情報は、ＥＣＧ６０から取得することができ、又は、図１２に示されるような血管造影画像フレームの画像処理から取得することができる。画像処理を利用するために、一実施形態において、ＧＵＩ２０００の「フレームを追加」ボタン２００３のクリックに応答して、画像処理を開始することができる。この場合、画像処理システム１０は、最初、選択された血管造影画像フレームのうちの１つをＧＵＩ２５００に表示することができる。
ＧＵＩ２５００において方法２が選択される場合、「次のフレーム」ボタン２５０３は除去される。１つのみのユーザ入力が要求され、また、１フレームにつき１つのみのユーザ入力で十分であるので、ユーザが配置した１つのユーザ入力に応答して、システムは、ＧＵＩ２５００に次の血管造影画像フレームを自動的に表示することができる。
方法２及び方法３の両方について、ユーザが前のフレームに戻れるようにする追加のボタン（例えば「前のフレーム」ボタン）を、ＧＵＩ２５００に表示することができる。加えて、ユーザ嗜好に応じて、システム１０は、ユーザにとっての参照として、他のフレームに対して提供されたユーザ入力を、現在表示中の血管造影画像フレーム上に表示することができる。ユーザが「続ける」ボタン２５０２をクリックした場合、使用されるように選択された全ての血管造影画像フレームに対してユーザがユーザ入力の配置を終了していない場合でも、システム１０は、現在表示中の血管造影画像フレームを含む全ての血管造影画像フレームに与えられた全てのユーザ入力情報を用いて、相互レジストレーションプロセスを実行する。ユーザが「今すぐ相互レジストレーション」ボタン２５０４をクリックした場合、システム１０は、現在表示中の血管造影画像フレームを除く全てのフレームに与えられた全てのユーザ入力情報を用いて、相互レジストレーションプロセスを実行する。「続ける」ボタン２５０２又は「今すぐ相互レジストレーション」ボタン２５０４がユーザによってクリックされたとき、システム１０は、システム１０が相互レジストレーションプロセスを実行していることをユーザに知らせるために、ＧＵＩ２１００を表示する。このＧＵＩ２１００では、「閉じる」ボタンも表示され、ユーザが相互レジストレーションプロセスを停止しＧＵＩ１９００に戻ることを可能にするために、常に利用可能である。
別の実施形態において、ユーザは、相互レジストレーションプロセスが始まる前にユーザ入力を提供する方法を選択することができる。ユーザがＧＵＩ１９００の「相互レジストレーション」ボタン１９０４をクリックすると、システム１０は、ユーザが方法（例として方法１、２又は３）を選択するための別のＧＵＩを表示することができる。ユーザの選択に基づいて、システム１０は、次のＧＵＩを決定し、相互レジストレーションプロセスを実行する。例えば、システムは、方法１が選択された場合はＧＵＩ２０００を表示し、方法２が選択された場合は「次のフレーム」ボタン２５０３なしのＧＵＩ２５００を表示し、方法３が選択された場合は「次のフレーム」ボタン２５０３ありのＧＵＩ２５００を表示する。
別の実施形態において、システム１０は相互レジストレーションの信頼度を評価する能力を有するので、評価された信頼度が閾値よりも低い場合、システムは、通知メッセージをユーザに表示することができ、元のＧＵＩ１９００に自動的に戻ることができる。評価された信頼度が閾値よりも低い場合でも、ユーザが結果を見ることを好む場合、システム１０は、ＧＵＩ２００に警告とともに結果を表示することができる。警告は、テキストメッセージであってもよいし、又は記号であってもよい。信頼度についての閾値は、システムによって決定されてもよいし、又は、処置前若しくは処置中にユーザによって修正されてもよい。
図２６は、本発明の一実施形態に従う画面遷移を示す。画像プロセッサ４０は、表示されたＧＵＩ１９００の表示された「相互レジストレーション」ボタン１９０４がクリックされた場合、ディスプレイ５０にＧＵＩ２０００を表示させる。
画像プロセッサ４０は、ディスプレイ５０に、表示されたＧＵＩ２０００の表示された「続ける」ボタン２００２がクリックされた場合はＧＵＩ２１００を表示させ、表示された「フレームを追加」ボタン２００３がクリックされた場合はＧＵＩ２５００を表示させ、表示された「閉じる」ボタン２００４がクリックされた場合はＧＵＩ１９００を表示させる。
画像プロセッサ４０は、ディスプレイ５０に、図２に示される相互レジストレーションプロセスの完了に応答してＧＵＩ２２００を自動的に表示させ、表示されたＧＵＩ２１００の表示された「閉じる」ボタン２１０２がクリックされた場合はＧＵＩ１９００を表示させる。
画像プロセッサ４０は、ディスプレイ５０に、表示されたＧＵＩ２２００の表示された「承認」ボタン２２０２がクリックされた場合は、図１０に示されるＧＵＩ２００を表示させ、表示された「キャンセル」ボタン２２０３がクリックされた場合はＧＵＩ１９００を表示させ、表示された「修正」ボタン２２０４がクリックされた場合はＧＵＩ２３００を表示させ、表示された「フレームを追加」ボタン２２０５がクリックされた場合はＧＵＩ２５００を表示させ、表示されたボタン「閉じる」２２０６がクリックされた場合はＧＵＩ１９００を表示させる。
画像プロセッサ４０は、ディスプレイ５０に、表示されたＧＵＩ２３００の表示された「終了」ボタン２３０２がクリックされた場合はＧＵＩ２１００を表示させ、表示された「修正を閉じる」ボタン２３０４がクリックされた場合はＧＵＩ２２００を表示させ、表示されたボタン「閉じる」２３０５がクリックされた場合はＧＵＩ１９００を表示させ、表示されたボタン「修正を消去」２３０３がクリックされた場合は、検出されたマーカ位置のユーザの修正（もしあれば）をＧＵＩ２３００から除去させる。
画像プロセッサ４０は、ディスプレイ５０に、表示されたＧＵＩ２５００の表示された「続ける」ボタン２５０２及び表示された「今すぐ相互レジストレーション」ボタン２５０４のうちの一方がクリックされた場合はＧＵＩ２１００を表示させ、表示された「閉じる」ボタン２５０５がクリックされた場合はＧＵＩ１９００を表示させ、「次のフレーム」ボタン２５０３がクリックされた場合、又は、スライドバー２５１０上のカーソル２５１１の場所が、例えばスライドバー２５１０上の特定の位置をクリックすることによって、若しくはカーソル２５１１がユーザによって動かされることによって、変更された場合は、ＧＵＩ２５００のエリア２５０１に表示される血管造影画像フレームを変更させる。
ＧＵＩ１９００、２０００、２１００、２２００、２３００又は２５００のボタンは、ユーザ命令又は入力を受け付けるためのアイテムの例のうちの１つとすることができ、ボタンは、アイコン、ハイパーリンク、又はユーザ命令若しくは入力を受け付けるための任意の種類のアイテムとすることができる。表示される血管造影画像フレームをユーザが選択するために、ＧＵＩ２２００又は２３００には、スライドバー及び可動カーソルの組合せが表示され、言い換えると、システム１０は、可動カーソルの移動に応答して異なる血管造影画像を表示するが、当該の組合せは、表示される血管造影画像フレームを選択するためのユーザ命令を受け付けるための任意のアイテムとすることができる。
ＧＵＩ２１００が表示される間、又は、ボタン２００２をクリックすることによる相互レジストレーションプロセスを開始するユーザ命令に応答して、システム１０は、上記のように、心周期／位相推定と相互レジストレーションプロセスの両方を実行することができる。よって、相互レジストレーション又は心拍位相推定が実行された後、システム１０は、ＧＵＩ２５００においてユーザ入力を受け付けるための、特定の心拍位相の血管造影画像フレームを表示することができる。
図２７は、図１のコンピュータ３４のハードウェア構成の例示的なブロック図である。しかしながら、コンピュータ３００は、血管内イメージングシステム３０の代わりに、血管造影システム２０に組み込まれてもよい。本開示の別の実施形態において、コンピュータ３００は、図１に示される画像プロセッサ４０を包含するスタンドアローンデバイスであってよい。
コンピュータ３００は、図２７に示されるように、中央処理装置（「ＣＰＵ」）３０１、ＲＯＭ３０２、ＲＡＭ３０４、通信インタフェース３０６、ハードディスク（及び／又は他の記憶デバイス）３０８、ディスプレイインタフェース３１０、入力デバイス（例えばマウス、キーボード又はタッチパネル）３１２、及び、上述の構成要素間のうちの１つ以上の間のＢＵＳ又は他の接続線（例えば接続線３１４）を含む。コンピュータ３００は、他の上述の構成要素の１つ以上の組合せを含んでよい。ＣＰＵ１３０１は、記憶媒体に格納されたコンピュータ実行可能命令を読み取って実行するように構成される。コンピュータ実行可能命令は、本明細書に記載の方法及び／又は計算の実行のための命令を含んでよい。コンピュータ３００は、ＣＰＵ３０１に加えて１つ以上の追加のプロセッサを含んでよく、ＣＰＵ３０１を含む当該のプロセッサは、血管内イメージングシステム、血管造影システム及びＥＧＣデバイスから情報を取得して、血管内画像フレームが取得された相互レジストレーション経路に沿った位置を表すインジケータを有する相互レジストレーション経路を決定するために用いられてよい。コンピュータ３００は更に、ネットワーク接続を介して（例えばネットワーク３１６を介して）接続された１つ以上のプロセッサを含んでよい。ＣＰＵ３０１と、コンピュータ３００によって用いられている任意の追加のプロセッサとは、同じテレコムネットワークに配置されてもよいし、又は異なるテレコムネットワークに配置されてもよい。
Ｉ／Ｏ又は通信インタフェース３０６は、入出力デバイス（２つの光源３３、通信ケーブル及びネットワーク（有線又は無線のいずれか）、キーボード、マウス、タッチスクリーン又はモニタ５０等を含んでよい）への通信インタフェースを提供する。
本開示の任意の方法及び／又はデータ、例えば相互レジストレーション経路を生成するための方法は、コンピュータ可読記憶媒体に格納されてよい。一般に使用されるコンピュータ可読及び／又は書込み可能な記憶媒体、例えばハードディスク（例えばハードディスク３０８、磁気ディスク等）、フラッシュメモリ、ＣＤ、光ディスク（例えばコンパクトディスク（「ＣＤ」）、デジタル多用途ディスク（「ＤＶＤ」）、Ｂｌｕ－ｒａｙ（商標）ディスク等）、光磁気ディスク、ランダムアクセスメモリ（「ＲＡＭ」）（ＲＡＭ３０４等）、ＤＲＡＭ、読取り専用メモリ（「ＲＯＭ」）、分散コンピュータシステムのストレージ、メモリカード又は同様のもの（例えば不揮発性メモリカード、ソリッドステートドライブ、ＳＲＡＭ等の他の半導体メモリ等）、それらの任意の組合せ、サーバ／データベース等のうちの１つ以上等を用いて、プロセッサ（例えば上述のコンピュータ３００のプロセッサ又はＣＰＵ３０１）に、本明細書で開示される方法のステップを実行させることができる。コンピュータ可読記憶媒体は非一時的コンピュータ可読媒体であってよく、かつ／又は、コンピュータ可読媒体は、一時的な伝搬信号であることを唯一の例外として、全てのコンピュータ可読媒体を含んでよい。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、レジスタメモリ、プロセッサキャッシュ等の、所定期間又は制限された期間又は短期間に、かつ／又は電力の存在下でのみ、情報を記憶する媒体を含むことができる。また、本開示の実施形態は、記憶媒体（より完全には「非一時的コンピュータ可読記憶媒体」とも呼ばれ得る）に記録されたコンピュータ実行可能命令（例えば１つ以上のプログラム）を読み出して実行して、上記の実施形態の１つ以上の機能を実行し、かつ／又は、上記の実施形態の１つ以上の機能を実行するための１つ以上の回路（例えば特定用途向け集積回路（ＡＳＩＣ））を含むシステム又は装置のコンピュータによって実現されてもよく、また、例えば記憶媒体からコンピュータ実行可能命令を読み出して実行して、前述の実施形態の１つ以上の機能を実行し、かつ／又は上記の実施形態の１つ以上の機能を実行するための１つ以上の回路を制御することによって、システム又は装置のコンピュータによって実行される方法によって実現されてもよい。
上記のデバイス、システム及び方法は、コンピュータ実行可能命令を読み出してそれらを実行するように構成される１つ以上のコンピュータデバイスに対して、上記動作を実現するためのコンピュータ実行可能命令が記憶されている１つ以上のコンピュータ可読媒体を供給することによって、実施することができる。この場合、システム又はデバイスは、コンピュータ実行可能命令を実行するときに、上記実施形態の動作を実行する。また、１つ以上システム又はデバイス上のオペレーティングシステムが、上記実施形態の動作を実行してもよい。よって、コンピュータ実行可能命令、又はコンピュータ実行可能命令を記憶する１つ以上のコンピュータ可読媒体、又はコンピュータ実行可能命令を記憶している１つ以上のコンピュータ可読媒体が、実施形態を構成する。
上の開示は特定の例示の実施形態を説明するが、本開示は、上記実施形態に限定されず、以下の特許請求の範囲は、それらの範囲内の様々な変更及び均等の構成を含む。

Claims (20)

  1. 血管領域の複数の血管造影画像フレームと、イメージングカテーテルのプルバック中に前記イメージングカテーテルによって前記血管領域において取得される複数の血管内画像フレームとを取得することと、
    前記複数の血管造影画像フレームの各々において、前記血管領域を検出することと、
    前記血管領域の長手方向に交差する方向を定めることと、
    前記複数の血管造影画像フレーム内の前記血管領域の場所を評価することにより、前記方向に基づいて、前記血管領域の運動を検出することと、
    検出された前記運動及び検出された前記血管領域に基づいて、エリアを定めることと、
    前記複数の血管造影画像フレームの少なくとも１つにおいて、前記エリア内の前記血管領域に配置された前記イメージングカテーテルのマーカを検出することと、
    （ｉ）検出された前記マーカに基づいて、前記複数の血管造影画像フレームと前記複数の血管内画像フレームとの間の相互レジストレーションを実行すること、及び／又は、（ｉｉ）検出された前記運動から評価される特定の心拍位相のフレームを特定し、ディスプレイに、特定された前記フレームを表示させること、のうち１つ以上を実行することと、
    を含む、血管造影画像を処理するための方法。
  2. 前記血管領域は、血管内イメージングプルバックが実行された冠動脈の位置を特定するユーザ入力をグラフィカルユーザインタフェース上で取得することによって検出される、請求項１に記載の方法。
  3. 前記血管領域は、造影剤が位置する前記血管領域のエリアに第１の既定の値を割り当て、造影剤が位置しない前記血管領域のエリアに第２の既定の値を割り当てることによってセグメント化される、請求項１に記載の方法。
  4. セグメント化された血管をグラフィカルユーザインタフェース上に示す二値画像を生成することを更に含み、前記第１の既定の値を有する前記血管領域は白色エリアとして示され、他の全てのエリアは黒色エリアとして示される、請求項３に記載の方法。
  5. 前記二値画像上に、前記長手方向に直交する前記方向に対応する線を適用することを更に含み、
    前記白色エリアに重なる前記線の一部は、心臓運動を決定するためにｘ軸方向及びｙ軸方向において評価される、請求項４に記載の方法。
  6. 前記血管領域の前記長手方向は、直線により接続されている連続するユーザ入力によって定められる、請求項１に記載の方法。
  7. 前記血管領域の前記長手方向は、血管内画像プルバックが実行された方向を定める、請求項１に記載の方法。
  8. 前記エリアは関心範囲である、請求項１に記載の方法。
  9. 前記エリアにおいて、各血管造影画像フレームについて第１の血管造影画像フレームからの絶対差を評価することによって、心周期を推定することを更に含む、請求項１に記載の方法。
  10. 前記定めることにおいて、定められた前記方向は、前記血管領域の前記長手方向に直交する、請求項１に記載の方法。
  11. 相互レジストレーションのためのユーザ入力を受け付けるための血管造影画像フレームと、前記血管造影画像フレームを変更するためのユーザ命令を受け付けるためのアイテムとを含むグラフィカルユーザインタフェースを、ディスプレイユニットに表示させることを更に含み、前記表示させることにおいて、前記プルバック中の第１の血管造影画像フレームが表示される、請求項１に記載の方法。
  12. 前記グラフィカルユーザインタフェースは、相互レジストレーションの実行を開始するためのアイテムを更に含み、前記アイテムは、前記グラフィカルユーザインタフェースにおける前記血管造影画像フレーム内のユーザ入力の数が閾値よりも少ない場合、無効化される、請求項１１に記載の方法。
  13. 前記血管造影画像内のユーザ入力の数が十分である場合、前記ディスプレイユニットに、前記グラフィカルユーザインタフェースにおいて前記血管造影画像フレームから異なる血管造影画像フレームへ変更させることを更に含む、請求項１１に記載の方法。
  14. 前記グラフィカルユーザインタフェースは、スライドバーと、前記スライドバーに沿う可動カーソルとを更に含み、前記可動カーソルの場所に従って、前記複数の血管造影画像フレームのうちの１つが選択され、前記スライドバーに沿って、心周期情報に基づいて選択される血管造影画像フレームに対応する場所に、少なくとも１つのマーカが位置付けられる、請求項１１に記載の方法。
  15. 前記相互レジストレーションが実行されている間に、ディスプレイユニットに、前記相互レジストレーションを停止するユーザ命令を受け付けるためのアイテムを含むグラフィカルユーザインタフェースを表示させることを更に含む、請求項１に記載の方法。
  16. 前記相互レジストレーションが実行された後に、ディスプレイユニットに、前記相互レジストレーションの結果、第１のアイテム及び第２のアイテムを含むグラフィカルユーザインタフェースを表示させることと、
    前記第１のアイテムがユーザによって選択されたとき、前記ディスプレイユニットに、前記複数の血管内画像フレームのうちの少なくとも１つと、検出された前記マーカの位置を示すインジケータを有する前記血管造影画像フレームのうちの少なくとも１つとを含むグラフィカルユーザインタフェースを表示させることと、
    前記第２のアイテムがユーザによって選択されたとき、前記ディスプレイユニットに、前記複数の血管内画像フレームのうちの少なくとも１つと、前記インジケータを有さない前記血管造影画像フレームのうちの少なくとも１つとを含むグラフィカルユーザインタフェースを表示させることと、を更に含む、請求項１に記載の方法。
  17. 前記相互レジストレーションが実行された後、ディスプレイユニットに、前記血管造影画像フレーム内の検出された前記マーカの位置を示すインジケータを含むグラフィカルユーザインタフェースを、前記位置のユーザ修正を受け付けるために、表示させることと、
    受け付けられた前記ユーザ修正に基づいて、前記血管造影画像フレームが取得された時間から一定の時間範囲において取得された前記複数の血管内画像フレームの少なくとも一部について、相互レジストレーションを再度実行することと、
    を更に含む、請求項１に記載の方法。
  18. コンピュータに請求項１に記載の方法を実行させるためのコンピュータ可読プログラムを記憶する、非一時的なコンピュータ可読記憶媒体。
  19. データを記憶するためのメモリと、
    前記メモリと通信するプロセッサであって、
    複数の血管造影画像フレームの各々において血管領域を検出するステップと、
    前記血管領域の長手方向に交差する方向を定めるステップと、
    前記複数の血管造影画像フレーム内の前記血管領域の場所を評価することにより、前記方向に基づいて、前記血管領域の運動を検出するステップと、
    検出された前記運動及び検出された前記血管領域に基づいて、エリアを定めるステップと、
    前記エリア内の前記血管領域に配置されたイメージングカテーテルのマーカを検出するステップと、
    （ｉ）検出された前記マーカに基づいて、前記複数の血管造影画像フレームと、前記イメージングカテーテルのプルバック中に前記血管領域において前記イメージングカテーテルによって取得された複数の血管内画像フレームとの間の相互レジストレーションを実行すること、及び／又は、（ｉｉ）検出された前記運動から評価される特定の心拍位相のフレームを特定し、ディスプレイに、特定された前記フレームを表示させること、のうち１つ以上を実行するステップと、
    を実行するためのプロセッサと、
    を備える、血管造影画像データを処理するためのイメージング装置。
  20. 複数の血管造影画像フレームにおいて、血管領域を検出することと、
    前記血管領域の長手方向に交差する方向を定めることと、
    前記複数の血管造影画像フレーム内の前記血管領域の場所を評価することにより、定められた前記方向に基づいて、前記血管領域の運動を検出することと、
    （ｉ）検出された前記運動から評価される特定の心拍位相のフレームを特定し、ディスプレイに、特定された前記フレームを表示させること、及び／又は、（ｉｉ）前記血管領域に配置されたイメージングカテーテルのマーカを検出し、検出された前記マーカに基づいて、前記複数の血管造影画像フレームと、前記イメージングカテーテルのプルバック中に前記血管領域において前記イメージングカテーテルによって取得された複数の血管内画像フレームとの間の相互レジストレーションを実行すること、のうち１つ以上を実行することと、
    を含む、血管造影画像データを処理するための方法。
JP2020503319A 2017-07-26 2018-07-25 血管造影画像を用いて心臓運動を評価するための方法 Active JP7054411B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762537204P 2017-07-26 2017-07-26
US62/537,204 2017-07-26
US201862680780P 2018-06-05 2018-06-05
US62/680,780 2018-06-05
PCT/US2018/043756 WO2019023382A1 (en) 2017-07-26 2018-07-25 METHOD FOR EVALUATING CARDIAC MOVEMENT USING ANGIOGRAPHIC IMAGE
US16/044,931 US11058385B2 (en) 2017-07-26 2018-07-25 Method for evaluating cardiac motion using an angiography image
US16/044,931 2018-07-25
US16/044,881 US10674985B2 (en) 2017-07-26 2018-07-25 Method for co-registering and displaying multiple imaging modalities
US16/044,881 2018-07-25

Publications (2)

Publication Number Publication Date
JP2020528779A JP2020528779A (ja) 2020-10-01
JP7054411B2 true JP7054411B2 (ja) 2022-04-13

Family

ID=65138535

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020503280A Active JP6953616B2 (ja) 2017-07-26 2018-07-25 複数イメージングモダリティを相互レジストレーション及び表示するための方法
JP2020503319A Active JP7054411B2 (ja) 2017-07-26 2018-07-25 血管造影画像を用いて心臓運動を評価するための方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020503280A Active JP6953616B2 (ja) 2017-07-26 2018-07-25 複数イメージングモダリティを相互レジストレーション及び表示するための方法

Country Status (3)

Country Link
US (3) US11058385B2 (ja)
EP (2) EP3659112B1 (ja)
JP (2) JP6953616B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020033975A1 (en) * 2018-08-10 2020-02-13 Southern Methodist University Image analysis using machine learning and human computation
US11918406B2 (en) 2019-02-15 2024-03-05 Koninklijke Philips N.V. Marker registration correction by virtual model manipulation
US11931198B2 (en) 2019-02-15 2024-03-19 Koninklijke Philips N.V. X-ray calibration for display overlays onto X-ray images
US20200375576A1 (en) * 2019-06-01 2020-12-03 Philips Image Guided Therapy Corporation Co-registration systems and methods fo renhancing the quality of intravascular images
US20210077037A1 (en) 2019-09-17 2021-03-18 Canon U.S.A., Inc. Constructing or reconstructing 3d structure(s)
US20220346885A1 (en) * 2019-09-20 2022-11-03 Canon U.S.A., Inc. Artificial intelligence coregistration and marker detection, including machine learning and using results thereof
CN112022213B (zh) * 2019-10-24 2021-07-09 深圳迈瑞生物医疗电子股份有限公司 一种超声图像的处理方法及处理装置
EP3884868A1 (en) * 2020-03-26 2021-09-29 Pie Medical Imaging BV Method and system for registering intra-object data with extra-object data
CN111784664B (zh) * 2020-06-30 2021-07-20 广州柏视医疗科技有限公司 肿瘤淋巴结分布图谱生成方法
US20220192517A1 (en) * 2020-12-23 2022-06-23 Dyad Medical, Inc. Systems and methods for detection of plaque and vessel constriction
WO2022202201A1 (ja) * 2021-03-25 2022-09-29 テルモ株式会社 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム
US20220319673A1 (en) * 2021-03-31 2022-10-06 GE Precision Healthcare LLC Methods and systems for new data storage and management scheme for medical imaging solutions
WO2022238392A1 (en) * 2021-05-13 2022-11-17 Koninklijke Philips N.V. Coregistration of intraluminal data to guidewire in extraluminal image obtained without contrast
US11779277B2 (en) 2021-06-11 2023-10-10 Canon U.S.A., Inc. Systems and methods for endovascular device detection and apposition measurement
US20230109202A1 (en) 2021-10-04 2023-04-06 Canon U.S.A., Inc. Fluorescence calibration based on manual lumen detection
NL2029633B1 (en) * 2021-11-04 2023-06-02 Medis Ass B V Method and device for monitoring a flow of a fluid in a vessel
WO2023220150A1 (en) * 2022-05-12 2023-11-16 Canon U.S.A., Inc. Artificial intelligence catheter optical connection or disconnection evaluation, including deep machine learning and using results thereof
EP4343686A1 (en) * 2022-09-23 2024-03-27 Siemens Healthineers AG Method and system for vascular catheter tip detection in medical images
CN116919433B (zh) * 2023-09-19 2024-01-09 北京唯迈医疗设备有限公司 一种融合dsa影像的图像分析方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008013255A1 (fr) 2006-07-28 2008-01-31 Shimadzu Corporation APPAREIL radiographique
US20110230758A1 (en) 2008-12-03 2011-09-22 Uzi Eichler System and method for determining the position of the tip of a medical catheter within the body of a patient
WO2015044979A1 (ja) 2013-09-26 2015-04-02 テルモ株式会社 情報処理装置、撮影システム、情報処理方法及びプログラム
JP2015093131A (ja) 2013-11-13 2015-05-18 キヤノン株式会社 Ｘ線画像処理装置、ｘ線画像処理方法、及びプログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3167367B2 (ja) 1991-09-09 2001-05-21 株式会社東芝 循環器診断装置
US6763261B2 (en) 1995-09-20 2004-07-13 Board Of Regents, The University Of Texas System Method and apparatus for detecting vulnerable atherosclerotic plaque
US7359554B2 (en) 2002-08-26 2008-04-15 Cleveland Clinic Foundation System and method for identifying a vascular border
WO2006076409A2 (en) * 2005-01-11 2006-07-20 Volcano Corporation Vascular image co-registration
US8676300B2 (en) 2006-09-18 2014-03-18 Mediguide Ltd. Method and system for navigating through an occluded tubular organ
EP2086415B1 (en) * 2006-11-22 2011-06-08 Koninklijke Philips Electronics N.V. Combining x-ray with intravascularly acquired data
JP5639764B2 (ja) * 2007-03-08 2014-12-10 シンク−アールエックス，リミティド 運動する器官と共に使用するイメージング及びツール
US8170312B2 (en) 2008-06-17 2012-05-01 Siemens Medical Solutions Usa, Inc. Respiratory motion compensated cardiac wall motion determination system
US8175684B2 (en) 2008-07-29 2012-05-08 General Electric Company Method for processing images and associated medical imaging system
EP2344020B1 (en) 2008-10-14 2020-05-20 Lightlab Imaging, Inc. Stent strut detection and related measurement and display using optical coherence tomography
EP2407107B1 (en) 2009-03-12 2019-09-25 Terumo Kabushiki Kaisha Diagnostic imaging device
US8909323B2 (en) 2009-08-06 2014-12-09 Siemens Medical Solutions Usa, Inc. System for processing angiography and ultrasound image data
US20180344174A9 (en) 2009-09-23 2018-12-06 Lightlab Imaging, Inc. Lumen Morphology and Vascular Resistance Measurements Data Collection Systems, Apparatus and Methods
EP2480124B1 (en) 2009-09-23 2017-11-22 Lightlab Imaging, Inc. Lumen morphology and vascular resistance measurement data collection systems, apparatus and methods
US8565859B2 (en) 2010-06-29 2013-10-22 Siemens Aktiengesellschaft Method and system for image based device tracking for co-registration of angiography and intravascular ultrasound images
DE102011077406B4 (de) 2011-06-10 2013-03-21 Siemens Aktiengesellschaft Verfahren zum Lokalisieren eines bewegbaren Objekts und Röntgenbildaufnahmevorrichtung
JP5911243B2 (ja) 2011-09-09 2016-04-27 株式会社東芝 画像表示装置
US9307926B2 (en) 2012-10-05 2016-04-12 Volcano Corporation Automatic stent detection
DE112013004898B4 (de) * 2012-10-05 2019-09-05 Koninklijke Philips N.V. Medizinisches Bilddarstellungssystem und Verfahren zur Bereitstellung eines verbesserten Röntgenstrahlbildes
US9292918B2 (en) 2012-10-05 2016-03-22 Volcano Corporation Methods and systems for transforming luminal images
US9286673B2 (en) 2012-10-05 2016-03-15 Volcano Corporation Systems for correcting distortions in a medical image and methods of use thereof
US10942022B2 (en) * 2012-12-20 2021-03-09 Philips Image Guided Therapy Corporation Manual calibration of imaging system
CA2896021A1 (en) 2012-12-21 2014-06-26 Volcano Corporation Adaptive interface for a medical imaging system
WO2014117130A1 (en) 2013-01-28 2014-07-31 The General Hospital Corporation Apparatus and method for providing diffuse spectroscopy co-registered with optical frequency domain imaging
JP2016507304A (ja) * 2013-02-11 2016-03-10 アンジオメトリックス コーポレーション 物体を検出及び追跡するとともに重ね合わせるシステム
US9351698B2 (en) * 2013-03-12 2016-05-31 Lightlab Imaging, Inc. Vascular data processing and image registration systems, methods, and apparatuses
CN111652917A (zh) 2013-03-12 2020-09-11 光学实验室成像公司 血管数据处理和图像配准系统、方法及装置
US9301687B2 (en) 2013-03-13 2016-04-05 Volcano Corporation System and method for OCT depth calibration
US9833221B2 (en) 2013-03-15 2017-12-05 Lightlab Imaging, Inc. Apparatus and method of image registration
CN105246406A (zh) 2013-05-31 2016-01-13 柯尼卡美能达株式会社 图像处理装置以及程序
WO2015045368A1 (ja) 2013-09-26 2015-04-02 テルモ株式会社 画像処理装置、画像表示システム、撮影システム、画像処理方法及びプログラム
EP2873371B1 (en) 2013-11-13 2022-12-21 Pie Medical Imaging BV Method and system for registering intravascular images
US10783900B2 (en) * 2014-10-03 2020-09-22 Google Llc Convolutional, long short-term memory, fully connected deep neural networks
ES2864714T3 (es) 2014-12-12 2021-10-14 Lightlab Imaging Inc Método para detectar y representar visualmente características endovasculares
US10109058B2 (en) 2015-05-17 2018-10-23 Lightlab Imaging, Inc. Intravascular imaging system interfaces and stent detection methods
EP3324830B1 (en) 2015-07-25 2023-01-04 Lightlab Imaging, Inc. Intravascular data visualization method and device
US10342502B2 (en) * 2015-11-18 2019-07-09 Lightlab Imaging, Inc. X-ray image feature detection and registration systems and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008013255A1 (fr) 2006-07-28 2008-01-31 Shimadzu Corporation APPAREIL radiographique
US20110230758A1 (en) 2008-12-03 2011-09-22 Uzi Eichler System and method for determining the position of the tip of a medical catheter within the body of a patient
WO2015044979A1 (ja) 2013-09-26 2015-04-02 テルモ株式会社 情報処理装置、撮影システム、情報処理方法及びプログラム
JP2015093131A (ja) 2013-11-13 2015-05-18 キヤノン株式会社 Ｘ線画像処理装置、ｘ線画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP6953616B2 (ja) 2021-10-27
EP3659112A2 (en) 2020-06-03
US11324468B2 (en) 2022-05-10
US11058385B2 (en) 2021-07-13
US20190029624A1 (en) 2019-01-31
US10674985B2 (en) 2020-06-09
JP2020528779A (ja) 2020-10-01
EP3659112B1 (en) 2021-09-08
EP3659114B1 (en) 2024-03-06
EP3659114A1 (en) 2020-06-03
JP2020528778A (ja) 2020-10-01
US20200253575A1 (en) 2020-08-13
US20190029623A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
JP7054411B2 (ja) 血管造影画像を用いて心臓運動を評価するための方法
US11633167B2 (en) X-ray image feature detection and registration systems and methods
US10687777B2 (en) Vascular data processing and image registration systems, methods, and apparatuses
US7574026B2 (en) Method for the 3d modeling of a tubular structure
CN105188550B (zh) 血管数据处理和图像配准系统、方法及装置
WO2019023382A1 (en) METHOD FOR EVALUATING CARDIAC MOVEMENT USING ANGIOGRAPHIC IMAGE
JP6898927B2 (ja) 血管内画像における影の検出および検証
US20080247621A1 (en) Method and Apparatus for Positioning a Device in a Tubular Organ
JP2006246941A (ja) 画像処理装置及び管走行トラッキング方法
EP3951705A1 (en) Method, device and system for determining abnormality in myocardium region
Chakravarthy Info cardio advanced medical image analysis using GIIM, IISM with CBR & RBR intelligence

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220401

R150 Certificate of patent or registration of utility model

Ref document number: 7054411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150