JP6611612B2 - 外科データのイントラモーダル同期化 - Google Patents

外科データのイントラモーダル同期化 Download PDF

Info

Publication number
JP6611612B2
JP6611612B2 JP2015561868A JP2015561868A JP6611612B2 JP 6611612 B2 JP6611612 B2 JP 6611612B2 JP 2015561868 A JP2015561868 A JP 2015561868A JP 2015561868 A JP2015561868 A JP 2015561868A JP 6611612 B2 JP6611612 B2 JP 6611612B2
Authority
JP
Japan
Prior art keywords
data
tissue
local tissue
analysis
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015561868A
Other languages
English (en)
Other versions
JP2016518148A (ja
JP2016518148A5 (ja
Inventor
パイロン キャメロン
セラ ガル
エム. トーマス モンロー
アレクサンダー サイモン
ユワラジ ムルガサス
ウッド マイケル
パンサー アレックス
リッチモンド ジョシュア
ホッジズ ウェス
ギャロップ デビッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synaptive Medical Barbados Inc
Original Assignee
Synaptive Medical Barbados Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synaptive Medical Barbados Inc filed Critical Synaptive Medical Barbados Inc
Publication of JP2016518148A publication Critical patent/JP2016518148A/ja
Publication of JP2016518148A5 publication Critical patent/JP2016518148A5/ja
Application granted granted Critical
Publication of JP6611612B2 publication Critical patent/JP6611612B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3417Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421Cannulas
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/252User interfaces for surgical systems indicating steps of a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/256User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B2090/103Cranial plugs for access to brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363Use of fiducial points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/374NMR or MRI
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B90/57Accessory clamps
    • A61B2090/571Accessory clamps for clamping a support arm to a bed or other supports
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/20ICT specially adapted for the handling or processing of medical references relating to practices or guidelines

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Urology & Nephrology (AREA)
  • Neurology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、画像誘導型医療処置に関する。また、本発明は、組織の切除と同定、および/または、病理分析を含む医療処置に関する。
(関連出願の相互参照)
本出願は、2013年3月15日に出願され、名称を「病態追跡のためのシステムおよび方法」とする、米国仮出願第61/801,282号に対する優先権を主張し、その全内容がここに参照として援用される。
また、本出願は、2013年3月15日に出願され、名称を「ハイパースペクトル撮像装置」とする、米国仮出願第61/800,911号に対する優先権を主張し、その全内容がここに参照として援用される。
また、本出願は、2013年3月15日に出願され、名称を「インサート撮像装置」とする、米国仮出願第61/801,746号に対する優先権を主張し、その全内容がここに参照として援用される。
また、本出願は、2013年5月1日に出願され、名称を「インサート撮像装置」とする、米国仮出願第61/818,255号に対する優先権を主張し、その全内容がここに参照として援用される。
また、本出願は、2013年3月15日に出願され、名称を「低侵襲性治療の計画立案、ナビゲーション、およびシミュレーションのためのシステムおよび方法」とする、米国仮出願第61/800,155号に対する優先権を主張し、その全内容がここに参照として援用される。
また、本出願は、2014年1月8日に出願され、名称を「低侵襲性治療の計画立案、ナビゲーション、およびシミュレーションのためのシステムおよび方法」とする、米国仮出願第61/924,993号に対する優先権を主張し、その全内容がここに参照として援用される。
また、本出願は、2013年3月15日に出願され、名称を「処置中に用いる器具の時間経過を記録するためのシステムおよび方法」とする、米国仮出願第61/798,867号に対する優先権を主張し、その全内容がここに参照として援用される。
従来、撮像および画像誘導技術が知られている。これらの技術は、疾患の診断に始まり、その疾患の経過観察、手術計画、処置中の指導、および処置終了後のフォローアップに至る外科治療において、あるいは多角的治療方法の一環として、益々重要なものとなってきている。
多くの医療処置、例えば、腫瘍摘出外科手術等では、手術中に組織サンプルの切除や検査を行う。今日、医療撮像と外科診断の分野では、組織サンプルを採取し、顕微鏡を用いてその組織病理検査−この場合採取組織を染色することが多い−を行うことが、依然として最も一般的な組織診断法である。この診断法では、手術室でサンプルを切除した後、そのサンプルは病理検査室へ運ばれる。
しかし、この手法には問題点や課題がある。例えば、現在用いられている組織分析方法では、正確に、また、痛みを伴わずに組織に到達することができず、生検処理中に腫瘍組織が播種する結果を招く可能性がある。また、異質な腫瘍を確実に検査するためとはいえ、生検を何度も行うことは概して実用的ではない。
組織サンプルは、処理中にラベル貼付過誤が起こることが多く、サンプルの取り違えや、貼付ミスにより誤診断につながることがある。さらに、病理結果と画像結果が一致しないこともある。現行の作業フローでは、放射線科医に対するフィードバック体制が整っていないことが多く、これが妨げとなって、放射線科医が自身の診断精度を向上させ、その後の症例に活かすことが難しくなっている。また、これにより、生検と病理結果の間に不要な遅延が生じ、患者に良好な結果をもたらす足枷となっている。
本発明では、上記の課題を解決するために、局所組織の診断用測定を、従前の組織分析で得た局所組織診断用保管データと相関させることで、診断用測定を、類似する局所組織の診断用データを有する従前の組織分析による組織分析データで補完する、各システムと方法が提供される。組織分析データには、病理データ、結果データ、診断用データ等の情報が含まれる。局所組織診断用保管データと組織分析データはデータベースに保存され、医療処置における術前、術中、および/または、術後の各段階を含む、多種多様な方法に用いられる。また、本発明では、ユーザーインターフェースに表示される医用画像に、組織分析に関連付けたハイパーリンク化参照マーカを表示する方法とシステムが提供される。この方法とシステムでは、上記参照マーカは局所組織分析に対応する位置に表示され、関連付けた診断用データと組織分析の両方または一方を、所定の参照マーカを選択することで閲覧できる。
これにより、一態様では、局所組織の診断用測定を組織分析の保管データと相関させるコンピュータ実装方法が提供される。本方法では、患者に対して行う1つ以上の局所組織の診断用測定と関連付けた局所組織の診断用データを取得し、1つ以上の従前の局所組織分析に関連付けた局所組織診断用保管データと組織分析データにアクセスし、予め選択した類似性判定基準にしたがって、前記1つ以上の局所組織の診断用測定と関連付けた前記局所組織の診断用データと、前記1つ以上の従前の局所組織分析と関連付けた前記局所組織診断用保管データを比較し、前記予め選択した類似性判定基準を満たす局所組織の診断用保管データを有する1つ以上の類似する従前の局所組織分析を特定し、前記1つ以上の類似する従前の局所組織分析と関連付けた組織分析データを提供する。
別の態様では、局所組織の診断用測定を組織分析の保管データと相関させるためのシステムが提供される。本システムは、1つ以上のプロセッサと、前記1つ以上のプロセッサに接続され、各指示を保存するメモリとを有する制御処理システムを備え、前記指示が前記1つ以上のプロセッサにより実行されると、患者に対して行う1つ以上の局所組織の診断用測定と関連付けた局所組織の診断用データを取得し、1つ以上の従前の局所組織分析に関連付けた局所組織診断用保管データと組織分析データにアクセスし、予め選択した類似性判定基準にしたがって、前記1つ以上の局所組織の診断用測定と関連付けた前記局所組織の診断用データと、前記1つ以上の従前の局所組織分析と関連付けた前記局所組織診断用保管データを比較し、前記予め選択した類似性判定基準を満たす局所組織の診断用保管データを有する1つ以上の類似する従前の局所組織分析を特定し、前記1つ以上の類似する従前の局所組織分析と関連付けた組織分析データを提供する各処理を含む動作を、前記1つ以上のプロセッサに行わせるよう構成される。
別の態様では、組織分析情報をユーザーインターフェースに表示するコンピュータ実装方法が提供される。本方法では、患者の少なくとも一部位の医用画像を取得して前記医用画像を前記ユーザーインターフェースに表示し、前記患者に対して行う1つ以上の局所組織分析に対応する局所組織情報を取得し、各局所組織分析に対応する位置を特定する位置データであって、前記医用画像に空間的に位置合わせされる位置データを取得し、各々が前記局所組織分析の1つと関連付けられた1つ以上の参照マーカを、該関連付けた局所組織分析を行った位置で前記医用画像に表示し、被選択局所組織分析と関連付けた被選択参照マーカを特定した操作者による入力を受け付けることで被選択局所組織情報を特定し、前記被選択局所組織分析と関連付けた前記被選択局所組織情報の少なくとも一部を提示する。
別の態様では、組織分析情報をユーザーインターフェースに表示するシステムが提供される。本システムは表示装置にインターフェース接続され、1つ以上のプロセッサと、前記1つ以上のプロセッサに接続され、各指示を保存するメモリとを有する制御処理システムを備え、前記指示が前記1つ以上のプロセッサにより実行されると、患者の少なくとも一部位の医用画像を取得して前記ユーザーインターフェースに前記医用画像を表示し、前記患者に対して行う1つ以上の局所組織分析と対応する局所組織情報を取得し、各局所組織分析に対応する位置を特定する位置データであって、前記医用画像に空間的に位置合わせされる位置データを取得し、各々が前記局所組織分析の1つと関連付けられた1つ以上の参照マーカを、該関連付けた局所組織分析を行った位置で前記医用画像に表示し、1つの被選択局所組織分析と関連付けた1つの被選択参照マーカを特定した操作者による入力を受け付けることで被選択局所組織情報を特定し、前記被選択局所組織分析と関連付けた前記被選択局所組織情報の少なくとも一部を提示する各処理を含む動作を、前記1つ以上のプロセッサに行わせるよう構成される。
別の態様では、術前の組織分析データを、1つ以上の従前の医療処置による組織分析の保管データと相関させるコンピュータ実装方法が提供される。本方法では、患者と関連付けた術前の組織分析データを取得し、1つ以上の従前の医療処置と関連付けた組織分析の保管データにアクセスし、前記1つ以上の従前の医療処置中に記録した時間依存性医療処置データにアクセスし、予め選択した類似性判定基準にしたがって、前記術前の組織分析データと、前記1つ以上の従前の医療処置に関連付けた前記組織分析の保管データを比較し、前記予め選択した類似性判定基準を満たす組織分析の保管データを有する1つ以上の類似する従前の医療処置を特定し、前記1つ以上の類似する従前の医療処置に関連付けた前記時間依存性医療処置データを処理することで、前記医療処置の少なくとも一部を再生する。
別の態様では、術前の組織分析データを、1つ以上の従前の医療処置による組織分析の保管データと相関させるシステムが提供される。本システムは、1つ以上のプロセッサと、前記1つ以上のプロセッサに接続され、各指示を保存するメモリとを有する制御処理システムを備え、前記指示が前記1つ以上のプロセッサにより実行されると、患者と関連付けた術前の組織分析データを取得し、1つ以上の従前の医療処置と関連付けた組織分析の保管データにアクセスし、前記1つ以上の従前の医療処置中に記録した時間依存性医療処置データにアクセスし、予め選択した類似性判定基準にしたがって、前記術前の組織分析データと、前記1つ以上の従前の医療処置に関連付けた前記組織分析の保管データを比較し、前記予め選択した類似性判定基準を満たす組織分析の保管データを有する1つ以上の類似する従前の医療処置を特定し、前記1つ以上の類似する従前の医療処置に関連付けた前記時間依存性医療処置データを処理することで、前記医療処置の少なくとも一部を再生する各処理を含む動作を、前記1つ以上のプロセッサに行わせるよう構成される。
別の態様では、1つ以上の従前の医療処置による手術計画の保管データに基づいて、手術計画の1つ以上のステップを提案するコンピュータ実装方法が提供される。本方法では、患者に関連付けた組織分析データを取得し、1つ以上の従前の医療処置に関連付けた組織分析の保管データにアクセスし、前記1つ以上の従前の医療処置に関連付けた手術計画データにアクセスし、予め選択した類似性判定基準にしたがって、前記1つ以上の従前の医療処置に関連付けた前記組織分析の保管データと前記組織同定データを比較し、前記予め選択した類似性判定基準を満たす組織分析の保管データを有する1つ以上の類似する従前の医療処置を特定し、前記1つ以上の類似の従前の医療処置に関連付けた前記手術計画データを処理することで提案手術計画の1つ以上のステップを作成し、前記提案手術計画の1つ以上のステップを通知する。
別の態様では、1つ以上の従前の医療処置による手術計画の保管データに基づいて、手術計画の1つ以上のステップを提案するシステムが提供される。本システムは、1つ以上のプロセッサと、前記1つ以上のプロセッサに接続され、各指示を保存するメモリを有する制御処理システムを備え、前記指示が前記1つ以上のプロセッサにより実行されると、患者に関連付けた組織分析データを取得し、1つ以上の従前の医療処置に関連付けた組織分析の保管データにアクセスし、前記1つ以上の従前の医療処置に関連付けた手術計画データにアクセスし、予め選択した類似性判定基準にしたがって、前記1つ以上の従前の医療処置に関連付けた前記組織分析の保管データと前記組織同定データを比較し、前記予め選択した類似性判定基準を満たす組織分析の保管データを有する1つ以上の類似する従前の医療処置を特定し、前記1つ以上の類似の従前の医療処置に関連付けた前記手術計画データを処理して、提案手術計画の1つ以上のステップを作成し、前記提案手術計画の1つ以上のステップを通知する各処理を含む動作を、前記1つ以上のプロセッサに行わせるよう構成される。
別の態様では、術前の手術計画を、1つ以上の従前の医療処置による手術計画の保管データと相関させるコンピュータ実装方法が提供される。本方法では、患者に行う医療処置に関連付けた術前の手術計画データを取得し、1つ以上の従前の医療処置に関連付けた結果データにアクセスし、前記1つ以上の従前の医療処置中に用いた手術計画の保管データにアクセスし、予め選択した類似性判定基準にしたがって、前記術前の手術計画データと、前記1つ以上の従前の医療処置に関連付けた前記手術計画の保管データを比較し、前記予め選択した類似性判定基準を満たす手術計画の保管データを有する1つ以上の類似する従前の医療処置を特定し、前記1つ以上の類似する従前の医療処置に関連付けた結果データを提供する。
別の態様では、術前の手術計画を、1つ以上の従前の医療処置による手術計画の保管データと相関させるシステムが提供される。本システムは、1つ以上のプロセッサと、前記1つ以上のプロセッサに接続され、各指示を保存するメモリとを有する制御処理システムを備え、前記指示が前記1つ以上のプロセッサにより実行されると、患者に対して行う医療処置に関連付けた術前の手術計画データを取得し、1つ以上の従前の医療処置に関連付けた結果データにアクセスし、前記1つ以上の従前の医療処置中に用いた手術計画の保管データにアクセスし、予め選択した類似性判定基準にしたがって、前記術前の手術計画データと、前記1つ以上の従前の医療処置に関連付けた前記手術計画の保管データを比較し、前記予め選択した類似性判定基準を満たす手術計画の保管データを有する1つ以上の類似する従前の医療処置を特定し、前記1つ以上の類似する従前の医療処置に関連付けた結果データを提供する各処理を含む動作を、前記1つ以上のプロセッサに行わせるよう構成される。
また、患者に組織切除処置を行いながら組織分析を行う方法が提供される。この方法では、組織切除処置中に、空間追跡局所組織分析装置を用いて、複数の局所組織分析の内、異なる局所組織分析が前記組織切除処置中に露出した異なる組織位置に対応するように、前記複数の局所組織分析を行い、前記空間追跡局所組織分析装置に関連付けた追跡データを用いて、各局所組織分析に対応する前記位置データを前記患者の医用画像に空間的に位置合わせした参照フレームにおいて特定し、各局所組織分析による局所組織の診断用データをその対応する位置データに関連付けて記録し、前記局所組織の診断用データを前記位置データと相関させることで、前記切除組織の空間プロフィールを構築する。
別の態様では、患者に組織切除処置を行いながら術中組織分析を行う方法が提供される。本方法では、組織切除処置中に、腫瘍の生検サンプルに局所的生体外診断用測定を行うことで、腫瘍組織と関連付けた参照測定を取得し、後続する組織切除中に、露出組織に局所的生体内診断用測定を断続的に行い、前記参照測定を各生体内測定と比較することで、前記露出組織に腫瘍組織が存在するか否かを判定する。
本発明の機能的かつ有用な各態様は、以下の詳細な説明と図面によってさらに理解が深まるであろう。
添付図面を参照して、例示としての各実施形態を以下に説明する。
低侵襲性アクセスポート型外科手術を支援するナビゲーションシステムの一例を示す図である。 画像誘導ポート型医療処置を行うためのシステムの各構成部を示す図である。 アクセスポートが挿入され、脳内の組織にアクセスするための開放導管が設けられたヒトの脳を示す図である。 ナビゲーションシステムを用いたポート型外科処置で行う処理ステップを示すフローチャートである。 患者を術中参照フレームへ位置合わせする処理ステップを示すフローチャートである。 本開示の各種方法を実現するためのコンピュータ制御システムの実装例を示す図である。 腫瘍が存在する脳の軸方向図である。 組織分析対応位置に参照マーカが表示される領域画像のユーザーインターフェースの一例を示すである。 組織分析対応位置に参照マーカが表示される領域画像のユーザーインターフェースの一例を示すである。 組織分析対応位置に参照マーカが表示される領域画像のユーザーインターフェースの一例を示すである。 位置別ハイパーリンク化組織分析情報をユーザーインターフェースに表示する方法の一例を示す図である。 組織分析データベースを検索することで特定される組織分析情報のユーザーインターフェースへの選択的表示を示す図である。 組織分析データベースを検索することで特定される組織分析情報のユーザーインターフェースへの選択的表示を示す図である。 患者治療の4つの側面を含む一実施形態を示す図である。 組織分析データベースに保存した局所組織診断用保管データと局所診断用データとの間の類似性分析を行うことで、類似する従前の組織分析を特定する方法の一例を示すフローチャートである。 医療処置中に用いる好適な診断様式を選択する方法の一例を示すフローチャートである。 分光測定に基づく異なる組織領域間の類似性を判定する方法の一例を示すフローチャートである。 提案医療処置に類似する手術計画を有する従前の医療処置に関連付けた結果データを取得する方法の一例を示すフローチャートである。 保管データセットの検索に採用可能な検索アルゴリズムを例示する図である。 保管データセットの検索に採用可能な検索アルゴリズムを例示する図である。 領域画像、ポイント画像、病理データを、1人の患者における画像と病理結果のリンク付け、および複数の患者間におけるリンク付けに具体的に利用する一実施形態を示す図である。 術前の画像、病態、点源画像データを、治療と手術計画に向けた方針決定促進に具体的に利用する一実施形態を示す図である。 術前の画像を、組織の差別化および治療に向けた方針決定促進に具体的に利用する一実施形態を示す図である。 アクセスポートを介して観察した組織を示す図である。 アクセスポートを介して観察した組織を示す図である。 アクセスポートを介して組織の島を調べるプローブを示す図である。 多数の組織メトリクスを、どのように着目組織の特徴付けに利用するかを示す図である。 術後の画像を予想結果に具体的に利用する一実施形態を示す図である。
本発明の多種多様な実施形態および態様について、以下に詳細に説明する。下記の説明および図面は本開示内容の例示であり、本発明を限定すると解釈されるべきではない。数々の詳細な説明は、本発明の各実施形態への理解を助長するためのものである。一部の例示では、周知または従来の技術内容は省略し、本発明の実施形態を簡潔に論じている。
本明細書に記載する「備える」「含む」「有する」といった表現は、包括的であり、何ら制限を加えるものではなく、また排他的な表現として用いていない。詳しくは、本明細書および請求項で用いられる「備える」「含む」「有する」およびこれらの変化形は、そこで特定した特徴、ステップ、または構成要素を包含することを意味する。これらの表現は、それ以外の特徴、ステップ、または構成要素を排除すると解釈されるべきではない。
本明細書に記載する「一例」「例示」「例えば」「等」といった表現は、本明細書に記載した他の構成よりも好ましい、または、有用であると解釈されるべきではない。
本明細書に記載する「約」」「略」「ほぼ」といった表現は、例えば、特性、パラメータ、寸法等における当該数値範囲の上限および下限内の数値を含む。一例では、「約」」「略」「ほぼ」といった表現は、10%以下のプラス・マイナスを意味するが、これに限定されない。
別途指摘しない限り、本明細書に記載する技術用語および科学用語はすべて、当業者が通常理解する意味で用いている。例えば、文脈内で別途指摘しない限り、本明細書に記載する以下の用語は、以下に説明する意味で用いている。
本明細書に記載する「医療器材」は、医療処置中に用いる器具、部材、または他の器具を指す。医療器材は様々な形態で用いられ、例えば、手持ち型器具またはロボット操作で配置する器具、外科手術または医療処置中に患者に取り付ける、または、挿入する部品であるが、これらに限定されない。医療器材は、例えば、メス、両極式装置、吸引装置、切除・切開装置、固定装置、アクセスポート、鉗子であるが、これらに限定されない。
本明細書に記載する「操作者」はユーザ、医師、外科医、撮像技術者、または、医療器材、装置、機器の操作に関わる個人または一群の個人を指す。
本明細書に記載する「追跡システム」は、例えば、被施術者および/または外科器具の位置等、1つ(1人)以上の患者の位置および/または方向を追跡するよう構成されるシステムを指す。いくつかの実施形態では、追跡システムは、撮像装置(光学カメラ等)の位置および/または方向を追跡するよう構成される。また、追跡システムは、アクセスポイントや1つ(1人)以上の患者に取り付けるまたは挿入する部品の位置および/または方向を追跡するよう構成してもよい。一例では、追跡システムは、1対の赤外線カメラを用いて、1つ(1人)以上の患者に取り付けるまたは挿入するNDI社(Northern Digital Inc.)のPolaris(登録商標)System等のアクティブまたはパッシブ赤外線球状体(基準点)の位置と方向を追跡してもよい。
本明細書に記載する「ナビゲーションシステム」は、術前の画像データを処理し、術中の参照フレームに空間的に位置合わせし、上記術前画像データに対する1つ以上の追跡項目の位置と方向を表示するシステムを指す。上記項目を追跡するため、ナビゲーションシステムは追跡システムにインターフェース接続されてもよく、または、追跡システムを備えてもよい。いくつかの実装例では、ナビゲーションシステムと関連付けたハードウェアに、コンピュータシステムと、表示器と、追跡システムとを設けてもよい。
本明細書に記載する「医療処置の段階」は、ある医療処置の内の所定の一のステップ、または、一連のステップを指す。別の例では、医療処置の段階は、医療処置内の所定の一のステップ、または、一連のステップに特定される必要はなく、医療処置内の所定の一のステップ中の特定の器具または器具セットの使用に関する場合もある。
本明細書に記載する「術中」は、医療処置の少なくとも一部において発生する、または実行される行為、処理、方法、事象、または、ステップを指す。本明細書での「術中」の定義は、外科処置に限定されず、診断や治療上の処置等、外科処置以外の医療処置を指す場合もある。
本明細書に記載する「アクセスポート」は、体内組織、臓器、または他の生体成分にアクセスするために患者に挿管するカニューレ、導管、シース、ポート、チューブ、または他の構造物を指す。いくつかの実施形態では、アクセスポートは体内組織を、例えば、その遠位端の開口および/または全長の中間位置の開口を介して直接露出させる。他の実施形態では、アクセスポートによって、1つ以上の透明または一部透明な表面を介して1つ以上のエネルギー体または放射体に間接的にアクセスさせる。エネルギー体や放射体は、例えば、電磁波や音波等であるが、これらに限定されない。
本明細書に記載する「局所組織分析」は、治療処置中、または、随意に治療処置後の組織の局所分析のために行う行為または上記局所分析に伴う事象を指す。一例において、局所組織分析では、治療処置中に生検サンプルを採取し、術中または術後に上記生検サンプルを分析する。別の例において、局所組織分析では、局所領域(例えば、医用画像に関連付けた領域のサブセット、または、患者の体内組織領域のサブセット)の診断用測定を伴い得る。診断用測定を含む局所組織分析は、当然のことながら、1つ以上の部位または点測定(随意に、複数の局所部位または点測定を組み合わせて画像を構成する)、または局所組織領域の画像を得るために行い得る。
本明細書に記載する「組織分析データ」は、局所組織分析を行った後得られるデータを指す。例えば、術後分析を伴う生検として局所組織分析を行う場合、組織分析データは、生検サンプルの分析の際に得られる測定(例えば、細胞の形態、細胞の種類、顕微画像等)であり得る。局所組織分析を、局所診断用画像を得るために行う場合、組織分析データには、局所画像データが含まれ得る。局所診断用画像は、例えば、白色光画像、ハイパースペクトル画像、偏光感受性画像、光コヒーレンス断層画像、超音波画像、磁気共鳴画像等の診断用画像であるが、これらに限定されない。また、別の例では、局所組織分析を着目領域内の部位または点測定の取得に用いる場合、上記局所組織分析データはラマンスペクトルまたは光学スペクトル等のスペクトルであり得るが、これらに限定されない。
本明細書に記載する「局所」は、診断用測定に関連して用いる場合、着目領域の組織またはこの組織の近傍で取得した診断用測定を指す。例えば、局所の診断用測定は、ラマンプローブ等の局所診断に用いる非画像装置、または、エキソスコープや磁気共鳴画像プローブ等の局所診断画像装置を用いて行う。局所の診断用測定には位置が関連付けられており、この位置は、患者の領域画像または全体画像に表示される。また、診断用画像に関連して用いる「領域(の)」は、着目組織領域と周囲の組織構造の両方を含む画像を指す。
本明細書に記載する「診断用データ」は、例えば、腫瘍の種類または病期等、病状の診断に関連付けたデータまたは情報を指す。診断用データは、病理データに基に作成される、または、病理データを含むものである。
本明細書に記載する「病理データ」は、組織サンプルの病理検査に関連付けた情報を指し、病理データには病理報告が含まれ得る。別の例では、病理データは、腫瘍の種類、腫瘍の病期、腫瘍の大きさ、および腫瘍細胞情報等、局所組織分析から特定される1つ以上の病理上の組織種に関連付けた情報を指すが、上記情報はこれらに限定されない。
本明細書に記載する「患者」は、ヒトまたはヒト以外の患者、または、患者を指す。
本発明のいくつかの実施形態では、画像と組織分析の統合を行う方法およびシステムが開示される。いくつかの実施形態では、領域画像および局所画像、組織生検または局所分析を組み合わせ、医療処置中または医療処置後の方針決定や治療の選択を通知し得る。以下に説明するいくつかの実施形態では、例えば、類似する局所組織分析データ、類似する病理データおよび/または類似する手術計画を有する従前の医療処置に基づいて、術前および術後の計画を統合かつ更新するためのシステムおよび方法が提供される。
以下に説明するいくつかの実施形態では、局所組織分析(例えば、生検または生体内測定)に関連付けた3次元位置(各患者間または患者内)を、術前または術後の画像および/または従前の結果(例えば、患者の結果および/または経済的結果)等の従前の組織分析に関連付けた情報、保管した組織分析および/または病理データ(患者情報を有する電子データベースに保存可能)に関連付けるシステムおよび方法が提供される。さらに、いくつかの実施形態では、以前の医療処置中に記録した情報を用いて、医療処置の実行や計画に役立てることができる。
本発明における各例および図示の多くが、脳腫瘍の切除等の処置を含む、低侵襲性神経系治療に関するものであるが、本発明の範囲は、以下に詳述するように、広範囲に渡る様々な医療処置を包含し、また、それら医療処置に適用することを意図していることは言うまでもない。
(画像誘導医療処置を行うための低侵襲性システムの一例)
図1と図2は、本発明の各種実施形態を実現するための自動化システムの一例を示す図である。このシステムは、アクセスポートを介したコンピュータ支援型低侵襲性の神経外科処置に関するシステムであるが、これに限定されない。図1は、低侵襲性アクセスポート型外科処置を示す斜視図である。執刀医101は、患者102に対して、手術室(OR)内で低侵襲性アクセスポート型外科手術を行う。機器タワー、カメラ、表示器、及び追跡各器材を備える自動化システムは、医療処置中、執刀医101を支援する。1人以上の操作者103も手術に立ち会い、該システムの1つ以上の局面に対して、操作、制御、支援を行う。
図2は、アクセスポートを用いて医療処置を支援する自動化システムの各構成部位を例示する。このシステムは、1つ以上の画像装置(例えば、体積測定型、全臓器型、領域型、ポイント型、ツール使用型)、外科手順指導装置、ソフトウェアシステム、データベース、組織検体取扱い装置、追跡患者の医療器材(例えば、外科器具)を備える、統合型システムである。以下の各実施形態で説明するように、このシステムは、患者上または患者内の3次元位置を病理サンプル、従前または術後画像(体積測定、領域、ポイント、ツール使用)、患者の結果と経済的結果、および、患者情報の電子データベースと相関させるよう構成可能である。
この自動化システムは、光ビデオスコープ110(とその照明)を支援する自動ロボットアーム105と、光ビデオスコープ110からのビデオ画像を表示する映像表示器115と、ナビゲーション用ユーザーインターフェースを提供するナビゲーション表示器116と、手術野における各種医療器材を追跡する追跡装置120と、各種装置(ロボットアーム105等)を制御し、外科手術ナビゲーションを提供する制御処理部400とを、備える。第2の表示器を設けて、追跡装置120の出力を表示してもよい。この場合の出力は、多角的表示の一部として、軸方向の矢状および冠状断像で表示してもよい。
本実施形態の図示では、制御処理部400を単一タワー構成の機器タワーに収容し、2台の表示器115と116に接続しているが、当然のことながら他の構成も採用可能である(例えば、2台のタワーおよび/または1つの表示器で構成する)。さらに機器タワーは、通常のACアダプタ電源に加えて、ユニバーサル電源(UPS:universal power supply)も設けられ、通常のACアダプタによる電源供給に加えて、緊急時の電源供給に対応するよう構成してもよい。
以下に詳述するように、いくつかの実施形態では、制御処理部400は、医療処置の1つ以上の局面をリアルタイムに記録する1つ以上の記録装置またはソフトウェアモジュールを備える、または、これらとインターフェース接続されてもよい。例えば、本システムを、異種源からの各種入力、例えば、1つ以上の音声、映像、知覚、多様式(例えば、CT、MR、US等)データを取得するよう構成されてもよい。関連データはすべて、1つ以上の記録装置(例えば、機器タワーに収容した記録装置)で受信され、記録モジュールによってメモリに保存されてもよい。医療処置の1つ以上の局面が、処置が開始した時点から自動的に記録されてもよい。または、これらデータは操作者と管理者の両者または一方によって制御されてもよい。他の実施形態では、処置は自動的に記録され得るが(デフォルト)、医療処置中、または、医療処置が完了した後、記録を上書きまたは削除する選択肢もあり得る。
図2を参照して、患者の頭部は、頭部ホルダー125で所定位置に保持され、アクセスポート130と導入器125(基準点マーカが取り付けられている)をこの頭部に挿入する。図示では、導入器135をアクセスポート130内で受け、追跡システム120を用いて追跡する。また、アクセスポート130を保持するための案内クランプ133が設けられてもよい。案内クランプ133は、患者からアクセスポートを除去する必要なく、アクセスポート130に対して随意に取付け・取り外しが可能である。いくつかの実施形態では、アクセスポート130は、閉位置にある間はクランプ133内を上下に摺動可能である。固定機構を案内クランプ133に取り付けるか一体形成してもよく、こうすれば、以下に説明するように、片手で随意に作動可能である。
関節アーム134に取付けポイントを設けて、案内クランプ133を保持し得る。関節アーム134は6段階の自由度に構成され、これにより案内クランプ133の位置決めを行い得る。関節アーム134は、患者の頭部ホルダー125または他の好適な支持部材に基づくポイントに取り付けられる、または、取付け可能である。これにより、所定位置に固定されると、案内クランプ133は頭部に対する相対移動が不可能となる。案内クランプ133と関節アーム134との間のインターフェースは可撓性をもたせるか、随意に固定されてもよい。アクセスポートが脳内の各位置を移動可能およびさらに固定点回りに回転可能とするために、可撓性を付与することが望ましい。
この機能を実現可能な連係部材の一例は、細長い棒状である。アクセスポート130が様々な位置に動くと、この棒状部材は、生じる屈曲に抗して、アクセスポート130を中央位置に戻す。さらに、任意のカラーを、装着した連係部材が剛直となるように、関節アームとアクセスポート案内部との間で連係部材に取り付けてもよい。従来、アクセスポート130をこのように位置決め可能な機構は存在しない。
患者の位置は最初に特定してもよく、または、追跡システム120によって、手術中に継続して追跡してもよい。またはこの両方を行ってもよい。着目する組織や体内構造に関連する術前画像セットを、外科手術前に取得してもよい。これらの画像は、例えば、表面マッチング、既知の各タッチポイントセット(例えば、鼻先、側頭部、耳)、および/または患者と関連画像で特定可能な基準点マーキングを介して、手術中に患者に対して位置合わせされる。これらのポイントや表面は、所定の位置合わせ処理により、追跡座標フレームに位置合わせされる。一旦位置合わせされると、医療器材と患者の関連画像はリアルタイムに追跡可能であり、コンピュータのモニタに種々の形態で表示される。
図2に示す自動化システムは、アクセスポートを用いて頭部内に導管を導入することで、外科処置、治療、診断を目的として脳内組織へのアクセスを可能とする、低侵襲性脳外科手術に適用するよう構成されている。この図には、腫瘍等の体内組織の病態にアクセスするために、神経系処置に採用可能な頭蓋内アクセスポートが示されている。頭蓋内アクセスポートの一例は、NICO社の外科用アクセスポート、BrainPath(商標)である。この製品は、閉塞具(導入器)を介して、非外傷性チップを用いて脳内に挿入される。こうしたアクセスポートは外科処置中に使用可能であり、アクセスポートを、アクセスポートに受けた閉塞具を介して挿入して、体内の外科処置患者部位にアクセスする。
図3は、アクセスポートの使用を示す図であり、アクセスポート130が挿入され、脳内深部の組織にアクセス可能とする開放性導管を設けたヒトの脳140を示している。外科用器材をアクセスポートの内腔内に挿入し、必要に応じて、腫瘍切除等の外科、診断、または治療処置を行い得る。これにより、執刀医または自動外科システムは腫瘍切除を伴う外科処置を行うことが可能になる。また、この処置では、術後の残存腫瘍を最小限度に抑え、脳内の正常な灰白質や白質に対する外傷も最小限に抑えられる。この種の処置では、例えば、アクセスポートとの接触、脳内物質へのストレス、意図しない外科器具による衝撃、および/または、健全な組織の切除といった外傷を引き起こすことがある。例えば、アクセスポートによる処置は、ヒトの体内へアクセスする際、アクセスポートや小開孔の使用が有効なすべての体内組織領域、例えば、脊椎、膝、その他の部位への外科介入にも用いることができるが、これらに限られない。
図2を参照して、アクセスポート130を脳内へ導入するために、非外傷性チップを備える導入器135をアクセスポート内に位置決め、アクセス部の頭部への配置に用いる。上述したように、導入器135(またはアクセスポート130)は、追跡用基準点を有し、これらの基準点はパッシブまたはアクティブな基準点であり得る。例を挙げると、光学カメラを介したパッシブ赤外線探知用反射球状体や、電磁波追跡システムの場合はピックアップコイル等である。これらの基準点は追跡システム120によって検出され、その各位置は追跡ソフトウェア(追跡システム120に収容または制御処理部400内に収容され得る)によって推定される。
アクセスポート130が一旦脳内に挿入されると、導入器135は取り外され、アクセスポート130の中央開口を介して組織へのアクセスが可能になる。しかし、導入器135を取り外すと、アクセスポート130をリアルタイムに直接追跡することはできなくなる(基準点マーカが取り付けられていないアクセスポート130を示す図2の例)。アクセスポート130の位置と方向は、追跡システム120によって検出可能な基準点を有するポインターによって、間接的かつ断続的に追跡可能である。
図1および図2で説明したシステムは神経外科処置に関するが、本明細書に開示するシステムおよび方法は、当然のことながら、神経外科処置やポート使用型処置に限定されるものではなく、広範囲に渡る様々な医療処置に利用可能である。例を挙げると、整形外科、外傷、胃部、心臓、婦人科疾患、腹部、耳鼻科(または、ENT−耳、鼻、喉の状態)、脊椎、胸部、口腔、顎顔面、泌尿器、歯科、他の外科、診断、治療に向けた医療処置が含まれる。さらに、本明細書に開示する実施形態の多くでは、外部ビデオスコープ等による外部画像を用いているが、内視鏡やカテーテルによる撮像装置等の様々な内部画像装置を、これらに加えて、または、これらの代わりに使用可能であることは言うまでもない。さらに、本発明の実施形態は、遠隔システムまたは共用制御システムを用いる処置にも採用・構成可能である。
以下に説明する実施形態の多くでは、追跡患者の各医療器材は、基準点マーカ(例えば、反射球状体や装置上の少なくとも3点からのアクティブLED照明等のパッシブまたはアクティブ基準点マーカ)が取り付けられており、これにより、器材の位置と方向を特定することができる。一実装例では、基準点マーカを用いて、医療器材上の基準位置(中心点等)および医療器材の軸(器具の縦軸等)を特定してもよい。
(アクセスポート型医療処置の実行方法の各例)
図4Aは、ナビゲーションシステムを用いるポート型外科処置の一例における処理行程を示すフローチャートである。第1のステップでは、ポート型手術計画をインポートする(ステップ302)。手術計画を作成および選択する処理については、米国仮出願第61/800,155号と第61/924,993号に対する優先権を主張する、米国特許出願に基づく米国特許公開公報に開示された「低侵襲性治療の計画立案、ナビゲーション、およびシミュレーションのためのシステムおよび方法」に詳細に説明されており、これら米国仮出願の全内容がここに参照として援用される。
上記文献に開示されているように、手術計画の一例には、入力内容(例えば、脳溝進入ポイント、目標位置、外科療結果の判定基準、追加3次元画像データ情報)に重畳した術前3次元画像データ(例えば、MRI、超音波等)が含まれ、提起した外科経路に対する計算スコアに基づいて1つ以上の軌跡経路を表示する。本実施形態は、単に計画の一例を示すのみであり、本発明の範囲から逸脱することなく、これ以外の手術計画および/または外科方法を採用可能である。
ステップ302において、計画がナビゲーションシステムにインポートされると、患者は、頭部または体躯保持機構を用いて所定位置に固定される。ステップ304に示すように、頭部の位置は、ナビゲーションソフトウェアを用いて、患者計画により確認する。
ステップ306において、患者の位置合わせを開始する。この「位置合わせ」または「画像位置合わせ」とは、データの複数セットを共通の座標システムに変換する処理を指す。位置合わせデータは、多数の画像、各センサからのデータ、時間、深さ、または、視点の形態で提供される。本発明では、位置合わせ処理は、異なる撮像様式からの画像が同時に位置合わせされる医用画像の撮像を目的として行われる。
数多くの利用可能な位置合わせ技術があり、これらの1つ以上を本発明の実施形態により用いることができる。位置合わせ方法には、相関メトリクスを介して画像内の強度パターンを比較する強度型方法や、ポイント、線、輪郭等、画像の特徴間の対応を見出す特徴型方法が含まれるが、これらに限定されない。また、画像位置合わせアルゴリズムもまた、目標画像スペースを参照画像スペースに関連付けるために使用する変換モデルにしたがって類別される。また、別の類別としては、単一様式法と多様式法がある。単一様式法は、主に、同じ型のスキャナ/センサで得た同じ様式の画像を位置合わせし、例えば、一連のCT画像を同時に位置合わせ可能である。一方、多様式位置合わせ法は、例えば、MRIやPET等、異なるスキャナ/センサまたはパルス系列で得た画像の位置合わせに用いる。多様式位置合わせ法は、患者の画像を異なるスキャナから取得することが多いため、頭部/脳の医用画像の撮像に頻繁に用いられる。例えば、腫瘍位置特定のために脳のMRI/CT画像またはPET/CT画を位置合わせする。また、コントラスト非協調CT画像に対するコントラスト強調CT画像や、超音波およびCTを位置合わせする。
図4Bは、図4Aに概要を示す位置合わせのさらなる処理ステップを示すフローチャートである。一実装例による本方法では、符号340に示す基準タッチポイントを採用し得る。このような場合、処理内容として、まず、ステップ342において、画像上で基準点を特定し、次に、追跡器材でタッチポイントに接触する(ステップ344)し、続いて、ナビゲーションシステムによって、参照マーカへの位置合わせを演算する(ステップ346)。
別の実装例では、符号350で示すように、表面スキャン手順により位置合わせが行われ得る。第1のステップでは、3次元スキャナを用いて体の一部位(例えば、顔)をスキャン(ステップ352)し、次いで顔面をMR/CTデータから抽出する(ステップ354)。最後に、各表面をマッチングし、位置合わせデータポイントを特定する。基準タッチポイント340または表面スキャン350が完了すると、ステップ308に示すように、抽出されたデータは演算され、位置合わせ確認に用いられる。
別の実装例では、喪失した位置合わせの復元が行われる。例えば、医療処置の間、手持ち式の医療器材を追跡システムで追跡し、該器材の位置と方向を表したものを、撮像装置またはシステム(超音波、CT、MRI等)によって得た患者の体内組織構造の以前または現在の画像(3次元スキャン等)に重畳表示し得る。
こうした画像の重畳を行うには、追跡システムの座標フレームと、患者の空間内の物理的位置と、患者の対応画像の座標フレームとの間に位置合わせ処理を行う必要がある。この位置合わせは、通常は、患者の着目組織構造に固定配置する追跡参照マーカに対して行われる。これにより、体内組織構造に対する固定的参照として用いることができる。この位置合わせは、通常、該参照を、それ自体が患者に強固に取り付けられている患者の不動フレーム(神経外科手術で頭蓋を固定するクランプ等)に付加することで行うことができる(例えば、図2参照)。
しかし、この参照は、例えば、アームを介してフレームに対して保持されるため、落としたり、うっかり動いたりすることがあり、位置合わせの喪失につながる。さらに、この参照マーカは、ナビゲーションハードウェアによって視認可能に配置する必要がある(通常、光学追跡または追跡システムの観察や通信には見通し線が求められる)。このため、参照の位置は、不測の事態や位置合わせの喪失につながりやすい開位置になりがちである。位置合わせの喪失が起こると、新たな位置合わせが完了するまで外科処置の停止を招くことが多い。だが、これもいつも可能というわけではなく、例えば、位置合わせ基準点、または、患者の肌表面は外科治療が進むと近づくことができず、すべての位置合わせのやりなし押し、場合によっては、それ以降の処置のナビゲーションが不可能となることもある。
図4Aを再度参照すると、ステップ308で一旦位置合わせが確認されると、患者にはドレープが行われる(ステップ310)。通常、ドレープは、患者とその周囲を滅菌バリアで覆うことであり、これにより、外科処置中の無菌手術野を確保・維持する。ドレープの目的は、非滅菌箇所と滅菌箇所間の微生物の移動を遮断するためである。ドレープが完了すると(ステップ310)、ステップ312で、患者の係合点を確認し、開頭術を準備して計画する(ステップ314)。
開頭術ステップの準備及び計画が完了すると(ステップ312)、開頭術を切断し、脳にアクセスするために骨弁が頭蓋から一時的に除去されることである(ステップ316)。ここで、位置合わせデータはナビゲーションシステムによって更新される(ステップ322)。
ステップ318で開頭内の係合及び動作範囲が確認される。このデータが確認されると、次に、係合点において硬膜を切開するステップに移り、脳溝を同定する(ステップ320)。ここでも、位置合わせデータはナビゲーションシステムによって更新される(ステップ322)。
一実施形態では、カメラの焦点を着目外科部位に合わせることで、当該領域への最適なマッチングが確実に得られるように位置合わせ更新が行うことができる一方、(着目)外科部位以外の部位に影響が及んでいる不均一組織は無視する。さらに、組織の重畳表示を着目組織の実際の観測とマッチングすることで、特定の組織表示をビデオ画像にマッチングすることができ、着目組織の確実な位置合わせにつながる。
例えば、一実装例では、ビデオ画像が提供される。このビデオ画像では、開頭した頭部表面(すなわち、露出した脳)のリアルタイムの術中光学画像に、術前(位置合わせ済み)の脳溝マップが重畳されており、術前の脳溝マップをリアルタイム術中画像で観察できる脳溝プロフィールに対して調整する入力操作により、位置合わせを訂正し得る。
別の実装例では、ビデオ画像が提供される。このビデオ画像では、開頭した頭部表面の血管のリアルタイム術中光学画像(すなわち、露出した脳)に、術前の血管画像(術中位置と同時位置合わせした術前画像データの画像分割で得られる)が重畳されており、術前の血管をリアルタイム術中画像で観察できる露出血管に対して調整する入力操作により、位置合わせを訂正し得る。
別の実装例では、ビデオ画像が提供される。このビデオ画像では、開頭術後の露出腫瘍(すなわち、露出した脳)のリアルタイム術中光学画像に、術前(位置合わせ済み)の該腫瘍画像(術前画像データの画像分割で得られる)が重畳されており、術前の腫瘍画像をリアルタイム術中画像で観察できる露出腫瘍に対して調整する入力操作により、位置合わせを訂正し得る。
別の実装例では、ビデオ画像が提供される。このビデオ画像では、鼻腔のリアルタイム術中光学画像に、術前(位置合わせ済み)の骨表面の骨描写画像(術前画像データの画像分割で得られる)が重畳されており、術前の骨の画像をリアルタイム術中画像で観察できる骨表面に対して調整する入力操作により、位置合わせを訂正し得る。
他の実施形態では、多数のカメラを1つまたは複数の器材の画像と重ね合わせて用いることが可能であり、データと重畳画像を多数同時に表示することができる。これにより、単に寸法や表示にとどまらない、それ以上の大きな位置合わせ・修正の信頼性向上を図ることができる。
その後、ステップ324に示すように、カニューレ挿管を開始する。カニューレ挿管では、軌跡計画に従い、通常、ステップ320で示すような脳溝経路に沿ってポートを脳に挿入する。カニューレ挿管は、上記軌跡計画が完了するまで(324)、係合においてポートを位置合わせして計画軌跡を設定するステップ(332)と、次いで目標深さまでカニューレを挿管するステップ(ステップ334)を行う反復処理である。
その後、執刀医は切除を行い(ステップ326)、脳の一部と着目腫瘍の両方または一方を摘出し、次いでポートとすべての追跡器材を脳から取り外して、抜管を行う(ステップ328)。最後に、執刀医は硬膜を閉じて、開頭術を終了する(ステップ330)。
(制御処理部の実装例)
図5にシステム構成例のブロック図を示す。このシステムは、制御処理部400と、以下に示すいくつかの外部構成部とを備える。
図5に示すように、一実施形態では、制御処理部400は、1つ以上のプロセッサ402と、メモリ404と、システムバス406と、1つ以上の入力/出力インターフェース408と、通信インターフェース410と、記憶装置412を備えている。記憶装置412は、治療処置に関連付けた情報を保存するために用いることができる。上記保存情報には、局所組織分析データ、手術計画データ、病理データ、および時間依存性医療処置記録データが含まれるが、これらに限定されない。
制御処理部400は他の外部機器とインターフェース接続されている。上記外部機器は、追跡システム120と、データ記憶部442と、例えば、1つ以上の表示器、キーボード、マウス、フットペダル、マイクロホン、スピーカ等を含む外部ユーザ入力/出力装置444を備える。データ記憶部442は、データベースが構築されたローカルまたは遠隔演算装置(例えば、コンピュータ、ハードドライブ、デジタル媒体装置、または、サーバ)等の好適なデータ記憶装置であってもよい。
図5に示す例では、データ記憶装置442には、従前の組織分析に関連付けた保管情報が保存されている。制御処理部400は、上記情報を処理して、以下に示す方法の1つ以上を行うようにプログラミングされている。図8の実装例に示すように、データ記憶装置442は、従前の組織分析に関する患者に関連付けた以下の情報を記憶している。病理データ450、結果データ451、局所組織分析の保管データ452、時間依存性医療処置記録データ454、計画データ456(例えば、局所組織分析を含む医療処置中に遂行される手術計画)および、上記従前の組織分析に関連付けた患者に関連する追加情報である。上記追加情報は、個体群統計情報、予後情報、既往歴、および/または、遺伝子情報を含むが、これらに限定されない。データ記憶装置442は図5に1つの装置として図示されているが、他の実施形態では、データ記憶装置442は複数の記憶装置として設けられる。
組織切除器(例えば、NICO社製造のミリアド組織切除装置)、生検装置、または、局所診断測定装置(例えば、ポイント型または画像型測定装置)等の医療器材460は、制御処理部400によって特定可能である。医療器材460は、制御処理部400に接続されても制御処理部400に制御されてもよい。あるいは、医療器材460は制御処理部400とは個別に操作する、または、別様に用いてもよい。追跡システム120を用いて医療器材460の1つ以上を追跡し、上記1つ以上の追跡医療器材を術中参照フレームに空間的に位置合わせし得る。
制御処理部400はまた、追跡システムにより追跡されるいくつかの設定可能な装置とインターフェース接続されている。図に示すように、これら装置420には、例えば、1つ以上の撮像装置422、1つ以上の照明装置424、ロボットアーム105、1つ以上の投影装置428、および、1つ以上の表示器115が含まれる。1つ以上の撮像装置422は、1つ以上の局所診断用測定装置(例えば、ポイント型または画像型)を備え得る。追跡システム120を用いて撮像装置422の1つ以上を追跡し、これらを術中参照フレームに空間的に位置合わせし得る。
本発明の各実施形態は、1つまたは複数のプロセッサ402および/またはメモリ404により遂行可能である。例えば、本明細書に記載する機能性は、1つ以上の処理エンジン470として、その一部がプロセッサ402のハードウェア論理を介して遂行され、また、一部がメモリ404に保存した指示を介して遂行可能である。処理エンジンには、例えば、ユーザーインターフェースエンジン472、追跡エンジン474、モータ制御器476、画像処理エンジン478、画像位置合わせエンジン480、処置計画エンジン482、ナビゲーションエンジン484が含まれるが、これらに限定されない。
以下に詳述するように、従前の組織分析関連情報の処理用に1つ以上の処理エンジンを設けてもよく、これらエンジンは、分析エンジン486として表す。例えば、いくつかの実施形態では、1つの分析エンジンを設けて、患者に対して行う1つ以上の局所組織分析間の類似性判定基準、および、データ記憶装置442に記憶させるか、または、外部ネットワーク等を介してアクセス可能な従前の局所組織分析を評価してもよい。上記方法の各例を、添付のフローチャートを参照して以下に説明する。以下に詳述するように、類似性判定基準には、患者に対して行う1つ以上の局所組織分析と1つ以上の従前の局所組織分析とに関連付けた1つ以上のメトリクスの評価が含まれ、上記従前の局所組織分析を、上記患者および/または他の患者群の既往歴に関連付け得る。
いくつかの実施形態では、処理エンジンは、局所診断用測定(例えば、ポイント測定または撮像測定)が可能な診断装置を空間的に位置合わせすることを目的として、以下に挙げる処理を行う方法の実現に用いる。各処理は、3次元位置および方向データを追跡し、生検用検体の位置を追跡して3次元位置および撮像情報を維持し、生検のタイミングに対する生検サンプル採取位置を記録し、医療処置中の外科器具と撮像装置の位置と作動を記録し、着目組織における辺縁境界を仮想的に特定かつ記録し、各領域を3次元画像に配置して病理情報を各領域に相関させ、1つ以上の組織メトリクスに基づいて組織を特徴付け、上記メトリクスを用いて従前組織分析データを格納するデータベースを検索し、変数重み付けメトリクス基づくアルゴリズムにより各結果のランク付けを行う。各方法と処理はあくまで例示であって、これらに限定されない。
言うまでもなく、本システムの構成部は図5に示すものに限定されない。1つ以上の制御処理部400を外部コンポーネントまたは装置として設けてもよい。別の実施形態では、ナビゲーションモジュール484を、制御処理部400と一体化した外部ナビゲーションシステムとして設けてもよい。
いくつかの実施形態は、メモリ404に格納した追加指示を用いることなく、プロセッサ402によって実現してもよい。いくつかの実施形態は、メモリ404に格納した指示を1つ以上の汎用マイクロプロセッサで実行することで実現してもよい。このように、本発明は、ハードウェア、ソフトウェアを問わず、特定の構成に限定されない。
いくつかの実施形態は、コンピュータやコンピュータシステムを十分に機能させることで実現されるが、各種実施形態は、様々な形態のコンピュータ製品として分散可能であり、また、分散の実現に用いる機器またはコンピュータ読取可能媒体の種類にとらわれることなく適用可能である。
開示した態様の少なくともいくつかは、少なくともその一部において、ソフトウェアで実現可能である。すなわち、各処理方法は、コンピュータシステムまたは他のデータ処理システムにおいて、例えばマイクロプロセッサ等のシステムが有するプロセッサに応じて実行可能であり、これにより、ROM、揮発性RAM、不揮発性メモリ、キャッシュ、またはリモートストレージ等の記憶装置に保存した一連の指示を実行することができる。
コンピュータ読取可能記憶媒体を用いてソフトウェアやデータを格納し、これらがデータ処理システムによって実行されると、該システムが各種方法を実施する。実行可能なソフトウェアやデータは、ROM、揮発性RAM、不揮発性メモリ、および/または、キャッシュを含む様々な媒体に格納可能である。このソフトウェアおよび/またはデータは、上述の記憶装置のいずれに格納してもよい。
(医療処置に関連づけた時間依存性情報の記録)
いくつかの実施形態では、医療処置中の1つ以上の事象を一時的かつ空間的に追跡することが可能であり、この情報はログ化できる。例えば、組織検体を採取した場合、採取時間を記録可能である。この採取時間は、ナビゲーションシステムにおいて追跡器具(光学的手法またはEM型追跡システムによる追跡)を用いることで、位置と相関させることができる。この位置情報は術中のMRIまたはCT(または、PET、SPECT)に対応する。病理情報(顕微鏡画像、局所画像)は、タイムスタンプと関連付けることで、その情報を好適なデータベースに格納可能である。該データベースは、患者別(同じ組織が異なる様式でどう映るかを観察)、疾患別(同じ疾患(病理確認済)が異なる様式でどう映るかを観察)、または、様式別(ある結果でどの疾患の可能性が提起されるか、すなわち、所定のラマンスペクトルが得られる可能性のある組織)で検索可能である。
処理中に用いるすべての器具の動きと位置を追跡することで、手術中の不備を特定することも可能である。不備とは、例えば、執刀医が特定の器具を用いる時間が極端に短い、あるいは極端に長い、特定のステップが本来の効率性を欠いている、といったことが挙げられる。この情報を外科医や病院管理者が用いることで、適切な外科手術時間を想定し、時間/日程調整の最適化を図ることができる。
図5に示すように、1つ以上の医療器材460と装置420を、追跡システム120を用いて追跡し得る。これら医療器材および/または装置は、例えば、基準点マーカを用いて追跡され得る。基準点マーカは、光学カメラを介したパッシブ赤外線探知用反射球状体や、例えば、電磁波追跡システムの場合は、ピックアップコイル等、パッシブまたはアクティブな基準点マーカであり得る。基準点は追跡システム120によって検出可能であり、その各位置は追跡ソフトウェア(追跡システム120か、例えば、制御処理部400内に設けられ得る)によって推定される。こうして追跡することで、医療器材および/または装置の位置と方向を特定かつ記録することができる。一実装例では、基準点マーカを用いて、医療器材または装置上の基準位置(中心点等)および医療器材または装置の軸(器具の縦軸等)を特定することができる。
いくつかの実施形態では、1つ以上の医療器材および/または装置に関連付けた追跡位置および方向のデータは、医療処置中に記録される。例えば、一実施形態では、1つ以上の医療器材または装置に関連付けた時間依存性位置および方向と、随意に他の状態情報または構成パラメータが記録される。記録される情報としては、例えば、先端のオフセット、先端の偏向、制御ボタンの状態、測定精度、追跡システムに対する視認性、位置合わせ基準として用いる器具の特定、および/または、位置合わせ基準の変容を記録および/または処理するが、記録情報はこれらに限定されない。
一実装例では、記録情報はすべて時間データ(例えば、記録装置に送信される)とともに、連続する時点、特定の時点、または記録対象の情報が以前の記録値に対して変化した場合に限り、変化した時点で記録される。
いくつかの実施形態では、タイムスタンプを1つ以上またはすべての記録情報に関連付ける。各タイムスタンプは、医療処置中に記録した他の事象に関連付けたグローバルタイムスタンプ、例えば、画像の取得(手術中、電気メス使用に付随する処置、切開の際、組織病理サンプルを採取した場合、または、他の処置)と関連付けたグローバルタイムスタンプとマッチングされ得る。また、例えば、音声ストリーム、映像ストリーム、画像表示器の状態情報(例えば、データセット、ハンギングプロトコル、ウィンドウレベル、位置、方向等)、または、他の着目事象(例えば、生検サンプル、容器、結果等の位置合わせ)を含む、タイムスタンプがマッチング可能なデータ源からのデータを統合してもよい。
一実施形態では、医療器材または装置の時間依存性位置と方向を、固定基準位置(患者固定用基準器具、または座標フレーム上中心に位置する追跡カメラ)に対するベクトルとして記録し得る。方向は、例えば、4次元または複数軸ベクトルとして記録可能である。偏向は、オフセット、または、別のパラメータ化した幾何学表示(スプラインパラメータ等)として記録可能である。
各種実施形態では、1つの器材に対して、複数のパラメータを、関連データよび想定内容(または一定に保持した変数)にしたがって、毎回追跡記録してもよい。
一実装例では、装置または器材の時間依存性位置と方向を表すために、7種類のパラメータを記録し得る。その内、6つのパラメータはx、y、z、roll、pitch、yawであり、7番目のパラメータは、具体的な方向情報が記録される時間インスタンスである。他の実装例では、1つ以上の想定を行う場合(例えば、縦軸周りに回転する長尺の器材等、回転方向の追跡記録の意図がない場合)、これより少ないパラメータを用い得る。例えば、同次座標の4×4(16パラメータ)変換マトリックス、または、回転の四元数表示等、他の適切な方法でデータを表す場合、より多くのパラメータを用いることができる。他の実施形態では、使用構成にとって必要または望ましいかによって、追跡パラメータの数を増減し得る。
本明細書に記載する、医療処置に関わる情報の表示、送信、受信、記録、保存、処理によって、処置に用いる器具及び器材状態の保存、通信、処理を効率化することができる。例えば、特定の時点に関する離散的データポイント等のデータを格納することで、例えば、ナビゲーションシステムのスクリーン表示による映像取得と比較して、格納スペースが低減し得る。この情報を格納することで、以下に説明する他の特徴や機能が可能になる。
上述したように、いくつかの実施形態では、追跡器材に対して記録したデータストリームに加えて、あるいは、これに代えて、1つ以上の他のタイムスタンプ化したデータストリームを、後続の再生および/または分析用に記録し得る。
一実施形態では、本明細書に説明するように、処置経過の少なくとも一部が一旦記録されると、空間(位置および方向)データポイントと、これに関連付けたタイムスタンプを、後続の分析用に処理し得る。例えば、遡及データに基づいて、処置に関連付けた1つ以上のメトリクス(外科メトリクス等)を特定する分析を行い得る。上記メトリクスの例には、器具や器材の使用時間、各挿入深さでの器具や器材の使用時間、特定部位(血管、神経、病変)近傍での器具や器材の使用時間、および/または、処置中に可能な各種器具や器材の適用範囲が含まれるが、これらに限定されない。
上述したように、執刀医または操作者が上記データ量を同じ患者または他の患者の将来の治療または研修目的に利用できるように、医療処置の各局面を連続して(例えば、データベースに)記録し得る。データストリームには、以下のデータ(または追加のデータストリーム)の1つ以上が含まれるが、これらに限定されない。例えば、映像ストリーム、音声ストリーム、全追跡器材および品目の場所または位置、画像表示器の状態(データセット、ハンギングプロトコル、ウィンドウレベル、位置、方向等)、他の着目事象(生検サンプル、容器、結果の位置合わせ)である。これにより、将来の時点で全手術行程の一部または全体を局所的または分散的に再生可能となる。上述したように、一実装例では、執刀医が再生を「一時停止」することができ、「一時停止」した画像表示によって、事後分析、監査、教育、研修を目的として、起こり得る事態を想定することができる。記録したセッションで用いたものと若干異なる手法が取られた場合、その外科処置がどのように行われたかについて評価することができる。当初記録した処置とは異なる表示角度、異なるデータセット、または、他の相違点によって再生を続行することもできる。
または、再生一時停止ポイントを、新たなシミュレーションの開始点として用いることもできる。この場合、追跡品目の現在位置と方向および表示状態が、器材と画像表示装置の両方を仮想操作する開始点となる。シミュレーションの進行を現在進行中の処置と同様に記録することで、後日の監査、分析、研修に用いることもできる。最後に、1つの処置の異なる部分の記録シミュレーションを複数、異なる人間により異なる場所で作成して、それを別の場所で別のチームが閲覧して分析すれば、各シミュレーションの「最良」箇所をつなぎ合わせて、最終的に「最善の」解決策を提供できる。
いくつかの実施形態では、サンプル用タイムスタンプの共通源として、解像度が十分高くかつレイテンシーが十分低いものを設け、様々なストリームのサンプル記録をリアルタイムに分配し、その後合体することができる。
いくつかの実施形態では、データポイントとタイムスタンプをさらに処理して、術中の器材/装置の動きをシミュレートし得る。このシミュレーションは制御可能に再生させ得る。記録角度からのみ閲覧可能なビデオ画像とは異なり、本実施形態では、記録データポイントとタイムスタンプを介して、異なる角度で器材/装置の動きを再現および再生することができる。言い換えれば、シミュレーションを描画する視点を、操作者が制御可能である。
さらに、上記実施形態では、器材/装置があたかも現在操作されているかのように再生中に制御を行ってもよい。この場合、システムが他の撮像装置およびシステム、および/または、撮像装置およびシステムによる空間位置合わせデータに関連付けされている場合、画像データの各部分および/または表示を、治療中に用いたものとは異なる形式で視覚化および操作が可能になる。処置中の映像記録を単にそのまま再生した場合、処置中の記録画像データのみが事前設定により表示されるにとどまるが、この実施形態により、さらに柔軟かつダイナミックおよび/または制御可能に再表示できる。
一実装例では、各位置をリアルタイムに再生、また、再生速度を上げる、下げる、一時停止する、検索するといったことが可能になる。さらに、操作者は、空間的制約のある検索機能において、特定の部位の近傍で行われた行為の一部またはすべてを想起することができる。この様な実施形態では、「位置認識」検索機能を設ける。例えば、3次元の脳構造を、MRIまたはCT等による術前医用画像を用いて再構築する。ユーザは、ポインティングデバイスまたはカーソルを特定の解剖学的位置(例えば、中心傍溝)に位置決め、検索を開始することができる。検索の手順は、以前に記録した各外科器具の位置および時間情報でデータベースに検索をかけ、外科器具の先端が特定部位の所定(設定可能)の近傍にあったすべての症例を特定する。この部位は、例えば、放射線科医が通常用いる多平面再構築画像レイアウト等、術前医用画像の3次元直交面投影を用いて特定される。外科器具の位置とこれに関連付けたタイムスタンプ情報は、順次データ構造として交互に格納される。その後、検索情報(この場合、位置情報)は、データを位置ごとに分類した後、周知の順次データ検索アルゴリズムによるリスト検索に用いられる。
いくつかの実施形態では、術中の追跡撮像装置およびシステム(超音波プローブ、光コヒーレンス断層撮影(OCT)プローブ、分光プローブ、手術中に用いるMRIコイルやCT、蛍光透視診断装置等が含まれるが、これらに限定されない)の位置と方向は取得した画像と相関可能であり、また、器具や器材のデータポイントと一致するよう配置かつ方向付けた他の画像データに対して分析可能である。タイムスタンプが撮像装置/システムデータに利用可能であれば、そのタイムスタンプを、1つまたは複数の器材の記録位置および方向データに関するデータポイントに関連付けたタイムスタンプにマッチングすることができ、これにより、時間同期化画像および/または映像が提供される。
例えば、手持ち型の超音波プローブを脳腫瘍切除の開頭術直後に用いて、硬膜直下の脈管構造の存在を確認してもよい。超音波画像(通常、Bモードスキャン)を取得した脳に対する相対位置と、画像を記録した時間インスタンスを取得してもよい。この記録を、上述した7つのパラメータの時間依存性位置および方向情報の時間成分の記録と同期させると、術中の画像を、外科処置における特定の時点に正確に関連付けることができる。
こうした同期化記録には、手術室(OR)のすべての記録システムが利用する基準クロックの同期化が必要となる。これは、例えば、記録装置を現在の時間(例えば、UTC(協定世界時))を記録するよう構成することで可能となる。あるいは、各記録装置が標準時間で記録を行わない場合、複数のクライアントに時間情報を提供する共通のサーバを用いて同期化を図ってもよい。この場合、例えば、クライアントの1つは外科器具位置の記録に用いるコンピュータ支援型データ取得システムであり、別のクライアントは、超音波画像の取得に用いるコンピュータ支援型画像取得システムである。別のクライアントは、術中MRIの取得に用いるコンピュータ支援型システムであってもよい。同様に、他の別々のコンピュータ支援型画像および患者生理機構監視システムを、共通の時間サーバに対するクライアントとして動作させてもよい。サーバは、クライアントによって規則的にアクセスされ、各クライアントの内部クロックを更新し得る。したがって、各クライアントの個々のクロックのドリフトを調整することができる。その結果、外科器具、患者の術中生理状態(例えば、溶存酸素濃度)、および術中画像を時間同期させて記録することができる。
この同期化データは、外科の作業フローとそれに関連する器材使用効率の評価にとって有用であるとともに、外科の研修ツールにおいても有用である。特定の外科処置における各種器具や技術の利用に関連するこうした情報は、保健施設の分析を経て、外科処置に伴うコストや保険会社や他の支払者に通知する料金が具体的に分かる。
上述の実施形態は、多種多様な目的に採用することができる。例えば、記録情報は、後述する種々の目的に向けて、医療処置の再考に用いることができる。例えば、後続の撮像やフォローアップ評価のための臨床、教育、法関連、自己査定、性能評価、監査、着目箇所の遡及位置特定、および/または、処置遂行中の先の1つまたは複数のステップを原位置で確認する場合等であるが、これらに限定されない。
さらに、前述した実施形態は、以下のように改変可能である。例えば、操作者は、記録した処置の再生を「一時停止」し、「一時停止」した画像表示によって、事後分析、監査、教育、研修に向けて、起こり得る事態を想定することができる。一時停止した再生ポイントを、新たなシミュレーションの開始点として用いてもよい。この場合、追跡品目の現在位置と方向および表示状態が、器材と画像表示装置の両方を仮想操作する開始点となる。シミュレーションの進行を現在進行中の処置と同様に記録することで、後日の監査、分析、研修に用いることができる。
記録した医療処置の再生を一時停止した後、操作者は、別の角度を特定する入力を行う、または、記録したセッション中に実際に用いたものとは異なる表示情報で再生を続行することもできる。異なる表示角度、異なるデータセット、または、当初の記録セッションとの相違点によって、再生を続行することもできる。
一実施形態では、1つの医療処置の異なる部分から得た記録および/またはシミュレーション映像または視覚化データを異なる人間により異なるセッションで作成して、それを別の場所で別のチームが閲覧して分析すれば、各シミュレーションの「最良」箇所をつなぎ合わせて、最終的に「最善の解決策」を提供できる。
例えば、脳腫瘍切除の場合、執刀医は実際に開頭術を行い、超音波プローブを用いて画像を取得することで、脳溝のひだまたは硬膜下の脈管構造を同定する。外科器具の位置と超音波スキャンは、第1のデータセットとして記録される。この第1のデータセットは、まず、特定の時間インスタンスにおいて取得した超音波デ一タとともに、規則的な時間インスタンスごとの外科器具の位置で構成される。この時間インスタンスは、外科器具の位置情報と同じ処置中に取得した超音波データとの同期化を促進する共通のパラメータとして作用する。
第1の執刀医が外科処置の全工程を完了する一方、第2の執刀医は、記録した第1のデータセットをシミュレートした外科処置として用い得る。第2の執刀医は、ある時点で、同じ外科処置の再生を一時停止する。この時点は、例えば、開頭術の完了直後とする。第2の執刀医は、上述の超音波画像観察により硬膜直下に高い危険を伴う脈管構造の存在を同定し、これに基づき、別のシミュレート硬膜開放部またはさらに別のシミュレート硬膜開放部を選択し得る。これにより、第2のデータセットが生成される。第2のデータセットは、データ列の最初にポインターを有し、第1のデータセット内で第2のデータセットが開始する正確な時点を指し示している。新たな各データセットを作成することで、実際の外科記録とシミュレートした外科記録を組合せて表示することで、元は同一の病状に対する異なる手法を考察する。同一病状に対応する代替データセットすべてを同時に格納して、必要があれば、人間が比較した別の介入方法を取りだし得る。メトリクスが上述した別の臨床手法に関連付けられていれば、最も高いメトリクスまたはスコアを有する外科処置ステップを順次組合せ、全体として最適な処置に到達し得る。
前述の実施形態により記録した情報は、随意に別のデータ、例えば、局所組織分析または撮像システムから得たデータ等とともに、情報庫または処置データベースに格納され得る。格納した情報は、術中外科処置データ源、病理相関関係、および/または、その後の外科手術/処置の計画および研修目的として利用することができる。上記方法の例をいくつか以下に説明する。
(組織分析用診断データを相関させる方法)
以下の実施形態では、術前、術中、または術後の分析および指導の補完に組織分析を用いる各方法が提供される。上記方法は、組織同定に際して十分な情報を必要とするにも関わらず得られていないという、いわば外科の根本的課題に対処するものであるが、これに限定されない。
例えば、神経外科切除処置の間、執刀医は、通常、処置の各段階で、露出した組織領域を切除するか否かの決断を迫られる。外科医がそうした決断を行うのに使用可能な診断様式はいくつかある。しかし、術中に1つの診断様式を用いるだけでは、概して最終的な結論に至ることはできない。MRIでは類似しているように見受けられるが、病理結果では異なる数種類の脳腫瘍が確かに存在する。このように、MRIだけでは、腫瘍同定には不十分である。細胞の顕微鏡検査は代表的な腫瘍同定法であるが、摘出組織の一片一片をすべて調べることが事実上不可能であり、また、術中に行えないことが多い。最終的な結論に達するには、初めに可能性のある組織種を絞り込むために、1つの様式で組織領域調べることを伴う。その後、第2の様式を用いることでより多くの情報が得られ、様々に枝分かれした可能性がさらに絞り込まれ、最終的に、組織を確実に同定することが可能な場合もある。したがって、こうした方法は複雑かつ有効性が不確かである。
従来、現存する解決策において、診断用撮像と外科と病理との関係を統合することは殆どなかった。撮像によって、放射線系(診断)、外科系(治療)、神経系(結果)、病理系(組織分析)の各分野間におけるシームレスな情報提供の場が提供される。特定の着目組織領域に的を絞った撮像と病理分析は、切除組織サンプルの量に応じて相関させることができる。処置の成果は、偶発的に切除した正常組織量に対する摘出病変組織全量の比率に依存することが多い。
病理サンプルと撮像をより正確に相関させるために、以下に説明する、組織サンプル採取装置の着目量の位置合わせと上記組織サンプル採取装置の体内着目領域への送達をより正確に行える方法が提供される。また、大量に摘出した着目組織内で少量の着目組織を特定するために、好適なコントラスト機序を用いて、該組織に生体外診断用測定を行うことができるシステムを用い得る。
いくつかの実施形態では、切除組織量に応じて局所組織分析を行い、切除組織に対する上記局所組織分析によるデータを追跡し、組織のより限定的領域画像に対して位置合わせすることで、局所、領域、全域、病理結果の間の相関関係を取得できる。この情報は、医療処置の結果、または、病変の局所進行に対して追跡され、後続の撮像処理によって追跡される。
したがって、いくつかの実施形態では、統合システムが提供される。この統合システムは、医療処置における全域、領域、局所ごとの撮像を可能にする。また、好適な組織コントラスト表示画像を提供することで、診断、外科処置、結果の予測を可能にする。
こうしたシステムは、例えば、大量の組織(例えば、10立方センチメートルの量)内で少量の着目組織をより確実に切除するために、広範な領域を切除する場合に用いられ、より小さな着目領域をより高い解像度で病理分析可能とするように、外科切除検体の撮像を行うことが可能である。上記を含む各システムおよび関連する方法を、以下に詳細に説明する。
以下の実施形態では、アクセスポート型神経外科腫瘍切除を背景とした本発明の多種多様な態様を説明する。上述したように、当然のことながら、これら実施形態は、本発明の範囲を神経系処置に限定することを意図したものではなく、本明細書に記載する各方法とシステムは、様々な他の医療処置用に即座に適合可能であり、かつ、こうした各種医療処置に採用可能である。
いくつかの実施形態では、システムが提供される。このシステムでは、患者の体内組織構造内の個々の部位が追跡可能であり、また、各部位で局所撮像を行い、腫瘍摘出時に外部撮像データ(ハンドシェイク画像)を提供する。外部撮像は体積測定または表面スキャンとして行われ得る。
一実施形態では、サンプルをラベル貼付容器で病理検査に送る。ラベル貼付容器はシステム内で一意に特定され、また、このシステムは、該サンプルを器具の追跡を介して画像内の特定の箇所に位置決め、また、生体内および生体外各画像セットに対して位置決めすることができる。より広範囲に着目組織をスキャンすれば、特定の着目領域に的を絞ることができる。
このシステムは、i)体積測定画像スキャンセットを患者の参照フレームに位置合わせするナビゲーションシステムと、ii)着目領域の術中撮像器と、iii)病理サンプルの術前と術中の画像を位置合わせするソフトウェアシステムと、iv)例えば、患者データ、または、電子医療記録(EMR)と、画像保管および通知システム(PACS)、治療計画、臨床検査報告、病理報告と画像、患者の結果(報告および臨床検査)等―これらに限定されないが―を含む関連情報を格納するデータベースと、v)重み付けメトリクスの検索、類似性またはメトリクスの計算、上記メトリクスに基づくランク付けを行うソフトウェアシステムと、vi)上記結果を方針決定プロセス(診断、スキャン、外科処置、病理診断、結果評価)に向けて提示するソフトウェアシステムと、vii)生検サンプルの類別と撮像を行う手段とを備える。
このシステムは、比較可能なサンプルメトリクスを、診断用撮像、生検、治療計画、外科手術、フォローアップ撮像を通して追跡かつ測定するために用い得る。このように、このシステムは、類似するメトリクスを有する1人または複数の患者に対する比較可能な症例情報を提供し得る。これらの比較は、特定の患者の所定の画像や病態または結果状態について、類似画像、病態、または結果を、臨床専門家によりよく伝えることができる。
いくつかの実施形態では、このシステムは、現在の診断用画像スキャン、臨床検査結果、患者情報(EMR)を介して、すでに利用可能な患者データを利用することで、進行中の症例について、外科手術、病態、結果をより効果的に伝達可能である。進行中の症例に関連付けた情報は同様に記録かつ追跡され、次の症例に対して追加情報を提供できるように、同じ情報科学システム(EMR、画像データベース、臨床検査結果)に送られる。こうすることで、本システムは、適応性のある方針決定システムとして働き、治療患者が多い程、また、システムに入力される患者情報が多い程システムの能力が高まり、医者により多くのデータを提示して効果的な方針決定を促すことができる。
図6Aに、脳530の軸方向図を示す。この脳では、腫瘍532が脳室に発生しており、脳表面に向けて増殖している。この腫瘍は、3つの異なるテクスチャーで示されており、それぞれ、種類の異なる腫瘍細胞を表している。この図には、生物学的に異質であり、同時に、画像での写り方、病理、治療に対する反応においてそれぞれ異質である各腫瘍が描写されている。
追跡医療器材534が腫瘍に対して図示されており、腫瘍の場所を指し示している。器材の先端(先端追跡対象は、例えば、着目組織内、または、処置における解像度において、先端が1mmより大きく撓む可撓性器材)を追跡する追跡システムと連動して用いることで、着目する局所組織領域に対する追跡医療器材534の位置が分かる。
一実施形態では、医療器材534が生検サンプル採取装置である場合、または、この生検装置を備える場合、生検器材の作動はサンプルの採取と連携して測定され、サンプルは、多分当該局所組織領域に対して一意に特定可能に保存または追跡される。病理結果等の組織分析はサンプルを採取した位置に対して記録かつ表示され得る。
別の実施形態では、医療器材534が局所診断用測定装置である場合(またはこの装置を備える場合)、局所診断用測定により得た局所組織の診断用データを、当該局所組織領域に対して一意に特定可能に、保存または追跡され得る。局所画像またはラマンスペクトル等の局所組織の診断用データは、診断用測定を行った局所組織領域に対して記録かつ表示することができる。
一実施形態では、1つ以上の組織分析(例えば、生検または局所診断用測定)に関連付けた位置を、局所組織領域を含む領域医用画像上に表示する。所定の組織分析の位置を表示するには、組織分析に関連付けた位置データを医用画像データに空間的に位置合わせする。この位置合わせは既知の位置合わせ方法を用いて行われる。例えば、術前医用画像を取得し、取得した術前医用画像を、組織分析に関連付けた位置データを位置合わせした術中参照フレームに空間的に位置合わせする。
図6Bを参照して、上記実施形態の一実装例を示す。この例では、3つの組織分析の位置が、ユーザーインターフェースに、それぞれ参照マーカ540、541、542として、医用画像データに重畳表示される。
図6Cと6Dに示すように、参照マーカ540、541、542は、組織分析に関連付けた情報への選択可能なグラフィックハイパーリンクとしても機能し得る。例えば、図6Cでは、操作者による入力(例えば、マウスのクリック、または、指やポインターによるタッチスクリーン表示への接触)を介して、部位540から取得した組織サンプルに関連付けた病理報告550が表示される。図6Dに示す別の実装例では、操作者による入力を介して参照マーカ540を選択することで、局所測定されたMR画像556とラマンスペクトル557を含む局所組織の診断用データ555が表示される。
例えば、生体内画像データを生検サンプルと同時に取得する場合、生体内画像を、同様に同じ位置で、病理報告に対する参照マーカとして提示することができる。対応する病理結果がない場合、図6Dに示すように、生体内データは病理報告の代わりに提示される。局所撮像様式は、例えば、OCT、高周波超音波、分光、MRI、MR分光、組織伝導性、電磁波撮像等である。
本例では、従来の方法とはかなり異なるやり方で、局所組織の診断用データと組織分析結果をレビューする方法が提供される。例えば、既存の病理ソフトウェアシステムの中には、病理報告のハイパーリンク化テキストに基づいて診断用画像データを関連付けるものがある。言い換えれば、局所診断用画像または他の診断用データに病理報告を介してアクセスする。反対に、本実施形態では、ハイパーリンク参照マーカ(ラベル、アイコン、またはタグ)の選択により、位置に特化した関連診断用データまたは組織分析データを、ユーザーインターフェースを介して、医用領域画像上でグラフィックにナビゲート可能になる。ここで、参照マーカの位置は、生検サンプルを採取した位置または局所組織の診断用測定を行った位置に対応している。
いくつかの実施形態では、図6B〜6Dに示すように、ハイパーリンク化データが利用可能な位置が多数あり得る。このような場合、ユーザは1つ以上の参照マーカを選択することで、関連データを閲覧またはその他の方法で取得(例えば、印刷、ダウンロード、Eメール)し得る。
いくつかの実施形態では、多様な形態の関連局所データを単一の位置に設ける。例えば、図6Cと6Dに示すように、参照マーカ540は、病理報告(組織分析データの一種)と、2種類の診断用データ(局所MR画像とラマンスペクトル)を含む3種類の関連データを有する。図6Eに示す一例では、メニュー560を設けて選択可能な表示項目のリストを表示する。
図7は、本実施形態を示すフローチャート図である。570において、患者の少なくとも一部位の医用画像を取得し、ユーザーインターフェースに表示する。この医用画像は、例えば、基準点マーカを用いて術前に取得し得る。基準点マーカにより、組織分析が行われる医療処置に関連付けた術中参照フレームに後で位置合わせ可能となる。別の例では、医用画像と、少なくとも1つの局所組織分析に関連付けた局所組織情報を、同一の医療処置において術中に取得し得る。
572において、1つ以上の局所組織分析に対応する局所組織情報を取得する。574において、各局所組織分析に対応する位置を特定する位置データを取得し、該位置データを医用画像に空間的に位置合わせする。576において、各局所組織分析に対応する参照マーカを、それぞれの空間位置合わせ各位置データに対応する位置で、医用画像に表示する。576において、操作者による入力を受け付ける。この入力により被選択マーカが特定されるため、被選択組織分析が特定される。被選択組織分析に関連付けた局所組織分析情報の少なくとも一部を操作者に提示する、または、その他の方法で提供する。
図6B〜6Eに示す実施形態は、本発明の範囲を逸脱することなく様々に改変することができることは言うまでもない。例えば、被選択局所組織情報をユーザーインターフェースの別のウィンドウに表示してもよい。一実装例では、被選択参照マーカに関連付けた被選択局所組織情報の少なくとも一部を医療処置中に術中表示し、1つ以上の局所組織分析の少なくとも1つをこの医療処置中に行う。
一実装例では、少なくとも1つの局所組織分析は、患者に従前に行った医療処置に関する。少なくとも1つの局所組織分析に関連付けた局所組織の診断用データには、ほぼ同じ部位に従前に行った局所組織分析と関連付けた組織分析の追加情報が含まれる。
当然のことながら、追跡システムには概して位置誤差が伴う。例えば、生検サンプルまたは局所診断用測定を取得する時点で、位置合わせミスや画像に関係する歪曲等の事象により、先端位置に関連する誤差であることが多い。所定の組織分析の対応位置に関連付けた空間誤差を推定し、対応する参照マーカに関連付けた可視表示として提示することができる。例えば、この可視表示は、円、球状、誤差バー、またはこれら以外の好適な表示を用いる。
さらなる実施形態では、本方法は、多様な様式や解像度を通して位置合わせした特定の位置を追跡することで、ユーザが、組織を切除する空洞全体で仮想的に「ポイントをドロップする」ことが可能になるように構成し得る。これにより、仮想マージンの作成が可能になる。局所で特定したこれらのポイントは局所画像フレームにリンクする。撮像装置を追跡することで、着目領域をより大きく位置決め、画像を追跡と同期して記録する。組織を大きく変形させることなく撮像をより大きな範囲で行う場合、より広い視野の画像を特定することで、より広い視野を撮像フィールド全体にリンクさせることができる。こうした広い視野を、術前また術中撮像に共通するコントラストを用いて撮像すれば、各ポイントを、システムの様々な臨床用途間において位置合わせすることができる。
図8Aは別の実施形態を示す。この実施形態では、所定の参照マーカの選択に応じて、1つ以上の類似する組織分析に関する情報を追加して、または代わりに表示し得る。類似組織分析を特定する方法を以下に詳述する。図に585で示すように、1つ以上の類似組織分析に関する様々な形態の組織情報が、ユーザーインターフェースを介して表示し得る。この組織情報は、類似する従前の組織分析に関連付けた病理データ、類似する従前の組織分析に関連付けた結果データおよび/または類似する従前の組織分析に関連付けた診断用データを含むが、これらに限定されない。さらに、図8Bに示すように、類似する従前の組織分析に関連付けた局所組織の診断用データ590を操作者に提示し得る。これらの実施形態および関連する方法を、以下に詳述する。
上述したように、いくつかの実施形態では、従前の組織分析に関する組織情報を類似性の判定に基づいて提供し得る。いくつかの実施形態では、類似性判定は、患者に関連付けた局所組織の診断用データと、組織分析データベースから得た局所組織の診断用保管データを比較することで行い得る。組織分析データベースを利用するこれらの実施形態は、多岐に渡る様々な方法や医療処置、または、所定の一医療処置の各段階に応じて適用し得る。データベースに保存した情報は、適応可能な評価ツールとして、追跡、更新、利用され、その患者の既往歴、画像/臨床結果が類似する複数の患者および/または患者情報と既往歴を保存したデータベースにおいて、類似する結果(病理、画像、結果)を検索し得る。
図9に、一外科処置の異なる段階の例示と、これらと1つ以上の組織分析データベースとの関連を示す。この図は、4つの方針決定段階を含む一実施形態例を示す。この4つの方針決定段階とは、すなわち、診断評価505、手術計画510、術中の外科処置・診断・治療515と、術前分析520である。これらの段階は、互いのステップ同士、また1つ以上の組織同定データベース500と関連表示され、一医療処置の1つまたはそれ以上の各段階において検索することができる。この例では、患者治療の4つの側面が示され、位置合わせした画像、病理、結果がリンクしたデータベースを用いることで、診断、手術計画、外科的組織の差別化および治療、術後方針決定の向上を図ることができる。
図9に示す作業フローでは、列記した診断様式には、臓器全体、領域、または局所に対する診断様式セットが含まれるが、これらに限定されない。上記診断様式には撮像様式が含まれ得、例えば、磁気共鳴撮像(MRI)、コンピュータ断層撮影(CT)、陽電子放射断層撮影(PET)、SPECT、超音波(US)、X線、光学式(可視光または全EMスペクトルの断面)、光コヒーレンス断層撮影(OCT)、光音響(PA)または領域撮像様式である。これらの様式は、1次元、2次元、3次元、4次元(3次元+時間)、各データセットのいずれかとして取得かつ表示可能であり、正確な次元および位置で患者に対して位置合わせされ得る。生検方法には、さらなる病理分析を目的として、コアまたは内視鏡生検、外科生検(大断面)、吸引、または、他の着目組織の採取方法が含まれる。
本明細書に記載する「結果」は、患者の死亡率および罹患率を測定する定量化法を指す。これには、組織生存率の直接的尺度を含む患者の実機能または高機能の測定と、間接測定、検査、観察が含まれるが、これらに限定されない。また、結果とは、処置の経済的結果(狭義または広義)を指すこともあり、処置時間、機器および人材の利用、薬剤や可処分器具、入院日数、合併症および/または同時罹患率を含み得る。
以下に詳述するいくつかの実施形態では、組織分析は、局所組織の診断用測定(1つ以上の診断様式で取得した)を局所組織の診断用保管データと比較することで行い得る。局所組織の診断用保管データは、結果、病理データ、診断等の組織分析データが利用可能な従前の組織分析に関連付けられている。この組織分析データは、関連付けた局所組織の診断用保管データとともに、1つの組織分析データベース(または2つ以上のデータベース)に保存する。局所組織の分析データ(一患者に関する)を用いて、1つ以上の類似する従前の組織分析を組織分析データベースで検索して特定し得る。類似する従前の組織分析と関連付けた組織分析データは、執刀医、開業医、操作者に提供される、または、以下に例示する様々な用途に向けて処理して用いられ得る。
例えば、図10に示すフローチャートには、局所組織の診断用測定を組織の診断用保管データと相関させる方法例が示される。ステップ600において、局所組織の診断用データを取得する。この場合、取得した局所組織の診断用データは患者に行った1つ以上の局所組織の診断用測定に関連付けられている。
例えば、以下に説明するように、局所組織の診断用データは、例えば、挿入可能なMRプローブを介して取得したMR画像等の局所撮像データ、または、局所測定ラマンスペクトル等の局所非画像データであり得る。この局所組織の診断用データは、組織分析を行うには十分ではないかもしれないが、このデータを、以下に説明するように、同一または他の患者の従前の組織分析による局所組織の診断用保管データに関連付け得る。局所組織の診断用データが、1つ以上の診断様式で行ったより狭範囲局所の組織診断用測定に関連する場合、各局所組織分析を行った位置を、上述したように、随意にタイムスタンプとともに記録し得る。この位置を、共通の組織部位に対して異なる診断様式で取得した局所組織の診断用データの相関に用いてもよい。
ステップ605において、1つ以上の従前の局所組織分析に関連付けた局所組織診断用保管データおよび組織分析データとにアクセスする、または、他の方法でこれらデータを取得する。上述したように、組織分析データは、1つ以上の病理データ、結果データ、組織同定データおよび/または診断用データ等の情報を含み得るが、これらに限定されない。局所組織診断用保管データおよび関連付けた組織分析データは従前の局所組織分析に関するものであり、以下にさらに説明するように、組織分析データベースで提供され得る。
ステップ610において、1つ以上の局所組織の診断用測定に関連付けた局所組織の診断用データと、1つ以上の従前の局所組織分析に関連付けた局所組織の診断用保管データを、予め選択した類似性判定基準にしたがって比較する。
患者に関する局所組織の診断用データを用いて、類似する従前の組織分析を組織分析データベースで検索し得る。診断様式には、MRI(T1、T2、DWI、ADC、FA,SWI、MRS)、CT、超音波、SPECT、PET、ラマンスペクトル、OCT、組織染色高解像度光学撮像(検鏡他)が含まれるが、これらに限定されない。例えば、患者に対して取得した局所組織の診断用データにラマンスペクトルが含まれる場合、組織分析データベースを検索して、同様にラマンスペクトルを介して測定した局所組織の診断用保管データを探し得る(ラマンスペクトルは組織分析データと相関して保存される)。患者に対する測定ラマンスペクトルと保管したラマンスペクトルを比較し、類似するラマンスペクトルを有する従前の組織分析を探し得る。
ステップ615において、予め選択した類似性判定基準を満たす局所組織の診断用保管データを有する1つ以上の類似する従前の局所組織分析を特定することにより、患者の局所組織領域を表す可能性のある従前の組織分析を特定し得る。1つ以上の類似する従前の局所組織分析に関連付けた組織分析データは、その後、以下に説明する他の用途に向けて提供、表示、または、その他の方法で処理され得る。
上述したように、組織分析データベースは、組織分析を多数行い(例えば、同じ患者に対して、または異なる患者に対して)、局所組織の診断用測定により得た局所組織の診断用データと組織分析データを、データベースまたは好適なデータ構造に保存することで、構築され得る。
例えば、組織分析データベースへの1つのエントリは、以下のように構成される。多数の診断様式を用いて、患者の局所組織領域を調べる(エントリまたはデータ要素は、当然、1つの診断様式による診断用データを含んでもよい)。本例では、3種類の診断様式を用いる。追跡ラマンスペクトルプローブを用いて、局所組織領域の位置をそのラマンスペクトルと相関させる。また術中MRIを用いてMRI診断用データを取得する。この場合、追跡および/またはナビゲーションシステムを用いれば、MRIデータをラマンスペクトルと相関させることができる。最後に、追跡光学撮像装置を用いて局所組織領域を光学的に調べることで、組織の外観をラマンスペクトルとMRデータに相関させることができる。
これらの測定と関連付けた局所組織の診断用データを、局所領域に関する組織分析データとともに、または、これと相関させて、上記データベース(または他の好適なデータ構造)に保存する。組織分析データには病理データが含まれる。例えば、局所組織領域から組織サンプルを切除して病理検査室へ送ると、その病理結果(細胞の種類、顕微鏡画像、組織画像(例えば、X線、MRI))は、組織分析データとして、術中に得た局所組織の診断用データに相関され、組織データベースに1つのエントリとして保存され得る。
以下に説明するように、上記以外の種類の組織分析を、追加して、または、上記に代えて、局所組織の診断用データに相関させて、組織分析データベースのエントリ(例えば、データベース要素)を構成してもよい。この追加または代替の組織分析は、例えば、結果データ(例えば、局所組織の診断用データを得た1つの医療処置の結果に関するデータ)、診断用データ(例えば、所定の病理診断に関するデータ)、患者に関する追加データ(例えば、個体群統計データ、遺伝子データおよび/または既往歴データ等であるが、これらに限定されない)を含むが、これらに限定されない。
いくつかの実装例では、2種類以上の異なる診断様式による診断用データを用いれば、同一の組織領域を複数の組織分析で測定するため、より正確な組織分析が可能になる。
組織分析データベースには、上述したように、従前の組織分析による組織分析データが格納されており、該データベースを使用して、組織種が同定されている医療処置(例えば、組織切除の外科処置)を行う際、どの診断様式を使用すべきか、または、使用可能かを指導または提案し得る。例えば、同定済み組織種(例えば、同定済み腫瘍種)の切除を行う場合、組織分析データベースを検索して、特定の着目組織に対応する従前の組織分析を特定することで、所定の組織種と相関した局所組織の診断用データに対して表示された診断様式を特定できる。特定した診断様式は、上記組織切除中に用いられ、術中に得た局所組織の診断用データを局所組織の診断用保管データと比較して術中に露出した組織を特定し得る。こうした実施形態では、組織同定データベースに、そこに含まれるすべての局所組織の診断用データが、組織分析データと相関させた診断用データを表示するように(例えば、当該組織種と関連付けた特徴やシグネチャを表示しなかった局所組織の診断用データを除外するように)、フィルタをかけてもよい。
一実施形態では、組織切除処置を、同定済みまたは疑わしい腫瘍種に対して予定してもよい。図11は、医療処置中に使用する好適な診断様式を選択し、その診断様式を用いて、組織分析データベースに格納した局所組織の診断用データと局所組織の診断用保管データとの間の類似性分析を行う方法を示すフローチャートである。例えば、組織の種類が膠芽腫であると分かっている、または、疑われる臨床例に対して、組織切除を予定する。ステップ620に示すように、判定済みまたは疑われる組織種に関する診断用データを組織分析データベースで検索する、これにより、ステップ625において、1つ以上の好適な診断様式を特定する。
図11に示す本例では、膠芽腫に関するデータベースエントリを組織同定データベースで検索して、検索したデータベースエントリに関連付けた診断様式を特定する。例えば、組織分析データベースの検索で、ラマンスペクトルと、T2 MRI撮像と、ADC MRI撮像が好適な診断様式であると特定されると、組織分析データベースには、膠芽腫が特定スペクトルのシグネチャを有するラマンスペクトルと、組織が暗く写るT2 MRI画像データと、明るく写るADC MRI画像データに関連付けられたエントリが保存されている。
したがって、この組織種の術中診断用測定にはこれらの診断様式が好適であると分かると、ステップ630に示すように、膠芽腫の切除を含むその後の医療処置(例えば、疑わしい病態または以前に行った生検に基づいて)は、これらの診断様式の診断装置を用いて行われ得る。
医療処置中、暗いT2 MRIの局所組織領域と、ADCの明るい領域と、特定のラマンスペクトルを有する領域とを膠芽腫に関連付けることで、腫瘍組織を術中に検出し得る。こうした実施形態によると、より大きく正確な辺縁描写が可能になる。また、同時に、脳の正常部位をより多く温存しながら、より完璧に近い腫瘍摘出を行うことができる。
図12に別の実施形態を示す。図12は、分光測定に基づいて異なる組織領域間の類似性を判定する方法を示すフローチャートである。ステップ640に示すように、医療処置中に生検サンプルを採取し得る。このサンプルは、ラマンスペクトルまたはハイパースペクトル撮像等の分光診断様式を用いて測定することで、当該組織に関連付けた特徴スペクトルのシグネチャを取得し得る。例えば、組織種が腫瘍組織であると判定済みの場合を想定すると、腫瘍の中心領域内の組織サンプルを採取することで、組織種が腫瘍組織であることが分かり得る。この組織サンプルに対する分光測定は、好適な生体外撮像装置を用いて生体外で行い得る。
ステップ650に示すように、特徴スペクトルのシグネチャを有する生検サンプルの測定により得た局所組織診断用データは、その後、術中用いる生体内分光診断装置(ラマンプローブまたはハイパースペクトルプローブなど)による術中測定と比較することで、局所組織領域(例えば、腫瘍摘出後残っている露出組織層)が組織サンプルと同じものか判定し得る。この場合の判定は、ステップ655に示すように、組織サンプルの測定スペクトルのシグネチャと、組織測定により術中に得た生体内スペクトル(1つまたは複数)との間の類似性を評価することで行い得る。このような実施形態を用いることで、腫瘍辺縁にいつ達したかが示され、および/または、腫瘍辺縁への到達(手術計画に基づく判断)を判定する別の根拠が確認され得る。
上述および図10に示すフローチャートにより、組織分析データベースは、医療処置を行っている間術中にアクセスおよび検索されることで、未同定の組織に関する組織分析情報を得られ得る。こうした医療処置中、1つ以上の局所組織診断用測定を行うことで、局所領域を生体内測定い得る。例えば、未同定組織領域に対して1つ以上の局所組織診断用測定を行う医療処置の場合、上記診断用測定により得た局所組織診断用データをデータベースの局所組織分析の保管データと比較することで、類似する局所組織診断用データを有する従前の組織分析を検索し得る。
従前の局所組織分析が特定されると、従前の類似する局所組織分析に関連付けた組織分析データを提供し、随意に、様々な用途に向けて処理し得る。例えば、各実施形態では、病理データが未知の場合、1つ以上の類似する従前の組織分析による病理結果を組織データベースで検索し、特定された場合提示することができる(例えば、図8Aに図示)。
完全に自動化したコンピュータ支援型診断システムと認識されないように、このシステムは、操作者がチェック可能な1つ以上の確認済み類似病理症例を提示することができる。このデータは見直し可能であり、関連画像を視認で比較してチェックすることができる。
図8Bを再度参照して、いくつかの実施形態では、類似性判定基準を満たすと思われる局所組織の診断用保管データを、グラフィックなユーザ−インターフェースを用いて、操作者に提示し得る。一実装例では、類似する局所組織の診断用保管データが画像データである場合、病態が確認されたが画像セットの領域を、比較モードにおいて、進行症例(医者が比較対象としている)と同様のサイズ、方向および/または構成に調整して提示し得る。この場合、画像を基に腫瘍病態対して最終的判断を行うのは無理かもしれないが、検索結果に基づいて好適なデータを提示できる詳細かつ示唆に富む検索機能を得ることができる。
一実施形態では、局所組織分析データベースは、従前の局所組織分析が1つ以上行われた医療処置中に記録した時間依存性医療処置データを含み得る。これにより、執刀医や操作者は、上記各方法により特定した類似する従前の組織分析の一部またはそれ以上を再生可能となり得る。この時間依存性医療処置データは、医療処置中用いた1つ以上の医療器材の位置と方向に関連付けた時間依存性位置情報を含んでもよい。この情報を処理することで、医療処置の少なくとも一部における1つ以上の医療器材の時間依存性シミュレーションを描画して表示すし得る。
一実施形態では、上記方法を、コンピュータ推奨手術計画を提示またはユーザ選択手術計画を評価するよう構成してもよい。例えば、組織分析データベースは、類似する従前の局所組織分析の少なくとも1つに対する手術計画データを含み得る。これにより、操作者は、上述する各方法の1つによって類似する組織分析を特定した後、従前の組織分析で採用した手術計画の1つ以上のステップを再考またはシミュレートできる。
別の実装例では、予定した患者に対する治療処置計画の概要を示す手術計画の提案を、組織分析データベースに保存した手術計画データと比較し得る。これにより、臨床医は、データベースに保存した類似手術計画の結果を観察または再考できる。いくつかの実施形態では、上記方法を、コンピュータ推奨手術計画を提示、または、ユーザ選択手術計画を評価するよう構成してもよい。例えば、類似腫瘍、組織、重要な組織構造に対して行った同様の手法をデータベースで検索してもよい。この検索は上述のように行うことができるが、最適な結果を求める検索ではなく、ユーザの選択肢に最も一致する手法を検索する。
図13は、組織分析データベースを用いる方法例を示すフローチャートである。本実施形態では、組織分析データベースには、すでに行った類似手術計画を有する従前の組織分析の特定が含まれる。ステップ660において、患者に行う予定の医療処置と関連付けた術前手術計画を取得する。ステップ662と664において、組織分析データベースにアクセスし、1つ以上の従前の医療処置に関連付けた結果データと手術計画保管データを取得する。ステップ666において、術前手術計画データと手術計画保管データを、予め選択した類似性判定基準にしたがって比較する。ステップ668において、予め選択した類似性判定基準を満たす手術計画保管データをもつ1つ以上の類似する従前の医療処置を特定する。手術計画データが類似する1つ以上の従前の医療処置が特定されると、類似する医療処置に関連付けた結果データを提供し得る。結果データは、例えば、所定の選択手術計画の有効性を推定するために用い得る。
(従前の組織分析を用いた類似性分析方法)
本明細書に記載した実施形態の多くでは、患者に行った組織分析に関する局所組織分析診断用データと、データベースに保存した局所組織分析診断用保管データの間の類似性を評価することで、1つ以上の類似する従前の局所組織分析を特定する。こうした類似性評価を行うには、まず、臨床面でデータセットの差別化を図る好適なメトリクスまたは判定基準を選択することが必要である。局所診断用測定が画像で構成されている場合、コンピュータビジョンにおいては、共通して、画像における局所的特徴を検出して記述する。これら特徴は、キーポイントとして知られている。スケール不変性特徴変換(SIFT、米国特許第6,711,293号明細書)等の方法は、画像データセットの検索を補助する局所的特徴の検出および記述を目的としたアルゴリズムの一例である。次の検索ステップとしては、そのデータセットに関連付けた追加内容に基づきデータセットのサイズを縮小する。まず、好適な判定基準の選択および測定を説明する。
いくつかの実施形態では、臨床データセットには、撮像コントラストダイナミックス(インフローによるコントラスト,アウトフローによるコントラスト)、拡散情報(例えば、FAまたはADCマッピング)、定量的T1およびT2、CTコントラストフロー、PET追跡ダイナミックスが含まれるが、これらに限定されない。これらすべてにおいて、得られるデータは画像セットである。例えば、SIFT、SURF(Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, “SURF: Speeded Up Robust Features”, Computer Vision and Image Understanding (CVIU), Vol. 1 10, No. 3, pp. 346−359, 2008)および主成分分析等の特徴抽出アルゴリズムを用いて、これら画像を基幹要素へと分解する。データが基幹要素へと縮小されると、全画像データポイントではなく、基幹要素を含むより低い次元スペースにおいて検索を行うことができる。
図14Aと14Bに、新たな臨床画像データを保管データセットにマッチングする処理を示す。一例(図14Aに図示)における処理では、まず、新たに取得した画像データ(ステップ680)を基幹要素へと分解する(ステップ682)。新たに推定した基幹要素値を、データベースにすでに保存されている基幹要素と比較する(ステップ684)(例えば、ベクトル距離計算)。検索アルゴリズムは、例えば、最近傍分類法(ステップ686)、ベイズ分類法、および、一般的クラスタ化アルゴリズムである。
図14Bに、患者別データを保管データセットのものと比較する別の方法を示す。ここでは、判定基準を保管データセットのデータから推定し(ステップ690)、これらの判定基準を、多次元ガウス分布により記述した各クラスタに分類する(ステップ692)(参照「Findings Groups in Data: An Introduction to Cluster Analysi」(L. Kaufman and P. J. Rousseeuw, Wiley Series in Probability and Statistics))。特定の患者の術前および術中のデータを取得し(ステップ694)、このデータの判定基準を推定する(ステップ696)。最後に、条件付き確率を推定し(ステップ698)、新たに取得したデータが属する可能性が一番高いガウス分布を特定する。保管データセットからの、外科処置結果、生存率、術後の合併症、生活の質(QOL)尺度等の臨床データ(ステップ699)を用いて、患者の治療を想定して十分な準備を行う。これらは即座に利用可能であるが、上述の手法では、臨床関連判定基準の代わりに抽象的判定基準を抽出して比較する。この手法は、データのスプリアスノイズによってバイアスがかかることがあり、マッチングを判定する論理的根拠を見分けることは簡単ではない。
腫瘍サイズ、脳内組織構造の腫瘍位置、腫瘍組織細胞および病理結果等のさらなる判定基準を撮像結果と組み合わせて用いることで、データセットに臨床関連判定基準を追加し得る。このように、検索データセット範囲(検索スペースとしても知られる)は、i)画像を分解することで得た基幹要素と、ii)上述した追加臨床関連判定基準の、2つのセットで構成される。一例では、臨床画像データ(MR、CT等)を分解することで腫瘍サイズを推定し、腫瘍を単離してその表面領域と体積を演算する。腫瘍単離のための画像データの分解は、3次元データの構築に通常用いる各元画像片(例えば、MRIの2次元画像片)の2次元スペースで行われ得る。2次元画像の分割には、領域別分割方法(例えば、領域増大、領域分割・併合、任意の分割)、データクラスタ化方法(例えば、階層性クラスタ化、区画クラスタ化)、または、輪郭に基づく分割方法(例えば、流域分割、マーカ型手法)が用いられ得る。これらの方法は、コンピュータビジョン産業では知られており、「Tutorial: Image Segmentation」(Yu−Hsiang Wang、Graduate Institute of Communication Engineering, National Taiwan University, Taipei, Taiwan, ROC)において、一般画像データおよび臨床画像の観点から説明されている。本来、3次元分割手法も使用可能である。
脳内組織構造に対する腫瘍の位置を、まず、脳に対して特定した腫瘍位置に基づいて演繹する。これには、上述した腫瘍領域の質量中心を特定することにより実現し得る。この質量中心位置を、患者の脳に相対表示する。最後に、この位置について、「Continuous Enhancement of the Electronic Talairach−Tournoux Brain Atlast」(Neuroinformatics, Vol. 3, 2005)に説明されている「Cerefy Brain Atlas」等の一般的な脳アトラスを参照して解釈することで、その腫瘍の解剖学的位置の関連付けが可能になる。この位置特定には、患者画像とアトラス原型との間に標準的な画像同時位置合わせ技術を適用する。
腫瘍組織構造は、拡散強調共鳴(MR)撮像方式で測定した見かけ上の拡散係数(ADC)等の撮像技術で定量化する。これまでの出版物で、ADCと細胞性の間の相関性は説明されてきた(参照「Diffusion−weighted MR imaging of the brain: value of differentiating between extraaxial cysts and epidermoid tumors」(J S Tsuruda, W M Chew, M E Moseley and D Norman, American Journal of Roentgenology, Nov. 1990, Vol. 155, No. 5)。したがって、この相関を用いて、測定したADC値を細胞性尺度に変換する数学モデルを構築することができる。要約すると、上述した臨床関連判定基準のすべてを定量化して臨床画像に関連付けることで、臨床関連判定基準に基づいて検索可能データセットに到達し得る。
最後に、以下のように、病理情報も臨床関連判定基準として追加してもよい。生検は、外科による腫瘍切除前に行われることが多い。摘出組織サンプルは、生化学的処理または単一クローン抗体を用いて病理検査室で分析され、腫瘍種を同定し得る(参照「Identification of proliferating cells in human gliomas using the monoclonal antibody Ki−67」, Zuber et. al., Neurosurgery, 1988, Vol. 22, Issue 2))。同様に、外科処置中切除した組織サンプルのいくつかはこうした病理分析用に取っておく。こうした病理分析で得た情報は、病理分析結果を、分析組織サンプルを採取した正確な位置と時点に関連付けることで、外科処置中に収集したデータセットに追加し得る。このように、病理分析結果は、外科処置の記録中に取得した原位置と時間情報に関連付けたメタデータと捉えることができる。
メタデータを位置と時間情報とは独立して検索することで、特定の外科処置に類似する過去の外科処置(保管データ)を特定する。この場合の検索アルゴリズムは、大量のテキストデータでテキスト列を検索する際に通常用いる、テキスト用検索アルゴリズムであり得る(参照:reference: 「A fast string searching algorithm」(Comm. Association for Computing Machinery, 20(10): 762−772))。特定患者の病理を保管データのものを用いて特定することで、過去に同様の病態であった他の患者の経過観察に基づいて、該特定の患者の予想臨床結果を評価する一助となり得る。
局所非画像診断様式による特定のメトリクスを用いて構築データベースを検索する同様の検索手段も可能である。例えば、代謝産物の濃度と比率、局所散在または吸収、組織の硬度(弾性度)、異方性等のメトリクスを用いることが可能であるが、これらに限定されない。
他の場合では、局所撮像様式を用いることで、強調画質、解像度および/または外部撮像プローブでしか撮像できないコントラスト機序の測定が可能になる。こうして撮像することで、定量的メトリクスを着目組織サンプルに相関させる類のない機会が得られる。また、診断、領域―局所画像間の位置合わせが容易になり、病理検査を介した検出から診断までを通して、生検サンプルを追跡する手段が提供することができる。
類似性評価における他の分析可能な情報には、年齢、体重、特定の遺伝変種の存在、ウィルスの露見または存在、罹患率情報等の特定の患者情報があり得る。例えば、こうしたより定性的メトリクスに定量的ランク付けを好適に行い各特徴と関連付けることで、類似性を計算でき得る。
スコアを患者情報に関連付ける一例は、癌再発スコアを腫瘍サイズと腫瘍レベルに関連付けることが挙げられるが、これに限定されない(参照「A population−based study of tumor gene expression and risk of breast cancer death among lymph node−negative patients」, Habel et. al., Breast Cancer Research 2006, Vol. 8, No. 3」)。したがって、上述した腫瘍サイズの推定を罹患率情報と関連付けてもよい。後者の情報は、保管データセット中の他の患者を特定する際の検索判定基準として使用可能な別のメタデータである。こうして特定した情報は、生存率や術後の生活の質等、外科処置により起こり得る結果の推定に用いることができる。この情報はまた、特定の患者に対する好適な術後治療を選択する際の一助となる。例えば、腫瘍サイズが癌再発の可能性が高い(高いスコア)ことを示す場合、撮像を頻繁に行うことで患者をより注意深く観察して、再発の可能性を監視することができる。
いくつかの実施形態では、類似性分析において1つ以上の判定基準が他よりも重み付けが大きいと評価されるように、組織分析データベースの検索および関連する類似性分析に重み付け係数の付加を行ってもよい。一実装例では、1つ以上の重み付け係数を事前に選択することができる。別の実装例では、1つ以上の重み付け係数を決定樹に関連付けることができる。さらに別の実装例では、1つ以上の重み付け係数を操作者が選択され得る(例えば、医療処置中に動的に選択)。例えば、腫瘍がステージ4の多形膠芽腫(GBM)であると確定診断されている、または、疑われる腫瘍に対する医療処置の場合、MRIコントラストの重み付けは、例えば、2としてより高いものとなる一方、他のすべての係数は1として重み付けされ得る。別の例では、ステージ2の多形膠芽腫(GBM)の場合、DWI ADC値の重み付けは、例えば、3としてより高いものとなる一方、他のすべての係数は1となり得る。別の実施形態では、一患者または多数の患者層の多数のデータポイントを網羅する包括的計算に基づいて、特徴重み付けを決定してもよい。
一実施形態では、重み付けを、操作者の結果に対する解釈に基づいて付加してもよい。例えば、局所ラマン信号が高品質であり、患者の体内組織における差異を明確に表していると執刀医が判断する場合、その重み付け係数を、当該領域のCT潅流等のものよりも高く設定するよう選択してもよい。また、画像セット間の位置合わせ精度が低い、または画質が不十分である考えられる場合、領域またはADC値等の重み付けが低いパラメータを着目領域から除外するよう選択してもよい。さらに、局所術中画像は、放射線科のデータに再位置合わせ可能である。システムの診断(放射線科)用途において上述したように、こうるすことで診断報告を今後向上させることができる。このようにして、より高品質の画像を体内の組織サンプル採取や病理分析に対する代用技術として用いることができ、現在最も普及している組織特定と比較して精度を向上することができる。
以下の例では、本発明の多種多様な非限定的実装例や態様が、脳腫瘍の摘出を含む術前、術中、術後の神経外科処置を背景として例示される。各例は、当業者の本発明の実施形態への理解を助長し実践可能とすることを目的とするものであり、単なる例示であって、本発明の範囲を限定するものではない。
術前分析および組織分析データベースの検索
第1の例では、図15に示すように、本発明の各種態様を、術前撮像と組織生検を含む術前処置に対して用いる。図15は、上述した方法の一実装例の各態様間の関係を示す図であり、組織同定データベース500の検索に基づいて検索結果を示すために、どのように各種診断用測定と入力を用いるかを示している。本実装例では、領域画像データ700と、局所診断用測定702と、組織分析データ704とを利用して、一患者の画像および病理結果をリンクし、また、複数の患者間の結果をリンクしている。
図の中央に、脳室に発生した腫瘍532が脳表面まで増殖している脳760の軸方向図を示す。この腫瘍は、3つの異なるテクスチャーで示されており、それぞれ、3つの異なる腫瘍細胞種を表している。この図には、生物学的に異質であり、同時に、画像での写り方、病理、治療に対する反応においてそれぞれ異質であり得る各腫瘍を示す。
追跡医療器材534が腫瘍に対して図示されており、腫瘍の場所を指し示している。追跡システムと先端追跡方法(追跡対象は、着目組織内、または、処置における解像度において、先端が1mmより大きく撓む可撓性器材)と連動して用いることで、着目組織に対する外科器具の位置が確実に分かる。
医療器材534を生検サンプル採取装置と併せて用いる場合、生検器材の作動をサンプル採取と連携して測定し、サンプルは、病理分析の場所に対して一意に特定可能に保存または追跡される。この病理結果は、サンプル採取位置に対して記録かつ表示することができる。
上述したように、位置を画像閲覧システム上に表示し、サンプル採取位置に対応する領域画像700上の参照マーカ(例えば、ラベルまたはタッグ)を特定することができる。このラベルを選択すると、システムは、対応する病理報告をスクリーン上に表示する。複数のサンプルを複数の部位から選択した場合、各位置に報告が関連付けられている。これについては、図8Aを参照して上述した。
例えば、位置合わせ誤差や画像に関連する歪曲のため、ナビゲーションシステムは特定のサンプル採取時点で先端位置精度を関連付けている。先端の全体的精度を推定し、追跡ニードル先端の推定位置の周りに可視表示する(円状または球状表示等)。
一実施形態では、ユーザが病理結果をリンクしたポイントを選択すると、データベース500を検索し、類似のメトリクスをもつ他の研究結果を探す。いくつかの他の実施形態では、メトリクス730には定量的画像メトリクスを含む。このメトリクスは、例えば、撮像コントラストダイナミックス(インフローによるコントラスト,アウトフローによるコントラスト)、拡散情報(ADCマッピング)、定量的T1およびT2、CTコントラストフロー、PET追跡ダイナミックスであるが、これらに限定されない。腫瘍サイズ、腫瘍の病態または組織構造、病理結果等のさらなるメトリクスを画像結果と組み合わせて用いることで、位置特定と検索を可能にする。さらに別のメトリクスには、年齢、体重、特定の遺伝変種の存在等の特定の患者情報が含まれている。こうしたより定性的特徴では、定量的ランク付けを必ず各特徴と関連付ける。
740において、データベースの検索は、検索における重み付けがより大きいメトリクス730に対して重み付けが行われる。重み付けは事前設定するか、決定樹に関連付けるか、ユーザが選択する。例えば、腫瘍がステージ4の多形膠芽腫(GBM)の場合、MRIコントラストの重み付けは、例えば、2としてより高いものとなる一方、他のすべての係数は1として重み付けされる。別の例では、ステージ2の多形膠芽腫(GBM)では、DWI ADC値の重み付けは、例えば、3としてより高いものとなる一方、他のすべての係数は1となる。別の実施形態では、重み付けを、一患者または多数の患者層の多数のデータポイントを網羅する包括的計算に基づいて決定してもよい。
病態が不明の診断画像の場合、比較可能な病理結果セットを、上述した類似検索に基づいて提示できる。完全に自動化したコンピュータ支援型診断システムと認識されないように、742に示すように、本システムは、ユーザがチェック可能な確認済み類似病理症例のセットを提示する。これらの症例セットは見直し可能であり、関連画像を視認で比較してチェックする。
表示を効率的に行うために、病態が確認済みの画像セットの領域を、比較モードで、進行中の症例(医者が比較を行っている症例)と同様の構成に調整かつ提示する。この場合、画像を基に腫瘍病態対して最終的判断を行うのは無理かもしれないが、検索結果に基づく好適なデータを提示できる検索機能を提供できる。
局所の生体内画像702を、生検サンプルの採取と同時に取得した場合、生体内画像は、病理結果のタッグとして、同一位置に同様に提示可能である。対応する病理結果がない場合、その病理結果の代わりに表示される。局所画像様式702は、例えば、OCT、高周波超音波、分光、MRI、MR分光、組織伝導性、電磁波撮像等である。
局所画像による特定のメトリクスを用いて、構築データベース740を介した同様の検索方法も可能である。使用可能なメトリクスは、例えば、代謝産物の濃度と比率、局所散在または吸収、組織の硬度(弾性度)、異方性等である。殆どの場合、局所画像により、大きく強調した画質、解像度、または、外部撮像プローブでしか撮像できないコントラスト機序の測定が可能になる。こうして撮像することで、定量的メトリクスを着目組織サンプルに相関させる類のない機会が得られる。また、診断、領域―局所画像間の位置合わせが容易になり、病理検査を介した検出から診断までを通して、生検サンプルを追跡する手段が提供される。
図15の図示は、各種メトリクス730(撮像メトリクス、腫瘍形態、腫瘍のサイズと位置、ポイント撮像メトリクス、および病理結果)を判定するソフトウェアエンジン740への、様々な入力(領域画像706、局所画像または他の診断用測定702、および、病理データ704)である。これらのメトリクス730は、その患者の関連データベースに役立てることができる。また、500に示すように、特定の患者のデータベースまたは他のデータベースを検索して、類似画像や病態、患者の予想結果の位置特定に用いることができる。
一実装例では、例えば、事前設定した重み付け、状況判断により選択した重み付け、ユーザ選択または修正重み付け、画質尺度に基づき選択または修正した重み付け(例えば、不正確な場合は受け付けない)、適応選択または指導に基づく選択による重み付けによる特徴の重み付けを用いて、上述した検索アルゴリズムによる検索を行う。
742に示すように、その結果を事前設定、状況判断、またはユーザ選択によるものとして、例えば、その施設データベースからの上位10位として常に提示する。これらの大型データセットは迅速にアクセス可能であることが望ましく、これにより、通常表示するセット数を、検索結果の処理中にプレインストールできるようにする。
術前分析および組織分析データベースの検索
本システムの臨床利用を示す別の実装例では、図16に示すように、本システムの一実施形態を、患者の外科および治療計画に対して利用することである。図16は、術前の画像、病態、点源画像データを治療と外科の計画における方針決定促進を図るために具体的に利用する、一実施形態を示す図である。その患者、または、画像および/または病理が類似する複数の患者に行った以前の外科治療結果のデータを、アルゴリズム検索に基づき提示する。
この場合、術前画像706、病理結果708、治療に用いた装置またはシステム(すなわち、装置の物理的特性、治療様式の特性)の知識に基づき、その患者の予想結果を、画像、病態、病状が類似する複数の患者に基づき提示する。この情報を治療および手術計画ニングに活かしながら、最適な手法をその患者に対して選択する。
図の中心に、図15に示すものと同じ脳770の軸方向図を示すが、この図では、外科器具772を同じ座標フレームに示す。この場合、器具は、導入器を用いた外科用アクセスポートとして示されている。
本実装例では、関連装置のモデルおよび構造と術前画像による腫瘍を提示し、例えば、コンピュータ推奨治療計画を提示、または、ユーザ選択治療計画の評価を行う。
コンピュータ推奨治療プラを選択する場合、ソフトウェアシステムは、データベース500に検索をかけ(744に図示)、各種メトリクスまたは判定基準732をもつ腫瘍、例えば、病理、サイズ、脳内位置が類似し、神経束が対応し、同様の外科手順が行われた、すなわち、同様の装置(例えば、アクセスポート)を用いた重要な構造部位が一致する腫瘍を探す。対応する神経束は、腫瘍位置を脳アトラスに関連付けることで同定できる。さらに、DTIアトラス(www.dtiatlas.orgで利用可能なアトラス等)を用いて、当該領域の神経束を同定する。
着目組織領域に関連付けた各種特性を術前画像706から取得する。例えば、腫瘍量を複数の様式による画像から判断する。硬度等の腫瘍メトリクス732を、外部撮像(DWI,T2,MR弾性率計測法)、生検(OCT測定硬度、組織異方性、バイオセンサ、すなわち、直圧式測定)と連動して用いる場合は内部画像を用いて判定または推定する。または、病態も腫瘍モデル(血管質、組織の繊維形成)の特定に役立つ。最後に、術前診断情報を用いて各種検索判定基準をランク付けする。例えば、患者がすでに膠芽腫と診断されている場合、膠芽腫は主に前頭葉と側頭葉に限定されるため、検索判定基準は、これらの領域に位置する腫瘍に対応する保管データまたはデータベース(500)の過去の外科データに対して、より高い重み付けを加える。
最終結果746は、例えば、同じ選択外科手法、患者の関連結果、および術後画像をもつランク付け症例群であり、患者の結果は定量化され、最適値を重み付けランクに基づいて計算する。
さらなる実施形態では、器具の位置を各処置に対して追跡する場合、執刀医は各装置と、その症例に対して選択した器具の位置を見定める。このようにして、執刀医に、類似する症例やその手法と結果を通知する。
上記腫瘍モデルを用いる第2の方法では、執刀医は、被選択腫瘍切除の外科経路を、データベースの検索により腫瘍モデルを用いて予測選択するが、腫瘍モデルを用いない場合もある。腫瘍モデルにより予想結果が分かる場合もある。
外科経路を検索判定基準として用いる非限定的一例では、器具の経路と外科切除する予想腫瘍量について、データベースを検索して、類似の腫瘍、組織、重要な組織構造に対して採られた同様の手法を探す。この検索は上述と同様に行われ、ユーザ選択手法に最も適合するように行われる。
例えば、この場合の検索は、まず、予定した外科経路を保管データセットに先に保存した外科経路にマッチングすることからなる。各外科経路は、ベクトルセットとして表してもよい。この場合、1つのベクトルセットで外科経路全体を構成し、各ベクトルが外科経路の各セグメントを順次表す。上述した方向付けベクトル経路と保管データセットに保存した以前のものとの間の一致度は、ハミング距離またはレーベンシュタイン距離(参照「“Error detecting and error correcting code」(Bell System Technical Journal, 1950, 29(2):147−160))といった数学テクニックを用いて推定する。これらの数学論理によって、方向付けベクトル経路の各対の間の類似度がわかり、検索判定基準として用いることができる。検索を、予定した外科処置の推定量が保管データセットのものと一致する症例にさらに限定可能である。したがって、外科経路と腫瘍サイズとかなり高い一致度の以前の外科処置を執刀医に提示し、実際に外科処置を始める前に検討することができる。
本システムは、当該領域に特定の外科手法を行った処置セット746を提示し、ユーザは、画像と実際の症例(当該領域で用いた外科器具の動きと画像の記録)を閲覧して確認する。同様に、外科処置の結果を患者の結果に対して検索した場合、外科手法の経済的影響を考慮する。
一例では、限定はされないが、各外科器具はナビゲーションシステムによって一意に特定かつ追跡されるため、ある外科処置の各段階で用いる外科器具そのものを記録してもよい。また、各外科器具は、その資本コスト、使用ごとのコスト(例えば、器具に関わる廃棄可能物または消耗品)、その器具を使用する技術スタッフのコスト等のパラメータをさらに付加してもよい。こうすることで、1回の外科処置で用いるすべての器具、または、特定の器具のコスト合計を計算し、全器具の位置および時間情報とともに保存できる。こうした情報によって、外科チームや病院管理担当が様々な外科処置のコストを正確に計算することが容易になる。
術中分析および組織分析データベースの検索
図17に、術前画像(手術計画712の一環として)、術中画像710(全域画像、領域画像、ポイント画像)、術中病態716、術中処置検査714(例えば、電気生理学検査)を具体的に利用して、組織の差別化および治療における方針決定を促進する方法を示す。一患者または画像および/または病理が類似する複数の患者に行った以前の外科手術結果がアルゴリズム検索748に基づいて提示される750ように、メトリクス734に基づいてデータベース500を検索する。図17は、本システムの一実施形態を外科または治療指導の点から考慮した一実装例を示す。図の中央に、アクセスポート782と追跡外科器具784(生検装置、外科切除装置、または、ポイント撮像プローブ)を重畳した脳780の軸方向図を示す。
図17の図示では、図15に図示した腫瘍の多くが摘出され、腫瘍のごく一部が残存している。こうして、上述のシステムは最大の威力を発揮する。外科分野における最も大きな課題は、腫瘍辺縁において腫瘍を慎重に切除することである。外科器具、画像、病態をこのように追跡することで、関連付けた画像と病理結果をその有用性と予測性を最大限に駆使して用いることができ、これにより、患者腫瘍の各領域内での腫瘍位置と脳とをより確実に見分けることができる。
図17の図示では、図15に図示した腫瘍の多くが摘出され、腫瘍のごく一部が残存している。完全除去の遂行と正常組織損傷の最小化は、腫瘍切除において常に挑戦課題であり、この両最終目的の間のバランスをとることが求められる。外科手法と、使用器具と、病理や他の関連判定基準を追跡することで、本システムは、切除手技に遡及情報を付加する(例えば、特定の外科チームや処置に対しては綿密に、利用可能な全記録については広範囲に)ことで、外科方針決定を助長する。例えば、特定の腫瘍サイズ、腫瘍位置、神経線維位置、病理、患者別情報(年齢、ウィルス状態、遺伝子背景)では、メトリクスが類似する従前の症例群が関連付けられて存在する。これらの症例には、腫瘍辺縁の特定に慎重になり過ぎたために腫瘍辺縁が残り、その結果、残った腫瘍が視認される(例えば、MRIによって)症例が含まれ得る。別の症例では、辺縁特定が積極的過ぎたために認知障害を引き起こすこともある。各症例において、体積測定を重畳することで外科切除辺縁に関連するMRI腫瘍量等の術前画像、または辺縁における組織状態のラマンスペクトルのシグネチャ等の術中撮像結果を、辺縁に関連付けることができる。辺縁の主要繊維路への近接等の追加情報を辺縁に対して測定することで、神経損傷を引き起こす程の過度な近接を判定することも可能である。この情報を執刀医に提示すれば、上述した従前の類似性検索の提示による指導と同様に、このデータを基に、執刀医が辺縁切除を過度でもなく不十分でもない程度に行えるようにする。同様に、ポートの先端または外科開創器の先端等の外科器具と併せて圧力センサを用いることで、周囲の領域にかかる圧力の平均またはピークの測定が可能になる。ポートの位置決めや組織収縮範囲と位置に関する類似症例に関連付けた臨床結果を検索することで、特定の外科処置に対する許容ピーク圧力の閾値が分かる。
図18Aと18Bに、アクセスポートを下側に示す一実装例を示す。この図の左上には、エキソスコープ等の装置による映像スキャンで観察される複数種類の組織の表示800を示す。ここでは、多様な色やテクスチャーにより、複数種類の組織の外見を構成している。外見の異なる5つの別々の組織の島が、組織間の平面を表す線、血管、または神経線維とともに示されており、組織の光学的観察だけでは組織種を確実に区別するのは不可能である。
図18Cには、組織の島815を、アクセスポート782を介して調べるプローブ810が図示されている。一実装例では、このプローブはラマンプローブである。ラマンプローブにより得た関連組織スペクトルを、図19の「生体内画像データ」の850に周波数スペクトルで示している。ポート内およびビデオ画像における特定の部位は、ラマン撮像プローブ810の先端位置で追跡することで位置特定できる。この特定部位は、これに関連付けて、外科処置中に収集局所画像データまたは従前の画像検査による局所画像データが付加されている(この情報は、各種位置合わせ方法を介して位置合わせ可能)。この特定の部位には、さらに、外科処置中または従前の生体内外科スキャンで取得した関連領域画像データまたは体積撮像データが付加されている。
空間位置合わせが好適に行われると、他の撮像データに関連付けた追加のメトリクス、例えば、コントラスト取込み、DWI ADC値、または、他の組織の差別化または特徴付けに役立つメトリクス等を、特定のサンプリングポイント(またはプローブで輪郭特定した領域)に関連付けることができる。一例では、限定はされないが、ラマンデータ取得位置と同じ位置で測定したADC値に対応するDWI ADC画像の全領域を強調することで、図18Bに示すような再フォーマット化した画像を作成できる。ここで説明する画像強調は、DWI ADC画像ピクセルを上述した特定の値で選択的に色付けすることで実現される。
図18Bを参照して、アクセスポート782の下方に、映像スキャンによる表示805が図示されており、同じポート軌跡の下方に画像の上述した再フォーマット化して位置合わせした画像表示を表している。DWI ADC画像は、ポート下方の表示と一致させるために変換が必要であるため、位置合わせが必要となる。着目組織のこの表示では、組織の島は同様の外見と分類を有していることが分かる。
図19は、着目組織の特徴付けに多数の組織メトリクスを利用する方法と、類似のメトリクスで特徴づけられる類似組織種のデータベース検索に情報を利用する方法を示す図である。ランク付けした類似の組織種を、それぞれの全体画像セット、病理、患者情報に関連付け、医者に提示する。図19に示すように、これらの特徴は、現在調べている着目組織の差別化に役立つ。これは、「生体内画像データ」と題したボックスに850で示す。着目ポイントは、i)局所定量的データ(ラマンスペクトルのピーク間の比率、組織異方性等のポイント絶対量、上述のようなADC測定に基づく特定可能な判定できる組織密度)、ii)局所画像合体特徴セット(局所レベルの組織構造、iii)術中画像合体特徴セット(DWI、コントラストフロー等)、iv)術前画像合体特徴セット(DWI、コントラストフロー等を含む位置合わせデータ)等の異なるメトリクスまたは判定基準に関連付けることができる。これらのメトリクスは、図の「比較」860に示すように、類似性分析またはアルゴリズムに基づく類似組織のデータベース検索に用いることもできる。実際の比較のメカニズムは、図14Aと14Bに示されている。
データベースの検索は、上述した重み付けやランク付けと同様に行うことができる。いくつかの実施形態では、検索は、同じ患者の他の領域に行った測定を介して取得した診断用データに基づいて行われる。小さな外科ウィンドウの画像を介して大きな着目領域に外科処置を行う場合、執刀医が各組織領域間を次々と移動していくうちに、着目領域の全体像を俯瞰することができなくなる。
特定の領域を、保管データセットの以前に保存したデータと比較して上述したように調べると、調べた領域のいくつかが同一の処置中に保存され、簡単に呼び出すことができる。言い換えれば、検索したデータベースまたは保管データセットは、その時点で、元の保管データセットと、最近調査対象となったすべての新たな組織領域とで構成される。同じ検索アルゴリズムを用いることで、拡張データセットに対して新しいデータを検索できる。したがって、執刀医は、新たな組織領域を、以前に分析した組織領域に対して比較する可能性を探求できる。例えば、新たな組織領域のラマン分光データを、同じ患者の以前に分析した組織領域のラマン分光データと比較することができる。
執刀医はこの情報を用いて、調べている局所組織が隣接する組織に類似しているか、以前に確認した組織により類似しているかを調べることができ、また、他の画像メトリクスに基づいてそれらを差別化できる。したがって、以前の利用可能な情報を参照し、様々な組織メトリクスを用いて調べることができる。
上述の別の例では、術中画像と術前画像を組み合わせて、類似性メトリクスに基づいて病理タイプ群をより上手く特定することができる。
術中分析と組織分析データベースの検索
図20に、予想される結果を得るために、術後画像720、術後病理データ724、術後治療結果722を具体的に利用して、次の治療段階における方針決定を促進する別の実施形態を示す。図20に示すように、複数の組織メトリクスを着目組織の特徴付けに用い、類似メトリクスデータベース500上で特徴を特定した類似組織種のデータベース検索への情報の利用方法を、1つ以上のメトリクス736を用いて検索する(752)。これは、一患者、または、画像および/または病態および/または治療反応754が類似する複数の患者に行った以前の外科手術の結果を、アルゴリズム検索752に基づいて提示するように行われる。
図の中央に、腫瘍792と神経束が重畳された脳790の軸方向図を示す。この例では、腫瘍と脳組織を、全体スキャンまたは領域スキャンのどちらかを用いて、外科手術後に評価している。評価は手術直後に行われるか、または、手術後いずれかの時点で種々の間隔で行われる。また、この評価を、患者の反応、または、本明細書に記載するデータベースからのメトリクス(例えば、特定のフォローアップ撮像方針が、ある程度の腫瘍サイズ、位置、患者の年齢に対して提案される)に基づいて通知する。術後画像720を、領域別および脳全域において、腫瘍、腫瘍サイズ等の組織メトリクス、局所の繊維全量を評価するために用いる。さらに、術後病理データ724を取得し画像セットに位置合わせする。
さらに、術後結果722を、神経障害(運動機能反応、視野範囲、認識検査結果等)等の定量化可能なメトリクスを特定するために用いる。これらメトリクスの各々は、ソフトウェアシステムを用いてその一部または全体を計算し、上述したようにデータベースと比較する。例えば、具体的な画像メトリクス(DWI、ADC、コントラスト取込み)を有する脳の特定領域の特定残存腫瘍量と患者の年齢を、データベースにおいて類似のメトリクスに対して検索を行う、または、長期に渡る最良の結果を探す。検索とデータの表示は、第2の使用目的である手術計画ニングで示した場合と同様に行う。患者の治療に向けた次の臨床決定事項は、類似病状の検索と、それらの結果を現在の患者、その疾病の具体的特徴、および患者の既往歴と比較検討する同様の処理に基づいているため、基本的には同じプロセスである。
本発明の他に類をみない特徴は、腫瘍は本来異質であり、腫瘍の生態は治療に根本的な影響を与えるため、ポイントを絞った病理分析を領域治療の選択肢にリンクさせるべきであるという認識である。特定の着目領域にリンクさせた病理データによって、第2次の局所撮像(同一の処置において)、治療(同じ処置において)、第2次の撮像(次の処置において)、または治療(次の処置において)が指示される。特定のバイオマーカを選択し、それに対して、特定の画像ターゲットまたは特定の治療を選択する。これらのバイオマーカにおり、既存の治療または造影剤の一群からの選択が指示される。または、特定のターゲットを患者/腫瘍の組合せに対して開拓してもよい。したがって、特定の患者の治療(外科、放射線、化学療法)に対する反応によって、撮像、病理、より大きな患者結果データベースにおいて、さらなる治療が導き出される。
要約すると、本発明の多種多様な実施形態によると、術前画像、術中画像、病理結果を追跡することで、情報を元の診断にリンクさせることが可能なシステムが提供され、手術室でこの情報にアクセス可能となり、病理、外科、放射線科の間で情報の一本化が図れる。このようにして、実際の結果を、より有効な情報に基づく診断決定を支援するために将来活用することができる。今日、統合システムはまだ存在せず、そのため、放射線科医は、実際の結果から切り離されており、病理または放射線支援に用いることができる術中画像は、いかなる方法でも統合されていない。同様に、病理検査室では、サンプルを採取した着目箇所や、関連するすべての画像情報の提供が可能になる。病理診断は、サンプルを採取した背景がわかればより精度向上が図れると同時に、処理エラーに対する備えともなる(例えば、病理の相関性に対して完全に間違った撮像をすると、誤ったサンプルや、間違った着目領域からのサンプルを提供することになる)。
以下に述べるように、既存の解決策に関連する問題点の多くは、撮像と組織生検との間をしっかりと繋ぐことで対処できる。領域および局所画像、サンプルの生態、限局的かつ患者別の治療をこうしてよりしっかりと組み合わせると、既存の解決策に関連する以下の問題点に対処できる。既存の解決策では、個々の生検サンプルの部位やサンプル採取領域の生体内画像を追跡できない。既存の方法では、生検サンプル部位、重要な構造、または腫瘍辺縁位置に対応する患者生体内の仮想の「粘着点」や「地理的位置」を特定できない。既存の方法では、共通する術前と術中の生検部位をリンクできない。既存の方法では、組織診断に用いた同じ様式を用いて組織の術中撮像が行えない(例えば、外科切除サンプルを撮像したMRI DWIシステム)。既存の方法では、着目領域が小領域の場合、術中システムで局所サンプリングや撮像のための位置特定ができない。既存の方法では、共通の術前および術中の画像と病理報告をリンクする情報をデータベースで検索できないため、病院内のすべての科に方針決定を効率的に通知できない。既存の方法では、放射線科から部位別術中画像情報にリンクできない(これが可能になれば、共通の術前画像情報をこの情報の代表例である術中画像セット群にリンクさせることができる)。既存の方法では、放射線科医が部位別病理情報を画像にリンクできないため、逆に現在と将来の臨床診断を提供できない。既存の方法では、病理学医が従前または術中画像にアクセスできず、決定事項を効率的に通知できない。既存の解決策では、生体内・生体外の画像を共有できないため、臨床科の中で病理結果を確実に追跡することができない。既存の解決策では、抗体状態、遺伝子状態等の生検に特化した情報を用いることができず、術中画像または治療オプションを同一の処置内で上手くリンクできない、または、別の機会にリンクさせることができない。既存の解決策では、生体内・生体外を含む病理(術前、術中、術後)の包括的データベースを構築できず、それを、術前、計画、外科手術、または治療のいずれかで患者に使用可能なシステムにリンクすることができない。
上述した各具体的な実施形態は例示であって、様々に改変および別のものと代替可能であることは言うまでもない。さらに、請求項は本明細書に開示する特定の形態に限定されるものではなく、本発明の精神と範囲を逸脱しない、すべての改変、均等物、代替物を包含するものである。

Claims (16)

  1. コンピュータが実施する、局所組織の診断用測定を組織分析の保管データと相関させる方法であって、
    関心領域における組織サンプルについての生体内測定を含む、前記局所組織の分析を、診断装置を使用して実施する工程と、
    1つ以上の従前の局所組織分析に関連付けた局所組織診断用保管データと組織分析データにアクセスする工程と、
    予め選択した類似性判定基準にしたがって、前記1つ以上の局所組織の診断用測定と関連付けた前記局所組織の診断用データと、前記1つ以上の従前の局所組織分析と関連付けた前記局所組織診断用保管データとを比較する工程と、
    前記予め選択した類似性判定基準を満たす局所組織の診断用保管データを有する1つ以上の類似する従前の局所組織分析を特する工程と、
    前記1つ以上の類似する従前の局所組織分析と関連付けた組織分析データを提供する工程と、を含む方法であって、
    2つ以上の類似する従前の局所組織分析が特定され、
    予め選択されたランキング基準に従って類似する従前の局所組織分析に関連付けられる組織分析データをランク付けする工程、をさらに含む方法。
  2. 前記局所組織分析は、病理データを含む、請求項1に記載の方法。
  3. 前記従前の局所組織分析と関連付けた結果データにアクセスし、前記1つ以上の類似する従前の局所組織分析と関連付けた結果データを提供することをさらに含む、請求項1に記載の方法。
  4. 前記結果データは、時間依存性医療処置データから得られる異常または障害に関連付けた結果情報を含む、請求項3に記載の方法。
  5. 前記従前の局所組織分析と関連付けた結果データにアクセスする工程、および前記ランキング基準は結果データに基づく工程、をさらに含む、請求項1に記載の方法。
  6. 前記1つ以上の類似する従前の局所組織分析に関連付けた前記組織分析データは、前記従前の局所組織分析を行った医療施設によりランク付けされる、請求項1に記載の方法。
  7. 前記1つ以上の類似する従前の局所組織分析と関連付けた局所組織診断用保管データを提供することををさらに含む、請求項1に記載の方法。
  8. 前記1つ以上の局所組織分析は、局所組織診断測定と関連付けられる、請求項1に記載の方法。
  9. 前記診断用測定を組織サンプルに対して生体で行う、請求項8に記載の方法。
  10. 前記診断用測定に関連付けた光学様式は、光学撮像様式、ラマン分光、およびハイパースペクトル分析、からなるグループから選択される測定を含む、請求項9に記載の方法。
  11. 患者に関する追加情報を取得し、前記1つ以上の従前の局所組織分析に関連付けた複数の患者に関連する対応追加情報にアクセスする工程と、前記予め選択した類似性判定基準は、前記追加情報に関連付けた判定基準をさらに含むことと、をさらに含む、請求項1に記載の方法。
  12. 前記追加情報は、個体群統計情報、遺伝子情報、既往歴情報を含むグループから選択される、請求項11に記載の方法。
  13. 前記従前の局所組織分析の1つ以上は、患者に関連付けられる、請求項1に記載の方法。
  14. 前記局所組織診断用保管データおよび組織分析データは、データベースから取得される、請求項1に記載の方法。
  15. 前記データベースは、前記類似する従前の局所組織分析の1つ以上に関連付けた従前の位置データをさらに含み、前記従前の位置データは、所定の方向を有する患者参照フレームに空間的に位置合わせされ、
    前記患者の少なくとも一部位の医用画像を取得して前記医用画像をユーザーインターフェースに表示し、
    関連付けた従前の位置データをもつ類似する従前の局所組織分析の各々に対して、前記従前の位置データを前記医用画像に空間的に位置合わせし、
    前記類似する従前の局所組織分析に関連付けた参照マーカを表示することをさらに含む、請求項14に記載の方法。
  16. 関連付けた従前の位置データをもつ少なくとも1つの従前の局所組織分析は、前記患者に関連付けられる、請求項15に記載の方法。
JP2015561868A 2013-03-15 2014-03-14 外科データのイントラモーダル同期化 Active JP6611612B2 (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201361801746P 2013-03-15 2013-03-15
US201361800155P 2013-03-15 2013-03-15
US201361800911P 2013-03-15 2013-03-15
US201361801282P 2013-03-15 2013-03-15
US201361798867P 2013-03-15 2013-03-15
US61/800,155 2013-03-15
US61/801,746 2013-03-15
US61/800,911 2013-03-15
US61/798,867 2013-03-15
US61/801,282 2013-03-15
US201361818255P 2013-05-01 2013-05-01
US61/818,255 2013-05-01
US201461924993P 2014-01-08 2014-01-08
US61/924,993 2014-01-08
PCT/CA2014/050269 WO2014139021A1 (en) 2013-03-15 2014-03-14 Intramodal synchronization of surgical data

Publications (3)

Publication Number Publication Date
JP2016518148A JP2016518148A (ja) 2016-06-23
JP2016518148A5 JP2016518148A5 (ja) 2017-04-13
JP6611612B2 true JP6611612B2 (ja) 2019-11-27

Family

ID=51535738

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015561868A Active JP6611612B2 (ja) 2013-03-15 2014-03-14 外科データのイントラモーダル同期化
JP2016574308A Pending JP2017514637A (ja) 2013-03-15 2014-09-15 医用イメージングインフォマティクスのためのシステム及び方法
JP2019149517A Pending JP2019213904A (ja) 2013-03-15 2019-08-17 医用イメージングインフォマティクスのためのシステム及び方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016574308A Pending JP2017514637A (ja) 2013-03-15 2014-09-15 医用イメージングインフォマティクスのためのシステム及び方法
JP2019149517A Pending JP2019213904A (ja) 2013-03-15 2019-08-17 医用イメージングインフォマティクスのためのシステム及び方法

Country Status (11)

Country Link
US (5) US10687897B2 (ja)
EP (1) EP2967347B1 (ja)
JP (3) JP6611612B2 (ja)
KR (1) KR102346548B1 (ja)
CN (2) CN105163684B (ja)
AU (2) AU2014231343B2 (ja)
CA (2) CA2903088C (ja)
HK (1) HK1216707A1 (ja)
MY (1) MY174728A (ja)
SG (2) SG11201507611UA (ja)
WO (1) WO2014139021A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022139321A1 (ko) * 2020-12-24 2022-06-30 (주)제이엘케이 인공지능 기반의 전립선암 병리 영상 레포트 시스템

Families Citing this family (231)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10433917B2 (en) * 2009-05-29 2019-10-08 Jack Wade System and method for enhanced data analysis with video enabled software tools for medical environments
US20240081611A1 (en) * 2012-05-20 2024-03-14 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11871901B2 (en) * 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US10292677B2 (en) 2013-03-14 2019-05-21 Volcano Corporation Endoluminal filter having enhanced echogenic properties
US11278353B2 (en) 2016-03-16 2022-03-22 Synaptive Medical Inc. Trajectory alignment system and methods
MY174728A (en) * 2013-03-15 2020-05-11 Synaptive Medical Inc Intramodal synchronization of surgical data
US10149618B1 (en) 2014-03-12 2018-12-11 The Board Of Regents Of The University Of Texas System Subdural electrode localization and visualization using parcellated, manipulable cerebral mesh models
EP3182875B1 (en) * 2014-08-23 2021-04-07 Intuitive Surgical Operations, Inc. Systems for display of pathological data in an image guided procedure
EP3197384A4 (en) * 2014-09-23 2018-05-16 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
WO2016149794A1 (en) * 2015-03-26 2016-09-29 Surgical Safety Technologies Inc. Operating room black-box device, system, method and computer readable medium
WO2016046710A1 (en) * 2014-09-24 2016-03-31 Koninklijke Philips N.V. Endoluminal filter having enhanced echogenic properties
CA2964512C (en) * 2014-10-14 2018-04-24 Synaptive Medical (Barbados) Inc. Patient reference tool
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10162935B2 (en) 2014-11-26 2018-12-25 Koninklijke Philips N.V. Efficient management of visible light still images and/or video
DE102015201361A1 (de) * 2015-01-27 2016-07-28 Siemens Healthcare Gmbh Datensystem zum Identifizieren von Radiologiedatensätzen
AU2016214922B2 (en) 2015-02-02 2019-07-25 Stryker European Operations Limited Methods and systems for characterizing tissue of a subject
GB2536274B (en) * 2015-03-12 2019-10-16 Mirada Medical Ltd Method and apparatus for assessing image registration
WO2016145506A1 (en) * 2015-03-17 2016-09-22 Synaptive Medical (Barbados) Inc. Method and device for registering surgical images
WO2016200887A1 (en) 2015-06-09 2016-12-15 Intuitive Surgical Operations, Inc. Video content searches in a medical context
WO2016201123A1 (en) * 2015-06-09 2016-12-15 Intuitive Surgical Operations, Inc. Configuring surgical system with surgical procedures atlas
DE102015213935B4 (de) * 2015-07-23 2019-02-14 Siemens Healthcare Gmbh Medizinische Bildgebungsvorrichtung mit einer Positionierungseinheit sowie ein Verfahren zu einem Bestimmen einer Position auf einer Positionierungsfläche
US11638615B2 (en) * 2015-08-30 2023-05-02 Asensus Surgical Us, Inc. Intelligent surgical tool control system for laparoscopic surgeries
DE112015006869T5 (de) 2015-09-02 2018-06-21 Synaptive Medical (Barbados) Inc. Farbkontrastverstärkung von medizinischen Bildern mittels nicht-linearer Farbzuordnung
WO2017042396A1 (en) * 2015-09-10 2017-03-16 F. Hoffmann-La Roche Ag Informatics platform for integrated clinical care
WO2017051229A1 (en) * 2015-09-23 2017-03-30 Novadaq Technologies Inc. Methods and systems for management of data derived from medical imaging
JP6566420B2 (ja) * 2015-10-02 2019-08-28 国立大学法人 東京大学 手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラム
CA3003058A1 (en) * 2015-10-29 2017-05-04 Sharp Fluidics Llc Systems and methods for data capture in an operating room
WO2017083768A1 (en) 2015-11-12 2017-05-18 Jarc Anthony Michael Surgical system with training or assist functions
US10762631B2 (en) 2015-12-18 2020-09-01 Koninklijke Philips N.V. Apparatus and method for characterizing a tissue of a subject
WO2017175315A1 (ja) * 2016-04-05 2017-10-12 株式会社島津製作所 放射線画像診断装置、放射線画像と分析結果との関連付け方法および放射線画像診断システム
US11515030B2 (en) 2016-06-23 2022-11-29 Siemens Healthcare Gmbh System and method for artificial agent based cognitive operating rooms
JP2019527073A (ja) 2016-07-29 2019-09-26 ノバダック テクノロジーズ ユーエルシー 機械学習を用いた、対象の組織を特徴付けるための方法およびシステム
CN110248618B (zh) 2016-09-09 2024-01-09 莫比乌斯成像公司 用于在计算机辅助手术中显示患者数据的方法及系统
CN108074259A (zh) * 2016-11-14 2018-05-25 镱钛科技股份有限公司 植入物环景影像检视方法及其系统
CN106777895A (zh) * 2016-11-23 2017-05-31 北京汉博信息技术有限公司 标准化手术流程数据生成方法
US11842030B2 (en) 2017-01-31 2023-12-12 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
CA3028792C (en) * 2017-02-15 2024-03-12 Synaptive Medical (Barbados) Inc. Sensored surgical tool and surgical intraoperative tracking and imaging system incorporating same
US20180235701A1 (en) * 2017-02-21 2018-08-23 General Electric Company Systems and methods for intervention guidance using pre-operative planning with ultrasound
US10251709B2 (en) * 2017-03-05 2019-04-09 Samuel Cho Architecture, system, and method for developing and robotically performing a medical procedure activity
EP3618747A1 (en) * 2017-05-04 2020-03-11 Boston Scientific Scimed, Inc. Medical system and related methods
US11065062B2 (en) * 2017-05-17 2021-07-20 Covidien Lp Systems and methods of tracking and analyzing use of medical instruments
JPWO2018220925A1 (ja) * 2017-05-31 2019-06-27 オリンパス株式会社 情報処理システムおよび情報処理装置
US10878966B2 (en) * 2017-08-13 2020-12-29 Theator inc. System and method for analysis and presentation of surgical procedure videos
US11288803B2 (en) * 2017-10-09 2022-03-29 Koninklijke Philips N.V. Ablation result validation system
US10835344B2 (en) 2017-10-17 2020-11-17 Verily Life Sciences Llc Display of preoperative and intraoperative images
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11026687B2 (en) 2017-10-30 2021-06-08 Cilag Gmbh International Clip applier comprising clip advancing systems
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US10980560B2 (en) 2017-10-30 2021-04-20 Ethicon Llc Surgical instrument systems comprising feedback mechanisms
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
DE102017220532B4 (de) * 2017-11-17 2022-06-15 Siemens Healthcare Gmbh Verfahren und Bediensystem zur Steuerung einer Medizintechnikeinrichtung mit einer bewegbaren Komponente
DE102017221924B3 (de) * 2017-12-05 2019-05-02 Siemens Healthcare Gmbh Verfahren zur Fusionierung eines Analysedatensatzes mit einem Bilddatensatz, Positionierungseinrichtung und Computerprogramm
US10593051B2 (en) 2017-12-20 2020-03-17 International Business Machines Corporation Medical image registration guided by target lesion
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US10898622B2 (en) 2017-12-28 2021-01-26 Ethicon Llc Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device
US20190201130A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Communication of data where a surgical network is using context of the data and requirements of a receiving system / user to influence inclusion or linkage of data and metadata to establish continuity
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US20190206564A1 (en) * 2017-12-28 2019-07-04 Ethicon Llc Method for facility data collection and interpretation
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US20190201139A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Communication arrangements for robot-assisted surgical platforms
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11612408B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Determining tissue composition via an ultrasonic system
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11213359B2 (en) 2017-12-28 2022-01-04 Cilag Gmbh International Controllers for robot-assisted surgical platforms
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11056244B2 (en) * 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
RU183278U1 (ru) * 2017-12-28 2018-09-17 Федеральное государственное бюджетное учреждение науки Институт общей физики им. А.М. Прохорова Российской академии наук (ИОФ РАН) Устройство для нейрохирургической аспирации со спектроскопическим и электрофизиологическим контролем
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
CN110547867A (zh) * 2018-05-31 2019-12-10 上海联影医疗科技有限公司 机械臂的控制方法、装置、设备、存储介质和系统
EP3737318A1 (en) 2018-01-12 2020-11-18 Bono, Peter L. Robotic surgical control system
US10517681B2 (en) * 2018-02-27 2019-12-31 NavLab, Inc. Artificial intelligence guidance system for robotic surgery
US11701162B2 (en) 2018-03-08 2023-07-18 Cilag Gmbh International Smart blade application for reusable and disposable devices
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11839396B2 (en) 2018-03-08 2023-12-12 Cilag Gmbh International Fine dissection mode for tissue classification
US10213274B1 (en) * 2018-03-12 2019-02-26 King Saud University Method of tracking and navigation for a dental instrument
US11657087B2 (en) * 2018-03-19 2023-05-23 Verily Life Sciences Llc Surgical video retrieval based on preoperative images
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11166716B2 (en) 2018-03-28 2021-11-09 Cilag Gmbh International Stapling instrument comprising a deactivatable lockout
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
CN108597579B (zh) * 2018-05-11 2022-10-14 北京爱康宜诚医疗器材有限公司 手术时间的确定方法及装置、存储介质、电子装置
JP7491852B2 (ja) * 2018-06-18 2024-05-28 コーニンクレッカ フィリップス エヌ ヴェ 医用イメージングシステムのフィールドサービスのための部品同時交換推奨システム
US20200022657A1 (en) * 2018-07-18 2020-01-23 General Electric Company Minimally invasive procedure analysis and review system and method
US11705238B2 (en) * 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
WO2020033319A1 (en) * 2018-08-08 2020-02-13 Ceevra, Inc. System and method for identifying comparable cases in preoperative surgical planning
US11116587B2 (en) * 2018-08-13 2021-09-14 Theator inc. Timeline overlay on surgical video
EP3844710A4 (en) * 2018-08-28 2022-06-01 Technion Research & Development Foundation Limited CORRECTION OF MOTION-RELATED DISTORTIONS IN RADIOGRAPHIC SCANS
CN109259861A (zh) * 2018-08-30 2019-01-25 北京爱康宜诚医疗器材有限公司 确定手术策略的方法及装置、存储介质和处理器
KR102182357B1 (ko) * 2018-10-25 2020-11-24 고려대학교 산학협력단 Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법
CN109446192B (zh) * 2018-11-09 2021-06-29 贵州医渡云技术有限公司 数据测试方法及装置
JP7192876B2 (ja) * 2018-11-19 2022-12-20 株式会社島津製作所 診断画像システムおよび診断画像表示方法
WO2020123671A1 (en) * 2018-12-11 2020-06-18 Project Moray, Inc. Hybrid-dimensional, augmented reality, and/or registration of user interface and simulation systems for robotic catheters and other uses
US20220068496A1 (en) * 2018-12-20 2022-03-03 Australian Institute of Robotic Orthopaedics Pty Ltd Intelligent tissue classifier of bone and soft tissue
US20200205773A1 (en) * 2018-12-28 2020-07-02 UltraDiagnostics, Inc. Ultrasound imaging system
US11107213B2 (en) * 2018-12-28 2021-08-31 Biosense Webster (Israel) Ltd. Correcting medical scans
EP3677185A1 (en) * 2019-01-03 2020-07-08 Koninklijke Philips N.V. Calibrating radiological data based on cell distribution
CN113382691A (zh) * 2019-02-05 2021-09-10 史密夫和内修有限公司 用于膝关节置换术程序的基于算法的优化
WO2020165130A1 (en) * 2019-02-15 2020-08-20 Koninklijke Philips N.V. Mapping pathology and radiology entities
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11751872B2 (en) 2019-02-19 2023-09-12 Cilag Gmbh International Insertable deactivator element for surgical stapler lockouts
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11291445B2 (en) 2019-02-19 2022-04-05 Cilag Gmbh International Surgical staple cartridges with integral authentication keys
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
JP2022520701A (ja) 2019-02-21 2022-04-01 シアター・インコーポレイテッド 手術ビデオの解析のためのシステム及び方法
US20200273577A1 (en) 2019-02-21 2020-08-27 Theator inc. System for updating a predicted outcome
US10957043B2 (en) * 2019-02-28 2021-03-23 Endosoftllc AI systems for detecting and sizing lesions
US11210790B1 (en) * 2019-03-05 2021-12-28 4Qimaging, Llc System and method for outcome-specific image enhancement
CN110135508B (zh) * 2019-05-21 2022-11-29 腾讯科技(深圳)有限公司 模型训练方法、装置、电子设备及计算机可读存储介质
WO2020243493A1 (en) * 2019-05-31 2020-12-03 Intuitive Surgical Operations, Inc. Systems and methods for detecting tissue contact by an ultrasound probe
DE102019208355A1 (de) * 2019-06-07 2020-12-10 Siemens Healthcare Gmbh Verfahren und System zur Navigationsunterstützung einer Person zur Navigation bezüglich eines Resektats, Computerprogramm und elektronisch lesbarer Datenträger
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
FR3095332B1 (fr) * 2019-06-27 2023-07-21 Quantum Surgical Méthode de planification d’une ablation de tissus basée sur l’apprentissage profond
TW202105406A (zh) * 2019-07-15 2021-02-01 美商外科劇院股份有限公司 用於推薦手術程序之參數的系統及方法
US11830192B2 (en) 2019-07-31 2023-11-28 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for region detection in tissue sections using image registration
KR102291824B1 (ko) * 2019-08-16 2021-08-24 서울여자대학교 산학협력단 평균 골격 모델을 이용한 골격 수술 평가 방법
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
CN112397180B (zh) * 2019-08-19 2024-05-07 台北医学大学 手术影像的智能标记系统及其方法
KR20220082914A (ko) * 2019-10-29 2022-06-17 고쿠리츠켄큐카이하츠호진 고쿠리츠쥰칸키뵤 겐큐센터 뇌경색 치료 지원 시스템
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
EP3866111A1 (en) * 2020-02-17 2021-08-18 Koninklijke Philips N.V. Latency compensation for image processing devices
CN111340821B (zh) * 2020-02-20 2020-12-08 太原理工大学 一种基于模块连接的大脑结构网络的偏测性检测方法
CN111281540B (zh) * 2020-03-09 2021-06-04 北京航空航天大学 基于虚实融合的骨科微创术中实时可视化导航系统
US11224485B2 (en) 2020-04-05 2022-01-18 Theator inc. Image analysis for detecting deviations from a surgical plane
US11508070B2 (en) * 2020-04-30 2022-11-22 Medtronic Navigation, Inc. Method and apparatus to classify structures in an image
US11682187B2 (en) 2020-04-30 2023-06-20 Medtronic Navigation, Inc. Method and apparatus to classify structures in an image
CN111613318A (zh) * 2020-05-12 2020-09-01 上海上实龙创智慧能源科技股份有限公司 一种用于远程手术的系统和方法
EP3910645A1 (en) * 2020-05-13 2021-11-17 Siemens Healthcare GmbH Image retrieval
EP4172742A2 (en) * 2020-06-30 2023-05-03 Intuitive Surgical Operations, Inc. Systems and methods for tag-based instrument control
US20220020219A1 (en) * 2020-07-15 2022-01-20 Orthosoft Ulc Augmented reality bone landmark display
DE102020211843A1 (de) * 2020-09-22 2022-03-24 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Analyse von Histopathologiebilddaten
US20220104910A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Monitoring of user visual gaze to control which display system displays the primary information
CN112380207A (zh) * 2020-10-20 2021-02-19 哈尔滨医科大学 一种肝癌介入规划信息化系统
US11989831B1 (en) * 2020-11-19 2024-05-21 Neutrace Inc. User-interface for visualizing electro-anatomical data with selective control for exposing metrics
US20240008845A1 (en) * 2020-12-01 2024-01-11 Simhawk Ltd. Ultrasound simulation system
US20220238203A1 (en) * 2021-01-26 2022-07-28 Biosense Webster (Israel) Ltd. Adaptive navigation and registration interface for medical imaging
CN112908453A (zh) * 2021-02-09 2021-06-04 京东方科技集团股份有限公司 数据处理方法、装置、设备和介质
EP4104787A1 (en) * 2021-06-15 2022-12-21 Cilag GmbH International Method of using imaging devices in surgery
US20230013884A1 (en) * 2021-07-14 2023-01-19 Cilag Gmbh International Endoscope with synthetic aperture multispectral camera array
DE102021120380A1 (de) * 2021-08-05 2023-02-09 Aesculap Ag Medizintechnisches System und Verfahren zum Bereitstellen eines Versorgungsvorschlags
US20230083538A1 (en) 2021-09-15 2023-03-16 Globus Medical, Inc. Robot surgical platform for cranial surgery
TWI792761B (zh) * 2021-12-10 2023-02-11 國立成功大學 氣管插管影像的處理方法與系統、以及氣管插管的成效評量方法
WO2023114470A1 (en) * 2021-12-16 2023-06-22 University Of Miami Augmented and mixed reality incorporating pathology results in surgical settings
DE102021134276A1 (de) * 2021-12-22 2023-06-22 Karl Storz Se & Co. Kg Medizinische Vorrichtung und Verfahren zur Untersuchung eines organischen Gewebes
TWI832163B (zh) * 2022-02-18 2024-02-11 常德醫媒賦能股份有限公司 醫材搜尋比較系統及其方法
EP4287200A1 (en) * 2022-06-01 2023-12-06 Koninklijke Philips N.V. Synchronizing audiovisual data and medical data
TWI811013B (zh) * 2022-07-12 2023-08-01 林義雄 醫療決策修正方法

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5452723A (en) 1992-07-24 1995-09-26 Massachusetts Institute Of Technology Calibrated spectrographic imaging
US6112750A (en) 1998-03-24 2000-09-05 International Business Machines Corporation Method and system for assessing risks and prognoses of a given course of medical treatment
US6390097B1 (en) 1998-03-24 2002-05-21 International Business Machines Corporation Method and system for providing artificial intelligence for planning and risk assessment of surgical paths
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
DE19946429A1 (de) * 1999-09-28 2001-04-05 Stefan Vilsmeier Kontinuierliche Erfassung und Analyse von Gewebeveränderungen
US6835572B1 (en) 1999-10-18 2004-12-28 Institute For Magnetic Resonance Research Magnetic resonance spectroscopy of breast biopsy to determine pathology, vascularization and nodal involvement
US6611846B1 (en) 1999-10-30 2003-08-26 Medtamic Holdings Method and system for medical patient data analysis
US20040078236A1 (en) * 1999-10-30 2004-04-22 Medtamic Holdings Storage and access of aggregate patient data for analysis
US6707476B1 (en) 2000-07-05 2004-03-16 Ge Medical Systems Information Technologies, Inc. Automatic layout selection for information monitoring system
EP1301118B1 (en) 2000-07-14 2006-09-06 Xillix Technologies Corp. Compact fluorescence endoscopy video system
JP2002107366A (ja) * 2000-10-02 2002-04-10 Hitachi Ltd 診断支援システム
US20040243147A1 (en) 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
JP2005509218A (ja) 2001-11-02 2005-04-07 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド 質を堅持するための患者データマイニング
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US20040009459A1 (en) * 2002-05-06 2004-01-15 Anderson James H. Simulation system for medical procedures
US8355773B2 (en) 2003-01-21 2013-01-15 Aesculap Ag Recording localization device tool positional parameters
US7381183B2 (en) 2003-04-21 2008-06-03 Karl Storz Development Corp. Method for capturing and displaying endoscopic maps
US20050054895A1 (en) 2003-09-09 2005-03-10 Hoeg Hans David Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
US20080232655A1 (en) * 2003-11-13 2008-09-25 Koninklijke Philips Electronic, N.V. Apparatus and Method for Assisting the Diagnostic Evaluation of Images
US8548822B2 (en) 2003-12-19 2013-10-01 Stryker Leibinger Gmbh & Co., Kg Reactive workflow system and method
WO2005072825A1 (en) * 2004-01-20 2005-08-11 University Of Florida Research Foundation, Inc. Radiation therapy system using interior-point methods and convex models for intensity modulated fluence map optimization
JP2007520278A (ja) * 2004-01-26 2007-07-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 例に基づく診断決定支援装置及び方法
JP4389011B2 (ja) 2004-04-07 2009-12-24 国立大学法人名古屋大学 医用レポート作成装置、医用レポート作成方法及びそのプログラム
DE102004049258B4 (de) 2004-10-04 2007-04-26 Universität Tübingen Vorrichtung, Verfahren zur Steuerung von operationsunterstützenden medizinischen Informationssystemen und digitales Speichermedium
US9387010B2 (en) 2004-10-28 2016-07-12 Nico Corporation Surgical access assembly and method of using same
US7568619B2 (en) 2004-12-15 2009-08-04 Alcon, Inc. System and method for identifying and controlling ophthalmic surgical devices and components
GB0504172D0 (en) 2005-03-01 2005-04-06 King S College London Surgical planning
JP2006288612A (ja) * 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
US7831293B2 (en) * 2005-05-10 2010-11-09 Advanced Clinical Solutions, Inc. Method of defining a biological target for treatment
US8398541B2 (en) 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US7756309B2 (en) * 2005-07-27 2010-07-13 Bioimagene, Inc. Method and system for storing, indexing and searching medical images using anatomical structures of interest
US7787699B2 (en) 2005-08-17 2010-08-31 General Electric Company Real-time integration and recording of surgical image data
JP2007128302A (ja) * 2005-11-04 2007-05-24 Konica Minolta Medical & Graphic Inc 医療情報システム及び医療情報提供方法
US7518619B2 (en) * 2005-11-07 2009-04-14 General Electric Company Method and apparatus for integrating three-dimensional and two-dimensional monitors with medical diagnostic imaging workstations
US8010181B2 (en) 2006-02-16 2011-08-30 Catholic Healthcare West System utilizing radio frequency signals for tracking and improving navigation of slender instruments during insertion in the body
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US8060181B2 (en) 2006-04-07 2011-11-15 Brainlab Ag Risk assessment for planned trajectories
JP4960024B2 (ja) 2006-06-07 2012-06-27 オリンパスメディカルシステムズ株式会社 医療画像管理方法ならびにそれを利用した医療画像管理装置
US8160676B2 (en) * 2006-09-08 2012-04-17 Medtronic, Inc. Method for planning a surgical procedure
JP4218772B2 (ja) 2007-02-16 2009-02-04 国立大学法人名古屋大学 画像診断支援装置
US20080235052A1 (en) * 2007-03-19 2008-09-25 General Electric Company System and method for sharing medical information between image-guided surgery systems
JP5128161B2 (ja) * 2007-03-30 2013-01-23 富士フイルム株式会社 画像診断支援装置及びシステム
CN101675455B (zh) 2007-04-26 2016-11-09 皇家飞利浦电子股份有限公司 外科流程的风险指示
AU2008310577A1 (en) * 2007-10-12 2009-04-16 Patientslikeme, Inc. Self-improving method of using online communities to predict health-related outcomes
US7942829B2 (en) * 2007-11-06 2011-05-17 Eigen, Inc. Biopsy planning and display apparatus
JP5026939B2 (ja) * 2007-12-04 2012-09-19 富士フイルム株式会社 画像処理装置およびそのプログラム
JP4969480B2 (ja) * 2008-02-21 2012-07-04 株式会社リコー 画像形成装置、情報処理方法、及び情報処理プログラム
US20090326336A1 (en) 2008-06-25 2009-12-31 Heinz Ulrich Lemke Process for comprehensive surgical assist system by means of a therapy imaging and model management system (TIMMS)
JP2010082001A (ja) * 2008-09-29 2010-04-15 Toshiba Corp 画像表示装置
US20100088117A1 (en) 2008-10-02 2010-04-08 Siemens Medical Solutions Usa, Inc. Multi-Mode Medical Data Reporting System
US20130338479A1 (en) * 2008-12-19 2013-12-19 Universidad De Cantabria Apparatus And Method For Surgical Instrument With Integral Automated Tissue Classifier
CN101477706B (zh) * 2008-12-19 2010-09-15 天津工业大学 基于医用图像的模拟手术规划方法
US8126736B2 (en) * 2009-01-23 2012-02-28 Warsaw Orthopedic, Inc. Methods and systems for diagnosing, treating, or tracking spinal disorders
WO2010143119A2 (en) * 2009-06-10 2010-12-16 Koninklijke Philips Electronics N.V. Algorithm for photonic needle console
WO2011011540A2 (en) 2009-07-21 2011-01-27 Carexgen, Inc Cloud-based healthcare information exchange
EP2461745A2 (en) * 2009-08-05 2012-06-13 University Of South Florida Method of rapidly visualizing essential neural pathways
JP5308973B2 (ja) 2009-09-16 2013-10-09 富士フイルム株式会社 医用画像情報表示装置および方法並びにプログラム
US8311791B1 (en) * 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
US9014780B2 (en) * 2009-11-20 2015-04-21 Koninklijke Philips N.V. Image-based biopsy guidance method
JP2011147593A (ja) * 2010-01-21 2011-08-04 Mitsubishi Electric Corp 放射線治療支援システム
US9044142B2 (en) 2010-03-12 2015-06-02 Carl Zeiss Meditec Ag Surgical optical systems for detecting brain tumors
JP5618399B2 (ja) 2010-03-31 2014-11-05 黒崎播磨株式会社 施工装置及びそれを用いた施工方法
JP5792282B2 (ja) 2010-04-14 2015-10-07 コーニンクレッカ フィリップス エヌ ヴェ 神経外科手術を計画するためのシステム及び方法
EP2584990B1 (en) 2010-06-24 2019-04-24 UC-Care Ltd. Focused prostate cancer treatment system
US8768029B2 (en) 2010-10-20 2014-07-01 Medtronic Navigation, Inc. Selected image acquisition technique to optimize patient model construction
US9171369B2 (en) * 2010-10-26 2015-10-27 The Johns Hopkins University Computer-aided detection (CAD) system for personalized disease detection, assessment, and tracking, in medical imaging based on user selectable criteria
US9275456B2 (en) * 2010-10-29 2016-03-01 The Johns Hopkins University Image search engine
US9814442B2 (en) 2011-01-17 2017-11-14 Koninklijke Philips N.V. System and method for needle deployment detection in image-guided biopsy
US9875339B2 (en) 2011-01-27 2018-01-23 Simbionix Ltd. System and method for generating a patient-specific digital image-based model of an anatomical structure
US20120283574A1 (en) * 2011-05-06 2012-11-08 Park Sun Young Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback
MX345282B (es) * 2011-06-27 2017-01-24 Koninklijke Philips Nv Metodo de marcado anatomico de hallazgos en datos de imagenes.
JP2013012025A (ja) * 2011-06-29 2013-01-17 Fujifilm Corp 診療支援システムおよび方法、並びに、プログラム
DK2736465T3 (en) 2011-07-28 2018-08-06 Wavelight Gmbh DEVICE FOR HELP IN PREPARING A HUMAN EYE OPERATION
US20130030499A1 (en) 2011-07-28 2013-01-31 The Regents Of The University Of California Method for deep brain stimulation targeting based on brain connectivity
JP5972570B2 (ja) 2011-12-27 2016-08-17 東芝メディカルシステムズ株式会社 医用画像表示装置及び医用画像保管システム
US20140108983A1 (en) 2012-01-22 2014-04-17 Karen Ferguson Graphical system for collecting, presenting and using medical data
US9295449B2 (en) 2012-01-23 2016-03-29 Ultrasonix Medical Corporation Landmarks for ultrasound imaging
WO2013141974A1 (en) 2012-02-08 2013-09-26 Convergent Life Sciences, Inc. System and method for using medical image fusion
US9439712B2 (en) * 2012-07-12 2016-09-13 Covidien Lp Heat-distribution indicators, thermal zone indicators, electrosurgical systems including same and methods of directing energy to tissue using same
CA2878861A1 (en) 2012-07-12 2014-01-16 Ao Technology Ag Method for generating a graphical 3d computer model of at least one anatomical structure in a selectable pre-, intra-, or postoperative status
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US20140148816A1 (en) 2012-11-26 2014-05-29 Michael W. McDONALD Surgery port placement system and related methods
EP2929510A1 (en) 2012-12-10 2015-10-14 The Cleveland Clinic Foundation Image fusion with automated compensation for brain deformation
US10022520B2 (en) 2012-12-17 2018-07-17 Nico Corporation Surgical access system
JP5859147B2 (ja) 2013-01-25 2016-02-10 三菱電機株式会社 ビット尤度演算装置およびビット尤度演算方法
MY174728A (en) * 2013-03-15 2020-05-11 Synaptive Medical Inc Intramodal synchronization of surgical data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022139321A1 (ko) * 2020-12-24 2022-06-30 (주)제이엘케이 인공지능 기반의 전립선암 병리 영상 레포트 시스템

Also Published As

Publication number Publication date
KR20170034349A (ko) 2017-03-28
US20200383730A1 (en) 2020-12-10
KR102346548B1 (ko) 2021-12-31
CN105163684A (zh) 2015-12-16
US11786310B2 (en) 2023-10-17
AU2014386694B2 (en) 2020-02-06
AU2014231343A1 (en) 2015-11-05
CN105163684B (zh) 2018-02-02
US20210153943A1 (en) 2021-05-27
CA2942417A1 (en) 2015-09-17
EP2967347A1 (en) 2016-01-20
SG11201507611UA (en) 2015-10-29
MY174728A (en) 2020-05-11
WO2014139021A1 (en) 2014-09-18
CN106232047A (zh) 2016-12-14
US20160354155A1 (en) 2016-12-08
HK1216707A1 (zh) 2016-12-02
JP2016518148A (ja) 2016-06-23
AU2014231343B2 (en) 2019-01-24
JP2017514637A (ja) 2017-06-08
EP2967347B1 (en) 2023-09-06
US11628011B2 (en) 2023-04-18
CN106232047B (zh) 2019-10-11
US10687897B2 (en) 2020-06-23
EP2967347A4 (en) 2017-04-26
US20160067007A1 (en) 2016-03-10
US10660705B2 (en) 2020-05-26
CA2903088C (en) 2022-03-08
CA2942417C (en) 2018-09-18
US20170245940A1 (en) 2017-08-31
US10959779B2 (en) 2021-03-30
SG10201707562PA (en) 2017-11-29
JP2019213904A (ja) 2019-12-19
AU2014386694A1 (en) 2016-10-13
CA2903088A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
US11786310B2 (en) Intermodal synchronization of surgical data
CA2957091C (en) System and method for collection, storage and management of medical data
US10390892B2 (en) System and methods for updating patient registration during surface trace acquisition
US10111717B2 (en) System and methods for improving patent registration
José Estépar et al. Towards scarless surgery: an endoscopic ultrasound navigation system for transgastric access procedures
Kral et al. Navigated surgery at the lateral skull base and registration and preoperative imagery: experimental results
EP3116435B1 (en) System and method for health imaging informatics
US20220354579A1 (en) Systems and methods for planning and simulation of minimally invasive therapy
Wu et al. Process analysis and application summary of surgical navigation system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180829

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191029

R150 Certificate of patent or registration of utility model

Ref document number: 6611612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250