JP6883222B2 - 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム - Google Patents
画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム Download PDFInfo
- Publication number
- JP6883222B2 JP6883222B2 JP2018527403A JP2018527403A JP6883222B2 JP 6883222 B2 JP6883222 B2 JP 6883222B2 JP 2018527403 A JP2018527403 A JP 2018527403A JP 2018527403 A JP2018527403 A JP 2018527403A JP 6883222 B2 JP6883222 B2 JP 6883222B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- matching
- brain
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 112
- 238000003672 processing method Methods 0.000 title claims description 18
- 210000004556 brain Anatomy 0.000 claims description 197
- 238000000034 method Methods 0.000 claims description 150
- 230000008569 process Effects 0.000 claims description 106
- 210000001519 tissue Anatomy 0.000 claims description 101
- 210000004204 blood vessel Anatomy 0.000 claims description 90
- 238000001356 surgical procedure Methods 0.000 claims description 78
- 238000011282 treatment Methods 0.000 claims description 53
- 238000003384 imaging method Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000007428 craniotomy Methods 0.000 claims description 17
- 210000003625 skull Anatomy 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 230000002490 cerebral effect Effects 0.000 claims description 6
- 210000001951 dura mater Anatomy 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 241001269524 Dura Species 0.000 claims description 2
- 238000005094 computer simulation Methods 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 29
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 14
- 238000006073 displacement reaction Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 238000002595 magnetic resonance imaging Methods 0.000 description 11
- 210000000278 spinal cord Anatomy 0.000 description 10
- 230000002792 vascular Effects 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 7
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 7
- 229960004657 indocyanine green Drugs 0.000 description 7
- 230000008961 swelling Effects 0.000 description 7
- 238000002583 angiography Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 210000001154 skull base Anatomy 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013170 computed tomography imaging Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 239000006059 cover glass Substances 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000001715 carotid artery Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 210000002532 foramen magnum Anatomy 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000028867 ischemia Diseases 0.000 description 1
- 238000002350 laparotomy Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00115—Electrical control of surgical instruments with audible or visual output
- A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2059—Mechanical position encoders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/06—Measuring instruments not otherwise provided for
- A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/374—NMR or MRI
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
- A61B90/25—Supports therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Vascular Medicine (AREA)
- Dentistry (AREA)
- Computer Graphics (AREA)
- Neurology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Robotics (AREA)
- Physiology (AREA)
- Software Systems (AREA)
- Neurosurgery (AREA)
- Geometry (AREA)
- Gynecology & Obstetrics (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
Description
1.本開示に想到した背景
2.手術用ナビゲーションシステムの構成
3.画像処理方法
4.観察装置の構成例
5.適用例
6.補足
本開示の好適な実施形態について説明するに先立ち、本開示をより明確なものとするために、本発明者らが、本開示に想到した背景について説明する。
図1を参照して、本開示の好適な一実施形態に係る手術用ナビゲーションシステムの構成について説明する。図1は、本実施形態に係る手術用ナビゲーションシステムの構成の一例を示すブロック図である。
顕微鏡部110は、術部を拡大観察するための手段である。顕微鏡部110は、筐体内に、撮像素子、及び当該撮像素子に観察対象からの光(観察光)を導光するための光学系等が格納されて構成される。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。このように、顕微鏡部110は、電子的に画像を撮影する、電子撮像式の顕微鏡部である。また、顕微鏡部110は、深さ情報を含む画像を撮影可能に構成される。例えば、顕微鏡部110は、AF(Auto Focus)機能を有しており、顕微鏡部110は、画角内で焦点が合っている位置の深さ情報を、焦点距離についての情報に基づいて取得することができる。
表示装置120は、手術室内において術者から視認され得る位置に設置される。表示装置120には、画像処理装置140からの制御により、顕微鏡部110によって撮影された術部の撮像画像が表示される。術者は、表示装置120に映し出された撮像画像によって術部を観察しながら、当該術部に対して各種の処置を行う。
位置センサ130は、患者の頭部、顕微鏡部110、及び処置具の3次元位置を検出する。図2は、位置センサ130の機能について説明するための図である。図2では、手術時における患者201、顕微鏡部110、処置具205及び位置センサ130の位置関係を概略的に示している。
画像処理装置140は、手術用ナビゲーションシステム10における各種の表示の制御を行う。以下、画像処理装置140の機能について詳細に説明する。画像処理装置140は、その機能として、3Dモデル生成部141と、マッチング部142と、ブレインシフト量推定部143と、3Dモデル更新部144と、表示制御部145と、を有する。なお、画像処理装置140は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等のプロセッサ、プロセッサとメモリ等の記憶素子が混載された制御基板、又はプロセッサが搭載されたPC(Personal Computer)等の一般的な情報処理装置等であり得る。画像処理装置140を構成するプロセッサが所定のプログラムに従って演算処理を実行することにより、上記の各機能が実現され得る。
図12を参照して、本実施形態に係る画像処理方法の処理手順について説明する。図12は、本実施形態に係る画像処理方法の処理手順の一例を示すフロー図である。なお、図12に示す各処理は、上述した図1に示す手術用ナビゲーションシステム10の画像処理装置140によって実行される処理に対応している。これらの各処理の詳細については、手術用ナビゲーションシステム10の機能構成について説明する際に既に説明しているため、以下の画像処理方法の処理手順についての説明では、各処理についての詳細な説明は割愛する。
以上説明した顕微鏡部110が備えられる観察装置の具体的な一構成例について説明する。図13は、本実施形態に係る手術用ナビゲーションシステム10の構成を、観察装置の詳細な構成を含めて示す図である。
図1及び図13に示す手術用ナビゲーションシステム10が適用された手術の様子について説明する。図14は、図1及び図13に示す手術用ナビゲーションシステム10を用いた手術の様子を示す図である。図14では、術者5321が、手術用ナビゲーションシステム10を用いて、患者ベッド5323上の患者5325に対して手術を行っている様子を概略的に示している。なお、図14では、簡単のため、手術用ナビゲーションシステム10の構成のうち制御装置5317(すなわち、画像処理装置140)の図示を省略するとともに、観察装置5301を簡略化して図示している。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
(1)
術前の診断画像に基づいて生成される術部を含む生体組織の3Dモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うマッチング部と、
前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の3次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定するシフト量推定部と、
推定された前記生体組織の変形量に基づいて、術前に生成された前記3Dモデルを更新する3Dモデル更新部と、
を備える、画像処理装置。
(2)
更新された前記3Dモデルに対して処置具の位置を示す表示が付されたナビゲーション画像を表示装置に表示させる表示制御部、を更に備える、
前記(1)に記載の画像処理装置。
(3)
前記生体組織は脳であり、
前記所定のパターンは脳表血管のパターンであり、
前記シフト量推定部は、開頭に伴う脳の変形量であるブレインシフト量を推定する、
前記(1)又は(2)に記載の画像処理装置。
(4)
前記マッチング部は、前記マッチング処理を行うことにより、前記3Dモデルの表面の中から前記撮影領域に対応する領域を特定し、
前記シフト量推定部は、特定された前記3Dモデルの表面上の前記撮影領域に対応する領域についての情報と、前記撮影領域の3次元位置についての情報と、に基づいて、前記変形量を推定する、
前記(1)〜(3)のいずれか1項に記載の画像処理装置。
(5)
前記シフト量推定部は、前記3Dモデルの表面上の前記撮影領域に対応する領域を、前記撮影領域の3次元位置に応じて変位させた状態を初期条件として、前記3Dモデルに対応する計算モデルの変形量を有限要素法によって計算することにより、前記変形量を推定する、
前記(4)に記載の画像処理装置。
(6)
前記シフト量推定部は、前記生体組織と、前記生体組織の周囲に存在する他の生体組織との関係に応じて、前記有限要素法による計算における境界条件を設定する、
前記(5)に記載の画像処理装置。
(7)
前記生体組織は脳であり、
前記他の生体組織は頭蓋骨又は硬膜であり、
前記境界条件では、前記計算モデルにおける前記頭蓋骨又は前記硬膜との接触部位に対応する領域が変形しない固定点として設定される、
前記(6)に記載の画像処理装置。
(8)
前記撮影領域の3次元位置についての情報は、前記撮影領域を撮影した撮像画像に付加される深さ情報に基づいて取得される、
前記(1)〜(7)のいずれか1項に記載の画像処理装置。
(9)
前記深さ情報は、前記撮影領域を撮影する際の焦点距離についての情報に基づいて取得される、
前記(8)に記載の画像処理装置。
(10)
前記深さ情報は、測距センサの検出値に基づいて取得される、
前記(8)に記載の画像処理装置。
(11)
前記深さ情報は、ステレオカメラによる視差情報に基づいて取得される、
前記(8)に記載の画像処理装置。
(12)
前記マッチング部は、前記マッチング処理を行う際に、マッチングの精度を表す指標であるマッチング誤差を算出し、
前記画像処理装置は、前記マッチング誤差が所定のしきい値以上である場合に警告を出力させる警告制御部、を更に備える、
前記(1)〜(11)のいずれか1項に記載の画像処理装置。
(13)
前記3Dモデル生成部は、前記警告が出力された場合に、新たに取得された診断画像に基づいて、前記生体組織の3Dモデルを再度生成する、
前記(12)に記載の画像処理装置。
(14)
プロセッサが、術前の診断画像に基づいて生成される術部を含む生体組織の3Dモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うことと、
前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の3次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定することと、
推定された前記生体組織の変形量に基づいて、術前に生成された前記3Dモデルを更新することと、
を含む、画像処理方法。
(15)
コンピュータに、
術前の診断画像に基づいて生成される術部を含む生体組織の3Dモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うことと、
前記マッチング処理の結果と、前記生体組織の表面のうち手術中に撮影されている領域である撮影領域の3次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定することと、
推定された前記生体組織の変形量に基づいて、術前に生成された前記3Dモデルを更新することと、
を含む、画像処理方法を実行させるためのプログラム。
(16)
手術中に患者の術部を含む生体組織を撮影し、深さ情報付きの撮像画像を取得する顕微鏡部と、
前記顕微鏡部、前記患者、及び処置具の3次元位置を検出する位置センサと、
前記生体組織の3Dモデルに対して処置具の位置を示す表示が付されたナビゲーション画像を表示する表示装置と、
前記表示装置に前記ナビゲーション画像を表示させる画像処理装置と、
を備え、
前記画像処理装置は、
術前の診断画像に基づいて生成される前記3Dモデルの、表面上の所定のパターンと、手術中の撮像画像に含まれる前記生体組織の表面上の所定のパターンと、のマッチング処理を行うマッチング部と、
前記マッチング処理の結果と、前記生体組織の表面のうち前記顕微鏡部によって手術中に撮影されている領域である撮影領域の3次元位置についての情報と、に基づいて、前記生体組織の術前の状態からの変形量を推定するシフト量推定部と、
推定された前記生体組織の変形量に基づいて、術前に生成された前記3Dモデルを更新する3Dモデル更新部と、
更新された前記3Dモデルを用いた前記ナビゲーション画像を前記表示装置に表示させる表示制御部と、
を有し、
前記撮影領域の3次元位置についての情報は、前記位置センサによる検出結果、及び前記顕微鏡部による撮像画像の深さ情報に基づいて取得される、
手術用ナビゲーションシステム。
110 顕微鏡部
120 表示装置
130 位置センサ
140 画像処理装置
141 3Dモデル生成部
142 マッチング部
143 ブレインシフト量推定部
144 3Dモデル更新部
145 表示制御部
146 警告制御部
Claims (16)
- 術前の診断画像に基づいて生成される術部を含む生体組織の3Dモデルの所定のパターンと、手術中の撮像画像に含まれる前記生体組織の所定のパターンと、のマッチング処理を行うマッチング部と、
前記マッチング処理の結果と、前記生体組織の手術中に撮影されている領域である撮影領域の3次元位置についての情報と、に基づいて、前記生体組織の変形量を推定するシフト量推定部と、
推定された前記生体組織の変形量に基づいて、術前に生成された前記3Dモデルを更新する3Dモデル更新部と、
前記マッチング処理のマッチング精度に基づいて、ユーザに対して視覚的または聴覚的な通知を行う制御部と、
を備える、画像処理装置。 - 更新された前記3Dモデルに対して処置具の位置を示す表示が付されたナビゲーション画像を表示装置に表示させる表示制御部、を更に備える、
請求項1に記載の画像処理装置。 - 前記生体組織は脳であり、
前記所定のパターンは脳表血管のパターンであり、
前記シフト量推定部は、開頭に伴う脳の変形量であるブレインシフト量を推定する、
請求項1又は2に記載の画像処理装置。 - 前記マッチング部は、前記マッチング処理を行うことにより、前記3Dモデルから前記撮影領域に対応する領域を特定し、
前記シフト量推定部は、特定された前記3Dモデルの前記撮影領域に対応する領域についての情報と、前記撮影領域の3次元位置についての情報と、に基づいて、前記変形量を推定する、
請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記シフト量推定部は、前記3Dモデルの前記撮影領域に対応する領域を、前記撮影領域の3次元位置に応じて変位させた状態を初期条件として、前記3Dモデルに対応する計算モデルの変形量を有限要素法によって計算することにより、前記変形量を推定する、
請求項4に記載の画像処理装置。 - 前記シフト量推定部は、前記生体組織と、前記生体組織の周囲に存在する他の生体組織との関係に応じて、前記有限要素法による計算における境界条件を設定する、
請求項5に記載の画像処理装置。 - 前記生体組織は脳であり、
前記他の生体組織は頭蓋骨又は硬膜であり、
前記境界条件では、前記計算モデルにおける前記頭蓋骨又は前記硬膜との接触部位に対応する領域が変形しない固定点として設定される、
請求項6に記載の画像処理装置。 - 前記撮影領域の3次元位置についての情報は、前記撮影領域を撮影した撮像画像に付加される深さ情報に基づいて取得される、
請求項1〜7のいずれか1項に記載の画像処理装置。 - 前記深さ情報は、前記撮影領域を撮影する際の焦点距離についての情報に基づいて取得される、
請求項8に記載の画像処理装置。 - 前記深さ情報は、測距センサの検出値に基づいて取得される、
請求項8に記載の画像処理装置。 - 前記深さ情報は、ステレオカメラによる視差情報に基づいて取得される、
請求項8に記載の画像処理装置。 - 前記マッチング部は、前記マッチング処理を行う際に、マッチングの精度を表す指標であるマッチング誤差を算出し、
前記画像処理装置は、前記マッチング誤差が所定のしきい値以上である場合に警告を出力させる警告制御部、を更に備える、
請求項1〜11のいずれか1項に記載の画像処理装置。 - 前記警告が出力された場合に、新たに取得された診断画像に基づいて、前記生体組織の3Dモデルを再度生成する、
請求項12に記載の画像処理装置。 - プロセッサが、術前の診断画像に基づいて生成される術部を含む生体組織の3Dモデルの所定のパターンと、手術中の撮像画像に含まれる前記生体組織の所定のパターンと、のマッチング処理を行うことと、
前記マッチング処理の結果と、前記生体組織の手術中に撮影されている領域である撮影領域の3次元位置についての情報と、に基づいて、前記生体組織の変形量を推定することと、
推定された前記生体組織の変形量に基づいて、術前に生成された前記3Dモデルを更新することと、
前記マッチング処理のマッチング精度に基づいて、ユーザに対して視覚的または聴覚的な通知を行うことと、
を含む、画像処理方法。 - コンピュータに、
術前の診断画像に基づいて生成される術部を含む生体組織の3Dモデルの所定のパターンと、手術中の撮像画像に含まれる前記生体組織の所定のパターンと、のマッチング処理を行うことと、
前記マッチング処理の結果と、前記生体組織の手術中に撮影されている領域である撮影領域の3次元位置についての情報と、に基づいて、前記生体組織の変形量を推定することと、
推定された前記生体組織の変形量に基づいて、術前に生成された前記3Dモデルを更新することと、
前記マッチング処理のマッチング精度に基づいて、ユーザに対して視覚的または聴覚的な通知を行うことと、
を含む、画像処理方法を実行させるためのプログラム。 - 手術中に患者の術部を含む生体組織を撮影し、深さ情報付きの撮像画像を取得する顕微鏡部と、
前記顕微鏡部、前記患者、及び処置具の3次元位置を検出する位置センサと、
前記生体組織の3Dモデルに対して処置具の位置を示す表示が付されたナビゲーション画像を表示する表示装置と、
前記表示装置に前記ナビゲーション画像を表示させる画像処理装置と、
を備え、
前記画像処理装置は、
術前の診断画像に基づいて生成される前記3Dモデルの所定のパターンと、手術中の撮像画像に含まれる前記生体組織の所定のパターンと、のマッチング処理を行うマッチング部と、
前記マッチング処理の結果と、前記生体組織の前記顕微鏡部によって手術中に撮影されている領域である撮影領域の3次元位置についての情報と、に基づいて、前記生体組織の変形量を推定するシフト量推定部と、
推定された前記生体組織の変形量に基づいて、術前に生成された前記3Dモデルを更新する3Dモデル更新部と、
更新された前記3Dモデルを用いた前記ナビゲーション画像を前記表示装置に表示させる表示制御部と、
前記マッチング処理のマッチング精度に基づいて、ユーザに対して視覚的または聴覚的な通知を行う制御部と、
を有し、
前記撮影領域の3次元位置についての情報は、前記位置センサによる検出結果、及び前記顕微鏡部による撮像画像の深さ情報に基づいて取得される、
手術用ナビゲーションシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016138035 | 2016-07-12 | ||
JP2016138035 | 2016-07-12 | ||
PCT/JP2017/016163 WO2018012080A1 (ja) | 2016-07-12 | 2017-04-24 | 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018012080A1 JPWO2018012080A1 (ja) | 2019-04-25 |
JP6883222B2 true JP6883222B2 (ja) | 2021-06-09 |
Family
ID=60952017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018527403A Active JP6883222B2 (ja) | 2016-07-12 | 2017-04-24 | 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム |
Country Status (3)
Country | Link |
---|---|
US (2) | US11020202B2 (ja) |
JP (1) | JP6883222B2 (ja) |
WO (1) | WO2018012080A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230021543A (ko) * | 2021-08-05 | 2023-02-14 | 숭실대학교산학협력단 | 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11399900B2 (en) * | 2012-06-21 | 2022-08-02 | Globus Medical, Inc. | Robotic systems providing co-registration using natural fiducials and related methods |
EP3527123B1 (en) * | 2018-02-15 | 2022-08-31 | Leica Instruments (Singapore) Pte. Ltd. | Image processing method and apparatus using elastic mapping of vascular plexus structures |
EP3854294A4 (en) * | 2018-09-20 | 2021-10-20 | NEC Corporation | DEVICE AND METHOD FOR POSITION ESTIMATION, AND COMPUTER READABLE RECORDING MEDIA |
CN109785955A (zh) * | 2018-12-25 | 2019-05-21 | 襄阳市第一人民医院(襄阳市肿瘤医院) | 一种基于计算机的神经外科诊疗控制系统及方法 |
CN109801368B (zh) * | 2019-02-26 | 2023-06-13 | 浙江未来技术研究院(嘉兴) | 一种显微镜术野光场图像融合显示方法及装置 |
JP7312394B2 (ja) * | 2019-03-27 | 2023-07-21 | 学校法人兵庫医科大学 | 脈管認識装置、脈管認識方法および脈管認識システム |
CN110246215B (zh) * | 2019-05-22 | 2023-03-17 | 上海长征医院 | 基于3d打印技术的颅脑病灶可视化成像系统及方法 |
DE102019125413A1 (de) * | 2019-09-20 | 2021-03-25 | Carl Zeiss Meditec Ag | Verfahren und Vorrichtung zum Erstellen und Anzeigen einer Karte von einem Gehirnoperationsfeld |
WO2021250484A1 (en) * | 2020-06-10 | 2021-12-16 | Parth Chopra | System and method to diagnose respiratory diseases in real-time |
JP2023103499A (ja) * | 2020-06-15 | 2023-07-27 | ソニーグループ株式会社 | 医用画像処理システム、手術画像制御装置、及び、手術画像制御方法 |
WO2022232264A1 (en) * | 2021-04-28 | 2022-11-03 | Smith & Nephew, Inc. | Computerized systems for arthroscopic applications using real-time blood-flow detection |
CN113470167B (zh) * | 2021-06-28 | 2024-04-19 | 平湖莱顿光学仪器制造有限公司 | 一种用于呈现三维显微图像的方法与设备 |
JP2023028949A (ja) * | 2021-08-20 | 2023-03-03 | キヤノンメディカルシステムズ株式会社 | X線撮影装置、x線撮影システム、及びx線撮影装置の制御方法 |
US11928830B2 (en) * | 2021-12-22 | 2024-03-12 | Honeywell International Inc. | Systems and methods for generating three-dimensional reconstructions of environments |
WO2023145503A1 (ja) * | 2022-01-31 | 2023-08-03 | ソニーグループ株式会社 | 医療用情報処理システム、医療用情報処理方法、及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0602730B1 (en) * | 1992-12-18 | 2002-06-19 | Koninklijke Philips Electronics N.V. | Registration of Volumetric images which are relatively elastically deformed by matching surfaces |
EP0836438B1 (en) * | 1996-04-29 | 2004-09-22 | Northern Digital Inc. | Image guided surgery system |
US7103399B2 (en) * | 2003-09-08 | 2006-09-05 | Vanderbilt University | Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery |
JP4630564B2 (ja) | 2004-03-30 | 2011-02-09 | 国立大学法人浜松医科大学 | 手術支援装置、方法及びプログラム |
JP4836122B2 (ja) * | 2006-02-09 | 2011-12-14 | 国立大学法人浜松医科大学 | 手術支援装置、方法及びプログラム |
CN103443825B (zh) | 2011-03-18 | 2016-07-06 | 皇家飞利浦有限公司 | 在神经外科手术期间跟踪脑变形 |
JP2013202313A (ja) | 2012-03-29 | 2013-10-07 | Panasonic Corp | 手術支援装置および手術支援プログラム |
JP6657933B2 (ja) * | 2015-12-25 | 2020-03-04 | ソニー株式会社 | 医療用撮像装置及び手術ナビゲーションシステム |
-
2017
- 2017-04-24 JP JP2018527403A patent/JP6883222B2/ja active Active
- 2017-04-24 WO PCT/JP2017/016163 patent/WO2018012080A1/ja active Application Filing
- 2017-04-24 US US16/314,461 patent/US11020202B2/en active Active
-
2021
- 2021-04-27 US US17/241,542 patent/US11707340B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230021543A (ko) * | 2021-08-05 | 2023-02-14 | 숭실대학교산학협력단 | 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치 |
KR102583320B1 (ko) | 2021-08-05 | 2023-09-27 | 숭실대학교 산학협력단 | 증강현실 기반 뇌실천자술을 위한 뇌 변형 예측 방법, 이를 수행하기 위한 기록 매체 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
WO2018012080A1 (ja) | 2018-01-18 |
US11707340B2 (en) | 2023-07-25 |
US11020202B2 (en) | 2021-06-01 |
US20190151043A1 (en) | 2019-05-23 |
JPWO2018012080A1 (ja) | 2019-04-25 |
US20210244494A1 (en) | 2021-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6883222B2 (ja) | 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム | |
US20220192611A1 (en) | Medical device approaches | |
US20170296292A1 (en) | Systems and Methods for Surgical Imaging | |
US20210137605A1 (en) | Using augmented reality in surgical navigation | |
CN109715106B (zh) | 控制装置、控制方法及医疗系统 | |
CN108778085B (zh) | 图像处理设备、内窥镜手术系统以及图像处理方法 | |
JP5486432B2 (ja) | 画像処理装置、その作動方法およびプログラム | |
WO2017159335A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
KR20150019311A (ko) | 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 | |
CN108836478A (zh) | 侵入式手术在狭窄通道中的内窥镜视图 | |
JP5961504B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
JP5934070B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
JPWO2018168261A1 (ja) | 制御装置、制御方法、及びプログラム | |
US20230172438A1 (en) | Medical arm control system, medical arm control method, medical arm simulator, medical arm learning model, and associated programs | |
JP2018075218A (ja) | 医療用支持アーム及び医療用システム | |
US20220400938A1 (en) | Medical observation system, control device, and control method | |
JP2017164075A (ja) | 画像位置合せ装置、方法およびプログラム | |
US20210330395A1 (en) | Location pad surrounding at least part of patient eye for tracking position of a medical instrument | |
CA3180841A1 (en) | Using real-time images for augmented-reality visualization of an ophthalmic surgical tool | |
KR20200132174A (ko) | 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법 | |
WO2022019057A1 (ja) | 医療用アーム制御システム、医療用アーム制御方法及びプログラム | |
JP2019154886A (ja) | 医療用表示制御装置、および表示制御方法 | |
WO2022172733A1 (ja) | 医療用観察装置、観察装置、観察方法及びアダプタ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200417 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210330 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210412 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6883222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |