JP2024005706A - 立体形状データ生成プログラム、立体形状データ生成方法、および情報処理装置 - Google Patents

立体形状データ生成プログラム、立体形状データ生成方法、および情報処理装置 Download PDF

Info

Publication number
JP2024005706A
JP2024005706A JP2022106014A JP2022106014A JP2024005706A JP 2024005706 A JP2024005706 A JP 2024005706A JP 2022106014 A JP2022106014 A JP 2022106014A JP 2022106014 A JP2022106014 A JP 2022106014A JP 2024005706 A JP2024005706 A JP 2024005706A
Authority
JP
Japan
Prior art keywords
heart
thorax
shape
dimensional shape
shape data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022106014A
Other languages
English (en)
Inventor
仁世 霜
Hitoyo Shimo
南 一生
Kazuo Minami
修一 千葉
Shuichi Chiba
嘉彦 徳丸
Yoshihiko Tokumaru
貴史 岡野
Takashi Okano
清了 杉浦
Seiryo Sugiura
純一 岡田
Junichi Okada
俊明 久田
Toshiaki Hisada
巧 鷲尾
Takumi Washio
正宏 渡邉
Masahiro Watanabe
康智 清水
Yasutomo Shimizu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Medical Device Corp
Ut Heart Inc
Fujitsu Ltd
Original Assignee
Japan Medical Device Corp
Ut Heart Inc
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Medical Device Corp, Ut Heart Inc, Fujitsu Ltd filed Critical Japan Medical Device Corp
Priority to JP2022106014A priority Critical patent/JP2024005706A/ja
Priority to EP23180272.9A priority patent/EP4299012A1/en
Priority to CN202310744823.4A priority patent/CN117338318A/zh
Priority to US18/212,222 priority patent/US20240005603A1/en
Priority to KR1020230080798A priority patent/KR20240002932A/ko
Publication of JP2024005706A publication Critical patent/JP2024005706A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0044Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/33Heart-related electrical modalities, e.g. electrocardiography [ECG] specially adapted for cooperation with other devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/367Electrophysiological study [EPS], e.g. electrical activation mapping or electro-anatomical mapping
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6823Trunk, e.g., chest, back, abdomen, hip
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)

Abstract

【課題】エコー画像とX線画像とに基づいて胸郭と胸郭内の心臓とを再現した立体形状データを生成できるようにする。【解決手段】情報処理装置10は、被検体の心臓の断面画像を示すエコー画像データ1に基づいて、心臓の内部構造を含む立体形状を示す心臓形状データ3を生成する。次に情報処理装置10は、被検体の胸郭のX線画像を示すX線画像データ2に基づいて、被検体の胸郭の立体形状を示す胸郭形状データ4を生成する。そして情報処理装置10は、X線画像に写る心臓の画像に基づいて、胸郭形状データ4に示される胸郭の立体形状内での、心臓形状データ3に示される心臓の立体形状の位置および向きを決定する。【選択図】図1

Description

特許法第30条第2項適用申請有り 令和4年3月12日開催のJCS2022第86回日本循環器学会学術集会・APSC2022-Asian Pacific Society of Cardiology Congress 2022にて公開
本発明は、立体形状データ生成プログラム、立体形状データ生成方法、および情報処理装置に関する。
患者などの被検体の心臓の動きをコンピュータによって高精度に再現する心臓シミュレーション技術が実現されている。この心臓シミュレーション技術を用いれば、医療現場において、患者の治療後の心臓の状態を心臓シミュレーションで再現することで、治療効果を予測できる。
また、心臓だけでなく胸郭内部の電気信号の伝播状態を再現する生体シミュレーションを行えば、患者の心電図を生体シミュレーションによって取得することも可能である。患者の症状が心電図に現れる病気の場合、治療後の状態を表す心電図を生体シミュレーションで算出すれば、予定している治療内容が適切か否かを事前に判断できる。例えば両心室ペーシングによる心臓再同期療法(CRT:Cardiac Resynchronization Therapy)を施す場合に、事前の生体シミュレーションにより、CRT装置から出力される電気刺激を心臓に伝える電極の位置が適切か否かを施術前に確認できる。
なお、心電図は胸部表面に伝播した電気信号を表している。そのため、心電図を算出する生体シミュレーションでは、胸郭の内部に心臓を配置した立体形状を示す立体形状データが用いられる。立体形状データは、例えば患者の心臓または胸郭を撮影した医療用の画像データに基づいて生成される。
医療用の画像データを利用する技術としては、例えば心臓における構造物の解析結果を、俯瞰的に示す医用処理装置が提案されている。また、簡単でかつ精度良く胸郭を検出することができる画像処理装置が提案されている。さらに異なる姿勢の被検体を撮像した複数の医用画像データを高精度に位置合わせする医用画像処理装置も提案されている。
コンピュータによるシミュレーションを用いて治療の効果を判断する技術としては、生体シミュレーションの結果が症状に関する所定の改善率を満たすか否かを判定する改善率判定部を有する生体シミュレーションシステムが提案されている。
特開2018-027298号公報 特開2006-110069号公報 特開2021-083961号公報 特開2017-033227号公報
生体シミュレーションで心電図を算出する場合、被検体の胸郭と胸郭内の心臓とを正確に再現した立体形状データを生成することが求められる。被検体の立体形状データは、被検体の医療画像に基づいて生成することができる。例えばCT(Computed Tomography)装置で撮影した被検体の断層画像(CT画像)には、被検体の胸郭と心臓とが同じ画像に写っている。そのためCT画像を用いれば、被検体の胸郭と胸郭内の心臓とを再現した正確な立体形状データを生成することができる。
しかし、CT装置での撮影は被検体の被曝量が大きく、被験体となる患者の身体的な負担が大きい。そのため生体シミュレーションのためだけにCT装置での撮影を行うのは避けることが望ましい。そこでCT画像以外の、治療の過程で一般的に用いられる医療画像に基づいて、被検体の立体形状データを生成することが考えられる。例えば超音波診断装置によって得られる心臓画像(エコー画像)とX線装置で撮影したX線画像とから立体形状データを生成することが考えられる。エコー画像は超音波を用いており被検体の被爆はない。X線撮影による被検体の被曝量は、CT装置での撮影による放射線量に比べると極めて少なくて済む。しかしながら、従来は、心臓のみが写っているエコー画像と2次元的な形状しか得られないX線画像と基づいて胸郭と胸郭内の心臓とを再現した立体形状データを生成する技術がない。
1つの側面では、本件は、エコー画像とX線画像とに基づいて胸郭と胸郭内の心臓とを再現した立体形状データを生成できるようにすることを目的とする。
1つの案では、以下の処理をコンピュータに実行させる立体形状データ生成プログラムが提供される。
コンピュータは、被検体の心臓の断面画像を示すエコー画像データに基づいて、心臓の内部構造を含む立体形状を示す心臓形状データを生成する。コンピュータは、被検体の胸郭のX線画像を示すX線画像データに基づいて、被検体の胸郭の立体形状を示す胸郭形状データを生成する。そしてコンピュータは、X線画像に写る心臓の画像に基づいて、胸郭形状データに示される胸郭の立体形状内での、心臓形状データに示される心臓の立体形状の位置および向きを決定する。
1態様によれば、エコー画像とX線画像とに基づいて胸郭と胸郭内の心臓とを再現した立体形状データを生成することができる。
第1の実施の形態に係る立体形状データ生成方法の一例を示す図である。 システム構成の一例を示す図である。 シミュレーション装置のハードウェアの一例を示す図である。 シミュレーション装置の機能の一例を示すブロック図である。 心臓の興奮伝播の生体シミュレーションを行う場合の処理の流れの一例を示す図である。 心臓形状データ生成処理の一例を示す図である。 心臓形状データ生成処理の手順の一例を示すフローチャートである。 エコー画像上での境界の位置の指定入力の一例を示す図である。 心臓モデルの一例を示す図である。 エコー検査レポートの情報に基づく心臓モデルの修正の一例を示す図である。 ランドマーク設定処理の一例を示す図である。 ランドマーク設定処理の手順の一例を示すフローチャートである。 前室間溝と後室間溝とのランドマーク設定の一例を示す図である。 ランドマークの設定対象となる心臓の特徴的な位置の一例を示す図である。 胸郭形状データ生成処理の概要を示す図である。 胸郭形状データ生成処理の手順の一例を示すフローチャートである。 胸郭領域のセグメンテーションの一例を示す図である。 胸郭形状の表現方法の一例を示す図である。 胸郭形状統計データから取得できる統計情報の一例を示す図である。 胸郭の平均形状の一例を示す図である。 被検体の胸郭の横幅に応じた胸郭形状生成の一例を示す図である。 側面からのX線画像に基づく胸郭形状の修正の一例を示す図である。 胸郭形状を示す境界点群の一例を示す図である。 電極位置決定処理の手順の一例を示すフローチャートである。 電極位置設定の一例を示す図である。 胸郭形状への心臓形状の配置処理の手順の一例を示すフローチャートである。 回転パターン生成方法の一例を示す図である。 心筋境界情報作成処理の一例を示す図である。 回転パターンの評価方法の一例を示す図である。 回転パターン選択の一例を示す図である。 電極配置の一例を示す図である。
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第1の実施の形態〕
第1の実施の形態は、被検体の身体的特徴を高精度に反映させた立体形状を示す立体形状データを生成することができる立体形状データ生成方法である。
図1は、第1の実施の形態に係る立体形状データ生成方法の一例を示す図である。図1には、立体形状データ生成方法を実施する情報処理装置10が示されている。情報処理装置10は、例えば立体形状データ生成プログラムを実行することにより、立体形状データ生成方法を実施することができる。
情報処理装置10は、記憶部11と処理部12とを有する。記憶部11は、例えば情報処理装置10が有するメモリまたはストレージ装置である。処理部12は、例えば情報処理装置10が有するプロセッサまたは演算回路である。
記憶部11は、エコー画像データ1とX線画像データ2とを記憶する。エコー画像データ1は、被検体の心臓を超音波診断装置によって測定することで得られた心臓の断面画像(エコー画像)を示すデータである。エコー画像データ1には、例えば被検体の心臓を垂直面と水平面とのそれぞれで切ったときの断面のエコー画像が含まれる。X線画像データ2は、X線検査装置で被検体の胸郭のX線撮影を行うことで得られたX線画像を示すデータである。X線画像データ2には、例えば被検体を前方からX線撮影したときのX線画像と、被検体を側方から撮影したときのX線画像とが含まれる。
処理部12は、エコー画像データ1とX線画像データ2とに基づいて、被検体の心臓と胸郭との立体形状データを生成する。例えば処理部12は、被検体の心臓の断面画像を示すエコー画像データ1に基づいて、心臓の内部構造を含む立体形状を示す心臓形状データ3を生成する。また処理部12は、被検体の胸郭のX線画像データ2に基づいて、被検体の胸郭の立体形状を示す胸郭形状データ4を生成する。そして処理部12は、X線画像データ2に示される心臓の画像に基づいて、胸郭形状データ4に示される胸郭の立体形状内での、心臓形状データ3に示される心臓の立体形状の位置および向きを決定する。
このように、当該立体形状データ生成方法によれば、心臓形状データ3はエコー画像データ1から生成され、胸郭形状データ4はX線画像データ2から生成される。心臓形状データ3と胸郭形状データ4とは異なるデータから個別に生成されるが、心臓形状データ3に示される心臓の立体形状の胸郭の立体形状内での位置は、胸郭形状データ4の生成に用いられたX線画像データ2に基づいて決定される。これにより、胸郭の立体形状内での心臓の立体形状の位置を正確に特定することができる。
またX線画像データ2からは心臓の位置は分かるものの、心臓の内部構造までは分からない。心臓形状データ3の生成にエコー画像データ1を用いたことで、心臓の内部構造を含めた心臓形状を示す心臓形状データ3を生成することができる。その結果、胸郭の立体形状と、胸郭内での心臓(内部構造を含む)の立体形状とを含む精度の高い立体形状データを生成することができる。
なお心臓の内部構造を写すことができる装置として例えばCT装置があるが、CT装置での撮影は被検体の被曝量が大きい。それに対してエコー画像データ1は超音波診断装置によって取得することができる。超音波診断装置は、被検体の身体内部で反射する超音波を受診することで、内部の臓器の画像を生成するものである。超音波診断装置は放射線を用いないため、エコー画像データ1を取得するための被検体への身体的負荷が少なくて済む。
しかも超音波診断装置とX線検査装置は、多くの医療機関に備えられていると共に、心臓に疾患のある患者の検査に一般的に利用されている。エコー画像データ1とX線画像データ2とから患者の身体的特徴を示す立体形状データを生成できることで、患者の身体的特徴を表す立体形状データ生成のために、通常の診療行為とは別の検査を行わずに済む。これは、医療行為の効率化および患者への負担軽減に繋がる。
心臓形状データ3に示される心臓の立体形状には、例えば心室の内腔の立体形状、その心室の外膜の立体形状、および2つの心室を覆う心外膜の立体形状が含まれる。このような立体形状を生成する場合、処理部12は、エコー画像データ1に含まれる複数の方向から撮影された心臓の複数の断面画像それぞれから心室の内腔を示す閉曲線、その心室の外膜を示す閉曲線、および2つの心室を覆う心外膜を示す閉曲線を特定する。そして処理部12は、複数の断面画像それぞれで特定された閉曲線に基づいて、心室の内腔の立体形状、その心室の外膜の立体形状、および2つの心室を覆う心外膜の立体形状を生成する。
なおエコー画像データ1に示される心臓の断面画像から特定する心室の内腔の形状は、2つある心室の一方でよい。例えば左心室の内腔の立体形状が特定された場合、内腔と左心室の心室外膜(左室外膜)との間の領域が、左心室の心筋領域である。2つの心室を覆う心外膜の立体形状から左心室の領域(心筋領域と内腔)を除外した領域が、右心室の領域となる。右心室の領域における心外膜から心筋の厚さ分だけ内側の立体形状が、右室内膜となり、その内部が右心室の内腔となる。左心室と右心室との間の心筋の領域が中隔である。
心臓の複数の断面画像それぞれからの心室の内腔の形状、心室の心室外膜の形状、および2つの心室を覆う心外膜の形状の特定は、例えばユーザからの該当形状を指定する入力に基づいて行われる。処理部12は、機械学習などの技術を用いた画像のセグメンテーション技術を用いて心室の内腔の形状、心室の心室外膜の形状、および2つの心室を覆う心外膜の形状を特定してもよい。
超音波診断装置を用いてエコー画像データ1が取得された場合、被検体の心臓の特徴が記述された検査レポートが出されていることがある。検査レポートには、例えば心筋の厚さを示す心筋厚さ情報が含まれる。そこで処理部12は、心臓の特徴を記述した検査レポートから心筋厚さ情報を抽出し、心臓の立体形状における心筋の厚さを心筋厚さ情報に基づいて修正した心臓形状データ3を生成することもできる。これにより、心臓形状データ3で示される心臓の立体形状の精度が向上する。
胸郭形状データ4を生成する場合、統計的に得られている平均的な胸郭形状を利用して、被検体の胸部の立体形状を特定することができる。その場合、処理部12は、X線画像データ2に示される胸郭のX線画像に基づいて胸郭の外縁を抽出し、抽出された外縁と、統計的に得られている平均的な胸郭形状とに基づいて、胸郭の立体形状を生成する。例えば処理部12は、平均的な胸郭形状に基づいて、胸郭の幅に基づいて胸郭の断面の外縁の位置を求める関数のパラメータを決定する。さらに処理部12は、生成したパラメータを適用した関数に、X線画像に基づいて得られる胸郭の外縁から、胸郭の高さごとの幅を求める。そして処理部12は、高さごとの胸郭の幅の値を関数に代入することで、高さごとの胸郭の断面の外縁の形状を算出する。これによって、被検体の胸郭の特徴を反映した胸郭の立体形状が得られる。
また処理部12は、正面からのX線画像と側面からのX線画像とを用いて、精度の高い胸郭形状モデルを生成することもできる。例えば処理部12は、X線画像に写る胸郭の外縁に基づいて、平均的な胸郭形状を拡大または縮小した相似形の胸郭形状を生成する。次に処理部12は、正面から撮影した第1のX線画像に示される胸郭の横幅と、側面から撮影した第2のX線画像に示される胸郭の縦幅との比に基づいて、相似形の胸郭形状の横幅と縦幅の比を修正する。これにより、被検体の体型に合わせた胸郭形状が得られる。
また処理部12は、側面からのX線画像に基づいて、側面から見たときの胸郭の湾曲を高精度に再現することもできる。例えば処理部12は、第2のX線画像に基づいて、側面から見たときの胸郭の中心線を特定する。そして処理部12は、中心線に基づいて、相似形の胸郭形状の横幅と縦幅の比を修正して得られた修正済み胸郭形状の3次元空間における位置を決定する。例えば処理部12は、修正済み胸郭形状の中心を、その修正済み胸郭形状に対応する高さにおける中心線の位置に合わせる。これにより、胸郭の横方向から見たときの外縁の湾曲を、胸郭モデルで正確に再現できる。
心臓の立体形状の胸郭の立体形状内での位置の決定処理では、心臓の特徴部位で位置合わせをすることができる。特徴部位は、例えば心尖部である。この場合、処理部12は、X線画像における心臓の特徴部位の胸郭内での位置に基づいて、胸郭の立体形状内での心臓の立体形状の特徴部位の位置を決定する。例えば処理部12は、胸郭の立体形状を定義する3次元空間にX線画像を配置し、心臓の立体形状をX線画像の撮影方向からX線画像に投影したときに、心臓の立体形状の特徴部位がX線画像の特徴部位に重なる位置を、心臓の立体形状の位置とする。これにより、心臓の立体形状を、胸郭の立体形状内の正しい位置に配置することができる。
心臓の立体形状の胸郭の立体形状内での向きの決定処理では、心臓の特徴部位を回転中心として回転させることで、適切な向きを決定することができる。その場合、処理部12は、心臓の形状の特徴部位を通る複数の回転軸周りに心臓の立体形状を回転させる。そして処理部12は、回転後の心臓の立体形状を投影した像と、X線画像に写る心臓の画像との比較結果に基づいて、胸郭の立体形状内での心臓の立体形状の向きを決定する。例えば、処理部12は、心臓の立体形状を投影した像が、胸郭の立体形状を定義する3次元空間に配置したX線画像の心臓の位置に正確に重なるときの心臓の立体形状の向きを、胸郭の立体形状内での心臓の立体形状の向きに決定する。これにより、胸郭の立体形状内での心臓の立体形状の向きを正しく決定することができる。
心臓の立体形状の向きを決定する場合、例えば処理部12は、心臓の立体形状の複数の回転パターンの中から、心臓の立体形状を適切な向きに回転させる回転パターンを決定することができる。具体的には、処理部12は、複数の回転軸それぞれ周りの回転角の比と、比で回転の向きが特定される軸性ベクトル周りの回転角とを指定した複数の回転パターンを生成する。3次元空間の互いに直交する回転軸をv1、v2、v3とし、それらの回転軸周りの回転速度をω1、ω2、ω3とするとき、軸性ベクトルは「ω=ω11+ω22+ω33」と定義される。
さらに処理部12は、複数の回転パターンそれぞれに応じて心臓の立体形状を回転させる。そして処理部12は、回転後の心臓の立体形状を投影した像と、X線画像に写る心臓の画像との比較結果に基づいて、胸郭の立体形状内での心臓の立体形状の向きを決定する。このように軸性ベクトルを用いて回転方向を定義することで、複数の回転パターンによる回転後の心臓の立体形状の向きが重複することを容易に避けることができ、処理の効率化を図ることができる。
心臓と胸郭との立体形状を、心臓の挙動、興奮伝播などの生体シミュレーションに利用する場合、胸郭の立体形状の表面に、心電図測定用の電極位置を設定してもよい。その場合、処理部12は、胸郭の立体形状を表す3次元空間内にX線画を配置する。そして処理部12は、X線画像上で指定された心電図測定用の電極の配置個所を、胸郭の立体形状の表面上の位置に変換する。例えば処理部12は、胸郭の立体形状の表面をX線画像上に投影したときに、X線画像上の電極位置に重なる胸郭の立体形状の表面の位置を、電極の位置とする。このようにして、心電図測定用の電極位置を容易に設定することができる。
なお、心臓形状データ3は、例えばポリゴンなどで表面を覆うサーフェスモデルによって心臓の立体形状を表している。同様に胸郭形状データ4も、例えばサーフェスモデルで胸郭の立体形状を表している。この場合、心臓と胸郭との立体形状を生体シミュレーションに利用するには、サーフェスモデルを示すデータから物質内部をソリッド(ソリッド要素またはボリューム要素と呼ばれることもある)で定義したソリッドモデルを示す計算格子データへの変換が行われる。例えば処理部12は、心臓の立体形状を第1のサーフェスモデルで表す心臓形状データ3を生成する。また処理部12は、胸郭の立体形状を第2のサーフェスモデルで表す胸郭形状データ4を生成する。さらに処理部12は、心臓の立体形状の位置および向きが決定されると、第2のサーフェスモデル内に、決定された位置および向きで第1のサーフェスモデルを配置する。そして処理部12は、第1のサーフェスモデルと第2のサーフェスモデルとに基づいて心臓を内包する胸郭をソリッドモデルで表した計算格子データ5を生成する。これにより、生体シミュレーションに利用可能な計算格子データ5を容易に生成することができる。
〔第2の実施の形態〕
第2の実施の形態は、患者の胸郭と胸郭内部に配置された心臓とを再現した3次元モデルを用いて生体シミュレーションを行うためのコンピュータシステムである。
<システム構成>
図2は、システム構成の一例を示す図である。図2の例では、医療機関サーバ200、人体情報サーバ300、およびシミュレーション装置100がネットワーク20を介して接続されている。医療機関サーバ200は、医療機関における患者の診察および検査の記録を管理するコンピュータである。医療機関サーバ200には、例えば医療用の画像データ、その画像データに基づく診断結果などが含まれる。医療用の画像データは、エコー画像、X線画像などである。人体情報サーバ300は、人体の寸法および形状に関する統計情報が蓄積されたコンピュータである。
シミュレーション装置100は、医療機関サーバ200から生体シミュレーションの被検体となる患者に関するデータを取得し、生体シミュレーション用の計算格子データを生成する。なおシミュレーション装置100は、計算格子データに示される胸郭形状については、人体情報サーバ300から取得した胸郭の平均的な形状を示すデータに基づいて生成する。シミュレーション装置100は、生成した計算格子データを用いて生体シミュレーションを行う。シミュレーション装置100は、生体シミュレーションの結果として、例えば心電図を示す心電図データを出力する。
図3は、シミュレーション装置のハードウェアの一例を示す図である。シミュレーション装置100は、プロセッサ101によって装置全体が制御されている。プロセッサ101には、バス109を介してメモリ102と複数の周辺機器が接続されている。プロセッサ101は、マルチプロセッサであってもよい。プロセッサ101は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)、またはDSP(Digital Signal Processor)である。プロセッサ101がプログラムを実行することで実現する機能の少なくとも一部を、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)などの電子回路で実現してもよい。
メモリ102は、シミュレーション装置100の主記憶装置として使用される。メモリ102には、プロセッサ101に実行させるOS(Operating System)のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ102には、プロセッサ101による処理に利用する各種データが格納される。メモリ102としては、例えばRAM(Random Access Memory)などの揮発性の半導体記憶装置が使用される。
バス109に接続されている周辺機器としては、ストレージ装置103、GPU(Graphics Processing Unit)104、入力インタフェース105、光学ドライブ装置106、機器接続インタフェース107およびネットワークインタフェース108がある。
ストレージ装置103は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置103は、シミュレーション装置100の補助記憶装置として使用される。ストレージ装置103には、OSのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置103としては、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)を使用することができる。
GPU104は画像処理を行う演算装置であり、グラフィックコントローラとも呼ばれる。GPU104には、モニタ21が接続されている。GPU104は、プロセッサ101からの命令に従って、画像をモニタ21の画面に表示させる。モニタ21としては、有機EL(Electro Luminescence)を用いた表示装置や液晶表示装置などがある。
入力インタフェース105には、キーボード22とマウス23とが接続されている。入力インタフェース105は、キーボード22やマウス23から送られてくる信号をプロセッサ101に送信する。なお、マウス23は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
光学ドライブ装置106は、レーザ光などを利用して、光ディスク24に記録されたデータの読み取り、または光ディスク24へのデータの書き込みを行う。光ディスク24は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク24には、DVD(Digital Versatile Disc)、DVD-RAM、CD-ROM(Compact Disc Read Only Memory)、CD-R(Recordable)/RW(ReWritable)などがある。
機器接続インタフェース107は、シミュレーション装置100に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース107には、メモリ装置25やメモリリーダライタ26を接続することができる。メモリ装置25は、機器接続インタフェース107との通信機能を搭載した記録媒体である。メモリリーダライタ26は、メモリカード27へのデータの書き込み、またはメモリカード27からのデータの読み出しを行う装置である。メモリカード27は、カード型の記録媒体である。
ネットワークインタフェース108は、ネットワーク20に接続されている。ネットワークインタフェース108は、ネットワーク20を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。ネットワークインタフェース108は、例えばスイッチやルータなどの有線通信装置にケーブルで接続される有線通信インタフェースである。またネットワークインタフェース108は、基地局やアクセスポイントなどの無線通信装置に電波によって通信接続される無線通信インタフェースであってもよい。
シミュレーション装置100は、以上のようなハードウェアによって、第2の実施の形態の処理機能を実現することができる。なお、第1の実施の形態に示した情報処理装置10も、図3に示したシミュレーション装置100と同様のハードウェアにより実現することができる。
シミュレーション装置100は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第2の実施の形態の処理機能を実現する。シミュレーション装置100に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、シミュレーション装置100に実行させるプログラムをストレージ装置103に格納しておくことができる。プロセッサ101は、ストレージ装置103内のプログラムの少なくとも一部をメモリ102にロードし、プログラムを実行する。またシミュレーション装置100に実行させるプログラムを、光ディスク24、メモリ装置25、メモリカード27などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ101からの制御により、ストレージ装置103にインストールされた後、実行可能となる。またプロセッサ101が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
<立体形状データの生成および生体シミュレーションの概要>
シミュレーション装置100は、生体シミュレーションの被検体として指定された患者のデータを医療機関サーバ200から取得して、その患者の胸郭と心臓とを含む立体形状をソリッドモデルで表した計算格子データを生成する。そしてシミュレーション装置100は、生成した計算格子データを用いて、心臓の興奮伝播の生体シミュレーションを行い、生体シミュレーション結果として心電図を示すデータを出力する。例えば患者にCRT装置の植え込み手術を予定している場合、シミュレーション装置100を用いて、CRT装置の植え込みによる効果を確認できる。
CRT装置の植え込みによる効果を事前に確認できることは、患者負担の軽減のために重要である。例えばCRTでは、処理を受けても十分に効果が得られない患者がおよそ3割存在する。施術前にCRTの効果が見込めないことが分かれば、患者に不要な身体的負担を掛けずにすむ。
またCRT装置の適切な電極の設置個所を、生体シミュレーションを行わずに予測することは困難である。生体シミュレーションを行わない場合、医師は、CRT装置植え込みの手術中に最適な電極位置を試行錯誤で探すこととなる。その結果、手術時間が長期化し、患者負担が増加する。事前に生体シミュレーションを行えば、適切な電極位置を手術前に特定しておくことができ、手術時間が短縮される。その結果、患者負担を軽減することができる。
CRTの効果予測には、心電図データを利用することができる。例えばQRS波の幅によってCRT装置植え込みによる心不全の改善効果を判断することができる。生体シミュレーションにとって出力された心電図データに基づいて治療の効果を正確に予測するには、心電図データが患者の治療後の状態を正確に表していることが重要となる。正確な心電図データを得るには、患者の身体の特徴を正確に再現した計算格子データを生成することが求められる。
計算格子データを生成するには、まず患者の心臓と胸郭の立体形状を示す立体形状データが生成される。患者の立体形状データの生成には、患者の心臓を撮影した医療画像データが用いられる。医療画像に写る患者の心臓の特徴を反映させた心臓の3次元モデル(心臓モデル)を表す心臓形状データを生成することで、その患者の疾患に応じた心臓の動きを、生体シミュレーションで正確に再現可能となる。なお心臓モデルは、第1の実施の形態に示した心臓の立体形状の一例である。
心臓の医療画像データとしては、CT画像データ、MRI(Magnetic Resonance Imaging)画像データ、エコー画像データなどがある。このうち、CT画像データは、CT装置で患者を撮影することで生成される。CT装置での撮影時には、X線撮影に比べて多くの放射線が患者に照射される。そのためCT画像データを得るための患者の身体的負担が大きい。MRI画像データはMRI装置を用いた磁気共鳴によって生成されるため、患者の放射線の被爆はない。ただしMRI装置は、撮影可能な断層画像間の間隔(ピッチ)がCT装置に比べて広い。そのためMRI装置による断層画像を用いて患者の身体的特徴を示す立体形状データを作成しても、高精度の立体形状データを作成することは困難である。
エコー画像データは、超音波診断装置を用いて得ることができる。超音波診断装置は、CT装置またはMRI装置よりも小型で、数多くの医療機関が保有している。また超音波診断装置によるエコー画像の撮影は、患者の身体的負担も少ない。そこでシミュレーション装置100では、患者のエコー画像データに基づいて心臓形状データを生成する。
またシミュレーション装置100は、X線画像データに基づいて胸郭形状データを生成する。胸郭形状データは、患者の胸郭の形状を再現した3次元モデル(胸郭モデル)を示すデータである。なお、胸郭モデルは、第1の実施の形態に示した胸郭の立体形状の一例である。X線画像データは、X線装置で患者をX線撮影することで生成される。X線撮影では患者にX線が照射されるが、CT装置に比べれば患者に照射される放射線量は少なくて済む。
シミュレーション装置100は、心臓形状データと胸郭形状データとに基づいて、計算格子データを生成する。計算格子データは、胸郭モデル内に心臓モデルを配置した3次元のソリッドモデルを示すデータである。
図4は、シミュレーション装置の機能の一例を示すブロック図である。シミュレーション装置100は、心臓形状データの生成に使用するデータを医療機関サーバ200から取得する。またシミュレーション装置100は、胸郭形状データの生成に使用するデータを人体情報サーバ300から取得する。医療機関サーバ200は、医療機関で検査・治療などの医療サービスを受けた多数の患者の診療録が格納された診療録データベース(DB)210を有している。人体情報サーバ300は、人体の寸法や形状の統計情報が格納された人体寸法・形状DB310を有している。シミュレーション装置100は、人体寸法・形状DB310から胸郭形状統計データを取得して、患者の胸郭形状を示す胸郭形状データの生成に使用する。
シミュレーション装置100は、患者データ取得部110、記憶部120、心臓形状特徴設定部130、心臓形状データ生成部140、胸郭形状データ生成部150、計算格子データ生成部160、および生体シミュレーション部170を有する。
患者データ取得部110は、医療機関サーバ200から、被検体として指定された患者のデータを取得する。患者データ取得部110は、患者の識別情報の入力に応じて、医療機関サーバ200の診療録DB210から、該当患者のエコー画像データ121、エコー検査レポート122、およびX線画像データ123を取得する。患者データ取得部110は、取得したデータを記憶部120に格納する。
記憶部120は、エコー画像データ121、エコー検査レポート122、およびX線画像データ123を記憶する。エコー画像データ121は、超音波診断装置によって撮影された患者の心臓の断面画像の画像データである。エコー画像データ121は、例えば3Dエコー画像データである。3Dエコー画像データであれば、心臓の断面形状を3次元の座標上で再現することができる。エコー検査レポート122は、エコー画像データ121に基づく医師の所見が記載されたデータである。エコー検査レポート122には、例えば心臓の中隔の菲薄化の有無などの情報が含まれる。またエコー検査レポート122には、心筋の厚みを示す数値も含まれる。X線画像データ123は、X線装置で撮影された患者の胸部の画像データである。X線画像データ123には、複数の方向それぞれから撮影された画像データが含まれる。例えばX線画像データ123には、患者の正面から撮影した画像データと、患者の側面から撮影した画像データとが含まれる。
以下、心臓形状特徴設定部130、心臓形状データ生成部140、胸郭形状データ生成部150、計算格子データ生成部160、および生体シミュレーション部170の処理を、図5を参照して説明する。
図5は、心臓の興奮伝播の生体シミュレーションを行う場合の処理の流れの一例を示す図である。
心臓形状特徴設定部130は、エコー検査レポート122を解析して、心臓の形状の特徴を示す情報を抽出する。そして心臓形状特徴設定部130は、抽出した情報を心臓形状データ生成部140に送信する。例えば心臓形状特徴設定部130は、心筋の厚さを示す情報を心臓形状データ生成部140に送信する。
心臓形状データ生成部140は、エコー画像データ121に基づいて、患者の心臓の形状を3次元の心臓モデルで表すための心臓形状データ141を生成する。また心臓形状データ生成部140は、心臓形状特徴設定部130から患者の心臓の特徴を示す情報を取得すると、取得した情報に従って心臓形状データ141を修正する。
さらに心臓形状データ生成部140は、心臓形状データ141に基づいて心臓モデルを生成し、その心臓モデルに対するランドマークの設定入力を受け付ける。心臓形状データ生成部140は、入力されたランドマークの位置を取得し、心臓形状データ141にランドマークの位置情報を追加する。心臓形状データ生成部140は、ランドマーク付きの心臓形状データ141を計算格子データ生成部160に送信する。
胸郭形状データ生成部150は、X線画像データ123に基づいて、胸郭形状データ151を生成する。例えば胸郭形状データ生成部150は、人体情報サーバ300の人体寸法・形状DB310から胸郭形状統計データ311を取得する。胸郭形状統計データ311には、複数の人体の胸部の複数の個所における寸法と形状(例えば断面形状)とが示されている。そして胸郭形状データ生成部150は、患者の性別に応じた平均的な胸郭形状を、X線画像データ123に表される患者の胸郭形状によって修正し、患者の胸郭形状を表す胸郭形状データ151を生成する。胸郭形状データ生成部150は、生体シミュレーションの結果として心電図データを出力する場合、胸郭形状データ151で表される胸郭モデル上に心電図測定の電極を設定し、電極の位置を示すデータを胸郭形状データ151に含める。胸郭形状データ生成部150は、生成した胸郭形状データ151を計算格子データ生成部160に送信する。
計算格子データ生成部160は、心臓形状データ141と胸郭形状データ151とに基づいて、計算格子データを生成する。例えば計算格子データ生成部160は、胸郭形状データ151で表される胸郭モデル内における心臓形状データ141で表される心臓モデルの位置と向きを決定する。そして計算格子データ生成部160は、心臓モデルと胸郭モデルとで表される心臓と胸郭との表面形状の内部をボクセルで埋めることで計算格子データ161を生成する。計算格子データ生成部160は、生成した計算格子データ161を生体シミュレーション部170に送信する。
生体シミュレーション部170は、計算格子データ生成部160から取得した計算格子データ161に基づいて、生体シミュレーションを実行する。例えば生体シミュレーション部170は、心臓の興奮伝播の生体シミュレーションを実行し、興奮伝播によって観測される心電図を表す心電図データ171を出力する。
なお、図5に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図5に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。
以下、心臓形状データ生成処理、ランドマーク設定処理、胸郭形状データ生成処理、電極位置設定処理、および胸郭形状への心臓形状の配置処理について詳細に説明する。
<心臓形状データ生成処理>
まず、心臓形状データ生成処理について詳細に説明する。被検体となる患者が指定され、診療録DB210から該当患者の顧客のデータが取得されると、心臓形状データ生成部140によって心臓形状データ生成処理が行われる。
図6は、心臓形状データ生成処理の一例を示す図である。例えば心臓形状データ生成部140は、エコー画像データ121に含まれるエコー画像30をモニタ21に表示する。エコー画像30の右側には、心臓の縦方向の断面が表示されている。エコー画像30の左側には、心臓の横方向の断面が表示されている。
ユーザは、エコー画像30に対して、左室内膜などの所定の境界31,32を指定する。心臓形状データ生成部140は、指定された境界に基づいて、エコー画像30内での心臓の左室内腔などのセグメンテーションを行う。心臓形状データ生成部140は、セグメンテーションによって判断された領域の表面をポリゴンで覆うことで、3次元のサーフェスモデルを生成する。このサーフェスモデルが、患者の心臓の立体形状を表す心臓モデル33である。
そして心臓形状データ生成部140は、心臓モデル33を構成するポリゴンのデータを、心臓形状データ141として出力する。ポリゴンのデータには、各ポリゴンを構成する頂点の番号、各頂点の3次元の位置座標などが含まれる。
なお、セグメンテーションのために指定される境界は、例えば左室内腔の外縁、左室外膜、2つの心室を覆う心外膜である。左室内腔の外縁と左室外膜とにより、左心室の心筋領域が特定できる。左心室の心筋領域により、心筋の厚さが分かる。心室の心外膜から心筋の厚さ分内側までの領域のうち、左心室の心筋領域以外の領域が、右心室の心筋領域となる。右心室の心筋領域の内部の領域が、右心室の内腔である。右心室の内腔と左心室の内腔との間の心筋領域が中隔である。
図7は、心臓形状データ生成処理の手順の一例を示すフローチャートである。以下、図7に示す処理をステップ番号に沿って説明する。
[ステップS101]心臓形状データ生成部140は、ユーザからの左室内腔の外縁を示す境界の指定入力に基づいて、エコー画像内の左室内腔の外縁の位置を特定する。
[ステップS102]心臓形状データ生成部140は、ユーザからの左室外膜を示す境界の指定入力に基づいて、エコー画像内の左室外膜の位置を特定する。ここで特定される左室外膜には、中隔の右室内腔側の面を含んでいる。
[ステップS103]心臓形状データ生成部140は、ユーザからの2つの心室を覆う心外膜を示す境界の指定入力に基づいて、エコー画像内の心外膜の位置を特定する。この際、心臓形状データ生成部140は、心臓形状特徴設定部130から取得した心筋の厚みに関する情報を用いて、心外膜の位置を修正する。
[ステップS104]心臓形状データ生成部140は、心外膜と左室外膜との位置に基づいて右室内腔の外縁の位置を特定する。例えば心臓形状データ生成部140は、心外膜に対して心筋の厚み以上内側であり、左室外膜の外側にある領域を右室内腔として特定する。
[ステップS105]心臓形状データ生成部140は、特定した各境界を表す心臓形状データを生成し、出力する。
このように、ユーザが、エコー画像上で左室内腔の外縁などの境界の位置を、マウスなどを用いて特定すると、心臓形状データ生成部140によって、心臓形状データが生成される。
図8は、エコー画像上での境界の位置の指定入力の一例を示す図である。まずユーザは、エコー画像35から左室内腔の外縁35a,35bの位置を指定する。例えばユーザは、マウス23を操作して、左室内腔の外縁35a,35b上の複数の位置を指定する。心臓形状データ生成部140は、指定された位置を滑らかに接続する閉曲線を生成し、その閉曲線を左室内腔の外縁35a,35bとして特定する。
ユーザは、図8に示すエコー画像35とは心臓の断面の位置が異なる他のエコー画像に対しても、左室内腔の外縁の位置を指定することができる。その場合、心臓形状データ生成部140は、指定された位置を滑らかに接続する閉曲線を生成し、その閉曲線を左室内腔の外縁として特定する。複数のエコー画像から左室内腔の外縁を特定することで、左室内腔の立体的形状の生成精度が向上する。
次にユーザは、エコー画像36から左室外膜36a,36bの位置を指定する。例えばユーザは、マウス23を操作して、左室外膜36a,36b上の複数の位置を指定する。心臓形状データ生成部140は、指定された位置を滑らかに接続する閉曲線を生成し、その閉曲線を左室外膜36a,36bの位置として特定する。
ユーザは、図8に示すエコー画像36とは心臓の断面の位置が異なる他のエコー画像に対しても、左室外膜の位置を指定することができる。その場合、心臓形状データ生成部140は、指定された位置を滑らかに接続する閉曲線を生成し、その閉曲線を左室外膜として特定する。複数のエコー画像から左室内腔を特定することで、左室外膜の立体的形状の生成精度が向上する。
次にユーザは、エコー画像37から心外膜37a,37bの位置を指定する。例えばユーザは、マウス23を操作して、心外膜37a,37b上の複数の位置を指定する。心臓形状データ生成部140は、指定された位置を滑らかに接続する閉曲線を生成し、その閉曲線を心外膜37a,37bの位置として特定する。
ユーザは、図8に示すエコー画像37とは心臓の断面の位置が異なる他のエコー画像に対しても、心外膜の位置を指定することができる。その場合、心臓形状データ生成部140は、指定された位置を滑らかに接続する閉曲線を生成し、その閉曲線を心外膜として特定する。複数のエコー画像から心外膜を特定することで、心外膜の立体的形状の生成精度が向上する。
心臓形状データ生成部140は、エコー画像35~37上で閉曲線により特定した境界(左室内腔の外縁35a,35b、左室外膜36a,36b、心外膜37a,37bなど)に基づいて、立体的な境界面を構成するポリゴンを生成する。
例えば心臓形状データ生成部140は、左室内腔の外縁35a,35bを示す閉曲線を通るスプライン曲面などの曲面を生成し、その曲面をポリゴンに分割する。また心臓形状データ生成部140は、左室外膜36a,36bを示す閉曲線を通るスプライン曲面などの曲面を生成し、その曲面を複数のポリゴンに分割する。同様に、心臓形状データ生成部140は、心外膜37a,37bを示す閉曲線を通るスプライン曲面などの曲面を生成し、その曲面を複数のポリゴンに分割する。
このようにして、エコー画像から作成したポリゴンの集合(STLデータ)が心臓モデル33となる。
図9は、心臓モデルの一例を示す図である。心臓モデル33の外観形状は、心外膜33aを示すポリゴンで表される。心臓モデル33の内部に左室外膜33bを示すポリゴンがある。左室外膜33bを示すポリゴンは、中隔と右心室との境界を含む。左室外膜33bの内側には、左室内腔の外縁(左室内膜と同じ)を表す境界面がポリゴンで表される。左室外膜33bのうち心外膜33aと重ならない境界部分と左室内腔との間が中隔の領域となる。
このように、心臓形状データ生成部140は、エコー画像から得られた左室内腔の外縁と中隔との立体形状を半自動で抽出し、心室外膜の立体形状との組合せにより、自然な心室形状を生成することができる。また心臓形状データ生成部140は、エコー検査レポート122に示される情報を有効に利用して、患者の心臓を表す心室形状の精度を高める。
図10は、エコー検査レポートの情報に基づく心臓モデルの修正の一例を示す図である。エコー検査レポート122からは、例えば心筋の厚みを示す数値データ122aと、心筋の厚みに関するテキストデータ122bとが抽出される。数値データ122aには、心室中隔厚(IVSTd)、拡張期左室後壁厚(PWTd)などの値が含まれる。
例えばユーザが、数値データ122aとテキストデータ122bとを確認し、数値データ122aに示される個所の心筋の厚さを入力する。心臓形状データ生成部140は、数値データ122aに示される個所の心筋の厚さの値に合わせて、心臓モデル33の該当個所の厚みを修正する。例えば心臓形状データ生成部140は、左心室における中隔側の心筋の厚さが心室中隔厚と等しくなるように、左室内膜33cと左室外膜33bとの間隔を調整する。また心臓形状データ生成部140は、左室後壁側の心筋の厚さが拡張期左室後壁厚と等しくなるように、左室内膜33cと左室外膜33bとの間隔を調整する。
またテキストデータ122bに心筋の厚さが菲薄化しているとの記載がある場合、ユーザが、テキストデータ122bを確認して、菲薄化している個所を入力する。心臓形状データ生成部140は、菲薄化が指摘されている個所の心筋の厚さを、他の部分よりも厚みが一定割合だけ薄くなるように、心臓モデル33の形状を修正する。図10の例では、テキストデータ122bにおいて中隔の菲薄化が指摘されているため、心臓形状データ生成部140は中隔の厚さを調整する。
以上のようにして、患者の心臓形状を高精度に表す心臓形状データ141が生成される。
<ランドマーク設定処理>
次にランドマーク設定処理について詳細に説明する。心臓形状データ141が生成されると、心臓形状データ生成部140によってランドマーク設定処理が行われる。
図11は、ランドマーク設定処理の一例を示す図である。例えば心臓形状データ生成部140は、心臓モデル33をモニタ21に表示する。心臓形状データ生成部140は、ユーザの操作に応じて、仮想の3次元空間内で心臓モデル33を回転させ、ユーザが指定した方向から視認したときの心臓モデル33をモニタ21に表示する。
ユーザは、マウス23などを操作し、心臓モデル33における前室間溝と後室間溝の位置に複数のランドマーク41を設定する。またユーザは、心尖部と僧帽弁中心などの所定の特徴的な位置にランドマーク42,43を設定する。心臓形状データ生成部140は、設定されたランドマークの位置を示す情報を、心臓形状データ141に付加する。
図12は、ランドマーク設定処理の手順の一例を示すフローチャートである。以下、図12に示す処理をステップ番号に沿って説明する。
[ステップS111]心臓形状データ生成部140は、左室外膜の心外膜とのフィッティングを行う。例えば心臓形状データ生成部140は、左室外膜と心外膜とが重なるべき領域において左室外膜の位置と心外膜の位置とにずれがある場合、左室外膜の位置を心外膜の位置に修正する。左室外膜と心外膜とが重なるべき領域は、例えば心臓の左心室側において、左室外膜を表す曲面と心外膜を表す曲面との差が所定値以下となっている領域である。
[ステップS112]心臓形状データ生成部140は、ユーザからの操作に基づいて、左室外膜に、前室間溝と後室間溝を示すランドマークを設定する。例えば心臓形状データ生成部140は、心臓形状データ141に基づいて、モニタ21に心臓モデル33を表示する。ユーザは、表示された心臓モデル33の形状を目視で確認し、心臓モデル33上の前室間溝と後室間溝それぞれの位置をマウス23によって指定する。心臓形状データ生成部140は、指定された位置に複数のランドマーク41を設定する。
[ステップS113]心臓形状データ生成部140は、設定された複数のランドマーク41と一致するように、心外膜形状を拡大または縮小してフィッティングする。例えば心臓形状データ生成部140は、複数のランドマーク41を滑らかに接続する曲線を境界として、左心室側の領域は、左室外膜と心外膜とが重なるように心外膜形状を修正する。また心臓形状データ生成部140は、複数のランドマーク41を滑らかに接続する曲線を境界として、右心室側の領域では、左室外膜と重ならないように心外膜形状を修正する。
[ステップS114]心臓形状データ生成部140は、心尖部と僧帽弁中心などのランドマークを設定する。例えば心臓形状データ生成部140は、心臓形状データ141に基づいて、モニタ21に心臓モデル33を表示する。ユーザは、表示された心臓モデル33の形状を目視で確認し、心臓モデル33上の心尖部と僧帽弁中心などの所定の特徴的な位置をマウス23によって指定する。心臓形状データ生成部140は、指定された位置にランドマークを設定する。
[ステップS115]心臓形状データ生成部140は、ランドマークの位置情報を付与した心臓形状データ141を出力する。
このようにして、前室間溝と後室間溝とを示す複数のランドマーク41による心臓形状データ141の修正と、ランドマーク42,43による心尖部と僧帽弁中心の位置の特定とが行われる。
図13は、前室間溝と後室間溝とのランドマーク設定の一例を示す図である。例えば心臓モデル33における左室外膜の心外膜とのフィッティングにより、心外膜33aのうち左室外膜33bと重ならない部分(心外膜33e)が抽出できる。前室間溝と後室間溝とを示す複数のランドマーク41が設定されると、心臓形状データ生成部140は、左室外膜33bと心外膜33eとの境界が、前室間溝と後室間溝の位置となるように心外膜33eを修正する。
このようにして、患者の心臓の形状を正確に心臓モデル33で表すことができる。心臓モデル33における左室外膜33bと左室内膜33cとの間の領域が、左心室筋肉部となる。左室内膜33cの内部の領域が、左心室血液部となる。心外膜33eから心筋の厚みの分だけ内側の領域のうち、左心室筋肉部以外の領域が右心室筋肉部となる。右心室筋肉部の内側の領域が右心室血液部となる。すなわち心臓モデル33において、左心室筋肉部、左心室血液部、右心室筋肉部、および右心室血液部が明確に分かれている。
ランドマークに応じた心臓モデル33の形状の修正後、心臓の特徴的な所定の位置にランドマークが設定される。
図14は、ランドマークの設定対象となる心臓の特徴的な位置の一例を示す図である。心臓の特徴的な位置を示すランドマークとして、心臓形状データ生成部140は、例えば心尖部の位置を示すランドマーク42と僧帽弁中心の位置を示すランドマーク43とを設定する。これらのランドマーク42,43の位置を示す直線が、心臓モデル33の心軸44となる。
また心臓形状データ生成部140は、例えば心臓前面の中隔且つ弁輪部(三尖弁)の位置を示すランドマーク45を設定する。心臓形状データ生成部140は、心臓背面の中隔且つ弁輪部(肺動脈弁)の位置を示すランドマーク46を設定する。さらに心臓形状データ生成部140は、中隔位置を心尖部から弁輪部に向けて後室間溝と前室間溝とに3つずつのランドマーク41を設定し、心尖部にランドマーク42を設定し、僧帽弁の中心位置にランドマーク43を設定する。これらのランドマーク41,42,43は、心臓モデル33を回転させるときの回転軸の定義に用いられる。さらにランドマーク45,46は、左室外膜の自由壁中部の位置を示すランドマーク47を設定してもよい。三尖弁のランドマーク45と肺動脈弁のランドマーク46とが設定されることで、心臓における4つの血液の流出入口(大動脈弁,僧帽弁,三尖弁,肺動脈弁)を、心臓モデル33において適切な位置に配置することができる。
このようなランドマーク41~43,45~47の位置を示す情報が、心臓形状データ141に付与される。なお、生体シミュレーションによって、CRT装置を植え込んだ場合の効果を検証する場合、心臓モデル33に対して、CRT装置の電極位置を示すランドマークを設定してもよい。ランドマークの位置情報を含む心臓形状データ141は、計算格子データ生成部160に送信される。
<胸郭形状データ生成処理>
次に、胸郭形状データ生成処理について詳細に説明する。心臓形状データ生成部140による心臓形状データの生成と並列に、胸郭形状データ生成部150による胸郭形状データ生成処理が実行される。
図15は、胸郭形状データ生成処理の概要を示す図である。胸郭形状データ生成部150は、X線画像51からの胸郭形状のセグメンテーションを行う。セグメンテーションにより、例えば胸郭形状を黒くし、その他を白くした2値化画像52が生成される。図15には、患者を正面から撮影したX線画像51のセグメンテーションの例を示している。胸郭形状データ生成部150は、患者を横方向から撮影したX線画像についても同様にセグメンテーションを行う。
胸郭形状データ生成部150は、セグメンテーションによって得られた2値化画像52に基づいて、胸郭と外界との境界を示す境界点群53を算出する。そして胸郭形状データ生成部150は、境界点群の各点の位置座標を示すデータを、胸郭形状データ151として出力する。
図16は、胸郭形状データ生成処理の手順の一例を示すフローチャートである。以下、図16に示す処理をステップ番号に沿って説明する。
[ステップS131]胸郭形状データ生成部150は、2方向から患者を撮影したX線画像を示すX線画像データ123を、記憶部120から読み込む。
[ステップS132]胸郭形状データ生成部150は、X線画像データ123に示されるX線画像を2値化する。2値化により、背景の空間が黒色、人体は、肺野領域を除き白色となる。人体内の肺野領域には黒色の肺の像が現れる。
[ステップS133]胸郭形状データ生成部150は、肺野領域の自動マスク処理を行う。自動マスク処理により、肺野領域が、その周囲の領域と同じ色(白色)に塗りつぶされる。
[ステップS134]胸郭形状データ生成部150は、2値化した画像に対して白黒反転処理を行う。
[ステップS135]胸郭形状データ生成部150は、人体情報サーバ300から胸郭形状統計データ311を取得する。
[ステップS136]胸郭形状データ生成部150は、胸郭形状統計データ311に示される胸郭の平均形状を、患者の胸郭の横幅に合わせて拡大または縮小する。例えば胸郭形状データ生成部150は、胸郭形状統計データ311に基づいて、胸郭の幅を変数として胸郭断面の形状を算出する関数のパラメータを決定する。そして胸郭形状データ生成部150は、胸郭断面の形状を示す関数の変数に、患者の胸郭の横幅の半分の値を設定することで、患者の胸郭の横幅に合わせて拡大または縮小された胸郭断面形状を得る。このような胸郭断面形状を患者の胸郭の異なる高さの位置で複数求めることで、高さごとの胸郭断面形状が得られる。
[ステップS137]胸郭形状データ生成部150は、患者の胸郭の横幅と縦幅の比に合わせて、ステップS136で得られた胸郭形状の前後径を調整する。患者の胸郭の横幅は、正面からのX線画像を2値化した画像から得られる。患者の胸郭の縦幅は、側面からのX線画像を2値化した画像から得られる。
[ステップS138]胸郭形状データ生成部150は、側面からのX線画像に基づいて胸郭の中心線を求め、胸郭の高さごとに求めた胸郭断面形状それぞれの中心位置を、胸郭の中心線に合わせる。これにより、患者の胸郭形状が得られる。胸郭形状は、例えば胸郭表面の点群で表される。
[ステップS139]胸郭形状データ生成部150は、生成した点群に基づいて、ポリゴンの胸郭形状データ151を生成する。
このようにして胸郭形状データ151が生成される。
図17は、胸郭領域のセグメンテーションの一例を示す図である。X線画像51を2値化することで、輝度が所定値以上のピクセルは白、輝度が所定値未満のピクセルは黒に変換される。その結果、2値化画像52aが生成される。この段階での2値化画像52aは、肺野領域に黒色が残っている。肺野領域を自動マスク処理により白色に変換することで、人体内部が白色、その他の部分が黒色の2値化画像52bが生成される。この2値化画像52bの白色と黒色との反転を行うことで、図15に示したような2値化画像52が得られる。
図17に示したセグメンテーションが、患者の横方向からのX線画像に対しても行われる。胸郭形状データ生成部150は、正面方向からの2値化画像52に基づいて、患者の胸郭の横方向の幅を算出できる。また胸郭形状データ生成部150は、横方向からの2値化画像に基づいて、患者の胸郭の前後方向の幅を算出できる。
胸郭形状データ生成部150は、胸郭形状統計データ311に基づいて、人体の平均的な胸郭形状を取得し、その胸郭形状を修正することで患者の胸郭形状を生成する。
図18は、胸郭形状の表現方法の一例を示す図である。例えば人体の所定の位置での胸郭断面形状54があるものとする。このとき、胸郭断面形状54の中心を原点とする極座標を考える。原点から放射状に所定の角度間隔で半直線を引いたとき、胸郭の外周と各半直線との交点を求めることができる。交点の位置の座標は、角度と原点からの距離とで表される。各交点の位置の座標の集合によって、1人の人体の胸郭形状が表される。
複数の人の胸郭形状を比較する場合、体格の違いによるデータの違いを吸収するため、胸郭形状データが正規化される。例えば胸郭の中心からの距離の最大値が「1」となるように正規化される。正規化後の胸郭形状データは、グラフ54aのように表される。グラフ54aは、横軸が角度、縦軸が正規化後の原点からの距離である。
ここで胸郭形状の中心から横方向に延ばした半直線と胸郭の外周との交点(初期位置)までの、原点からの距離をd0とする。i番目の角度の半直線と胸郭の外周との交点までの原点からの距離liは、パラメータαiを用いて「li=αi・d0」と表すことができる。角度ごとのパラメータαiは、例えば胸郭形状統計データ311に示された平均的な胸郭形状に基づいて決定することができる。平均的な胸郭形状は、胸郭形状統計データ311から取得することができる。
図19は、胸郭形状統計データから取得できる統計情報の一例を示す図である。例えば胸郭形状統計データ311には、複数の人物の胸郭形状データ311a,311b,・・・が含まれる。胸郭形状データ311a,311b,・・・は、例えば測定対象者の性別と、所定の測定個所における胸郭形状の測定結果が含まれる。測定個所は、例えばアンダーバストの位置である。
胸郭形状データ生成部150は、胸郭形状統計データ311に含まれる胸郭形状データ311a,311b,・・・を性別で分類し、男性の統計情報と女性の統計情報とを計算する。例えば胸郭形状データ生成部150は、胸郭の中心からの角度ごとに、胸郭の外周までの正規化された長さの平均、平均+SD(標準偏差)、および平均-SDなどを計算することができる。
図19のグラフ55は、胸郭形状統計データ311から得られた統計情報が示されている。グラフ55の横軸は角度であり、縦軸は正規化された長さである。胸郭形状データ生成部150は、例えば図19に示す統計情報のうち、男性の平均を示す情報と女性の平均を示す情報とを、被検体である患者の胸郭形状データ151の生成に使用する。
図20は、胸郭の平均形状の一例を示す図である。図20に示すグラフ56は、横軸は胸郭の外周における左右方向の位置であり、縦軸は胸郭の外周における前後方向の位置を示している。グラフ56に示すように、胸郭形状統計データ311に基づいて、男性と女性とのそれぞれについて、正規化された胸郭の平均形状が得られる。
胸郭形状データ生成部150は、「li=αi・d0」の関係を用い、角度ごとの距離liの平均値に基づいて、角度ごとのパラメータαiの値を求める。胸郭形状データ生成部150は、角度ごとのパラメータαiの値を用いることで、胸郭の横幅に応じて、平均的な胸郭の相似形の胸郭形状を生成することができる。
図21は、被検体の胸郭の横幅に応じた胸郭形状生成の一例を示す図である。例えば胸郭形状統計データ311に基づいて得られた平均的な胸郭形状56bを示すテンプレート56aが生成される。テンプレート56aには、平均的な胸郭形状56bの中心からの角度ごとの胸郭表面までの距離Rが示される。平均的な胸郭形状56bの中心から横方向の胸郭表面までの距離Rが、距離Rの最大値となる。距離Rの最大値の2倍の値が、平均的な胸郭形状56bの横径となる。
胸郭形状データ生成部150は、2値化画像52に基づいて、患者の胸郭における横幅を求める。そして胸郭形状データ生成部150は、平均的な胸郭形状の横径と、正面からのX線画像の2値化画像52から得られる被検体の胸郭の横幅とに基づいて、平均的な胸郭形状を拡大または縮小した相似形の胸郭形状57aを算出する。例えば胸郭形状データ生成部150は、テンプレート56aに示される角度ごとの距離Rに対して、横幅と横径との比の値(横幅/横径)を乗算する。これにより、平均的な胸郭形状の相似形となる胸郭形状57aが得られる。
例えば横幅と横径との比の値が1.3の場合における、拡大前後での角度ごとの胸郭形状表面までの距離Rの変化をグラフ91に示している。グラフ91の横軸は角度θであり、縦軸は距離Rである。グラフ91に示すように、被検体の横幅に応じて拡大したときの胸郭形状57aを示す曲線(拡大形状曲線91b)は、平均的な胸郭形状56bを示す曲線(テンプレート形状曲線91a)より上にある。
胸郭形状57aは、例えば患者の胸郭の断面における外周に沿った点群で表される。このような点群の生成を、患者の胸郭の高さ方向に所定間隔で行うことで、胸郭の外周面上の点群(境界点群)が生成される。
また胸郭形状データ生成部150は、側面からのX線画像を2値化することで、横方向から見たときの胸郭の輪郭を抽出することができる。胸郭形状データ生成部150は、例えば横方向からの胸郭の輪郭に基づいて、胸郭の境界点群の、前後方向の幅を修正する。
図22は、側面からのX線画像に基づく胸郭形状の修正の一例を示す図である。例えば胸郭形状データ生成部150は、側面からのX線画像の2値化画像59に基づいて、被検体の胸郭の縦幅と中心線59aとを得る。縦幅は、例えば測定位置の高さを変えながら、複数の位置において測定される。また中心線は、胸郭の前方表面と後方表面との中間の位置を通る曲線である。
胸郭形状データ生成部150は、横幅と縦幅の比に合わせて前後径を調整する。例えば胸郭形状データ生成部150は、横幅に応じて、平均的な胸郭形状を拡大または縮小することで得られた胸郭形状57aの原点を通る横方向の軸から、胸郭表面の各点までの距離をyとする。胸郭形状データ生成部150は、胸郭表面の各点までの距離yに、被検体の縦幅と横幅との比の値(縦幅/横幅)を乗算する。胸郭形状データ生成部150は、乗算結果を、修正後の胸郭形状57bにおける中心線位置から胸郭表面までの距離y’とする。
中心線位置は、側面からのX線画像の2値化画像59に基づいて検出された中心線59a上の、胸郭形状57bに示される断面の高さにおける位置である。胸郭形状データ生成部150は、中心線位置からy’だけ離れた位置に、胸郭形状57bの表面上の点を移動定する。
グラフ92には、平均的な胸郭形状56bと、被検体の横幅に応じて拡大(1.3倍)した後の胸郭形状57aと、縦幅と横幅との比に応じた修正後の胸郭形状57bとを重ねて示している。グラフ92に示すように、拡大した胸郭形状57aは、平均的な胸郭形状56bよりも、横方向(X軸方向)と縦方向(Y軸方向)との両方に拡大されている。また修正後の胸郭形状57bは、横幅は胸郭形状57aと同じであり、胸郭形状57aよりも縦方向に「縦幅/横幅」の分だけ縮小(図22の例では「0.85」倍)されている。
図22に示した胸郭形状57bを、胸郭の計算対象となる高さを変えながら、複数の高さで計算することで、患者の体型(例えば胸郭の湾曲の程度)に合わせた胸郭モデルが生成できる。胸郭モデルの生成に、正面からのX線画像だけでなく、横方向からのX線画像を用いることで、被検体となる患者の胸郭のサイズだけでなく、断面形状の縦横比が、被検体の胸郭形状に合わせて正しく胸郭モデルで再現される。また側面方向からの撮影したX線画像に基づく中心線59aを用いて胸郭形状の中心線位置の3次元空間上での位置を求めることで、胸郭を横方向から見たときの傾きを、胸郭モデルで正しく再現できる。
図23は、胸郭形状を示す境界点群の一例を示す図である。図23に示すように、境界点群57を3次元空間に配置すると胸郭形状が現れる。胸郭形状データ生成部150は、例えば境界点群57に含まれる各点を頂点とするポリゴンによって、胸郭の外周面を示す胸郭形状データ151を生成する。胸郭形状データ151に基づいて、3次元空間上に胸郭のポリゴンモデルを生成できる。
<電極位置設定処理>
胸郭形状データ生成部150は、胸郭形状データ151を生成すると、心電図計測用の電極位置を設定する。
図24は、電極位置決定処理の手順の一例を示すフローチャートである。以下、図24に示す処理をステップ番号に沿って説明する。
[ステップS141]胸郭形状データ生成部150は、X線画像データ123を読み込む。
[ステップS142]胸郭形状データ生成部150は、正面からのX線画像と側面からのX線画像とを、体軸に合わせて3次元空間に配置する。
[ステップS143]胸郭形状データ生成部150は、胸郭形状データ151を読み込む。
[ステップS144]胸郭形状データ生成部150は、X線画像をモニタ21に表示して、ユーザから電極位置を指定する入力を受け付ける。そして胸郭形状データ生成部150は、指定された位置に対応する胸郭形状上の位置に電極を配置する。
[ステップS145]胸郭形状データ生成部150は、胸郭形状データに電極位置を追加する。
このようにして胸郭形状データ151に電極位置を追加することができる。
図25は、電極位置設定の一例を示す図である。胸郭形状データ生成部150は、X線画像データ123を読み込むと、3次元空間内に正面からのX線画像51と側面からのX線画像58とを配置する。例えば、正面からのX線画像51は、z軸を中心として、x軸と並行に配置される。また側面からのX線画像58は、z軸を中心としてy軸と並行に配置される。この場合、例えば2つのX線画像51,58は、x軸を交線として直交する。
X線画像データ123は、直交するX線画像51,58をモニタ21に表示する。ユーザは、X線画像51またはX線画像58上に心電図計測用の複数の電極99を配置する。胸郭形状データ生成部150は、胸郭形状データ151に基づいて、配置された複数の電極99それぞれの胸郭上の位置を決定する。例えば胸郭形状データ生成部150は、正面からのX線画像51上に電極の位置が指定された場合、配置された電極を通るy軸に並行な直線と胸郭形状の腹側の表面との交点を、その電極の位置とする。また胸郭形状データ生成部150は、側面からのX線画像51上に電極の位置が指定された場合、配置された電極を通るx軸に並行な直線と胸郭形状の表面(表示した方向の面)との交点を、その電極の位置とする。
このようにして、ユーザは、容易に電極の位置を指定することができる。そして指定された電極の位置を示す情報が胸郭形状データ151に付与される。
<胸郭形状への心臓形状の配置処理>
心臓形状データ141と胸郭形状データ151とが生成されると、計算格子データ生成部160によって、胸郭形状への心臓形状の配置が行われる。
図26は、胸郭形状への心臓形状の配置処理の手順の一例を示すフローチャートである。以下、図26に示す処理をステップ番号に沿って説明する。
[ステップS151]計算格子データ生成部160は、心臓形状データ141に示される心臓モデル33のスケーリングを行う。すなわち、計算格子データ生成部160は、心臓形状データ141に示される心臓モデル33を拡大または縮小し、心臓モデル33の大きさを、正面からのX線画像51に写る心臓の大きさに合わせる。例えば計算格子データ生成部160は、正面方向からの心臓モデル33の投影画像の面積がX線画像51内での心臓が占める面積と等しくなるように、心臓モデル33のスケーリングを行う。
[ステップS152]計算格子データ生成部160は、心臓モデル33の125個の回転パターンを生成する。例えば計算格子データ生成部160は、心臓モデル33の心尖部を原点とした3軸の局所座標系を定義する。そして、計算格子データ生成部160は、局所座標系において、各軸周りに心臓モデル33を回転させる回転パターンを複数生成する。
[ステップS153]計算格子データ生成部160は、X線画像データから評価用の心筋境界情報を作成する。例えば計算格子データ生成部160は、ユーザがX線画像上で心筋境界として指定した閉曲線を、心筋境界情報とする。
[ステップS154]計算格子データ生成部160は、心臓の複数の回転パターンの写像データを作成する。例えば計算格子データ生成部160は、回転パターンに従って、心臓モデル33を局所座標系で回転させる。次に計算格子データ生成部160は、心臓モデル33の頂点の座標を、心臓モデル33の局所座標系から、胸郭形状モデルを定義する座標系(全体座標系)上の座標へ、所定の座標変換マトリクスを用いて変換する。そして計算格子データ生成部160は、全体座標系の座標で表された心臓モデル33を胸郭形状モデルの後ろ方向の投影面と横方向の投影面それぞれに平行投影(垂直投影)する。計算格子データ生成部160は、例えば投影によって得られた像の輪郭を示す閉曲線の情報を、写像データとする。
[ステップS155]計算格子データ生成部160は、心臓モデル33の心尖部の位置を、X線画像に写る心臓の心尖部に合わせて、全体座標系に配置する。例えば計算格子データ生成部160は、図25に示すように、胸郭形状データ生成時と同じ位置にX線画像51,58を仮想空間に配置する。そして計算格子データ生成部160は、心臓モデル33の心尖部をX線画像51とX線画像58とに投影したときの心尖部の像が、X線画像51とX線画像58とに写る心尖部に重なる位置に、心臓モデル33を配置する。
[ステップS156]計算格子データ生成部160は、回転パターンごとに写像データと評価用境界情報とを比較し、各回転パターンを評価する。
[ステップS157]計算格子データ生成部160は、最適な回転パターンを選択する。
[ステップS158]計算格子データ生成部160は、選択された回転パターンに従って回転させた後の心臓モデル33を示す心臓形状データ141を出力する。なお、心臓モデル33に付与されたランドマークも選択された回転パターンに従って回転移動され、回転移動後のランドマークの位置が心臓形状データ141に付与される。
以下、胸郭形状への心臓形状の配置処理を図27~図29を参照して詳細に説明する。
図27は、回転パターン生成方法の一例を示す図である。計算格子データ生成部160は、心臓形状データ141に付与されたランドマークに基づいて、回転軸を生成する。例えば計算格子データ生成部160は、心尖部のランドマーク42の位置を原点とする3次元の局所座標系(直交座標)を定義する。局所座標系の軸は、ランドマーク41~43の位置を用いて決定される。なお図27に示す心臓モデル33は、左心室が手前側になる向きで表されている。
例えば計算格子データ生成部160は、心尖部のランドマーク42から僧帽弁中心の位置を示すランドマーク43の方向を向いたベクトルを、ベクトルmとする。また計算格子データ生成部160は、複数のランドマーク41の内で、後室間溝上部に配置したランドマークから前室間溝上部に配置したランドマークの方向を向くベクトルを、ベクトルsとする。ベクトルsは、後室間溝から前室間溝への方向を向いたベクトルとなる。
ここで長さが1の局所直交基底ベクトルをベクトルv1,v2,v3とする。ベクトルv1は「(m×s)×m」と同じ向きである。ベクトルv2は「m×s」と同じ向きである。ベクトルv2は、中隔から左室自由壁への方向を向いたベクトルとなる。ベクトルv3は「m」と同じ向きである。ベクトルv3は、心軸の下から上(心尖部から僧帽弁中心の方向)を向いたベクトルとなる。ベクトルv1,v2,v3それぞれは、自身以外のベクトル周りのスピンによって回転する。
ベクトルv1方向の軸周りの回転速度をω1とする。ベクトルv2方向の軸周りの回転速度をω2とする。ベクトルv3方向の軸周りの回転速度をω3とする。そして「ω=ω11+ω22+ω33」が軸性ベクトルであり、時間に対して不変で積分できると仮定したとき、回転テンソルRは以下の式で表される。
Figure 2024005706000002
θは、スピンの時間をtとして以下の式で表される。
Figure 2024005706000003
Wは以下の式で表される。
Figure 2024005706000004
このような局所座標系において、計算格子データ生成部160は、例えば軸性ベクトルωを25パターン生成する。そして計算格子データ生成部160は、各軸性ベクトルの周りに5パターンずつ、全体で125パターンの回転パターン61,62,・・・を生成する。軸性ベクトルωの方向は、ω1とω2とω3との比(ω1:ω2:ω3)で表される。回転パターン61,62,・・・それぞれには、軸性ベクトルの方向(ω1とω2とω3との比)とその方向への回転角度が示される。
このように軸性ベクトルωを用いて回転パターン61,62,・・・を定義することで、無駄に多くの回転パターン61,62,・・・を生成せずに済む。すなわち、局所直交基底ベクトルであるベクトルv1,v2,v3それぞれ周りの回転角度によって回転パターン61,62,・・・を定義した場合、各ベクトルv1,v2,v3周りの回転角度が同じであっても、回転の順番が異なれば、回転操作後の心臓モデル33の向きは異なる向きとなる。そのため回転パターン61,62,・・・において、各ベクトルv1,v2,v3周りの回転の順番も定義することとなる。この場合、回転パターン61,62,・・・の定義内容が異なっていても、最終的な心臓モデル33の向きが一致してしまう場合が生じる。すると心臓モデル33の特定の向きを定義する回転パターンが複数存在することとなり、無駄な回転パターンが生じる。無駄な回転パターンが生成されると、図26に示すステップS154~S156の処理の計算量が、無駄な回転パターンの分だけ増加してしまう。
それに対して、軸性ベクトルωを用いて回転パターン61,62,・・・を定義することで、回転操作後の心臓モデル33の向きが同一となる複数の回転パターンの生成が抑止される。すなわち回転パターン61,62,・・・の定義内容(軸性ベクトルの方向とその周りの回転角度)が異なれば、回転操作後の心臓モデル33の向きが異なることが保証される。これにより無駄な回転パターンの生成が抑止される。その結果、ステップS154~S156の処理の計算量が削減され、処理を効率化することができる。
回転パターン61,62,・・・を生成後、計算格子データ生成部160は、回転パターン61,62,・・・それぞれに応じて、局所座標系において心臓モデル33を回転させる。また計算格子データ生成部160は、X線画像データ123に示されるX線画像51,58から評価用の心筋境界情報を作成する。
図28は、心筋境界情報作成処理の一例を示す図である。例えば計算格子データ生成部160は、X線画像51,58をモニタ21に表示する。計算格子データ生成部160は、ユーザから、X線画像51,58内の心臓51a,58aの外縁を指定する入力を受け付ける。計算格子データ生成部160は、指定された外縁を示す閉曲線70a,70bを、心筋境界情報70として出力する。計算格子データ生成部160は、生成した心筋境界情報70を用いて、回転パターン61,62,・・・それぞれを評価する。
図29は、回転パターンの評価方法の一例を示す図である。例えば計算格子データ生成部160は、回転パターン61,62,・・・それぞれによって回転させた心臓モデル33について、正面方向および側面方向に投影した写像データ71,72,・・・を生成する。そして計算格子データ生成部160は、回転パターンの写像データ71,72,・・・と心筋境界情報70とを比較することで、その回転パターンの正確性を評価する。
例えば計算格子データ生成部160は、写像データ71に示される心臓の写像の外縁を示す閉曲線を、心筋境界情報70に示される閉曲線の上に重ねる。計算格子データ生成部160は、重ねた閉曲線の重なり度合いを評価値とする。例えば計算格子データ生成部160は、閉曲線が重なる部分のピクセル数を評価値とする。計算格子データ生成部160は、各回転パターンの評価値を計算し、最も評価値の高い回転パターンを選択する。
図30は、回転パターン選択の一例を示す図である。グラフ80は、回転パターンごとの評価値を示している。グラフ80の横軸は125個の回転パターンの識別番号である。グラフ80の縦軸は評価値である。
計算格子データ生成部160は、評価値が最高の回転パターン81を選択する。計算格子データ生成部160は、選択した回転パターン81に従って心臓形状データ141に示される心臓モデル33を回転させる。そして計算格子データ生成部160は、胸郭形状データ151に示される胸郭モデル82内に心臓モデル33を配置する。
このようにして、胸郭形状内の適切な位置に心臓形状を配置することができる。
<計算格子データ生成および効果>
胸郭形状へ心臓形状が配置されると、計算格子データ生成部160は、胸郭モデル82と、胸郭モデル82内に配置された心臓モデル33とに基づいて計算格子データ161を生成する。例えばサーフェスモデルである胸郭モデル82と心臓モデル33とを、複数の立体要素(ソリッド)で構成されるソリッドモデルに変換する。そして計算格子データ生成部160は、ソリッドモデルを示すデータを計算格子データ161として出力する。
このようにして生成された計算格子データ161を生体シミュレーション部170に入力することで、生体シミュレーション部170によって患者の心臓の動作を再現させ、正確な心電図データ171を得ることができる。例えば生体シミュレーション部170は、CRT装置を植え込んだときの患者の心電図データ171を出力することができる。この場合、医師は出力された心電図データ171を参照して、その患者にCRT装置を植え込んだ場合の病状の改善効果を事前に確認することができる。
しかも患者の自然な心室形状を示す心臓形状データを、エコー画像データ121に基づいて生成することができる。エコー画像データ121は超音波診断装置を用いて得ることができる。超音波診断装置を用いた患者の超音波診断であれば、CTまたはMRIなどに比べて患者の身体的負担が少なくて済む。
さらにシミュレーション装置100は、エコー検査レポート122の情報に基づいて、患者の心臓形状の特徴を正しく心臓形状データ141に反映させている。その結果、心臓形状データの精度が向上し、正確な生体シミュレーションが可能となる。
また心臓形状データ141で示される心臓モデル33は、左心室筋肉部,左心室血液部,右心室筋肉部,右心室血液部の4つの部品に分割されたボリュームデータである。さらに心臓モデル33は、血液の4つ流出入口となる大動脈弁、僧帽弁、三尖弁、肺動脈弁が適切な位置に配置される。これにより、生体シミュレーションにおける心臓の動作の数値解析を高精度に実行することができる。
胸郭形状については、X線画像データ123に基づいて、極座標系の関数を用いて自動的に生成することができる。そのため、ユーザの作業負担が少なくて済む。
心臓形状の胸郭形状内への配置では、心臓形状を3つの回転軸周りに様々な角度で回転させた複数の回転パターンを生成し、X線画像と照らし合わせて最も精度が高い回転パターンで心臓形状の向きが決定される。これにより、胸郭形状内への心臓形状の配置を高精度に行うことができ、生体シミュレーションの精度を向上させることができる。
また胸郭モデル82に対して心電図測定用の電極を配置する際に、3次元空間に配置したX線画像を参考にして配置できるようにしたため、3次元空間上での電極の位置を正確に設定することができる。
図31は、電極配置の一例を示す図である。12誘導心電図では、胸部に6個の電極V1~V6が配置される。このとき電極V1は、第4肋間、胸骨右縁に配置される。V2は、第4肋間、胸骨左縁に配置される。これらの電極V1,V2を配置する個所は胸の窪みの部分にあり、X線画像51,58だけでは3次元空間上の位置を正確に指定するのが難しい。シミュレーション装置100では、正面のX線画像51を参考にして、電極V1,V2の位置を指定すれば、胸郭モデル82に基づいて前後方向の位置も正しく設定される。電極位置を正しく設定できることで、生体シミュレーションで得られる心電図データ171の精度が向上する。
〔その他の実施の形態〕
第2の実施の形態では生体シミュレーションによって心電図データ171を出力しているが、生体シミュレーションによってその他の様々なデータを出力することができる。そして、胸郭と心臓とを含む計算格子データが高精度に生成されていることで、心電図データ171以外のデータについても高精度に計算可能である。
第2の実施の形態では、患者への施術の効果確認を行うための生体シミュレーションを実行する場合を想定しているが、生体シミュレーションの結果は、その他の様々な目的で利用可能である。例えばAI(Artificial Intelligence)またはデータ解析に生体シミュレーションの結果を利用してもよい。
また第2の実施の形態では、シミュレーション装置100において計算格子データ161の生成と、その計算格子データ161に基づく生体シミュレーションとを行っているが、計算格子データ161の生成と生体シミュレーションとを別の装置で行ってもよい。例えばユーザが有するコンピュータで計算格子データ161の生成までの処理を行い、スーパーコンピュータと呼ばれるような外部のHPC(High Performance Computing)システムに、生体シミュレーションを実行させてもよい。
第2の実施の形態では、エコー画像は3Dエコー画像であるが、3Dエコー画像に代えて2Dエコー画像を用いることも可能である。この場合、心臓形状データ生成部140は、複数の2Dエコー画像それぞれに写っている心臓の断面が、3次元空間内での心臓のどの位置の断面なのかの位置合わせを行うこととなる。例えば心臓形状データ生成部140は、ユーザからの操作に基づいて、複数の2Dエコー画像に写っている心臓の断面の3次元空間上での位置合わせを行うことができる。
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の2以上の構成(特徴)を組み合わせたものであってもよい。
1 エコー画像データ
2 X線画像データ
3 心臓形状データ
4 胸郭形状データ
5 計算格子データ
10 情報処理装置
11 記憶部
12 処理部

Claims (12)

  1. 被検体の心臓の断面画像を示すエコー画像データに基づいて、前記心臓の内部構造を含む立体形状を示す心臓形状データを生成し、
    前記被検体の胸郭のX線画像を示すX線画像データに基づいて、前記被検体の前記胸郭の立体形状を示す胸郭形状データを生成し、
    前記X線画像に写る前記心臓の画像に基づいて、前記胸郭形状データに示される前記胸郭の立体形状内での、前記心臓形状データに示される前記心臓の立体形状の位置および向きを決定する、
    処理をコンピュータに実行させる立体形状データ生成プログラム。
  2. 前記胸郭形状データを生成する処理では、前記X線画像に基づいて前記胸郭の外縁を抽出し、抽出された前記外縁と、統計的に得られている平均的な胸郭形状とに基づいて、前記胸郭の立体形状を生成する、
    請求項1記載の立体形状データ生成プログラム。
  3. 前記胸郭形状データを生成する処理では、前記胸郭の前記外縁に基づいて、前記平均的な胸郭形状を拡大または縮小した相似形の胸郭形状を生成し、正面から撮影した第1のX線画像に示される前記胸郭の横幅と、側面から撮影した第2のX線画像に示される前記胸郭の縦幅との比に基づいて、前記相似形の胸郭形状の横幅と縦幅の比を修正する、
    請求項2記載の立体形状データ生成プログラム。
  4. 前記胸郭形状データを生成する処理では、前記第2のX線画像に基づいて、側面から見たときの前記胸郭の中心線を特定し、前記中心線に基づいて、前記相似形の胸郭形状の横幅と縦幅の比を修正して得られた修正済み胸郭形状の3次元空間における位置を決定する、
    請求項3記載の立体形状データ生成プログラム。
  5. 前記心臓の立体形状の位置および向きを決定する処理では、前記X線画像における前記心臓の特徴部位の前記胸郭内での位置に基づいて、前記胸郭の立体形状内での前記心臓の立体形状の前記特徴部位の位置を決定する、
    請求項1記載の立体形状データ生成プログラム。
  6. 前記心臓の立体形状の位置および向きを決定する処理では、前記心臓の形状の前記特徴部位を通る複数の回転軸周りに前記心臓の立体形状を回転させ、回転後の前記心臓の立体形状を投影した像と、前記X線画像に写る前記心臓の画像との比較結果に基づいて、前記胸郭の立体形状内での前記心臓の立体形状の向きを決定する、
    請求項5記載の立体形状データ生成プログラム。
  7. 前記心臓の立体形状の位置および向きを決定する処理では、前記複数の回転軸それぞれ周りの回転角の比と、前記比で回転の向きが特定される軸性ベクトル周りの回転角とを指定した複数の回転パターンを生成し、前記複数の回転パターンそれぞれに応じて前記心臓の立体形状を回転させ、回転後の前記心臓の立体形状を投影した像と、前記X線画像に写る前記心臓の画像との比較結果に基づいて、前記胸郭の立体形状内での前記心臓の立体形状の向きを決定する、
    請求項6記載の立体形状データ生成プログラム。
  8. 前記胸郭の立体形状を表す3次元空間内に前記X線画像を配置し、前記X線画像上で指定された心電図測定用の電極の配置個所を、前記胸郭の立体形状の表面上の位置に変換する処理を前記コンピュータにさらに実行させる、
    請求項1記載の立体形状データ生成プログラム。
  9. 前記心臓形状データを生成する処理では、前記心臓の立体形状を第1のサーフェスモデルで表す前記心臓形状データを生成し、
    前記胸郭形状データを生成する処理では、前記胸郭の立体形状を第2のサーフェスモデルで表す前記胸郭形状データを生成し、
    前記心臓の立体形状の位置および向きが決定されると、前記第2のサーフェスモデル内に、決定された位置および向きで前記第1のサーフェスモデルを配置し、前記第1のサーフェスモデルと前記第2のサーフェスモデルとに基づいて、前記心臓を内包する前記胸郭の立体形状をソリッドモデルで表した計算格子データを生成する、
    処理を前記コンピュータにさらに実行させる、
    請求項1または8に記載の立体形状データ生成プログラム。
  10. 被検体の胸郭のX線画像データに示される前記胸郭のX線画像に基づいて前記胸郭の外縁を抽出し、
    抽出された前記外縁と、統計的に得られている平均的な胸郭形状とに基づいて、前記胸郭の立体形状を示す胸郭形状データを生成する、
    処理をコンピュータに実行させる立体形状データ生成プログラム。
  11. 被検体の心臓の断面画像を示すエコー画像データに基づいて、前記心臓の内部構造を含む立体形状を示す心臓形状データを生成し、
    前記被検体の胸郭のX線画像を示すX線画像データに基づいて、前記被検体の前記胸郭の立体形状を示す胸郭形状データを生成し、
    前記X線画像に写る前記心臓の画像に基づいて、前記胸郭形状データに示される前記胸郭の立体形状内での、前記心臓形状データに示される前記心臓の立体形状の位置および向きを決定する、
    処理をコンピュータが実行する立体形状データ生成方法。
  12. 被検体の心臓の断面画像を示すエコー画像データに基づいて、前記心臓の内部構造を含む立体形状を示す心臓形状データを生成し、前記被検体の胸郭のX線画像を示すX線画像データに基づいて、前記被検体の前記胸郭の立体形状を示す胸郭形状データを生成し、前記X線画像に写る前記心臓の画像に基づいて、前記胸郭形状データに示される前記胸郭の立体形状内での、前記心臓形状データに示される前記心臓の立体形状の位置および向きを決定する処理部、
    を有する情報処理装置。
JP2022106014A 2022-06-30 2022-06-30 立体形状データ生成プログラム、立体形状データ生成方法、および情報処理装置 Pending JP2024005706A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022106014A JP2024005706A (ja) 2022-06-30 2022-06-30 立体形状データ生成プログラム、立体形状データ生成方法、および情報処理装置
EP23180272.9A EP4299012A1 (en) 2022-06-30 2023-06-20 Three-dimensional shape data generation program, three-dimensional shape data generation method, and information processing apparatus
CN202310744823.4A CN117338318A (zh) 2022-06-30 2023-06-21 三维形状数据生成方法、信息处理设备和记录介质
US18/212,222 US20240005603A1 (en) 2022-06-30 2023-06-21 Three-dimensional shape data generation method and information processing apparatus
KR1020230080798A KR20240002932A (ko) 2022-06-30 2023-06-23 입체 형상 데이터 생성 프로그램, 입체 형상 데이터 생성 방법 및 정보 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022106014A JP2024005706A (ja) 2022-06-30 2022-06-30 立体形状データ生成プログラム、立体形状データ生成方法、および情報処理装置

Publications (1)

Publication Number Publication Date
JP2024005706A true JP2024005706A (ja) 2024-01-17

Family

ID=86903913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022106014A Pending JP2024005706A (ja) 2022-06-30 2022-06-30 立体形状データ生成プログラム、立体形状データ生成方法、および情報処理装置

Country Status (5)

Country Link
US (1) US20240005603A1 (ja)
EP (1) EP4299012A1 (ja)
JP (1) JP2024005706A (ja)
KR (1) KR20240002932A (ja)
CN (1) CN117338318A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH033227A (ja) 1989-05-30 1991-01-09 Sony Corp レジストパターンの形成方法
JP2006110069A (ja) 2004-10-14 2006-04-27 Canon Inc 画像処理装置及びその制御方法、プログラム
JP2006181146A (ja) * 2004-12-28 2006-07-13 Fuji Photo Film Co Ltd 診断支援装置、診断支援方法およびそのプログラム
JP6631072B2 (ja) 2015-07-31 2020-01-15 富士通株式会社 生体シミュレーションシステムおよび生体シミュレーション方法
JP6987558B2 (ja) 2016-08-10 2022-01-05 キヤノンメディカルシステムズ株式会社 医用処理装置、超音波診断装置および医用処理プログラム
JP7387409B2 (ja) 2019-11-29 2023-11-28 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、医用画像処理プログラム

Also Published As

Publication number Publication date
CN117338318A (zh) 2024-01-05
US20240005603A1 (en) 2024-01-04
KR20240002932A (ko) 2024-01-08
EP4299012A1 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
Torosdagli et al. Deep geodesic learning for segmentation and anatomical landmarking
US11568534B2 (en) System and method of mitral valve quantification
US10970926B2 (en) System and method for lung-volume-gated x-ray imaging
US5889524A (en) Reconstruction of three-dimensional objects using labeled piecewise smooth subdivision surfaces
US9292917B2 (en) Method and system for model-based fusion of computed tomography and non-contrasted C-arm computed tomography
JP4521271B2 (ja) 変形可能な3次元対象の頭頂の動きに関する情報を表示する画像処理システム
JP6675495B2 (ja) 脳深部刺激療法の電極の三次元画像における回転配向の決定
CN103294883B (zh) 用于针对经导管主动脉瓣植入进行介入规划的方法和系统
JP2011024799A (ja) 医用画像処理装置および方法並びにプログラム
RU2669680C2 (ru) Инициализация модели на основе классификации видов
US10628963B2 (en) Automatic detection of an artifact in patient image
US20210353244A1 (en) System and method for determining radiation parameters
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
US20150206302A1 (en) Systems, methods and computer readable storage media storing instructions for integrating fluoroscopy venogram and myocardial images
CN114831729A (zh) 超声心动图和ct多模态图像融合的左心耳封堵模拟系统
JP2023036805A (ja) 人体部分の撮像方法、コンピュータ、コンピュータ読み取り可能記憶媒体、コンピュータプログラム、および医療システム
JP2024005706A (ja) 立体形状データ生成プログラム、立体形状データ生成方法、および情報処理装置
Medina et al. Left ventricle myocardium segmentation in multi-slice computerized tomography
JP5403431B2 (ja) 断層画像処理方法及び装置
US20130223715A1 (en) Image data determination method, image processing workstation, target object determination device, imaging device, and computer program product
Krishnaswamy et al. Validation of a diffeomorphic registration algorithm using true deformation computed from thin plate spline interpolation
MONTEIRO DEEP LEARNING APPROACH FOR THE SEGMENTATION OF SPINAL STRUCTURES IN ULTRASOUND IMAGES
JP2023073968A (ja) 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム
JP2023178525A (ja) 画像処理装置、方法およびプログラム
TW202416901A (zh) 用於肺體積閘控x射線成像系統和方法

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20220726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240430