WO2022118528A1 - 心臓モデル導入装置、心臓診断支援システム、プログラム、および心臓モデル導入方法 - Google Patents

心臓モデル導入装置、心臓診断支援システム、プログラム、および心臓モデル導入方法 Download PDF

Info

Publication number
WO2022118528A1
WO2022118528A1 PCT/JP2021/036174 JP2021036174W WO2022118528A1 WO 2022118528 A1 WO2022118528 A1 WO 2022118528A1 JP 2021036174 W JP2021036174 W JP 2021036174W WO 2022118528 A1 WO2022118528 A1 WO 2022118528A1
Authority
WO
WIPO (PCT)
Prior art keywords
heart
model
dimensional model
data
dimensional
Prior art date
Application number
PCT/JP2021/036174
Other languages
English (en)
French (fr)
Inventor
信二 福家
Original Assignee
信二 福家
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 信二 福家 filed Critical 信二 福家
Publication of WO2022118528A1 publication Critical patent/WO2022118528A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography

Definitions

  • the present invention relates to, for example, a technique for three-dimensionally modeling a heart structure.
  • congenital heart disease in which a fetus is born with a heart problem, is known.
  • This congenital heart disease is said to be about 1 in about 100 cases of birth, and among them, severe congenital heart disease that requires treatment within 1 year after birth is 1/3 to 1/2 of that. It is said to be about.
  • the fetal heart structure in the mother's womb (body) is depicted using echo (ultrasound) reflexes, and the fetus is examined for normal structure. Echocardiography is being performed.
  • this inspection method there are a 2D ultrasonic inspection method, a 3D ultrasonic inspection method, and the like.
  • fetal heart examination using such an examination method requires a specialist and an ultrasound technician who have sufficient anatomical background for diagnosis. Therefore, this test method has a problem that the test cannot be provided to all fetuses due to the small number of specialists and ultrasonic technologists.
  • the frequency of congenital heart disease is about 1%, and there is also a problem that the test for detecting an abnormality is inefficient. Furthermore, since the fetal heart structure is small and is a complicated motor organ, there is also a problem that it takes time to improve the examination skill. Therefore, the prenatal diagnosis rate was still low.
  • the invention of claim 1 has an echo data acquisition unit that acquires echo data of the heart portion, and at least the left ventricle, the right ventricle, and the left of the heart portion based on the echo data.
  • the left ventricle, the right ventricle, and the left ventricle in the three-dimensional model of the heart are provided with a three-dimensional model creating unit for creating a three-dimensional model of the heart including the ventricle and the right ventricle.
  • a first center point which is the center point of the right ventricle
  • a second center point which is the center point of the descending aorta
  • the heart has a first core axis passing through the heart, a second core axis connecting the first center point and the second center point, and a reference angle which is an angle formed by the first core axis and the second core axis.
  • the reference element setting unit for associating the reference element with the three-dimensional model of the heart portion is further provided, and the three-dimensional model creation unit is at least the left ventricle portion.
  • a Y-plane-derived three-dimensional model based on the above, and a Z-plane-derived three-dimensional model based on the boundary in each Z-plane obtained by slicing the echo data at regular intervals in the normal direction of the X-plane and the Z-plane orthogonal to the Y-plane.
  • an averaging processing unit that creates a three-dimensional model of one heart part by averaging the X-plane-derived three-dimensional model, the Y-plane-derived three-dimensional model, and the Z-plane-derived three-dimensional model. Be prepared.
  • FIG. 1 It is an overview diagram of a cardiac diagnosis support system. It is a block diagram of an ultrasonic inspection apparatus. It is a figure which shows the functional block which the ultrasonic inspection apparatus has with the flow of data. It is a block diagram of a heart model introduction device. It is a figure which shows the functional block which a heart model introduction device has with the flow of data. It is a figure which shows the structure of a 3D model database of the heart. It is a flow chart which shows the heart diagnosis support method. It is a flow chart which shows the standard model creation process. It is a flow chart which shows the measurement process. It is a flow chart which shows the 3D model creation process. It is a flow chart which shows the 3D model creation process.
  • FIG. 1 is an overview diagram of the cardiac diagnosis support system 1. Note that FIG. 1 illustrates the pregnant woman 5, the fetus 5a in the pregnant woman 5, and the heart portion 5b of the fetus 5a. The heart portion 5b is a sample for creating a diagnosis target of the heart diagnosis support system 1 or a model described later.
  • the "user” means a person who uses the cardiac diagnosis support system 1.
  • the user is not limited to a doctor, but also includes a technician, an operator, and the like, and does not necessarily have to be the same specific person.
  • the heart diagnosis support system 1 includes an ultrasonic examination device 2, a scanning device (three-dimensional ultrasonic probe) 3, and a heart model introduction device 4.
  • FIG. 2 is a block diagram of the ultrasonic inspection device 2.
  • the ultrasonic inspection device 2 includes a CPU 20, a storage device 21, an input unit 22, a display unit 23, and a communication unit 24.
  • the CPU 20 executes while reading the program 210 stored in the storage device 21, calculates various data, generates control signals, and the like. As a result, the CPU 20 has a function of controlling each configuration of the ultrasonic inspection device 2 and calculating and creating various data. That is, the ultrasonic inspection device 2 is configured as a general computer.
  • the storage device 21 provides a function of storing various data in the ultrasonic inspection device 2. In other words, the storage device 21 stores the electronically fixed information in the ultrasonic inspection device 2.
  • the storage device 21 includes a RAM or buffer used as a temporary working area of the CPU 20, a read-only ROM, a non-volatile memory (for example, a NAND memory), a hard disk for storing a relatively large amount of data, and a dedicated storage device 21.
  • a portable storage medium (CD-ROM, DVD-ROM, PC card, SD card, USB memory, etc.) mounted on the reading device corresponds to this.
  • the storage device 21 is illustrated as if it were one structure. However, usually, the storage device 21 is composed of a plurality of types of devices (or media) that are adopted as necessary among the various devices (or media) exemplified above. That is, the storage device 21 is a general term for a group of devices having a function of storing data.
  • the actual CPU 20 is an electronic circuit having a RAM that can be accessed at high speed inside.
  • the storage device included in the CPU 20 is also included in the storage device 21 for convenience of explanation. That is, in the following description, the data temporarily stored by the CPU 20 itself will also be described as being stored by the storage device 21. As shown in FIG. 2, the storage device 21 is used to store the program 210.
  • the input unit 22 is hardware operated by the user to input an instruction to the ultrasonic inspection device 2.
  • the input unit 22 corresponds to, for example, various keys and buttons, switches, touch panels, pointing devices, jog dials, and the like.
  • the display unit 23 is hardware having a function of outputting the data to the user by displaying various data.
  • the display unit 23 corresponds to, for example, a lamp, an LED, a CRT, a liquid crystal display, a liquid crystal panel, or the like.
  • the communication unit 24 has a function of performing data communication between the ultrasonic inspection device 2 and the scanning device 3 in response to a control signal from the CPU 20.
  • the communication unit 24 has a function of connecting the ultrasonic inspection device 2 to the network 9 in a state where data communication is possible. As shown in FIG. 2, a heart model introducing device 4 is connected to the network 9. Therefore, the ultrasonic inspection device 2 can perform data communication with the heart model introduction device 4 via the network 9 by the communication unit 24.
  • the network 9 is not limited to LAN, the Internet, the general public network, and the like.
  • the ultrasonic inspection device 2 and the heart model introduction device 4 may be directly connected by a cable.
  • the network 9 is not limited to the wired network 9 and may be wireless (see FIG. 1). That is, the network 9 may be in any form as long as data communication using a predetermined protocol is possible between the ultrasonic examination device 2 and the heart model introduction device 4.
  • the ultrasonic inspection device 2 may be integrally configured to include the heart model introduction device 4, that is, the heart model introduction device 4 may be configured as a device for exerting the extended function of the ultrasonic inspection device 2.
  • FIG. 3 is a diagram showing a functional block included in the ultrasonic inspection device 2 together with a data flow.
  • the communication control unit 200 and the data processing unit 201 shown in FIG. 3 are functional blocks realized by operating the CPU 20 according to the program 210.
  • Case data 211 includes an individual identifier for individually identifying the heart portion 5b or the fetus 5a. That is, the heart portion 5b indicated by the same individual identifier indicates that it is the heart of the same person (fetus 5a). Since there may be a plurality of fetuses 5a (heart portion 5b) for one pregnant woman 5, an individual identifier is not given for each pregnant woman 5.
  • the case data 211 is created by the data processing unit 201, for example, based on the data input by the user operating the input unit 22. Further, the case data 211 may include data other than the above-mentioned identifier.
  • it may include an identifier of the corresponding pregnant woman 5, the number of weeks of pregnancy, the presence or absence or history of a disease, a blood type, a test time, a use identifier indicating whether the diagnosis is a target or a sample, an identifier of a medical institution, and the like.
  • the echo signal data 212 is data collected by the scanning device 3 and transmitted to the ultrasonic inspection device 2. More specifically, the echo signal data 212 is signal data that detects a reflected wave (echo) in which ultrasonic waves transmitted from the scanning device 3 bounce off organs and tissues.
  • echo reflected wave
  • the echo data 213 is data created by the data processing unit 201. More specifically, the echo data 213 measures the position of each tissue based on the time from transmission to reception of the echo in the echo signal data 212, and the measured position can be graphically displayed on a three-dimensional image.
  • the echo data 213 measures the position of each tissue based on the time from transmission to reception of the echo in the echo signal data 212, and the measured position can be graphically displayed on a three-dimensional image.
  • the communication control unit 200 has a function of controlling the communication unit 24 in response to an instruction signal from the data processing unit 201.
  • the communication control unit 200 controls the communication unit 24 so as to transmit a control signal for starting acquisition of the echo signal data 212 toward the scanning device 3. Further, the communication unit 24 is controlled so as to transmit the control signal for transmitting the echo signal data 212 acquired by the scanning device 3 toward the scanning device 3.
  • the communication control unit 200 stores the echo signal data 212 transmitted from the scanning device 3 and received by the communication unit 24 in the storage device 21.
  • the communication control unit 200 controls the communication unit 24 so as to transmit the echo data 213 stored in the storage device 21 to the heart model introduction device 4 via the network 9.
  • the communication control unit 200 and the communication unit 24 operating in cooperation with each other, the data communication function between the scanning device 3 or the heart model introduction device 4 is realized in the ultrasonic inspection device 2.
  • the data transmitted and received by the ultrasonic inspection device 2 to and from the scanning device 3 or the heart model introduction device 4 is not limited to the data listed here.
  • a control signal for stopping the acquisition of the echo signal data 212 by the scanning device 3 is also transmitted and received.
  • the data processing unit 201 has a function of imaging the echo signal data 212 stored in the storage device 21.
  • the echo signal data 212 is usually LAW data detected by the scanning device 3. Even if such data is output, the user cannot easily perceive the contents. Therefore, the data processing unit 201 converts the echo signal data 212 into data expressing an image so that the user can perceive it.
  • the imaging process executed by the data processing unit 201 for example, a conventional technique can be appropriately adopted, and therefore detailed description thereof will be omitted.
  • the data processing unit 201 appropriately transfers the imaged echo signal data 212 to the display unit 23 for display. Therefore, the user can confirm, for example, what kind of state the echo signal data 212 of the heart portion 5b is obtained by confirming the display unit 23.
  • the data processing unit 201 has a function of creating echo data 213 based on the echo signal data 212.
  • the echo signal data 212 is data that is continuously acquired at any time. Moreover, since the human heart is constantly beating, it repeatedly expands and contracts, and the heart portion 5b is not stationary. That is, the echo signal data 212 includes information regarding the movement caused by the heartbeat. On the other hand, the echo data 213 used to create a three-dimensional model (details will be described later) of the heart portion 5b does not require information on movement in the present embodiment.
  • the data processing unit 201 determines the echo signal data 212 to be adopted as the echo data 213 by determining the timing (hereinafter referred to as “extraction timing”). In other words, the data processing unit 201 extracts only the echo signal data 212 indicating the heart portion 5b at the extraction timing from the echo signal data 212 continuously acquired for a predetermined period, and creates the echo data 213. .. Further, determining the extraction timing is substantially synonymous with determining the acquisition time (acquisition time) of the echo signal data 212 adopted as the echo data 213. As a result, the echo data 213 becomes data expressing the heart portion 5b in a stationary state.
  • the shape of the heart part 5b differs depending on the extraction timing. That is, in order to create a three-dimensional model of the heart portion 5b, it is important what kind of timing is selected as the extraction timing. As a general rule, the timing of the end-diastolic stage (immediately before the onset of contraction) is extracted, in which the heart is the most inflated and the main components of the heart, the left atrium, right atrium, left ventricle, and right ventricle, are evenly inflated. It is considered to be preferable as the timing.
  • the heartbeat cycle is detected by analyzing the echo signal data 212. Then, in the echo signal data 212 during the detected heartbeat cycle, the areas of the left atrium, right atrium, left ventricle, and right ventricle are calculated for each predetermined time interval, and these configurations are evenly calculated. The moment of swelling is detected as the timing of the end of expansion.
  • the method of detecting the timing of the end of expansion is not limited to this.
  • the moment when the total cross-sectional area of the heart portion 5b is maximum may be regarded as the timing of the end of diastole.
  • the moment when the heart portion 5b contracts most may be detected, and the timing of the end of diastole may be predicted by the elapsed time from that moment (which can be obtained based on the beating cycle).
  • the data processing unit 201 transfers the created echo data 213 to the storage device 21 and stores it.
  • the ultrasonic inspection device 2 is configured as an echo data creating device that processes the echo signal data 212 to create the echo data 213.
  • the data processing unit 201 adds the case data 211 to the created echo data 213. Thereby, in the subsequent processing, the echo data 213 can identify which (who) heart portion 5b or the like.
  • the echo signal data 212 included in the echo data 213 the data obtained by imaging the echo signal data 212 is used.
  • the data processing unit 201 uses the echo data 213 created by one extraction timing as one echo data 213. Therefore, for example, the echo data 213 acquired from different fetuses 5a are created as different echo data 213. Further, even if the echo data 213 is acquired from the same fetus 5a, if the extraction timing is different (the acquisition time is different), the echo data 213 is created as different echo data 213. In the following description, one echo data 213 created by one extraction timing may be referred to as "one echo data 213".
  • the scanning device 3 acquires the structure of the heart portion 5b, which is a diagnosis target or a sample, as echo signal data 212 by ultrasonic reflection, for example, using a medical ultrasonic probe.
  • the scanning device 3 transmits the acquired echo signal data 212 to the ultrasonic inspection device 2 in response to a request from the ultrasonic inspection device 2.
  • FIG. 4 is a block diagram of the heart model introduction device 4.
  • the heart model introduction device 4 includes a CPU 40, a storage device 41, an input unit 42, a display unit 43, and a communication unit 44.
  • the CPU 40 executes while reading the program 410 stored in the storage device 41, calculates various data, generates control signals, and the like. As a result, the CPU 40 has a function of controlling each configuration of the heart model introduction device 4 and calculating and creating various data. That is, the heart model introduction device 4 is configured as a general computer.
  • the storage device 41 provides a function of storing various data in the heart model introduction device 4. In other words, the storage device 41 stores the electronically fixed information in the cardiac model introduction device 4.
  • the storage device 41 includes a RAM or buffer used as a temporary working area of the CPU 40, a read-only ROM, a non-volatile memory (for example, a NAND memory), a hard disk for storing a relatively large amount of data, and a dedicated storage device 41.
  • a portable storage medium (CD-ROM, DVD-ROM, PC card, SD card, USB memory, etc.) mounted on the reading device corresponds to this.
  • the storage device 41 is illustrated as if it were one structure. However, usually, the storage device 41 is composed of a plurality of types of devices (or media) that are adopted as necessary among the various devices (or media) exemplified above. That is, the storage device 41 is a general term for a group of devices having a function of storing data.
  • the actual CPU 40 is an electronic circuit having a RAM that can be accessed at high speed inside.
  • the storage device included in the CPU 40 is also included in the storage device 41 for convenience of explanation. That is, in the following description, the data temporarily stored by the CPU 40 itself will also be described as being stored by the storage device 41. As shown in FIG. 4, the storage device 41 is used to store the program 410.
  • the input unit 42 is hardware operated by the user to input an instruction to the heart model introduction device 4.
  • the input unit 42 corresponds to, for example, various keys and buttons, switches, touch panels, pointing devices, jog dials, and the like.
  • the display unit 43 is hardware having a function of outputting the data to the user by displaying various data.
  • the display unit 43 is composed of, for example, a lamp, an LED, a CRT, a liquid crystal display, a liquid crystal panel, or the like.
  • the display unit 43 needs to display a cross-sectional image of the heart portion 5b or the like. Therefore, it is configured to include hardware with such functionality.
  • the communication unit 44 has a function of connecting the heart model introduction device 4 to the network 9 in a state where data communication is possible. As shown in FIG. 4, the ultrasonic inspection device 2 is connected to the network 9. Therefore, the heart model introduction device 4 can perform data communication with the ultrasonic inspection device 2 via the network 9 by the communication unit 44.
  • FIG. 5 is a diagram showing a functional block included in the heart model introduction device 4 together with a data flow.
  • the correction processing unit 407 is a functional block realized by operating the CPU 40 according to the program 410.
  • the received data 411 is data including echo data 213 transmitted from the ultrasonic inspection device 2 and received by the heart model introducing device 4 (communication unit 44). In FIG. 5, only the received data 411 including the echo data 213 for one time is shown. However, the echo data 213 included in the received data 411 is not limited to one time. That is, the received data 411 may include echo data 213 for two or more times.
  • one received data 411 will be described as including the echo data 213 received by one data communication.
  • the received data 411 including the echo data 213 for a plurality of times is created.
  • the heart three-dimensional model database 412 is a database that stores a three-dimensional model (heart three-dimensional model) of the heart portion 5b.
  • the heart three-dimensional model database 412 stores various data other than the heart three-dimensional model, and is a database having a table structure in which these various information are related to each other.
  • FIG. 6 is a diagram showing the structure of the heart three-dimensional model database 412.
  • the heart three-dimensional model database 412 is composed of a plurality of records. Further, each record has five items (data storage area).
  • the record identifier is stored in the first item of each record. Each record can be distinguished from other records by the record identifier stored in the first item.
  • the record identifier is a unique value that does not overlap with each other.
  • FIG. 6 illustrates an example in which 100 records identified by numbers from "001" to "100" are created.
  • Echo data 213 is stored in the second item of each record.
  • the echo data 213 stored in one record is shown as if it were one.
  • the echo data 213 stored in one record is not limited to the echo data 213 for one time. That is, one record may store two or more echo data 213s.
  • the third item of each record stores the heart three-dimensional model data indicating the heart three-dimensional model. Therefore, the storage device 41 stores the heart three-dimensional model data by storing the heart three-dimensional model database 412. In addition, one heart three-dimensional model data is stored in one record. In this way, each record of the heart three-dimensional model database 412 is created for each heart three-dimensional model data.
  • the heart three-dimensional model data stored in each record is data created from echo data 213 stored in the same record.
  • the echo data 213, which is the source of the heart three-dimensional model data is stored and stored in the same record as the heart three-dimensional model data.
  • Boundary line data is stored in the fourth item of each record. Therefore, the storage device 41 stores the boundary line data by storing the heart three-dimensional model database 412. In the heart three-dimensional model database 412, the echo data 213 stored in one record is the data that is the source of the boundary line data stored in the same record. However, the details of the boundary line data will be described later.
  • Reference element data is stored in the fifth item of each record. Therefore, the storage device 41 stores the reference element data by storing the heart three-dimensional model database 412. In the heart three-dimensional model database 412, the reference element data stored in one record is the data set for the reference element three-dimensional model data stored in the same record.
  • the reference cut surface data 413 is data (not image data) indicating the reference cut surface (ideal plane) set for the three-dimensional heart model.
  • the cross section includes at least the left atrium, the right atrium, the left ventricle, and the right ventricle.
  • the reference cut surface is set to. However, the procedure for setting the reference cut surface will be described later.
  • the reference cross-section data 414 is image data of the cross section of the heart three-dimensional model when the heart three-dimensional model is cut by the reference cut surface shown in the reference cut surface data 413.
  • the display image data 415 is image data created by the display image creation unit 406, and is image data displayed on the display unit 43. Details of the image included in the display image data 415 will be described later.
  • the communication control unit 400 stores the echo data 213 transmitted from the ultrasonic inspection device 2 and received by the communication unit 44 in the storage device 41 as the received data 411.
  • the cardiac diagnosis support system 1 acquires echo data 213 by creating echo data 213 by the ultrasonic examination device 2 based on the echo signal data 212.
  • the communication unit 44 receives the echo data 213 of the heart portion, so that the echo data 213 is acquired from the outside. That is, the function of the echo data acquisition unit in the heart model introduction device 4 is realized by the cooperation of the communication unit 44 and the communication control unit 400.
  • the three-dimensional modeling unit 401 uses the heart based on a four-chamber cross-sectional image including at least cross-sectional images of the left atrium, right atrium, left ventricle, and right ventricle of the heart portion 5b. Create heart three-dimensional model data showing a three-dimensional model. The details of the method by which the three-dimensional model creation unit 401 creates the heart three-dimensional model data will be described later.
  • the 3D model creation unit 401 includes (stores) the heart 3D model data in the heart 3D model database 412.
  • the three-dimensional model creation unit 401 controls the averaging processing unit 405 and the correction processing unit 407 as needed. Details of the control of the averaging processing unit 405 and the correction processing unit 407 by the three-dimensional model creation unit 401 will be described later.
  • the reference cut surface data acquisition unit 402 refers to the heart three-dimensional model database 412, acquires the heart three-dimensional model data for which the reference cut surface should be set, and sets the reference cut surface for the acquired heart three-dimensional model data. .. Then, it has a function of creating (acquiring) reference cutting surface data 413 indicating the set reference cutting surface. The details of the procedure for the reference cut surface data acquisition unit 402 to acquire the reference cut surface data 413 will be described later.
  • the reference cross-section data creation unit 403 (four-chamber cross-section data creation unit) is based on the heart three-dimensional model database 412 and the reference cut surface data 413, and the heart three-dimensional model when the heart three-dimensional model is cut at the reference cut surface.
  • the reference cross-section data 414 showing the cross-section of the above is created. The details of the procedure for the reference cross-section data creation unit 403 to acquire the reference cross-section data 414 will be described later.
  • the reference cross-section data creation unit 403 that creates the reference cross-section data 414 functions as a four-chamber cross-section image acquisition unit that acquires a four-chamber cross-section image.
  • the reference element setting unit 404 analyzes the cross section (four-chamber cross section image) shown in the reference cross section data 414, and the center points of the left atrium, right atrium, left ventricle, and right ventricle in the heart three-dimensional model ( The first center point) and the center point of the descending aorta (second center point) are set. Further, the reference element setting unit 404 passes between the left ventricle and the right ventricle from the first center point, and passes through the ventricular septum between the left ventricle and the right ventricle from the first center point, and the apex of the heart.
  • a straight line (first core axis) reaching the part (tip of the heart) and a straight line connecting the center point and the second center point (second center axis) are set, and the first core axis and the first center axis intersecting at the center point are set.
  • the first central point may be an intermediate point between the tricuspid valve and the mitral valve.
  • the reference element setting unit 404 detects the tissue portion existing between the right atrium and the right ventricle as a tricuspid valve, and the tissue portion existing between the left atrium and the left ventricle is the mitral valve. Detect as a valve.
  • the reference element setting unit 404 sets the intermediate point between the detected tricuspid valve and the mitral valve as the first center point.
  • the reference element setting unit 404 also has a function of including (storing) the reference element data indicating the reference element in the heart three-dimensional model database 412.
  • the left ventricle, the right ventricle, the left ventricle, and the right ventricle are arranged so as to be in contact with the first center point on the left.
  • the plane parallel to the cross-section of the four cavities in which the atria, the right atrium, the left ventricle, and the right ventricle can be seen is the four-cavity visual plane, and the normal direction of the four-cavity visual plane is the thickness direction.
  • the four-cavity visual plane that passes through the center position in the direction may be the four-cavity cross section.
  • the averaging processing unit 405 averages a plurality of heart three-dimensional models instructed by the three-dimensional model creation unit 401 while referring to the heart three-dimensional model database 412 according to the instruction from the three-dimensional model creation unit 401.
  • the averaging process executed by the averaging unit 405 includes an in-individual averaging process for averaging a plurality of three-dimensional heart models created for the same heart portion 5b and a plurality of hearts created for different heart portions 5b. There is an inter-individual averaging process that averages a three-dimensional model. However, the details of the processing by the averaging processing unit 405 will be described later.
  • each plane is prepared at a predetermined interval (for example, 1 mm interval) for the X plane, the Y plane, and the Z plane that are orthogonal to each other, and the boundary line between the tissue and the cavity in each plane is drawn. That is, first, the X-plane side three-dimensional data (three-dimensional model derived from the X-plane) that passes through the boundary line of each X-plane at 1 mm intervals is created, and the left atrium, suspicious chamber, left ventricle, and right ventricle are analyzed and grasped. ..
  • three-dimensional data on the Y-plane side (three-dimensional model derived from the Y-plane) that passes through the boundary line of each Y-plane at 1 mm intervals is created, and the left atrium, suspicious chamber, left ventricle, and right ventricle are analyzed and grasped.
  • Z-plane side three-dimensional data (three-dimensional model derived from Z-plane) passing through the boundary line of each Z-plane at 1 mm intervals is created, and the left atrium, suspicious chamber, left ventricle, and right ventricle are analyzed and grasped.
  • the X-plane side 3D data, the Y-plane side 3D data, and the Z-plane side 3D data created in this way are averaged to create one in-solid averaging 3D data, and this in-solid averaging 3D data is used. It is good to use it as a three-dimensional heart model and store it in the three-dimensional heart model database 412.
  • the inter-individual averaging process is a process of averaging different fetal heart three-dimensional models, and one standard model (standard three-dimensional model) is created by averaging a plurality of heart three-dimensional models.
  • one standard model standard three-dimensional model
  • the heart three-dimensional model used for creating the standard model is only the heart three-dimensional model of a normal fetal heart.
  • the control unit that performs this inter-solid averaging process functions as a standard three-dimensional model creation unit.
  • the display image creation unit 406 has a function of creating display image data 415 based on the heart three-dimensional model database 412 in response to the instruction input received by the input unit 42.
  • the display image data 415 created in this way is displayed by the display unit 43.
  • the display image creation unit 406 creates various display image data 415, the details of which will be described later.
  • the correction processing unit 407 appropriately corrects the heart three-dimensional model instructed by the three-dimensional model creation unit 401 while referring to the heart three-dimensional model database 412 according to the instruction from the three-dimensional model creation unit 401. For example, when comparing a normal heart part 5b and a heart part 5b to be diagnosed, not only a difference due to the presence or absence of a disease but also an individual difference (individual difference) occurs between these two hearts. .. That is, if individual differences can be suppressed, differences between the presence and absence of diseases will become apparent, and diagnosis will be easier. Therefore, the correction processing unit 407 corrects the heart three-dimensional model so as to suppress individual differences occurring in the heart three-dimensional model, and creates a new heart three-dimensional model.
  • the correction processing unit 407 also has a function of including (storing) the heart three-dimensional model data indicating the heart three-dimensional model created by the correction in the heart three-dimensional model database 412. However, the details of the processing by the correction processing unit 407 will be described later.
  • FIG. 7 is a flow chart showing a cardiac diagnosis support method. When the power is turned on to the cardiac diagnosis support system 1, the process shown in FIG. 7 is started.
  • the cardiac diagnosis support system 1 executes the initial setting (step S1).
  • the initial setting for example, loading of the programs 210 and 410 and display of the initial menu screen on the display units 23 and 43 can be considered.
  • the cardiac diagnosis support system 1 determines whether or not to create a standard model (step S2).
  • the standard model is a model (three-dimensional heart model) used for comparing with the heart part 5b of the fetus 5a to be diagnosed when diagnosing the diagnosis target. Therefore, the standard model is an ideal three-dimensional heart model created by measuring a healthy heart portion 5b.
  • the heart diagnosis support system 1 determines in step S2 according to the instruction input that the user inputs by operating the input unit 22. That is, while waiting until the user operates the input unit 22, if there is an instruction input to create a standard model, it is determined as Yes, and if there is an instruction input not to create a standard model, it is determined as No.
  • step S2 If No is determined in step S2, the cardiac diagnosis support system 1 skips step S3. Therefore, in this case, the standard model creation process of step S3 is not executed.
  • step S3 the cardiac diagnosis support system 1 executes the standard model creation process.
  • FIG. 8 is a flow chart showing the standard model creation process.
  • the target (heart portion 5b of the fetus 5a) measured in the standard model creation process is not a diagnostic target but a sample.
  • the sample is preferably a disease-free, healthy heart portion 5b. Therefore, the heart portion 5b to be measured in the standard model creation process is the heart portion 5b that has already been diagnosed as healthy.
  • the cardiac diagnosis support system 1 executes the initialization process (step S11).
  • the cardiac diagnosis support system 1 sets "N" to P indicating the number of fetuses 5a to be measured in order to create a standard model (N is a natural number).
  • N is a natural number
  • N for example, 5 to 10 is appropriate, but the present invention is not limited thereto.
  • the leveling of individual differences means eliminating the unevenness of individual cases.
  • step S11 the cardiac diagnosis support system 1 initializes n (n is a natural number) indicating which sample the fetus 5a being measured is the sample to “0”.
  • step S11 the cardiac diagnosis support system 1 increments n (step S12) and executes the measurement process (step S13).
  • the measurement process is a process of measuring the heart portion 5b of one person (fetus 5a) using the scanning device 3. Although the details will be described later, the measurement process is mainly realized by the ultrasonic inspection device 2 and the scanning device 3.
  • FIG. 9 is a flow chart showing the measurement process.
  • the cardiac diagnosis support system 1 (ultrasonic examination device 2) executes the initialization process (step S21).
  • the cardiac diagnosis support system 1 sets "M" to S indicating the number of measurements for one sample (M is a natural number). For example, when measuring twice from one direction for one fetus 5a, set "2" to M. By measuring the same sample a plurality of times in this way, the measurement error is suppressed. Alternatively, when measuring from three directions orthogonal to each other with respect to one fetus 5a, "3" may be set to M. When measuring from different directions for one sample, not only the measurement error is suppressed, but also the blind spot is reduced, so that the accuracy is improved.
  • step S21 the cardiac diagnosis support system 1 initializes m (m is a natural number) indicating how many times the measurement is performed for the sample being measured to "0".
  • the cardiac diagnosis support system 1 increments m (step S22) and starts the measurement for the sample (step S23).
  • the user prepares for measurement before executing step S23.
  • Preparation for measurement is a matter that must be prepared before measurement is performed. For example, input of data corresponding to the case data 211, adjustment of the position and posture of the sample, confirmation of the posture and state of the scanning device 3, and the like.
  • the user operates the input unit 22 and inputs the fact to the ultrasonic inspection device 2.
  • the cardiac diagnosis support system 1 confirms this input, and then executes step S23.
  • the cardiac diagnosis support system 1 (ultrasonic examination device 2) continues the measurement while determining whether or not one echo data 213 has been acquired (step S24). do.
  • the scanning device 3 continues to acquire the echo signal data 212. Further, during that period, the ultrasonic inspection device 2 determines the extraction timing while analyzing the acquired echo signal data 212. Then, if the extraction timing can be determined, one echo data 213 is created based on the acquired echo signal data 212 according to the extraction timing. When one echo data 213 is created in this way, the cardiac diagnosis support system 1 determines Yes in step S24.
  • step S24 the cardiac diagnosis support system 1 stops the acquisition of the echo signal data 212 by the scanning device 3.
  • step S25 the cardiac diagnosis support system 1 determines whether or not the value of m is "S" (step S25), and if the value of m is not "S”, returns to step S22 and repeats the process.
  • the cardiac diagnosis support system 1 increments m (step S22) and starts the next measurement (step S23). In this case, measurement preparation such as changing the direction may be performed before starting the measurement.
  • step S25 when it is determined Yes in step S25 (when the value of m is "S"), the cardiac diagnosis support system 1 determines that the measurement for one person has been completed, and ends the measurement process.
  • step S13 when the measurement process shown in step S13 is completed, the cardiac diagnosis support system 1 determines whether or not the value of n is “P” (step S14), and when the value of n is not “P”. Returns to step S12 and repeats the process.
  • n When the value of n is not "P”, the number of fetuses 5a that have completed the measurement has not reached "N" set in P, and the measurement for the set number of people "N” has not been completed yet. Means not. Therefore, when the value of n is not "P”, the cardiac diagnosis support system 1 increments n, sets "M” to S, and starts the measurement process (step S13) for the next fetus 5a.
  • step S14 if YES is determined in step S14 (when the value of n is "P"), the cardiac diagnosis support system 1 transfers all the echo data 213 created in the standard model creation process from the ultrasonic examination device 2 to the cardiac model. Transmission to the introduction device 4 (step S15).
  • the heart model introduction device 4 receives the received data 411 including all the echo data 213 transmitted in step S15. Is created (step S16).
  • the cardiac diagnosis support system 1 executes the three-dimensional model creation process (step S17).
  • the three-dimensional model creation process is a process of processing the echo data 213 acquired in the measurement process to create a three-dimensional model of the heart portion 5b.
  • the three-dimensional model creation process is a process mainly realized by the heart model introduction device 4.
  • 10 and 11 are flow charts showing a three-dimensional model creation process.
  • the heart diagnosis support system 1 (heart model introduction device 4) initializes the value of the flag F to "0" (step S31).
  • the flag F is a variable that changes depending on whether or not the echo data acquired by the ultrasonic device is present in the received data in the heart model making device, and is the same heart portion 5b (same fetal 5a). It is shown whether or not the echo data 213 created by measuring the heart portion 5b) exists in the received data 411. The flag F is rewritten to "1" when such echo data 213 is present.
  • the heart model introducing device 4 acquires one individual identifier from the echo data 213 included in the received data 411, and sets the value of the acquired individual identifier in I indicating the individual identifier being processed. Set (step S32).
  • the individual identifier is included in the case data 211 added to each echo data 213, as described above.
  • the echo data 213 for which the individual identifier is acquired in step S32 may be any echo data 213 included in the received data 411. That is, for the echo data 213 included in the received data 411, the order in which the three-dimensional model is created is arbitrary.
  • the heart model introduction device 4 searches the received data 411 by the individual identifier I, and identifies one echo data 213 in which the individual identifier is I. And acquire (step S33).
  • the three-dimensional model creation unit 401 When the echo data 213 is acquired, the three-dimensional model creation unit 401 creates a new record in the heart three-dimensional model database 412 and stores the acquired echo data 213 in the record. Further, the three-dimensional model creation unit 401 deletes the echo data 213 stored in the heart three-dimensional model database 412 from the received data 411. That is, each time step S33 is executed, one echo data 213 is moved from the received data 411 to the heart three-dimensional model database 412.
  • the three-dimensional model creation unit 401 creates heart three-dimensional model data indicating the heart three-dimensional model based on the echo data 213 acquired in step S33, and stores it in the heart three-dimensional model database 412 (step). S34).
  • the three-dimensional model creation unit 401 stores the heart three-dimensional model data created in step S34 in the record newly created in step S33 (the record storing the echo data 213). As a result, the echo data 213 and the heart three-dimensional model data created from the echo data 213 are related to each other.
  • step S34 the process in which the three-dimensional model creation unit 401 creates the heart three-dimensional model data will be specifically described.
  • the three-dimensional model creation unit 401 creates a plurality of planar images with predetermined thickness intervals based on the echo data 213.
  • the echo signal data 212 included in the echo data 213 is data obtained by imaging the echo signal data 212 by the data processing unit 201 of the ultrasonic inspection apparatus 2. Therefore, the three-dimensional model creation unit 401 can create a plurality of planar images having a predetermined thickness interval by extracting a planar image from the imaged data.
  • the thickness interval at this time is preferably 0.5 to 2.0 mm, and more preferably 0.5 to 1.0 mm. However, it is not limited to this range.
  • FIG. 12 is a diagram illustrating a plane image 500 of one of a plurality of plane images created by the three-dimensional model creation unit 401.
  • the cavity portion of the heart portion 5b left atrium portion 503, right atrium portion 504, left ventricle portion 505, right ventricle portion 506, various blood vessel portions, etc.
  • the heart portion 5b And the tissue portion 508 of.
  • a planar image located towards the end of the heart portion 5b may include only the tissue portion 508 and no cavity portion.
  • the three-dimensional model creation unit 401 performs image processing on each of the created plurality of planar images, and acquires the boundary between the cavity portion of the heart portion 5b and the tissue portion of the heart portion 5b as a boundary line.
  • the example shown in FIG. 12 shows an example in which the boundary line 509 is acquired as the boundary between the left ventricle portion 505 and the tissue portion 508 in the plan image 500.
  • the plan image 500 includes not only the left ventricle portion 505 but also the left atrium portion 503, the right atrium portion 504, the right ventricle portion 506, and various blood vessel portions as the cavity portion of the heart portion 5b. Therefore, the three-dimensional model creating unit 401 also acquires the boundary between the remaining cavity portion and the tissue portion 508 as a boundary line (not shown in FIG. 12). That is, the three-dimensional model creation unit 401 creates one boundary line data indicating all the boundary lines acquired from the plane image for each plane image.
  • the three-dimensional model creation unit 401 creates boundary line data for each of the plurality of plane images, and sequentially stores them in the fourth item of the same record in the heart three-dimensional model database 412.
  • the record in which the boundary line data is stored is a record in which the echo data 213 newly created in step S33 and which is the source for creating the boundary line data is stored.
  • the three-dimensional model creation unit 401 superimposes a plurality of boundary line data acquired from each of the plurality of plane images in the thickness direction, and the third order of the pseudo (discrete) boundary by the plurality of boundary line data. Create an original model (hereinafter referred to as "boundary three-dimensional model").
  • the three-dimensional model creation unit 401 complements (pixel complement) the boundary line between each plane image in the boundary three-dimensional model so as to form a smooth curve, thereby complementing the three-dimensional model of each cavity (hereinafter, "" Create a "three-dimensional model of the cavity”). That is, the cavity three-dimensional model includes the original boundary three-dimensional model.
  • the three-dimensional model creation unit 401 creates a heart three-dimensional model, which is a heart three-dimensional model, by arranging a cavity three-dimensional model and a tissue portion of the heart portion 5b. That is, the heart three-dimensional model includes the cavity three-dimensional model that was the basis of the creation process.
  • the three-dimensional model creation unit 401 in the present embodiment creates a boundary three-dimensional model and a cavity three-dimensional model in the process of creating a heart three-dimensional model, and these models are a part of the heart three-dimensional model. It was explained that it constitutes. However, when creating a three-dimensional heart model, a three-dimensional boundary model or a three-dimensional cavity model is not indispensable as intermediate data. That is, the method for creating the heart three-dimensional model by the three-dimensional model creating unit 401 is not limited to the example shown here, and a conventionally known method may be adopted.
  • the boundary three-dimensional model or the cavity three-dimensional model may be regarded as the three-dimensional model of the heart portion 5b as it is. Therefore, for example, the three-dimensional model of the boundary (boundary three-dimensional model) may be regarded as the entire three-dimensional model of the heart portion 5b. That is, the boundary three-dimensional model is a seemingly discrete three-dimensional model without pixel complementation (interpolation in the thickness direction, interpolation between a plurality of boundary line data). However, the boundary three-dimensional model also has a part expressing the internal structure and the cavity part, and it is not impossible to use it for diagnosing the heart part 5b.
  • boundary three-dimensional model and the cavity three-dimensional model created as intermediate data may be stored in the heart three-dimensional model database 412 and saved. As a result, if these data are needed in later processing, there is no need to recreate them.
  • the heart model introduction device 4 acquires the reference cut surface data 413 (step S35).
  • step S35 first, the reference cut surface data acquisition unit 402 refers to the heart three-dimensional model database 412 and acquires the created heart three-dimensional model data. At this time, the reference cut surface data acquisition unit 402 detects a record in which the reference element data is not stored and acquires the record identifier of the record. Next, the heart three-dimensional model data stored in the record is acquired as the heart three-dimensional model data created in step S34.
  • the reference cut surface data acquisition unit 402 analyzes the heart three-dimensional model (created heart three-dimensional model data) from one (for example, the head side) of the owner (fetus 5a) of the heart portion 5b to the other.
  • a direction toward (for example, the ventral side) (the direction may be opposite.
  • observation direction is set.
  • the observation direction can be determined, for example, by performing image recognition processing on the image of the heart portion 5b created based on the three-dimensional heart model data. Specifically, the observation direction is obtained by analyzing the positions and orientations of the sites constituting the heart portion 5b (left ventricle, right ventricle, left ventricle, right ventricle, pulmonary artery, ascending aorta, descending aorta, etc.). Can be determined. However, it is not limited to such a method.
  • the reference cut surface data acquisition unit 402 further analyzes the heart three-dimensional model and detects both ends of the heart portion 5b in the observation direction. That is, the cranial and ventral ends of the heart portion 5b are detected, respectively. Then, the reference cut surface data acquisition unit 402 detects the intermediate point of the both ends (the intermediate point of the thickness of the heart portion 5b in the observation direction) as the reference point. Further, the reference cut surface data acquisition unit 402 sets a plane perpendicular to the observation direction among the planes including the detected reference points as the reference cut surface.
  • the reference cut surface data acquisition unit 402 can set the reference cut surface by calculation with reference to the heart three-dimensional model data included in the heart three-dimensional model database 412. Therefore, the reference cut surface data acquisition unit 402 can automatically create the reference cut surface data 413 without receiving an instruction from the user.
  • the reference point for setting the reference cut surface is not limited to the above intermediate point (intermediate point of thickness in the observation direction).
  • a point moved to the head side by a predetermined distance from the ventral end may be used as a reference point.
  • multiple cross-sections on a plane perpendicular to the body axis direction (midline direction) extending straight from the cranial side to the ventral side are acquired at predetermined intervals in the body axis direction, and for each cross section, the left ventricle, the right ventricle, The total area of the left ventricle and the right ventricle may be obtained, and the point included in the cross section (in the plane) where the total area is maximum may be used as the reference point.
  • the reference cut surface data acquisition unit 402 adds a record identifier acquired in advance to the reference cut surface data 413.
  • This record identifier is a record identifier of the record in which the heart three-dimensional model data used when setting the reference cut plane is stored.
  • step S35 When step S35 is completed and the reference cut surface data 413 is created, the heart model introduction device 4 (reference cross section data creation unit 403) creates the reference cross section data 414 (step S36).
  • step S36 the reference cross-sectional data creation unit 403 first acquires the record identifier included in the reference cut surface data 413 and searches the heart three-dimensional model database 412 to acquire desired heart three-dimensional model data. do. Then, the reference cross-sectional data creation unit 403 shows a cross-sectional image of the heart three-dimensional model when the heart three-dimensional model is cut at the reference cut surface based on the acquired heart three-dimensional model data and the reference cut surface data 413. Reference cross-section data 414 is created.
  • the main parts of the heart part 5b are the left atrium, the right atrium, the left ventricle, and the right ventricle.
  • These parts are usually arranged side by side in a circle on a plane perpendicular to the observation direction. Therefore, when the three-dimensional model of the heart portion 5b is cut by the reference cut surface set by the reference cut surface data acquisition unit 402, a cross section in which the left atrium, the right atrium, the left ventricle, and the right ventricle are all aligned is formed. There is a high probability that it will be done.
  • the cross-sectional image shown in the reference cross-sectional data 414 is not an actual image as extracted from the echo data 213, for example.
  • the reference cross-section data 414 is a fictitious image (composite image) created by virtually cutting a three-dimensional heart model.
  • reference cross-section data creation unit 403 adds the record identifier included in the reference cut surface data 413 to the created reference cross-section data 414.
  • step S36 When step S36 is completed and the reference cross-section data 414 is created, the heart model introduction device 4 (reference element setting unit 404) sets the reference element (step S37).
  • the reference element setting unit 404 analyzes the cross section (cross-section image) shown in the reference cross-section data 414 and sets the reference element of the heart three-dimensional model. Specifically, the reference angle, which is the angle formed by the first core axis, the second core axis, and the first core axis and the second core axis, is set.
  • the plane image 500 is an actually acquired image included in the echo data 213, and is a cross-sectional image in which all of the left atrium, the right atrium, the left ventricle, and the right ventricle are aligned. Not always.
  • the cross-sectional image shown in the reference cross-sectional data 414 is a fictitious image (composite image) created by cutting a three-dimensional model of the heart, and is a left atrium, a right atrium, a left ventricle, and a left ventricle. It is an ideal cross-sectional image in which all of the right ventricle is complete (the reference cut surface is set so as to have such an ideal cross section).
  • the reference element setting unit 404 detects the tissue portion 508 existing between the right atrium portion 504 and the right ventricle portion 506 as a tricuspid valve. Further, the reference element setting unit 404 detects the tissue portion 508 existing between the left atrium portion 503 and the left ventricle portion 505 as a mitral valve. Next, the reference element setting unit 404 sets the intermediate point between the detected tricuspid valve and the mitral valve as the first center point 502. Further, the reference element setting unit 404 includes a first center axis extending from the first center point 502 to the apex of the heart through between the left ventricle part 505 and the right ventricle part 506, and the first center point 502 and the second center point.
  • the reference angle which is the angle formed by the second core axis connecting the two core axes and the first core axis and the second core axis, is set as the reference element 510. Further, the distance of the straight line connecting the first center point 502 and the second center point is measured, and the straight line connecting the first center point 502 and the second center point (first straight line), and the three-pointed valve and the mitral valve. The angle between the midpoint and the straight line (second straight line) passing through the center point of the aorta is also measured.
  • the echo data 213 includes an image in which the left atrium, the right atrium, the left ventricle, and the right ventricle are all aligned and evenly inflated.
  • the scanning device 3 had to be operated as such.
  • the user who operates the scanning device 3 needs a high level of knowledge and experience.
  • the cardiac diagnosis support system 1 (cardiac model introduction device 4) of the present invention can create an ideal cross-sectional image (reference cross-sectional data 414) based on the three-dimensional model of the heart. Then, even when the echo data 213 that does not include an ideal image such as the plane image 500 is acquired, the heart model introducing device 4 can create a three-dimensional heart model. .. Therefore, the heart model introduction device 4 (reference element setting unit 404) can set the reference element regardless of the quality of the echo data 213.
  • the process shown in step S37 is a process that can be realized even if the heart three-dimensional model is a boundary three-dimensional model or a cavity three-dimensional model. That is, the data used by the reference element setting unit 404 to set the reference element does not necessarily have to be a complete three-dimensional model of the heart portion 5b. Further, the process shown in step S37 can be executed even if the three-dimensional heart model does not include the three-dimensional boundary model or the three-dimensional cavity model, and if a general three-dimensional heart model has been created. This is a feasible process. That is, the data used when the reference element setting unit 404 sets the reference element is not limited to the three-dimensional model created by the above-mentioned method, and may be a heart three-dimensional model created by the conventional technique.
  • the reference element setting unit 404 refers to the record identifier included in the reference section data 414, and sets the fifth, sixth, and seventh items of the record identified by the record identifier in the reference section data 414.
  • the reference element data indicating the reference element set based on the reference element is stored, and a straight line connecting the first center point 502 and the second center point (center point of the descending aorta) is stored in the sixth and seventh items (not shown) of the record.
  • the distance is measured, and the angle between the straight line connecting the first center point 502 and the second center point and the second straight line passing through the midpoint between the tricuspid valve and the mitral valve and the second center point is stored. do. Therefore, as described above, the reference element setting unit 404 also has a function of including the reference element data indicating the reference element in the heart three-dimensional model database 412. This associates the reference element with the three-dimensional model of the heart.
  • the heart model introducing device 4 determines whether or not the echo data 213 identified by the individual identifier I still exists in the received data 411 (step S38). ).
  • step S38 When the echo data 213 of the individual identifier I is detected (Yes in step S38), the heart model introducing device 4 sets the flag F to "1" (step S39), and steps with respect to the detected echo data 213. The process from S33 is repeated.
  • the echo data 213 stored in the heart three-dimensional model database 412 and used to create the heart three-dimensional model data is deleted from the received data 411 in step S33. That is, by repeating the processes from step S33 to step S38 in step S38, the process for the echo data 213 having the same individual identifier is completed.
  • step S39 is executed and the flag F is rewritten to "1". Therefore, in the subsequent processing, it can be detected that a plurality of echo data 213 having the same individual identifier exist in the received data 411.
  • step S38 the heart model introducing apparatus 4 determines that the processing for the echo data 213 acquired by measuring the same sample is completed, and the flag F is "1". It is determined whether or not (FIG. 11: step S41).
  • step S41 The case where No is determined in step S41 is the case where the flag F is "0", there is only one echo data 213 having the same individual identifier, and the heart three-dimensional model data of the same heart portion 5b. Means that more than one has not been created. That is, it means that the measurement is performed only once for the same sample. Therefore, if No is determined in step S41, the cardiac diagnosis support system 1 skips the intra-individual averaging process (step S42).
  • step S41 the case where Yes is determined in step S41 is the case where the flag F is "1", there are a plurality of echo data 213 having the same individual identifier, and the heart three-dimensional model data of the same heart portion 5b. Means that multiple are created. That is, it means that the same sample was measured multiple times. Therefore, if it is determined to be Yes in step S41, the cardiac diagnosis support system 1 executes the intra-individual averaging process (step S42) in order to suppress the measurement error.
  • step S42 mainly executed by the averaging processing unit 405 and the three-dimensional model creation unit 401 will be specifically described.
  • step S42 the three-dimensional model creation unit 401 transmits the individual identifier I to the averaging processing unit 405.
  • the three-dimensional model creation unit 401 transmits one individual identifier to the averaging processing unit 405, it is an in-individual averaging process.
  • the averaging processing unit 405 searches the heart three-dimensional model database 412 with the individual identifier I transmitted from the three-dimensional model creation unit 401. Thereby, the averaging processing unit 405 can specify a plurality of heart three-dimensional model data associated with the individual identifier I.
  • the averaging processing unit 405 acquires a plurality of boundary line data (boundary three-dimensional model) and reference element data for each of the specified plurality of heart three-dimensional model data.
  • the averaging processing unit 405 superimposes a plurality of boundary three-dimensional models so that the plurality of reference elements indicated by the acquired plurality of reference element data match.
  • the angle of the reference angle may not be the ideal angle for creating a three-dimensional model.
  • the averaging processing unit 405 superimposes the boundary three-dimensional models so that the reference elements match each other, so that the boundary three-dimensional model created based on the separately measured echo data 213 can be obtained. It can be easily and accurately superimposed.
  • the same intra-individual averaging process targets the same heart portion 5b, there is no individual difference. Therefore, when superimposing a plurality of boundary three-dimensional models in the intra-individual averaging process, it is not necessary to consider the deviation due to individual differences. Therefore, the correction process by the correction process unit 407 is not necessary.
  • the averaging processing unit 405 averages a plurality of superimposed boundary three-dimensional models to create one boundary three-dimensional model (averaged boundary three-dimensional model). Further, the averaging processing unit 405 transfers the averaged boundary three-dimensional model to the three-dimensional model creation unit 401.
  • the three-dimensional model creation unit 401 creates a cavity three-dimensional model (averaged cavity three-dimensional model) based on the averaged boundary three-dimensional model transferred from the averaging processing unit 405. In addition, the three-dimensional model creation unit 401 creates a new heart three-dimensional model (averaged heart three-dimensional model) based on the averaged cavity three-dimensional model.
  • the three-dimensional model creation unit 401 creates a new record in the heart three-dimensional model database 412, and creates a heart three-dimensional model (heart three-dimensional model data averaged within the individual) created by the intra-individual averaging process. , Store in the third item of the new record.
  • the reference element data (which can be regarded as common reference element data) used for superimposing the plurality of boundary three-dimensional models, the boundary three-dimensional model, and the echo data 213 for a plurality of times are also stored in the same record. Therefore, in the record storing the averaged three-dimensional model of the heart, one record contains a plurality of echo data 213.
  • the cardiac diagnosis support system 1 deletes all the records in which a plurality of cardiac three-dimensional model data to be averaged are stored from the cardiac three-dimensional model database 412.
  • the cardiac diagnosis support system 1 can integrate a plurality of cardiac three-dimensional models created by measuring the same cardiac portion 5b multiple times into one cardiac three-dimensional model. Therefore, the measurement error can be leveled.
  • the in-individual averaging process may be performed not on the boundary three-dimensional model but on a cavity three-dimensional model (a model in which the boundary three-dimensional model is complemented by pixels), or a heart three-dimensional model (a cavity three-dimensional model). It may be performed for a model in which a tissue part is arranged in a model). However, the calculation load can be reduced by performing the processing related to averaging on the boundary three-dimensional model.
  • the three-dimensional model creation unit 401 adds an identifier indicating to that effect to the corresponding case data 211 for the heart three-dimensional model data created by executing the intra-individual averaging process (step S42). do.
  • the reference element setting unit 404 newly sets the reference element by executing the process of step S37 for the heart three-dimensional model data created by the intra-individual averaging process, and sets the heart three-dimensional model database 412. May be stored in.
  • all the three-dimensional cardiac model data created based on the echo data 213 of the same individual identifier were the targets of the intra-individual averaging process.
  • it may be configured so that the user can specify the target of the intra-individual averaging process in step S42.
  • step S42 the cardiac diagnosis support system 1 (cardiac model introduction device 4) determines whether or not echo data 213 still exists in the received data 411 (step S43). ).
  • step S43 When step S43 is executed, it is already determined to be Yes in step S38 shown in FIG. Therefore, since step S33 has already been executed for all of the echo data 213 including the individual identifier I indicating the individual being processed, all the echo data 213 including the individual identifier I has been deleted from the received data 411 and exists. Not. However, the echo data 213 containing the individual identifier different from the individual identifier I (that is, the echo data 213 in the heart portion 5b different from the already processed echo data 213) is completed at the time when step S43 is executed. May not be. Therefore, the cardiac diagnosis support system 1 executes step S43 to determine the presence or absence of such echo data 213.
  • step S43 the cardiac diagnosis support system 1 additionally saves the individual identifier I in the list, returns to step S31 shown in FIG. 10, and initializes the flag F to "0". Then, a new individual identifier is acquired from the echo data 213 detected in step S43 shown in FIG. 11, and the new individual identifier is set in the individual identifier I (step S32), and the processing after step S33 is performed. repeat.
  • step S44 the cardiac diagnosis support system 1 determines whether or not a standard model is being created (step S44).
  • the standard model since the standard model is being created, it is determined as Yes in step S44.
  • No is determined in step S44 will be described later.
  • step S44 the cardiac diagnosis support system 1 transitions to a state of accepting an individual identifier (step S45).
  • step S45 the heart diagnosis support system 1 causes the display unit 43 of the heart model introduction device 4 to select a list of individual identifiers stored in the heart three-dimensional model database 412 and an individual identifier for the user. Display a message that prompts you. After displaying the necessary information on the display unit 43, the cardiac diagnosis support system 1 is in a standby state until an appropriate instruction is input from the user.
  • the cardiac diagnosis support system 1 in the standby state in step S45 detects when the user detects an instruction input (input by the user operating the input unit 42) indicating the completion of selection of the individual identifier. Step S45 ends. In this way, by accepting the selection instruction from the user, the cardiac diagnosis support system 1 can reflect the cases already registered in the cardiac three-dimensional model database 412 in the standard model.
  • the individual identifier added to the list when it is determined to be Yes in step S43 may be automatically selected in step S45 without being selected by the user.
  • the heart model introduction device 4 executes the inter-individual averaging process (step S46).
  • step S46 can be performed in the same manner as the inter-individual averaging process, except that the averaging process unit 405 searches the heart three-dimensional model database 412 with different individual identifiers. Therefore, detailed description thereof will be omitted here.
  • the three-dimensional heart models (plural models) of the heart parts 5b of different fetuses 5a are integrated into one three-dimensional heart model (averaged model). Can be done. Therefore, by selecting a normal fetus 5a as a sample, the averaged three-dimensional heart model created by the inter-individual averaging process should be used as a standard model (ideal model) in which individual differences are suppressed. Can be done.
  • the created standard model can be made into a template and distributed to the same system.
  • the Standard Model must be created by collecting many samples that are known to be normal. However, by creating a template and sharing it, such a work load can be omitted.
  • the standard model is shared, there is no difference in diagnosis due to the difference in quality of the standard model.
  • step S46 is executed and the standard model is created, or steps S45 and 46 are skipped, the cardiac diagnosis support system 1 ends the three-dimensional model creation process.
  • step S17 when the three-dimensional model creation process of step S17 is completed, the cardiac diagnosis support system 1 ends the standard model creation process and returns to the process shown in FIG. 7.
  • step S4 the cardiac diagnosis support system 1 determines whether or not to start the diagnosis.
  • the heart diagnosis support system 1 determines in step S4 according to the instruction input that the user inputs by operating the input unit 22. That is, the cardiac diagnosis support system 1 determines Yes if there is an instruction input to start the diagnosis while waiting until the user operates the input unit 22, and No. if there is an instruction input not to start the diagnosis. Is determined.
  • step S4 the cardiac diagnosis support system 1 skips step S5 and determines whether or not to end (step S6). If it does not end in step S6 (No in step S6), the cardiac diagnosis support system 1 returns to step S2 and repeats the process. Further, when the process is terminated in step S6 (Yes in step S6), the cardiac diagnosis support system 1 executes a predetermined termination process (not shown) and then terminates the process.
  • the cardiac diagnosis support system 1 executes the diagnosis support process (step S5).
  • the diagnosis support process is a process in which the cardiac diagnosis support system 1 supports the diagnosis by the user.
  • the diagnosis by the user referred to here is a diagnosis for determining whether or not there is a suspicion of a congenital disease in the heart of the diagnosis target (fetus 5a).
  • FIG. 13 is a flow chart showing the diagnosis support process.
  • the standard model is a three-dimensional heart model created by the three-dimensional model creation unit 401 based only on the echo data 213 of the heart portion 5b determined to be normal.
  • step S51 When the diagnosis support process is started, the heart diagnosis support system 1 executes the measurement process (step S51). Since the measurement process in step S51 is the same process as step S13 shown in FIG. 8, the description thereof is omitted here.
  • step S51 When the measurement process in step S51 is completed, the echo data 213 created in step S51 is transmitted to the heart model introducing device 4 (step S52).
  • the echo data 213 transmitted in step S52 is the echo data 213 of only the diagnosis target (same individual identifier), but is the echo data 213 for one time or more.
  • step S52 When step S52 is completed and the echo data 213 transmitted in step S52 is received, the heart model introduction device 4 creates the received data 411 (step S53) and executes the three-dimensional model creation process (step S54). ..
  • step S54 In the three-dimensional model creation process (three-dimensional model creation process executed in the diagnosis support process) in step S54, the following description will be omitted as appropriate for the same process as the three-dimensional model creation process in step S17.
  • step S43 In the 3D model creation process in the diagnosis support process, only the echo data 213 with the same individual identifier is handled. Therefore, the process is performed in the same manner up to step S42 shown in FIG. 11, but it is not determined as Yes in step S43. That is, when step S43 is executed, it is always determined as No.
  • the 3D model creation process in the diagnostic support process is not the process executed in the standard model creation process. Therefore, it is not determined as Yes in step S44. That is, when step S44 is executed, it is always determined as No, the three-dimensional model creation process is terminated, and the process returns to the process shown in FIG.
  • the three-dimensional model creation unit 401 creates a three-dimensional heart model as a model to be diagnosed based only on the echo data 213 of the heart portion 5b to be diagnosed.
  • step S54 the heart model introduction device 4 (correction processing unit 407) executes the correction process (step S55).
  • step S55 will be described.
  • step S55 the correction processing unit 407 specifies a reference element set in the diagnosis target model created in step S54. Since step S37 is also executed in the three-dimensional model creation process of step S54, a reference element is also set in the diagnosis target model, and the reference element data is stored in the heart three-dimensional model database 412.
  • the correction processing unit 407 corrects the diagnosis target model by rotating the diagnosis target model so that the specified reference element overlaps with the reference element set in the standard model.
  • reference elements are set in the three-dimensional cardiac model (here, the standard model and the model to be diagnosed) to be created. Since the deviation of the reference element due to the individual difference is relatively large, the individual difference of the three-dimensional model to be compared is suppressed by correcting the reference element by overlapping the reference elements of the three-dimensional model to be compared. Therefore, it is easy to compare the standard model with the model to be diagnosed. Without such corrections, the user would have to determine whether the difference between the standard model and the model to be diagnosed was due to disease or individual differences. It is not easy.
  • the correction processing unit 407 makes corrections even before the diagnostic model is rotated and corrected so that the reference element of the diagnostic model overlaps the reference element of the standard model. This will be described below.
  • the correction processing unit 407 fixes the position of the central axis of the descending aorta in the model to be diagnosed by superimposing the central axis of the descending aorta in the model to be diagnosed on the central axis of the descending aorta in the standard model.
  • the descending aorta is a site fixed to the trunk, and is a site considered to have relatively little individual difference among the sites of the heart portion 5b. Therefore, by fixing the parts with little individual difference before the rotation correction, it is possible to prevent those parts from moving due to the correction.
  • the correction processing unit 407 determines the distance between the midpoint between the mitral valve and the tricuspid valve in the model to be diagnosed and the central axis of the descending aorta, and the midpoint between the mitral valve and the tricuspid valve in the standard model. Match the distance to the central axis of the descending aorta. The distance defined here is considered to have a relatively large individual difference. Therefore, the correction processing unit 407 matches the distances in advance. This also suppresses individual differences.
  • the correction processing unit 407 sets the diagnosis target model so that the midpoint between the mitral valve and the tricuspid valve in the diagnosis target model coincides with the midpoint between the mitral valve and the tricuspid valve in the standard model. Is rotated around the central axis of the descending aorta. As mentioned above, the central axis of the descending aorta is a site with little individual difference, but there is an error in the rotation around the central axis, and the midpoint between the mitral valve and the tricuspid valve in the model to be diagnosed and the standard. It is necessary to match the midpoint between the mitral valve and the tricuspid valve in the model.
  • the correction processing unit 407 sets the diagnosis target model at the center of the mitral valve and the tricuspid valve so that the reference element set in the diagnosis target model overlaps with the reference element set in the standard model. Correct by rotating the point (first center point) around the center. In this way, it is possible to further suppress the individual difference by appropriately correcting each part where the individual difference occurs before executing the rotation correction.
  • the correction processing unit 407 rotates and corrects the diagnostic model so that the reference element of the diagnostic model overlaps with the reference element of the standard model. Is. This will be described below with reference to the drawings.
  • FIG. 14 is a diagram illustrating an area set by the correction processing unit 407 for the diagnosis target model.
  • the correction processing unit 407 includes a reference element set in the diagnosis target model in the diagnosis target model, and includes a mitral valve, a tricuspid valve, an aortic valve, a right ventricle, a right ventricle, a left ventricle, a left ventricle, and a left ventricle. It exists between the first region 600 containing those peripheral tissues, the second region 601 including the pulmonary arteries, pulmonary veins, aorta and aorta, and between the first region 600 and the second region 601. A third region 602 and 603 including the tissue is set respectively.
  • correction processing unit 407 slices the third region 602, 603 and divides it into a plurality of small regions according to the distance from the first region 600.
  • the correction processing unit 407 sets a fourth region (not shown) including the pulmonary artery, the pulmonary vein, the aorta, and the vena cava in the standard model.
  • the fourth region is a region composed of a site equivalent to the second region 601 in the diagnosis target model.
  • the second region 601 and the fourth region set in this way are composed of sites fixed to the trunk, and are considered to be relatively unaffected by individual differences.
  • the parts included in the first region 600 are strongly bound to each other, and it is considered that they are collectively affected by individual differences.
  • the third region 602, 603 is a region existing between the first region 600 and the second region 601 and is a region that is greatly affected as it approaches the first region 600.
  • the correction processing unit 407 fixes the second region 601 at a position where the second region 601 of the diagnosis target model and the fourth region of the standard model overlap. As already explained, since it is considered that there is not much individual difference in these regions, the reference elements are rotated so as to overlap each other and fixed before being corrected.
  • the correction processing unit 407 rotates the first region 600 so that the reference element set in the diagnosis target model overlaps with the reference element set in the standard model. That is, only the first region 600 of the model to be diagnosed is first rotated and corrected. At this time, the correction processing unit 407 obtains the rotation angle (which is the maximum rotation angle) when the first region 600 is rotated.
  • the correction processing unit 407 rotates each of the plurality of small regions so that the maximum rotation angle gradually decreases in the order of the shortest distance from the first region 600 in the plurality of small regions divided by slicing.
  • Set the angle That is, if the rotation angle when the first region 600 is rotated is "5 °" and the number of the plurality of small regions is "10", the rotation angle of each small region is gradually reduced by 0.5 °.
  • Set the rotation angle Therefore, for example, among the plurality of small regions, the rotation angle of the small region closest to the first region 600 is "4.5 °", and the rotation angle of the small region farthest from the first region 600 is "0". It becomes "0.5 °".
  • the correction processing unit 407 corrects the diagnosis target model by rotating a plurality of small areas by each rotation angle.
  • the angle of rotation when overlapping the reference elements can be adjusted according to the properties of each part of the heart, and individual differences can be suppressed more accurately.
  • the diagnosis target model corrected by the correction processing unit 407 may be referred to as a "diagnosis target correction model”.
  • FIG. 15 is an example of displaying the standard model and the diagnostic target correction model.
  • the standard model is displayed as a three-dimensional model of the boundary (boundary line 509: line image data), and the diagnosis target correction model is displayed as surface image data.
  • Such display image data 415 is created by the display image creation unit 406 based on the standard model and the diagnosis target correction model, and is displayed by the display unit 43 (step S56).
  • the diagnosis target correction model and the standard model are displayed so as to overlap each other.
  • the diagnostic target correction model and the standard model are displayed so as to overlap with each other.
  • the boundary three-dimensional model as the standard model at this time the display is easier to see than the case where the surface image data is superimposed. This makes it possible to further suppress individual differences.
  • the correction processing unit 407 also has a function of obtaining the degree of coincidence between the cavity portion of the heart portion in the standard model and the cavity portion of the heart portion in the diagnosis target correction model according to the instruction from the display image creation unit 406. ing.
  • Such processing can be obtained as a numerical value by detecting the corresponding portion from the brightness of the pixel, for example, and analyzing the number of pixels and the shape (pixel distribution) of the portion.
  • the display image creation unit 406 gives an instruction to the correction processing unit 407 according to the signal from the input unit 42 that has received the instruction input from the user. That is, by operating the input unit 42, the user can display a comparative image as shown in FIG. 15 or display the matching rate of the cavity portion.
  • the cardiac diagnosis support system 1 has acquired data such as a boundary three-dimensional model and a reference cut surface for the three-dimensional cardiac model, and is configured so that, for example, a required cross section (or data) can be called with the touch of a button. It will also be possible to do.
  • the cardiac diagnosis support system 1 can eliminate the influence of individual differences, it is possible to make the differences due to diseases manifest. Therefore, the user can easily make a diagnosis.
  • the cardiac diagnosis support system 1 is expected to exert a particularly excellent effect when the purpose is to find "unnormal" cases.
  • the cardiac diagnosis support system 1 is configured as a system that does not require skill from the user. This makes it possible to secure a large number of users as compared with the conventional system. Therefore, for example, it may be possible to have all pregnant women 5 in Japan receive a diagnosis.
  • the incidence of congenital diseases of the heart is said to be about 1%, and the overwhelming majority are normal hearts. In such situations, it is not necessary for the patient to suddenly receive a highly accurate diagnosis (inefficiency). Rather, if a large number of patients can be diagnosed and at least "unhealthy” cases can be found without overlooking, then only those "unnormal” cases should be examined in detail.
  • the cardiac diagnosis support system 1 can be applied to more diagnostic targets by using it as a diagnosis in the pre-stage of advanced examination, and can reduce the number of patients who cannot be diagnosed, in particular. Considered to be beneficial.
  • the cardiac diagnosis support system 1 is an ultrasonic wave as a scanning device 3 for acquiring the echo signal data 212 of the heart portion 5b and an echo data creating device for processing the echo signal data 212 to create the echo data 213. It includes an inspection device 2 and a heart model introduction device 4 that creates a three-dimensional model (heart three-dimensional model) of the heart portion 5b based on the echo data 213. Then, based on the communication unit 44 and the communication control unit 400 that acquire the echo data 213 and the echo data 213, the heart model introducing device 4 has at least the left atrium, the right atrium, the left ventricle, and the right of the heart portion 5b.
  • a reference cutting surface data acquisition unit 402 that acquires a reference cutting surface data 413 indicating a reference cutting surface for the three-dimensional model of the heart portion 5b and a three-dimensional model creating unit 401 that creates a three-dimensional model of the heart portion 5b including the ventricle.
  • the reference cut surface is a cross section of the three-dimensional model of the heart portion 5b when the three-dimensional model of the heart portion 5b is cut at the reference cut surface, and at least the left atrium, the right atrium, the left ventricle, and the right ventricle. Is a plane set to include.
  • the heart model introducing device 4 creates reference cross-sectional data 414 showing the cross section of the three-dimensional model of the heart portion 5b when the three-dimensional model of the heart portion 5b is cut at the reference cut surface shown in the reference cut surface data 413.
  • the center points of the left atrium, right atrium, left ventricle, and right ventricle in the three-dimensional model of the heart portion 5b (the first). 1 center point) is set, and a straight line passing between the left ventricle and the right ventricle from the first center point is set as a reference element of the three-dimensional model of the heart portion 5b, and the reference element and the heart portion are set.
  • a reference element setting unit 404 for associating with the three-dimensional model of 5b is provided. Further, the heart diagnosis support system creates a display image data based on a three-dimensional model of the heart portion 5b in response to an input unit 42 that accepts an instruction input by the user and an instruction input received by the input unit 42. A creation unit 406 and a display unit 43 for displaying the display image data 415 are further provided. This makes it possible to individually set a reference element as a reference for each three-dimensional model of the heart portion 5b. Thus, for example, the hearts of different people can be easily compared.
  • the reference cut plane data acquisition unit 402 analyzes the three-dimensional model of the heart portion 5b, sets an observation direction parallel to the direction from the head side to the ventral side of the owner of the heart portion 5b, and sets the observation direction parallel to the direction from the head side to the ventral side of the heart portion 5b.
  • the intermediate point between the two ends is detected as a reference point, and among the planes including the reference point, the plane perpendicular to the observation direction is set as the reference cut surface.
  • the heart model introduction device 4 can automatically determine the reference cut surface.
  • the three-dimensional model creation unit 401 acquires the boundary between the cavity portion of the heart portion 5b and the tissue portion of the heart portion 5b from the echo data 213, creates a three-dimensional model of the boundary, and creates a three-dimensional model of the boundary.
  • the heart model introducing device 4 further includes an averaging processing unit 405 that creates a three-dimensional model of one heart portion by averaging the three-dimensional models of a plurality of boundaries created by the three-dimensional model creating unit 401. Therefore, measurement errors and individual differences can be suppressed.
  • the three-dimensional model of the plurality of boundaries can suppress individual differences by including the three-dimensional model of the boundaries created based on the echo data 213 of the heart part of a different person.
  • the averaging processing unit 405 acquires the reference element associated with the three-dimensional model of the heart portion 5b created based on the three-dimensional model of the boundary for each of the three-dimensional models of the plurality of boundaries.
  • a plurality of reference elements corresponding to a three-dimensional model of a plurality of boundaries on a one-to-one basis are acquired, and the three-dimensional models of a plurality of boundaries are superimposed and averaged so that the plurality of reference elements overlap one. This makes it possible to easily and accurately superimpose the three-dimensional models of boundaries on each other before averaging.
  • the three-dimensional model creation unit 401 creates a three-dimensional model of the heart portion 5b as a standard model based only on the echo data 213 of the heart portion 5b determined to be normal, and also creates a three-dimensional model of the heart portion 5b as a standard model, and the heart portion 5b to be diagnosed.
  • a three-dimensional model of the heart part 5b is created as a diagnosis target model based only on the echo data 213, and the diagnosis is made so that the reference element set in the diagnosis target model overlaps with the reference element set in the standard model.
  • a correction processing unit 407 that creates a diagnostic target correction model by rotating the target model is further provided. By correcting the diagnosis target model in this way, it becomes easy to compare the standard model and the diagnosis target model.
  • the correction processing unit 407 fixes the position of the central axis of the descending aorta in the diagnosis target model by superimposing the central axis of the descending aorta in the diagnosis target model on the central axis of the descending aorta in the standard model, and in the diagnosis target model.
  • the correction processing unit 407 includes a reference element set in the diagnosis target model in the diagnosis target model, and includes a mitral valve, a triad valve, an aortic valve, a right ventricle, a right ventricle, a left ventricle, and a left ventricle. It is located between the first region 600 containing the parts and their peripheral tissues, the second region 601 including the pulmonary arteries, pulmonary veins, aorta and vena cava, and between the first region 600 and the second region 601. A third region 602, 603 including the surrounding tissue is set, and the third region 602, 603 is divided into a plurality of small regions according to the distance from the first region 600.
  • a fourth region including veins, aorta and vena cava is set, and the second region 601 is fixed at a position where the second region 601 of the diagnosis target model and the fourth region of the standard model overlap, and is set as the diagnosis target model.
  • the first region 600 is rotated so that the reference element overlaps with the reference element set in the standard model, the maximum rotation angle when the first region 600 is rotated is obtained, and the first region is the first in a plurality of small regions. Correction of diagnostic target by setting the rotation angle of each of the plurality of small areas so that the maximum rotation angle gradually decreases in the order of the shortest distance from the area 600, and rotating the plurality of small areas by each rotation angle. Create a model. As a result, individual differences can be suppressed more accurately by adjusting the angle of rotation when overlapping the reference elements according to the properties of each part of the heart.
  • the heart diagnosis support system 1 further includes a display image creation unit 406 that creates display image data 415 based on a standard model and a diagnosis target correction model, and a display unit 43 that displays display image data 415.
  • the correction processing unit 407 determines the degree of coincidence between the cavity portion of the heart portion in the standard model and the cavity portion of the heart portion in the diagnostic target correction model. This is more reliable than the user visually comparing and diagnosing the images.
  • the ultrasonic Doppler method that has been used conventionally, the time required to produce one image becomes longer due to the principle of imaging the Doppler signal, the time resolution is lowered, and there is a limit to the improvement of image quality. There is a problem that the image quality is deteriorated unlike the normal ultrasonic image.
  • the heart diagnosis support system 1 three-dimensional ultrasonic data incorporating a normal fetal heart model is created, so that the image quality is good and the method is simple.
  • it is considered to be an epoch-making method in which three-dimensional fetal echocardiographic data can be observed with a guide of normal fetal heart structure.
  • each step shown in the above embodiment is merely an example, and is not limited to the order and contents shown above. That is, if the same effect can be obtained, the order and contents may be changed as appropriate.
  • the functional blocks shown in the above embodiment (for example, communication control unit 400, three-dimensional model creation unit 401, reference cut surface data acquisition unit 402, reference cross-section data creation unit 403, reference element setting unit 404, averaging process). It was explained that the unit 405, the display image creation unit 406, and the correction processing unit 407) are realized by software by operating the CPU 40 according to the program 410. However, a part or all of such a functional block may be configured by a dedicated logic circuit and realized in terms of hardware.
  • the acquired echo signal data 212 is imaged by the ultrasonic inspection device 2, but the acquired echo signal data 212 is transmitted as it is to the heart model introduction device 4 to introduce the heart model.
  • the image processing may be performed in the device 4.
  • the ultrasonic inspection device 2 and the heart model introduction device 4 do not necessarily have to be configured as separate devices. That is, the ultrasonic examination device 2 and the heart model introduction device 4 may be configured by one device.
  • a plurality of ultrasonic inspection devices 2 may be connected to one heart model introduction device 4.
  • a public network is further connected to the network 9, a plurality of ultrasonic inspection devices 2 (scanning devices 3) existing in remote locations, and a heart model introduction device 4 are connected, and the heart model introduction device 4 is used.
  • Various created models may be transmitted to the ultrasonic inspection device 2 for diagnosis.
  • the heart model introduction device 4 can be shared by a plurality of ultrasonic examination devices 2. Therefore, for example, only the ultrasonic inspection device 2 and the scanning device 3 need to be installed nationwide, so that the cost per location can be suppressed.
  • each process of acquiring the echo signal data 212, extracting the boundary line, and correcting the reference element may be performed by hand in part or in whole.
  • the extraction timing is not limited to the timing at the end of expansion.
  • models at various extraction timings may be created in advance, and the optimum extraction timing may be determined according to the model in which congenital heart disease can be detected most efficiently.
  • a reference cut surface may be selected and set from a plurality of cut surface candidates.
  • the reference cut surface data acquisition unit 402 sets a plurality of cut surfaces (candidates for the reference cut surface) for the heart three-dimensional model and cuts the heart three-dimensional model for the set plurality of cut surfaces.
  • one of the plurality of cut surfaces is selected as the reference cut surface, and data indicating the selected one cut surface is selected.
  • the reference cut surface data 413 may be acquired by setting the reference cut surface data 413. Even with such a configuration, the reference cut surface data 413 can be automatically determined.
  • the reference cut surface data acquisition unit 402 does not include at least one of the left atrium, right atrium, left ventricle, and right ventricle of the heart portion from the plurality of cross-sectional images. Images may be excluded. It is possible to exclude cross-sectional images (candidates) that do not have all four essential structures for determining the reference element. Therefore, it is possible to reduce the load of subsequent arithmetic processing.
  • the reference cut surface data acquisition unit 402 uses the cross-sectional image having the largest total area of the left atrium, right atrium, left ventricle, and right ventricle of the heart portion as the reference cut surface from the plurality of cross-sectional images. You may choose. Alternatively, the reference cut surface data acquisition unit 402 acquires the ideal cross-sectional shape data of the left atrium, the right atrium, the left ventricle, and the right ventricle of the ideal heart in advance, and the ideal cross-sectional shape data and the heart portion.
  • the matching rate for each of multiple cross-sectional images is calculated by comparing the cross-sectional shapes of the left atrium, right atrium, left ventricle, and right ventricle, and the cross-sectional image with the highest matching rate is selected from the multiple cross-sectional images. It may be selected as the reference cut surface.
  • the present invention is expected to become a basic and fundamental technique that contributes to the automation of fetal heart structure diagnosis by artificial intelligence (AI) and machine learning in the future. For example, it can be said that the above-mentioned method can three-dimensionally calculate the coincidence between the normal fetal heart lumen region shown by the three-dimensional model and the vascular shadow in the ultrasonic data.
  • the numerical evaluation could not be performed by ultrasonography, the possibility of having a normal fetal heart structure can be quantified and the numerical evaluation can be introduced. Furthermore, not only is it possible to efficiently diagnose the construction of a normal heart, but by accumulating three-dimensional models of abnormal cases, it is possible to analyze the pattern, so it is possible to make a prenatal diagnosis for the types of cardiac malformations. Is expected to be. Further, although the above-mentioned creation of the three-dimensional model of the heart portion 5b itself does not require information (movement information) regarding the movement caused by the heartbeat included in the echo signal data 212, the heartbeat is performed by using this movement information.
  • ultrasonic inspection devices can acquire images of two cross sections (first cross section and second cross section) at the same time.
  • Such an ultrasonic inspection device includes a scanning device (electronic three-dimensional (matrix) probe) capable of acquiring three-dimensional voxel data related to the heart portion 5b, and two cross sections orthogonal to the three-dimensional voxel data. Get the image of. As an example, an image of a first cross section and a second cross section orthogonal to the first cross section is acquired.
  • a heart three-dimensional model which is a heart three-dimensional model, from the image of the first cross section and the image of the second cross section. That is, it is possible to create a heart three-dimensional model from cross-sectional images of a plurality of types of orientations, and it is possible to improve the accuracy of the heart three-dimensional model.
  • one cross section may be used as a reference cross section, and the position (including the direction) of the other cross section may be changed. Further, if the reference cross section is automatically set so that the straight line connecting the first center point 502 and the second center point is arranged on the horizontal axis or the vertical axis, the reference cross section (first cross section) is automatically set.
  • a second cross section orthogonal to the first cross section can be easily set by a straight line connecting the 1 center point 502 and the second center point. That is, it is possible to easily set a cross section of the four cavities and a cross section in which the entire running view of the descending aorta can be confirmed.
  • the heart model introduction device 4 has a function as a heart model creating device for creating a heart three-dimensional model and a function as a heart model display device for displaying a heart three-dimensional model.
  • the standard model and the diagnostic target correction model are displayed on the display unit 43, but on an external display device (for example, the display unit 23 or other display) of the heart model introduction device 4.
  • the standard model and the diagnostic target correction model may be displayed.
  • the present invention is not limited to this embodiment and can be various other embodiments. Further, the screen and the specific configuration mentioned in the above-described embodiment are examples, and can be appropriately changed according to the actual product.
  • This invention can be used in an industry that three-dimensionally models the fetal heart structure and an industry that assists in diagnosis of the fetal heart.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

経験の浅い医師であっても胎児の心臓構造を容易に把握でき、正確な診断を補助する技術を提供する。 心臓モデル導入装置(4)に、心臓部分のエコーデータ(213)に基づいて、心臓部分の少なくとも左心房部、右心房部、左心室部および右心室部を含む心臓部分の三次元モデルを作成する三次元モデル作成部(401)と、心臓部分の三次元モデルを基準切断面で切断したときの心臓部分の三次元モデルの断面を示す基準断面データ(414)を作成する基準断面データ作成部(403)と、基準断面データ(414)に示される断面を解析して、心臓部分の三次元モデルにおける左心房部、右心房部、左心室部および右心室部の中心点を設定し、当該中心点から、左心室部と右心室部との間を通る直線を、心臓部分の三次元モデルの基準要素として設定するとともに基準要素と心臓部分の三次元モデルとを関連づける基準要素設定部(404)とを設ける。

Description

心臓モデル導入装置、心臓診断支援システム、プログラム、および心臓モデル導入方法
 この発明は、例えば、心臓構造を三次元モデル化する技術に関する。
 従来、胎児が心臓に問題を抱えたまま出生してしまう、先天性心疾患(Congenital Heart Disease (CHD))が知られている。この先天性心疾患は、出生約100例に対して1例程とされており、その中でも出生後1年以内に治療が必要となる重症先天性心疾患は、その1/3~1/2程とされている。
 この先天性心疾患を早期に発見する方法として、母胎(体)内の胎児の心臓構造を、エコー(超音波)の反射を利用して描写し、正常な構造であるかを検査する、胎児心臓超音波検査法が実施されている。この検査法としては、2D超音波検査法や3D超音波検査法等がある。しかしながら、このような検査法を用いた胎児心臓検査では、診断に十分な解剖学的素養を持った専門医および超音波技師が必要である。したがって、この検査法は、専門医および超音波技師の絶対数が少ないことから全胎児に同検査を提供できないという問題があった。また、先天性心疾患の発生頻度が1%程度であり、異常を検出しようとする検査では効率が悪いという問題もあった。さらには、胎児心臓構造が小さく複雑な運動臓器であることから、検査スキルの向上に時間がかかるという問題もあった。そのため、出生前診断率はまだまだ低率であった。
 一方、心臓の診断補助に関して、エコーデータの画像内における、右心系領域と左心系領域を色分けして表示し、各腔孔のつながりを判別しやすくする診断補助のためのシステムが提案されている(特許文献1参照)。
 しかし、この方法では、平面画像を見ながら医師が三次元形状を想像して三次元の心臓構造を把握する必要があることや、経験の浅い医師には、心臓の各構成がどのようなエコー画像であれば健康であるかの知見に乏しいことから、正確な診断をすることが困難であった。
特開2018-068688号公報
 この発明は、上述の問題に鑑みて、経験の浅い医師であっても胎児の心臓構造を容易に把握でき、正確な診断を補助する技術を提供することを目的とする。
 上記の課題を解決するため、請求項1の発明は、心臓部分のエコーデータを取得するエコーデータ取得部と、前記エコーデータに基づいて、前記心臓部分の少なくとも左心房部、右心房部、左心室部および右心室部を含む前記心臓部分の三次元モデルを作成する三次元モデル作成部と、を備え、前記心臓部分の三次元モデルにおける前記左心房部、前記右心房部、前記左心室部および前記右心室部の中心点である第1中心点と、下行大動脈の中心点である第2中心点を設定し、前記第1中心点から、前記左心室部と前記右心室部との間を通る第1心軸、および前記第1中心点と第2中心点を結ぶ第2心軸と、前記第1心軸と前記第2心軸との成す角である基準角とを、前記心臓部分の三次元モデルの基準要素として設定するとともに、前記基準要素と前記心臓部分の三次元モデルとを関連づける基準要素設定部と、をさらに備え、前記三次元モデル作成部は、少なくとも前記左心房部、前記右心房部、前記左心室部および前記右心室部の腔孔部分と組織部分との境界を前記エコーデータから取得して前記境界の三次元モデルを作成し、前記エコーデータを適宜の方向に一定間隔でスライスした各X平面における前記境界に基づくX平面由来三次元モデルと、前記エコーデータを前記X平面と直交するY平面の法線方向に一定間隔でスライスした各Y平面における前記境界に基づくY平面由来三次元モデルと、前記エコーデータを前記X平面および前記Y平面と直交するZ平面の法線方向に一定間隔でスライスした各Z平面における前記境界に基づくZ平面由来三次元モデルと、を作成し、前記X平面由来三次元モデルと前記Y平面由来三次元モデルと前記Z平面由来三次元モデルを平均化して1つの心臓部分の三次元モデルを作成する平均化処理部をさらに備える。
 この発明により、経験の浅い医師であっても心臓構造を容易に把握でき、正確な診断を行うことができる。
心臓診断支援システムの概観図である。 超音波検査装置のブロック図である。 超音波検査装置が備える機能ブロックをデータの流れとともに示す図である。 心臓モデル導入装置のブロック図である。 心臓モデル導入装置が備える機能ブロックをデータの流れとともに示す図である。 心臓三次元モデルデータベースの構造を示す図である。 心臓診断支援方法を示す流れ図である。 標準モデル作成処理を示す流れ図である。 計測処理を示す流れ図である。 三次元モデル作成処理を示す流れ図である。 三次元モデル作成処理を示す流れ図である。 三次元モデル作成部によって作成される複数の平面画像のうちの1つの平面画像を例示する図である。 診断支援処理を示す流れ図である。 診断対象モデルに対して補正処理部が設定する領域を例示する図である。 標準モデルと診断対象補正モデルとを表示する例である。
 以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。
 図1は、心臓診断支援システム1の概観図である。なお、図1には、妊婦5、妊婦5の体内の胎児5a、および、胎児5aの心臓部分5bを図示している。心臓部分5bは、心臓診断支援システム1の診断対象、または、後述するモデルを作成する場合のサンプルである。
 また、以下の説明において、「使用者」とは心臓診断支援システム1を使用する者を意味する。使用者は、医師に限られるものではなく、技師やオペレータなども含んでおり、必ずしも特定の同一人物でなくてもよい。
 心臓診断支援システム1は、超音波検査装置2、スキャニング装置(三次元超音波プローブ)3、および、心臓モデル導入装置4を備えている。
 図2は、超音波検査装置2のブロック図である。超音波検査装置2は、CPU20、記憶装置21、入力部22、表示部23および通信部24を備えている。
 CPU20は、記憶装置21に格納されているプログラム210を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、CPU20は、超音波検査装置2が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、超音波検査装置2は、一般的なコンピュータとして構成されている。
 記憶装置21は、超音波検査装置2において各種データを記憶する機能を提供する。言い換えれば、記憶装置21が超音波検査装置2において電子的に固定された情報を保存する。
 記憶装置21としては、CPU20の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体(CD-ROM、DVD-ROM、PCカード、SDカード、USBメモリなど)等が該当する。図2においては、記憶装置21を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置21は、上記例示した各種装置(あるいは媒体)のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置21は、データを記憶する機能を有する装置群の総称である。
 また、現実のCPU20は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなCPU20が備える記憶装置も、説明の都合上、記憶装置21に含めて説明する。すなわち、以下の説明では、一時的にCPU20自体が記憶するデータも、記憶装置21が記憶するとして説明する。図2に示すように、記憶装置21は、プログラム210を記憶するために使用される。
 入力部22は、超音波検査装置2に対して使用者が指示を入力するために操作するハードウェアである。入力部22としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。
 表示部23は、各種データを表示することにより使用者に対して当該データを出力する機能を有するハードウェアである。表示部23としては、例えば、ランプやLED、CRT、液晶ディスプレイや液晶パネルなどが該当する。
 通信部24は、CPU20からの制御信号に応じて、超音波検査装置2とスキャニング装置3との間で、データ通信を行う機能を有している。
 また、通信部24は、超音波検査装置2をネットワーク9に、データ通信が可能な状態で接続する機能を有している。図2に示すように、ネットワーク9には、心臓モデル導入装置4が接続されている。したがって、超音波検査装置2は、通信部24によって、心臓モデル導入装置4との間で、ネットワーク9を介したデータ通信が可能である。
 なお、ネットワーク9は、LANやインターネット、一般公衆網などに限られるものではない。例えば、超音波検査装置2と心臓モデル導入装置4とを直接ケーブルで接続する形態であってもよい。また、ネットワーク9は、有線に限定されるものでもなく、無線(図1参照)であってもよい。すなわち、超音波検査装置2と心臓モデル導入装置4との間で、所定のプロトコルを用いたデータ通信が可能であれば、ネットワーク9はどのような形態のものでもよい。また、超音波検査装置2が心臓モデル導入装置4を含むように一体的に、すなわち、心臓モデル導入装置4が超音波検査装置2の拡張機能を発揮するための装置として構成してもよい。
 図3は、超音波検査装置2が備える機能ブロックをデータの流れとともに示す図である。図3に示す通信制御部200およびデータ処理部201は、CPU20がプログラム210に従って動作することにより実現される機能ブロックである。
 症例データ211は、心臓部分5bまたは胎児5aを個々に識別するための個体識別子を含んでいる。すなわち、同一の個体識別子で示される心臓部分5bは、同一人物(胎児5a)の心臓であることを示している。なお、一人の妊婦5に対して胎児5a(心臓部分5b)は複数人存在することもあるため、個体識別子は妊婦5ごとに付与されるものではない。症例データ211は、例えば、使用者が入力部22を操作することにより入力されたデータに基づいて、データ処理部201によって作成される。また、症例データ211は、先述の識別子以外のデータを含んでいてもよい。例えば、対応する妊婦5の識別子、妊娠週数、疾病の有無や履歴、血液型、検査時刻、診断対象かサンプルかを示す用途識別子、医療機関の識別子などを含んでいてもよい。
エコー信号データ212は、スキャニング装置3によって収集され、超音波検査装置2に向けて送信されるデータである。詳述すると、エコー信号データ212は、スキャニング装置3から発信された超音波が臓器や組織からはね返ってくる反射の波(エコー)を検知した信号データである。
 エコーデータ213は、データ処理部201によって作成されるデータである。詳述すると、エコーデータ213は、エコー信号データ212におけるエコーの送信から受信までの時間等に基づいて各組織の位置を測定し、測定した位置を三次元映像にグラフィックス表示可能なエコーデータ213として記憶する。
 通信制御部200は、データ処理部201からの指示信号に応じて、通信部24を制御する機能を有する。
 例えば、通信制御部200は、エコー信号データ212の取得を開始させる制御信号をスキャニング装置3に向けて送信するように通信部24を制御する。また、スキャニング装置3が取得したエコー信号データ212を送信させる制御信号をスキャニング装置3に向けて送信するように通信部24を制御する。
 また、通信制御部200は、スキャニング装置3から送信され、通信部24によって受信されたエコー信号データ212を記憶装置21に記憶させる。
 さらに、通信制御部200は、記憶装置21に記憶されているエコーデータ213をネットワーク9を介して心臓モデル導入装置4に向けて送信するように通信部24を制御する。
 このように、通信制御部200と通信部24とが互いに協働して動作することにより、超音波検査装置2において、スキャニング装置3または心臓モデル導入装置4との間のデータ通信機能が実現される。
 なお、超音波検査装置2が、スキャニング装置3または心臓モデル導入装置4との間で送受信するデータは、ここに列挙したデータに限定されるものではない。例えば、スキャニング装置3によるエコー信号データ212の取得を停止させる制御信号なども送受信される。
 データ処理部201は、記憶装置21に記憶されているエコー信号データ212を画像化処理する機能を有している。エコー信号データ212は、通常、スキャニング装置3が検出したLAWデータである。このようなデータが出力されたとしても、使用者は内容を容易に知覚することができない。したがって、データ処理部201は、使用者が知覚可能なように画像を表現したデータにエコー信号データ212を変換する。なお、データ処理部201が実行する画像化処理は、例えば、従来の技術を適宜採用することができるため、詳細な説明は省略する。
 データ処理部201は、画像化処理されたエコー信号データ212を、適宜、表示部23に転送し、表示させる。したがって、使用者は、表示部23を確認することにより、例えば、どのような状態の心臓部分5bのエコー信号データ212が得られているかを確認することができる。
 また、データ処理部201は、エコー信号データ212に基づいて、エコーデータ213を作成する機能を有している。
 エコー信号データ212は、随時、継続的に取得されるデータである。また、人の心臓は絶えず鼓動しているため、拡縮を繰り返しており、心臓部分5bは静止していない。すなわち、エコー信号データ212は、鼓動に起因する動きに関する情報を含んでいる。一方で、心臓部分5bの三次元モデル(詳細後述)を作成するために使用されるエコーデータ213は、本実施の形態においては、動きに関する情報は不要である。
 データ処理部201は、タイミング(以下、「抽出タイミング」と称する。)を決定することにより、エコーデータ213として採用するエコー信号データ212を決定する。言い換えれば、所定の期間、継続的に取得されたエコー信号データ212の中から、データ処理部201は、抽出タイミングにおける心臓部分5bを示すエコー信号データ212のみを抽出してエコーデータ213を作成する。また、抽出タイミングを決定することは、エコーデータ213として採用するエコー信号データ212の取得された時刻(取得時刻)を決定することと実質的に同義である。これにより、エコーデータ213は、静止した状態の心臓部分5bを表現したデータとなる。
 なお、抽出タイミングによって、心臓部分5bの形状は異なる。すなわち、心臓部分5bの三次元モデルを作成するためには、抽出タイミングとして、どのようなタイミングを選択するかということは、重要である。原則として、心臓が最も膨らんでおり、心臓の主な構成部である左心房部、右心房部、左心室部および右心室部が均等に膨らんでいる拡張末期(収縮開始直前)のタイミングが抽出タイミングとして好ましいと考えられる。
 したがって、本実施の形態では、まず、エコー信号データ212を分析することにより心臓の鼓動周期を検出する。そして、検出した鼓動周期の期間のエコー信号データ212において、所定の時間間隔ごとに、左心房部、右心房部、左心室部および右心室部の面積をそれぞれ演算し、これらの構成が均等に膨らんでいる瞬間を拡張末期のタイミングとして検出する。
 なお、拡張末期のタイミングを検出する方法は、これに限定されるものではない。例えば、心臓部分5bの全体の断面面積が最大の瞬間を拡張末期のタイミングとみなしてもよい。あるいは、心臓部分5bが最も縮んだ瞬間を検出して、当該瞬間からの経過時間(鼓動周期に基づいて求めることができる。)によって拡張末期のタイミングを予測してもよい。
 さらにデータ処理部201は、作成したエコーデータ213を記憶装置21に転送して記憶させる。これにより、超音波検査装置2は、エコー信号データ212を処理してエコーデータ213を作成するエコーデータ作成装置として構成されている。
 なお、データ処理部201は、作成したエコーデータ213に症例データ211を付加する。これにより、以後の処理において、エコーデータ213は、いずれの(誰の)心臓部分5bであるか等を識別することが可能である。
 また、本実施の形態では、エコーデータ213に含まれるエコー信号データ212として、エコー信号データ212を画像化処理したデータを用いる。
 また、データ処理部201は、1回の抽出タイミングによって作成されるエコーデータ213を1つのエコーデータ213とする。したがって、例えば、異なる胎児5aから取得したエコーデータ213は、それぞれ異なるエコーデータ213として作成される。また、例え同一の胎児5aから取得したエコーデータ213であっても、抽出タイミングが異なれば(取得時刻が異なる。)、それぞれ異なるエコーデータ213として作成される。以下の説明では、1回の抽出タイミングによって作成された1つのエコーデータ213を「1回分のエコーデータ213」と称する場合がある。
 図1に戻って、スキャニング装置3は、例えば、医療用超音波プローブを用いて、診断対象またはサンプルである心臓部分5bの構造を超音波の反射により、エコー信号データ212として取得する。スキャニング装置3は、超音波検査装置2からの要求に応じて、取得したエコー信号データ212を超音波検査装置2に向けて送信する。
 図4は、心臓モデル導入装置4のブロック図である。心臓モデル導入装置4は、CPU40、記憶装置41、入力部42、表示部43および通信部44を備えている。
 CPU40は、記憶装置41に格納されているプログラム410を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、CPU40は、心臓モデル導入装置4が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、心臓モデル導入装置4は、一般的なコンピュータとして構成されている。
 記憶装置41は、心臓モデル導入装置4において各種データを記憶する機能を提供する。言い換えれば、記憶装置41が心臓モデル導入装置4において電子的に固定された情報を保存する。
 記憶装置41としては、CPU40の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体(CD-ROM、DVD-ROM、PCカード、SDカード、USBメモリなど)等が該当する。図4においては、記憶装置41を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置41は、上記例示した各種装置(あるいは媒体)のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置41は、データを記憶する機能を有する装置群の総称である。
 また、現実のCPU40は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなCPU40が備える記憶装置も、説明の都合上、記憶装置41に含めて説明する。すなわち、以下の説明では、一時的にCPU40自体が記憶するデータも、記憶装置41が記憶するとして説明する。図4に示すように、記憶装置41は、プログラム410を記憶するために使用される。
 入力部42は、心臓モデル導入装置4に対して使用者が指示を入力するために操作するハードウェアである。入力部42としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。
 表示部43は、各種データを表示することにより使用者に対して当該データを出力する機能を有するハードウェアである。表示部43としては、例えば、ランプやLED、CRT、液晶ディスプレイや液晶パネルなどから構成される。ただし、詳細は後述するが、表示部43は、心臓部分5bの断面画像などを表示する必要がある。したがって、そのような機能を備えたハードウェアを含むように構成されている。
 通信部44は、心臓モデル導入装置4をネットワーク9に、データ通信が可能な状態で接続する機能を有している。図4に示すように、ネットワーク9には、超音波検査装置2が接続されている。したがって、心臓モデル導入装置4は、通信部44によって、超音波検査装置2との間で、ネットワーク9を介したデータ通信が可能である。
 図5は、心臓モデル導入装置4が備える機能ブロックをデータの流れとともに示す図である。図5に示す通信制御部400、三次元モデル作成部401、基準切断面データ取得部402、基準断面データ作成部403、基準要素設定部404、平均化処理部405、表示画像作成部406、および、補正処理部407は、CPU40がプログラム410に従って動作することにより実現される機能ブロックである。
 受信データ411は、超音波検査装置2から送信され、心臓モデル導入装置4(通信部44)によって受信されたエコーデータ213を含むデータである。図5では、1回分のエコーデータ213を含む受信データ411のみを図示している。しかし、受信データ411に含まれるエコーデータ213は、1回分に限定されるものではない。すなわち、受信データ411は、2回分以上のエコーデータ213を含む場合もある。
 本実施の形態において、1つの受信データ411は、1回のデータ通信によって受信されたエコーデータ213を含むものとして説明する。言い換えれば、1回のデータ通信によって複数回分のエコーデータ213を受信した場合、複数回分のエコーデータ213を含む受信データ411が作成される。
 心臓三次元モデルデータベース412は、心臓部分5bの三次元モデル(心臓三次元モデル)を格納するデータベースである。心臓三次元モデルデータベース412は、心臓三次元モデル以外にも様々なデータを格納しており、これら様々な情報を互いに関連づけたテーブル構造のデータベースである。
 図6は、心臓三次元モデルデータベース412の構造を示す図である。心臓三次元モデルデータベース412は、複数のレコードから構成されている。また、各レコードは、5つの項目(データ格納領域)を有している。
 各レコードの第1項目には、レコード識別子が格納されている。各レコードは、第1項目に格納されたレコード識別子によって他のレコードと識別することが可能である。レコード識別子は、それぞれが互いに重複することのない固有の値である。図6は、「001」から「100」までの数字で識別される100個のレコードが作成されている例を図示している。
 各レコードの第2項目には、エコーデータ213が格納される。なお、図6では、1つのレコードに格納されるエコーデータ213は、いずれも1つであるかのように図示している。しかし、1つのレコードに格納されるエコーデータ213は、1回分のエコーデータ213とは限らない。すなわち、1つのレコードに2回分以上のエコーデータ213が格納される場合もある。
 各レコードの第3項目には、心臓三次元モデルを示す心臓三次元モデルデータが格納される。したがって、記憶装置41は、心臓三次元モデルデータベース412を記憶することによって、心臓三次元モデルデータを記憶する。なお、1つのレコードには、1つの心臓三次元モデルデータが格納される。このように心臓三次元モデルデータベース412の各レコードは、心臓三次元モデルデータごとに作成される。
 心臓三次元モデルデータベース412において、各レコードに格納される心臓三次元モデルデータは、同一のレコードに格納されるエコーデータ213から作成されたデータである。このように、心臓三次元モデルデータの元となったエコーデータ213は、当該心臓三次元モデルデータと同じレコード内に格納され、保存される。
 各レコードの第4項目には、境界線データが格納されている。したがって、記憶装置41は、心臓三次元モデルデータベース412を記憶することによって、境界線データを記憶する。心臓三次元モデルデータベース412において、1つのレコードに格納されているエコーデータ213は、同一のレコードに格納されている境界線データの元となったデータである。ただし、境界線データの詳細は、後述する。
 各レコードの第5項目には、基準要素データが格納される。したがって、記憶装置41は、心臓三次元モデルデータベース412を記憶することによって、基準要素データを記憶する。心臓三次元モデルデータベース412において、1つのレコードに格納されている基準要素データは、同一のレコードに格納されている基準要素三次元モデルデータについて設定されたデータである。
 図5に戻って、基準切断面データ413は、心臓三次元モデルに対して設定される基準切断面(理想的な平面)を示すデータ(画像データではない。)である。なお、心臓三次元モデルに対して設定された基準切断面で、当該心臓三次元モデルを切断すると、その断面に、少なくとも左心房部、右心房部、左心室部および右心室部が含まれるように基準切断面は設定される。ただし、基準切断面を設定する手順は後述する。
 基準断面データ414は、基準切断面データ413に示されている基準切断面によって、心臓三次元モデルを切断したときの当該心臓三次元モデルの断面の画像データである。
 表示用画像データ415は、表示画像作成部406によって作成される画像データであって、表示部43に表示される画像データである。表示用画像データ415に含まれる画像についての詳細は後述する。
 通信制御部400は、超音波検査装置2から送信され、通信部44によって受信されたエコーデータ213を、記憶装置41に受信データ411として記憶させる。
 すでに説明したように、心臓診断支援システム1は、超音波検査装置2がエコー信号データ212に基づいて、エコーデータ213を作成することにより、エコーデータ213を取得する。しかし、心臓モデル導入装置4においては、心臓部分のエコーデータ213を通信部44が受信することにより、エコーデータ213を外部から取得する。すなわち、通信部44および通信制御部400が協働することにより、心臓モデル導入装置4におけるエコーデータ取得部の機能が実現されている。
 三次元モデル作成部401は、エコーデータ213に基づいて、心臓部分5bの少なくとも左心房部、右心房部、左心室部および右心室部のそれぞれの断面画像を含む四腔断面画像に基づいて心臓三次元モデルを示す心臓三次元モデルデータを作成する。なお、三次元モデル作成部401が心臓三次元モデルデータを作成する手法の詳細は後述する。
 三次元モデル作成部401は、心臓三次元モデルデータを心臓三次元モデルデータベース412に含める(格納する)。
 また、三次元モデル作成部401は、必要に応じて、平均化処理部405および補正処理部407を制御する。平均化処理部405および補正処理部407に対する三次元モデル作成部401による制御の詳細については後述する。
 基準切断面データ取得部402は、心臓三次元モデルデータベース412を参照して、基準切断面を設定すべき心臓三次元モデルデータを取得し、取得した心臓三次元モデルデータに対する基準切断面を設定する。そして、設定した基準切断面を示す基準切断面データ413を作成する(取得する)機能を有している。なお、基準切断面データ取得部402が、基準切断面データ413を取得する手順の詳細は後述する。
 基準断面データ作成部403(四腔断面データ作成部)は、心臓三次元モデルデータベース412および基準切断面データ413に基づいて、心臓三次元モデルを基準切断面で切断したときの当該心臓三次元モデルの断面を示す基準断面データ414を作成する。なお、基準断面データ作成部403が、基準断面データ414を取得する手順の詳細は後述する。この基準断面データ414を作成する基準断面データ作成部403は、四腔断面画像を取得する四腔断面画像取得部として機能する。
 基準要素設定部404は、基準断面データ414に示される断面(四腔断面画像)を解析して、心臓三次元モデルにおける左心房部、右心房部、左心室部および右心室部の中心点(第1中心点)と、下行大動脈の中心点(第2中心点)とを設定する。また、基準要素設定部404は、第1中心点から、左心室部と右心室部との間を通り、第1中心点から左心室と右心室部との中間にある心室中隔を通り心尖部(心臓の先端部)に達する直線(第1心軸)と、中心点と第2中心点を結ぶ直線(第2心軸)とを設定し、中心点で交差する第1心軸と第2心軸との成す角(基準角)とを含む、心臓三次元モデルの基準要素を設定する。
 また、第1中心点は、三尖弁と僧帽弁との中間点としてもよい。たとえば、基準要素設定部404は、右心房部と右心室部との間に存在する組織部分を三尖弁として検出し、左心房部と左心室部との間に存在する組織部分を僧帽弁として検出する。次に、基準要素設定部404は、検出した三尖弁と僧帽弁との中間点を、第1中心点として設定する。なお、基準要素設定部404は、基準要素を示す基準要素データを心臓三次元モデルデータベース412に含める(格納する)機能も有している。
 具体的には、基準要素設定部404では、例えば、左心房部、右心房部、左心室部、および右心室部が第1中心点にいずれもが接するように配置されているものとして、左心房部、右心房部、左心室部、および右心室部が最も大きく4つ見える四腔断面と平行な平面を四腔視認平面とし、この四腔視認平面の法線方向を厚み方向とし、厚み方向の中心位置を通過する四腔視認平面を四腔断面とするとよい。そして、四腔視認平面において第1中心点を通る法線との交点から当該平面上で前記左心房部と右心房部の中間地点を通る直線を基準要素(第1心軸)に設定すると良い。
 平均化処理部405は、三次元モデル作成部401からの指示に従って、心臓三次元モデルデータベース412を参照しつつ、三次元モデル作成部401から指示された複数の心臓三次元モデルを平均化する。平均化処理部405が実行する平均化処理としては、同じ心臓部分5bについて作成された複数の心臓三次元モデルを平均化する個体内平均化処理と、異なる心臓部分5bについて作成された複数の心臓三次元モデルを平均化する個体間平均化処理とがある。ただし、平均化処理部405による処理の詳細は後述する。
 個体内平均化処理は、互いに直行するX平面、Y平面、およびZ平面について、各平面を所定間隔ずつ(例えば1mm間隔)準備し、その各平面における組織と空洞の境界線を描く。すなわち、まず、1mm間隔の各X平面の境界線を通過するX平面側三次元データ(X平面由来三次元モデル)を作成して、左心房、不審房、左心室、右心室を分析把握する。また、1mm間隔の各Y平面の境界線を通過するY平面側三次元データ(Y平面由来三次元モデル)を作成して、左心房、不審房、左心室、右心室を分析把握する。さらに、1mm間隔の各Z平面の境界線を通過するZ平面側三次元データ(Z平面由来三次元モデル)を作成して、左心房、不審房、左心室、右心室を分析把握する。こうして作成したX平面側三次元データ、Y平面側三次元データ、およびZ平面側三次元データを平均化して1つの固体内平均化三次元データを作成し、この固体内平均化三次元データを心臓三次元モデルとし、心臓三次元モデルデータベース412に記憶すると良い。
 個体間平均化処理は、異なる胎児の心臓三次元モデルを平均化する処理であり、複数の心臓三次元モデルを平均化して1つの標準モデル(標準三次元モデル)を作成する。ただし、標準モデル作成のために使用する心臓三次元モデルは、正常な胎児心臓の心臓三次元モデルのみとすることが望ましい。この固体間平均化処理を行う制御部は、標準三次元モデル作成部として機能する。
 表示画像作成部406は、入力部42により受け付けた指示入力に応じて、心臓三次元モデルデータベース412に基づいて表示用画像データ415を作成する機能を有している。このようにして作成された表示用画像データ415は、表示部43によって表示される。表示画像作成部406は、様々な表示用画像データ415を作成するが、詳細は後述する。
 補正処理部407は、三次元モデル作成部401からの指示に従って、心臓三次元モデルデータベース412を参照しつつ、三次元モデル作成部401から指示された心臓三次元モデルを、適宜補正する。例えば、正常な心臓部分5bと、診断対象の心臓部分5bとを比較する場合、これら2つの心臓の間には疾病の有無に起因する差だけでなく、個体差(個人差)も生じている。すなわち、個体差を抑えることができれば、疾病の有無による差が顕在化し、診断が容易になると考えられる。したがって、補正処理部407は、心臓三次元モデルに生じている個体差を抑制するように、当該心臓三次元モデルを補正して、新たな心臓三次元モデルを作成する。また、補正処理部407は、補正により作成した心臓三次元モデルを示す心臓三次元モデルデータを、心臓三次元モデルデータベース412に含める(格納する)機能も有している。ただし、補正処理部407による処理についての詳細は後述する。
 以上が心臓診断支援システム1の構成および機能の説明である。次に、心臓診断支援システム1を用いた心臓診断支援方法について説明する。
 図7は、心臓診断支援方法を示す流れ図である。心臓診断支援システム1に電源が投入されると、図7に示す処理を開始する。
 図7に示す処理を開始すると、心臓診断支援システム1は、初期設定を実行する(ステップS1)。初期設定としては、例えば、プログラム210,410のロードや、表示部23,43への初期メニュー画面の表示などが考えられる。
 初期設定を終了すると、心臓診断支援システム1は、標準モデルを作成するか否かを判定する(ステップS2)。標準モデルとは、診断対象を診断するときに、診断対象である胎児5aの心臓部分5bと比較するために用いるモデル(心臓三次元モデル)である。したがって、標準モデルは、健康な心臓部分5bを計測することによって作成された理想的な心臓三次元モデルである。
 心臓診断支援システム1は、使用者が入力部22を操作して入力する指示入力に応じてステップS2の判定を行う。すなわち、使用者が入力部22を操作するまで待機しつつ、標準モデルを作成するとの指示入力があればYesと判定し、標準モデルを作成しないとの指示入力があればNoと判定する。
 ステップS2においてNoと判定すると、心臓診断支援システム1は、ステップS3をスキップする。したがって、この場合には、ステップS3の標準モデル作成処理は実行されない。
 一方、ステップS2においてYesと判定すると、心臓診断支援システム1は、標準モデル作成処理(ステップS3)を実行する。
 図8は、標準モデル作成処理を示す流れ図である。なお、標準モデル作成処理において計測される対象(胎児5aの心臓部分5b)は、診断対象ではなく、サンプルである。サンプルは、疾病のない健康な心臓部分5bであることが望ましい。したがって、標準モデル作成処理において計測の対象とする心臓部分5bは、すでに健康であると診断された心臓部分5bである。
 標準モデル作成処理が開始されると、心臓診断支援システム1(超音波検査装置2)は、初期化処理(ステップS11)を実行する。
 ステップS11の初期化処理において、心臓診断支援システム1は、標準モデルを作成するために計測する胎児5aの人数を示すPに「N」をセットする(Nは自然数。)。Nとしては、例えば、5ないし10が適当であるがこれに限定されるものではない。Nが大きいほど、計測回数が増加する代わりに、個体差は平準化される。なお、個体差の平準化とは、個別症例の凸凹をなくすことをいう。
 また、ステップS11において、心臓診断支援システム1は、計測中の胎児5aが何番目のサンプルであるかを示すn(nは自然数。)を「0」に初期化する。
 ステップS11を終了すると、心臓診断支援システム1は、nをインクリメントさせて(ステップS12)、計測処理(ステップS13)を実行する。
 計測処理とは、一人の人物(胎児5a)の心臓部分5bをスキャニング装置3を用いて計測する処理である。詳細は後述するが、計測処理は、主に超音波検査装置2およびスキャニング装置3によって実現される。
 図9は、計測処理を示す流れ図である。
 計測処理が開始されると、心臓診断支援システム1(超音波検査装置2)は、初期化処理(ステップS21)を実行する。
 ステップS21の初期化処理において、心臓診断支援システム1は、1つのサンプルに対する計測回数を示すSに「M」をセットする(Mは自然数。)。例えば、一人の胎児5aに対して1方向から2回計測する場合は、Mに「2」をセットする。このように同じサンプルに対して複数回計測することにより、計測誤差が抑制される。あるいは、一人の胎児5aに対して互いに直交する3方向から計測する場合には、Mに「3」をセットしてもよい。1つのサンプルに対して異なる方向から計測すると、計測誤差が抑制されるだけでなく、死角が減少するため精度が向上する。
 さらに、ステップS21において、心臓診断支援システム1は、計測中のサンプルに対する計測が何回目であるかを示すm(mは自然数。)を「0」に初期化する。
 ステップS21を終了すると、心臓診断支援システム1は、mをインクリメントし(ステップS22)、サンプルに対する計測を開始する(ステップS23)。
 なお、図9において図示を省略しているが、ステップS23を実行する前に、使用者は、計測の準備を行う。計測の準備とは、計測が行われる前に準備しておかなければならない事柄である。例えば、症例データ211に相当するデータの入力、サンプルの位置や姿勢の調整、スキャニング装置3の姿勢や状態の確認などである。使用者は、計測の準備が完了したときに、入力部22を操作して、その旨を超音波検査装置2に入力する。心臓診断支援システム1は、この入力を確認してから、ステップS23を実行する。
 ステップS23を実行することにより計測を開始すると、心臓診断支援システム1(超音波検査装置2)は、1回分のエコーデータ213が取得されたか否かを判定しながら(ステップS24)、計測を継続する。
 計測を継続している間、スキャニング装置3はエコー信号データ212を取得し続ける。また、その期間、超音波検査装置2は、取得されたエコー信号データ212を解析しつつ、抽出タイミングを決定する。そして抽出タイミングが決定できれば、当該抽出タイミングに応じて、取得されたエコー信号データ212に基づいて1回分のエコーデータ213を作成する。このようにして1つのエコーデータ213が作成されると、心臓診断支援システム1は、ステップS24においてYesと判定する。
 ステップS24においてYesと判定すると、心臓診断支援システム1は、スキャニング装置3によるエコー信号データ212の取得を停止する。次に、心臓診断支援システム1は、mの値が「S」か否かを判定し(ステップS25)、mの値が「S」でない場合は、ステップS22に戻って処理を繰り返す。
 mの値が「S」でない場合とは、1つのサンプルに対する計測がSにセットされている「M」に達しておらず、設定した計測回数分「M」の計測が未だ終了していないことを意味する。したがって、mの値が「S」でない場合、心臓診断支援システム1は、mをインクリメントさせて(ステップS22)、次の計測を開始する(ステップS23)。この場合、計測を開始する前に、例えば、方向を変更するなどの計測準備が行われてもよい。
 一方、ステップS25においてYesと判定した場合(mの値が「S」の場合)、心臓診断支援システム1は、1人分の計測が完了したと判断して、計測処理を終了する。
 図8に戻って、ステップS13に示す計測処理が終了すると、心臓診断支援システム1は、nの値が「P」か否かを判定し(ステップS14)、nの値が「P」でない場合は、ステップS12に戻って処理を繰り返す。
 nの値が「P」でない場合とは、計測を完了した胎児5aの人数がPにセットされている「N」に達しておらず、設定した人数「N」分の計測が未だ終了していないことを意味する。したがって、nの値が「P」でない場合、心臓診断支援システム1は、nをインクリメントさせるとともに、Sに「M」をセットして、次の胎児5aに対する計測処理(ステップS13)を開始する。
 一方、ステップS14においてYESと判定した場合(nの値が「P」の場合)、心臓診断支援システム1は、標準モデル作成処理において作成した全てのエコーデータ213を超音波検査装置2から心臓モデル導入装置4に向けて送信する(ステップS15)。
 ステップS15において送信されたエコーデータ213が心臓モデル導入装置4に受信されると、心臓モデル導入装置4(通信制御部400)は、ステップS15において送信された全てのエコーデータ213を含む受信データ411を作成する(ステップS16)。
 受信データ411が作成されると、心臓診断支援システム1は、三次元モデル作成処理(ステップS17)を実行する。詳細は後述するが、三次元モデル作成処理とは、計測処理において取得されたエコーデータ213を処理して、心臓部分5bの三次元モデルを作成する処理である。三次元モデル作成処理は、主に心臓モデル導入装置4によって実現される処理である。
 図10および図11は、三次元モデル作成処理を示す流れ図である。
 三次元作成処理が開始されると、心臓診断支援システム1(心臓モデル導入装置4)は、フラグFの値を「0」に初期化する(ステップS31)。本実施形態では、フラグFは、超音波装置で取得されるエコーデータが心臓モデル作製装置内の受信データ内に存在するか否かによって変化する変数であり、同じ心臓部分5b(同一胎児5aの心臓部分5b)を計測して作成されたエコーデータ213が、受信データ411に存在するか否かを示す。フラグFは、そのようなエコーデータ213が存在する場合には、「1」に書き替えられる。
 ステップS31を終了すると、心臓モデル導入装置4は、受信データ411に含まれているエコーデータ213から個体識別子を1つ取得し、処理中の個体識別子を示すIに、取得した個体識別子の値をセットする(ステップS32)。
 当該個体識別子は、すでに説明したように、各エコーデータ213に付加された症例データ211に含まれている。また、ステップS32において個体識別子を取得する対象となるエコーデータ213は、受信データ411に含まれているエコーデータ213であればどれでもよい。すなわち、受信データ411に含まれているエコーデータ213については、三次元モデルを作成する順番は任意である。
 Iに個体識別子をセットすると、心臓モデル導入装置4(三次元モデル作成部401)は、個体識別子Iによって受信データ411を検索し、個体識別子がIとなっている1つのエコーデータ213を特定して、取得する(ステップS33)。
 エコーデータ213を取得すると、三次元モデル作成部401は、心臓三次元モデルデータベース412に新しいレコードを作成して、取得したエコーデータ213を当該レコードに格納する。また、三次元モデル作成部401は、心臓三次元モデルデータベース412に格納したエコーデータ213を、受信データ411から削除する。すなわち、ステップS33が実行されるたびに、1回分のエコーデータ213が、受信データ411から心臓三次元モデルデータベース412に移動する。
 次に、三次元モデル作成部401は、ステップS33において取得したエコーデータ213に基づいて、心臓三次元モデルを示す心臓三次元モデルデータを作成して、心臓三次元モデルデータベース412に格納する(ステップS34)。
 なお、三次元モデル作成部401は、ステップS33において新たに作成したレコード(エコーデータ213を格納したレコード)に、ステップS34において作成した心臓三次元モデルデータを格納する。これにより、エコーデータ213と、当該エコーデータ213から作成された心臓三次元モデルデータとが互いに関連づけられる。
 ステップS34において三次元モデル作成部401が心臓三次元モデルデータを作成する処理を具体的に説明する。
 まず、三次元モデル作成部401は、エコーデータ213に基づいて、所定の厚み間隔の複数の平面画像を作成する。すでに説明したように、エコーデータ213に含まれるエコー信号データ212は、超音波検査装置2のデータ処理部201によってエコー信号データ212を画像化処理されたデータである。したがって、三次元モデル作成部401は、画像化処理されたデータから平面画像を抽出することによって、所定の厚み間隔の複数の平面画像を作成することができる。なお、このときの厚み間隔は、0.5ないし2.0mm間隔とすることが好ましく、0.5ないし1.0mm間隔とすることがより望ましい。ただし、この範囲に限定されるものではない。
 図12は、三次元モデル作成部401によって作成される複数の平面画像のうちの1つの平面画像500を例示する図である。図12に示す平面画像500には、心臓部分5bの腔孔部分(左心房部503、右心房部504、左心室部505、右心室部506、および、各種血管部など)と、心臓部分5bの組織部分508とが含まれている。
 ただし、三次元モデル作成部401によって作成される複数の平面画像のそれぞれにおいて、どのような部分が含まれるかは不定である。極端な例としては、心臓部分5bの端の方に位置する平面画像では、組織部分508のみが含まれ、腔孔部分は何も含まれない場合もあり得る。
 三次元モデル作成部401は、作成した複数の平面画像のそれぞれに画像処理を施して、心臓部分5bの腔孔部分と心臓部分5bの組織部分との境界を境界線として取得する。
 図12に示す例では、平面画像500において、左心室部505と組織部分508との境界として、境界線509が取得されている例を示している。平面画像500には、心臓部分5bの腔孔部分として、左心室部505の他に、左心房部503、右心房部504、右心室部506、および、各種血管部なども含まれている。したがって、三次元モデル作成部401は、それら残りの腔孔部分と組織部分508との境界についても境界線(図12において図示省略。)として取得する。すなわち、三次元モデル作成部401は、1つの平面画像ごとに、当該平面画像から取得された全ての境界線を示す1つの境界線データを作成する。
 次に、三次元モデル作成部401は、複数の平面画像のそれぞれについて境界線データを作成して、順次、心臓三次元モデルデータベース412における同一のレコードの第4項目に格納する。ここで境界線データが格納されるレコードとは、ステップS33において新たに作成され、当該境界線データを作成する元となったエコーデータ213が格納されているレコードである。
 また、三次元モデル作成部401は、複数の平面画像のそれぞれから取得した複数の境界線データを、厚み方向に重ね合わせて、複数の境界線データによる擬似的な(離散的な)境界の三次元モデル(以下、「境界三次元モデル」と称する。)を作成する。
 また、三次元モデル作成部401は、境界三次元モデルにおける各平面画像間の境界線を滑らかな曲線となるように補完(画素補完)することにより、各腔孔の三次元モデル(以下、「腔孔三次元モデル」と称する。)を作成する。すなわち、腔孔三次元モデルには、元となった境界三次元モデルが含まれている。
 さらに、三次元モデル作成部401は、腔孔三次元モデルと、心臓部分5bの組織部分とを配置して心臓三次元モデルである心臓三次元モデルを作成する。すなわち、心臓三次元モデルには、その作成過程において元となった腔孔三次元モデルが含まれている。
 なお、本実施の形態における三次元モデル作成部401は、心臓三次元モデルを作成する過程で、境界三次元モデルおよび腔孔三次元モデルを作成し、これらのモデルが心臓三次元モデルの一部を構成すると説明した。しかし、心臓三次元モデルを作成する場合において、中間データとして、境界三次元モデルや腔孔三次元モデルが必須なわけではない。すなわち、三次元モデル作成部401が心臓三次元モデルを作成する手法は、ここに示す例に限定されるものではなく、従来から知られている手法を採用してもよい。
 また、診断の方法や目的に応じて、境界三次元モデルや腔孔三次元モデルを、そのまま心臓部分5bの三次元モデルとみなしてもよい。したがって、例えば、境界の三次元モデル(境界三次元モデル)を、心臓部分5bの三次元モデルの全部とみなしてもよい。すなわち、境界三次元モデルは、画素補完(厚み方向の補間、複数の境界線データ間の補間)がされておらず、一見して離散的な三次元モデルである。しかし、境界三次元モデルには、内部構造や腔孔部分を表現した部分も存在しており、心臓部分5bを診断するために使用することも不可能ではない。
 また、中間データとして作成された境界三次元モデルや腔孔三次元モデルを、心臓三次元モデルデータベース412に格納して、保存してもよい。これにより、後の処理においてこれらのデータが必要となった場合に、再度作成する必要はない。
 三次元モデル作成部401が心臓三次元モデルを作成すると、心臓モデル導入装置4(基準切断面データ取得部402)は、基準切断面データ413を取得する(ステップS35)。
 ステップS35では、まず、基準切断面データ取得部402が、心臓三次元モデルデータベース412を参照して、作成された心臓三次元モデルデータを取得する。このとき、基準切断面データ取得部402は、基準要素データが格納されていないレコードを検出し、当該レコードのレコード識別子を取得する。次に、当該レコードに格納されている心臓三次元モデルデータを、ステップS34において作成された心臓三次元モデルデータとして取得する。
 次に、基準切断面データ取得部402は、心臓三次元モデル(作成された心臓三次元モデルデータ)を分析して、当該心臓部分5bの持ち主(胎児5a)の一方(例えば頭側)から他方(例えば腹側)に向かう方向(向きは逆でもよい。以下、「観察方向」と称する。)を設定する。
 なお、観察方向は、例えば、心臓三次元モデルデータに基づいて作成される心臓部分5bの画像について画像認識処理を施すことにより決定できる。具体的には、心臓部分5bを構成する部位(左心房部、右心房部、左心室部、右心室部、肺動脈、上行大動脈、下行大動脈など)の位置や向きを解析することにより、観察方向を決定できる。ただし、このような手法に限定されるものではない。
 次に、基準切断面データ取得部402は、心臓三次元モデルをさらに分析して、心臓部分5bの観察方向における両端部を検出する。すなわち、心臓部分5bの頭側および腹側の端部をそれぞれ検出する。そして、基準切断面データ取得部402は、当該両端部の中間点(心臓部分5bの観察方向の厚みの中間点)を基準点として検出する。さらに、基準切断面データ取得部402は、検出した基準点を含む平面のうち、観察方向に対して垂直な平面を基準切断面として設定する。
 このように基準切断面データ取得部402は、心臓三次元モデルデータベース412に含まれる心臓三次元モデルデータを参照して、演算により基準切断面を設定することができる。したがって、基準切断面データ取得部402は、使用者からの指示を受けることなく、自動的に基準切断面データ413を作成することができる。
 なお、基準切断面を設定するための基準点は、上記中間点(観察方向の厚みの中間点)に限られるものではない。例えば、腹側の端部から所定の距離だけ頭側に移動した点を基準点としてもよい。また、頭側から腹側へまっすぐ伸びる体軸方向(正中線方向)に直角な平面での断面を、体軸方向に所定間隔で複数取得し、各断面について、左心房部、右心房部、左心室部、右心室部の合計面積を求め、合計面積が最大となる断面(平面内)に含まれる点を基準点としてもよい。
 また、基準切断面データ取得部402は、基準切断面データ413に、予め取得しておいたレコード識別子を付加する。このレコード識別子は、基準切断面を設定するときに用いた心臓三次元モデルデータが格納されているレコードのレコード識別子である。
 ステップS35を終了し、基準切断面データ413が作成されると、心臓モデル導入装置4(基準断面データ作成部403)は、基準断面データ414を作成する(ステップS36)。
 ステップS36において、基準断面データ作成部403は、まず、基準切断面データ413に含まれるレコード識別子を取得して、心臓三次元モデルデータベース412を検索することにより、所望の心臓三次元モデルデータを取得する。そして、基準断面データ作成部403は、取得した心臓三次元モデルデータおよび基準切断面データ413に基づいて、心臓三次元モデルを基準切断面で切断したときの当該心臓三次元モデルの断面画像を示す基準断面データ414を作成する。
 心臓部分5bにおいて主な部位として、左心房部、右心房部、左心室部および右心室部がある。心臓部分5bについて診断を行う場合には、これらの部位を観察することが重要となる。これらの部位は、通常、観察方向に垂直な平面上に円を描くように並んで配置されている。したがって、基準切断面データ取得部402が設定した基準切断面によって心臓部分5bの三次元モデルを切断すると、左心房部、右心房部、左心室部および右心室部の全てが揃った断面が形成される蓋然性が高い。
 なお、基準断面データ414に示される断面画像は、例えばエコーデータ213から抽出されるような現実の画像ではない。基準断面データ414は、心臓三次元モデルを仮想的に切断して作成される架空の画像(合成画像)である。
 また、基準断面データ作成部403は、基準切断面データ413に含まれているレコード識別子を、作成した基準断面データ414に付加する。
 ステップS36を終了し、基準断面データ414が作成されると、心臓モデル導入装置4(基準要素設定部404)は、基準要素を設定する(ステップS37)。
 ステップS37において、基準要素設定部404は、基準断面データ414に示される断面(断面画像)を解析して、心臓三次元モデルの基準要素を設定する。具体的には、第1心軸、第2心軸、および第1心軸と第2心軸との成す角である基準角を設定する。
 基準断面データ414に示す断面の画像として、図12に示す平面画像500のような画像が取得された場合を想定して、基準要素設定部404による処理をさらに具体的に説明する。ただし、本来、平面画像500は、エコーデータ213に含まれている実際に取得された画像であって、左心房部、右心房部、左心室部および右心室部の全てが揃った断面画像であるとは限らない。これに対して、基準断面データ414に示す断面画像は、心臓三次元モデルを切断することによって作成される架空の画像(合成画像)であって、左心房部、右心房部、左心室部および右心室部の全てが揃った理想的な断面画像である(そのような理想的な断面となるように基準切断面が設定されている。)。
 基準要素設定部404は、右心房部504と右心室部506との間に存在する組織部分508を三尖弁として検出する。また、基準要素設定部404は、左心房部503と左心室部505との間に存在する組織部分508を僧帽弁として検出する。次に、基準要素設定部404は、検出した三尖弁と僧帽弁との中間点を、第1中心点502として設定する。さらに、基準要素設定部404は、第1中心点502から、左心室部505と右心室部506との間を通り心尖部に至る第1心軸と、第1中心点502と第2中心点を結ぶ第2心軸と、第1心軸と第2心軸との成す角である基準角を基準要素510として設定する。また、第1中心点502と第2中心点を結ぶ直線の距離を計測し、第1中心点502と第2中心点を結ぶ直線(第1直線)と、三尖弁と僧帽弁との中間点および大動脈の中心点を通る直線(第2直線)との成す角の角度も計測する。
 従来は、図12に示す平面画像500のように、左心房部、右心房部、左心室部および右心室部が全て揃い、かつ、均等に膨らんでいる状態の画像がエコーデータ213に含まれるようにスキャニング装置3を操作しなければならなかった。そのためには、スキャニング装置3を操作する使用者に、高度な知識と経験とが必要であった。
 しかし、本発明の心臓診断支援システム1(心臓モデル導入装置4)は、心臓三次元モデルに基づいて理想的な断面画像(基準断面データ414)を作成することができる。そして、例え、平面画像500のような理想的な画像が含まれていないエコーデータ213が取得された場合であっても、心臓モデル導入装置4は心臓三次元モデルを作成することが可能である。したがって、心臓モデル導入装置4(基準要素設定部404)は、エコーデータ213の質によらず、基準要素を設定することができる。
 なお、ステップS37に示す処理は、心臓三次元モデルが、境界三次元モデルや腔孔三次元モデルであっても実現可能な処理である。すなわち、基準要素設定部404が基準要素を設定するときに使用するデータは、必ずしも心臓部分5bの完全な三次元モデルでなくてもよい。また、ステップS37に示す処理は、心臓三次元モデルが、境界三次元モデルや腔孔三次元モデルを含んでいなくても実行可能であり、一般的な心臓三次元モデルが作成されていれば実現可能な処理である。すなわち、基準要素設定部404が基準要素を設定するときに使用するデータは、上述した方法で作成した三次元モデルに限られず、従来の技術で作成した心臓三次元モデルであってもよい。
 また、ステップS37において基準要素設定部404は、基準断面データ414に含まれるレコード識別子を参照して、当該レコード識別子によって識別されるレコードの第5,6,7項目に、当該基準断面データ414に基づいて設定した基準要素を示す基準要素データを格納し、レコードの第6,7項目(図示せず)に、第1中心点502と第2中心点(下行大動脈の中心点)を結ぶ直線の距離を計測し、第1中心点502と第2中心点を結ぶ直線と、三尖弁と僧帽弁との中間点および第2中心点を通る第2直線との成す角の角度をそれぞれ格納する。したがって、すでに説明したように、基準要素設定部404は、基準要素を示す基準要素データを心臓三次元モデルデータベース412に含める機能も有している。これによって、基準要素と、心臓三次元モデルとが関連づけられる。
 図10に戻って、ステップS37を終了すると、心臓モデル導入装置4は、受信データ411の中に、個体識別子Iで識別されるエコーデータ213がまだ存在しているか否かを判定する(ステップS38)。
 個体識別子Iのエコーデータ213が検出された場合(ステップS38においてYes)、心臓モデル導入装置4は、フラグFに「1」をセットし(ステップS39)、当該検出したエコーデータ213に対してステップS33からの処理を繰り返す。
 すでに説明したように、心臓三次元モデルデータベース412に格納され、心臓三次元モデルデータを作成するために使用されたエコーデータ213は、ステップS33において受信データ411から削除されている。すなわち、ステップS38によって、ステップS33からステップS38までの処理を繰り返すことにより、同一の個体識別子を有するエコーデータ213に対する処理が完了する。
 また、ステップS38において1回でもYesと判定されると、ステップS39が実行されて、フラグFが「1」に書き替えられる。したがって、以後の処理において、同一の個体識別子のエコーデータ213が、受信データ411に、複数存在していたことを検出することができる。
 一方、ステップS38においてNoと判定すると、心臓モデル導入装置4は、同一のサンプルを計測することによって取得されたエコーデータ213に対する処理が完了していると判断し、フラグFが「1」であるか否かを判定する(図11:ステップS41)。
 ステップS41においてNoと判定される場合とは、フラグFが「0」の場合であり、同一の個体識別子を有するエコーデータ213が1しか存在せず、同一の心臓部分5bの心臓三次元モデルデータが複数作成されていないことを意味する。すなわち、同一のサンプルに対して1回しか計測がされていないことを意味する。したがって、ステップS41においてNoと判定すると、心臓診断支援システム1は、個体内平均化処理(ステップS42)をスキップする。
 一方、ステップS41においてYesと判定される場合とは、フラグFが「1」の場合であり、同一の個体識別子を有するエコーデータ213が複数存在し、同一の心臓部分5bの心臓三次元モデルデータが複数作成されていることを意味する。すなわち、同一のサンプルに対して複数回の計測がされたことを意味する。したがって、ステップS41においてYesと判定すると、心臓診断支援システム1は、計測誤差を抑制するために、個体内平均化処理(ステップS42)を実行する。
 ここで、主に平均化処理部405および三次元モデル作成部401によって実行されるステップS42を具体的に説明する。
 ステップS42が開始されると、三次元モデル作成部401は、個体識別子Iを平均化処理部405に伝達する。なお、三次元モデル作成部401が平均化処理部405に対して伝達する個体識別子が1つの場合は、個体内平均化処理である。
 平均化処理部405は、三次元モデル作成部401から伝達された個体識別子Iで心臓三次元モデルデータベース412を検索する。これにより、平均化処理部405は、個体識別子Iに対応づけられた複数の心臓三次元モデルデータを特定することができる。
 次に、平均化処理部405は、特定された複数の心臓三次元モデルデータごとに、複数の境界線データ(境界三次元モデル)と、基準要素データとを取得する。
 次に、平均化処理部405は、取得した複数の基準要素データで示される複数の基準要素が、一致するように、複数の境界三次元モデルを重ね合わせる。なお、取得した基準要素のうち、基準角の角度が、三次元モデルの作成において理想的な角度でない場合がある。この場合、第1心軸および第2心軸の少なくとも一方を回転させる補正(回転補正)を行い、基準角の角度を補正することが好ましい。このように、平均化処理部405が、互いの基準要素が一致するように境界三次元モデルを重ね合わせることにより、別々に計測されたエコーデータ213に基づいて作成された境界三次元モデルを、容易に、かつ、正確に重ね合わせることができる。
 なお、基準要素だけでなく、基準要素を設定するときに基準要素設定部404によって設定された観察方向も一致するように複数の境界三次元モデルを重ね合わせてもよい。これによって、回転によるズレも抑制することができる。
 また、個体内平均化処理では同一の心臓部分5bを対象としているため、個体差は生じない。したがって、個体内平均化処理において複数の境界三次元モデルを重ね合わせる場合には、個体差によるズレは考慮する必要はない。したがって、補正処理部407による補正処理は必要ない。
 次に、平均化処理部405は、重ね合わされた複数の境界三次元モデルを平均化して、1つの境界三次元モデル(平均化された境界三次元モデル)を作成する。さらに、平均化処理部405は、平均化された境界三次元モデルを、三次元モデル作成部401に転送する。
 三次元モデル作成部401は、平均化処理部405から転送された、平均化された境界三次元モデルに基づいて腔孔三次元モデル(平均化された腔孔三次元モデル)を作成する。また、三次元モデル作成部401は、平均化された腔孔三次元モデルに基づいて、新たな心臓三次元モデル(平均化された心臓三次元モデル)を作成する。
 さらに、三次元モデル作成部401は、心臓三次元モデルデータベース412に新しいレコードを作成し、個体内平均化処理によって作成した心臓三次元モデル(個体内で平均化された心臓三次元モデルデータ)を、当該新しいレコードの第3項目に格納する。このとき、複数の境界三次元モデルを重ね合わせるために使用した基準要素データ(共通の基準要素データとみなせる。)、境界三次元モデル、および、複数回分のエコーデータ213も同じレコードに格納する。したがって、平均化された心臓三次元モデルを格納しているレコードにおいては、1つのレコードに複数のエコーデータ213が含まれる。一方で、心臓診断支援システム1は、平均化の対象となった複数の心臓三次元モデルデータが格納されていたレコードを、全て心臓三次元モデルデータベース412から削除する。
 このようにして、心臓診断支援システム1は、同じ心臓部分5bを複数回計測することによって作成された複数の心臓三次元モデルを1つの心臓三次元モデルに統合することができる。したがって、測定誤差を平準化することができる。
 なお、個体内平均化処理は、境界三次元モデルでなく、腔孔三次元モデル(境界三次元モデルを画素補完したモデル)に対して行ってもよいし、心臓三次元モデル(腔孔三次元モデルに組織部分を配置したモデル)に対して行ってもよい。ただし、平均化に関する処理を境界三次元モデルに対して行うことにより、演算負荷を軽減することができる。
 また、三次元モデル作成部401は、個体内平均化処理(ステップS42)が実行されることによって作成された心臓三次元モデルデータについては、対応する症例データ211に、その旨を示す識別子を付加する。
 また、基準要素設定部404は、個体内平均化処理によって作成された心臓三次元モデルデータについて、ステップS37の処理を実行することにより、新たに基準要素を設定して、心臓三次元モデルデータベース412に格納してもよい。
 また、図11に示す処理では、同一の個体識別子のエコーデータ213に基づいて作成された心臓三次元モデルデータが、全て個体内平均化処理の対象であった。しかし、ステップS42の個体内平均化処理の対象を使用者が指定できるように構成してもよい。
 ステップS42を終了するか、または、ステップS42をスキップすると、心臓診断支援システム1(心臓モデル導入装置4)は、受信データ411にエコーデータ213がまだ存在しているか否かを判定する(ステップS43)。
 ステップS43が実行されるときには、すでに図10に示すステップS38においてYesと判定されている。したがって、処理中の個体を示す個体識別子Iを含むエコーデータ213の全てについて、ステップS33がすでに実行されているので、個体識別子Iを含むエコーデータ213は受信データ411から全て削除されており存在していない。しかし、個体識別子Iとは異なる個体識別子を含むエコーデータ213(すなわち、すでに処理されたエコーデータ213とは異なる心臓部分5bにおけるエコーデータ213)については、ステップS43が実行される時点で完了していない場合がある。したがって、心臓診断支援システム1は、ステップS43を実行して、そのようなエコーデータ213の有無を判定する。
 ステップS43においてYesと判定すると、心臓診断支援システム1は、個体識別子Iをリストに追加保存し、図10に示すステップS31に戻って、フラグFを「0」に初期化する。そして、図11に示すステップS43において検出されたエコーデータ213から新たな個体識別子を取得して、個体識別子Iに当該新たな個体識別子をセットとする(ステップS32)とともに、ステップS33以降の処理を繰り返す。
 一方、ステップS43においてNoと判定すると、心臓診断支援システム1は、標準モデルを作成中であるか否かを判定する(ステップS44)。ここでは、標準モデルを作成している途中であるので、ステップS44においてYesと判定される。ステップS44においてNoと判定される場合については後述する。
 ステップS44においてYesと判定すると、心臓診断支援システム1は、個体識別子を受け付ける状態に遷移する(ステップS45)。
 心臓診断支援システム1は、ステップS45において、心臓モデル導入装置4の表示部43に、心臓三次元モデルデータベース412に格納されている個体識別子の一覧と、使用者に対して個体識別子を選択するように促すメッセージとを表示させる。表示部43に必要な情報を表示させた後、使用者から適切な指示入力があるまで、心臓診断支援システム1は待機状態となる。
 ステップS45において待機状態となった心臓診断支援システム1は、使用者が個体識別子の選択完了を示す指示入力(使用者が入力部42を操作することによって入力される。)を検出したときに、ステップS45を終了する。このように、使用者からの選択指示を受け付けることによって、心臓診断支援システム1は、すでに心臓三次元モデルデータベース412に登録されている症例についても、標準モデルに反映させることができる。なお、ステップS43においてYesと判定されたときにリストに追加した個体識別子については、使用者による選択がされなくても、ステップS45において自動的に選択されてもよい。
 ステップS45を終了すると、心臓モデル導入装置4(平均化処理部405)は、個体間平均化処理(ステップS46)を実行する。
 ステップS46に示す個体間平均化処理は、平均化処理部405が、異なる個体識別子によって、心臓三次元モデルデータベース412を検索することを除いて、個体間平均化処理と同様に処理することが可能であるため、ここでは詳細な説明を省略する。
 ステップS46の個体間平均化処理を実行することにより、異なる胎児5aの心臓部分5bの心臓三次元モデル(複数のモデル)を、1つの心臓三次元モデル(平均化されたモデル)に統合することができる。したがって、サンプルとして正常な胎児5aを選択しておくことによって、個体間平均化処理によって作成される平均化された心臓三次元モデルは、個体差を抑制した標準モデル(理想モデル)として利用することができる。
 また、標準モデルは、1度作成されれば、作成された標準モデルをテンプレート化して、同様のシステムに配布することができる。これにより、配布された標準モデルを予めインストールしておけば、心臓モデル導入装置4ごとに改めて標準モデルを作成する必要はない。標準モデルは、正常であると判明している多くのサンプルを集めて作成しなければならない。しかし、テンプレート化して共有することによって、このような作業負担を省略することができる。また、標準モデルが共有化されると、標準モデルの質の差によって、診断に差が生じることもない。
 ステップS46が実行されて標準モデルが作成されるか、または、ステップS45,46がスキップされると、心臓診断支援システム1は、三次元モデル作成処理を終了する。
 図8に戻って、ステップS17の三次元モデル作成処理を終了すると、心臓診断支援システム1は、標準モデル作成処理を終了して、図7に示す処理に戻る。
 
 図7に戻って、ステップS3の標準モデル作成処理を終了すると、心臓診断支援システム1は、診断を開始するか否かを判定する(ステップS4)。
 心臓診断支援システム1は、使用者が入力部22を操作して入力する指示入力に応じてステップS4の判定を行う。すなわち、心臓診断支援システム1は、使用者が入力部22を操作するまで待機しつつ、診断を開始するとの指示入力があればYesと判定し、診断を開始しないとの指示入力があればNoと判定する。
 ステップS4においてNoと判定すると、心臓診断支援システム1は、ステップS5をスキップして、終了するか否かを判定する(ステップS6)。ステップS6において、終了しない場合(ステップS6においてNo)、心臓診断支援システム1は、ステップS2に戻って処理を繰り返す。また、ステップS6において終了する場合(ステップS6においてYes)、心臓診断支援システム1は、所定の終了処理(図示せず)を実行してから、処理を終了する。
 一方、ステップS4においてYesと判定すると、心臓診断支援システム1は、診断支援処理(ステップS5)を実行する。診断支援処理とは、心臓診断支援システム1が、使用者による診断を支援する処理である。ここに言う使用者による診断とは、診断対象(胎児5a)の心臓に先天性疾患の疑いがあるか否かを判断するための診断である。
 図13は、診断支援処理を示す流れ図である。なお、診断支援処理が開始されるまでに、標準モデルが心臓三次元モデルデータベース412に格納されているものとする。標準モデルは、正常であると判断された心臓部分5bのエコーデータ213にのみ基づいて三次元モデル作成部401が作成した心臓三次元モデルである。
 診断支援処理が開始されると、心臓診断支援システム1は、計測処理(ステップS51)を実行する。ステップS51における計測処理は、図8に示すステップS13と同様の処理であるため、ここでは説明を省略する。
 ステップS51の計測処理が終了すると、ステップS51において作成されたエコーデータ213が心臓モデル導入装置4に向けて送信される(ステップS52)。ステップS52において送信されるエコーデータ213は、診断対象のみ(同一の個体識別子)のエコーデータ213であるが、1回分以上のエコーデータ213である。
 ステップS52が終了し、ステップS52において送信されたエコーデータ213を受信すると、心臓モデル導入装置4は、受信データ411を作成して(ステップS53)、三次元モデル作成処理を実行する(ステップS54)。
 ステップS54の三次元モデル作成処理(診断支援処理において実行される三次元モデル作成処理)において、ステップS17の三次元モデル作成処理と同様の処理については、適宜、以下の説明を省略する。
 診断支援処理における三次元モデル作成処理では、個体識別子が同一のエコーデータ213のみを取り扱う。したがって、図11に示すステップS42までは同様に処理されるが、ステップS43においてYesと判定されることはない。すなわち、ステップS43が実行されると、必ず、Noと判定される。
 また、診断支援処理における三次元モデル作成処理は、標準モデル作成処理において実行される処理ではない。したがって、ステップS44においてYesと判定されることはない。すなわち、ステップS44が実行されると、必ず、Noと判定され、三次元モデル作成処理を終了して、図13に示す処理に戻る。
 以上説明した診断支援処理における三次元モデル作成処理においても、診断対象に対して行われた計測回数分の三次元モデルが作成され(ステップS34)、それらが個体内平均化処理されて(ステップS42)、1つの心臓三次元モデルが作成される。このようにして作成される心臓三次元モデルは、診断対象の心臓三次元モデルである。以下、診断支援処理における三次元モデル作成処理で作成される心臓三次元モデルを、「診断対象モデル」と称する。このように、診断支援処理では、三次元モデル作成部401は、診断対象の心臓部分5bのエコーデータ213にのみに基づいて心臓三次元モデルを診断対象モデルとして作成する。
 ステップS54の三次元モデル作成処理を終了すると、心臓モデル導入装置4(補正処理部407)は、補正処理を実行する(ステップS55)。
 ここでステップS55の処理について説明する。
 ステップS55において、補正処理部407は、ステップS54において作成された診断対象モデルに設定された基準要素を特定する。ステップS54の三次元モデル作成処理においても、ステップS37が実行されるため、診断対象モデルにも基準要素が設定されており、心臓三次元モデルデータベース412には基準要素データが格納されている。
 次に、補正処理部407は、特定した基準要素が、標準モデルに設定された基準要素と1つに重なるように、診断対象モデルを回転させることにより、診断対象モデルを補正する。
 このように、心臓診断支援システム1では、作成される心臓三次元モデル(ここでは、標準モデルおよび診断対象モデル)に基準要素が設定されている。基準要素は、個体差によるズレが比較的大きいので、比較する三次元モデルの基準要素を重ねるようにして補正することにより、比較する三次元モデルの個体差が抑制される。したがって、標準モデルと診断対象モデルとの比較が容易になる。このような補正がされていなければ、使用者は、標準モデルと診断対象モデルとを比較するときに、両者に生じている差が、疾病によるものか、個体差によるものか判断しなければならず、容易とはいえない。
 なお、補正処理部407は、標準モデルの基準要素に診断モデルの基準要素が重なるように、診断モデルを回転させて補正する前にも補正を行う。以下に説明する。
 まず、補正処理部407は、診断対象モデルにおける下行大動脈の中心軸を標準モデルにおける下行大動脈の中心軸と重ねることにより、診断対象モデルにおける下行大動脈の中心軸の位置を固定する。下行大動脈は、体幹に固定されている部位であり、心臓部分5bの部位の中では比較的個体差が少ないと考えられる部位である。したがって、個体差の少ない部位を回転補正の前に固定しておくことにより、それらの部位が補正によって移動してしまうことを抑制できる。
 次に、補正処理部407は、診断対象モデルにおける僧帽弁と三尖弁との中点と下行大動脈の中心軸との距離と、標準モデルにおける僧帽弁と三尖弁との中点と下行大動脈の中心軸との距離とを一致させる。ここで定義される距離は、比較的個体差が大きいと考えられる。したがって、補正処理部407は、当該距離を予め一致させておく。これによっても、個体差が抑制される。
 次に、補正処理部407は、診断対象モデルにおける僧帽弁と三尖弁との中点と、標準モデルにおける僧帽弁と三尖弁との中点とが一致するように、診断対象モデルを下行大動脈の中心軸を中心にして回転させる。先述のように、下行大動脈の中心軸は個体差の少ない部位であるが、当該中心軸回りの回転には誤差があり、診断対象モデルにおける僧帽弁と三尖弁との中点と、標準モデルにおける僧帽弁と三尖弁との中点とを一致させる必要がある。
 ここまでの処理で僧帽弁と三尖弁との中点は標準モデルおよび診断対象モデルにおいて一致している。また、すでに説明したように、基準要素は、僧帽弁と三尖弁との中点を一端部として設定される軸である。したがって、補正処理部407は、診断対象モデルに設定された基準要素が、標準モデルに設定された基準要素と1つに重なるように、診断対象モデルを、僧帽弁と三尖弁との中心点(第1中心点)を中心に回転させて補正する。このように、回転補正を実行する前に、個体差の生じる部位ごとに予め適切に補正しておくことにより、さらに個体差を抑制することができる。
 このように、補正処理の最後に、補正処理部407は、標準モデルの基準要素に診断モデルの基準要素が重なるように、診断モデルを回転させて補正するが、この回転補正にも修正が可能である。以下に図面を用いて説明する。
 図14は、診断対象モデルに対して補正処理部407が設定する領域を例示する図である。
 補正処理部407は、診断対象モデルに、診断対象モデルに設定された基準要素を含み、僧帽弁、三尖弁、大動脈弁、右心室部、右心房部、左心室部、左心房部およびそれらの周辺組織を含む第1領域600と、肺動脈、肺静脈、大動脈および大静脈を含む第2領域601と、第1領域600と第2領域601との間に存在し、肺動脈弁およびその周辺組織を含む第3領域602,603とをそれぞれ設定する。
 また、補正処理部407は、第3領域602,603をスライスして、第1領域600との距離に応じた複数の小領域に分割する。
 また、補正処理部407は、標準モデルに、肺動脈、肺静脈、大動脈および大静脈を含む第4領域(図示せず)を設定する。第4領域は、診断対象モデルにおける第2領域601と同等の部位で構成される領域である。このようにして設定される第2領域601および第4領域は、体幹に固定される部位で構成されており、個体差による影響を比較的受けないと考えられる。
 また、第1領域600に含まれる部位は、互いに強く結束しており、一体となって個体差による影響を受けると考えられる。また、第3領域602,603は、第1領域600と第2領域601との間に存在している部位であり、第1領域600に近づくほど大きな影響を受ける領域である。
 補正処理部407は、診断対象モデルの第2領域601と標準モデルの第4領域とが重なる位置に第2領域601を固定する。すでに説明したように、これらの領域は、個体差があまり生じていないと考えられるから、基準要素を重ねるように回転させて補正する前に固定しておくのである。
 第2領域601を固定すると、補正処理部407は、診断対象モデルに設定された基準要素が標準モデルに設定された基準要素と1つに重なるように第1領域600を回転させる。すなわち、診断対象モデルのうちの第1領域600のみを、まず、回転させて補正する。このとき、補正処理部407は、第1領域600を回転させたときの回転角(最大回転角となる)を求める。
 次に、補正処理部407は、スライスすることにより分割した複数の小領域において、第1領域600からの距離が短い順に最大回転角が漸減する角度となるように複数の小領域のそれぞれの回転角を設定する。すなわち、第1領域600を回転させたときの回転角が「5°」で、複数の小領域の数が「10」であれば、0.5°毎に漸減するように、各小領域の回転角を設定する。したがって、例えば、複数の小領域のうち、第1領域600に最も近い小領域の回転角は、「4.5°」であり、第1領域600から最も遠い小領域の回転角は、「0.5°」となる。
 そして、補正処理部407は、複数の小領域をそれぞれの回転角ずつ回転させて、診断対象モデルを補正する。これにより、心臓の部位ごとの性質に応じて、基準要素を重ねるときの回転角を調整することができ、さらに精度よく個体差を抑制することができる。
 なお、補正処理部407によって何らかの補正がされた診断対象モデルを「診断対象補正モデル」と称する場合がある。
 図15は、標準モデルと診断対象補正モデルとを表示する例である。なお、図15では、標準モデルは、境界の三次元モデル(境界線509:線画像データ)として表示しており、診断対象補正モデルについては、面画像データとして表示している。
 このような表示用画像データ415は、表示画像作成部406が標準モデルおよび診断対象補正モデルに基づいて作成し、表示部43が表示する(ステップS56)。
 図15に示す例では、診断対象補正モデルと、標準モデルとが重畳するように表示されている。診断対象補正モデルと標準モデルとが重畳するように表示されることにより、診断対象補正モデルと標準モデルとが重畳表示されない場合に比べて両者の比較が容易である。また、このとき標準モデルとして境界の三次元モデルを用いることにより、面画像データが重畳される場合に比べて見やすい表示がされている。これにより、さらに個体差を抑制することができる。
 なお、補正処理部407は、表示画像作成部406からの指示に従って、標準モデルにおける心臓部分の腔孔部分と、診断対象補正モデルにおける心臓部分の腔孔部分との一致度を求める機能も有している。このような処理は、例えば、画素の輝度などから、該当する部分を検出して、それらの部分の画素数や、形状(画素分布)を分析することにより数値として求めることができる。
 このように、数値化された情報により、使用者が画像を視覚で比較して診断するよりも、信頼性が高まる。なお、表示画像作成部406は、使用者からの指示入力を受け付けた入力部42からの信号に応じて、補正処理部407に対する指示を与える。すなわち、使用者は、入力部42を操作することにより、図15に示すような比較画像を表示させたり、腔孔部分の一致率を表示させたりすることができる。
 すでに説明したように、超音波診断によって心臓の先天性疾患を発見することは、経験の浅い医師や技師にとっては、困難な問題であった。それは、経験の浅い使用者にとっては、例え心臓三次元モデルを取得できたとしても、診断に応じて、どのような断面を表示させるとよいのか判断できず、結局、試行錯誤的に断面を探索して表示させなければならなかった。しかし、心臓診断支援システム1は、心臓三次元モデルについて、境界三次元モデルや基準切断面などのデータが取得されており、例えば、必要な断面(あるいはデータ)をボタン一つで呼び出せるように構成することも可能になる。
 また、経験の浅い使用者は、正常な心臓部分の構造が知識として得られていないために、必要な断面を表示させることができたとしても、正確な診断ができないという問題もあった。しかし、心臓診断支援システム1では、正常な心臓三次元モデルである標準モデルが準備される。したがって、提供された標準モデルと比較することによって、正常な心臓についての知識が乏しい使用者であっても容易に診断することができる。
 また、標準モデルが提供されたとしても、経験の乏しい使用者にとっては、個体差による影響がどの程度であるかの判断が難しく、診断が困難であった。しかし、心臓診断支援システム1は、個体差の影響を除去することができるため、疾病による差を顕在化させることができる。したがって、使用者は、容易に診断することができる。
 なお、心臓診断支援システム1は、「正常とはいえない」症例を発見することを目的にしたときに、特に優れた効果を発揮すると期待される。すでに説明したように、心臓診断支援システム1は、使用者に技量を要求しないシステムとして構成されている。これにより、従来のシステムに比べて、多数の使用者を確保することができる。したがって、例えば、日本中の全妊婦5に対して診断を受けてもらうことも可能になるかもしれない。一方、心臓の先天性疾患の発生率は1%程度と言われており、圧倒的多数が正常な心臓である。このような状況では、患者にいきなり高精度の診断を受けてもらう必要はない(効率が悪い。)。それよりもむしろ多くの患者に対して診断を行い、少なくとも「正常とはいえない」症例を見過ごすことなく発見することができれば、当該「正常とはいえない」症例についてのみ詳細な検査を実施すれば効率よく先天性疾患を発見することができる。すなわち、心臓診断支援システム1は、高度な検査の前段階の診断として用いることにより、より多くの診断対象に適用することが可能であり、診断を受けることのできない患者を減らすことができ、特に有益であると考えられる。
 以上のように、心臓診断支援システム1は、心臓部分5bのエコー信号データ212を取得するスキャニング装置3と、エコー信号データ212を処理してエコーデータ213を作成するエコーデータ作成装置としての超音波検査装置2と、エコーデータ213に基づいて心臓部分5bの三次元モデル(心臓三次元モデル)を作成する心臓モデル導入装置4とを備える。そして、心臓モデル導入装置4は、エコーデータ213を取得する通信部44および通信制御部400と、エコーデータ213に基づいて、心臓部分5bの少なくとも左心房部、右心房部、左心室部および右心室部を含む心臓部分5bの三次元モデルを作成する三次元モデル作成部401と、心臓部分5bの三次元モデルに対する基準切断面を示す基準切断面データ413を取得する基準切断面データ取得部402とを備える。そして、基準切断面は、心臓部分5bの三次元モデルを基準切断面で切断したときの心臓部分5bの三次元モデルの断面に、少なくとも左心房部、右心房部、左心室部および右心室部が含まれるように設定された平面である。また、心臓モデル導入装置4は、心臓部分5bの三次元モデルを基準切断面データ413に示される基準切断面で切断したときの心臓部分5bの三次元モデルの断面を示す基準断面データ414を作成する基準断面データ作成部403と、基準断面データ414に示される断面を解析して、心臓部分5bの三次元モデルにおける左心房部、右心房部、左心室部および右心室部の中心点(第1中心点)を設定し、当該第1中心点から、左心室部と右心室部との間を通る直線を、心臓部分5bの三次元モデルの基準要素として設定するとともに、基準要素と心臓部分5bの三次元モデルとを関連づける基準要素設定部404とをさらに備える。また、心臓診断支援システムは、ユーザによる指示入力を受け付ける入力部42と、入力部42により受け付けた指示入力に応じて、心臓部分5bの三次元モデルに基づいて表示用画像データを作成する表示画像作成部406と、表示用画像データ415を表示する表示部43とをさらに備える。これによって、個々の心臓部分5bの三次元モデルについて、個々に基準となる基準要素を設定することができる。したがって、例えば、異なる人の心臓を容易に比較することができるようになる。
 また、基準切断面データ取得部402は、心臓部分5bの三次元モデルを分析して、心臓部分5bの持ち主の頭側から腹側に向かう方向に平行な観察方向を設定し、当該心臓部分5bの観察方向における両端部を検出することにより当該両端部の中間点を基準点として検出し、当該基準点を含む平面のうち、観察方向に垂直な平面を基準切断面として設定する。これにより、心臓モデル導入装置4は、自動的に基準切断面を決定することができる。
 また、三次元モデル作成部401は、心臓部分5bの腔孔部分と心臓部分5bの組織部分との境界をエコーデータ213から取得して境界の三次元モデルを作成し、境界の三次元モデルに基づいて心臓部分5bの三次元モデルを作成することにより、面画像よりも画素の少ない線画像によって処理を行うことができるため、演算負荷を抑制することができる。
 また、心臓モデル導入装置4は、三次元モデル作成部401により作成された複数の境界の三次元モデルを平均化して1つの心臓部分の三次元モデルを作成する平均化処理部405をさらに備えることにより、測定誤差や個体差を抑制することができる。
 また、複数の境界の三次元モデルは、異なる人物の心臓部分のエコーデータ213に基づいて作成された境界の三次元モデルを含むことにより、個体差を抑制することができる。
 また、平均化処理部405は、境界の三次元モデルに基づいて作成された心臓部分5bの三次元モデルに関連づけられた基準要素を、複数の境界の三次元モデルのそれぞれについて取得することによって、複数の境界の三次元モデルと一対一で対応する複数の基準要素を取得し、複数の基準要素が1つに重なるように、複数の境界の三次元モデルを重ね合わせて平均化する。これにより、平均化する前の段階で、境界の三次元モデルを、容易に、かつ、互いに精度良く重ね合わせることができる。
 また、三次元モデル作成部401は、正常であると判断された心臓部分5bのエコーデータ213にのみ基づいて心臓部分5bの三次元モデルを標準モデルとして作成するとともに、診断対象の心臓部分5bのエコーデータ213にのみ基づいて心臓部分5bの三次元モデルを診断対象モデルとして作成し、診断対象モデルに設定された基準要素が、標準モデルに設定された基準要素と1つに重なるように、診断対象モデルを回転させた診断対象補正モデルを作成する補正処理部407をさらに備える。このように、診断対象モデルを補正することによって、標準モデルと診断対象モデルとの比較が容易になる。
 また、補正処理部407は、診断対象モデルにおける下行大動脈の中心軸を標準モデルにおける下行大動脈の中心軸と重ねることにより、診断対象モデルにおける下行大動脈の中心軸の位置を固定し、診断対象モデルにおける僧帽弁と三尖弁との中点と前記下行大動脈の中心軸との距離と、前記標準モデルにおける僧帽弁と三尖弁との中点と前記下行大動脈の中心軸との距離とを一致させ、診断対象モデルにおける僧帽弁と三尖弁との中点と標準モデルにおける僧帽弁と三尖弁との中点とが一致するように、診断対象モデルを下行大動脈の中心軸を中心にして回転させ、診断対象モデルに設定された基準要素が、標準モデルに設定された基準要素と1つに重なるように、診断対象モデルを、僧帽弁と三尖弁との中点を中心に回転させた診断対象補正モデルを作成する。これによって、個体差の生じる部位ごとに適切に補正することにより、さらに個体差を抑制することができる。
 また、補正処理部407は、診断対象モデルに、診断対象モデルに設定された基準要素を含み、僧帽弁、三尖弁、大動脈弁、右心室部、右心房部、左心室部、左心房部およびそれらの周辺組織を含む第1領域600と、肺動脈、肺静脈、大動脈および大静脈を含む第2領域601と、第1領域600と第2領域601との間に存在し、肺動脈弁およびその周辺組織を含む第3領域602,603とをそれぞれ設定するとともに、第3領域602,603を第1領域600との距離に応じた複数の小領域に分割し、標準モデルに、肺動脈、肺静脈、大動脈および大静脈を含む第4領域を設定し、診断対象モデルの第2領域601と標準モデルの第4領域とが重なる位置に前記第2領域601を固定し、診断対象モデルに設定された基準要素が標準モデルに設定された基準要素と1つに重なるように第1領域600を回転させ、第1領域600を回転させたときの最大回転角を求め、複数の小領域において第1領域600からの距離が短い順に最大回転角が漸減する角度となるように複数の小領域のそれぞれの回転角を設定し、複数の小領域をそれぞれの回転角ずつ回転させることにより、診断対象補正モデルを作成する。これにより、心臓の部位ごとの性質に応じて、基準要素を重ねるときの回転角を調整することにより、さらに精度よく個体差を抑制することができる。
 また、心臓診断支援システム1は、標準モデルおよび診断対象補正モデルに基づいて表示用画像データ415を作成する表示画像作成部406と、表示用画像データ415を表示する表示部43とをさらに備える。
 また、補正処理部407は、標準モデルにおける心臓部分の腔孔部分と、診断対象補正モデルにおける心臓部分の腔孔部分との一致度を求める。これにより、使用者が画像を視覚で比較して診断するよりも、信頼性が高まる。
 また、従来から用いられてきた超音波ドップラー法では、ドップラー信号を画像化する原理に起因して、画像の1枚作製に必要な時間が長くなり、時間分解能が低下し、画質向上に限界があるなど、通常の超音波画像と異なり画質低下が生じるという問題がある。一方、心臓診断支援システム1では、正常胎児心臓モデルを内蔵した三次元超音波データが作成されることになるため、画質も良好で、かつ、単純な方法となる。さらに、最終的には、三次元胎児心臓超音波データが正常胎児心臓構造のガイドをもった状態で観察できる画期的な方法と考えられる。
 <2. 変形例>
 以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
 例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。
 また、上記実施の形態に示した機能ブロック(例えば、通信制御部400、三次元モデル作成部401、基準切断面データ取得部402、基準断面データ作成部403、基準要素設定部404、平均化処理部405、表示画像作成部406、および、補正処理部407)は、CPU40がプログラム410に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、このような機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。
 また、例えば、上記実施の形態では、取得したエコー信号データ212を、超音波検査装置2で画像化処理したが、取得したエコー信号データ212をそのまま心臓モデル導入装置4に送信し、心臓モデル導入装置4内で画像化処理をする構成としてもよい。
 また、超音波検査装置2と心臓モデル導入装置4とは、必ずしも別々の装置で構成されていなくてもよい。すなわち、超音波検査装置2および心臓モデル導入装置4を1つの装置で構成してもよい。
 また、1つの心臓モデル導入装置4に、複数の超音波検査装置2を接続してもよい。その場合、例えば、ネットワーク9に公衆網をさらに接続し、遠隔地に存在する複数の超音波検査装置2(スキャニング装置3)と、心臓モデル導入装置4とを接続し、心臓モデル導入装置4において作成した各種モデルを超音波検査装置2に送信して診断するように構成してもよい。このように構成することによって、心臓モデル導入装置4を、複数の超音波検査装置2で共用することができる。したがって、例えば、全国に設置するのは、超音波検査装置2とスキャニング装置3のみでよいため、1箇所あたりの費用を抑制することができる。
 また、エコー信号データ212の取得、境界線の抽出、および基準要素の補正の各処理は、その一部またはすべてを手作業で行ってもよい。
 また、抽出タイミングは、拡張末期のタイミングに限定されるものではない。例えば、様々な抽出タイミングにおけるモデルを予め作成し、先天性心疾患を最も効率的に発見することができたモデルに応じて、最適と考えられる抽出タイミングを決定してもよい。
 また、上記実施の形態では、観察方向を設定して基準切断面を設定する手法を説明した。しかし、複数の切断面の候補から基準切断面を選択して設定してもよい。例えば、基準切断面データ取得部402が、心臓三次元モデルに対して、複数の切断面(基準切断面の候補)を設定し、設定した複数の切断面について、心臓三次元モデルを切断したときの心臓三次元モデルの断面を示す断面画像をそれぞれ取得する。そして、取得した複数の断面画像に対して画像解析を実行しつつ比較することにより、複数の切断面のうちの1の切断面を基準切断面として選択し、選択した1の切断面を示すデータを基準切断面データ413とすることにより、基準切断面データ413を取得してもよい。このような構成によっても、基準切断面データ413を自動的に決定することができる。
 なお、このとき、基準切断面データ取得部402は、複数の断面画像の中から、心臓部分の左心房部、右心房部、左心室部および右心室部のうちの少なくとも1つが含まれない断面画像を除外してもよい。基準要素を決定するための必須の4つの構造の全てが揃っていない断面画像(候補)を除外することができる。したがって、その後の演算処理の負荷を軽減することができる。
 また、基準切断面データ取得部402は、複数の断面画像の中から、心臓部分の左心房部、右心房部、左心室部および右心室部の合計面積が最大の断面画像を基準切断面として選択してもよい。あるいは、基準切断面データ取得部402は、理想心臓の左心房部、右心房部、左心室部および右心室部の理想断面形状データを予め取得しておき、理想断面形状データと、心臓部分の左心房部、右心房部、左心室部および右心室部の断面形状とを比較して複数の断面画像ごとの一致率を演算し、複数の断面画像の中から一致率が最も高い断面画像を基準切断面として選択してもよい。
 また、この発明は、将来的には人工知能(AI)や機械学習による胎児心臓構造診断の自動化に寄与する基礎的・根幹的な技術となることが期待できる。たとえば、上述の手法により、三次元モデルが示す正常胎児心臓内腔領域と超音波データ内の血管陰影の一致を三次元的に計算することが可能といえる。このため、超音波検査では数値的評価ができなかったのに対し、正常胎児心臓構造を持っている可能性を数値化し、数値的な評価を導入できることができる。さらに、正常心臓構築を効率よく診断が可能となるだけでなく、異常例の三次元モデルの集積を行う事で、そのパターン分析が可能になるので、心臓奇形の種類についても出生前診断が可能になると予測される。
 さらに、上述した心臓部分5bの三次元モデルの作成自体には、エコー信号データ212に含まれる鼓動に起因する動きに関する情報(動き情報)は不要であるが、この動き情報を利用して、心拍運動を再現できる三次元モデルを作成しておき、動き情報に基づいて心拍運動を同期させ(心拍同期)、心拍運動を再現した三次元モデルを作成ないし表示することもできる。
 さらにまた、超音波検査装置としては、同時に2つの断面(第1断面および第2断面)の画像を取得できるものがある。このような超音波検査装置は、心臓部分5bに係る三次元のボクセルデータを取得可能なスキャニング装置(電子式三次元(マトリクス)プローブ)を備え、その三次元のボクセルデータから直交する2つの断面の画像を取得する。一例としては、第1断面と、これに直交する第2断面の画像を取得する。このようにすれば、第1断面の画像および第2断面の画像から心臓三次元モデルである心臓三次元モデルを作成することができる。すなわち、複数種類の向きの断面画像から心臓三次元モデルを作成することができ、心臓三次元モデルの精度を向上させることができる。また、一方の断面を基準断面とし、他方の断面の位置(向きを含む)を変化可能にしてもよい。さらに、基準断面を、第1中心点502と第2中心点を結ぶ直線が横軸または縦軸に配置されるように基準断面(第1断面)を自動的に設定するようにすれば、第1中心点502と第2中心点を結ぶ直線で第1断面に直交する第2断面を簡単に設定することができる。すなわち、四腔断面と、下行大動脈の走行全景が確認される断面を簡単に設定することができる。
 また、心臓モデル導入装置4は、心臓三次元モデルを作成する心臓モデル作成装置としての機能、および心臓三次元モデルを表示する心臓モデル表示装置としての機能を有する。なお、上述の実施形態では、標準モデルおよび診断対象補正モデルが表示部43に表示されるようにしたが、心臓モデル導入装置4の外部の表示装置(たとえば表示部23またはその他のディスプレイ等)に標準モデルおよび診断対象補正モデルが表示されるようにしてもよい。
 この発明は本実施形態に限られず他の様々な実施形態とすることができる。また、上述の実施形態で挙げた画面および具体的な構成等は一例であり、実際の製品に応じて適宜変更することが可能である。
 この発明は、胎児の心臓構造を三次元モデル化する産業、胎児の心臓についての診断を補助する産業に利用することができる。
 1 心臓診断支援システム
 2 超音波検査装置
 20,40 CPU
 200,400 通信制御部
 201 データ処理部
 21,41 記憶装置
 210,410 プログラム
 211 症例データ
 212 エコー信号データ
 213 エコーデータ
 22,42 入力部
 23,43 表示部
 24,44 通信部
 3 スキャニング装置
 4 心臓モデル導入装置
 401 三次元モデル作成部
 402 基準切断面データ取得部
 403 基準断面データ作成部
 404 基準要素設定部
 405 平均化処理部
 406 表示画像作成部
 407 補正処理部
 411 受信データ
 412 心臓三次元モデルデータベース
 413 基準切断面データ
 414 基準断面データ
 415 表示用画像データ
 5 妊婦
 500 平面画像
 502 第1中心点
 503 左心房部
 504 右心房部
 505 左心室部
 506 右心室部
 508 組織部分
 509 境界線
 510 心軸
 5a 胎児
 5b 心臓部分
 600 第1領域
 601 第2領域
 602,603 第3領域
 9 ネットワーク 

 

Claims (10)

  1.  心臓部分のエコーデータを取得するエコーデータ取得部と、
     前記エコーデータに基づいて、前記心臓部分の少なくとも左心房部、右心房部、左心室部および右心室部を含む前記心臓部分の三次元モデルを作成する三次元モデル作成部と、
    を備え、
     前記心臓部分の三次元モデルにおける前記左心房部、前記右心房部、前記左心室部および前記右心室部の中心点である第1中心点と、下行大動脈の中心点である第2中心点を設定し、前記第1中心点から、前記左心室部と前記右心室部との間を通る第1心軸、および前記第1中心点と第2中心点を結ぶ第2心軸と、前記第1心軸と前記第2心軸との成す角である基準角とを、前記心臓部分の三次元モデルの基準要素として設定するとともに、前記基準要素と前記心臓部分の三次元モデルとを関連づける基準要素設定部と、
    をさらに備え、
     前記三次元モデル作成部は、
    少なくとも前記左心房部、前記右心房部、前記左心室部および前記右心室部の腔孔部分と組織部分との境界を前記エコーデータから取得して前記境界の三次元モデルを作成し、
    前記エコーデータを適宜の方向に一定間隔でスライスした各X平面における前記境界に基づくX平面由来三次元モデルと、
    前記エコーデータを前記X平面と直交するY平面の法線方向に一定間隔でスライスした各Y平面における前記境界に基づくY平面由来三次元モデルと、
    前記エコーデータを前記X平面および前記Y平面と直交するZ平面の法線方向に一定間隔でスライスした各Z平面における前記境界に基づくZ平面由来三次元モデルと、
    を作成し、
    前記X平面由来三次元モデルと前記Y平面由来三次元モデルと前記Z平面由来三次元モデルを平均化して1つの心臓部分の三次元モデルを作成する平均化処理部をさらに備える
    心臓モデル導入装置。
  2.  請求項1に記載の心臓モデル導入装置であって、
     複数の異なる人物の心臓部分の前記平均化した前記三次元モデルを平均化して標準三次元モデルを作成する標準三次元モデル作成部を備える
    心臓モデル導入装置。
  3.  請求項1または2に記載の心臓モデル導入装置であって、
     前記平均化処理部は、前記境界の三次元モデルに基づいて作成された前記心臓部分の三次元モデルに関連づけられた前記基準要素を、前記複数の境界の三次元モデルのそれぞれについて取得することによって、前記複数の境界の三次元モデルと一対一で対応する複数の基準要素を取得し、前記複数の基準要素が1つに重なるように、前記複数の境界の三次元モデルを重ね合わせて平均化する
    心臓モデル導入装置。
  4.  請求項2に記載の心臓モデル導入装置であって、
     前記標準三次元モデル作成部は、正常であると判断された心臓部分のエコーデータにのみ基づいて前記心臓部分の三次元モデルを標準モデルとして作成し、
     前記三次元モデル作成部は、診断対象の心臓部分のエコーデータにのみ基づいて前記心臓部分の三次元モデルを診断対象モデルとして作成し、
     前記診断対象モデルに設定された前記基準要素が、前記標準モデルに設定された前記基準要素と1つに重なるように、前記診断対象モデルを回転させた診断対象補正モデルを作成する補正処理部をさらに備える
    心臓モデル導入装置。
  5.  請求項4に記載の心臓モデル導入装置であって、
     前記補正処理部は、
     前記診断対象モデルにおける下行大動脈の中心軸を前記標準モデルにおける下行大動脈の中心軸と重ねることにより、前記診断対象モデルにおける下行大動脈の中心軸の位置を固定し、
     前記診断対象モデルにおける僧帽弁と三尖弁との中点と前記下行大動脈の中心軸との距離と、前記標準モデルにおける僧帽弁と三尖弁との中点と前記下行大動脈の中心軸との距離とを一致させ、
     前記診断対象モデルにおける僧帽弁と三尖弁との中点と前記標準モデルにおける僧帽弁と三尖弁との中点とが一致するように、前記診断対象モデルを前記下行大動脈の中心軸を中心にして回転させ、
     前記診断対象モデルに設定された基準要素が、前記標準モデルに設定された基準要素と1つに重なるように、前記診断対象モデルを、前記僧帽弁と三尖弁との中点を中心に回転させた診断対象補正モデルを作成する心臓モデル導入装置。
  6.  請求項4または5に記載の心臓モデル導入装置であって、
     前記補正処理部は、
     前記診断対象モデルに、前記診断対象モデルに設定された基準要素を含み、僧帽弁、三尖弁、大動脈弁、右心室部、右心房部、左心室部、左心房部およびそれらの周辺組織を含む第1領域と、肺動脈、肺静脈、大動脈および大静脈を含む第2領域と、前記第1領域と前記第2領域との間に存在し、肺動脈弁およびその周辺組織を含む第3領域とをそれぞれ設定するとともに、
     前記第3領域を前記第1領域との距離に応じた複数の小領域に分割し、
     前記標準モデルに、肺動脈、肺静脈、大動脈および大静脈を含む第4領域を設定し、
     前記診断対象モデルの第2領域と前記標準モデルの第4領域とが重なる位置に前記第2領域を固定し、
     前記診断対象モデルに設定された基準要素が前記標準モデルに設定された基準要素と1つに重なるように前記第1領域を回転させ、
     前記第1領域を回転させたときの最大回転角を求め、前記複数の小領域において前記第1領域からの距離が短い順に前記最大回転角が漸減する角度となるように前記複数の小領域のそれぞれの回転角を設定し、前記複数の小領域を前記それぞれの回転角ずつ回転させることにより、前記診断対象補正モデルを作成する心臓モデル導入装置。
  7.  請求項4ないし6のいずれかに記載の心臓モデル導入装置であって、
     前記標準モデルおよび前記診断対象補正モデルに基づいて表示用画像データを作成する表示画像作成部と、
     前記表示用画像データを表示する表示部と、
    をさらに備える心臓モデル導入装置。
  8.  請求項7記載の心臓モデル導入装置であって、
    前記表示用画像データが示す表示用画像は、前記診断対象補正モデルと、前記標準モデルとが重畳するように表示されている
    心臓モデル導入装置。
  9.  請求項4ないし8のいずれかに記載の心臓モデル導入装置であって、
     前記補正処理部は、前記標準モデルにおける前記心臓部分の腔孔部分と、前記診断対象補正モデルにおける前記心臓部分の腔孔部分との一致度を求める心臓モデル導入装置。
  10.  心臓部分のエコーデータを取得するエコーデータ取得部と、
     前記エコーデータに基づいて、前記心臓部分の少なくとも左心房部、右心房部、左心室部および右心室部を含む前記心臓部分の三次元モデルを作成する三次元モデル作成部と、
    前記心臓部分の三次元モデルに対する基準切断面を示す基準切断面データを取得する基準切断面データ取得部と、
    を備え、
     前記心臓部分の三次元モデルにおける前記左心房部、前記右心房部、前記左心室部および前記右心室部の中心点である第1中心点と、下行大動脈の中心点である第2中心点を設定し、前記第1中心点から、前記左心室部と前記右心室部との間を通る第1心軸、および前記第1中心点と第2中心点を結ぶ第2心軸と、前記第1心軸と前記第2心軸との成す角である基準角とを、前記心臓部分の三次元モデルの基準要素として設定するとともに、前記基準要素と前記心臓部分の三次元モデルとを関連づける基準要素設定部と、
    をさらに備え、
     前記基準切断面は、前記心臓部分の三次元モデルを前記基準切断面で切断したときの前記心臓部分の三次元モデルの断面に、少なくとも前記左心房部、前記右心房部、前記左心室部および前記右心室部が含まれるように設定された平面であり、
     前記基準切断面データ取得部は、前記心臓部分の三次元モデルを分析して、前記心臓部分の持ち主の頭側から腹側に向かう方向に平行な観察方向を設定し、前記心臓部分の前記観察方向における両端部を検出することにより当該両端部の中間点を基準点として検出し、前記基準点を含む平面のうち、前記観察方向に垂直な平面を前記基準切断面として設定し、
     前記心臓部分の三次元モデルを前記基準切断面データに示される前記基準切断面で切断したときの前記心臓部分の三次元モデルの断面を示す基準断面データを作成する基準断面データ作成部をさらに備える
    心臓モデル導入装置。

     
PCT/JP2021/036174 2020-12-01 2021-09-30 心臓モデル導入装置、心臓診断支援システム、プログラム、および心臓モデル導入方法 WO2022118528A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-199350 2020-12-01
JP2020199350A JP6874199B1 (ja) 2020-12-01 2020-12-01 心臓モデル導入装置、心臓診断支援システム、プログラム、および心臓モデル導入方法

Publications (1)

Publication Number Publication Date
WO2022118528A1 true WO2022118528A1 (ja) 2022-06-09

Family

ID=75900102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/036174 WO2022118528A1 (ja) 2020-12-01 2021-09-30 心臓モデル導入装置、心臓診断支援システム、プログラム、および心臓モデル導入方法

Country Status (2)

Country Link
JP (1) JP6874199B1 (ja)
WO (1) WO2022118528A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162921A (ja) * 2012-02-13 2013-08-22 Tokyo Institute Of Technology 画像処理装置、画像処理方法、および画像処理プログラム
JP6180539B2 (ja) * 2012-11-20 2017-08-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. リアルタイム胎児心臓評価に対する標準面に自動配置
EP3510933A1 (en) * 2018-01-10 2019-07-17 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method for controlling the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162921A (ja) * 2012-02-13 2013-08-22 Tokyo Institute Of Technology 画像処理装置、画像処理方法、および画像処理プログラム
JP6180539B2 (ja) * 2012-11-20 2017-08-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. リアルタイム胎児心臓評価に対する標準面に自動配置
EP3510933A1 (en) * 2018-01-10 2019-07-17 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method for controlling the same

Also Published As

Publication number Publication date
JP6874199B1 (ja) 2021-05-19
JP2022087424A (ja) 2022-06-13

Similar Documents

Publication Publication Date Title
US8526696B2 (en) Medical imaging apparatus, medical image processing apparatus, ultrasonic imaging apparatus, ultrasonic image processing apparatus and method of processing medical images
JP6180539B2 (ja) リアルタイム胎児心臓評価に対する標準面に自動配置
JP5148094B2 (ja) 超音波診断装置、医用画像処理装置及びプログラム
JP6160487B2 (ja) 超音波診断装置およびその制御方法
JP5794226B2 (ja) 超音波診断装置
US11653897B2 (en) Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus
JP4966108B2 (ja) 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
EP2433567A1 (en) Medical image diagnosis device and region-of-interest setting method therefor
JP6382036B2 (ja) 超音波診断装置及び画像処理装置
CN109069131A (zh) 用于乳腺组织成像的超声系统和方法
US20210089812A1 (en) Medical Imaging Device and Image Processing Method
JP2012506283A (ja) 3次元超音波画像化
CN102056547A (zh) 医用图像处理装置及医用图像处理方法
EP1961384A1 (en) Ultrasonograph
JP7145107B2 (ja) 超音波診断装置及び表示方法
JP5100084B2 (ja) 超音波診断装置、画像処理装置、及び画像処理プログラム
JP4870449B2 (ja) 超音波診断装置及び超音波画像処理方法
JP2008073423A (ja) 超音波診断装置、診断パラメータ計測装置及び診断パラメータ計測方法
JP3801977B2 (ja) 画像解析装置、画像解析装置用機能マップ作成手段、画像解析方法および画像解析プログラム
CN112635043A (zh) 一种超声检查方法及相关装置
JP4969956B2 (ja) 超音波診断装置及び超音波診断装置の制御プログラム
WO2022118528A1 (ja) 心臓モデル導入装置、心臓診断支援システム、プログラム、および心臓モデル導入方法
JP2008289548A (ja) 超音波診断装置及び診断パラメータ計測装置
JP6600266B2 (ja) 超音波診断装置
JPH11221210A (ja) 超音波診断装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21900284

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21900284

Country of ref document: EP

Kind code of ref document: A1