WO2022185643A1 - 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム - Google Patents

画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム Download PDF

Info

Publication number
WO2022185643A1
WO2022185643A1 PCT/JP2021/045208 JP2021045208W WO2022185643A1 WO 2022185643 A1 WO2022185643 A1 WO 2022185643A1 JP 2021045208 W JP2021045208 W JP 2021045208W WO 2022185643 A1 WO2022185643 A1 WO 2022185643A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
position display
marker
marker position
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/045208
Other languages
English (en)
French (fr)
Inventor
聡志 井原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2023503385A priority Critical patent/JPWO2022185643A1/ja
Publication of WO2022185643A1 publication Critical patent/WO2022185643A1/ja
Priority to US18/453,320 priority patent/US20230394661A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/653—Three-dimensional [3D] objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the technology of the present disclosure relates to an image processing device, an image processing device operating method, and an image processing device operating program.
  • a convolutional neural network (hereinafter abbreviated as a CNN (convolutional neural network)) that performs semantic segmentation for identifying an object appearing in an analysis target image on a pixel-by-pixel basis has attracted attention.
  • a convolutional neural network hereinafter abbreviated as a CNN (convolutional neural network)
  • JP Application Laid-Open No. 2020-025730 describes that a radiographic image obtained by irradiating a patient with radiation is used as an image to be analyzed, and a plurality of objects appearing in the radiographic image are identified using CNN.
  • objects include lung fields, the spine (backbone), and other regions, and separate identification of the thoracic and lumbar vertebrae of the spine is also described.
  • Japanese Patent Application Laid-Open No. 2020-025730 describes identifying the spine using CNN as described above.
  • CNN does not have very good accuracy in identifying multiple consecutive objects of the same type, such as each of the multiple vertebrae that make up the spine. For this reason, identification often fails, such as erroneously identifying a plurality of adjacent vertebrae as one vertebrae.
  • One embodiment of the technology of the present disclosure provides an image processing device, an image processing device operation method, and an image processing device operation program that can improve the accuracy of identifying a plurality of consecutively arranged objects of the same type. offer.
  • the image processing device of the present disclosure includes a processor and a memory connected to or built into the processor, the processor acquires an analysis target image in which a plurality of consecutively arranged objects of the same type are captured, and obtains an analysis target image Receive input of markers indicating the positions of objects in the target image, generate a marker position display map that indicates the positions of the markers in the analysis target image, input the analysis target image and the marker position display map to the semantic segmentation model, and input the target object is identified from the semantic segmentation model.
  • the processor generates a marker position display map of markers corresponding to one object among a plurality of consecutively arranged similar objects, and outputs an output image in which one object is identified from the semantic segmentation model. It is preferable to let
  • the processor generates a marker position display map of markers corresponding to objects arranged opposite to each other with at least one object in between among a plurality of consecutively arranged objects of the same type, and identifies at least one object.
  • the semantic segmentation model outputs an output image in which objects placed opposite each other are identified.
  • the processor generates a marker position display map of markers corresponding to all of the plurality of consecutively arranged objects of the same type, and when generating the marker position display map, the plurality of consecutively arranged objects of the same type is generated.
  • a first label is attached to the first object and a second label different from the first label is attached to the second object;
  • the semantic segmentation model outputs an output image in which the first object is identified as a first class corresponding to the first label and the second object is identified as a second class corresponding to the second label.
  • the processor preferably combines the image to be analyzed and the marker position indication map in the channel direction in the semantic segmentation model.
  • the semantic segmentation model receives a learning analysis target image and a learning marker position display map as input, outputs a learning output image according to the learning analysis target image and the learning marker position display map, and outputs a learning output image according to the learning analysis target image and the learning marker position display map.
  • Learning is preferably performed based on a comparison between the output image and an annotation image generated based on the learning analysis target image, in which an object with a marker is annotated.
  • the image to be analyzed is a medical image of the inside of the patient's body, and the object is the structure of the body.
  • the medical image is an image of the patient's spine, and the structure is preferably the vertebrae that make up the spine.
  • a method of operating an image processing apparatus includes acquiring an analysis target image in which a plurality of consecutively arranged objects of the same type are captured, receiving an input of a marker indicating the position of the target object in the analysis target image, Generating a marker position display map representing positions of markers in the image to be analyzed, inputting the image to be analyzed and the marker position display map into a semantic segmentation model, and outputting an output image in which the object is identified from the semantic segmentation model including outputting.
  • the operation program of the image processing apparatus of the present disclosure acquires an analysis target image in which a plurality of consecutively arranged objects of the same type are captured, receives an input of a marker indicating the position of the target object in the analysis target image, Generating a marker position display map representing positions of markers in the image to be analyzed, inputting the image to be analyzed and the marker position display map into a semantic segmentation model, and outputting an output image in which the object is identified from the semantic segmentation model causing a computer to execute a process including outputting;
  • an image processing device an image processing device operating method, and an image processing device operating program capable of increasing the accuracy of identifying a plurality of consecutively arranged objects of the same type. can.
  • FIG. 1 is a block diagram showing a computer that constitutes a diagnosis support device;
  • FIG. It is a block diagram which shows the processing part of CPU of a diagnostic assistance apparatus. It is a figure which shows a 1st screen. It is a figure which shows a 2nd screen. It is a figure which shows a marker position display map.
  • FIG. 3 illustrates a semantic segmentation model for object identification;
  • FIG. 4 is an explanatory diagram of convolution processing performed on a tomographic image and a marker position display map;
  • FIG. 4 is an explanatory diagram of convolution processing performed on target data; It is a figure which shows the structure of calculation data.
  • FIG. 10 is an explanatory diagram of pooling processing;
  • FIG. 10 is an explanatory diagram of pooling processing;
  • FIG. 10 is a diagram showing an output image
  • FIG. 4 is a diagram showing an outline of processing in a learning phase of a semantic segmentation model for object identification; It is a figure which shows a labeling result. It is a figure which shows a 3rd screen. 4 is a flow chart showing a processing procedure of the diagnostic support device
  • FIG. 10 is a diagram showing another example of a marker position display map
  • 18 is a diagram showing an output image output based on the marker position display map shown in FIG. 17;
  • FIG. 10 is a diagram showing how a marker position display map of markers corresponding to one vertebra of a plurality of vertebrae arranged in succession is generated;
  • a tomographic image and a marker position display map of a marker corresponding to one vertebra are input to a semantic segmentation model for object identification, and an output image in which one vertebra is identified is output from the semantic segmentation model for object identification.
  • FIG. 4 is a diagram showing;
  • FIG. 10 is a diagram showing how an output image in which each vertebra is identified is generated from an output image in which one vertebra is identified;
  • FIG. 4 is a diagram showing how a marker position display map of markers corresponding to vertebrae arranged opposite to each other with one vertebra interposed therebetween among a plurality of vertebrae arranged continuously is generated.
  • FIG. 10 is a diagram showing how a semantic segmentation model for identifying an object is output from an output image.
  • FIG. 10 is a diagram showing how an output image in which each vertebra is identified is generated from an output image in which vertebrae arranged opposite to each other with one vertebra interposed therebetween are identified; It is a block diagram which shows the process part of CPU of 4th Embodiment. It is a figure which shows an extraction part. It is a figure which shows a probability distribution map.
  • FIG. 10 is a diagram showing how a semantic segmentation model for identifying an object is output from an output image.
  • FIG. 10 is a diagram showing how an output image in which each vertebra is identified is generated from an output image in which vertebrae arranged opposite to each other with one vertebra interposed therebetween are identified; It is a block diagram which shows the process part of CPU of 4th Embodiment. It is a figure which shows an extraction part. It is a figure which shows a probability distribution map.
  • FIG. 10 illustrates a semantic segmentation model for point extraction
  • FIG. 10 is a diagram showing an output part of a semantic segmentation model for point extraction
  • FIG. 4 is a diagram showing an outline of processing in the learning phase of the semantic segmentation model for point extraction
  • FIG. 11 illustrates non-maximum suppression processing
  • the medical system 2 includes a CT (Computed Tomography) device 10 , a PACS (Picture Archiving and Communication System) server 11 , and a diagnosis support device 12 .
  • CT apparatus 10 Computed Tomography
  • PACS Physical Archiving and Communication System
  • diagnosis support apparatus 12 are connected to a LAN (Local Area Network) 13 laid in the medical facility, and can communicate with each other via the LAN 13 .
  • LAN Local Area Network
  • the CT apparatus 10 radiographs the patient P at different projection angles to obtain a plurality of pieces of projection data, and reconstructs the obtained plurality of pieces of projection data to create a tomographic image 15 of the patient P. Output.
  • the tomographic image 15 is voxel data representing the three-dimensional shape of the patient's P internal structure.
  • the tomographic image 15 is an image of the patient P's upper body.
  • FIG. 1 shows a tomographic image 15S of a sagittal section.
  • a tomographic image 15 shows a spine SP composed of a plurality of vertebrae VB.
  • CT apparatus 10 transmits tomographic image 15 to PACS server 11 .
  • the PACS server 11 stores and manages the tomographic images 15 from the CT apparatus 10 .
  • the tomographic image 15 is an example of an “analysis target image” and a “medical image” according to the technology of the present disclosure.
  • Vertebra VB is also an example of the "object” and "structure” of this disclosure. Note that reconstruction of projection data may be performed by the diagnostic support device 12 or the like instead of the CT device 10 .
  • the diagnosis support device 12 is, for example, a desktop personal computer, and is an example of an "image processing device" according to the technology of the present disclosure.
  • the diagnosis support device 12 has a display 17 and an input device 18 .
  • the input device 18 is a keyboard, mouse, touch panel, microphone, or the like.
  • the doctor operates the input device 18 to transmit a distribution request for the tomographic image 15 of the patient P to the PACS server 11 .
  • the PACS server 11 retrieves the tomographic image 15 of the patient P whose delivery has been requested and delivers it to the diagnosis support apparatus 12 .
  • the diagnosis support device 12 displays the tomographic image 15 delivered from the PACS server 11 on the display 17 .
  • the doctor observes the vertebrae VB of the patient P shown in the tomographic image 15 and diagnoses fractures, bone metastasis of cancer, and the like.
  • CT device 10 and one diagnostic support device 12 are illustrated in FIG. 1, a plurality of CT devices 10 and multiple diagnostic support devices 12 may be provided.
  • the computer constituting the diagnostic support device 12 includes a storage 20, a memory 21, a CPU (Central Processing Unit) 22, and a communication section 23 in addition to the display 17 and the input device 18 described above. I have. These are interconnected via bus lines 24 .
  • the CPU 22 is an example of a “processor” according to the technology of the present disclosure.
  • the storage 20 is a hard disk drive built into the computer constituting the diagnosis support device 12 or connected via a cable or network.
  • the storage 20 is a disk array in which a plurality of hard disk drives are connected.
  • the storage 20 stores a control program such as an operating system, various application programs, various data associated with these programs, and the like.
  • a solid state drive may be used instead of the hard disk drive.
  • the memory 21 is a work memory for the CPU 22 to execute processing.
  • the CPU 22 loads the program stored in the storage 20 into the memory 21 and executes processing according to the program. Thereby, the CPU 22 comprehensively controls each part of the computer.
  • the communication unit 23 controls transmission of various information with an external device such as the PACS server 11 . Note that the memory 21 may be built in the CPU 22 .
  • the operating program 30 is stored in the storage 20 of the diagnostic support device 12 .
  • the operating program 30 is an application program for causing a computer that configures the diagnosis support device 12 to function as an "image processing device” according to the technology of the present disclosure. That is, the operation program 30 is an example of the "image processing apparatus operation program” according to the technology of the present disclosure.
  • the storage 20 also stores a tomographic image 15 and a semantic segmentation (hereinafter abbreviated as SS) model 33 for object identification.
  • the object identification SS model 33 is an example of a “semantic segmentation model” according to the technology of the present disclosure.
  • the storage 20 also stores the doctor's findings on the vertebrae VB shown in the tomographic image 15, various screen data to be displayed on the display 17, and the like.
  • the CPU 22 of the computer that constitutes the diagnostic support device 12 cooperates with the memory 21 and the like to operate a read/write (hereinafter abbreviated as RW (Read Write)) control unit 40 and an instruction reception unit. 41 , a marker position display map generation unit 42 , an object identification unit 43 , an anatomical naming unit 44 , and a display control unit 45 .
  • RW Read Write
  • the RW control unit 40 controls storage of various data in the storage 20 and reading of various data in the storage 20 .
  • the RW control unit 40 receives the tomographic image 15 from the PACS server 11 and stores the received tomographic image 15 in the storage 20 .
  • the RW control unit 40 receives the tomographic image 15 from the PACS server 11 and stores the received tomographic image 15 in the storage 20 .
  • a plurality of tomographic images 15 may be stored in the storage 20 .
  • the RW control unit 40 reads the tomographic image 15 of the patient P designated by the doctor for diagnosis from the storage 20 and outputs the read tomographic image 15 to the object identification unit 43 and the display control unit 45 .
  • the RW control unit 40 acquires the tomographic image 15 by reading the tomographic image 15 from the storage 20 .
  • the RW control unit 40 also reads the object identification SS model 33 from the storage 20 and outputs the read object identification SS model 33 to the object identification unit 43 .
  • the instruction reception unit 41 receives various instructions from the doctor through the input device 18.
  • the instructions received by the instruction receiving unit 41 include, for example, an instruction to analyze the tomographic image 15, an instruction to input a marker MK (see FIG. 5) indicating the position of the vertebrae VB in the tomographic image 15, and a finding of the vertebrae VB in the storage 20.
  • the instruction receiving unit 41 When the instruction receiving unit 41 receives an analysis instruction, it outputs that fact to the display control unit 45 . Further, when receiving an input instruction for the marker MK, the instruction receiving unit 41 generates marker position information 50 representing the position of the marker MK in the tomographic image 15, and sends the generated marker position information 50 to the marker position display map generating unit 42. output to Furthermore, when receiving a finding storage instruction, the instruction accepting unit 41 outputs that fact to the RW control unit 40 together with the finding.
  • the marker position display map generation unit 42 generates a marker position display map 51 representing the positions of the markers MK in the tomographic image 15 based on the marker position information 50 from the instruction reception unit 41 .
  • the marker position display map generator 42 outputs the marker position display map 51 to the object identification unit 43 .
  • the object identification unit 43 identifies each vertebra VB based on the tomographic image 15 and the marker position display map 51 . More specifically, the object identification unit 43 inputs the tomographic image 15 and the marker position display map 51 to the object identification SS model 33, and outputs an output image 52 in which each vertebra VB is identified (see also FIG. 12). ) is output from the SS model 33 for object identification. The object identifying section 43 outputs the output image 52 to the anatomical naming section 44 .
  • the anatomical name assigning unit 44 assigns an anatomical name to each vertebra VB identified in the output image 52 .
  • the anatomical naming unit 44 outputs to the display control unit 45 an assignment result 53 that is the result of assigning an anatomical name to the vertebrae VB.
  • the display control unit 45 controls the display of various screens on the display 17.
  • the various screens include a first screen 60 (see FIG. 4) for instructing analysis of the tomographic image 15 by the marker position display map generation unit 42, the object identification unit 43, and the anatomical name assignment unit 44, a marker MK and a third screen 115 (see FIG. 15) for displaying the grant result 53, and the like.
  • FIG. 4 shows an example of the first screen 60 for instructing the analysis of the tomographic image 15.
  • a tomographic image 15S of a sagittal section of a patient P whose spine SP is to be diagnosed is displayed on the first screen 60.
  • a button group 61 for switching the display is provided below the tomographic image 15S.
  • the tomographic image 15 of the axial section and the coronal section may be displayed.
  • a finding input field 62 On the first screen 60, a finding input field 62, a message 63, an OK button 64, and an analysis button 65 are displayed.
  • the doctor inputs the finding of the vertebra VB.
  • the doctor moves the cursor 66 to the OK button 64 and selects it.
  • the instruction receiving unit 41 receives the finding storage instruction.
  • the RW control unit 40 associates the tomographic image 15 with the finding input in the finding input field 62 and stores them in the storage 20 .
  • the message 63 prompts the user to select the analysis button 65. If the doctor wishes to analyze the tomographic image 15 prior to inputting his findings, he moves the cursor 66 to the analysis button 65 and selects it. Accordingly, the instruction receiving unit 41 receives the instruction to analyze the tomographic image 15 and outputs the instruction to the display control unit 45 .
  • the display control unit 45 causes the screen to transition from the first screen 60 to the second screen 70 shown in FIG. 5 as an example.
  • a message 71 and an input completion button 72 are displayed on the second screen 70 .
  • the message 71 prompts selection of the input completion button 72 after the marker MK is attached to each vertebra VB.
  • the marker MK is a point corresponding to one pixel 86 (see FIG. 8) of the tomographic image 15 in this example.
  • the instruction accepting unit 41 accepts an input instruction for the marker MK.
  • the marker position information 50 generated by the instruction receiving unit 41 is the XYZ coordinates of each marker MK.
  • the X-axis is parallel to the horizontal direction
  • the Y-axis is parallel to the front-rear direction
  • the Z-axis is parallel to the vertical direction.
  • each marker MK since the marker MK is attached to the tomographic image 15S of the sagittal section, each marker MK has the same value of the X coordinate among the XYZ coordinates of each marker MK.
  • the Y-coordinate and Z-coordinate values are different for each marker MK.
  • each marker MK is organized by assigning a number (No.) in ascending order of the Z coordinate.
  • the marker position display map 51 has elements 87 (see FIG. 8) corresponding to the pixels 86 of the tomographic image 15 on a one-to-one basis. This is data having an element value of 1 or 2, and an element value of 0 for an element 87 corresponding to a pixel 86 other than the marker MK. That is, the marker position display map 51 is data representing the position of the marker MK with an element value of 1 or 2.
  • FIG. 6 the vertebrae VB and the like are indicated by dashed lines to aid understanding, but the actual marker position display map 51 does not show the vertebrae VB and the like.
  • the marker position display map generation unit 42 assigns a label A to two adjacent vertebrae VB with an element value of 1 for one vertebrae VB, and a label B with an element value of 2 for the other vertebrae VB.
  • the element value of vertebra VB of No. 1 is set to 1 and labeled A.
  • the element value of the vertebra VB of 2 is set to 2 and labeled B.
  • the element value of vertebra VB of No. 7 is set to 1 and labeled A.
  • the element value of 8 vertebrae VB is set to 2 and labeled B.
  • the marker position display map generator 42 assigns the labels A and B in this way, and as a result, No.
  • the 1st, 3rd, 5th, 7th, and 9th vertebrae VB are examples of the "first object” according to the technology of the present disclosure.
  • the 2nd, 4th, 6th, and 8th vertebrae VB are examples of a "second object” according to the techniques of this disclosure.
  • Label A is an example of a "first label” according to the technology of the present disclosure
  • label B is an example of a "second label” according to the technology of the present disclosure.
  • the object identification SS model 33 has a compression unit 80 and an output unit 81, as shown in FIG.
  • the tomographic image 15 and the marker position display map 51 are input to the compression unit 80 .
  • the tomographic image 15 input to the compression unit 80 is, for example, the tomographic image 15S of the sagittal section from which the marker position display map 51 is generated.
  • the compression unit 80 converts the tomographic image 15 and the marker position display map 51 into a feature quantity map 82 .
  • the compression unit 80 passes the feature quantity map 82 to the output unit 81 .
  • the output unit 81 outputs the output image 52 based on the feature quantity map 82 .
  • the compression unit 80 combines the tomographic image 15 and the marker position display map 51 in the channel direction by performing a convolution operation as shown in FIG. 8 as an example.
  • the compression unit 80 has a convolution layer 85 to which the tomographic image 15 and the marker position display map 51 are input.
  • the convolution layer 85 applies, for example, a 3 ⁇ 3 filter F1 to the tomographic image 15 having a plurality of pixels 86 arranged two-dimensionally.
  • the convolution layer 85 applies, for example, a 3 ⁇ 3 filter F2 to the marker position display map 51 having a plurality of elements 87 arranged two-dimensionally.
  • the pixel value e1 of one target pixel 86I of the pixels 86 the pixel values a1, b1, c1, d1, f1, g1, h1, and i1 of eight pixels 86S adjacent to the target pixel 86I, and , which is one of the elements 87 and corresponds to the target pixel 86I, and the element values a2, b2, c2, d2, and f2 of the eight elements 87S adjacent to the target pixel 87I. , g2, h2, and i2.
  • the convolution layer 85 sequentially performs a convolution operation while shifting the target pixel 86I and the target element 87I one by one, and outputs the element value of the element 89 of the operation data 88 .
  • operation data 88 having a plurality of elements 89 arranged two-dimensionally is obtained.
  • the tomographic image 15 and the marker position display map 51 are combined in the channel direction.
  • the coefficients of filter F1 be r1, s1, t1, u1, v1, w1, x1, y1, and z1.
  • the coefficients of filter F2 be r2, s2, t2, u2, v2, w2, x2, y2, and z2.
  • the element value k of the element 89I of the operation data 88 which is the result of the convolution operation on the target pixel 86I and the target element 87I, is obtained by calculating the following equation (1), for example.
  • the compression unit 80 further has a plurality of convolution layers 95 in addition to the convolution layers 85 .
  • a convolution layer 95 applies, for example, a 3 ⁇ 3 filter F to target data 97 having a plurality of elements 96 arranged two-dimensionally. Then, the element value e of one target element 96I of the elements 96 and the element values a, b, c, d, f, g, h, and i of eight elements 96S adjacent to the target element 96I are convoluted. .
  • the convolution layer 95 sequentially performs a convolution operation on each element 96 of the target data 97 while shifting the target element 96I by one element, and outputs the element value of the element 99 of the operation data 100 .
  • operation data 100 having a plurality of elements 99 arranged two-dimensionally is obtained.
  • the target data 97 input to the convolution layer 95 is, for example, the operation data 88 shown in FIG. 8, or reduction operation data 100S (see FIG. 11), which will be described later.
  • One piece of calculation data 100 is output for one filter F.
  • operation data 100 is output for each filter F.
  • FIG. 10 That is, as shown in FIG. 10 as an example, the calculation data 100 are generated for the number of filters F applied to the target data 97 .
  • the calculation data 100 has a plurality of elements 99 arranged two-dimensionally, it has width and height.
  • the number of calculation data 100 is called the number of channels.
  • FIG. 10 illustrates four channels of operation data 100 output by applying four filters F to one target data 97 .
  • the compression unit 80 has a pooling layer 105 in addition to the convolution layers 85 and 95 .
  • the pooling layer 105 obtains the local statistic of the element value of the element 99 of the operation data 100, and generates reduced operation data 100S having the obtained statistic as the element value.
  • the pooling layer 105 performs maximum value pooling processing for obtaining the maximum value of the element values within the block 106 of 2 ⁇ 2 elements as a local statistic. By performing the processing while shifting the block 106 by one element in the width direction and the height direction, the reduced calculation data 100S is reduced to half the size of the original calculation data 100 .
  • the compression unit 80 repeats the convolution processing by the convolution layers 85 and 95 and the pooling processing by the pooling layer 105 multiple times, thereby outputting the final operation data 100 .
  • This final calculation data 100 is the feature quantity map 82 .
  • the compression unit 80 also performs skip layer processing and the like for transferring the calculation data 100 to the output unit 81 .
  • the output unit 81 performs upsampling processing to enlarge the size of the feature quantity map 82 to obtain an enlarged feature quantity map.
  • the output unit 81 also performs convolution processing at the same time as the upsampling processing.
  • the output unit 81 also performs a merge process of combining the enlarged feature quantity map and the calculation data 100 passed from the compression unit 80 in skip layer processing.
  • the output unit 81 further performs convolution processing after the merge processing. Through such various processes, the output unit 81 outputs the output image 52 from the feature quantity map 82 .
  • the SS model 33 for object identification is constructed by CNN.
  • Examples of CNN include U-Net and ResNet (Residual Network).
  • the output image 52 is an image in which each vertebra VB is labeled with a class. More specifically, the output image 52 is No. Vertebrae VB of 1, 3, 5, 7, and 9 are identified as Class A corresponding to label A; 2, 4, 6, and 8 vertebrae VB are images identified as class B corresponding to label B; Class A is an example of the "first class” according to the technology of the present disclosure, and class B is an example of the "second class” according to the technology of the present disclosure.
  • the SS model 33 for object identification is learned by being given learning data (also called teacher data) 110 in the learning phase.
  • the learning data 110 includes a learning tomographic image 15L, a learning marker position display map 51L corresponding to the learning tomographic image 15L, and an annotation image 111 corresponding to the learning tomographic image 15L and the learning marker position display map 51L. It is a group.
  • markers MK are attached to the vertebrae VB appearing in the learning tomographic image 15L, and labels A and B are alternately attached.
  • the annotation image 111 is an image obtained by labeling each vertebra VB appearing in the learning tomographic image 15L with a class corresponding to the label given in the learning marker position display map 51L.
  • the learning tomographic image 15L and the learning marker position display map 51L are input to the object identification SS model 33.
  • the object identification SS model 33 outputs a learning output image 52L for the learning tomographic image 15L and the learning marker position display map 51L.
  • the loss calculation of the object identification SS model 33 is performed.
  • Various coefficients (such as the coefficients of the filter F) of the object identification SS model 33 are updated according to the result of the loss calculation, and the object identification SS model 33 is updated according to the update settings.
  • the learning tomographic image 15L and the learning marker position display map 51L are input to the object identification SS model 33, and the learning output from the object identification SS model 33.
  • the series of processes of outputting the image 52L, calculating the loss, setting the update, and updating the SS model 33 for object identification are repeated while the learning data 110 are exchanged.
  • Repetition of the above series of processes ends when the prediction accuracy of the learning output image 52L with respect to the annotation image 111 reaches a predetermined set level.
  • the object identification SS model 33 whose prediction accuracy reaches the set level in this manner is stored in the storage 20 and used in the object identification unit 43 . Regardless of the prediction accuracy of the learning output image 52L with respect to the annotation image 111, learning may be terminated when the series of processes described above is repeated a set number of times.
  • the assigned result 53 is the anatomical name of each vertebra VB such as Th10 (10th thoracic vertebra), L1 (1st lumbar vertebrae), and S1 (sacrum).
  • FIG. 15 shows an example of the third screen 115 displaying the grant result 53.
  • the display control unit 45 causes the screen to transition from the second screen 70 shown in FIG. 5 to the third screen 115 .
  • the application result 53 is displayed next to the tomographic image 15S.
  • a finding input field 62 and an OK button 64 are displayed, like the first screen 60 of FIG.
  • the doctor moves the cursor 66 to the OK button 64 and selects it.
  • the instruction receiving unit 41 receives the finding storage instruction, as in the case of FIG.
  • the RW control unit 40 associates the tomographic image 15 with the finding input in the finding input field 62 and stores them in the storage 20 .
  • the operation program 30 when the operation program 30 is activated in the diagnosis support device 12, as shown in FIG. It functions as an object identifying section 43 , an anatomical naming section 44 and a display control section 45 .
  • the RW control unit 40 reads from the storage 20 the tomographic image 15 of the patient P whose spine SP is to be diagnosed (step ST100). A tomographic image 15 is thus obtained. The tomographic image 15 is output from the RW controller 40 to the display controller 45 . Then, under the control of the display control section 45, the first screen 60 shown in FIG. 4 is displayed on the display 17 (step ST110).
  • the instruction receiving unit 41 receives an instruction to analyze the tomographic image 15 (step ST120). Under the control of the display control section 45, the first screen 60 is changed to the second screen 70 shown in FIG. 5 (step ST130).
  • the doctor selects the input completion button 72 after the marker MK is attached to each vertebra VB.
  • the input instruction for the marker MK is accepted by the instruction accepting unit 41 (step ST140).
  • the instruction receiving unit 41 generates the marker position information 50 representing the position of the marker MK (step ST150).
  • the marker position information 50 is output from the instruction receiving portion 41 to the marker position display map generating portion 42 .
  • the marker position display map generator 42 generates the marker position display map 51 shown in FIG. 6 based on the marker position information 50 (step ST160).
  • the marker position display map 51 is output from the marker position display map generation section 42 to the object identification section 43 .
  • the tomographic image 15 and the SS model 33 for object identification are input from the RW control unit 40 to the object identification unit 43 .
  • the object identification unit 43 the tomographic image 15 and the marker position display map 51 are input to the object identification SS model 33 as shown in FIG. 7 .
  • the tomographic image 15 and the marker position display map 51 are combined in the channel direction.
  • the output image 52 is output from the object identification SS model 33 (step ST170).
  • the output image 52 is output from the object identifying section 43 to the anatomical naming section 44 .
  • the anatomical name assignment unit 44 assigns an anatomical name to each vertebra VB identified in the output image 52 (step ST180).
  • the assignment result 53 is output from the anatomical name assignment unit 44 to the display control unit 45 .
  • the third screen 115 shown in FIG. 15 is displayed on the display 17 (step ST190).
  • the doctor moves the cursor 66 to the OK button 64 and selects it.
  • the finding storage instruction is accepted by the instruction accepting section 41 (step ST200).
  • the tomographic image 15 and the finding entered in the finding input field 62 are associated and stored in the storage 20 (step ST210).
  • the CPU 22 of the diagnosis support device 12 includes the RW control unit 40, the instruction reception unit 41, the marker position display map generation unit 42, and the object identification unit 43.
  • the RW control unit 40 acquires the tomographic images 15 showing the vertebrae VB, which are a plurality of consecutively arranged objects of the same type, by reading from the storage 20 .
  • the instruction receiving unit 41 receives input of a marker MK indicating the position of the vertebra VB in the tomographic image 15 .
  • the marker position display map generation unit 42 generates a marker position display map 51 representing the positions of the markers MK within the tomographic image 15 .
  • the object identification unit 43 inputs the tomographic image 15 and the marker position display map 51 to the object identification SS model 33, and causes the object identification SS model 33 to output an output image 52 in which each vertebra VB is identified. Therefore, compared to the case where the vertebrae VB are identified without any clues, it is possible to improve the identification accuracy of the vertebrae VB by the amount of the clues of the markers MK.
  • the marker position display map generation unit 42 generates a marker position display map 51 of the markers MK corresponding to all of the vertebrae VB arranged in succession. At this time, the marker position display map generation unit 42 assigns a label A to one vertebra VB and a Label B.
  • the object identification unit 43 outputs an output image 52 in which one vertebrae VB is identified as class A corresponding to label A and the other vertebrae VB is identified as class B corresponding to label B, to the object identification SS model 33. output from Therefore, all vertebrae VB can be identified at once, and processing time can be shortened.
  • the object identification unit 43 combines the tomographic image 15 and the marker position display map 51 in the channel direction in the object identification SS model 33 . Processing time can be shortened compared to the case where the tomographic image 15 and the marker position display map 51 are input to separate compression units.
  • the object identification SS model 33 receives the learning tomographic image 15L and the learning marker position display map 51L as inputs, and generates a learning output image according to the learning tomographic image 15L and the learning marker position display map 51L. 52L is output.
  • the object identification SS model 33 is an annotation image 111 generated based on the learning output image 52L and the learning tomographic image 15L, and is an annotation image in which the vertebrae VB with the marker MK is annotated. It is learned based on comparison with 111. Therefore, it is possible to obtain the object identification SS model 33 that outputs a corresponding output image 52 in response to the input of the tomographic image 15 and the marker position display map 51 .
  • the vertebra VB which constitutes the spine SP
  • various identification methods have been proposed in the past, making it an urgent issue to improve identification accuracy. Therefore, in this example, in which the tomographic image 15 of the spine SP of the patient P is used as a medical image, and the vertebrae VB constituting the spine SP is used as a structure, the configuration matches the urgent problem of increasing the accuracy of identifying the vertebrae VB. You can say that.
  • the tomographic image 15 input to the compression unit 80 is not limited to the tomographic image 15S of the sagittal section from which the marker position display map 51 was generated.
  • several tomographic images of the sagittal section before and after the tomographic image 15S of the sagittal section from which the marker position display map 51 is generated. 15S may be input to the compression unit 80 .
  • the identification result of the vertebrae VB for one sagittal cross-sectional tomographic image 15S may be applied to several front and rear tomographic images 15S of the sagittal cross-section.
  • the marker MK is not limited to a point corresponding to one pixel 86 of the tomographic image 15 .
  • a circular area composed of several to several tens of pixels 86 centered on the point clicked by the cursor 66 may be used.
  • the marker MK may be an amorphous region composed of a plurality of pixels 86 that is roughly painted by the doctor within the vertebrae VB.
  • the marker position display map 51 sets the element values of the elements 87 corresponding to the plurality of pixels 86 in the region filled out by the doctor to, for example, 1 or 2, and the element values 87 corresponding to the pixels 86 other than the region filled out by the doctor. becomes data whose element value is 0.
  • the position where the marker MK is attached is not limited to the point that seems to be the center of the vertebral body of vertebra VB. It may be a point that seems to be the tip of the spinous process of the vertebral arch. Alternatively, it may be a point that seems to be the center of the vertebral foramen, which is the hole through which the spinal cord passes.
  • the element value of label A is 1 and the element value of label B is 2, but it is not limited to this. It is sufficient if the element values of label A and label B are different from each other.
  • the element value of label A may be 1 and the element value of label B may be -1.
  • the types of labels are not limited to the two types of labels A and B. Three or more labels may be attached.
  • the element values of No. 1, 4, and 7 vertebrae VB are assigned a label A
  • the element values of No. 2, 5, and 8 vertebrae VB are assigned a label B of 2
  • the No. 3, 6, and 9 vertebrae VB may be labeled C with a component value of 3.
  • the output image 52 is No. 1, 4, and 7 vertebrae VB are identified as class A corresponding to label A
  • 2, 5, and 8 vertebrae VB are identified as class B corresponding to label B
  • Vertebrae VB of 3, 6, and 9 are images identified as class C corresponding to label C.
  • each vertebra VB is identified, but this is not the only option.
  • the vertebrae VB may be identified as preprocessing for CAD (Computer-Aided Diagnosis) for extracting lesion candidates such as bone fractures and bone metastasis of cancer.
  • CAD Computer-Aided Diagnosis
  • the marker position display map 51 of the markers MK corresponding to all of the plurality of vertebrae VB arranged in succession is generated, but the present invention is not limited to this.
  • the second embodiment shown in FIGS. 19 to 21 may also be used.
  • the marker position display map generator 42 generates a marker position display map group 130 based on the marker position information 50.
  • FIG. The marker position display map group 130 includes No. 1, a marker position display map 51_1 representing the position of the marker MK attached to the vertebra VB of No. 1; 2, a marker position display map 51_2 representing the position of the marker MK attached to the vertebra VB of No. 2; A marker position display map 51_3, No. 3, representing the position of the marker MK attached to the vertebra VB of No. 3. . . showing the positions of the markers MK attached to the 4 vertebrae VB. That is, in the present embodiment, the marker position display map generation unit 42 generates the marker position display map 51 of the marker MK corresponding to one vertebra VB among the plurality of vertebrae VB arranged continuously.
  • the tomographic image 15 and one of the marker position display maps 51 constituting the marker position display map group 130 are input to the object identification SS model 133 of the present embodiment. be done.
  • the object identifying SS model 133 outputs an output image 52 in which one vertebra VB attached with a marker MK whose position is indicated in the marker position display map 51 is identified.
  • No. A marker position display map 51_1 representing the position of the marker MK attached to the vertebra VB of No. 1 is input to the object identifying SS model 133 together with the tomographic image 15. 1 illustrates how an output image 52_1 in which one vertebra VB is identified is output from the SS model 133 for object identification.
  • the learning tomographic image 15L and the learning marker position display map 51L of the marker MK corresponding to one vertebra VB are input to the object identification SS model 133. Loss calculation is then performed based on the learning output image 52L output from the object identification SS model 133 and the annotation image in which one vertebra VB with the marker MK is annotated.
  • an output image group 135 shown in FIG. 21 is obtained as an example.
  • the output image group 135 includes No. 1 vertebrae VB identified, output image 52_1, no. 2 vertebrae VB identified, output image 52_2, no.
  • the output image 52_3, No. 3, with the vertebra VB of No. 3 identified. contains an output image 52_4, .
  • the object identification unit 43 generates an output image 52, in which each vertebrae VB is identified, to be finally output from the plurality of output images 52_1, 52_2, . . .
  • the marker position display map generation unit 42 generates the marker position display map 51 of the marker MK corresponding to one vertebra VB out of the plurality of vertebrae VB arranged continuously.
  • the object identification unit 43 causes the SS model for object identification 133 to output an output image 52 in which one vertebra VB is identified. Therefore, although the processing time is longer than that of the first embodiment, each vertebra VB can be identified with higher accuracy.
  • all the vertebrae VB shown in the tomographic image 15 may be marked with the markers MK at once, or one vertebrae VB may be marked with the marker MK. Identifying may be repeated.
  • the marker position display map generator 42 generates a marker position display map group 140 based on the marker position information 50.
  • FIG. The marker position display map group 140 includes No. Marker position display maps 51_1, 3, 5, 7, and 9 representing the positions of markers MK attached to vertebrae VB of 1, 3, 5, 7, and 9; and marker position display maps 51_2, 4, 6, and 8 representing the positions of the markers MK attached to the 2nd, 4th, 6th, and 8th vertebrae VB. That is, in the present embodiment, the marker position display map generation unit 42 calculates the marker positions of the markers MK corresponding to the vertebrae VB arranged opposite to each other across one vertebrae VB among the plurality of vertebrae VB arranged in succession. A display map 51 is generated.
  • the tomographic image 15 and one of the two marker position display maps 51 constituting the marker position display map group 140 are input to the object identification SS model 143 of the present embodiment. be done. Further, the object identification SS model 143 produces an output image 52 in which the vertebrae VB arranged opposite to each other across one vertebrae VB are identified to which the markers MK whose positions are indicated in the marker position display map 51 are attached. Output.
  • No. Marker position display maps 51_1, 3, 5, 7, and 9 representing the positions of the markers MK attached to the vertebrae VB of 1, 3, 5, 7, and 9 are input to the SS model 143 for object identification together with the tomographic image 15. and No. Output images 52_1, 3, 5, 7, and 9 in which vertebrae VB of 1, 3, 5, 7, and 9 are identified are output from the SS model 143 for object identification.
  • the learning tomographic image 15L and the learning marker position display map 51L of the markers MK corresponding to the vertebrae VB arranged opposite to each other across one vertebrae VB are input to the object identification SS model 143. be.
  • the learning output image 52L output from the object identification SS model 143 and the vertebrae VB to which the marker MK is attached are annotated.
  • a loss operation is performed based on the annotation image.
  • the object identification SS model 143 includes the learning tomographic image 15L and the learning marker position of the marker MK corresponding to one vertebra VB, as in the object identification SS model 133 of the second embodiment.
  • a display map 51L is input. Loss calculation is then performed based on the learning output image 52L output from the object identification SS model 143 and the annotation image in which one vertebra VB with the marker MK is annotated.
  • the output image group 145 includes No. Output images 52_1, 3, 5, 7, 9 in which vertebrae VB of 1, 3, 5, 7, and 9 have been identified, and no. 2, 4, 6, and 8 vertebrae VB identified output images 52_2, 4, 6, 8; From these two output images 52_1, 3, 5, 7, 9 and 52_2, 4, 6, 8, the object identification unit 43 generates the final output image 52 in which each vertebra VB is identified. .
  • the marker position display map generation unit 42 creates markers MK corresponding to the vertebrae VB arranged opposite to each other across one vertebrae VB among the plurality of vertebrae VB arranged continuously.
  • a marker position display map 51 is generated.
  • the object identification unit 43 causes the SS model for object identification 143 to output an output image 52 in which the vertebrae VB arranged opposite to each other across one vertebrae VB are identified. Therefore, each vertebra VB can be identified with high accuracy in a shorter processing time than in the second embodiment.
  • all the vertebrae VB appearing in the tomographic image 15 may be marked with markers MK at once. attaching markers MK to the vertebrae VB of 1, 3, 5, 7 and 9 to identify these vertebrae VB;
  • the 2nd, 4th, 6th, and 8th vertebrae VB may be marked with markers MK to identify these vertebrae VB separately.
  • No. 1, 3, 5, 7, and 9 and no Although alternate cases such as 2, 4, 6, and 8 have been exemplified, the present invention is not limited to this. No. 1, 4, and 7, no. 2, 5 and 8 and no. It can be every two, such as 3, 6, and 9. Also, every three or four may be used. However, as a matter of course, the processing time is longer than in the case of every other one.
  • an extraction unit 150 is constructed in the CPU of the diagnosis support device of this embodiment.
  • the tomographic image 15 and the point extraction SS model 151 are input from the RW control unit 40 to the extraction unit 150 .
  • the point extraction SS model 151 is stored in the storage 20 .
  • the extraction unit 150 uses the point extraction SS model 151 to extract a point in each vertebra VB appearing on the tomographic image 15 as a marker MK.
  • the center point CP (see FIG. 30) of the vertebral body is extracted as a point within the vertebra VB.
  • the extraction unit 150 generates marker position information 152 representing the position of the center point CP of the vertebral body as the marker MK.
  • the extractor 150 outputs the marker position information 152 to the marker position display map generator 42 .
  • the marker position display map generation section 42 generates a marker position display map 51 based on the marker position information 152 and outputs the marker position display map 51 to the object identification section 43 . Since subsequent processing is the same as that of each of the above embodiments, description thereof is omitted.
  • the extraction unit 150 has an analysis unit 160, a selection unit 161, a non-maximum suppression processing unit 162, and a conversion unit 163.
  • the analysis unit 160 inputs the tomographic image 15 to the SS model for point extraction 151 and causes the SS model for point extraction 151 to output a probability distribution map 164 indicating the existence probability of the central point CP of the vertebral body.
  • the analysis unit 160 outputs the probability distribution map 164 to the selection unit 161 .
  • the probability distribution map 164 has elements 170 corresponding to the pixels 86 of the tomographic image 15 on a one-to-one basis. and non-existence probability are registered data.
  • element values (1.0, 0) represent that the existence probability of the central point CP of the vertebral body is 100% and the non-existence probability is 0%.
  • the selection unit 161 selects the elements 170 having the presence probability of the center point CP of the vertebral body equal to or greater than a threshold value (for example, 0.9) in the probability distribution map 164 as candidates 200 ( (see FIG. 31).
  • the selection unit 161 generates a point candidate image 165 (see also FIG. 31) representing the selected candidate 200 and outputs the generated point candidate image 165 to the non-maximum suppression processing unit 162 .
  • the point candidate image 165 is, for example, an image in which the pixel value of the pixel corresponding to the candidate 200 is 1 and the pixel value of the other pixels is 0.
  • the non-maximum suppression processing unit 162 performs non-maximum suppression processing on each candidate 200 of the point candidate image 165, and as a result, generates a point image 166 (see also FIG. 31) representing the center point CP of the vertebral body.
  • the point image 166 is, for example, an image in which the pixel value of the pixel corresponding to the center point CP of the vertebral body is 1, and the pixel value of the other pixels is 0. In other words, the point image 166 is nothing but an image representing the marker MK indicating the position of the vertebra VB in the tomographic image 15 .
  • the non-maximum suppression processing unit 162 outputs the point image 166 to the conversion unit 163 .
  • the conversion unit 163 accepts the input of the marker MK.
  • the conversion unit 163 converts the point image 166 into marker position information 152 .
  • the SS model 151 for point extraction has a compression unit 180 and an output unit 181, like the SS model 33 for object identification.
  • a tomographic image 15 is input to the compression unit 180 .
  • the compression unit 180 performs convolution processing, pooling processing, and the like on the tomographic image 15 to convert the tomographic image 15 into a feature amount map 182 .
  • the compression unit 180 passes the feature quantity map 182 to the output unit 181 .
  • the output unit 181 outputs the probability distribution map 164 based on the feature quantity map 182 .
  • the output unit 181 has a decoder unit 190 and a probability distribution map generation unit 191.
  • the decoder unit 190 performs upsampling processing, convolution processing, merging processing, etc. on the feature amount map 182 in the same manner as the output unit 81 of the object identification SS model 33 to generate a final feature amount map 192 .
  • the final feature quantity map 192 is also called logits, and has elements in one-to-one correspondence with the pixels 86 of the tomographic image 15 .
  • Each element of the final feature map 192 has an element value associated with the center point CP of the vertebral body being extracted. For example, the element value of the element where the center point CP of the vertebral body seems to be is higher than the element values of the other elements.
  • the decoder section 190 outputs the final feature quantity map 192 to the probability distribution map generation section 191 .
  • the probability distribution map generation unit 191 generates the probability distribution map 164 from the final feature quantity map 192 using a well-known activation function.
  • the probability distribution map generator 191 applies, for example, a softmax function to calculate e 2 /(e 2 +e 1.5 ) and e 1.5 /(e 2 +e 1.5 ). Then, the probability that the central point CP of the vertebral body exists in the element, that is, the existence probability of 0.62 ( ⁇ e 2 /(e 2 +e 1.5 )) is derived, and the central point CP of the vertebral body is derived in the element. 0.38 ( ⁇ e 1.5 /(e 2 +e 1.5 )) is derived as the probability that does not exist (hereinafter referred to as non-existence probability).
  • a sigmoid function may be used instead of the softmax function.
  • the point extraction SS model 151 is learned by being given learning data 195 in the learning phase.
  • the learning data 195 is a set of a learning tomographic image 15L and an annotation image 196 corresponding to the learning tomographic image 15L.
  • the annotation image 196 is an image in which the center point CP of the vertebral body of each vertebra VB appearing in the learning tomographic image 15L is annotated.
  • the annotation image 196 is an image in which the pixel value of the pixel 197A corresponding to the center point CP of the vertebral body is 1, and the pixel value of the other pixels 197B is 0.
  • the learning tomographic image 15L is input to the point extraction SS model 151.
  • the point extraction SS model 151 outputs a learning probability distribution map 164L for the learning tomographic image 15L. Based on this learning probability distribution map 164L and the annotation image 196, the loss calculation of the point extraction SS model 151 is performed. Various coefficients of the point extraction SS model 151 are updated according to the result of the loss calculation, and the point extraction SS model 151 is updated according to the update settings.
  • a weighted cross entropy function is used in the loss calculation of the SS model 151 for point extraction.
  • the cross entropy function compares when the existence probability of the center point CP of the vertebral body among the element values of the element 170 of the learning probability distribution map 164L and the pixel value of the annotation image 196 are relatively close values. take a relatively low value. In other words, in this case, the loss is estimated to be small.
  • the cross entropy function is a value in which the existence probability of the center point CP of the vertebral body among the element values of the element 170 of the learning probability distribution map 164L and the pixel value of the annotation image 196 are relatively deviated. takes a relatively high value. In other words, in this case, the loss is estimated to be large.
  • the weight of the cross entropy function is set to 10, for example, for the pixel 197A corresponding to the central point CP of the vertebral body annotated in the annotation image 196, and 1, for example, to the other pixels 197B. Since the central point CP of the vertebral body is very small, it will be buried if no measures are taken, making it difficult to learn. However, since the pixel 197A corresponding to the center point CP of the vertebral body is assigned a greater weight than the other pixels 197B, learning can be performed intensively on the center point CP of the vertebral body.
  • the input of the learning tomographic image 15L to the point extraction SS model 151, the output of the learning probability distribution map 164L from the point extraction SS model 151, the loss calculation, and the update setting. , and updating of the point extraction SS model 151 are repeated while the learning data 195 are exchanged.
  • Repetition of the above series of processes ends when the prediction accuracy of the learning probability distribution map 164L for the annotation image 196 reaches a predetermined set level.
  • the point extraction SS model 151 whose prediction accuracy reaches the set level in this manner is stored in the storage 20 and used in the extraction unit 150 . Regardless of the prediction accuracy of the learning probability distribution map 164L for the annotation image 196, learning may be terminated when the series of processes described above is repeated a set number of times.
  • FIG. 31 shows an example of non-maximum suppression processing by the non-maximum suppression processing unit 162.
  • FIG. A point candidate image 165 is obtained by simply selecting, as candidates 200, elements 170 whose existence probability in the probability distribution map 164 is equal to or greater than the threshold. Therefore, not all candidates 200 are truly vertebral body center points CP. Therefore, by performing non-maximum suppression processing, the true center point CP of the vertebral body is narrowed down from among the plurality of candidates 200 .
  • the non-maximum suppression processing unit 162 first assigns a rectangular frame 201 to each candidate 200 of the point candidate image 165 .
  • the rectangular frame 201 has a preset size corresponding to the vertebrae VB, for example, a size one size larger than one vertebrae VB.
  • the center of rectangular frame 201 coincides with candidate 200 .
  • the non-maximum suppression processing unit 162 calculates the IoU (Intersection over Union) of the rectangular frame 201 assigned to each candidate 200 .
  • the IoU is a value obtained by dividing the overlapping area (Area of Overlap) of the two rectangular frames 201 by the area (Area of Union) where the two rectangular frames 201 are integrated.
  • the non-maximum suppression processing unit 162 leaves one representative rectangular frame 201 and deletes the other one rectangular frame 201 for each candidate 200 for two rectangular frames 201 whose IoU is equal to or greater than a threshold value (for example, 0.3).
  • a threshold value for example, 0.3
  • points within the vertebrae VB are automatically extracted, and the extracted points are accepted as markers MK. Therefore, the doctor can save the trouble of inputting the marker MK. It is not necessary to display the second screen 70 shown in FIG. The doctor only has to select the analysis button 65 on the first screen 60 .
  • the annotation image 196 is not limited to an image annotated with one pixel 197A indicating the center point CP of the vertebral body.
  • An image in which a circular region composed of several to several tens of pixels around the central point CP of the vertebral body is annotated may be used.
  • the point to be extracted is not limited to the central point CP of the vertebral body. It may be the tip of the spinous process of the vertebral arch or the center of the vertebral foramen.
  • the RW control unit 40 the instruction reception unit 41, the marker position display map generation unit 42, the target object identification unit 43, the anatomical name assignment unit 44, the display control unit 45, the extraction unit 150, the analysis
  • the processing unit processing unit
  • the following various processors are used.
  • Various processors include, as described above, in addition to the CPU 22 which is a general-purpose processor that executes software (operation program 30) and functions as various processing units, FPGAs (Field Programmable Gate Arrays), etc.
  • Programmable Logic Device which is a processor whose circuit configuration can be changed, ASIC (Application Specific Integrated Circuit), etc. It includes electrical circuits and the like.
  • One processing unit may be configured with one of these various processors, or a combination of two or more processors of the same or different type (for example, a combination of a plurality of FPGAs and/or a CPU and combination with FPGA). Also, a plurality of processing units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including multiple processing units with a single IC (Integrated Circuit) chip. be.
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • an electric circuit combining circuit elements such as semiconductor elements can be used.
  • the image to be analyzed is not limited to the tomographic image 15 obtained from the CT device 10.
  • it may be a tomographic image obtained from an MRI (Magnetic Resonance Imaging) device.
  • the image to be analyzed is not limited to a three-dimensional image such as a tomographic image.
  • it may be a two-dimensional image such as a simple radiographic image.
  • the structure is not limited to vertebrae VB.
  • a finger bone or the like may be used.
  • images to be analyzed are not limited to medical images.
  • the object is not limited to the structure of the body.
  • an image of the street may be used as the image to be analyzed, and the target object may be the face of a person.
  • the technology of the present disclosure can also appropriately combine various embodiments and/or various modifications described above. Moreover, it is needless to say that various configurations can be employed without departing from the scope of the present invention without being limited to the above embodiments. Furthermore, the technology of the present disclosure extends to storage media that non-temporarily store programs in addition to programs.
  • a and/or B is synonymous with “at least one of A and B.” That is, “A and/or B” means that only A, only B, or a combination of A and B may be used.
  • a and/or B means that only A, only B, or a combination of A and B may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、連続して並んだ複数の同種の対象物が写る解析対象画像を取得し、解析対象画像内の対象物の位置を示すマーカの入力を受け付け、解析対象画像内のマーカの位置を表すマーカ位置表示マップを生成し、解析対象画像およびマーカ位置表示マップをセマンティックセグメンテーションモデルに入力し、対象物が識別された出力画像をセマンティックセグメンテーションモデルから出力させる、画像処理装置。

Description

画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
　本開示の技術は、画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムに関する。
　従来、解析対象画像に写る対象物を識別する画像処理が様々な分野で行われている。最近では、解析対象画像に写る対象物を画素単位で識別するセマンティックセグメンテーションを行う畳み込みニューラルネットワーク（以下、ＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）と略す）を用いる手法が注目されている。例えば特開２０２０－０２５７３０号公報には、患者に放射線を照射して得られた放射線画像を解析対象画像とし、ＣＮＮを用いて放射線画像に写る複数の対象物を識別することが記載されている。対象物には、肺野、脊椎（背骨）、およびその他の領域が例示され、脊椎のうちの胸椎と腰椎を別に識別することも記載されている。
　特開２０２０－０２５７３０号公報には、前述のように、ＣＮＮを用いて脊椎を識別することが記載されている。しかしながら、実際、ＣＮＮは、例えば脊椎を構成する複数の椎骨の１つ１つ等、連続して並んだ複数の同種の対象物の識別精度があまりよくない。このため、隣接する複数の椎骨を１つの椎骨として誤って識別する等、しばしば識別が上手くいかないことがあった。
　本開示の技術に係る１つの実施形態は、連続して並んだ複数の同種の対象物の識別精度を高めることが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供する。
　本開示の画像処理装置は、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、プロセッサは、連続して並んだ複数の同種の対象物が写る解析対象画像を取得し、解析対象画像内の対象物の位置を示すマーカの入力を受け付け、解析対象画像内のマーカの位置を表すマーカ位置表示マップを生成し、解析対象画像およびマーカ位置表示マップをセマンティックセグメンテーションモデルに入力し、対象物が識別された出力画像をセマンティックセグメンテーションモデルから出力させる。
　プロセッサは、連続して並んだ複数の同種の対象物のうちの１つの対象物に対応するマーカのマーカ位置表示マップを生成し、１つの対象物が識別された出力画像をセマンティックセグメンテーションモデルから出力させることが好ましい。
　プロセッサは、連続して並んだ複数の同種の対象物のうち、少なくとも１つの対象物を挟んで対向配置された対象物に対応するマーカのマーカ位置表示マップを生成し、少なくとも１つの対象物を挟んで対向配置された対象物が識別された出力画像をセマンティックセグメンテーションモデルから出力させることが好ましい。
　プロセッサは、連続して並んだ複数の同種の対象物の全てに対応するマーカのマーカ位置表示マップを生成し、マーカ位置表示マップを生成する際に、連続して並んだ複数の同種の対象物のうちの隣接する第１対象物および第２対象物について、第１対象物に対して第１ラベルを付し、第２対象物に対して第１ラベルとは異なる第２ラベルを付し、第１対象物が第１ラベルに対応する第１クラスとして識別され、第２対象物が第２ラベルに対応する第２クラスとして識別された出力画像をセマンティックセグメンテーションモデルから出力させることが好ましい。
　プロセッサは、セマンティックセグメンテーションモデルにおいて、解析対象画像およびマーカ位置表示マップをチャンネル方向に結合することが好ましい。
　セマンティックセグメンテーションモデルは、学習フェーズにおいて、学習用解析対象画像および学習用マーカ位置表示マップが入力され、学習用解析対象画像および学習用マーカ位置表示マップに応じて学習用出力画像を出力し、学習用出力画像と、学習用解析対象画像を元に生成されたアノテーション画像であって、マーカが付された対象物がアノテーションされたアノテーション画像との比較に基づいて学習されることが好ましい。
　解析対象画像は患者の身体内を写した医用画像であり、対象物は身体の構造物であることが好ましい。
　医用画像は患者の脊椎を写した画像であり、構造物は脊椎を構成する椎骨であることが好ましい。
　本開示の画像処理装置の作動方法は、連続して並んだ複数の同種の対象物が写る解析対象画像を取得すること、解析対象画像内の対象物の位置を示すマーカの入力を受け付けること、解析対象画像内のマーカの位置を表すマーカ位置表示マップを生成すること、並びに、解析対象画像およびマーカ位置表示マップをセマンティックセグメンテーションモデルに入力し、対象物が識別された出力画像をセマンティックセグメンテーションモデルから出力させること、を含む。
　本開示の画像処理装置の作動プログラムは、連続して並んだ複数の同種の対象物が写る解析対象画像を取得すること、解析対象画像内の対象物の位置を示すマーカの入力を受け付けること、解析対象画像内のマーカの位置を表すマーカ位置表示マップを生成すること、並びに、解析対象画像およびマーカ位置表示マップをセマンティックセグメンテーションモデルに入力し、対象物が識別された出力画像をセマンティックセグメンテーションモデルから出力させること、を含む処理をコンピュータに実行させる。
　本開示の技術によれば、連続して並んだ複数の同種の対象物の識別精度を高めることが可能な画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムを提供することができる。
診断支援装置を含む医療システムを示す図である。 診断支援装置を構成するコンピュータを示すブロック図である。 診断支援装置のＣＰＵの処理部を示すブロック図である。 第１画面を示す図である。 第２画面を示す図である。 マーカ位置表示マップを示す図である。 対象物識別用セマンティックセグメンテーションモデルを示す図である。 断層画像およびマーカ位置表示マップに対して行われる畳み込み処理の説明図である。 対象データに対して行われる畳み込み処理の説明図である。 演算データの構成を示す図である。 プーリング処理の説明図である。 出力画像を示す図である。 対象物識別用セマンティックセグメンテーションモデルの学習フェーズにおける処理の概要を示す図である。 ラベリング結果を示す図である。 第３画面を示す図である。 診断支援装置の処理手順を示すフローチャートである。 マーカ位置表示マップの別の例を示す図である。 図１７で示したマーカ位置表示マップに基づいて出力された出力画像を示す図である。 連続して並んだ複数の椎骨の１つの椎骨に対応するマーカのマーカ位置表示マップを生成する様子を示す図である。 断層画像、および１つの椎骨に対応するマーカのマーカ位置表示マップを対象物識別用セマンティックセグメンテーションモデルに入力し、１つの椎骨が識別された出力画像を対象物識別用セマンティックセグメンテーションモデルから出力させる様子を示す図である。 １つの椎骨が識別された出力画像から、各椎骨が識別された出力画像を生成する様子を示す図である。 連続して並んだ複数の椎骨のうち、１つの椎骨を挟んで対向配置された椎骨に対応するマーカのマーカ位置表示マップを生成する様子を示す図である。 断層画像、および１つの椎骨を挟んで対向配置された椎骨に対応するマーカのマーカ位置表示マップを対象物識別用セマンティックセグメンテーションモデルに入力し、１つの椎骨を挟んで対向配置された椎骨が識別された出力画像を対象物識別用セマンティックセグメンテーションモデルから出力させる様子を示す図である。 １つの椎骨を挟んで対向配置された椎骨が識別された出力画像から、各椎骨が識別された出力画像を生成する様子を示す図である。 第４実施形態のＣＰＵの処理部を示すブロック図である。 抽出部を示す図である。 確率分布マップを示す図である。 点抽出用セマンティックセグメンテーションモデルを示す図である。 点抽出用セマンティックセグメンテーションモデルの出力部を示す図である。 点抽出用セマンティックセグメンテーションモデルの学習フェーズにおける処理の概要を示す図である。 非最大抑制処理を示す図である。
　［第１実施形態］
　一例として図１に示すように、医療システム２は、ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）装置１０、ＰＡＣＳ（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）サーバ１１、および診断支援装置１２を備える。これらＣＴ装置１０、ＰＡＣＳサーバ１１、および診断支援装置１２は、医療施設内に敷設されたＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）１３に接続されており、ＬＡＮ１３を介して相互に通信することが可能である。
　ＣＴ装置１０は、周知のように、異なる投影角度で患者Ｐを放射線撮影して複数枚の投影データを取得し、取得した複数枚の投影データを再構成することにより患者Ｐの断層画像１５を出力する。断層画像１５は、患者Ｐの体内構造の３次元形状を表すボクセルデータである。本例では、断層画像１５は、患者Ｐの上半身を写した画像である。図１においては、サジタル断面の断層画像１５Ｓを示している。断層画像１５には、複数の椎骨ＶＢで構成される脊椎ＳＰが写っている。ＣＴ装置１０は、断層画像１５をＰＡＣＳサーバ１１に送信する。ＰＡＣＳサーバ１１は、ＣＴ装置１０からの断層画像１５を記憶し、管理する。断層画像１５は、本開示の技術に係る「解析対象画像」および「医用画像」の一例である。また、椎骨ＶＢは、本開示の「対象物」および「構造物」の一例である。なお、投影データの再構成は、ＣＴ装置１０ではなく診断支援装置１２等で行ってもよい。
　診断支援装置１２は、例えばデスクトップ型のパーソナルコンピュータであり、本開示の技術に係る「画像処理装置」の一例である。診断支援装置１２は、ディスプレイ１７と入力デバイス１８とを備える。入力デバイス１８は、キーボード、マウス、タッチパネル、マイクロフォン等である。医師は、入力デバイス１８を操作して、ＰＡＣＳサーバ１１に対して患者Ｐの断層画像１５の配信要求を送信する。ＰＡＣＳサーバ１１は、配信要求された患者Ｐの断層画像１５を検索して診断支援装置１２に配信する。診断支援装置１２は、ＰＡＣＳサーバ１１から配信された断層画像１５をディスプレイ１７に表示する。医師は、断層画像１５に写る患者Ｐの椎骨ＶＢを観察して、骨折、癌の骨転移等の診断を行う。なお、図１では、ＣＴ装置１０および診断支援装置１２はそれぞれ１台しか描かれていないが、ＣＴ装置１０および診断支援装置１２はそれぞれ複数台あってもよい。
　一例として図２に示すように、診断支援装置１２を構成するコンピュータは、前述のディスプレイ１７および入力デバイス１８に加えて、ストレージ２０、メモリ２１、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２２、および通信部２３を備えている。これらはバスライン２４を介して相互接続されている。なお、ＣＰＵ２２は、本開示の技術に係る「プロセッサ」の一例である。
　ストレージ２０は、診断支援装置１２を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージ２０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージ２０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
　メモリ２１は、ＣＰＵ２２が処理を実行するためのワークメモリである。ＣＰＵ２２は、ストレージ２０に記憶されたプログラムをメモリ２１へロードして、プログラムにしたがった処理を実行する。これによりＣＰＵ２２は、コンピュータの各部を統括的に制御する。通信部２３は、ＰＡＣＳサーバ１１等の外部装置との各種情報の伝送制御を行う。なお、メモリ２１は、ＣＰＵ２２に内蔵されていてもよい。
　一例として図３に示すように、診断支援装置１２のストレージ２０には、作動プログラム３０が記憶されている。作動プログラム３０は、診断支援装置１２を構成するコンピュータを本開示の技術に係る「画像処理装置」として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム３０は、本開示の技術に係る「画像処理装置の作動プログラム」の一例である。ストレージ２０には、断層画像１５、および対象物識別用セマンティックセグメンテーション（以下、ＳＳと略す）モデル３３も記憶されている。対象物識別用ＳＳモデル３３は、本開示の技術に係る「セマンティックセグメンテーションモデル」の一例である。なお、ストレージ２０には、この他にも、断層画像１５に写る椎骨ＶＢに対する医師の所見、およびディスプレイ１７に表示する各種画面のデータ等が記憶される。
　作動プログラム３０が起動されると、診断支援装置１２を構成するコンピュータのＣＰＵ２２は、メモリ２１等と協働して、リードライト（以下、ＲＷ（Ｒｅａｄ　Ｗｒｉｔｅ）と略す）制御部４０、指示受付部４１、マーカ位置表示マップ生成部４２、対象物識別部４３、解剖学的名称付与部４４、および表示制御部４５として機能する。
　ＲＷ制御部４０は、ストレージ２０への各種データの記憶、およびストレージ２０内の各種データの読み出しを制御する。例えばＲＷ制御部４０は、ＰＡＣＳサーバ１１からの断層画像１５を受け取り、受け取った断層画像１５をストレージ２０に記憶する。なお、図３では断層画像１５は１つしかストレージ２０に記憶されていないが、断層画像１５はストレージ２０に複数記憶されていてもよい。
　ＲＷ制御部４０は、診断のために医師が指定した患者Ｐの断層画像１５をストレージ２０から読み出し、読み出した断層画像１５を対象物識別部４３および表示制御部４５に出力する。ＲＷ制御部４０は、断層画像１５をストレージ２０から読み出すことで、断層画像１５を取得していることになる。また、ＲＷ制御部４０は、対象物識別用ＳＳモデル３３をストレージ２０から読み出し、読み出した対象物識別用ＳＳモデル３３を対象物識別部４３に出力する。
　指示受付部４１は、入力デバイス１８を通じた医師からの様々な指示を受け付ける。指示受付部４１が受け付ける指示には、例えば、断層画像１５に対する解析指示、断層画像１５内の椎骨ＶＢの位置を示すマーカＭＫ（図５参照）の入力指示、および椎骨ＶＢに対する所見をストレージ２０に記憶させるための所見記憶指示等がある。
　指示受付部４１は、解析指示を受け付けた場合、その旨を表示制御部４５に出力する。また、指示受付部４１は、マーカＭＫの入力指示を受け付けた場合、断層画像１５におけるマーカＭＫの位置を表すマーカ位置情報５０を生成し、生成したマーカ位置情報５０をマーカ位置表示マップ生成部４２に出力する。さらに、指示受付部４１は、所見記憶指示を受け付けた場合、その旨を所見とともにＲＷ制御部４０に出力する。
　マーカ位置表示マップ生成部４２は、指示受付部４１からのマーカ位置情報５０に基づいて、断層画像１５内のマーカＭＫの位置を表すマーカ位置表示マップ５１を生成する。マーカ位置表示マップ生成部４２は、マーカ位置表示マップ５１を対象物識別部４３に出力する。
　対象物識別部４３は、断層画像１５およびマーカ位置表示マップ５１に基づいて、１つ１つの椎骨ＶＢを識別する。より詳しくは、対象物識別部４３は、断層画像１５およびマーカ位置表示マップ５１を対象物識別用ＳＳモデル３３に入力し、１つ１つの椎骨ＶＢが識別された出力画像５２（図１２も参照）を対象物識別用ＳＳモデル３３から出力させる。対象物識別部４３は、出力画像５２を解剖学的名称付与部４４に出力する。
　解剖学的名称付与部４４は、出力画像５２において識別された１つ１つの椎骨ＶＢに対して解剖学的名称を付与する。解剖学的名称付与部４４は、椎骨ＶＢへの解剖学的名称の付与の結果である付与結果５３を表示制御部４５に出力する。
　表示制御部４５は、ディスプレイ１７への各種画面の表示を制御する。各種画面には、マーカ位置表示マップ生成部４２、対象物識別部４３、および解剖学的名称付与部４４による断層画像１５の解析指示を行うための第１画面６０（図４参照）、マーカＭＫの入力指示を行うための第２画面７０（図５参照）、および付与結果５３を表示する第３画面１１５（図１５参照）等が含まれる。
　図４に、断層画像１５の解析指示を行うための第１画面６０の一例を示す。第１画面６０には、例えば、脊椎ＳＰの診断を行う患者Ｐのサジタル断面の断層画像１５Ｓが表示される。断層画像１５Ｓの下部には、表示を切り替えるためのボタン群６１が設けられている。なお、サジタル断面の断層画像１５Ｓに代えて、あるいは加えて、アキシャル断面およびコロナル断面の断層画像１５を表示してもよい。
　第１画面６０には、所見入力欄６２、メッセージ６３、ＯＫボタン６４、および解析ボタン６５が表示されている。所見入力欄６２には、椎骨ＶＢに対する所見が医師により入力される。医師は、所見入力欄６２に所見を入力した後、ＯＫボタン６４にカーソル６６を合わせて選択する。これにより、指示受付部４１は所見記憶指示を受け付ける。ＲＷ制御部４０は、断層画像１５と、所見入力欄６２に入力された所見とを関連付けてストレージ２０に記憶する。
　メッセージ６３は、解析ボタン６５の選択を促す内容である。医師は、所見の入力に先立って断層画像１５の解析を行いたい場合、解析ボタン６５にカーソル６６を合わせて選択する。これにより、指示受付部４１は断層画像１５の解析指示を受け付け、その旨を表示制御部４５に出力する。
　指示受付部４１から断層画像１５の解析指示を受け付けた旨が入力された場合、表示制御部４５は、第１画面６０から、一例として図５に示す第２画面７０に画面を遷移させる。
　第２画面７０には、メッセージ７１および入力完了ボタン７２が表示される。メッセージ７１は、各椎骨ＶＢへのマーカＭＫの付与後に、入力完了ボタン７２の選択を促す内容である。医師は、各椎骨ＶＢ内の任意の点、例えば椎体の中心と思しき点をカーソル６６でクリックする。これにより各椎骨ＶＢ内にマーカＭＫが付される。マーカＭＫは、本例においては断層画像１５の１つの画素８６（図８参照）に対応する点である。
　医師は、断層画像１５に写る全ての椎骨ＶＢ内にマーカＭＫを付した後、入力完了ボタン７２にカーソル６６を合わせて選択する。これにより、指示受付部４１は、マーカＭＫの入力指示を受け付ける。この際、指示受付部４１によって生成されるマーカ位置情報５０は、各マーカＭＫのＸＹＺ座標である。Ｘ軸は左右方向に平行な軸、Ｙ軸は前後方向に平行な軸、Ｚ軸は上下方向に平行な軸である。本例においてはサジタル断面の断層画像１５Ｓに対してマーカＭＫが付されるので、各マーカＭＫのＸＹＺ座標のうちのＸ座標の値は、各マーカＭＫで同じである。Ｙ座標およびＺ座標の値は、各マーカＭＫに応じて異なる。マーカ位置情報５０においては、Ｚ座標が小さい順に番号（Ｎｏ．）が付されて各マーカＭＫが整理される。
　一例として図６に示すように、マーカ位置表示マップ５１は、断層画像１５の画素８６と１対１で対応する要素８７（図８参照）をもち、マーカＭＫの画素８６に対応する要素８７の要素値を１または２、マーカＭＫ以外の画素８６に対応する要素８７の要素値を０とするデータである。つまり、マーカ位置表示マップ５１は、マーカＭＫの位置を要素値１または２で表したデータである。なお、図６においては、理解を助けるために椎骨ＶＢ等を破線で示しているが、実際のマーカ位置表示マップ５１には椎骨ＶＢ等は写っていない。
　マーカ位置表示マップ生成部４２は、隣接する２つの椎骨ＶＢについて、一方の椎骨ＶＢの要素値を１としてラベルＡを付し、他方の椎骨ＶＢの要素値を２としてラベルＢを付す。例えば、Ｎｏ．１の椎骨ＶＢの要素値を１としてラベルＡを付し、Ｎｏ．２の椎骨ＶＢの要素値を２としてラベルＢを付す。あるいは、Ｎｏ．７の椎骨ＶＢの要素値を１としてラベルＡを付し、Ｎｏ．８の椎骨ＶＢの要素値を２としてラベルＢを付す。マーカ位置表示マップ生成部４２は、こうしてラベルＡおよびＢを付すことで、結果として、Ｎｏ．１、３、５、７、および９の椎骨ＶＢに対してラベルＡを付し、Ｎｏ．２、４、６、および８の椎骨ＶＢに対してラベルＢを付す。つまり、各椎骨ＶＢに対して交互にラベルＡおよびＢを付す。なお、Ｎｏ．１、３、５、７、および９の椎骨ＶＢは、本開示の技術に係る「第１対象物」の一例であり、Ｎｏ．２、４、６、および８の椎骨ＶＢは、本開示の技術に係る「第２対象物」の一例である。また、ラベルＡは、本開示の技術に係る「第１ラベル」の一例であり、ラベルＢは、本開示の技術に係る「第２ラベル」の一例である。
　一例として図７に示すように、対象物識別用ＳＳモデル３３は圧縮部８０と出力部８１とを有する。圧縮部８０には、断層画像１５およびマーカ位置表示マップ５１が入力される。圧縮部８０に入力される断層画像１５は、例えば、マーカ位置表示マップ５１の生成の元となったサジタル断面の断層画像１５Ｓである。圧縮部８０は、断層画像１５およびマーカ位置表示マップ５１を特徴量マップ８２に変換する。圧縮部８０は、特徴量マップ８２を出力部８１に受け渡す。出力部８１は、特徴量マップ８２に基づいて、出力画像５２を出力する。
　圧縮部８０は、一例として図８に示すような畳み込み演算を行うことで、断層画像１５およびマーカ位置表示マップ５１をチャンネル方向に結合する。
　圧縮部８０は、断層画像１５およびマーカ位置表示マップ５１が入力される畳み込み層８５を有する。畳み込み層８５は、２次元に配列された複数の画素８６をもつ断層画像１５に、例えば３×３のフィルタＦ１を適用する。また、畳み込み層８５は、２次元に配列された複数の要素８７をもつマーカ位置表示マップ５１に、例えば３×３のフィルタＦ２を適用する。そして、画素８６のうちの１つの注目画素８６Ｉの画素値ｅ１と、注目画素８６Ｉに隣接する８個の画素８６Ｓの画素値ａ１、ｂ１、ｃ１、ｄ１、ｆ１、ｇ１、ｈ１、およびｉ１、並びに、要素８７のうちの１つであって、注目画素８６Ｉに対応する注目要素８７Ｉの要素値ｅ２と、注目要素８７Ｉに隣接する８個の要素８７Ｓの要素値ａ２、ｂ２、ｃ２、ｄ２、ｆ２、ｇ２、ｈ２、およびｉ２を畳み込む。畳み込み層８５は、注目画素８６Ｉおよび注目要素８７Ｉを１つずつずらしつつ畳み込み演算を順次行い、演算データ８８の要素８９の要素値を出力する。これにより、２次元に配列された複数の要素８９を有する演算データ８８が得られる。このようにして、断層画像１５およびマーカ位置表示マップ５１がチャンネル方向に結合される。
　フィルタＦ１の係数をｒ１、ｓ１、ｔ１、ｕ１、ｖ１、ｗ１、ｘ１、ｙ１、およびｚ１とする。また、フィルタＦ２の係数をｒ２、ｓ２、ｔ２、ｕ２、ｖ２、ｗ２、ｘ２、ｙ２、およびｚ２とする。この場合、注目画素８６Ｉおよび注目要素８７Ｉに対する畳み込み演算の結果である、演算データ８８の要素８９Ｉの要素値ｋは、例えば下記の式（１）を計算することで得られる。
　ｋ＝ａ１ｚ１＋ｂ１ｙ１＋ｃ１ｘ１＋ｄ１ｗ１＋ｅ１ｖ１＋ｆ１ｕ１＋ｇ１ｔ１＋ｈ１ｓ１＋ｉ１ｒ１＋ａ２ｚ２＋ｂ２ｙ２＋ｃ２ｘ２＋ｄ２ｗ２＋ｅ２ｖ２＋ｆ２ｕ２＋ｇ２ｔ２＋ｈ２ｓ２＋ｉ２ｒ２・・・（１）
　一例として図９に示すように、圧縮部８０は、畳み込み層８５に加えて、畳み込み層９５をさらに複数有する。畳み込み層９５は、２次元に配列された複数の要素９６をもつ対象データ９７に、例えば３×３のフィルタＦを適用する。そして、要素９６のうちの１つの注目要素９６Ｉの要素値ｅと、注目要素９６Ｉに隣接する８個の要素９６Ｓの要素値ａ、ｂ、ｃ、ｄ、ｆ、ｇ、ｈ、およびｉを畳み込む。畳み込み層９５は、注目要素９６Ｉを１要素ずつずらしつつ、対象データ９７の各要素９６に対して畳み込み演算を順次行い、演算データ１００の要素９９の要素値を出力する。これにより、２次元に配列された複数の要素９９を有する演算データ１００が得られる。なお、畳み込み層９５に入力される対象データ９７は、例えば図８で示した演算データ８８であり、あるいは後述する縮小演算データ１００Ｓ（図１１参照）である。
　フィルタＦの係数をｒ、ｓ、ｔ、ｕ、ｖ、ｗ、ｘ、ｙ、およびｚとした場合、注目要素９６Ｉに対する畳み込み演算の結果である、演算データ１００の要素９９Ｉの要素値ｋは、例えば下記の式（２）を計算することで得られる。
　ｋ＝ａｚ＋ｂｙ＋ｃｘ＋ｄｗ＋ｅｖ＋ｆｕ＋ｇｔ＋ｈｓ＋ｉｒ・・・（２）
　演算データ１００は、１個のフィルタＦに対して１つ出力される。１つの対象データ９７に対して複数種のフィルタＦが適用された場合は、フィルタＦ毎に演算データ１００が出力される。つまり、一例として図１０に示すように、演算データ１００は、対象データ９７に適用されたフィルタＦの個数分生成される。また、演算データ１００は、２次元に配列された複数の要素９９を有するため、幅と高さをもつ。演算データ１００の数はチャンネル数と呼ばれる。図１０においては、１つの対象データ９７に４個のフィルタＦを適用して出力された４チャンネルの演算データ１００を例示している。
　一例として図１１に示すように、圧縮部８０は、畳み込み層８５および９５の他に、プーリング層１０５を有する。プーリング層１０５は、演算データ１００の要素９９の要素値の局所的な統計量を求め、求めた統計量を要素値とする縮小演算データ１００Ｓを生成する。ここでは、プーリング層１０５は、局所的な統計量として、２×２の要素のブロック１０６内における要素値の最大値を求める最大値プーリング処理を行っている。ブロック１０６を幅方向および高さ方向に１要素ずつずらしつつ処理を行えば、縮小演算データ１００Ｓは、元の演算データ１００の１／２のサイズに縮小される。図１１においては、ブロック１０６Ａ内における要素値ａ、ｂ、ｅ、およびｆのうちのｂ、ブロック１０６Ｂ内における要素値ｂ、ｃ、ｆ、およびｇのうちのｂ、ブロック１０６Ｃ内における要素値ｃ、ｄ、ｇ、およびｈのうちのｈがそれぞれ最大値であった場合を例示している。なお、最大値ではなく平均値を局所的な統計量として求める、平均値プーリング処理を行ってもよい。
　圧縮部８０は、畳み込み層８５および９５による畳み込み処理とプーリング層１０５によるプーリング処理とを複数回繰り返すことで、最終的な演算データ１００を出力する。この最終的な演算データ１００が、すなわち特徴量マップ８２である。なお、図示は省略するが、圧縮部８０においては、演算データ１００を出力部８１に受け渡すスキップレイヤ処理等も行われる。
　出力部８１は、特徴量マップ８２のサイズを拡大することにより拡大特徴量マップとするアップサンプリング処理を行う。出力部８１は、アップサンプリング処理において、同時に畳み込み処理も行う。また、出力部８１は、拡大特徴量マップと、スキップレイヤ処理で圧縮部８０から受け渡された演算データ１００とを結合するマージ処理を行う。出力部８１は、マージ処理後にさらに畳み込み処理を行う。こうした様々な処理を経て、出力部８１は特徴量マップ８２から出力画像５２を出力する。
　このように、対象物識別用ＳＳモデル３３は、ＣＮＮにより構築される。ＣＮＮとしては、Ｕ－Ｎｅｔ、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ　Ｎｅｔｗｏｒｋ）等が挙げられる。
　一例として図１２に示すように、出力画像５２は、各椎骨ＶＢに対してクラスがラベリングされた画像である。より詳しくは、出力画像５２は、Ｎｏ．１、３、５、７、および９の椎骨ＶＢが、ラベルＡに対応するクラスＡとして識別され、Ｎｏ．２、４、６、および８の椎骨ＶＢが、ラベルＢに対応するクラスＢとして識別された画像である。なお、クラスＡは、本開示の技術に係る「第１クラス」の一例であり、クラスＢは、本開示の技術に係る「第２クラス」の一例である。
　一例として図１３に示すように、対象物識別用ＳＳモデル３３は、学習フェーズにおいて、学習データ（教師データとも呼ばれる）１１０を与えられて学習される。学習データ１１０は、学習用断層画像１５Ｌと、学習用断層画像１５Ｌに対応する学習用マーカ位置表示マップ５１Ｌと、学習用断層画像１５Ｌおよび学習用マーカ位置表示マップ５１Ｌに対応するアノテーション画像１１１との組である。学習用マーカ位置表示マップ５１Ｌは、学習用断層画像１５Ｌに写る椎骨ＶＢに対してマーカＭＫを付し、かつ交互にラベルＡおよびＢを付したものである。アノテーション画像１１１は、学習用断層画像１５Ｌに写る各椎骨ＶＢを、学習用マーカ位置表示マップ５１Ｌにおいて付したラベルに対応したクラスでラベリングした画像である。
　学習フェーズにおいて、対象物識別用ＳＳモデル３３には、学習用断層画像１５Ｌおよび学習用マーカ位置表示マップ５１Ｌが入力される。対象物識別用ＳＳモデル３３は、学習用断層画像１５Ｌおよび学習用マーカ位置表示マップ５１Ｌに対して学習用出力画像５２Ｌを出力する。この学習用出力画像５２Ｌおよびアノテーション画像１１１に基づいて、対象物識別用ＳＳモデル３３の損失演算がなされる。そして、損失演算の結果に応じて対象物識別用ＳＳモデル３３の各種係数（フィルタＦの係数等）の更新設定がなされ、更新設定にしたがって対象物識別用ＳＳモデル３３が更新される。
　対象物識別用ＳＳモデル３３の学習フェーズにおいては、学習用断層画像１５Ｌおよび学習用マーカ位置表示マップ５１Ｌの対象物識別用ＳＳモデル３３への入力、対象物識別用ＳＳモデル３３からの学習用出力画像５２Ｌの出力、損失演算、更新設定、および対象物識別用ＳＳモデル３３の更新の上記一連の処理が、学習データ１１０が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、アノテーション画像１１１に対する学習用出力画像５２Ｌの予測精度が、予め定められた設定レベルまで達した場合に終了される。こうして予測精度が設定レベルまで達した対象物識別用ＳＳモデル３３が、ストレージ２０に記憶されて対象物識別部４３において用いられる。なお、アノテーション画像１１１に対する学習用出力画像５２Ｌの予測精度に関係なく、上記一連の処理を設定回数繰り返した場合に学習を終了してもよい。
　一例として図１４に示すように、付与結果５３は、Ｔｈ１０（第１０胸椎）、Ｌ１（第１腰椎）、Ｓ１（仙骨）といった各椎骨ＶＢの解剖学的名称である。
　図１５に、付与結果５３を表示する第３画面１１５の一例を示す。表示制御部４５は、図５で示した第２画面７０から第３画面１１５に画面を遷移させる。第３画面１１５には、断層画像１５Ｓの横に付与結果５３が表示される。また、第３画面１１５には、図４の第１画面６０と同じく、所見入力欄６２およびＯＫボタン６４が表示される。医師は、付与結果５３を参照しつつ所見入力欄６２に所見を入力した後、ＯＫボタン６４にカーソル６６を合わせて選択する。これにより、指示受付部４１は、図４の場合と同じく、所見記憶指示を受け付ける。ＲＷ制御部４０は、断層画像１５と、所見入力欄６２に入力された所見とを関連付けてストレージ２０に記憶する。
　次に、上記構成による作用について、図１６のフローチャートを参照して説明する。まず、診断支援装置１２において作動プログラム３０が起動されると、図３で示したように、診断支援装置１２のＣＰＵ２２は、ＲＷ制御部４０、指示受付部４１、マーカ位置表示マップ生成部４２、対象物識別部４３、解剖学的名称付与部４４、および表示制御部４５として機能される。
　ＲＷ制御部４０により、ストレージ２０から、脊椎ＳＰの診断を行う患者Ｐの断層画像１５が読み出される（ステップＳＴ１００）。これにより断層画像１５が取得される。断層画像１５は、ＲＷ制御部４０から表示制御部４５に出力される。そして、表示制御部４５の制御の下、図４で示した第１画面６０がディスプレイ１７に表示される（ステップＳＴ１１０）。
　第１画面６０において、医師により解析ボタン６５が選択された場合、断層画像１５の解析指示が指示受付部４１にて受け付けられる（ステップＳＴ１２０）。表示制御部４５の制御の下、第１画面６０が、図５で示した第２画面７０に遷移される（ステップＳＴ１３０）。
　第２画面７０において、医師により各椎骨ＶＢにマーカＭＫが付された後、入力完了ボタン７２が選択される。これにより、マーカＭＫの入力指示が指示受付部４１にて受け付けられる（ステップＳＴ１４０）。そして、指示受付部４１によって、マーカＭＫの位置を表すマーカ位置情報５０が生成される（ステップＳＴ１５０）。マーカ位置情報５０は、指示受付部４１からマーカ位置表示マップ生成部４２に出力される。
　マーカ位置表示マップ生成部４２において、マーカ位置情報５０に基づいて、図６で示したマーカ位置表示マップ５１が生成される（ステップＳＴ１６０）。マーカ位置表示マップ５１は、マーカ位置表示マップ生成部４２から対象物識別部４３に出力される。
　対象物識別部４３には、ＲＷ制御部４０から断層画像１５および対象物識別用ＳＳモデル３３が入力される。対象物識別部４３において、図７で示したように、断層画像１５およびマーカ位置表示マップ５１が対象物識別用ＳＳモデル３３に入力される。この際、図８で示したように、断層画像１５およびマーカ位置表示マップ５１がチャンネル方向に結合される。そして、対象物識別用ＳＳモデル３３から出力画像５２が出力される（ステップＳＴ１７０）。出力画像５２は、対象物識別部４３から解剖学的名称付与部４４に出力される。
　解剖学的名称付与部４４では、図１４で示したように、出力画像５２において識別された１つ１つの椎骨ＶＢに対して解剖学的名称が付与される（ステップＳＴ１８０）。付与結果５３は、解剖学的名称付与部４４から表示制御部４５に出力される。
　表示制御部４５の制御の下、図１５で示した第３画面１１５がディスプレイ１７に表示される（ステップＳＴ１９０）。医師は、付与結果５３を参照しつつ所見入力欄６２に所見を入力した後、ＯＫボタン６４にカーソル６６を合わせて選択する。これにより、所見記憶指示が指示受付部４１にて受け付けられる（ステップＳＴ２００）。そして、ＲＷ制御部４０の制御の下、断層画像１５と、所見入力欄６２に入力された所見とが関連付けられてストレージ２０に記憶される（ステップＳＴ２１０）。
　以上説明したように、診断支援装置１２のＣＰＵ２２は、ＲＷ制御部４０、指示受付部４１、マーカ位置表示マップ生成部４２、および対象物識別部４３を備える。ＲＷ制御部４０は、連続して並んだ複数の同種の対象物である椎骨ＶＢが写る断層画像１５をストレージ２０から読み出すことで取得する。指示受付部４１は、断層画像１５内の椎骨ＶＢの位置を示すマーカＭＫの入力を受け付ける。マーカ位置表示マップ生成部４２は、断層画像１５内のマーカＭＫの位置を表すマーカ位置表示マップ５１を生成する。対象物識別部４３は、断層画像１５およびマーカ位置表示マップ５１を対象物識別用ＳＳモデル３３に入力し、各椎骨ＶＢが識別された出力画像５２を対象物識別用ＳＳモデル３３から出力させる。したがって、何の手掛かりもなく椎骨ＶＢを識別する場合と比べて、マーカＭＫという手掛かりがある分、椎骨ＶＢの識別精度を高めることが可能となる。
　マーカ位置表示マップ生成部４２は、連続して並んだ椎骨ＶＢの全てに対応するマーカＭＫのマーカ位置表示マップ５１を生成する。この際、マーカ位置表示マップ生成部４２は、連続して並んだ椎骨ＶＢのうちの隣接する２つの椎骨ＶＢについて、一方の椎骨ＶＢに対してラベルＡを付し、他方の椎骨ＶＢに対してラベルＢを付す。対象物識別部４３は、一方の椎骨ＶＢがラベルＡに対応するクラスＡとして識別され、他方の椎骨ＶＢがラベルＢに対応するクラスＢとして識別された出力画像５２を対象物識別用ＳＳモデル３３から出力させる。したがって、一度に全ての椎骨ＶＢを識別することができ、処理時間を短縮することができる。
　対象物識別部４３は、対象物識別用ＳＳモデル３３において、断層画像１５およびマーカ位置表示マップ５１をチャンネル方向に結合する。断層画像１５およびマーカ位置表示マップ５１を別々の圧縮部に入力する場合と比べて、処理時間を短縮することができる。
　対象物識別用ＳＳモデル３３は、学習フェーズにおいて、学習用断層画像１５Ｌおよび学習用マーカ位置表示マップ５１Ｌが入力され、学習用断層画像１５Ｌおよび学習用マーカ位置表示マップ５１Ｌに応じて学習用出力画像５２Ｌを出力する。そして、対象物識別用ＳＳモデル３３は、学習用出力画像５２Ｌと、学習用断層画像１５Ｌを元に生成されたアノテーション画像１１１であって、マーカＭＫが付された椎骨ＶＢがアノテーションされたアノテーション画像１１１との比較に基づいて学習される。このため、断層画像１５およびマーカ位置表示マップ５１の入力に対して、相応の出力画像５２を出力する対象物識別用ＳＳモデル３３を得ることができる。
　医療分野においては、身体の構造物を精度よく識別することで、正確な診断に役立てたいという要望が非常に高い。このため、患者Ｐの身体内を写した医用画像である断層画像１５を解析対象画像とし、身体の構造物である椎骨ＶＢを対象物とする本例は、要望にマッチした形態であるといえる。
　また、脊椎ＳＰを構成する椎骨ＶＢは、特に識別がしにくい対象物として知られており、従来様々な識別手法が提案されていて、識別精度を高めることが喫緊の課題となっている。このため、患者Ｐの脊椎ＳＰを写した断層画像１５を医用画像とし、脊椎ＳＰを構成する椎骨ＶＢを構造物とする本例は、椎骨ＶＢの識別精度を高めるという喫緊の課題にマッチした形態であるといえる。
　圧縮部８０に入力される断層画像１５は、マーカ位置表示マップ５１の生成の元となったサジタル断面の断層画像１５Ｓに限らない。マーカ位置表示マップ５１の生成の元となったサジタル断面の断層画像１５Ｓに加えて、マーカ位置表示マップ５１の生成の元となったサジタル断面の断層画像１５Ｓの前後数枚のサジタル断面の断層画像１５Ｓを圧縮部８０に入力してもよい。あるいは、１枚のサジタル断面の断層画像１５Ｓに対する椎骨ＶＢの識別結果を、前後数枚のサジタル断面の断層画像１５Ｓに適用してもよい。
　なお、マーカＭＫは、断層画像１５の１つの画素８６に対応する点に限らない。カーソル６６でクリックした点を中心とする数個から数十個の画素８６で構成される円形の領域でもよい。あるいは、椎骨ＶＢ内を医師が粗く塗り潰した、複数の画素８６で構成される不定形の領域をマーカＭＫとしてもよい。この場合、マーカ位置表示マップ５１は、医師により塗り潰された領域の複数の画素８６に対応する要素８７の要素値を例えば１または２、医師により塗り潰された領域以外の画素８６に対応する要素８７の要素値を０とするデータとなる。
　マーカＭＫを付す位置は、椎骨ＶＢの椎体の中心と思しき点に限らない。椎弓の棘突起の先端と思しき点でもよい。あるいは、脊髄が通る孔である椎孔の中心と思しき点でもよい。
　上記例においては、ラベルＡの要素値を１、ラベルＢの要素値を２としているが、これに限らない。ラベルＡおよびラベルＢの要素値が互いに異なっていればよい。例えば、ラベルＡの要素値を１、ラベルＢの要素値を－１としてもよい。
　ラベルの種類はラベルＡおよびＢの２種に限らない。３種以上のラベルを付してもよい。例えば図１７に示すように、Ｎｏ１、４、および７の椎骨ＶＢの要素値を１としてラベルＡを付し、Ｎｏ２、５、および８の椎骨ＶＢの要素値を２としてラベルＢを付し、Ｎｏ３、６、および９の椎骨ＶＢの要素値を３としてラベルＣを付してもよい。この場合、出力画像５２は、図１８に示すように、Ｎｏ．１、４、および７の椎骨ＶＢが、ラベルＡに対応するクラスＡとして識別され、Ｎｏ．２、５、および８の椎骨ＶＢが、ラベルＢに対応するクラスＢとして識別され、Ｎｏ．３、６、および９の椎骨ＶＢが、ラベルＣに対応するクラスＣとして識別された画像となる。
　なお、上記例では、各椎骨ＶＢの解剖学的名称を付与するために椎骨ＶＢを識別する態様を例示したが、これに限らない。例えば、骨折、癌の骨転移といった病変の候補を抽出するＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ）の前処理として椎骨ＶＢを識別してもよい。
　［第２実施形態］
　上記第１実施形態では、連続して並んだ複数の椎骨ＶＢの全てに対応するマーカＭＫのマーカ位置表示マップ５１を生成しているが、これに限らない。図１９～図２１に示す第２実施形態のようにしてもよい。
　一例として図１９に示すように、マーカ位置表示マップ生成部４２は、マーカ位置情報５０に基づいて、マーカ位置表示マップ群１３０を生成する。マーカ位置表示マップ群１３０は、Ｎｏ．１の椎骨ＶＢに付されたマーカＭＫの位置を表すマーカ位置表示マップ５１＿１、Ｎｏ．２の椎骨ＶＢに付されたマーカＭＫの位置を表すマーカ位置表示マップ５１＿２、Ｎｏ．３の椎骨ＶＢに付されたマーカＭＫの位置を表すマーカ位置表示マップ５１＿３、Ｎｏ．４の椎骨ＶＢに付されたマーカＭＫの位置を表すマーカ位置表示マップ５１＿４、・・・を含む。つまり、本実施形態においては、マーカ位置表示マップ生成部４２は、連続して並んだ複数の椎骨ＶＢの１つの椎骨ＶＢに対応するマーカＭＫのマーカ位置表示マップ５１を生成する。
　一例として図２０に示すように、本実施形態の対象物識別用ＳＳモデル１３３には、断層画像１５、およびマーカ位置表示マップ群１３０を構成する複数のマーカ位置表示マップ５１のうちの１つが入力される。また、対象物識別用ＳＳモデル１３３は、マーカ位置表示マップ５１において位置が表されたマーカＭＫが付された１つの椎骨ＶＢが識別された出力画像５２を出力する。図２０においては、Ｎｏ．１の椎骨ＶＢに付されたマーカＭＫの位置を表すマーカ位置表示マップ５１＿１が断層画像１５とともに対象物識別用ＳＳモデル１３３に入力され、Ｎｏ．１の椎骨ＶＢが識別された出力画像５２＿１が対象物識別用ＳＳモデル１３３から出力される様子を例示している。
　学習フェーズにおいて、対象物識別用ＳＳモデル１３３には、学習用断層画像１５Ｌ、および１つの椎骨ＶＢに対応するマーカＭＫの学習用マーカ位置表示マップ５１Ｌが入力される。そして、これにより対象物識別用ＳＳモデル１３３から出力された学習用出力画像５２Ｌと、マーカＭＫが付された１つの椎骨ＶＢがアノテーションされたアノテーション画像とに基づいて損失演算がなされる。
　図２０で示した処理を、各マーカ位置表示マップ５１について繰り返すことで、一例として図２１に示す出力画像群１３５が得られる。出力画像群１３５は、Ｎｏ．１の椎骨ＶＢが識別された出力画像５２＿１、Ｎｏ．２の椎骨ＶＢが識別された出力画像５２＿２、Ｎｏ．３の椎骨ＶＢが識別された出力画像５２＿３、Ｎｏ．４の椎骨ＶＢが識別された出力画像５２＿４、・・・を含む。対象物識別部４３は、これら複数の出力画像５２＿１、５２＿２、・・・から、各椎骨ＶＢが識別された、最終的に出力する出力画像５２を生成する。
　このように、第２実施形態では、マーカ位置表示マップ生成部４２は、連続して並んだ複数の椎骨ＶＢの１つの椎骨ＶＢに対応するマーカＭＫのマーカ位置表示マップ５１を生成する。対象物識別部４３は、１つの椎骨ＶＢが識別された出力画像５２を対象物識別用ＳＳモデル１３３から出力させる。このため、上記第１実施形態と比べて処理時間は掛かるものの、１つ１つの椎骨ＶＢをより高い精度で識別することができる。
　なお、上記第１実施形態のように、断層画像１５に写る全ての椎骨ＶＢに一度にマーカＭＫを付してもよいし、１つの椎骨ＶＢにマーカＭＫを付しては１つの椎骨ＶＢを識別することを繰り返してもよい。
　［第３実施形態］
　連続して並んだ複数の椎骨ＶＢの全てに対応するマーカＭＫのマーカ位置表示マップ５１を生成する上記第１実施形態、および連続して並んだ複数の椎骨ＶＢの１つの椎骨ＶＢに対応するマーカＭＫのマーカ位置表示マップ５１を生成する上記第２実施形態に代えて、図２２～図２４に示す第３実施形態のようにしてもよい。
　一例として図２２に示すように、マーカ位置表示マップ生成部４２は、マーカ位置情報５０に基づいて、マーカ位置表示マップ群１４０を生成する。マーカ位置表示マップ群１４０は、Ｎｏ．１、３、５、７、および９の椎骨ＶＢに付されたマーカＭＫの位置を表すマーカ位置表示マップ５１＿１、３、５、７、９と、Ｎｏ．２、４、６、および８の椎骨ＶＢに付されたマーカＭＫの位置を表すマーカ位置表示マップ５１＿２、４、６、８とを含む。つまり、本実施形態においては、マーカ位置表示マップ生成部４２は、連続して並んだ複数の椎骨ＶＢのうち、１つの椎骨ＶＢを挟んで対向配置された椎骨ＶＢに対応するマーカＭＫのマーカ位置表示マップ５１を生成する。
　一例として図２３に示すように、本実施形態の対象物識別用ＳＳモデル１４３には、断層画像１５、およびマーカ位置表示マップ群１４０を構成する２つのマーカ位置表示マップ５１のうちの１つが入力される。また、対象物識別用ＳＳモデル１４３は、マーカ位置表示マップ５１において位置が表されたマーカＭＫが付された、１つの椎骨ＶＢを挟んで対向配置された椎骨ＶＢが識別された出力画像５２を出力する。図２３においては、Ｎｏ．１、３、５、７、および９の椎骨ＶＢに付されたマーカＭＫの位置を表すマーカ位置表示マップ５１＿１、３、５、７、９が断層画像１５とともに対象物識別用ＳＳモデル１４３に入力され、Ｎｏ．１、３，５、７、および９の椎骨ＶＢが識別された出力画像５２＿１、３、５、７、９が対象物識別用ＳＳモデル１４３から出力される様子を例示している。
　学習フェーズにおいて、対象物識別用ＳＳモデル１４３には、学習用断層画像１５Ｌ、および１つの椎骨ＶＢを挟んで対向配置された椎骨ＶＢに対応するマーカＭＫの学習用マーカ位置表示マップ５１Ｌが入力される。そして、これにより対象物識別用ＳＳモデル１４３から出力された学習用出力画像５２Ｌと、マーカＭＫが付された椎骨ＶＢであって、１つの椎骨ＶＢを挟んで対向配置された椎骨ＶＢがアノテーションされたアノテーション画像とに基づいて損失演算がなされる。あるいは、対象物識別用ＳＳモデル１４３には、上記第２実施形態の対象物識別用ＳＳモデル１３３と同様に、学習用断層画像１５Ｌ、および１つの椎骨ＶＢに対応するマーカＭＫの学習用マーカ位置表示マップ５１Ｌが入力される。そして、これにより対象物識別用ＳＳモデル１４３から出力された学習用出力画像５２Ｌと、マーカＭＫが付された１つの椎骨ＶＢがアノテーションされたアノテーション画像とに基づいて損失演算がなされる。
　図２３で示した処理を、マーカ位置表示マップ５１＿２、４、６、８についても繰り返すことで、一例として図２４に示す出力画像群１４５が得られる。出力画像群１４５は、Ｎｏ．１、３、５、７、および９の椎骨ＶＢが識別された出力画像５２＿１、３、５、７、９と、Ｎｏ．２、４、６、および８の椎骨ＶＢが識別された出力画像５２＿２、４、６、８とを含む。対象物識別部４３は、これら２つの出力画像５２＿１、３、５、７、９および５２＿２、４、６、８から、各椎骨ＶＢが識別された、最終的に出力する出力画像５２を生成する。
　このように、第３実施形態では、マーカ位置表示マップ生成部４２は、連続して並んだ複数の椎骨ＶＢのうち、１つの椎骨ＶＢを挟んで対向配置された椎骨ＶＢに対応するマーカＭＫのマーカ位置表示マップ５１を生成する。対象物識別部４３は、１つの椎骨ＶＢを挟んで対向配置された椎骨ＶＢが識別された出力画像５２を対象物識別用ＳＳモデル１４３から出力させる。このため、上記第２実施形態よりも短い処理時間で、１つ１つの椎骨ＶＢを高い精度で識別することができる。
　なお、上記第１実施形態のように、断層画像１５に写る全ての椎骨ＶＢに一度にマーカＭＫを付してもよいし、Ｎｏ．１、３、５、７、および９の椎骨ＶＢにマーカＭＫを付してこれらの椎骨ＶＢを識別することと、Ｎｏ．２、４、６、および８の椎骨ＶＢにマーカＭＫを付してこれらの椎骨ＶＢを識別することを分けて行ってもよい。
　Ｎｏ．１、３、５、７、および９、並びにＮｏ．２、４、６、および８のように、１つおきの場合を例示したが、これに限らない。Ｎｏ．１、４、および７、Ｎｏ．２、５、および８、並びにＮｏ．３、６、および９のように、２つおきでもよい。また、３つおき、４つおきでもよい。ただし、当然ではあるが、１つおきの場合よりも処理時間は掛かる。
　［第４実施形態］
　上記各実施形態では、医師がマーカＭＫを入力する前提で説明したが、これに限らない。図２５～図３１に示す第４実施形態のように、椎骨ＶＢ内の点を自動的に抽出し、抽出した点をマーカＭＫとして受け付けてもよい。
　一例として図２５に示すように、本実施形態の診断支援装置のＣＰＵには、抽出部１５０が構築される。抽出部１５０には、ＲＷ制御部４０から断層画像１５および点抽出用ＳＳモデル１５１が入力される。点抽出用ＳＳモデル１５１はストレージ２０に記憶されている。抽出部１５０は、点抽出用ＳＳモデル１５１を用いて、断層画像１５に写る各椎骨ＶＢ内の点をマーカＭＫとして抽出する。ここでは、椎骨ＶＢ内の点として椎体の中心点ＣＰ（図３０参照）を抽出するものとする。抽出部１５０は、マーカＭＫとしての椎体の中心点ＣＰの位置を表すマーカ位置情報１５２を生成する。抽出部１５０は、マーカ位置情報１５２をマーカ位置表示マップ生成部４２に出力する。マーカ位置表示マップ生成部４２は、マーカ位置情報１５２に基づいてマーカ位置表示マップ５１を生成し、マーカ位置表示マップ５１を対象物識別部４３に出力する。以降の処理は上記各実施形態と同じであるため説明を省略する。
　一例として図２６に示すように、抽出部１５０は、解析部１６０、選出部１６１、非最大抑制処理部１６２、および変換部１６３を有する。解析部１６０は、断層画像１５を点抽出用ＳＳモデル１５１に入力し、点抽出用ＳＳモデル１５１から椎体の中心点ＣＰの存在確率を示す確率分布マップ１６４を出力させる。解析部１６０は、確率分布マップ１６４を選出部１６１に出力する。
　一例として図２７に示すように、確率分布マップ１６４は、断層画像１５の画素８６と１対１で対応する要素１７０をもち、各要素１７０の要素値として、椎体の中心点ＣＰの存在確率と非存在確率のペアが登録されたデータである。例えば要素値（１．０、０）は、椎体の中心点ＣＰの存在確率が１００％、非存在確率が０％であることを表している。
　図２６に戻って、選出部１６１は、確率分布マップ１６４において、椎体の中心点ＣＰの存在確率が閾値（例えば０．９）以上の要素１７０を、椎体の中心点ＣＰの候補２００（図３１参照）として選出する。選出部１６１は、選出した候補２００を表す点候補画像１６５（図３１も参照）を生成し、生成した点候補画像１６５を非最大抑制処理部１６２に出力する。点候補画像１６５は、例えば、候補２００に対応する画素の画素値が１、その他の画素の画素値が０の画像である。
　非最大抑制処理部１６２は、点候補画像１６５の各候補２００に対して非最大抑制処理を施し、その結果として、椎体の中心点ＣＰを表す点画像１６６（図３１も参照）を生成する。点画像１６６は、例えば、椎体の中心点ＣＰに対応する画素の画素値が１、その他の画素の画素値が０の画像である。つまり、点画像１６６は、断層画像１５内の椎骨ＶＢの位置を示すマーカＭＫを表す画像に他ならない。
　非最大抑制処理部１６２は、点画像１６６を変換部１６３に出力する。変換部１６３は、点画像１６６を受け取ることで、マーカＭＫの入力を受け付けていることになる。変換部１６３は、点画像１６６をマーカ位置情報１５２に変換する。
　一例として図２８に示すように、点抽出用ＳＳモデル１５１は、対象物識別用ＳＳモデル３３と同様に、圧縮部１８０と出力部１８１とを有する。圧縮部１８０には断層画像１５が入力される。圧縮部１８０は、対象物識別用ＳＳモデル３３の圧縮部８０と同様に、断層画像１５に畳み込み処理およびプーリング処理等を施し、断層画像１５を特徴量マップ１８２に変換する。圧縮部１８０は、特徴量マップ１８２を出力部１８１に受け渡す。出力部１８１は、特徴量マップ１８２に基づいて、確率分布マップ１６４を出力する。
　一例として図２９に示すように、出力部１８１は、デコーダ部１９０と確率分布マップ生成部１９１とを有する。デコーダ部１９０は、対象物識別用ＳＳモデル３３の出力部８１と同様に、特徴量マップ１８２にアップサンプリング処理、畳み込み処理、およびマージ処理等を行い、最終特徴量マップ１９２を生成する。最終特徴量マップ１９２はｌｏｇｉｔｓとも呼ばれ、断層画像１５の画素８６と１対１で対応する要素をもつ。最終特徴量マップ１９２の各要素は、抽出対象である椎体の中心点ＣＰと関連する要素値を有する。例えば、椎体の中心点ＣＰがあると思しき要素の要素値は、他の要素の要素値よりも高い値となっている。デコーダ部１９０は、最終特徴量マップ１９２を確率分布マップ生成部１９１に出力する。
　確率分布マップ生成部１９１は、周知の活性化関数を用いて、最終特徴量マップ１９２から確率分布マップ１６４を生成する。
　例えば、最終特徴量マップ１９２のある要素において、椎体の中心点ＣＰであるとする要素値が２、椎体の中心点ＣＰでないとする要素値が１．５であった場合を考える。この場合、確率分布マップ生成部１９１は、例えばソフトマックス関数を適用して、ｅ２／（ｅ２＋ｅ１．５）およびｅ１．５／（ｅ２＋ｅ１．５）を計算する。そして、当該要素に椎体の中心点ＣＰが存在する確率、すなわち存在確率として０．６２（≒ｅ２／（ｅ２＋ｅ１．５））を導出し、当該要素に椎体の中心点ＣＰが存在しない確率（以下、非存在確率という）として０．３８（≒ｅ１．５／（ｅ２＋ｅ１．５））を導出する。なお、ソフトマックス関数に代えて、シグモイド関数を用いてもよい。
　一例として図３０に示すように、点抽出用ＳＳモデル１５１は、学習フェーズにおいて、学習データ１９５を与えられて学習される。学習データ１９５は、学習用断層画像１５Ｌと、学習用断層画像１５Ｌに対応するアノテーション画像１９６との組である。アノテーション画像１９６は、学習用断層画像１５Ｌに写る各椎骨ＶＢの椎体の中心点ＣＰがアノテーションされた画像である。アノテーション画像１９６は、椎体の中心点ＣＰに対応する画素１９７Ａの画素値を１、その他の画素１９７Ｂの画素値を０とする画像である。
　学習フェーズにおいて、点抽出用ＳＳモデル１５１には学習用断層画像１５Ｌが入力される。点抽出用ＳＳモデル１５１は、学習用断層画像１５Ｌに対して学習用確率分布マップ１６４Ｌを出力する。この学習用確率分布マップ１６４Ｌおよびアノテーション画像１９６に基づいて、点抽出用ＳＳモデル１５１の損失演算がなされる。そして、損失演算の結果に応じて点抽出用ＳＳモデル１５１の各種係数の更新設定がなされ、更新設定にしたがって点抽出用ＳＳモデル１５１が更新される。
　点抽出用ＳＳモデル１５１の損失演算においては、重み付きの交差エントロピー関数が用いられる。交差エントロピー関数は、学習用確率分布マップ１６４Ｌの要素１７０の要素値のうちの椎体の中心点ＣＰの存在確率と、アノテーション画像１９６の画素値とが比較的近い値であった場合は、比較的低い値をとる。つまりこの場合は損失が小さく見積もられる。逆に、交差エントロピー関数は、学習用確率分布マップ１６４Ｌの要素１７０の要素値のうちの椎体の中心点ＣＰの存在確率と、アノテーション画像１９６の画素値とが比較的乖離した値であった場合は、比較的高い値をとる。つまりこの場合は損失が大きく見積もられる。
　交差エントロピー関数の重みは、アノテーション画像１９６においてアノテーションされた椎体の中心点ＣＰに対応する画素１９７Ａに対しては例えば１０が設定され、その他の画素１９７Ｂに対しては例えば１が設定される。椎体の中心点ＣＰは非常に小さいため、何の対策もしなければ埋もれてしまって学習することが困難となる。しかし、椎体の中心点ＣＰに対応する画素１９７Ａに、その他の画素１９７Ｂよりも大きい重みを割り当てるので、椎体の中心点ＣＰに対して重点的に学習を行うことができる。
　点抽出用ＳＳモデル１５１の学習フェーズにおいては、学習用断層画像１５Ｌの点抽出用ＳＳモデル１５１への入力、点抽出用ＳＳモデル１５１からの学習用確率分布マップ１６４Ｌの出力、損失演算、更新設定、および点抽出用ＳＳモデル１５１の更新の上記一連の処理が、学習データ１９５が交換されつつ繰り返し行われる。上記一連の処理の繰り返しは、アノテーション画像１９６に対する学習用確率分布マップ１６４Ｌの予測精度が、予め定められた設定レベルまで達した場合に終了される。こうして予測精度が設定レベルまで達した点抽出用ＳＳモデル１５１が、ストレージ２０に記憶されて抽出部１５０において用いられる。なお、アノテーション画像１９６に対する学習用確率分布マップ１６４Ｌの予測精度に関係なく、上記一連の処理を設定回数繰り返した場合に学習を終了してもよい。
　図３１に、非最大抑制処理部１６２による非最大抑制処理の一例を示す。点候補画像１６５は、単純に確率分布マップ１６４の存在確率が閾値以上の要素１７０を候補２００として選出したものである。このため、全ての候補２００が真に椎体の中心点ＣＰであるとは限らない。そこで、非最大抑制処理を施すことで、複数の候補２００の中から、真の椎体の中心点ＣＰを絞り込む。
　非最大抑制処理部１６２は、まず、点候補画像１６５の各候補２００に対して矩形枠２０１を割り当てる。矩形枠２０１は、椎骨ＶＢに応じた予め設定されたサイズ、例えば１つの椎骨ＶＢよりも一回り大きいサイズを有する。矩形枠２０１の中心は、候補２００と一致している。
　次いで、非最大抑制処理部１６２は、各候補２００に割り当てた矩形枠２０１のＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）を計算する。ＩｏＵは、２つの矩形枠２０１の重畳した領域（Ａｒｅａ　ｏｆ　Ｏｖｅｒｌａｐ）を、２つの矩形枠２０１を統合した領域（Ａｒｅａ　ｏｆ　Ｕｎｉｏｎ）で除算した値である。非最大抑制処理部１６２は、ＩｏＵが閾値（例えば０．３）以上の２つの矩形枠２０１について、代表する１つの矩形枠２０１を残して他の１つの矩形枠２０１を候補２００毎削除する。これにより、ＩｏＵが閾値以上の２つの矩形枠２０１が、１つの矩形枠２０１に統合される。こうして隣り合う矩形枠２０１と閾値以上のＩｏＵで重畳する矩形枠２０１および候補２００を削除していくことで、最終的に椎体の中心点ＣＰを表す点画像１６６が得られる。
　このように、第４実施形態では、椎骨ＶＢ内の点を自動的に抽出し、抽出した点をマーカＭＫとして受け付ける。このため、医師がマーカＭＫを入力する手間を省くことができる。図５で示した第２画面７０をディスプレイ１７に表示する必要もない。医師は第１画面６０において解析ボタン６５を選択するだけで済む。
　アノテーション画像１９６は、椎体の中心点ＣＰを示す１つの画素１９７Ａがアノテーションされた画像に限らない。椎体の中心点ＣＰを中心とする数個から数十個の画素で構成される円形の領域がアノテーションされた画像でもよい。また、抽出する点は椎体の中心点ＣＰに限らない。椎弓の棘突起の先端でもよいし、椎孔の中心でもよい。
　上記各実施形態において、例えば、ＲＷ制御部４０、指示受付部４１、マーカ位置表示マップ生成部４２、対象物識別部４３、解剖学的名称付与部４４、表示制御部４５、抽出部１５０、解析部１６０、選出部１６１、非最大抑制処理部１６２、および変換部１６３といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム３０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ２２に加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。
　解析対象画像はＣＴ装置１０から得られた断層画像１５に限らない。例えばＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）装置から得られた断層画像でもよい。また、解析対象画像は断層画像のような３次元画像に限らない。例えば単純放射線画像のような２次元画像でもよい。
　構造物は椎骨ＶＢに限らない。指の骨等でもよい。また、解析対象画像は医用画像に限らない。このため、対象物も身体の構造物に限らない。例えば街頭を映した画像を解析対象画像とし、対象物を人物の顔としてもよい。
　本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (10)

  1. 　プロセッサと、
    　前記プロセッサに接続または内蔵されたメモリと、を備え、
    　前記プロセッサは、
    　連続して並んだ複数の同種の対象物が写る解析対象画像を取得し、
    　前記解析対象画像内の前記対象物の位置を示すマーカの入力を受け付け、
    　前記解析対象画像内の前記マーカの位置を表すマーカ位置表示マップを生成し、
    　前記解析対象画像および前記マーカ位置表示マップをセマンティックセグメンテーションモデルに入力し、前記対象物が識別された出力画像を前記セマンティックセグメンテーションモデルから出力させる、
    画像処理装置。
  2. 　前記プロセッサは、
    　連続して並んだ複数の同種の前記対象物のうちの１つの前記対象物に対応する前記マーカの前記マーカ位置表示マップを生成し、
    　１つの前記対象物が識別された前記出力画像を前記セマンティックセグメンテーションモデルから出力させる請求項１に記載の画像処理装置。
  3. 　前記プロセッサは、
    　連続して並んだ複数の同種の前記対象物のうち、少なくとも１つの前記対象物を挟んで対向配置された対象物に対応する前記マーカの前記マーカ位置表示マップを生成し、
    　少なくとも１つの前記対象物を挟んで対向配置された対象物が識別された前記出力画像を前記セマンティックセグメンテーションモデルから出力させる請求項１に記載の画像処理装置。
  4. 　前記プロセッサは、
    　連続して並んだ複数の同種の前記対象物の全てに対応する前記マーカの前記マーカ位置表示マップを生成し、
    　前記マーカ位置表示マップを生成する際に、連続して並んだ複数の同種の前記対象物のうちの隣接する第１対象物および第２対象物について、前記第１対象物に対して第１ラベルを付し、前記第２対象物に対して前記第１ラベルとは異なる第２ラベルを付し、
    　前記第１対象物が前記第１ラベルに対応する第１クラスとして識別され、前記第２対象物が前記第２ラベルに対応する第２クラスとして識別された前記出力画像を前記セマンティックセグメンテーションモデルから出力させる請求項１に記載の画像処理装置。
  5. 　前記プロセッサは、
    　前記セマンティックセグメンテーションモデルにおいて、前記解析対象画像および前記マーカ位置表示マップをチャンネル方向に結合する請求項１から請求項４のいずれか１項に記載の画像処理装置。
  6. 　前記セマンティックセグメンテーションモデルは、学習フェーズにおいて、学習用解析対象画像および学習用マーカ位置表示マップが入力され、
    　前記学習用解析対象画像および前記学習用マーカ位置表示マップに応じて学習用出力画像を出力し、
    　前記学習用出力画像と、前記学習用解析対象画像を元に生成されたアノテーション画像であって、前記マーカが付された前記対象物がアノテーションされたアノテーション画像との比較に基づいて学習される請求項１から請求項５のいずれか１項に記載の画像処理装置。
  7. 　前記解析対象画像は患者の身体内を写した医用画像であり、
    　前記対象物は前記身体の構造物である請求項１から請求項６のいずれか１項に記載の画像処理装置。
  8. 　前記医用画像は前記患者の脊椎を写した画像であり、
    　前記構造物は前記脊椎を構成する椎骨である請求項７に記載の画像処理装置。
  9. 　連続して並んだ複数の同種の対象物が写る解析対象画像を取得すること、
    　前記解析対象画像内の前記対象物の位置を示すマーカの入力を受け付けること、
    　前記解析対象画像内の前記マーカの位置を表すマーカ位置表示マップを生成すること、並びに、
    　前記解析対象画像および前記マーカ位置表示マップをセマンティックセグメンテーションモデルに入力し、前記対象物が識別された出力画像を前記セマンティックセグメンテーションモデルから出力させること、
    を含む画像処理装置の作動方法。
  10. 　連続して並んだ複数の同種の対象物が写る解析対象画像を取得すること、
    　前記解析対象画像内の前記対象物の位置を示すマーカの入力を受け付けること、
    　前記解析対象画像内の前記マーカの位置を表すマーカ位置表示マップを生成すること、並びに、
    　前記解析対象画像および前記マーカ位置表示マップをセマンティックセグメンテーションモデルに入力し、前記対象物が識別された出力画像を前記セマンティックセグメンテーションモデルから出力させること、
    を含む処理をコンピュータに実行させるための画像処理装置の作動プログラム。
PCT/JP2021/045208 2021-03-03 2021-12-08 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム Ceased WO2022185643A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023503385A JPWO2022185643A1 (ja) 2021-03-03 2021-12-08
US18/453,320 US20230394661A1 (en) 2021-03-03 2023-08-22 Image processing apparatus, method for operating image processing apparatus, and program for operating image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-033847 2021-03-03
JP2021033847 2021-03-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/453,320 Continuation US20230394661A1 (en) 2021-03-03 2023-08-22 Image processing apparatus, method for operating image processing apparatus, and program for operating image processing apparatus

Publications (1)

Publication Number Publication Date
WO2022185643A1 true WO2022185643A1 (ja) 2022-09-09

Family

ID=83154231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/045208 Ceased WO2022185643A1 (ja) 2021-03-03 2021-12-08 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム

Country Status (3)

Country Link
US (1) US20230394661A1 (ja)
JP (1) JPWO2022185643A1 (ja)
WO (1) WO2022185643A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120407482B (zh) * 2025-07-04 2025-09-12 苏州元脑智能科技有限公司 型号确定系统、方法、电子设备、存储介质及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007088831A (ja) * 2005-09-22 2007-04-05 Fujifilm Corp 画像補正方法および装置並びにプログラム
JP2009163661A (ja) * 2008-01-10 2009-07-23 Seiko Epson Corp 印刷制御装置、印刷制御方法および印刷制御プログラム
WO2013015381A1 (ja) * 2011-07-27 2013-01-31 国立大学法人 東京大学 画像処理装置
US20200129243A1 (en) * 2018-04-27 2020-04-30 Medtronic Navigation, Inc. System And Method For A Tracked Procedure
JP2021033573A (ja) * 2019-08-22 2021-03-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724865B2 (en) * 2001-11-07 2014-05-13 Medical Metrics, Inc. Method, computer software, and system for tracking, stabilizing, and reporting motion between vertebrae
US9064307B2 (en) * 2013-06-28 2015-06-23 General Electric Company Methods and apparatus to generate three-dimensional spinal renderings
US9401020B1 (en) * 2015-05-01 2016-07-26 London Health Science Centre Research Inc Multi-modality vertebra recognition
GB201720059D0 (en) * 2017-12-01 2018-01-17 Ucb Biopharma Sprl Three-dimensional medical image analysis method and system for identification of vertebral fractures
US10915792B2 (en) * 2018-09-06 2021-02-09 Nec Corporation Domain adaptation for instance detection and segmentation
WO2020209383A1 (ja) * 2019-04-11 2020-10-15 富士フイルム株式会社 構造物分離装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
WO2020262682A1 (ja) * 2019-06-27 2020-12-30 富士フイルム株式会社 学習装置、方法およびプログラム、クラス分類装置、方法およびプログラム、並びに学習済みモデル
WO2021052552A1 (en) * 2019-09-20 2021-03-25 Brainlab Ag Training a machine learning algorithm using digitally reconstructed radiographs
TWI733487B (zh) * 2020-06-09 2021-07-11 廣達電腦股份有限公司 脊椎壓迫性骨折偵測方法與系統
US11704798B2 (en) * 2020-12-02 2023-07-18 Ping An Technology (Shenzhen) Co., Ltd. Method and device for vertebra localization and identification
US11568625B2 (en) * 2021-01-07 2023-01-31 Nvidia Corporation Targeted object detection in image processing applications
US12161421B2 (en) * 2021-07-30 2024-12-10 Medos International Sarl Imaging during a medical procedure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007088831A (ja) * 2005-09-22 2007-04-05 Fujifilm Corp 画像補正方法および装置並びにプログラム
JP2009163661A (ja) * 2008-01-10 2009-07-23 Seiko Epson Corp 印刷制御装置、印刷制御方法および印刷制御プログラム
WO2013015381A1 (ja) * 2011-07-27 2013-01-31 国立大学法人 東京大学 画像処理装置
US20200129243A1 (en) * 2018-04-27 2020-04-30 Medtronic Navigation, Inc. System And Method For A Tracked Procedure
JP2021033573A (ja) * 2019-08-22 2021-03-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
US20230394661A1 (en) 2023-12-07
JPWO2022185643A1 (ja) 2022-09-09

Similar Documents

Publication Publication Date Title
US9020235B2 (en) Systems and methods for viewing and analyzing anatomical structures
US7518619B2 (en) Method and apparatus for integrating three-dimensional and two-dimensional monitors with medical diagnostic imaging workstations
EP3020022B1 (en) Generation of a patient-specific anatomical atlas
JP6768862B2 (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
JP2020025786A (ja) 画像処理装置、方法及びプログラム
US8494242B2 (en) Medical image management apparatus and method, and recording medium
EA027016B1 (ru) Система и способ компьютерного моделирования медицинской процедуры
US11669974B2 (en) Constrained object correction for a segmented image
US20190343418A1 (en) System and method for next-generation mri spine evaluation
EP3248172A1 (en) Atlas-based determination of tumour growth direction
US20260073526A1 (en) Image processing apparatus, operation method of image processing apparatus, operation program of image processing apparatus, and learning method
JP3989896B2 (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
Smit et al. RegistrationShop: An Interactive 3D Medical Volume Registration System.
US20230394661A1 (en) Image processing apparatus, method for operating image processing apparatus, and program for operating image processing apparatus
US8933926B2 (en) Image processing apparatus, method, and program
CN102272799B (zh) 解剖学定义的自动cpr生成
WO2022209501A1 (ja) 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
US10102347B2 (en) Patient specific anatiomical sketches for medical reports
JPWO2020129979A1 (ja) 画像処理装置、方法及びプログラム
WO2021256096A1 (ja) 領域修正装置、方法およびプログラム
US10832423B1 (en) Optimizing an atlas
WO2020209383A1 (ja) 構造物分離装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
US20090128304A1 (en) Method and apparatus for tactile interface for reviewing radiological images
Moon et al. Standardizing 3D medical imaging
TW202302046A (zh) 用於處理黑骨ｍｒｉ資料的系統及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21929201

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023503385

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21929201

Country of ref document: EP

Kind code of ref document: A1