WO2018147674A1 - 의료 영상에 기반하여 상태를 진단하는 장치 및 방법 - Google Patents

의료 영상에 기반하여 상태를 진단하는 장치 및 방법 Download PDF

Info

Publication number
WO2018147674A1
WO2018147674A1 PCT/KR2018/001746 KR2018001746W WO2018147674A1 WO 2018147674 A1 WO2018147674 A1 WO 2018147674A1 KR 2018001746 W KR2018001746 W KR 2018001746W WO 2018147674 A1 WO2018147674 A1 WO 2018147674A1
Authority
WO
WIPO (PCT)
Prior art keywords
diagnosis
medical
image
line
region
Prior art date
Application number
PCT/KR2018/001746
Other languages
English (en)
French (fr)
Inventor
이영한
황도식
서진석
양재문
김세원
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170104313A external-priority patent/KR101929127B1/ko
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2018147674A1 publication Critical patent/WO2018147674A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Definitions

  • the present invention relates to an apparatus and method for diagnosing a patient's condition by analyzing a medical image.
  • An object of the present invention is to provide an apparatus and method for diagnosing abnormality by recognizing a medical condition of a diagnosis site set in a medical image acquired by a medical imaging apparatus.
  • Another object of the present invention is to provide an apparatus and method for automatically setting a part to be diagnosed in an input medical image by learning a medical image and a diagnosis region of the medical image based on deep learning in a medical image diagnosis apparatus. It is.
  • the problem to be solved by the present invention is to automatically set the diagnosis site by applying the learned deep learning result to the medical image input from the medical image diagnosis apparatus, and to diagnose the state of the medical image by analyzing the state of the set diagnosis site It is to provide an apparatus and method that can be.
  • an object of the present invention is to display at least two diagnostic lines on a medical image, to set a diagnostic region based on the diagnostic lines, and to learn and deepen a medical image and a corresponding diagnostic region by a deep learning algorithm.
  • Running learning models are generated, and the diagnosis module extracts a diagnosis region from the medical image by applying the trained deep learning model to the input medical image, generates a diagnostic line from the extracted diagnosis region, and then determines a gap between the diagnosis lines.
  • the present invention provides an apparatus and method for measuring and diagnosing a medical image.
  • the problem to be solved by the present invention by applying a deep learning model trained to read the thickness of the cervical soft tissue in the cervical spine medical image (C spine lateral view) of the traumatic patient when the medical image of the cervical spine is input
  • the present invention provides an apparatus and method for automatically setting a diagnosis site in a cervical spine medical image, and diagnosing a state of cervical soft tissue by reading a state of the set diagnosis site.
  • the problem to be solved by the present invention by applying a deep learning model trained to read the thickness of the cervical soft tissue in the cervical spine medical image (C spine lateral view) of the traumatic patient when the medical image of the cervical spine is input
  • the present invention provides a computer-readable recording medium capable of automatically setting a diagnosis region in a cervical spine medical image and reading a state of the diagnosis region to diagnose the condition of cervical soft tissue.
  • the medical image diagnosis method may include: inputting a medical image; Extracting a diagnosis region region from the medical image by performing a deep learning algorithm based on the input medical image and a medical learning model for extracting a diagnosis region from the medical image; Measuring an interval of positions set in the extracted diagnosis region region; And generating and displaying a diagnosis result of the medical image by comparing and analyzing the measured diagnosis region intervals with a set reference value.
  • a medical imaging apparatus configured to include a diagnosis region extracting unit configured to extract a diagnosis region region from the medical image by performing a deep learning algorithm based on an input medical image and a medical learning model for extracting a diagnosis region from the medical image; A measuring unit measuring a diagnosis site interval at a set diagnosis position of the extracted diagnosis site region; And a diagnosis unit configured to compare and analyze the measured diagnosis site intervals with a set reference value, to generate and output a pathological diagnosis result of the medical image.
  • the cervical spine image diagnosis method may include: inputting a cervical spine image; Extracting a cervical soft tissue region from the cervical spine image by performing a deep learning algorithm based on a medical learning model for extracting a cervical soft tissue region from the input cervical spine image and the cervical spine image; Measuring cervical soft tissue spacing of positions set in the extracted cervical soft tissue region; And comparing and analyzing the measured cervical soft tissue intervals with predetermined reference values to generate and display a cervical soft tissue diagnosis result of the cervical spine image.
  • a cervical spine imaging apparatus performs a deep learning algorithm based on a medical learning model for extracting a cervical spine soft tissue (prevertebral stripe) region from an input cervical spine image and the cervical spine image, and extracts a cervical soft tissue region from the cervical spine image.
  • Cervical soft tissue region extraction unit Measuring unit for measuring the cervical soft tissue intervals of the positions set in the extracted cervical soft tissue area;
  • diagnosis unit configured to compare and analyze the measured cervical soft tissue interval with predetermined reference values, to generate and output a cervical soft tissue diagnosis result of the cervical spine image.
  • the diagnosis of the doctor using artificial intelligence is provided. It can be supplemented.
  • the cervical soft tissue region of the medical image may be extracted based on a deep learning algorithm, and the interval of the extracted cervical soft tissue (prvertebral soft tissue, prvertebral stripe) may be measured.
  • FIG. 1 is a diagram illustrating a configuration of a hospital information system (HIS) according to an embodiment of the present invention.
  • HIS hospital information system
  • FIG. 2 is a diagram illustrating a configuration of a medical imaging apparatus of a hospital system according to an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a learning module structure of a medical imaging apparatus according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a structure of a diagnostic module of a medical imaging apparatus according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram schematically showing a C spine lateral view.
  • FIG. 6 is a diagram illustrating a medical diagnosis operation according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a procedure for generating a medical learning model, in accordance with an embodiment of the invention.
  • 8A to 8E are diagrams illustrating examples of a screen for explaining an operation of generating a medical learning model.
  • FIG. 9 is a flowchart illustrating an operation procedure of analyzing and diagnosing a medical image input by a medical image diagnosing apparatus according to an embodiment of the present invention.
  • FIGS. 10A to 10D are diagrams illustrating screens of a medical diagnosis operation according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a diagnosis procedure of a cervical spine image by a medical imaging apparatus according to an exemplary embodiment of the present invention.
  • FIGS. 12A to 12H are diagrams illustrating examples of screens for displaying a pathological diagnosis result by extracting a diagnosis region from a cervical spine image by a medical imaging apparatus according to an exemplary embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating an operation of extracting a diagnosis region by a medical imaging apparatus according to an exemplary embodiment of the present invention.
  • 14A to 14E are diagrams illustrating screen examples of an operation of extracting a diagnosis region from a cervical spine image according to an exemplary embodiment of the present invention.
  • FIG. 15 illustrates a computing device, in accordance with an embodiment of the present invention.
  • a component when referred to as being 'connected' or 'connected' to another component, the component may be directly connected to or connected to the other component, but in between It will be understood that may exist.
  • a component when referred to as 'directly connected' or 'directly connected' to another component, it should be understood that there is no other component in between.
  • the term 'comprises' or 'having' is only intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more. It is to be understood that it does not exclude in advance the possibility of the presence or addition of other features, numbers, steps, actions, components, parts or combinations thereof.
  • 'and / or' includes any combination of the plurality of listed items or any of the plurality of listed items.
  • 'A or B' may include 'A', 'B', or 'both A and B'.
  • FIG. 1 is a diagram illustrating a configuration of a hospital information system (HIS) according to an embodiment of the present invention.
  • HIS hospital information system
  • the hospital information system 100 may include a medical examination apparatus 110, a medical care assistance apparatus 120, a management apparatus 140, and a medical information apparatus 130.
  • the hospital information system 100 may be connected to the external device 170 through the internet network 160.
  • the hospital information system 100 may include a prescription diagnosis system (OCS) and a medical information device.
  • OCS prescription diagnosis system
  • the prescription diagnosis system may include a medical examination apparatus 110, a medical care assistance apparatus 120, and a management apparatus 140.
  • the prescription diagnosis system may refer to a system that computerizes information transfer between the treatment apparatus 110, the treatment support apparatus 120, and the management apparatus 140 based on a prescription occurring to a patient.
  • Each device (medical care, care support, management) in the hospital information system may transmit information related to the patient's prescription to the corresponding devices through the prescription diagnosis system.
  • the prescription diagnostic system may provide an electronic medical record (EMR) function.
  • EMR electronic medical record
  • the EMR can record the patient's information directly on the computer using a computer instead of the paper chart used to record the patient's information.
  • the medical examination device 110 may be a device for processing outpatient prescriptions, ward prescriptions, ward nursing, and operating rooms.
  • the medical department to which the treatment apparatus 110 is applied includes a general surgery, neuro surgery, chest surgery, orthopedic surgery, plastic surgery, etc., internal medicine (pulmonology, gastroenterology, endocrinology, rheumatology, hematology, oncology, nephrology, infectious diseases, allergy and clinical Immunology), obstetrics and gynecology, ear, nose, throat, ophthalmology, eye, dermatology, urology, pediatrics, Dentistry, neurology, psychiatry, psychology, anesthetics, clinical pathology, radiology, radiation oncology Etc.
  • the medical care support device 120 may be a device for processing various laboratories, diagnostic radiation / nuclear medicine, pharmacy, nutrition / feeding, and the like.
  • the medical care support device 120 may perform a function such as a specimen test, a function test, and a medical image acquisition of a patient.
  • the medical care support apparatus 120 may acquire a medical image by using X-rays, gamma rays, ultrasounds, magnetic fields, and the like.
  • the method of using X-rays passing through the human body uses X-ray (X-ray imaging technology, radiography) to apply the internal structure of the living body to a planar fluorescent plate or film by using the attenuation characteristics of the transmitted X-rays of each tissue of the human body.
  • Imaging methods and CT are used to project X-rays around the human body section and to measure the amount of X-rays that decrease as they pass through the human body to image internal structures. It may include.
  • a method using gamma rays injected into the human body may be a method of Positron Emission Tomography (PET).
  • PET Positron Emission Tomography
  • the method of using the ultrasonic waves reflected in the human body is to receive the ultrasonic waves reflected from the living tissue with respect to the ultrasonic waves transmitted by using Ultrasound (ultrasound imaging technology), and amplify and detect the reflected ultrasonic waves and image them on the monitor. Can be.
  • the method of using a magnetic field injected into the human body may be a method of acquiring an arbitrary tomographic image of a living body using a magnetic field generated by magnetic force using MRI (Magnetic Resonance Imaging).
  • the medical image of the medical support device 120 may include X-ray, magnetic resonance imaging (MRI), fMRI, diffusion tensor imaging (MRI / DTI), computed tomography (CT), and single-photon emission computed tomography (SPECT). ), Image post-processing or fusion image with PET (positron emission tomography), MEG (magnetoencephalography), electroencephalography (EGE), extreme ultraviolet imaging telescope (EIT), or a combination thereof. Can be.
  • the management device 140 may be a device for processing an outpatient office, an inpatient office, an emergency room office, or the like.
  • the medical information device 130 may store medical information and / or medical images generated or acquired by the medical care device 110, the medical care support device 120, and the management device 140. Stored medical information and / or medical images may be inquired by the medical examination apparatus 110 or the like.
  • the medical information device 130 may include a picture archiving and communication system (PACS) for processing a medical image and a medical information system (for example, a RIS (Radiological Information System) and a laboratory information for processing medical information). System) and the like).
  • PACS picture archiving and communication system
  • the PACS receives and stores a medical image obtained from the medical care support device 120 through a network (for example, a digital imaging and communication in medicine (DICOM) network), and a clinical doctor of a medical department to which the medical care device 110 is applied.
  • a network for example, a digital imaging and communication in medicine (DICOM) network
  • the PACS may match medical images acquired from various inspection (photographing) devices of the medical care support device 120 with registered medical information (eg, patient information and examination information).
  • medical information may be stored in the RIS.
  • the PACS may obtain related information from the RIS, and preferably, the information of the RIS may be used at the time of inputting the patient information from the medical image capturing apparatus of the medical care support apparatus 120.
  • the management device 140, the medical care device 110, the medical care support device 120, and / or the medical information device 130 may be connected to a network.
  • the network may be a computer network (eg, LAN or WAN).
  • the medical care device 110, the medical care support device 120, and the medical information device 130 may communicate medical information and a medical image through a digital imaging and communication in medicine (DICOM) protocol through a network.
  • DICOM protocol is an internationally recognized protocol for the standard processing of medical images, and can be used as a protocol of PACS as a standard protocol for transmitting medical images and information in hospitals.
  • the imaging test and medical devices used in hospitals are different types of imaging devices, which makes it possible to use the DICOM protocol as a standard for exchanging and transmitting data between heterogeneous devices.
  • the hospital information system 100 may be connected to other devices 170 through a network 160 to communicate medical information and images.
  • the network may include a telecommunications network, for example, at least one of a computer network (eg, LAN or WAN), the Internet, or a telephone network.
  • the other device 170 may be an affiliated medical institution, another medical institution, a health care provider, a bank, or the like.
  • the medical examination apparatus 110 may perform medical examination or transfer to another medical institution through an internet network, and may request a test.
  • an outpatient business function may be performed in the management device 140, and a primary care function may be performed in the medical care device 110.
  • a photographing prescription of a corresponding medical image of the medical examination apparatus 110 may occur, and the medical care support apparatus 120 may photograph a medical image corresponding to the photographing prescription and transmit the medical image to the medical information apparatus 130.
  • the medical examination apparatus 110 may then treat the patient based on the medical image stored in the medical information apparatus 130.
  • FIG. 2 is a diagram illustrating a configuration of a medical imaging apparatus of a hospital system according to an exemplary embodiment of the present invention.
  • the apparatus for diagnosing a medical image may include a processor 200, a storage unit 210, a communication unit 220, an input unit 230, and a display unit 240.
  • the medical imaging apparatus of FIG. 2 may be the medical examination apparatus 110 or the medical care assistance apparatus 120 of FIG. 1.
  • the medical imaging apparatus may be an electronic device. Electronic devices include smart phones, tablet personal computers, desktop personal computers, laptop personal computers, netbook computers, workstations, servers, PDAs ( It may include at least one of a personal digital assistant (PMP), a portable multimedia player (PMP), or a wearable device.
  • PMP personal digital assistant
  • PMP portable multimedia player
  • the communication unit 220 may be connected to other devices of the hospital system (eg, the medical information device 130 of FIG. 1) and / or other devices (eg, through a network (eg, the network 160 of FIG. 1).
  • the medical image may be received from the external device 170 of FIG. 1.
  • the medical image may be an image of the DICOM protocol.
  • the communication unit 220 may include a wireless communication module and / or a wired communication module, and the wireless communication module may include a cellular communication module and / or a short range communication module.
  • the near field communication module may be a wireless fidelity (WiFi), Bluetooth, Bluetooth low power (BLE), Zigbee, near field communication (NFC), magnetic secure transmission, radio frequency (RF), or body area network ( At least one of BAN).
  • the cellular communication module may be a long term evolution (LTE), LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), or Global System for Mobile Communications (GSM). Cellular communication using at least one of the foregoing.
  • the wired communication module may include, for example, at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a reduced standard 232 (RS-232), a plain old telephone service (POTS), and the like. .
  • the input unit 230 may receive input signals generated by the user.
  • the input unit 230 may input a command for controlling the operation of the data or the medical imaging apparatus.
  • the input unit 230 may detect the diagnostic lines input on the medical image by a user (for example, a doctor) during learning and generate the input signals.
  • the display unit 240 may include a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or an electronic paper display. Can be.
  • the display unit 240 may display various contents (eg, text, images, videos, icons, and / or symbols) to the user.
  • the display unit 240 may display a medical image, a diagnostic line and a diagnostic region performed in the learning and diagnosis process.
  • the input unit 230 and the display unit 240 may be configured as a touch screen.
  • the input unit 230 may include touch sensors.
  • the touchscreen may receive a touch, gesture, proximity, or hovering input using, for example, an electronic pen or a portion of a user's body.
  • the touch screen may detect inputs touched by a pen on the medical image displayed by the display unit 240 and generate the signals of the diagnostic line.
  • the processor 200 may include at least one of a central processing unit (CPU), an application processor (AP), or a communication processor (CP).
  • the processor 200 may execute operations or data processing related to control and / or communication of at least one other component of the medical imaging apparatus.
  • the storage unit 210 may include a volatile and / or nonvolatile memory.
  • the storage unit 210 may store instructions or data related to at least one other component of the medical imaging apparatus.
  • the storage unit 210 may store software and / or a program.
  • the processor 200 may include a learning module and a diagnostic module.
  • the learning module of the processor 200 may perform a function of learning the medical image so that the diagnosis region of the medical image is automatically set when the medical module diagnoses the medical image.
  • the learning module may input the diagnostic line information through the medical image and the input unit 230 through the communication unit 220.
  • the medical image may be a medical image transmitted to the medical information device 130.
  • the diagnostic line information may be information indicating a part for the doctor to diagnose a medical condition in the medical image displayed on the display unit 240.
  • the doctor may display at least two diagnostic lines (eg, set a diagnostic position by drawing a line on the display with a pen) in order to set a diagnosis site in the medical image displayed on the display unit 240.
  • the diagnostic module of the processor 200 may apply the medical image to the deep learning algorithm based on the learned deep learning model.
  • a diagnostic region may be extracted from the medical image, and at least two diagnostic lines may be extracted from the extracted diagnostic region. Thereafter, the diagnostic module may measure the distance between the extracted at least two diagnostic lines and generate the diagnostic result information by comparing the measured distance information with a set reference value.
  • the diagnostic module may display the extracted diagnostic lines on the display unit 240 by overlaying the extracted diagnostic lines, and also display the diagnostic result information on the display unit 240.
  • FIG. 3 is a diagram illustrating a learning module structure of a medical imaging apparatus according to an exemplary embodiment of the present invention.
  • the medical image 310 may be an image including a diagnosis site at a specific location.
  • a human bone is wrapped in skin, and the skin adjacent to a particular bone may have a constant thickness.
  • prevertebral soft tissue prevertebral stripe located in front of the cervical vertebral may have a thickness in normal cases.
  • the thickness of the cervical soft tissue may be changed. Therefore, if a skin region adjacent to a particular bone is set as a diagnosis site and a change in the diagnosis site is measured, abnormality or normality of the corresponding bone or skin tissue may be diagnosed.
  • the medical image 310 may be an image including a diagnosis region of the skin adjacent to the bone and the bone to be diagnosed.
  • the doctor may set an area of the diagnosis portion in the medical image 310.
  • the first diagnosis line is displayed at the start position of the diagnosis region region, and the second diagnosis line is displayed at the end position of the diagnosis region region, so that the diagnosis region can be set.
  • a diagnostic line image 320 displaying at least two diagnostic lines for displaying a diagnosis site on the medical image 310 may be generated.
  • the medical image 310 may be an X-ray image, and the doctor may be a radiologist and / or radiologist.
  • the medical image 310 may be an image to be used for training, and the diagnostic line image 320 may be diagnostic lines displayed by the doctor on the medical image 310.
  • the medical image 310 may be a DICOM medical image received through a communication unit (eg, the communication unit 220 of FIG. 2), and the medical image 310 may be a display unit (eg, the display unit 240 of FIG. 2). )).
  • the doctor may display the first diagnosis line and the second diagnosis line for setting the diagnosis region on the medical image 310 displayed on the display unit.
  • the first diagnostic line may be displayed at the start position of the diagnosis region region
  • the second diagnostic line may be displayed at the end position of the diagnosis region region.
  • the input unit for example, the input unit 230 of FIG. 2 detects the first diagnostic line and the second diagnostic line input by the doctor, and detects the processor (eg, For example, the processor 200 of FIG. 2 may be transferred.
  • the processor may generate a diagnosis region of the medical image 310 based on the input first diagnosis line and the second diagnosis line.
  • the diagnostic region converter 330 may fill the pixels between the first diagnostic line and the second diagnostic line to convert the area. For example, the diagnostic region converter 330 may fill the pixels in the horizontal direction (X-axis direction) between the diagnostic lines to generate the diagnostic region.
  • the deep learning execution unit 340 may generate a deep learning model by learning the medical image 310 and the diagnostic region of the corresponding medical image 310 with a deep learning algorithm.
  • the deep learning algorithm may use a convolutional neural network (CNN) algorithm.
  • the deep learning learning model (eg, the CNN learning model) generated by the deep learning execution unit 340 may perform an operation of setting a diagnosis region on the medical image input from the diagnostic module.
  • Deep learning learning models eg, CNN learning models
  • the medical learning model is a model generated based on a medical image and a diagnosis region region, and may be a medical learning model that can extract a diagnosis region region of a medical image input when a medical image is diagnosed.
  • FIG. 4 is a diagram illustrating a structure of a diagnostic module of a medical imaging apparatus according to an exemplary embodiment of the present invention.
  • the medical image 410 may be a medical image received through a communication unit (eg, the communication unit 220 of FIG. 2).
  • the medical imaging apparatus may extract a diagnosis region from the input medical image.
  • the diagnosis region extracting unit may extract a diagnosis region from the input medical image, and extract first and second diagnosis lines from the extracted diagnosis region.
  • the deep learning execution unit 420 may extract a diagnosis region from the medical image 410 based on the medical image 410 and the medical learning model.
  • the deep learning execution unit 420 may perform a function of the diagnostic region extraction unit.
  • the deep learning execution unit 420 may be a specialized CNN learning model for extracting a diagnosis region from a medical image.
  • the diagnosis line extractor 430 may extract the diagnosis lines by extracting a boundary of the diagnosis region.
  • the deep learning execution unit 420 and the diagnostic line extracting unit 430 may be a diagnosis site extracting unit.
  • the pathology diagnosis unit 440 may include a tilt measurement unit 450, an interval measurement unit 460, and a diagnosis unit 470.
  • the tilt measuring unit 450 may measure the slope of the diagnostic lines, and the interval measuring unit 460 may measure the distance between the diagnostic lines at an important position (eg, a main position to diagnose pathology) based on the measured slope. have.
  • the tilt measuring unit 450 and the interval measuring unit 460 may be measuring units for measuring the interval of the diagnostic region at the set diagnostic position of the extracted diagnostic region.
  • the diagnosis unit 470 may generate a pathological diagnosis result by comparing and analyzing the intervals between the measured diagnostic lines with a reference value. In this case, the pathological diagnosis result may be a measurement result value and an abnormal probability (or normal probability) value of the measured main position.
  • the diagnostic lines when the diagnostic lines are extracted by the diagnostic line extracting unit 430, the diagnostic lines may be overlaid on the medical image 410 to display a diagnosis site on the medical image.
  • the diagnostic module of the processor may display a pathology diagnosis result output from the diagnosis unit 470 and a medical image displaying the diagnosis site on the display unit.
  • the medical image may be a cervical spine image.
  • the cervical spine which is located in front of the cervical spine, may have a thickness.
  • artificial intelligence-based diagnostic findings in addition to reading medical images by a physician may be supplemented, or may be recognized beforehand and classified into high-risk images.
  • an emergency room medical environment can be a medical environment that requires rapid medical judgment and cannot expect a 24-hour reading by a radiologist. Therefore, the level of emergency care can be improved a step further if a high-risk situation is known in advance while the medical image is taken. This can contribute to national health improvement.
  • FIG. 5 is a diagram schematically showing a C spine lateral view.
  • the cervical spine 550 may include C1-C7, and the cervical spine line may include anterior vertebral line 513, posterior vertebral line 515, spino-lamina line 517, and posterior spinous line 519. ) May be included.
  • the prevertebral line 511 is located in front of the anterior vertebral line 513
  • the cervical soft tissue 530 is located between the prevertebral line 511 and the anterior vertebral line 513.
  • Cervical soft tissue 530 is of great clinical significance. In the case of normal cervical soft tissue 530, the thickness of the area 533 between C2 and C3 is about 7 mm, and the thickness of the area 535 between C6 and C7 may be about 21 mm.
  • the cervical soft tissue 530 When fluid (bleeding, abscess, etc.) is generated in the cervical soft tissue 530 which is a prevertebral space, the cervical soft tissue 530 may be thickened.
  • the cervical soft tissue measurement method based on the multiplicative neural network deep learning method is used by the radiologist in the diagnosis of prevertebral soft tissue (prevertebral stripe) by recognizing prevertebral line (511) and anterior vertebral line (513). It can be confirmed that it shows the agreement with the measurement by more than 97%.
  • the diagnosis region may be a prevertebral stripe region
  • the first diagnosis line may be a prevertebral line
  • the second diagnosis line may be an anterior vertebral line. Therefore, the diagnostic region may be a cervical soft tissue region located between the first diagnostic line and the second diagnostic line.
  • the diagnosis site extracting unit (for example, the deep learning execution unit 420 and the diagnosis line extraction unit 430 may be the cervical soft tissue extracting unit.
  • the deep learning execution unit 420 may be the cervical spine).
  • the soft tissue 530 may be extracted, and the diagnostic line extractor 430 may extract the first diagnostic line 511 and the second diagnostic line 513 from the cervical soft tissue 530.
  • the inclination measuring unit 450 may measure the inclination of the first diagnostic line 511 and / or the second diagnostic line 513, and the interval measuring unit 460 may be an important site location (eg, C2-). C3 and / or C6-C7) may be extracted to measure the distance between the first line and the second line.
  • the measuring unit may include a tilt measuring unit 450 and a gap measuring unit 460.
  • FIG. 6 is a diagram illustrating a medical diagnosis operation according to an embodiment of the present invention.
  • the medical image diagnosis apparatus may automatically set a diagnosis portion of the medical image to perform a diagnosis operation.
  • the medical image diagnosis apparatus may generate a medical learning model (for example, a deep learning model) by learning a diagnostic portion of the medical image.
  • the medical learning model may be generated based on the training medical image and the training diagnosis site image.
  • a doctor may display a diagnosis site on a training medical image, and the medical image diagnosis apparatus may generate a medical learning model for setting a diagnosis site of the medical image by learning the medical image and the diagnosis site image.
  • the image of the diagnosis region displayed by the doctor may be displayed as a line or may be displayed as an area.
  • a doctor displays a diagnosis portion as a line (hereinafter, referred to as a 'diagnosis line') on a medical image
  • a medical imaging apparatus generates a diagnosis region based on the diagnosis line, and based on the medical image and the diagnosis region image.
  • the medical image diagnosis apparatus may generate a medical learning model based on the medical image and the diagnosis line image.
  • the medical image may be input through a communication unit (eg, the communication unit 220 of FIG. 2) or may be input through an input unit (eg, the scanner of the input unit 230 of FIG. 2). May be input through an input unit or may be input through a communication unit.
  • a communication unit eg, the communication unit 220 of FIG. 2
  • an input unit eg, the scanner of the input unit 230 of FIG. 2.
  • the medical image diagnosis apparatus will be described with an example of inputting a medical image through a communication unit and inputting a diagnosis portion through the input unit.
  • the diagnosis region image is a diagnosis line
  • the medical image diagnosis apparatus will be described by setting a diagnosis region based on the diagnosis line image and generating a medical learning model based on the medical image and the diagnosis region.
  • the medical image diagnosis apparatus displays the medical image image input in step 613 on the display unit (eg, the display unit 240 of FIG. 2), and displays the displayed medical image. Diagnostic lines may be indicated by the physician. For example, if the medical image is a cervical spine image, the diagnostic line displayed by the doctor may be a prevertebral line (first diagnosis line, 511 of FIG. 5) and an anterior vertebral line (second diagnosis line, 513 of FIG. 5). have.
  • the apparatus for receiving a medical image may receive a diagnosis region image associated with the medical image through an input unit, and in operation 615, the medical region may be filled with pixels between the diagnostic lines in the diagnosis line image to generate a diagnosis region.
  • the diagnostic region may be a cervical soft tissue between the prevertebral line and the anterior vertebral line (eg, prevertebral stripe, 550 of FIG. 5).
  • the medical image diagnosis apparatus may perform a deep learning algorithm on the medical image and the diagnosis region image.
  • the medical image diagnosis apparatus may generate a medical learning model based on the deep learning learning result.
  • the deep learning algorithm may be a CNN algorithm.
  • the medical image may be input in various states, and the diagnosis region image may be drawn based on the state of the input medical image.
  • the medical image may be tilted 15 degrees to the left, may be tilted 20 degrees to the right, and may be rotated 180 degrees and input.
  • the diagnostic lines may be displayed by the doctor according to the state of the input medical image, and the medical image diagnosis apparatus may generate a medical learning model based on the state of the input medical image. Therefore, the medical image diagnosis apparatus may generate a medical learning model corresponding to an input state of the medical image (eg, rotation, inclination, etc.).
  • the apparatus for diagnosing a medical image may set a diagnosis site of an input medical image based on the generated medical learning model. If the medical image is recognized in operation 651, the medical image diagnosis apparatus may perform a deep learning algorithm based on the medical image input in operation 653 and the medical learning models generated in various states. The medical learning model may be models generated by a deep learning algorithm for various medical images and respective corresponding diagnostic regions. If the deep imaging algorithm is executed in operation 653, the medical image diagnosis apparatus may extract a diagnosis region image corresponding to the diagnosis region of the medical image input in operation 655. In operation 657, the medical image diagnosis apparatus extracts the boundary lines of the diagnosis region image. Can be extracted. When the diagnosis line is extracted, the medical image diagnosis apparatus may display the diagnosis region of the medical image on the display unit by overlaying the extracted diagnosis line on the input medical image in operation 659.
  • the apparatus for diagnosing a medical image may estimate an inclination of the diagnosis line extracted in operation 661 and measure an interval between diagnosis lines based on the estimated inclination.
  • the apparatus for diagnosing a medical image may perform a medical diagnosis by measuring intervals between the diagnostic lines at critical site positions in which pathological diagnosis may be performed on the diagnostic lines, and analyzing the intervals measured in operation 663.
  • the critical site location may be the location of C2 and C3 and / or C6 and C7 on the cervical spine image
  • the medical imaging device may be a prevertebral line and anterior vertebral line at the critical site location. 2 diagnostic line) can be measured.
  • the medical imaging apparatus may display a pathology diagnosis result (probability) on the display unit in operation 665.
  • the medical image diagnosis apparatus may also display the medical image in which the diagnostic lines are overlaid.
  • the medical image diagnosis apparatus may display the location of the important part set in the diagnostic line displayed on the medical image.
  • the doctor may visually check the medical image and the diagnosis line displayed on the display unit, and when the diagnosis line is correctly set in the medical image, the doctor may secondarily analyze the medical image based on the medical diagnosis result.
  • FIG. 7 is a flowchart illustrating a procedure for generating a medical learning model, in accordance with an embodiment of the invention.
  • 8A to 8E are diagrams illustrating examples of a screen for explaining an operation of generating a medical learning model. An example of display of a diagnostic line drawn in an input state of a medical image is shown.
  • the medical image diagnosis apparatus may recognize the same and display the input cervical spine image in step 711.
  • a prevertebral line 811 and an anterior vertebral line 813 for setting a diagnosis site on a cervical spine image may be displayed by a doctor.
  • the medical imaging apparatus recognizes the prevertebral line 811 and the anterior vertebral line 813 displayed by a doctor in step 713.
  • the first diagnostic line 831 and the second diagnostic line 833 may be extracted.
  • the first diagnostic line 831 may be a prevertebral line
  • the second diagnostic line 833 may be an anterior vertebral line.
  • the medical imaging apparatus may fill the gap between the first and second diagnostic lines 831 and 833 with pixels in step 715 as illustrated in FIG. 8D. Diagnostic area 860 may be created. Diagnostic region 860 may be cervical soft tissue region 830 in FIG. 8B.
  • the medical imaging apparatus may perform a deep learning algorithm based on the cervical spine image illustrated in FIG. 8A and the diagnosis region 860 illustrated in FIG. 8D, in operation 717.
  • a medical learning model may be generated according to the deep learning learning result.
  • the medical learning model generated in operation 719 may be a model for automatically setting a diagnosis region in the medical image as illustrated in FIG. 8E when the medical image illustrated in FIG. 8A is input.
  • the medical image (eg, cervical spine image) input to the medical image diagnosis apparatus in operation 711 may be a high resolution image. If a high resolution image is learned, a large number of operations and time may be consumed. Therefore, the medical image may be pre-processed to have an appropriate size.
  • the medical image may be in a dicom format, and image size (pixel size) information may be obtained from a dicom header. For example, the dicom image may have a size of 2k x 3k.
  • the medical images can be downscaled to 256 ⁇ 256.
  • the medical image diagnosis apparatus may click on an upper left start point and a lower right end point of a medical image (eg, cervical spine image) having a size of 2k ⁇ 3k before performing a medical image learning operation.
  • a medical image eg, cervical spine image
  • a binary file format for generating an efficient medical learning model (eg, a training set) may be used.
  • a diagnostic region mask may be generated through a diagnostic line connecting points, and the medical image and the diagnostic region image may be stored as an [256 ⁇ 256 ⁇ 2] array. That is, the medical image diagnosis apparatus may input a reconstructed medical image (eg, cervical spine image) as described above, and diagnostic lines for extracting cervical soft tissue may be drawn by the doctor in the reconstructed cervical spine image.
  • a reconstructed medical image eg, cervical spine image
  • the cervical spine image input to the medical imaging apparatus may be acquired in an inclined form.
  • the cervical spine image may be acquired in an inclined state left or right.
  • the doctor may draw diagnostic lines on the tilted cervical spine image.
  • the medical imaging apparatus may generate a diagnostic region according to the tilted cervical spine image, and generate the medical learning model by learning the diagnostic region.
  • the apparatus for diagnosing a medical image may set a diagnosis region at an angle corresponding to an input medical image, and may perform a deep learning algorithm of the medical image based on the set diagnosis region.
  • FIG. 9 is a flowchart illustrating an operation procedure of analyzing and diagnosing a medical image input by a medical image diagnosing apparatus according to an embodiment of the present invention.
  • 10A to 10D are diagrams illustrating screens of a medical diagnosis operation according to an embodiment of the present invention.
  • the apparatus for diagnosing a medical image may receive a cervical spine image as illustrated in FIG. 10A.
  • the medical image diagnosis apparatus may perform a deep learning algorithm based on the cervical spine image and the learned medical learning models.
  • the medical learning model may be generated by the method of FIG. 7, and may be a mask model generated by learning a diagnostic region of a cervical spine image.
  • the medical image diagnosis apparatus may perform a deep learning algorithm using the cervical spine image and the medical learning model as inputs, and when the deep learning is finished, the medical image diagnosis apparatus may generate a diagnosis region image as illustrated in FIG. 10B.
  • the medical image diagnosis apparatus When the medical image diagnosis apparatus receives the medical image to be diagnosed, in step 913, the medical image diagnosis apparatus performs a deep learning algorithm using the received medical image and the medical learning models as inputs. In operation 915, the medical image diagnosis apparatus may be configured based on the execution of the deep learning algorithm. As illustrated in FIG. 6, a diagnosis region of the received medical image may be extracted. As illustrated in FIG. 10B, the extracted diagnostic region may be a cervical soft tissue region.
  • the apparatus for extracting a medical image may extract boundary lines from the extracted diagnosis region as illustrated in FIG. 10B, and extract first and second diagnostic lines 1031 and 1033 as illustrated in FIG. 10C.
  • the first diagnosis line 1031 may be a prevertebral line as the left boundary of the diagnosis area 1040
  • the second diagnosis line 1033 may be an anterior vertebral line as the right boundary of the diagnosis area 1040.
  • the medical imaging apparatus may perform a medical diagnosis operation in operation 919.
  • the performing of the medical diagnosis operation may include steps 951, 953, and 955.
  • the medical imaging apparatus may measure an inclination of the extracted first diagnosis line and a second diagnosis line, and in operation 953, set an important region to measure an interval based on the measured inclination, The interval can be measured.
  • the first important region 1043 may be a C2-C3 position
  • the second important region 1045 may be a C6-C7 position.
  • the medical imaging apparatus may measure an interval (thickness) of the first critical portion 1043 and / or the second critical portion 1045.
  • the medical imaging apparatus may measure the thickness of C2-C3, or measure the thickness of C6-C7, or measure both the thickness of C2-C3 and C6-C7.
  • the medical imaging apparatus compares the thickness measurement of the region with a reference value (eg, a reference value having a normal value) of the region at step 955. Analyze the condition of the cervical soft tissue.
  • the medical imaging apparatus may display the diagnostic result value on the display in operation 921.
  • 10D may be a diagram illustrating an example of displaying a cervical spine image and a diagnosis result value displayed on a display unit.
  • 1061 may be an input cervical spine image
  • 1063 may be an image displayed by overlaying a diagnostic line extracted on the input cervical spine image
  • 1065 may be an example of a screen displaying cervical soft tissue of cervical spine image. Can be.
  • the cervical spine image screen 1063 may be a screen in which the first diagnostic line 1031 and the second diagnostic line 1033 are overlaid on the cervical spine image.
  • the diagnostic result value generated in step 955 may include the values of dist1, the thickness of cervical spine C2-C3, and dist2, the thickness of cervical spine C6-C7, and the measured thicknesses and normal reference values are compared and analyzed for normal probability. And an abnormal probability may be displayed. For example, if the thickness dist1 of cervical spine C2-C3 is measured as 7 mm, and the dist2 value of cervical spine C6-C7 is measured as 21 mm, the medical imaging device displays a normal probability of 100% and an abnormal probability of 0. It can be expressed in%.
  • the medical imaging apparatus measures the ratio of the reference value and the measured values to determine normal and An abnormal probability can be displayed.
  • FIG. 11 is a flowchart illustrating a diagnosis procedure of a cervical spine image by a medical imaging apparatus according to an exemplary embodiment of the present invention.
  • 12A to 12H are diagrams illustrating examples of screens for displaying a pathological diagnosis result by extracting a diagnosis region from a cervical spine image by a medical imaging apparatus according to an exemplary embodiment of the present invention.
  • the medical image diagnosis apparatus may automatically set a diagnosis region in the input cervical spine image to display a diagnosis result image and a pathological diagnosis result.
  • the medical image diagnosis apparatus may perform a deep learning algorithm based on the input cervical spine image and the medical learning model in operation 1111 to extract a diagnostic region image of the input cervical spine image as illustrated in FIG. 12A. have.
  • the apparatus for diagnosing a medical image may extract diagnosis line images from the extracted diagnosis region image.
  • the medical image diagnostic apparatus may extract the boundary images of the extracted diagnostic region image to extract the boundary image of the diagnostic region as illustrated in FIG. 12B. .
  • the medical imaging apparatus is illustrated in FIG. 12C in step 1115.
  • the upper row line and the lower row line of the boundary image can be removed.
  • the medical imaging apparatus may extract the diagnostic lines as illustrated in FIG. 12D by removing the remaining portions except the left end point and the right large point in the X-axis direction from the image illustrated in FIG. 12C. .
  • the first diagnostic line 1211 may be a prevertebral line
  • the second diagnostic line 1213 may be an anterior vertebral line.
  • the area 1215 between the first diagnostic line 1211 and the second diagnostic line 1213 may be a cervical soft tissue region.
  • the medical image diagnosis apparatus may overlay and display the extracted diagnostic line on the input cervical spine image as illustrated in FIG. 12H. The doctor may check the position of the displayed diagnostic line to visually check whether the diagnostic line is extracted from the cervical spine image correctly.
  • steps 1113, 1115, and 1117 may be operations of step 917 (diagnosis line extraction step) of FIG. 9.
  • the medical image diagnosis apparatus may measure the slope of the extracted diagnosis line in operation 1119.
  • the medical imaging apparatus may measure the foot of perpendicular 1231 based on the slope of the diagnostic line (eg, the second diagnostic line 1213) as illustrated in FIG. 12E.
  • perpendicular may mean a straight line or a straight line perpendicular to the plane, and the foot of the waterline may be a point where the waterline meets a straight line or plane, and an intersection point generated when a straight line or plane is drawn at one point, or
  • the intersections of the straight line and the straight line (or the straight line and the plane) may be the feet of the repair, for example, as shown in Fig. 12E, the medical imaging apparatus may repair the repair based on the slope of the right diagnosis line.
  • the foot 1231 may be measured, and the inclination including the top 2 pixels and the bottom 2 pixels of the right starting point 1233 may be measured.
  • the medical imaging apparatus may measure a distance (interval) between the starting point 1233 and the repair foot 1231 in step 1121 after measuring the inclination of the diagnostic line.
  • the X axis may be a starting point (unit pixel) and the Y axis may be a measured distance (unit pixel).
  • the medical imaging apparatus may measure the distance between the feet of the waterline at the starting point, and set the slope-based interval to the pixel value.
  • the medical imaging apparatus may extract the critical region interval.
  • the medical imaging apparatus may measure the variance value in operation 1123 after measuring the interval based on the tilt interval. For example, as illustrated in FIG. 12G, the variance of points excluding three points having a maximum value and three points having a minimum value may be measured.
  • the variance measuring method may measure variance for five pixels including two pixels on the left and the right. In FIG. 11, steps 1119, 1121, and 1123 may be operations of step 951 of FIG. 9.
  • the medical imaging apparatus distinguishes the first half and the second half from the point having the maximum variance.
  • the medical imaging apparatus divides the median values of the remaining portions except for the front and rear 5 pixels, respectively, from C2-C3 and C6-C7. Can be set to the position of.
  • the medical imaging apparatus may measure a thickness between the first and second vertebral lines at positions C2-C3 and / or C6-C7, which are important regions.
  • steps 1125, 1127, and 1129 may be operations of step 953 of FIG. 9.
  • the medical imaging apparatus After measuring the thicknesses dist1 and dist2 between the prevertebral line and the anterior vertebral line at the location of C2-C3 and / or C6-C7 on the cervical spine image, the medical imaging apparatus, in step 1131, compares the dist1 and dist2 with corresponding reference values.
  • the analysis results can be displayed by comparative analysis.
  • the diagnostic result displayed at this time may be displayed as a normal and / or abnormal probability based on the measured values and the measured values of dist1 and dist2 as illustrated in FIG. 10D.
  • the medical imaging apparatus may display the cervical image by overlaying the prevertebral line and the anterior vertebral line extracted in step 1117.
  • FIG. 13 is a flowchart illustrating an operation of extracting a diagnosis region by a medical imaging apparatus according to an exemplary embodiment of the present invention.
  • 14A to 14E are diagrams illustrating screen examples of an operation of extracting a diagnosis region from a cervical spine image according to an exemplary embodiment of the present invention.
  • FIG. 14A illustrates an example in which a diagnosis region is extracted with two separation regions such as 1411, 1413, 1415, and 1417. If the diagnostic region is extracted into a plurality of regions as illustrated in FIG. 14A, the medical imaging apparatus recognizes this in operation 1311, and the separated regions 1411, 1413, 1415, and 1417 as illustrated in FIG. 14B in operation 1313. By using identifiers such as the reference number 1440 can be numbered for each area.
  • a deep learning algorithm eg, a CNN algorithm
  • the medical imaging apparatus may connect the separated regions 1411, 1413, 1415, and 1417 in the X-axis direction (eg, in a horizontal direction) to extract overlapping regions.
  • the medical imaging apparatus may recognize 1411 and 1417 and 1413 and 1415 regions overlapping in the horizontal direction.
  • the medical imaging apparatus may remove regions 1417 and 1415 having small sizes from overlapping regions (eg, regions 1411 and 1417, and regions 1413 and 1415) as illustrated in FIG. 14D. . In this manner, in operation 1319, the medical imaging apparatus may set the modified diagnostic region as illustrated in FIG. 14E.
  • the medical image diagnosis apparatus extracts a diagnostic region of an input cervical spine image by performing a deep learning algorithm, if the extracted diagnostic region includes a plurality of regions, regions having a small size among the overlapping regions in the horizontal direction are included. After removal, the diagnostic area can be extracted.
  • the computing device TN100 of FIG. 15 may be a device (eg, a medical imaging device, a cervical spine imaging device, etc.) described herein.
  • the computing device TN100 may include at least one processor TN110, a transceiver device TN120, and a memory TN130.
  • the computing device TN100 may further include a storage device TN140, an input interface device TN150, an output interface device TN160, and the like.
  • Components included in the computing device TN100 may be connected by a bus TN170 to communicate with each other.
  • the processor TN110 may execute a program command stored in at least one of the memory TN130 and the storage device TN140.
  • the processor TN110 may refer to a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to an embodiment of the present invention are performed.
  • the processor TN110 may be configured to implement the procedures, functions, methods, and the like described in connection with an embodiment of the present invention.
  • the processor TN110 may control each component of the computing device TN100.
  • Each of the memory TN130 and the storage device TN140 may store various information related to an operation of the processor TN110.
  • Each of the memory TN130 and the storage device TN140 may be configured of at least one of a volatile storage medium and a nonvolatile storage medium.
  • the memory TN130 may be configured as at least one of a read only memory (ROM) and a random access memory (RAM).
  • the transceiver TN120 may transmit or receive a wired signal or a wireless signal.
  • the transceiver TN120 may be connected to a network to perform communication.
  • the embodiment of the present invention is not implemented only through the apparatus and / or method described so far, but may be implemented through a program that realizes a function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded.
  • Such implementations can be readily implemented by those skilled in the art from the description of the above-described embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

의료 영상 진단 장치의 의료 영상 진단 방법이 제공된다. 상기 의료 영상 진단 장치는, 의료 영상을 입력한다. 상기 의료 영상 진단 장치는, 상기 입력된 의료 영상 및 상기 의료 영상으로부터 진단 부위를 추출하기 위한 의료 학습 모델에 기반하는 딥러닝 알고리즘을 수행하여, 상기 의료 영상에서 진단 부위 영역을 추출한다. 상기 의료 영상 진단 장치는, 상기 추출된 진단 부위 영역에서 설정된 위치들의 간격을 측정한다. 그리고 상기 의료 영상 진단 장치는, 상기 측정된 진단 부위 간격을 설정된 기준값과 비교 분석하여, 상기 의료 영상의 진단 결과를 생성 및 표시한다.

Description

의료 영상에 기반하여 상태를 진단하는 장치 및 방법
본 발명은 의료 영상을 분석하여 환자의 상태를 진단할 수 있는 장치 및 방법에 관한 것이다.
인공지능 알고리즘들은 의료 분야에 있어서도 활발하게 적용되고 있다. 향후 사물인터넷(Internet of Things: loT) 기반 생체 정보의 수집이 보편화되면 일상 생활에서 건강 상태를 모니터링하고 이상 유무를 확인하는데 인공지능 알고리즘들이 다양하게 적용될 것으로 예상된다. 또한, 실제 의료 현장에서는 국내외 영상의학 및 방사선 의학과를 중심으로 의료 영상에서 인공지능 알고리즘들을 활용하려는 움직임이 있다.
방사선 단순촬영(Radiography or X-ray), 초음파(ultrasonography), 컴퓨터단층촬영(Computed Tomography: CT), 자기공명영상(Magnetic Resonance Imaging: MRI), 양전자단층촬영(Positron Emission Tomography: PET) 등 다양한 의료 진단 기기로부터 획득된 의료 영상을 의사가 판독함으로써 과거에 비해 질병의 조기 진단 및 치료가 가능해지고, 그 결과 인간 수명 연장이 실현되고 있다. 그러나 다양한 진단 기기를 이용하는 환자 수의 증가에 비해 의료진 수의 부족, 인간의 부정확한 판독 및 의사 간 혹은 동일 의사 내에서의 판독 편차 등으로 인한 오진의 가능성도 문제로 대두되고 있다. 따라서, 의료 영상에서는 인공지능 알고리즘 기반 진단 시스템을 도입함으로써 이러한 문제점들을 보완하고자 하는 다양한 시도가 나타나고 있다. 즉, 의사에 의한 의료 영상의 판독에 더해 인공 지능을 이용한 진단 소견을 보완함(second-opinion 또는 double-reading으로 활용)으로써 보다 정확한 진단을 목적으로 하는 연구 등이 활발히 진행되고 있다.
본 발명이 해결하고자 하는 과제는, 의료 영상 진단 장치에서 획득된 의료 영상에서 설정된 진단 부위의 상태(medical condition)를 인식하여 이상 여부를 진단할 수 있는 장치 및 방법을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 과제는, 의료 영상 진단 장치에서 의료 영상 및 의료 영상의 진단 영역을 딥러닝에 기반하여 학습하여 입력되는 의료 영상에서 진단할 부위를 자동으로 설정할 수 있는 장치 및 방법을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 과제는, 의료 영상 진단 장치에서 입력되는 의료 영상을 학습된 딥러닝 결과를 적용하여 진단 부위를 자동으로 설정하고, 설정된 진단 부위의 상태를 분석하여 의료 영상의 상태를 진단할 수 있는 장치 및 방법을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 과제는, 의료 영상에 적어도 2개의 진단라인들을 표시하고, 진단 라인들에 기반하여 진단 영역을 설정하며, 의료 영상 및 해당하는 진단영역을 딥러닝 알고리즘에 의해 학습하여 딥러닝 학습 모델들을 생성하며, 진단 모듈은 입력되는 의료 영상에 학습된 딥러닝 학습 모델을 적용하여 의료 영상에서 진단 영역을 추출하고, 추출된 진단 영역으로 진단 라인을 생성한 후 진단 라인 사이의 간격을 측정하여 의료 영상의 상태를 진단할 수 있는 장치 및 방법을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 과제는, 경추 의료 영상이 입력되면 외상 환자의 경추 의료 영상(C spine lateral view)에서 경추 연조직(prevertebral soft tissue)의 두께 판독하기 위해 학습된 딥러닝 학습 모델을 적용하여 경추 의료 영상에서 진단 부위를 자동으로 설정하고, 설정된 진단 부위의 상태를 판독하여 경추 연조직의 상태를 진단할 수 있는 장치 및 방법을 제공하는 것이다.
또한 본 발명이 해결하고자 하는 과제는, 경추 의료 영상이 입력되면 외상 환자의 경추 의료 영상(C spine lateral view)에서 경추 연조직(prevertebral soft tissue)의 두께 판독하기 위해 학습된 딥러닝 학습 모델을 적용하여 경추 의료 영상에서 진단 부위를 자동으로 설정하고, 설정된 진단 부위의 상태를 판독하여 경추 연조직의 상태를 진단할 수 있는 컴퓨터 판독 가능한 기록매체를 제공하는 것이다.
본 발명의 실시예에 따르면, 의료 영상을 진단하는 방법이 제공된다. 상기 의료 영상 진단 방법은, 의료 영상을 입력하는 단계; 상기 입력된 의료 영상 및 상기 의료 영상으로부터 진단 부위를 추출하기 위한 의료 학습 모델에 기반하는 딥러닝 알고리즘을 수행하여, 상기 의료 영상에서 진단 부위 영역을 추출하는 단계; 상기 추출된 진단 부위 영역에서 설정된 위치들의 간격을 측정하는 단계; 및 상기 측정된 진단 부위 간격을 설정된 기준값과 비교 분석하여, 상기 의료 영상의 진단 결과를 생성 및 표시하는 단계를 포함할 수 있다.
또한 본 발명의 다른 실시예에 따르면, 의료 영상 진단 장치가 제공된다. 상기 의료 영상 진단 장치는 입력되는 의료 영상 및 상기 의료 영상으로부터 진단 부위를 추출하기 위한 의료 학습 모델에 기반하는 딥러닝 알고리즘을 수행하여, 상기 의료 영상에서 진단 부위 영역을 추출하는 진단부위 추출부; 상기 추출된 진단 부위 영역의 설정된 진단 위치에서 진단 부위 간격을 측정하는 측정부; 및 상기 측정된 진단 부위 간격을 설정된 기준값과 비교 분석하여, 상기 의료 영상의 병리 진단 결과를 생성하여 출력하는 진단부를 포함할 수 있다.
또한 본 발명의 또 다른 실시예에 따르면, 경추 영상을 진단하는 방법이 제공된다. 상기 경추 영상 진단 방법은, 경추 영상을 입력하는 단계; 상기 입력된 경추 영상 및 상기 경추 영상으로부터 경추 연조직(prevertebral stripe) 영역을 추출하기 위한 의료 학습 모델에 기반하는 딥러닝 알고리즘을 수행하여, 상기 경추 영상에서 경추 연조직 영역을 추출하는 단계; 상기 추출된 경추 연조직 영역에서 설정된 위치들의 경추 연조직 간격을 측정하는 단계; 및 상기 측정된 경추 연조직 간격을 설정된 기준값들과 비교 분석하여, 상기 경추 영상의 경추 연조직 진단 결과를 생성하여 표시하는 단계를 포함할 수 있다.
또한 본 발명의 또 다른 실시예에 따르면, 경추 영상 진단 장치가 제공된다. 상기 경추 영상 진단 장치는, 입력된 경추 영상 및 상기 경추 영상으로부터 경추 연조직(prevertebral stripe) 영역을 추출하기 위한 의료 학습 모델에 기반하는 딥러닝 알고리즘을 수행하여, 상기 경추 영상에서 경추 연조직 영역을 추출하는 경추 연조직 영역 추출부; 상기 추출된 경추 연조직 영역에서 설정된 위치들의 경추 연조직 간격을 측정하는 측정부; 및 상기 측정된 경추 연조직 간격을 설정된 기준값들과 비교 분석하여, 상기 경추 영상의 경추 연조직 진단 결과를 생성하여 출력하는 진단부를 포함할 수 있다.
본 발명의 실시예에 따르면, 외상 환자의 C spine lateral view에서 경추 연조직 영역(prvertebral soft tissue, prvertebral stripe)의 두께 판독시 의사에 의한 의료 영상의 판독에 더해 인공 지능을 이용하여 의사의 진단 소견을 보완할 수 있다.
또한 본 발명의 실시예에 따르면, 딥 러닝 알고리즘에 기반하여 의료 영상의 경추 연조직 영역을 추출하고, 추출된 경추 연조직 영역(prvertebral soft tissue, prvertebral stripe)의 간격을 측정할 수 있다.
도 1은 본 발명의 실시예에 따른, 병원 정보 시스템(HIS, hospital information system)의 구성을 도시하는 도면이다.
도 2는 본 발명의 실시예에 따른, 병원 시스템의 의료 영상 진단 장치의 구성을 도시하는 도면이다.
도 3은 본 발명의 실시예에 따른, 의료 영상 진단 장치의 학습 모듈 구조를 도시하는 도면이다.
도 4는 본 발명의 실시예에 따른, 의료 영상 진단 장치의 진단 모듈 구조를 도시하는 도면이다.
도 5는 경추 구성(C spine lateral view)을 모식적으로 도시한 도면이다.
도 6은 본 발명의 실시예에 따른, 의료 진단 동작을 도시하는 도면이다.
도 7은 본 발명의 실시예에 따른, 의료 학습 모델을 생성하는 절차를 도시하는 흐름도이다.
도 8a 내지 도 8e는 의료 학습 모델을 생성하는 동작을 설명하기 화면의 예들을 표시하는 도면이다.
도 9는 본 발명의 실시예에 따른, 의료 영상 진단장치에서 입력되는 의료 영상을 분석하여 진단하는 동작 절차를 도시하는 흐름도이다.
도 10a 내지 도 10d는 본 발명의 실시예에 따른, 의료 진단 동작의 화면들을 예시하는 도면이다.
도 11은 본 발명의 실시예에 따른, 의료 영상 진단 장치가 경추 영상의 진단 절차를 도시하는 흐름도이다.
도 12a 내지 도 12h는 본 발명의 실시예에 따른, 의료 영상 진단 장치가 경추 영상에서 진단 부위를 추출하여 병리 진단 결과를 표시하는 화면들의 예를 도시하는 도면이다.
도 13은 본 발명의 실시예에 따른, 의료 영상 진단장치가 진단 영역을 추출하는 동작을 도시하는 흐름도이다.
도 14a 내지 도 14e는 본 발명의 실시예에 따른, 경추 영상에서 진단영역을 추출하는 동작의 화면 예를 도시하는 도면이다.
도 15는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 실시예에 따른, 병원 정보 시스템(HIS, hospital information system)의 구성을 도시하는 도면이다.
도 1을 참조하면, 병원 정보 시스템(100)은 진료 장치(110), 진료 지원 장치(120), 관리 장치(140), 의료 정보 장치(130)를 포함할 수 있다. 병원 정보 시스템(100)은 인터넷 망(160)을 통해 외부 장치(170)와 연결될 수 있다. 병원 정보 시스템(100)은 처방 진단 시스템(OCS, order communication system) 및 의료 정보 장치를 포함할 수 있다. 처방 진단 시스템은 진료 장치(110), 진료 지원 장치(120), 및 관리 장치(140)를 포함할 수 있다.
처방 진단 시스템(OCS)는 환자에게 발생하는 처방을 중심으로 진료 장치(110), 진료 지원 장치(120) 및 관리 장치(140)들 간에 정보 전달을 전산화한 시스템을 의미할 수 있다. 병원 정보 시스템 내의 각 장치(진료, 진료 지원, 관리)들은 환자의 처방에 관련된 정보들을 처방 진단 시스템을 통해 해당하는 장치들에 전송할 수 있다. 처방 진단 시스템은 EMR(electronic medical record) 기능을 제공할 수 있다. EMR은 환자의 정보기록에 이용하던 종이 차트 대신 컴퓨터를 이용하여 컴퓨터에 직접 환자의 정보를 기록(paperless, chartless system)할 수 있다.
진료 장치(110)는 외래 처방, 병동 처방, 병동 간호, 수술실에 관련된 업무를 처리하는 장치가 될 수 있다. 진료 장치(110)가 적용되는 진료과에는, 외과계(general surgery, neuro surgery, chest surgery, orthopedic surgery, plastic surgery 등), 내과계(internal medicine; pulmonology, gastroenterology, endocrinology, rheumatology, hematology, oncology, nephrology, infectious diseases, allergy and clinical Immunology 등), 산부인과(obstetrics and gynecology), 이비인후과(ear, nose, throat), 안과(ophthalmology, eye), 피부과(dermatology), 비뇨기과(urology), 소아청소년과(pediatrics), 치과(dentistry), 신경과(neurology), 정신건강의학과(psychiatry), 정신의학과(psychology), 마취과(anesthetics), 진단검사의학과(clinical pathology), 영상의학과(radiology), 방사선종양학과(radiation oncology) 등이 있다.
진료 지원 장치(120)는 각종 검사실, 진단 방사선/핵의학, 약국, 영양/급식 등을 처리하는 장치가 될 수 있다. 진료 지원 장치(120)는 검체 검사, 기능 검사 및 환자의 의료 영상 획득 등의 기능을 수행할 수 있다. 진료 지원 장치(120)는 X-선, 감마선, 초음파, 자기장 등을 이용하여 의료 영상을 획득할 수 있다. 먼저 인체를 통과하는 X-선 이용하는 방법은, X-ray(X선영상 기술, radiography)을 이용하여 인체의 각 부위 조직의 투과된 X선의 감쇄 특성을 이용하여 평면형광판이나 필름에 생체 내부 구조를 영상화하는 방법 및 CT(전산화 단층 촬영 기술, Computed Tomography)을 이용하여 인체의 단면 주위를 돌면서 X-선을 투사하고 X-선이 인체를 통과하면서 감소되는 양을 측정하여 내부 구조를 영상화하는 방법을 포함할 수 있다. 두 번째로 인체 내에 주입된 감마선을 이용 하는 방법은 PET(양전자 방출 단층 촬영기술, Positron Emission Tomography) 방법이 될 수 있다. 세 번째로 인체 내에서 반사된 초음파 이용하는 방법은 Ultrasound(초음파영상 진단 기술)를 이용하여 송신된 초음파에 대해 생체 조직에서 반사된 초음파를 수신하여 반사되어온 초음파를 증폭, 검출하여 모니터에 영상화하는 방법이 될 수 있다. 네 번째로 인체 내 주입된 자기장 이용하는 방법은 MRI(자기공명영상 진단 기술, Magnetic Resonance Imaging)를 이용하여 자력에 의하여 발생하는 자기장을 이용하여 생체 임의의 단층 영상을 획득할 수 있는 방법이 될 수 있다. 예를 들면, 진료 지원 장치(120)의 의료 영상은 X-ray, MRI(magnetic resonance imaging), fMRI, MRI/DTI(diffusion tensor imaging), CT(computed tomography), SPECT(single-photon emission computed tomography), PET(positron emission tomography), MEG(magnetoencephalography), EEG(electroencephalography), EIT(extreme ultraviolet imaging telescope) 또는 이들의 조합으로 후처리(image post-processing) 혹은 영상 정합(fusion image)에 의해 획득될 수 있다.
관리 장치(140)는 외래 원무, 입원 원무, 응급실 원무 등을 처리하는 장치가 될 수 있다.
의료 정보 장치(130)는 진료 장치(110), 진료 지원 장치(120) 및 관리 장치(140)에서 생성 또는 획득되는 의료 정보들 및/또는 의료 영상들을 저장할 수 있다. 저장된 의료 정보 및/또는 의료 영상들이 진료 장치(110) 등에 의해 조회될 수 있다. 의료 정보 장치(130)는 의료 영상을 처리하는 의학 영상 정보 시스템(PACS; Picture Archiving and Communication System) 및 의료 정보를 처리하는 의료 정보 시스템(예를 들면, RIS(Radiological Information System), LIS(Laboratory Information System) 등) 등을 포함할 수 있다. PACS는 진료 지원 장치(120)에서 획득되는 의료 영상을 네트워크(예를 들면, DICOM(digital Imaging and communication in medicine) 네트워크)를 통해 수신하여 저장하고, 진료 장치(110)가 적용되는 진료과의 임상 의사가 네트워크를 통해 조회하여 해당 환자를 진료할 수 있는 포괄적인 디지털 이미지 관리 및 전송시스템이 될 수 있다. PACS는 진료 지원 장치(120)의 다양한 검사(촬영) 장치들로부터 획득된 의료 영상들을 등록된 의료 정보(예를 들면, 환자 정보 및 검사 정보)와 정합시킬 수 있다. 예를 들면, 의료 정보는 RIS에 저장될 수 있다. 이런 경우, PACS는 RIS로부터 관련정보를 가져올 수 있으며, 바람직하게는 진료 지원 장치(120)의 의료 영상 획득 장치에서 환자정보를 입력시킬 당시에 RIS의 정보를 이용할 수도 있다.
관리 장치(140), 진료 장치(110), 진료 지원 장치(120) 및/또는 의료 정보 장치(130)는 네트워크로 연결될 수 있다. 네트워크는 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN)가 될 수 있다. 예를 들면, 진료 장치(110) 및 진료 지원 장치(120)와 의료 정보 장치(130)는 네트워크를 통해 DICOM(digital Imaging and communication in medicine) 프로토콜 방식으로 의료 정보 및 의료 영상을 통신할 수 있다. DICOM 프로토콜은 의료영상의 표준적 처리를 위해 국제적으로 공인된 프로토콜로서, 병원에서 의료 영상과 정보들을 전송하는 표준 프로토콜로 PACS의 프로토콜로 사용될 수 있다. 병원에서 사용하는 영상 검사 및 진료 장비들은 서로 다른 기종의 영상 진단 장비이며, 이로 인해 이종 장치들 간에 서로 데이터를 교환하고 전송하기 위한 표준안으로 DICOM 프로토콜을 사용할 수 있다.
또한 병원 정보 시스템(100)은 네트워크(160)를 통해 다른 장치(170)들과 연결되어 의료 정보 및 영상들을 통신할 수 있다. 네트워크는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 네트워크(telephone network) 중 적어도 하나를 포함할 수 있다. 다른 장치(170)는 산하 의료 기관, 타 의료 기관, 의료 보헙 업체, 은행 등이 될 수 있다. 예를 들면, 진료 장치(110)는 인터넷 망을 통해 타 의료기관에 진료 회송 또는 이송을 할 수 있으며, 검사 의뢰 등을 할 수 있다.
도 1과 같은 병원 정보 시스템에서, 환자가 병원에 내원하여 진료를 받는 경우에, 먼저 관리 장치(140)에서 외래 원무 기능이 수행되고, 진료 장치(110)에서 1차 진료 기능이 수행될 수 있다. 이때 의료 영상이 필요한 경우에, 진료 장치(110)의 해당하는 의료 영상의 촬영 처방이 발생할 수 있으며, 진료 지원 장치(120)는 촬영 처방에 대응되는 의료 영상을 촬영하여 의료 정보 장치(130)에 저장할 수 있다. 그러면 진료 장치(110)는 의료 정보 장치(130)에 저장된 의료 영상에 기반하여 환자를 진료할 수 있다.
도 2는 본 발명의 실시예에 따른, 병원 시스템의 의료 영상 진단 장치의 구성을 도시하는 도면이다.
도 2를 참조하면, 의료 영상 진단 장치는 프로세서(200), 저장부(210), 통신부(220), 입력부(230) 및 표시부(240)을 포함할 수 있다. 도 2의 의료 영상 진단 장치는 도 1의 진료 장치(110) 또는 진료 지원 장치(120)이 될 수 있다. 의료 영상 진단 장치는 전자 장치가 될 수 있다. 전자 장치는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), 또는 웨어러블 디바이스(wearable device) 중 적어도 하나를 포함할 수 있다.
통신부(220)는 네트워크(예를 들면 도 1의 네트워크(160))을 통해 병원 시스템의 다른 장치(예를 들면, 도 1의 의료 정보 장치(130)) 및/또는 다른 장치(예를 들면, 도 1의 외부장치(170))로부터 의료 영상을 수신할 수 있다. 의료 영상은 DICOM 프로토콜 방식의 이미지일 수 있다. 통신부(220)는 무선 통신 모듈 및/또는 유선 통신 모듈을 포함할 수 있으며, 무선 통신 모듈은 셀룰러 통신 모듈 및/또는 근거리 통신 모듈을 포함할 수 있다. 근거리 통신 모듈은 WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 셀룰러 통신 모듈은 LTE(long term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 유선 통신 모듈은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.
입력부(230)는 사용자에 의해 발생되는 입력신호들을 수신할 수 있다. 입력부(230)는 데이터 또는 의료 영상 진단 장치의 동작을 제어하기 위한 커맨드 등을 입력할 수 있다. 입력부(230)는 학습 중에 사용자(예를 들면, 의사)에 의해 의료 영상 위에 입력되는 진단 라인들을 감지하여 입력신호로 생성할 수 있다.
표시부(240)는 액정 디스플레이(LCD, liquid crystal display), 발광 다이오드(LED, light emitting diode) 디스플레이, 유기 발광 다이오드(OLED, organic light emitting diode) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 표시부(240)는 사용자에게 각종 콘텐츠(예, 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 표시부(240)는 의료 영상, 학습 및 진단 과정에서 수행되는 진단라인 및 진단 영역 등을 표시할 수 있다.
입력부(230) 및 표시부(240)는 터치 스크린(touch-screen)으로 구성될 수 있다. 이런 경우에, 입력부(230)는 터치 센서들을 포함할 수 있다. 터치스크린은 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 예를 들면, 터치스크린은 표시부(240)에 의해 표시되는 의료 영상 위에 펜으로 터치 입력되는 입력들을 감지하여 진단라인의 신호들로 생성할 수 있다.
프로세서(200)은 중앙처리장치(CPU, central processing unit), 어플리케이션 프로세서(AP, application processor), 또는 커뮤니케이션 프로세서(CP, communication processor(CP)) 중 적어도 하나를 포함할 수 있다. 프로세서(200)는, 의료 영상 진단 장치의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
저장부(210)는 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 저장부(210)는, 의료 영상 진단 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 저장부(210)는 소프트웨어 및/또는 프로그램을 저장할 수 있다.
프로세서(200)는 학습 모듈 및 진단 모듈을 포함할 수 있다. 프로세서(200)의 학습 모듈은 진단 모듈에서 의료 영상을 진단할 때 의료 영상의 진단 영역이 자동으로 설정되도록 의료 영상을 학습하는 기능을 수행할 수 있다. 학습 모듈은 통신부(220)를 통해 의료 영상과 입력부(230)를 통해 진단 라인 정보들을 입력할 수 있다. 의료 영상은 의료 정보 장치(130)에 전송되는 의료 영상이 될 수 있다. 진단 라인 정보는 의사가 표시부(240)에 표시되는 의료 영상에서 의료 상태를 진단하기 위한 부위를 표시하는 정보가 될 수 있다. 예를 들면, 의사는 표시부(240)에 표시되는 의료 영상에서 진단 부위를 설정하기 위해 적어도 2개의 진단 라인을 표시(예를 들면, 펜으로 표시부 상에서 라인을 그어 진단 위치를 설정)할 수 있다. 학습 모듈은 의료 이미지 및 적어도 두개의 진단라인들을 입력하고, 진단라인들 사이에 화소를 채워 진단영역으로 변환할 수 있다. 이후 학습 모듈은 의료 이미지 및 진단영역을 딥러닝 알고리즘에 기반하여 학습한 후, 의료 이미지에서 진단영역을 추출하기 위한 딥러닝 학습 모델을 생성하여 저장부(210)에 저장할 수 있다. 딥러닝 알고리즘은 합성 신경망 알고리즘(CNN, convolutional neural network algorithm)이 될 수 있다.
프로세서(200)의 진단 모듈은 진단할 의료 영상이 통신부(220)을 통해 입력되면, 학습된 딥러닝 학습 모델에 기반하여 의료 영상을 딥러닝 알고리즘에 적용할 수 있다. 딥러닝 알고리즘이 수행되면, 의료 영상에서 진단 영역이 추출될 수 있으며, 추출된 진단 영역에서 적어도 두개의 진단라인들이 추출될 수 있다. 이후 진단 모듈은 추출된 적어도 두개의 진단라인들 사이의 간격을 측정하고, 측정된 거리 정보를 설정된 기준값과 비교하여 진단 결과 정보를 생성할 수 있다. 또한 진단 모듈은 추출된 진단라인들을 의료 영상에 오버레이시켜 표시부(240)에 표시할 수 있으며, 진단 결과 정보도 표시부(240)에 함께 표시할 수 있다.
도 3은 본 발명의 실시예에 따른, 의료 영상 진단 장치의 학습 모듈 구조를 도시하는 도면이다.
도 3을 참조하면, 의료 영상(310)은 특정 위치에 진단 부위를 포함하는 영상이 될 수 있다. 예를 들면, 사람의 뼈는 피부로 감싸져 있으며, 특정 뼈에 인접되는 피부는 일정한 두께를 가질 수 있다. 예를 들면, 경추(cervical vertebral)의 앞에 위치되는 경추 연조직(prevertebral soft tissue, prevertebral stripe)는 정상 경우에 일정 두께를 가질 수 있다. 그러나 경추 또는 경추 연조직 영역에 이상이 발생되면 경추 연조직의 두께가 변경될 수 있다. 따라서 특정 뼈에 인접되는 피부 영역이 진단 부위로 설정되고, 진단 부위의 변화가 측정되면 해당하는 뼈 또는 피부 조직의 이상 또는 정상 여부가 진단될 수 있다. 의료 영상(310)은 진단하고자 뼈 및 해당하는 뼈에 인접되는 피부의 진단부위 영역을 포함하는 영상이 될 수 있다. 의사는 의료 영상(310)에서 진단부위의 영역을 설정할 수 있다. 진단 부위 영역의 시작 위치에 제1 진단라인이 표시되고, 진단부위 영역의 종료 위치에 제2 진단 라인이 표시되어, 진단 영역이 설정될 수 있다.
의료 영상(310)이 입력되면, 의료 영상(310)에 진단 부위를 표시하기 위한 적어도 두 개의 진단라인들이 표시되는 진단 라인 영상(320)이 생성될 수 있다. 예를 들면, 의료 영상(310)은 엑스레이 이미지가 될 수 있으며, 의사는 영상 의학과 및/또는 방사선과 의사가 될 수 있다. 의료 영상(310)은 학습(training)에 사용할 이미지가 될 수 있으며, 진단 라인 영상(320)은 의사가 의료 영상(310)에 표시한 진단 라인들이 될 수 있다. 의료 영상(310)은 통신부(예를 들면, 도 2의 통신부(220))을 통해 수신되는 DICOM 의료 영상이 될 수 있으며, 의료 영상(310)은 표시부(예를 들면, 도 2의 표시부(240))에 표시될 수 있다. 그리고 의사는 표시부에 표시되는 의료 영상(310)에서 진단 부위 영역을 설정하기 위한 제1 진단라인 및 제2 진단라인을 표시할 수 있다. 제1 진단라인은 진단 부위 영역의 시작 위치에 표시될 수 있으며, 제2 진단라인은 진단 부위 영역의 종료 위치에 표시될 수 있다. 의사가 제1 및 제2 진단라인을 설정하면, 입력부(예를 들면, 도 2의 입력부(230))는 의사에 의해 입력되는 제1 진단라인 및 제2 진단라인을 감지하여 프로세서(예를, 들면 도 2의 프로세서(200))에 전달할 수 있다. 프로세서는 입력되는 제1 진단라인 및 제2 진단라인에 기반하여 의료 영상(310)의 진단 영역을 생성할 수 있다.
진단 영역 변환부(330)는 제1 진단라인과 제2 진단라인 사이에서 화소들을 채워넣어 면적으로 변환할 수 있다. 예를 들면, 진단 영역 변환부(330)는 진단 라인들 사이에 수평 방향(X 축 방향)으로 화소(pixel)들을 채워 넣어 진단 영역을 생성할 수 있다.
진단 영역이 생성된 후, 딥러닝 실행부(340)는 의료 영상(310)과 해당하는 의료 영상(310)의 진단영역을 딥러닝 알고리즘으로 학습하여 딥러닝 학습 모델을 생성할 수 있다. 딥러닝 알고리즘은 합성 신경망(convolutional neural network, CNN) 알고리즘을 사용할 수 있다. 딥러닝 실행부(340)에 의해 생성되는 딥러닝 학습 모델(예, CNN 학습 모델)은 진단 모듈에서 입력되는 의료 영상에 진단 영역을 설정하는 동작을 수행할 수 있다. 딥러닝 학습모델(예를 들면, CNN 학습 모델)은 의료 학습 모델이 될 수 있다. 의료 학습 모델은 의료 영상 및 진단 부위 영역에 기반하여 생성되는 모델로서, 의료 영상을 진단할 때 입력되는 의료 영상의 진단 부위 영역을 추출할 수 있는 의료 학습 모델이 될 수 있다.
도 4는 본 발명의 실시예에 따른, 의료 영상 진단 장치의 진단 모듈 구조를 도시하는 도면이다.
도 4를 참조하면, 의료 영상(410)은 통신부(예, 도 2의 통신부(220))를 통해 수신되는 의료 영상이 될 수 있다. 의료 영상 진단 장치는 입력되는 의료 영상에서 진단부위 영역을 추출할 수 있다. 진단부위 추출부는 입력되는 의료 영상에서 진단 영역을 추출하고, 추출된 진단영역에서 제1 및 제2 진단라인을 추출할 수 있다.
딥러닝 실행부(420)는 의료 영상(410)과 의료 학습 모델에 기반하여 의료 영상(410)에서 진단 영역을 추출할 수 있다. 딥러닝 실행부(420)는 진단영역 추출부의 기능을 수행할 수 있다. 딥러닝 실행부(420)는 의료 영상에서 진단 영역을 추출하기 위해 특화된 CNN 학습 모델이 될 수 있다.
의료 영상(410)에서 진단 영역이 추출되면, 진단 라인 추출부(430)는 진단 영역의 경계를 추출하여 진단라인들을 추출할 수 있다. 딥러닝 실행부(420) 및 진단 라인 추출부(430)는 진단부위 추출부가 될 수 있다.
병리 진단부(440)는 기울기 측정부(450), 간격 측정부(460), 및 진단부(470)을 포함할 수 있다. 기울기 측정부(450)는 진단 라인들의 기울기를 측정하고, 간격 측정부(460)은 측정된 기울기에 기반하여 중요한 위치(예, 병리 진단할 주요 위치)에서 진단 라인들 사이의 간격을 측정할 수 있다. 기울기 측정부(450) 및 간격 측정부(460)는 추출된 진단부위 영역의 설정된 진단 위치에서 진단부위의 간격을 측정하는 측정부가 될 수 있다. 진단부(470)는 측정된 진단 라인들 사이의 간격을 기준 값과 비교 분석하여 병리 진단 결과를 생성할 수 있다. 이때, 병리 진단 결과는 측정된 주요 위치의 측정 결과 값 및 비정상 확률(또는 정상 확률) 값이 될 수 있다. 또한 진단 라인 추출부(430)에 의해 진단 라인들이 추출되면, 의료 영상(410)에 진단 라인들이 오버레이되어 의료 영상에 진단 부위가 표시될 수 있다. 프로세서의 진단 모듈은 진단부(470)에서 출력되는 병리 진단 결과 및 진단부위가 표시되는 의료 영상을 표시부에 표시할 수 있다.
의료 영상은 경추 영상이 될 수 있다. 경추의 앞에 위치되는 경추 연조직(prevertebral soft tissue in cervical spine)은 일정 두께(간격)를 가질 수 있다. 외상 환자의 C spine lateral view로부터 경추 연조직의 두께가 판독되는 경우에, 의사에 의한 의료 영상의 판독에 더해 인공 지능에 기반한 진단 소견이 보완되거나 의사 판독 이전에 미리 인지되어 고위험 영상으로 미리 분류될 수 있다. 예를 들면, 응급실 의료 환경은 빠른 의학적 판단이 요구되고 영상의학과 의사의 24시간 판독을 기대할 수 없는 의료 환경이 될 수 있다. 따라서 의료 영상이 촬영됨과 동시에, 주의가 기울어져야할 위험도 높은 상황이 미리 알려진다면 응급 진료의 수준이 한 단계 더 향상될 수 있다. 이는, 국민건강향상에 이바지할 수 있다.
도 5는 경추 구성(C spine lateral view)을 모식적으로 도시한 도면이다.
도 5를 참조하면, 경추(550)는 C1-C7을 포함할 수 있으며, 경추 라인은 anterior vertebral line(513), posterior vertebral line(515), spino-lamina line(517), posterior spinous line(519)을 포함할 수 있다. 그리고 anterior vertebral line(513)의 앞에 prevertebral line(511)이 존재하며, prevertebral line(511)과 anterior vertebral line(513) 사이에 경추 연조직(530)이 위치된다. 경추 연조직(530)은 임상학적으로 의미가 크다. 정상인의 경추 연조직(530)의 경우에, 간격이 C2와 C3 사이의 영역(533)의 두께는 7 mm 정도이며, C6과 C7 사이의 영역(535) 두께는 21 mm 정도가 될 수 있다. 그리고 prevertebral space인 경추 연조직(530)에 fluid(출혈, 농양 등)가 발생되면, 경추 연조직(530)은 두꺼워질 수 있다. 합성곱 신경망 딥 러닝에 기반한 경추 연조직 측정 방법은 prevertebral line(511) 및 anterior vertebral line(513)을 인식하여 경추 연조직(prevertebral soft tissue, prevertebral stripe)의 두께를 측정하여 진단하는 경우, 영상의학과 전문의에 의한 측정과 97% 이상의 일치도를 보임을 확인할 수 있다.
이하의 설명에서 의료 영상은 경추 의료 영상(C spine lateral view)을 예로 들어 설명될 것이다. 경추 의료 영상에서 진단 영역은 경추 연조직(prevertebral stripe) 영역이 될 수 있으며, 제1 진단라인은 prevertebral line이 될 수 있으며, 제2 진단라인은 anterior vertebral line이 될 수 있다. 따라서 진단 영역은 제1 진단라인과 제2 진단라인 사이에 위치되는 경추 연조직(prevertebral stripe) 영역이 될 수 있다.
의료 영상이 경추 영상인 경우, 진단 부위 추출부(예를 들면, 딥러닝 실행부(420) 및 진단라인 추출부(430)는 경추 연조직 추출부가 될 수 있다. 딥러닝 실행부(420)는 경추 연조직(530) 영역을 추출하며, 진단라인 추출부(430)는 경추 연조직(530)에서 제1 진단라인(511) 및 제2 진단라인(513)을 추출할 수 있다.
또한 기울기 측정부(450)는 제1 진단라인(511) 및/또는 제2 진단라인(513)의 기울기를 측정할 수 있으며, 간격 측정부(460)는 중요 부위 위치(예를 들면, C2-C3 및/또는 C6-C7)를 추출하여 제1 라인과 제2 라인의 간격을 측정할 수 있다. 측정부는 기울기 측정부(450) 및 간격 측정부(460)을 포함할 수 있다.
도 6은 본 발명의 실시예에 따른, 의료 진단 동작을 도시하는 도면이다.
도 6을 참조하면, 의료 영상 진단 장치는 의료 영상이 입력되면 의료 영상의 진단 부위를 자동으로 설정하여 진단 동작을 수행할 수 있다. 이를 위하여, 의료 영상 진단 장치는 의료 영상의 진단부위를 학습하여 의료 학습 모델(예를 들면 딥러닝 학습 모델)을 생성할 수 있다. 의료 학습 모델은 학습용 의료 영상 및 학습용 진단 부위 이미지에 기반하여 생성될 수 있다. 예를 들면, 의사는 학습용 의료 영상에 진단 부위를 표시하고, 의료 영상 진단 장치는 의료 영상 및 진단부위 영상을 학습하여 의료 영상의 진단부위를 설정하기 위한 의료 학습 모델을 생성할 수 있다. 의사에 의해 표시되는 진단부위 이미지는 라인으로 표시될 수 있으며, 또는 면적으로 표시될 수 있다.
예를 들어, 의사는 의료 영상에 진단부위를 라인(이하 '진단 라인'이라 칭함)으로 표시하고, 의료 영상 진단 장치는 진단 라인에 기반하여 진단 영역을 생성하고, 의료 영상과 진단영역 영상에 기반하여 의료 학습 모델을 학습할 수 있다. 그러나 의료 영상 진단 장치는 의료 영상과 진단라인 영상에 기반하여 의료 학습 모델을 생성할 수도 있다.
의료 영상은 통신부(예를 들면, 도 2의 통신부(220)를 통해 입력될 수 있으며, 또는 입력부(예를 들면, 도 2의 입력부(230)의 스캐너)를 통해 입력될 수 있다. 진단 부위 이미지는 입력부를 통해 입력될 수 있으며, 또는 통신부를 통해 입력될 수 있다.
이하의 설명에서, 의료 영상 진단 장치는 통신부를 통해 의료 영상을 입력하고, 입력부를 통해 진단부위를 입력하는 것을 예로 들어 설명하기로 한다. 또한 진단부위 이미지는 진단 라인이며, 의료 영상 진단 장치는 진단 라인 영상에 기반하여 진단 영역을 설정하고, 의료 영상과 진단 영역에 기반하여 의료 학습 모델을 생성하는 것을 예로 들어 설명하기로 한다.
611 단계에서 통신부를 통해 학습용 의료 영상이 입력되면, 의료 영상 진단 장치는 613 단계에서 입력된 의료 영상 이미지를 표시부(예를 들면, 도 2의 표시부(240))에 표시하고, 표시되는 의료 영상에 진단 라인이 의사에 의해 표시될 수 있다. 예를 들면, 의료 영상이 경추 영상이면, 의사에 의해 표시되는 진단라인은 prevertebral line(제1 진단라인, 도 5의 511) 및 anterior vertebral line(제2 진단라인, 도 5의 513)이 될 수 있다. 의료 영상 진단 장치는 613 단계에서 입력부를 통해 의료 영상에 연관된 진단 부위 이미지를 수신할 수 있으며, 615 단계에서 진단라인 이미지에서 진단라인들 사이에 화소를 채워넣어 진단영역을 생성할 수 있다. 예를 들면, 진단영역은 prevertebral line과 anterior vertebral line 사이의 경추 연조직(예, prevertebral stripe, 도 5의 550)이 될 수 있다. 의료 영상 진단 장치는 617 단계에서 의료 영상과 진단 영역 영상에 대하여 딥러닝 알고리즘을 수행할 수 있으며, 619 단계에서 딥러닝 학습 결과에 기반하는 의료 학습 모델을 생성할 수 있다. 딥러닝 알고리즘은 CNN 알고리즘이 될 수 있다.
의료 영상이 학습되는 과정에서, 의료 영상은 다양한 상태로 입력될 수 있으며, 진단부위 이미지는 입력되는 의료 영상의 상태에 기반하여 그려질 수 있다. 예를 들면, 의료 영상은 15도 좌측 방향으로 기울어질 수 있으며, 우측 방향으로 20도 기울어질 수 있으며, 180도 회전되어 입력될 수도 있다. 이러한 경우에, 입력되는 의료 영상의 상태에 따라 진단 라인들이 의사에 의해 표시될 수 있으며, 의료 영상 진단 장치는 입력되는 의료영상의 상태에 기반하여 의료 학습 모델을 생성할 수 있다. 따라서 의료 영상 진단 장치는 의료 영상의 입력 상태(예를 들면, 회전, 기울어짐 등)에 대응되는 의료 학습 모델을 생성할 수 있다.
의료 영상 진단 장치는 생성된 의료 학습 모델에 기반하여 입력되는 의료 영상의 진단 부위를 설정할 수 있다. 651 단계에서 의료 영상이 입력됨을 인식하면, 의료 영상 진단 장치는 653 단계에서 입력된 의료 영상과 다양한 상태로 생성된 의료 학습 모델들에 기반하는 딥러닝 알고리즘을 수행할 수 있다. 의료 학습 모델은 다양한 의료 영상들 및 이들 각각 대응되는 진단 영역들에 대하여 딥러닝 알고리즘에 의해 생성된 모델들이 될 수 있다. 의료 영상 진단 장치는 653 단계에서 딥러닝 알고리즘을 실행하면, 655 단계에서 입력된 의료 영상의 진단부위에 대응되는 진단 영역 영상을 추출할 수 있으며, 657 단계에서 진단영역 이미지의 경계선들을 추출하여 진단라인을 추출할 수 있다. 진단라인이 추출되면, 의료 영상 진단 장치는 659 단계에서 추출된 진단 라인을 입력된 의료 영상에 오버레이시켜 표시부에 의료 영상의 진단 부위를 표시할 수 있다.
의료 영상 진단 장치는 657 단계에서 진단라인 이미지를 추출한 후, 661 단계에서 추출된 진단라인의 기울기를 추정하고, 추정된 기울기에 기반하여 진단 라인들의 간격을 측정할 수 있다. 의료 영상 진단 장치는 진단 라인들에서 병리 진단을 수행할 수 있는 중요 부위 위치에서 진단라인들 간의 간격을 측정한 후, 663 단계에서 측정된 간격들을 분석하여 의료 진단 동작을 수행할 수 있다. 예를 들면, 중요 부위 위치는 경추 영상에서 C2와 C3 및/또는 C6과 C7의 위치가 될 수 있으며, 의료 영상 진단 장치는 중요 부위 위치에서 prevertebral line(제1 진단라인) 및 anterior vertebral line(제2 진단라인) 사이의 간격을 측정할 수 있다. 의료 영상 진단 장치는 의료 진단 동작을 수행한 후, 665 단계에서 병리 진단 결과(확률)를 표시부에 표시할 수 있다. 의료 영상 진단 장치는 665 단계에서 병리 진단 결과를 표시할 때, 진단 라인들이 오버레이 표시되는 의료 영상을 함께 표시할 수도 있다. 또한 의료 영상 진단 장치는 661 단계에서 진단라인의 기울기 및 중요 부위가 설정되면, 의료 영상에 표시되는 진단라인에서 설정된 중요 부위 위치를 표시할 수 있다.
의사는 표시부에 표시되는 의료 영상 및 진단 라인을 육안으로 확인하고, 의료 영상에 진단라인이 정확하게 설정된 경우에, 의료 진단 결과에 기반하여 의료 영상을 2차적으로 분석할 수 있다.
도 7은 본 발명의 실시예에 따른, 의료 학습 모델을 생성하는 절차를 도시하는 흐름도이다. 도 8a 내지 도 8e는 의료 학습 모델을 생성하는 동작을 설명하기 화면의 예들을 표시하는 도면이다. 의료 영상의 입력 상태에서 그려지는 진단 라인의 표시 예가 도시되어 있다.
도 7을 참조하면, 도 8a와 같은 경추 영상이 입력되면, 의료 영상 진단 장치는 711 단계에서, 이를 인식하고, 입력된 경추 영상을 표시할 수 있다. 도 8b에 예시된 바와 같이, 경추 영상에 진단부위를 설정하기 위한 prevertebral line(811) 및 anterior vertebral line(813)이 의사에 의해 표시될 수 있다.
경추 영상에 prevertebral line(811) 및 anterior vertebral line(813)이 표시되면, 의료 영상 진단 장치는 713 단계에서, 의사에 의해 표시되는 prevertebral line(811) 및 anterior vertebral line(813)을 인식하여, 도 8c에 예시된 바와 같이 제1 진단라인(831) 및 제2 진단라인(833)을 추출할 수 있다. 제1 진단라인(831)은 prevertebral line이 될 수 있으며, 제2 진단라인(833)은 anterior vertebral line이 될 수 있다.
제1 및 제2 진단라인(831, 833)이 추출된 후, 의료 영상 진단 장치는 715 단계에서, 제1 및 제2 진단라인(831, 833) 사이를 화소로 채워 도 8d에 예시된 바와 같이 진단 영역(860)을 생성할 수 있다. 진단 영역(860)은 도 8b에서의 경추 연조직 영역(830)이 될 수 있다.
진단 영역(860)이 생성된 후, 의료 영상 진단 장치는 717 단계에서, 도 8a에 예시된 경추 영상 및 도 8d에 예시된 진단 영역(860)에 기반하여 딥러닝 알고리즘을 수행할 수 있으며, 719 단계에서, 딥러닝 학습 결과에 따른 의료 학습 모델을 생성할 수 있다. 719 단계에서 생성되는 의료 학습 모델은 도 8a에 예시된 의료 영상이 입력될 때, 도 8e에 예시된 바와 같이 의료 영상에 진단 영역을 자동으로 설정하기 위한 모델이 될 수 있다.
711 단계에서 의료 영상 진단 장치에 입력되는 의료 영상(예, 경추 영상)은 고해상도 이미지일 수 있다. 고해상도 이미지가 학습되는 경우에, 많은 연산 횟수 및 시간이 소모될 수 있다. 따라서 의료 영상은 적절한 크기를 가지도록 미리 처리(pre-processing)될 수 있다. 의료 영상은 dicom 형식일 수 있으며, 영상의 크기(pixel size) 정보는 dicom header로부터 획득될 수 있다. 예를 들면, dicom 영상은 2k x 3k의 크기를 가질 수 있다. 의료 영상(예, 경추 영상)의 효과적인 학습(deep learning)을 위해서, 의료 영상은 256 x 256으로 다운 스케일(downscale)될 수 있다. 예를 들면, 의료 영상 진단 장치는 의료 영상의 학습 동작을 수행하기 전에, 2k x 3k 의 크기를 가지는 의료 영상(예, 경추 영상)의 좌상단 시작점, 우하단 끝점을 클릭(click)하고, 클릭된 점들을 기준으로 상기 의료 영상을 256 x 256 크기를 가지는 의료 영상으로 resize and crop 하여 training set을 위한 영상을 재구성할 수 있다. 앞서 얻은 pixel size에 동일한 비율의 계산이 적용되면, 'resize and crop 영상'에서도 길이가 측정될 수 있다. 효율적인 의료 학습 모델(예, training set)을 생성하기 위한 바이나리 파일(binary file) 형식이 사용될 수 있다. 예를 들어, 점(Point)들을 잇는 진단라인을 통해 진단영역 마스크(mask)가 생성될 수 있고, 의료 영상과 진단 영역 영상이 [256 x 256 x 2] 어레이(array)로 저장될 수 있다. 즉, 의료 영상 진단 장치는 위와 같이 재구성된 의료 영상(예, 경추 영상)을 입력할 수 있으며, 재구성된 경추 영상에 경추 연조직을 추출하기 위한 진단 라인들이 의사에 의해 그려 넣어질 수 있다.
의료 영상 진단장치에 입력되는 경추 영상은 기울어진 형태로 획득될 수 있다. 예를 들면, 경추 영상은 좌측 또는 우측으로 기울어진 상태로 획득될 수 있다. 이때 의사는 기울어진 경추 영상에 진단라인들을 그려 넣을 수 있다. 그러면 의료 영상 진단 장치는 기울어진 경추 영상에 따른 진단영역을 생성하고, 이를 학습하여 의료 학습 모델을 생성할 수 있다. 따라서 의료 영상 진단 장치는 입력되는 의료 영상에 대응되는 각도로 진단 영역을 설정할 수 있으며, 설정된 진단 영역에 기반하여 의료 영상의 딥러닝 알고리즘을 수행할 수 있다.
도 9는 본 발명의 실시예에 따른, 의료 영상 진단장치에서 입력되는 의료 영상을 분석하여 진단하는 동작 절차를 도시하는 흐름도이다. 도 10a 내지 도 10d는 본 발명의 실시예에 따른, 의료 진단 동작의 화면들을 예시하는 도면이다.
도 9를 참조하면, 의료 영상 진단 장치는 911 단계에서, 도 10a에 예시된 바와 같은 경추 영상을 수신할 수 있다. 경추 영상이 수신되면, 의료 영상 진단 장치는 경추 영상과 학습된 의료 학습 모델들에 기반하여 딥러닝 알고리즘을 수행할 수 있다. 의료 학습 모델은 도 7의 방법에 의해 생성될 수 있으며, 경추 영상의 진단 영역을 학습하여 생성된 마스크 모델이 될 수 있다. 의료 영상 진단 장치는 경추 영상과 의료 학습 모델을 입력으로 하여 딥러닝 알고리즘을 수행할 수 있으며, 딥러닝 학습이 종료되면 도 10b에 예시된 바와 같이 진단 영역 이미지를 생성할 수 있다.
의료 영상 진단 장치는 진단할 의료 영상이 수신되면, 913 단계에서, 수신된 의료 영상과 의료 학습 모델들을 입력으로 하는 딥러닝 알고리즘을 수행하며, 915 단계에서, 딥러닝 알고리즘의 수행에 기반하여 도 10b에 예시된 바와 같이 수신된 의료 영상의 진단 영역을 추출할 수 있다. 도 10b에 예시된 바와 같이 추출되는 진단 영역은 경추 연조직 영역이 될 수 있다.
의료 영상 진단 장치는 917 단계에서, 도 10b에 예시된 바와 같이 추출된 진단 영역에서 경계선들을 추출하여, 도 10c에 예시된 바와 같은 제1 및 제2 진단 라인(1031, 1033)들을 추출할 수 있다. 제1 진단라인(1031)은 진단영역(1040)의 좌측 경계선으로 prevertebral line이 될 수 있으며, 제2 진단라인(1033)은 진단영역(1040)의 우측 경계선으로 anterior vertebral line이 될 수 있다.
도 10c에 예시된 바와 같이 제1 진단라인(1031) 및 제2 진단라인(1033)이 추출된 후, 의료 영상 진단 장치는 919 단계에서, 의료 진단 동작을 수행할 수 있다. 의료 진단 동작을 수행하는 동작은 951 단계, 953 단계, 및 955 단계를 포함할 수 있다. 의료 영상 진단 장치는 951 단계에서, 추출된 제1 진단라인 및 제2 진단라인의 기울기를 측정하고, 953 단계에서, 측정된 기울기에 기반하여 간격을 측정할 중요 부위를 설정하며, 설정된 중요 부위의 간격을 측정할 수 있다. 경추 영상의 경우에, 도 10c에 예시된 바와 같이 제1 중요 부위(1043)는 C2-C3 위치가 될 수 있으며, 제2 중요 부위(1045)는 C6-C7 위치가 될 수 있다. 의료 영상 진단 장치는 953 단계에서, 제1 중요 부위(1043) 및/또는 제2 중요 부위(1045)의 간격(두께)을 측정할 수 있다. 의료 영상 진단 장치는 C2-C3의 두께를 측정할 수 있으며, 또는 C6-C7의 두께를 측정할 수 있으며, 또는 C2-C3 및 C6-C7의 두께를 모두 측정할 수 있다. C2-C3 및/또는 C6-C7 위치의 경추 연조직 두께가 측정된 후, 의료 영상 진단 장치는 955 단계에서, 해당 부위의 두께 측정값을 해당 부위의 기준값(예, 정상 수치를 가지는 기준값)과 비교 분석하여 경추 연조직의 상태를 진단할 수 있다.
경추 연조직의 두께가 진단된 후, 의료 영상 진단 장치는 921단계에서, 진단 결과 값을 표시부에 표시할 수 있다. 도 10d는 표시부에 표시되는 경추 영상 및 진단 결과값의 표시 예를 도시하는 도면이 될 수 있다. 도 10d에서 1061은 입력되는 경추 영상이 될 수 있으며, 1063은 입력된 경추 영상에 추출된 진단라인이 오버레이되어 표시되는 영상이 될 수 있으며, 1065는 경추 영상의 경추 연조직을 표시하는 화면의 예가 될 수 있다.
경추 영상 화면(1063)은 917 단계에서 제1 진단라인(1031) 및 제2 진단라인(1033)이 경추 영상에 오버레이된 화면이 될 수 있다. 955단계에서 생성되는 진단 결과 값은 경추 C2-C3의 두께인 dist1과 경추 C6-C7의 두께인 dist2의 값을 포함할 수 있으며, 측정된 두께들과 정상인 기준값들이 비교 분석되어 정상(normal) 확률 및 비정상(abnormal) 확률이 표시될 수 있다. 예를 들면, 경추 C2-C3의 두께 dist1이 7 mm로 측정되고, 경추 C6-C7의 dist2 값이 21mm로 측정된 경우, 의료 영상 진단 장치는 normal 확률을 100%로 표시하고, abnormal 확률을 0%로 표시할 수 있다. 그리고 dist1 및/또는 dist2의 측정 값이 각각 대응되는 기준값(예, dist1이 7mm, dist2는 21mm) 보다 작거나 큰 값으로 측정되면, 의료 영상 진단 장치는 기준값과 측정 값들의 비율을 측정하여 정상 및 비정상 확률을 표시할 수 있다.
도 11은 본 발명의 실시예에 따른, 의료 영상 진단 장치가 경추 영상의 진단 절차를 도시하는 흐름도이다. 도 12a 내지 도 12h는 본 발명의 실시예에 따른, 의료 영상 진단 장치가 경추 영상에서 진단 부위를 추출하여 병리 진단 결과를 표시하는 화면들의 예를 도시하는 도면이다.
도 11을 참조하면, 의료 영상 진단 장치는 경추 영상이 입력되면 입력된 경추 영상에서 진단 부위를 자동으로 설정하여 진단 결과 영상 및 병리 진단 결과를 표시할 수 있다. 경추 영상이 입력되면, 의료 영상 진단 장치는 1111 단계에서, 입력 경추 영상과 의료 학습 모델에 기반하는 딥러닝 알고리즘을 수행하여 도 12a에 예시된 바와 같이 입력된 경추 영상의 진단 영역 영상을 추출할 수 있다. 의료 영상 진단 장치는 추출된 진단 영역 영상으로부터 진단라인 영상들을 추출할 수 있다.
의료 영상 진단 장치는 도 12a에 예시된 바와 같은 진단 영역을 추출하면, 1113 단계에서, 추출된 진단영역 영상의 경계 영상들을 추출하여 도 12b에 예시된 바와 같은 진단 영역의 경계 영상을 추출할 수 있다.
도 12b에 예시된 바와 같은 경계 영상에서 경추의 제1 진단라인(prevertebral line)과 제2 진단라인(anterior vertebral line)을 추출하기 위하여, 의료 영상 진단 장치는 1115 단계에서, 도 12c에 예시된 바와 같이 경계 영상의 상측의 행 라인 및 하측의 행 라인을 제거할 수 있다.
의료 영상 진단 장치는 1117 단계에서, 도 12c에 예시된 바와 같은 영상에 X 축 방향으로 왼쪽 끝 포인트와 오른쪽 큰 포인트를 제외한 나머지 부분을 제거하여 도 12d에 예시된 바와 같은 진단 라인들을 추출할 수 있다. 도 12d에서 제1 진단라인(1211)은 prevertebral line이 될 수 있으며, 제2 진단라인(1213)은 anterior vertebral line이 될 수 있다. 그리고 제1 진단라인(1211)과 제2 진단라인(1213)의 사이 영역(1215)는 경추 연조직 영역이 될 수 있다. 도 12d에 예시된 바와 같이 진단라인들이 추출되면, 의료 영상 진단 장치는 도 12h에 예시된 바와 같이 입력된 경추 영상에 추출된 진단라인을 오버레이하여 표시할 수 있다. 그리고 의사는 표시되는 진단라인의 위치를 확인하여 경추 영상에서 진단라인이 정확하게 추출되었는지 육안으로 확인할 수 있다. 도 11에서 1113 단계, 1115 단계, 및 1117 단계는 도 9의 917 단계(진단라인 추출 단계)의 동작이 될 수 있다.
입력된 경추 영상에서 진단 라인이 추출된 후, 의료 영상 진단 장치는 1119 단계에서, 추출된 진단라인의 기울기를 측정할 수 있다. 의료 영상 진단 장치는 도 12e에 예시된 바와 같이 진단 라인(예를 들면, 제2 진단라인(1213)의 기울기에 기반하여 수선의 발(foot of perpendicular)(1231)을 측정할 수 있다. 수선(perpendicular)은 일정한 직선이나 평면과 직각을 이루는 직선을 의미할 수 있으며, 수선의 발은 수선과 일정한 직선이나 평면이 만나는 점이 될 수 있다. 또한 한점에서 직선이나 평면에 수선을 그었을 때 생기는 교점, 또는 직선과 직선(또는 직선과 평면)이 수직으로 만나 생기는 교점들도 수선의 발이 될 수 있다. 예를 들면, 도 12e에 도시된 바와 같이, 의료 영상 진단 장치는 우측 진단라인의 기울기에 기반하여 수선의 발(1231)을 측정할 수 있으며, 우측 출발지점(1233)의 상 2픽셀과 하 2픽셀을 포함한 기울기를 측정할 수 있다.
의료 영상 진단 장치는 도 12e와 같이 진단라인의 기울기를 측정한 후, 1121 단계에서, 출발점(1233)과 수선의 발(1231) 사이의 거리(간격)를 측정할 수 있다. 도 12f에서 X축은 출발점(단위 pixel)이 될 수 있으며, Y축은 측정된 거리(단위 pixel)이 될 수 있다. 의료 영상 진단 장치는 출발점에서 수선의 발 사이의 거리를 측정하여, 기울기 기반의 간격을 화소 값으로 설정할 수 있다.
기울기 간격이 측정된 후, 의료 영상 진단 장치는 중요 부위 간격을 추출할 수 있다. 의료 영상 진단 장치는 기울기 간격 기반의 간격을 측정한 후 1123 단계에서, 분산 값을 측정할 수 있다. 예를 들면, 도 12g에 예시된 바와 같이 최대값을 가지는 3개의 포인트들과 최소 값을 가지는 3개 포인트들을 제외한 포인트들의 분산을 측정할 수 있다. 분산 측정 방법은 좌측 및 우측의 2 픽셀들을 포함하는 5개의 픽셀들에 대한 분산을 측정할 수 있다. 도 11에서 1119 단계, 1121 단계, 및 1123 단계는 도 9의 951 단계의 동작이 될 수 있다.
의료 영상 진단 장치는 1125 단계에서, 최대 분산을 가지는 포인트로부터 전반부와 후반부를 구분하고, 1127 단계에서, 전반부 및 후반부의 전후 5 픽셀을 제외한 나머지 부분에 대한 중간 값을 각각 C2-C3 및 C6-C7의 위치로 설정할 수 있다.
의료 영상 진단 장치는 1129 단계에서, 중요 부위인 C2-C3 및/또는 C6-C7의 위치에서 제1 진단라인(prevertebral line)과 제2 진단라인(anterior vertebral line) 사이의 두께를 측정할 수 있다. 도 11에서 1125 단계, 1127 단계, 및 1129 단계는 도 9의 953 단계의 동작이 될 수 있다.
경추 영상에서 C2-C3 및/또는 C6-C7의 위치의 prevertebral line과 anterior vertebral line 사이의 두께 dist1 및 dist2를 측정한 후, 의료 영상 진단 장치는 1131 단계에서, dist1 및 dist2를 이에 대응되는 기준값과 각각 비교 분석하여 진단 결과를 표시할 수 있다. 이때 표시되는 진단 결과는 도 10d에 예시된 바와 같이, dist1 및 dist2의 측정값 및 측정값에 기반하는 정상 및/또는 비정상 확률로 표시될 수 있다. 또한 의료 영상 진단 장치는 1117 단계에서 추출된 prevertebral line과 anterior vertebral line을 경추 영상에 오버레이하여 표시할 수 있다.
도 13은 본 발명의 실시예에 따른, 의료 영상 진단 장치가 진단 영역을 추출하는 동작을 도시하는 흐름도이다. 도 14a 내지 도 14e는 본 발명의 실시예에 따른, 경추 영상에서 진단영역을 추출하는 동작의 화면 예를 도시하는 도면이다.
도 13을 참조하면, 의료 영상 진단 장치가 딥러닝 알고리즘(예, CNN algorithm)을 수행하면 경추 영상에서 도 12a에 예시된 바와 같이 하나의 진단영역 영상을 추출할 수 있다. 그러나 진단영역 영상이 추출되는 경우에, 도 14a에 예시된 바와 같이 분리된 영상들을 가지는 진단영역 영상이 추출될 수도 있다. 도 14a는 1411, 1413, 1415, 및 1417과 같은 2개의 분리 영역들을 가지는 상태로 진단영역이 추출된 예를 도시하고 있다. 진단영역이 도 14a에 예시된 바와 같이 복수의 영역들로 추출되면, 의료 영상 진단 장치는 1311 단계에서 이를 인식하고, 1313 단계에서 도 14b에 예시된 바와 같이 분리된 영역 1411, 1413, 1415 및 1417에 참조번호 1440과 같은 식별자들을 이용하여 영역 별로 번호를 부여할 수 있다.
의료 영상 진단 장치는 1315 단계에서, 분리된 영역 1411, 1413, 1415, 및 1417을 X 축 방향(예, 수평 방향)으로 연결하여 겹치는 영역들을 추출할 수 있다. 예를 들면, 도 14c에 예시된 바와 같이, 수평 방향(1451)으로 영역 1411과 영역 1417이 겹쳐질 수 있으며, 수평 방향(1453)으로 영역 1413과 영역 1415가 겹칠 수 있다. 의료 영상 진단 장치는 수평방향으로 겹치는 1411 및 1417, 그리고 1413 및 1415 영역들을 인식할 수 있다.
의료 영상 진단 장치는 1317 단계에서, 도 14d에 예시된 바와 같이 겹치는 영역(예, 1411 및 1417 영역, 그리고 1413 및 1415 영역)들 중에서 작은 크기를 가지는 영역들(1417, 1415)을 제거할 수 있다. 이를 통해, 의료 영상 진단 장치는 1319 단계에서, 도 14e에 예시된 바와 같이 수정된 진단영역을 설정할 수 있다.
의료 영상 진단 장치는 딥러닝 알고리즘을 수행하여 입력된 경추 영상의 진단 영역을 추출하는 경우에, 만약 추출된 진단영역이 복수의 영역들을 포함하면, 수평 방향으로 겹치는 영역들 중에서 작은 크기를 가지는 영역들을 제거한 후 진단 영역을 추출할 수 있다.
도 15는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 15의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 의료 영상 진단 장치, 경추 영상 진단 장치 등) 일 수 있다.
도 15의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (18)

  1. 의료 영상을 진단하는 방법에 있어서,
    의료 영상을 입력하는 단계;
    상기 입력된 의료 영상 및 상기 의료 영상으로부터 진단 부위를 추출하기 위한 의료 학습 모델에 기반하는 딥러닝 알고리즘을 수행하여, 상기 의료 영상에서 진단 부위 영역을 추출하는 단계;
    상기 추출된 진단 부위 영역에서 설정된 위치들의 간격을 측정하는 단계; 및
    상기 측정된 진단 부위 간격을 설정된 기준값과 비교 분석하여, 상기 의료 영상의 진단 결과를 생성 및 표시하는 단계
    를 포함하는 의료 영상 진단 방법.
  2. 제1항에 있어서,
    상기 의료 학습 모델을 생성하는 단계를 더 포함하며,
    상기 의료 학습 모델을 생성하는 단계는,
    제1 의료 영상을 입력하는 단계;
    상기 제1 의료 영상에 의사에 의해 표시된 제1 진단 부위에 관한 영상을 입력하는 단계; 및
    상기 제1 의료 영상 및 상기 제1 진단 부위에 관한 영상에 기반하는 딥러닝 알고리즘을 수행하여 상기 의료 학습 모델을 생성하는 단계를 포함하는
    의료 영상 진단 방법.
  3. 제2항에 있어서
    상기 진단 부위 영역을 추출하는 단계는
    상기 의료 학습 모델에 기반하는 딥러닝 알고리즘의 수행 결과를 이용해, 상기 의료 영상에서 제1 진단 부위 영역을 추출하는 단계;
    상기 제1 진단 부위 영역에서 경계선들을 추출하는 단계; 및
    상기 경계선들 중에서 진단할 방향의 경계선들을 선택하여, 제1 진단라인 및 제2 진단라인을 추출하는 단계를 포함하고,
    상기 진단 부위 간격을 측정하는 단계는
    상기 제1 진단라인과 제2 진단라인 간의 간격을 측정하는 단계를 포함하는
    의료 영상 진단 방법.
  4. 의료 영상 진단 장치에 있어서,
    입력되는 의료 영상 및 상기 의료 영상으로부터 진단 부위를 추출하기 위한 의료 학습 모델에 기반하는 딥러닝 알고리즘을 수행하여, 상기 의료 영상에서 진단 부위 영역을 추출하는 진단부위 추출부;
    상기 추출된 진단 부위 영역의 설정된 진단 위치에서 진단 부위 간격을 측정하는 측정부; 및
    상기 측정된 진단 부위 간격을 설정된 기준값과 비교 분석하여, 상기 의료 영상의 병리 진단 결과를 생성하여 출력하는 진단부
    를 포함하는 의료 영상 진단 장치.
  5. 제4항에 있어서,
    상기 학습 모듈을 더 포함하며,
    상기 학습 모듈은
    제1 의료 영상을 입력하고,
    상기 제1 의료 영상에 의사에 의해 표시된 제1 진단 부위에 관한 영상을 입력하며,
    상기 제1 의료 영상 및 상기 제1 진단 부위에 관한 영상에 기반하는 딥러닝 알고리즘을 수행하여 상기 의료 학습 모델을 생성하는
    의료 영상 진단 장치.
  6. 제5항에 있어서,
    상기 진단부위 추출부는
    상기 의료 학습 모델에 기반하는 딥러닝 알고리즘의 수행 결과를 이용해, 상기 의료 영상에서 제1 진단 부위 영역을 추출하는 진단영역 추출부; 및
    상기 추출된 제1 진단 부위 영역에서 경계선들을 추출하고, 상기 경계선들 중에서 제1 진단라인 및 제2 진단라인을 추출하는 진단라인 추출부를 포함하며,
    상기 측정부는
    상기 제1 진단라인과 제2 진단라인 간의 간격을 측정하는
    의료 영상 진단 장치.
  7. 경추 영상을 진단하는 방법에 있어서,
    경추 영상을 입력하는 단계;
    상기 입력된 경추 영상 및 상기 경추 영상으로부터 경추 연조직(prevertebral stripe) 영역을 추출하기 위한 의료 학습 모델에 기반하는 딥러닝 알고리즘을 수행하여, 상기 경추 영상에서 경추 연조직 영역을 추출하는 단계;
    상기 추출된 경추 연조직 영역에서 설정된 위치들의 경추 연조직 간격을 측정하는 단계; 및
    상기 측정된 경추 연조직 간격을 설정된 기준값들과 비교 분석하여, 상기 경추 영상의 경추 연조직 진단 결과를 생성하여 표시하는 단계
    를 포함하는 경추 영상 진단 방법.
  8. 제7항에 있어서,
    상기 의료 학습 모델을 생성하는 단계를 더 포함하며,
    상기 의료 학습 모델을 생성하는 단계는,
    제1 경추 영상을 입력하는 단계;
    상기 제1 경추 영상에 의사에 의해 표시되는 제1 진단라인 및 제2 진단라인에 관한 영상을 입력하는 단계;
    상기 제1 진단라인 및 제2 진단라인에 기반하여 제1 진단 영역을 생성하는 단계; 및
    상기 제1 경추 영상 및 상기 제1 진단 영역에 기반하는 딥러닝 알고리즘을 수행하여, 상기 의료 학습 모델을 생성하는 단계를 포함하는
    경추 영상 진단 방법.
  9. 제7항에 있어서,
    상기 경추 연조직 영역을 추출하는 단계는
    상기 의료 학습 모델에 기반하는 딥러닝 알고리즘의 수행 결과를 이용해, 상기 경추 영상에서 진단 영역을 추출하는 단계; 및
    상기 추출된 진단 영역에서 제1 진단라인 및 제2 진단라인을 추출하는 단계를 포함하는
    경추 영상 진단 방법.
  10. 제9항에 있어서,
    상기 경추 연조직 간격을 측정하는 단계는
    상기 제1 진단라인 및 상기 제2 진단라인 중 적어도 하나의 기울기를 측정하는 단계;
    상기 측정된 기울기에 기반하여, 상기 제1 진단라인 및 상기 제2 진단라인의 중요 측정 위치를 결정하는 단계; 및
    상기 결정된 중요 측정 위치에서 상기 제1 진단라인과 제2 진단라인 사이의 간격을 측정하는 단계를 포함하는
    경추 영상 진단 방법.
  11. 제10항에 있어서
    상기 중요 측정 위치는 경추의 C2-C3 위치의 경추 연조직 또는 경추의 C6-C7 위치의 경추 연조직에 대응하는
    경추 영상 진단 방법.
  12. 제10항에 있어서
    상기 경추 연조직 진단 결과를 생성하여 표시하는 단계는
    상기 제1 진단라인과 상기 제2 진단라인 간의 간격을 기준값과 비교 분석하여, 비정상 확률을 진단하는 단계;
    상기 경추 영상에 상기 제1 진단라인 및 상기 제2 진단라인을 오버레이하여 표시하는 단계; 및
    상기 제1 진단라인과 상기 제2 진단라인 간의 간격 및 상기 비정상 확률을 표시하는 단계를 포함하는
    경추 영상 진단 방법.
  13. 경추 영상 진단 장치에 있어서,
    입력된 경추 영상 및 상기 경추 영상으로부터 경추 연조직(prevertebral stripe) 영역을 추출하기 위한 의료 학습 모델에 기반하는 딥러닝 알고리즘을 수행하여, 상기 경추 영상에서 경추 연조직 영역을 추출하는 경추 연조직 영역 추출부;
    상기 추출된 경추 연조직 영역에서 설정된 위치들의 경추 연조직 간격을 측정하는 측정부; 및
    상기 측정된 경추 연조직 간격을 설정된 기준값들과 비교 분석하여, 상기 경추 영상의 경추 연조직 진단 결과를 생성하여 출력하는 진단부
    를 포함하는 경추 영상 진단 장치.
  14. 제13항에 있어서,
    학습 모듈을 더 포함하며,
    상기 학습 모듈은
    제1 경추 영상을 입력하며,
    상기 제1 경추 영상에 의사에 의해 표시되는 제1 진단라인 및 제2 진단라인에 관한 영상을 입력하며,
    상기 제1 진단라인 및 상기 제2 진단라인에 기반하는 제1 진단 영역을 생성하며,
    상기 제1 경추 영상 및 상기 제1 진단 영역에 기반하는 딥러닝 알고리즘을 수행하여, 상기 의료 학습 모델을 생성하는
    경추 영상 진단 장치.
  15. 제13항에 있어서,
    상기 경추 연조직 영역 추출부는
    상기 의료 학습 모델에 기반하는 딥러닝 알고리즘의 수행 결과를 이용해, 상기 경추 영상에서 진단 영역을 추출하는 진단영역 추출부; 및
    상기 추출된 진단 영역에서 제1 진단라인 및 제2 진단라인을 추출하는 진단라인 추출부를 포함하는
    경추 영상 진단 장치.
  16. 제15항에 있어서,
    상기 측정부는
    상기 제1 진단라인 및 상기 제2 진단라인 중 적어도 하나의 기울기를 측정하는 기울기 측정부; 및
    상기 측정된 기울기에 기반하여, 상기 제1 진단라인 및 상기 제2 진단라인의 중요 측정 위치를 결정하고, 상기 결정된 중요 측정 위치에서 상기 제1 진단라인과 상기 제2 진단라인 사이의 간격을 측정하는 간격 측정부를 포함하는
    경추 영상 진단 장치.
  17. 제16항에 있어서
    상기 중요 측정 위치는 경추의 C2-C3 위치의 경추 연조직 또는 경추의 C6-C7 위치의 경추 연조직에 대응하는
    경추 영상 진단 장치.
  18. 제16항에 있어서
    상기 진단부는
    상기 제1 진단라인과 상기 제2 진단라인 간의 간격을 기준값과 비교 분석하여, 비정상 확률을 생성하며,
    상기 경추 영상에 상기 제1 진단라인 및 상기 제2 진단라인이 오버레이되어 표시되도록 그리고 상기 제1 진단라인과 상기 제2 진단라인 간의 간격 및 상기 비정상 확률이 표시되도록, 표시부에 상기 경추 연조직 진단 결과를 출력하는
    경추 영상 진단 장치.
PCT/KR2018/001746 2017-02-10 2018-02-09 의료 영상에 기반하여 상태를 진단하는 장치 및 방법 WO2018147674A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2017-0018948 2017-02-10
KR20170018948 2017-02-10
KR1020170104313A KR101929127B1 (ko) 2017-02-10 2017-08-17 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
KR10-2017-0104313 2017-08-17

Publications (1)

Publication Number Publication Date
WO2018147674A1 true WO2018147674A1 (ko) 2018-08-16

Family

ID=63106920

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/001746 WO2018147674A1 (ko) 2017-02-10 2018-02-09 의료 영상에 기반하여 상태를 진단하는 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2018147674A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113520371A (zh) * 2021-07-27 2021-10-22 中科全联科技(北京)有限公司 监测颈椎曲度的方法和装置
EP3979254A4 (en) * 2019-05-30 2022-07-27 FUJIFILM Toyama Chemical Co., Ltd. DEVICE, METHOD AND PROGRAM TO ASSIST IN REGISTRATION OF MEDICAL INFORMATION

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070035214A (ko) * 2005-09-27 2007-03-30 성균관대학교산학협력단 상부 경추 고정·유합에 적합한 강선의 직경을 선택하기 위한 방법
JP2010259656A (ja) * 2009-05-08 2010-11-18 Toshiba Corp 医用画像処理装置、超音波診断装置および医用画像診断装置
JP2012155455A (ja) * 2011-01-25 2012-08-16 Sony Corp 画像処理装置および方法、並びにプログラム
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070035214A (ko) * 2005-09-27 2007-03-30 성균관대학교산학협력단 상부 경추 고정·유합에 적합한 강선의 직경을 선택하기 위한 방법
JP2010259656A (ja) * 2009-05-08 2010-11-18 Toshiba Corp 医用画像処理装置、超音波診断装置および医用画像診断装置
JP2012155455A (ja) * 2011-01-25 2012-08-16 Sony Corp 画像処理装置および方法、並びにプログラム
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
REYES, MANUELITO M. ET AL.: "Prevertebral Soft Tissue Thickness among Pediatric Patients", PHILIPPINE JOURNAL OF OTOLARYNGOLOGY HEAD AND NECK SURGERY, vol. 26, no. 2, 2011, pages 5 - 9, XP055535040 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3979254A4 (en) * 2019-05-30 2022-07-27 FUJIFILM Toyama Chemical Co., Ltd. DEVICE, METHOD AND PROGRAM TO ASSIST IN REGISTRATION OF MEDICAL INFORMATION
CN113520371A (zh) * 2021-07-27 2021-10-22 中科全联科技(北京)有限公司 监测颈椎曲度的方法和装置
CN113520371B (zh) * 2021-07-27 2024-04-12 中科全联科技(北京)有限公司 监测颈椎曲度的方法和装置

Similar Documents

Publication Publication Date Title
KR101929127B1 (ko) 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
KR102458587B1 (ko) 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법
JP5421756B2 (ja) 画像表示装置および方法並びにプログラム
KR101968144B1 (ko) 척추 및 경추의 경사각 자동 진단 장치 및 방법
WO2016125978A1 (en) Method and apparatus for displaying medical image
US20130123603A1 (en) Medical device and method for displaying medical image using the same
JPWO2011083607A1 (ja) 医用情報処理装置及びプログラム
WO2020231007A2 (ko) 의료기계 학습 시스템
US20090307328A1 (en) Remote management interface for a medical device
CN111080583B (zh) 医学图像检测方法、计算机设备和可读存储介质
US20230055740A1 (en) Systems and methods for radiologic and photographic imaging of patients
US20190148015A1 (en) Medical information processing device and program
CN105473071A (zh) 用于提供医疗信息的设备和方法
KR20200068992A (ko) 전자 차트 관리 장치, 전자 차트 관리 방법 및 기록 매체
WO2018147674A1 (ko) 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
US20120165615A1 (en) Apparatus and method for telemedicine
CN112862752A (zh) 一种图像处理显示方法、系统电子设备及存储介质
CN113689377B (zh) 一种肺部ct扫描影像比对方法、装置及介质
Shluzas et al. Design thinking health: Telepresence for remote teams with mobile augmented reality
JP4617116B2 (ja) 即時医療映像自動的サーチ対照方法及びそのシステム
KR20190138106A (ko) 의료 영상 저장 전송 시스템
KR102025613B1 (ko) 의료 영상 검사 시스템 및 방법
Hertel et al. Clinical prototype implementation enabling an improved day-to-day mammography compression
US20210304894A1 (en) Medical information processing system and medical information processing apparatus
WO2024106799A1 (ko) 늑골 골절에 대한 정보 제공 방법 및 이를 이용한 디바이스

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18751808

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18751808

Country of ref document: EP

Kind code of ref document: A1