WO2024080489A1 - 의료 이미지를 기반으로 하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램 - Google Patents

의료 이미지를 기반으로 하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2024080489A1
WO2024080489A1 PCT/KR2023/008620 KR2023008620W WO2024080489A1 WO 2024080489 A1 WO2024080489 A1 WO 2024080489A1 KR 2023008620 W KR2023008620 W KR 2023008620W WO 2024080489 A1 WO2024080489 A1 WO 2024080489A1
Authority
WO
WIPO (PCT)
Prior art keywords
contact
image
candidate image
determining
body part
Prior art date
Application number
PCT/KR2023/008620
Other languages
English (en)
French (fr)
Inventor
김영식
Original Assignee
주식회사 에어스 메디컬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에어스 메디컬 filed Critical 주식회사 에어스 메디컬
Publication of WO2024080489A1 publication Critical patent/WO2024080489A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Definitions

  • the present disclosure relates to a contact determination method based on medical images and a computer program for performing the same. Specifically, a contact determination method for determining whether there is contact between an ultrasound probe and a body part using an ultrasound image and a computer program for performing the same. It's about.
  • Medical images are data that allow us to understand the physical condition of various organs in the human body for diagnosis and treatment of diseases.
  • medical imaging can be classified as ultrasound imaging, X-ray imaging, computed tomography (CT) imaging, positron emission tomography (PET) imaging, or magnetic resonance imaging. It is becoming more diverse with resonance imaging (MRI), etc.
  • the ultrasonic imaging device radiates ultrasonic signals generated from a probe transducer to the body and receives information on ultrasonic echo signals reflected from the body to obtain images of parts inside the body.
  • ultrasonic imaging devices irradiate ultrasonic signals to the body while the ultrasonic probe is in contact with the surface of the body. Accordingly, the pressure applied by the user operating the ultrasonic probe may be applied to the body through the ultrasonic probe. Since contact must occur between the ultrasound probe and the body surface, the user must apply pressure, but if excessive pressure is applied, deformation may occur in the body and the ultrasound image may be distorted.
  • the present disclosure is intended to solve the problems of the prior art described above, and includes a contact determination method based on a medical image that determines whether there is contact between an ultrasound probe and a body part using an ultrasound image and whether the contact pressure is appropriate, and a method for performing the same. It's about computer programs.
  • a method for determining contact between an ultrasonic probe and a body part performed by a computing device includes acquiring a plurality of reference images through the ultrasonic probe, based on the plurality of reference images, a contact determination standard for whether there is contact between the ultrasonic probe and the body part and an effective contact pressure. Generating a pressure range, acquiring a candidate image through the ultrasonic probe, determining whether the candidate image satisfies the contact determination criterion and the effective pressure range, and if so, generating the candidate image using the ultrasonic probe. and determining the contact pressure between the body part and the body part as an effective image obtained in an appropriate state.
  • the generating step may include determining that contact between the ultrasonic probe and the body part has occurred when the similarity between the plurality of reference images and the candidate image exceeds the contact determination criterion. It is characterized in that it includes the step of generating.
  • the step of generating the contact judgment standard may include calculating a similarity between the plurality of reference images and generating the contact judgment standard based on a smaller value among the calculated similarities. .
  • the step of generating the contact decision criterion may include dividing each of the plurality of reference images into patches and the contact decision criterion based on a smaller value among the similarities between patches generated from each of the plurality of reference images. It is characterized in that it includes the step of generating.
  • the determining step includes determining a patch of the candidate image as a contact occurrence patch when the similarity between the patches of the plurality of reference images and the patches of the candidate image satisfies the contact determination criterion. It is characterized by:
  • the determining step may include determining the candidate image as the effective image when the number of contact occurrence patches included in the candidate image exceeds the first reference number included in the effective pressure range. It is characterized by including.
  • the determining step may include determining the candidate image as the effective image when the contact occurrence patch included in the candidate image is continuously arranged in excess of the second reference number included in the effective pressure range. It is characterized by including the step of:
  • the method may further include determining the time point at which the effective image is acquired as the time point at which the contact pressure between the ultrasound probe and the body part is in an appropriate state.
  • a method for determining contact between an ultrasonic probe and a body part performed by a computing device includes acquiring a candidate image through the ultrasound probe and first artificial intelligence model learned to determine whether there is contact between the ultrasound probe and the body part or contact between the ultrasound probe and the body part. It is characterized by including the step of determining whether the candidate image is a valid image obtained when the contact pressure between the ultrasound probe and the body part is appropriate, using a second artificial intelligence model learned to infer pressure.
  • the determining step includes dividing the candidate image into patches, determining whether each patch is a contact occurrence patch using the first artificial intelligence model, and determining whether the contact occurrence patch included in the candidate image and determining the candidate image as the valid image according to the number of patches.
  • the determining step may include determining the candidate image as the effective image when the number of contact occurrence patches included in the candidate image exceeds a first reference number.
  • the determining step may include determining the candidate image as the effective image when the contact occurrence patches included in the candidate image are continuously arranged in excess of a second reference number. Do this.
  • a computer program stored in a computer-readable storage medium When executed on one or more processors, the computer program performs operations to determine contact between an ultrasound probe and a body part. At this time, the operations include acquiring a plurality of reference images through the ultrasonic probe, based on the plurality of reference images, a contact determination standard for whether there is contact between the ultrasonic probe and the body part, and a contact pressure.
  • An operation of generating an effective pressure range an operation of acquiring a candidate image through the ultrasonic probe, an operation of determining whether the candidate image satisfies the contact determination criterion and the effective pressure range, and if so, the candidate image, It is characterized in that it includes an operation of determining the contact pressure between the ultrasonic probe and the body part as an effective image acquired in an appropriate state.
  • the standard is set using an ultrasonic image obtained from the device, thereby increasing the accuracy of contact pressure judgment regardless of changes in environmental factors. You can.
  • FIG. 1 is a block diagram of a computing device according to an embodiment of the present disclosure.
  • Figure 2 is a block diagram of a contact pressure determination device according to an embodiment of the present disclosure.
  • Figure 3 is an exemplary diagram showing a reference image according to an embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method of operating a contact pressure determination device that determines a valid image based on a rule base according to an embodiment of the present disclosure.
  • Figure 5 is a flowchart showing a method of operating a contact pressure determination device that determines a rule base-based valid image according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart showing a method of operating a contact pressure determination device that determines a valid image based on artificial intelligence according to an embodiment of the present disclosure.
  • the term “or” is intended to mean an inclusive “or” and not an exclusive “or.” That is, unless otherwise specified in the present disclosure or the meaning is not clear from the context, “X uses A or B” should be understood to mean one of natural implicit substitutions. For example, unless otherwise specified in the present disclosure or the meaning is not clear from the context, “X uses A or B” means that It can be interpreted as one of the cases where all B is used.
  • N is a natural number
  • N is a natural number
  • components performing different functional roles may be distinguished as first components or second components.
  • components that are substantially the same within the technical spirit of the present disclosure but must be distinguished for convenience of explanation may also be distinguished as first components or second components.
  • module refers to a computer-related entity, firmware, software or part thereof, hardware or part thereof.
  • the “module” or “unit” can be understood as a term referring to an independent functional unit that processes computing resources, such as a combination of software and hardware.
  • the “module” or “unit” may be a unit composed of a single element, or may be a unit expressed as a combination or set of multiple elements.
  • a “module” or “part” in the narrow sense is a hardware element or set of components of a computing device, an application program that performs a specific function of software, a process implemented through the execution of software, or a program. It can refer to a set of instructions for execution, etc.
  • module or “unit” may refer to the computing device itself constituting the system, or an application running on the computing device.
  • module or “unit” may be defined in various ways within a range understandable to those skilled in the art based on the contents of the present disclosure.
  • model refers to a system implemented using mathematical concepts and language to solve a specific problem, a set of software units to solve a specific problem, or a process to solve a specific problem. It can be understood as an abstract model of a process.
  • a neural network “model” may refer to an overall system implemented as a neural network that has problem-solving capabilities through learning. At this time, the neural network can have problem-solving capabilities by optimizing parameters connecting nodes or neurons through learning.
  • a neural network “model” may include a single neural network or a neural network set in which multiple neural networks are combined.
  • image refers to multi-dimensional data consisting of discrete image elements (e.g., pixels in a two-dimensional image and voxels in a three-dimensional image). can do.
  • the image may include a medical image acquired by a medical imaging device, such as an ultrasonic imaging device, an infrared imaging device, a magnetic resonance imaging device, a computed tomography (CT) device, or an X-ray imaging device.
  • a medical imaging device such as an ultrasonic imaging device, an infrared imaging device, a magnetic resonance imaging device, a computed tomography (CT) device, or an X-ray imaging device.
  • CT computed tomography
  • FIG. 1 is a block diagram of a computing device according to an embodiment of the present disclosure.
  • the computing device 100 may be a hardware device or part of a hardware device that performs comprehensive processing and calculation of data, or may be a software-based computing environment connected to a communication network.
  • the computing device 100 may be a server that performs intensive data processing functions and shares resources, or it may be a client that shares resources through interaction with the server.
  • the computing device 100 may be a cloud system that allows a plurality of servers and clients to interact and comprehensively process data.
  • the computing device 100 may be a medical robot that supports or assists overall medical procedures performed in medical settings. At this time, the medical robot may include a venipuncture device that includes blood collection or intravenous (IV) functions for disease diagnosis, blood transfusion, etc.
  • IV intravenous
  • the type of computing device 100 may be configured in various ways within a range understandable to those skilled in the art based on the contents of the present disclosure. Since the above description is only an example related to the type of computing device 100, the type of computing device 100 may be configured in various ways within a range understandable to those skilled in the art based on the contents of the present disclosure.
  • a computing device 100 may include a processor 110, a memory 120, and a network unit 130. there is. However, since FIG. 1 is only an example, the computing device 100 may include other components for implementing a computing environment. Additionally, only some of the configurations disclosed above may be included in computing device 100.
  • the processor 110 may be understood as a structural unit including hardware and/or software for performing computing operations.
  • the processor 110 may read a computer program and perform data processing for machine learning.
  • the processor 110 can process computational processes such as processing input data for machine learning, extracting features for machine learning, and calculating errors based on backpropagation.
  • the processor 110 for performing such data processing includes a central processing unit (CPU), a general purpose graphics processing unit (GPGPU), a tensor processing unit (TPU), and a custom processing unit (TPU). It may include a semiconductor (ASIC: application specific integrated circuit), or a field programmable gate array (FPGA: field programmable gate array). Since the type of processor 110 described above is only an example, the type of processor 110 may be configured in various ways within a range understandable to those skilled in the art based on the contents of the present disclosure.
  • the processor 110 determines whether the ultrasound probe is in contact with a body part and whether the contact pressure applied by the ultrasound probe to the body part is appropriate. You can judge whether or not.
  • the processor 110 may use an ultrasound image acquired through an ultrasound probe to determine whether the ultrasound probe is in contact with a body part and the contact pressure between the ultrasound probe and the body part at the time of acquiring the ultrasound image. .
  • the processor 110 may create a contact determination standard for determining whether the ultrasound probe is in contact with a body part.
  • the ultrasound probe In order to observe elements such as blood vessels within the body through ultrasound images, the ultrasound probe must contact the body part at an appropriate level. That is, if the pressure applied by the ultrasonic probe is too small, the ultrasonic probe cannot sufficiently reach the body part due to the bending of the body part, making it difficult to obtain information on the desired part. Additionally, if the pressure applied by the ultrasound probe is too great, the shape of components inside the body may be deformed due to the pressure of the ultrasound probe. Accordingly, the processor 110 may generate an effective pressure range that serves as a standard for determining whether the contact pressure between the ultrasonic probe and the body part is appropriate.
  • the processor 110 may receive a plurality of ultrasound images acquired while the ultrasound probe is stopped.
  • the processor 110 may compare the similarity between acquired ultrasound images and generate a contact determination standard and an effective pressure range based on this.
  • the processor 110 may divide the ultrasound image into a plurality of patches, calculate similarity for each patch, and generate a contact determination standard.
  • the processor 110 may receive an ultrasonic image acquired while the ultrasonic probe moves toward a body part, and determine whether the ultrasonic image is a valid image acquired under an appropriate pressure condition based on a contact determination standard and an effective pressure range.
  • the processor 110 may learn the first artificial intelligence model using an ultrasound image acquired when contact between an ultrasound probe and a body part occurs as a learning image. Additionally, the processor 110 may learn a second artificial intelligence model using an image acquired when the contact pressure between the ultrasonic probe and the body part is within the effective pressure range as a learning image. Additionally, a second artificial intelligence model can be trained to output the contact pressure between the ultrasonic probe and the body part as a numerical value.
  • the first artificial intelligence model and the second artificial intelligence model may include at least one neural network. Neural networks may include network models such as Deep Neural Network (DNN), Recurrent Neural Network (RNN), Bidirectional Recurrent Deep Neural Network (BRDNN), Multilayer Perceptron (MLP), and Convolutional Neural Network (CNN). It is not limited to this.
  • the processor 110 may receive an ultrasound image acquired while the ultrasound probe moves toward a body part, input the ultrasound image into the first artificial intelligence model or the second artificial intelligence model, and determine whether it is a valid image.
  • the processor 110 may determine the point in time at which a valid image is acquired as the point in time when the ultrasound probe appropriately contacts the body part. Processor 110 may provide a notification to the venipuncture device at the time of valid image acquisition. Accordingly, the venipuncture device can perform the following operations: identifying blood vessel candidates subject to invasion within the body based on a valid image, determining a blood vessel subject to invasion among the blood vessel candidates, and performing an operation of invading the target blood vessel. .
  • the embodiment of the present disclosure there is no need to add a separate device for measuring pressure to the hardware that acquires the ultrasonic image, making it easy to install and use, and providing fast calculation speed because the contact pressure can be determined only with the ultrasonic image. can do.
  • standards are set using ultrasonic images obtained when the device operates. Therefore, the accuracy of contact pressure judgment can be improved by adaptively setting the contact judgment standard and effective pressure range to changes in environmental factors.
  • the processor 110 may create a user interface that provides an environment for interaction with a user of the computing device 100 or a user of an arbitrary client.
  • the processor 110 may create a user interface that allows functions such as output, modification, change, or addition of data to be implemented based on an external input signal applied from the user. Since the role of the user interface described above is only an example, the role of the user interface may be defined in various ways within a range understandable to those skilled in the art based on the contents of the present disclosure.
  • the memory 120 may be understood as a structural unit including hardware and/or software for storing and managing data processed in the computing device 100. That is, the memory 120 can store any type of data generated or determined by the processor 110 and any type of data received by the network unit 130.
  • the memory 120 may be a flash memory type, hard disk type, multimedia card micro type, card type memory, or random access memory (RAM). ), SRAM (static random access memory), ROM (read-only memory), EEPROM (electrically erasable programmable read-only memory), PROM (programmable read-only memory), magnetic memory , a magnetic disk, or an optical disk may include at least one type of storage medium.
  • the memory 120 may include a database system that controls and manages data in a predetermined system. Since the type of memory 120 described above is only an example, the type of memory 120 may be configured in various ways within a range understandable to those skilled in the art based on the contents of the present disclosure.
  • the memory 120 can manage data required for the processor 110 to perform operations, a combination of data, and program code executable on the processor 110 by structuring and organizing them.
  • the memory 120 may store ultrasound images received through the network unit 130, which will be described later.
  • the memory 120 may store a program code that operates to generate a contact determination standard and an effective pressure range based on an ultrasonic image, and a contact determination standard and an effective pressure range generated as the program code is executed.
  • the network unit 130 may be understood as a structural unit that transmits and receives data through any type of known wired or wireless communication system.
  • the network unit 130 is a local area network (LAN), wideband code division multiple access (WCDMA), long term evolution (LTE), and WiBro (wireless).
  • broadband internet 5th generation mobile communication (5G), ultra wide-band wireless communication, ZigBee, radio frequency (RF) communication, wireless LAN, wireless fidelity ), data transmission and reception can be performed using a wired or wireless communication system such as near field communication (NFC), or Bluetooth. Since the above-described communication systems are only examples, the wired and wireless communication systems for data transmission and reception of the network unit 130 may be applied in various ways other than the above-described examples.
  • the network unit 130 may receive data necessary for the processor 110 to perform operations through wired or wireless communication with any system or client. Additionally, the network unit 130 may transmit data generated through the calculation of the processor 110 through wired or wireless communication with any system or any client. For example, the network unit 130 may generate ultrasound images through communication with a medical image storage and transmission system, a cloud server that performs tasks such as standardization of medical data, or a medical robot, or through communication with a medical image acquisition device, etc. can receive.
  • FIG. 2 is a block diagram of a contact pressure determination device according to an embodiment of the present disclosure
  • FIG. 3 is an exemplary diagram showing a reference image according to an embodiment of the present disclosure.
  • the contact determination device 200 may be an embodiment of the computing device 100 of FIG. 1 and may be included in a venipuncture device, for example, a blood collection device.
  • the contact pressure determination device acquires the reference image 210 generated from the ultrasonic probe, and determines whether the contact pressure applied by the ultrasonic probe to the body part is appropriate and a contact judgment standard for determining whether the ultrasonic probe is in contact with the body part. An effective pressure range can be created.
  • the reference image 210 may include a plurality of ultrasound images, for example, an initial image 211, a first reference image 212, and a second reference image 213.
  • the initial image 211 may be taken after distilled water is sprayed onto the ultrasonic probe, and the first and second reference images 212 and 213 may be taken after the distilled water is sprayed but before the ultrasonic probe moves. That is, the reference image 210 may collectively refer to a plurality of ultrasound images acquired before the ultrasonic probe begins its downward movement in the vertical direction.
  • three reference images 210 are used as an example, but the number of reference images 210 required to generate a contact determination standard is not limited thereto.
  • the contact determination device 200 may generate a contact determination standard based on the similarity of images.
  • the contact determination device 200 may divide the image into predetermined areas and calculate similarity in each area. For example, the contact determination device 200 may divide the image into patches (P) and calculate similarity in each patch (P).
  • the initial image 211, the first reference image 212, and the second reference image 213 may each be divided into eight patches.
  • the contact determination device 200 calculates the similarity between the patch of the initial image 211 and the patch of the first reference image 212, and calculates the similarity between the patch of the initial image 211 and the patch of the second reference image 213. It can be calculated.
  • the contact determination device 200 can calculate the similarity between patches at corresponding positions. Accordingly, 16 similarity values can be calculated.
  • the contact determination device 200 may generate the smallest similarity value as a contact determination standard.
  • the method for calculating the similarity of images is not limited to any one method, and various methods such as SSIM (Structural Similarity Index Map), MSE (mean square error), and image hash (average hash, perceptive hash, difference hash) can be used.
  • SSIM Structuretural Similarity Index Map
  • MSE mean square error
  • image hash average hash, perceptive hash, difference hash
  • the contact determination device 200 may determine the area that satisfies the contact determination criteria as the contact occurrence area. Specifically, the contact determination device 200 may determine a patch that satisfies the contact determination criteria as a contact occurrence patch.
  • the contact determination device 200 may generate an effective pressure range based on the contact determination standard.
  • the contact determination device 200 may generate an effective pressure range based on the number or location of contact occurrence patches. For example, if an arbitrary ultrasound image includes a first reference number of contact occurrence patches, the contact determination device 200 may determine the arbitrary ultrasound image as the valid image 230 . That is, the contact determination device 200 may set the first reference number as the effective pressure range. For example, when contact occurrence patches included in an arbitrary ultrasound image are continuously arranged as many as the second reference number, the contact determination device 200 may determine the arbitrary ultrasound image as the valid image 230 . That is, the contact determination device 200 may set the second reference number as the effective pressure range.
  • the effective pressure range that is, the first reference number and the second reference number, is determined and may vary depending on the characteristics of the body part, the characteristics of blood vessels included in the ultrasound image, the size and resolution of the ultrasound image, the size of the patch, etc.
  • the contact determination device 200 may use the candidate image 220 acquired from the ultrasonic probe to determine whether the ultrasonic probe and a body part are in contact according to a contact determination standard. The contact determination device 200 may determine whether the ultrasonic probe and the body part are in contact with an appropriate contact pressure according to the effective pressure range. At this time, the reference image 210 may be acquired while the ultrasonic probe is stationary, and the candidate image 220 may be acquired while the ultrasonic probe is moving.
  • the contact determination device 200 calculates the similarity between the candidate image 220 and the reference image 210 (for example, the initial image), and if the similarity exceeds the contact determination standard, it is determined that contact between the ultrasound probe and the body part has occurred. You can decide.
  • the contact determination device 200 may divide the candidate image 220 into predetermined areas, for example, patches P, and calculate similarity in each patch P. That is, the contact determination device 200 calculates the similarity between the patches of the candidate image 220 and the patches of the initial image, and the number of patches exceeding the contact determination standard (i.e., the number of patches where contact occurs) exceeds the contact judgment standard. You can decide whether to do it or not.
  • the contact determination device 200 may determine the candidate image 220 to be a valid image 230. For example, the contact determination device 200 may determine whether the number of contact occurrence patches in the candidate image 220 exceeds the first reference number, and if so, determine the candidate image 220 as the valid image 230. Alternatively, the contact determination device 200 may determine whether contact occurrence patches in the candidate image 220 are continuously arranged in excess of the second reference number, and if exceeding the second reference number, determine the candidate image 220 as the valid image 230. there is.
  • the contact determination device 200 may determine the time when the valid image 230 is acquired or the time when the valid image 230 is generated as the time when the ultrasound probe and the body part are in contact with an appropriate contact pressure.
  • the contact determination device 200 may determine the candidate image 220 as a valid image 230 using an artificial intelligence model.
  • learning data can be used to train an artificial intelligence model. Details about this will be described later with reference to FIG. 6.
  • FIG. 4 is a flowchart illustrating a method of operating a contact pressure determination device that determines a valid image based on a rule base according to an embodiment of the present disclosure.
  • the contact determination device may be an embodiment of the computing device 100 of FIG. 1 .
  • the contact determination device may acquire a reference image (S110).
  • the contact determination device can acquire a reference image of a body part through an ultrasonic probe while the ultrasonic probe is stopped. There may be multiple reference images.
  • the contact determination device may generate a contact judgment standard for whether there is contact between the ultrasonic probe and a body part and an effective pressure range for the contact pressure based on the reference image (S120).
  • the contact judgment criterion may include a similarity value between images. If the similarity between the reference image and the candidate image to be acquired exceeds the contact judgment standard, the contact determination device may generate a contact judgment standard to determine that contact between the ultrasound probe and the body part has occurred. When the reference image includes a plurality of ultrasound images, the contact determination device may calculate the similarity between the reference images and generate a contact determination standard based on the smallest value among the similarities.
  • the effective pressure range can be created based on the area that satisfies the contact determination criteria within the ultrasound image.
  • the area that satisfies the contact determination criteria within the ultrasound image may be referred to as a contact occurrence area, and if the area is a patch unit, the contact occurrence area may be referred to as a contact occurrence patch.
  • the effective pressure range can be generated based on the number of contacting patches within the ultrasound image.
  • the contact determination device may acquire a candidate image (S130).
  • the contact determination device may acquire a reference image and acquire a candidate image after a certain period of time.
  • the contact determination device may determine whether the candidate image satisfies the contact determination criteria (S140).
  • the contact determination device may calculate the similarity between the reference image and the candidate image, and if the similarity exceeds the contact determination standard, it may be determined that contact has occurred between the ultrasound probe and the body part.
  • the contact determination device may determine whether the candidate image satisfies the effective pressure range (S150).
  • the contact determination device can identify the contact occurrence area in the candidate image and determine whether the area satisfies the effective pressure range.
  • the contact determination device may compare the size and arrangement of the contact determination area in the candidate image with the effective pressure range.
  • the contact determination device may determine the candidate image as a valid image (S160).
  • the contact determination device may determine the effective image acquisition time as the time when the contact pressure is in an appropriate state (S170).
  • the contact determination device may provide notification to an external component connected to 200, such as a venipuncture device, at the time of valid image acquisition.
  • Figure 5 is a flowchart showing a method of operating a contact pressure determination device that determines a rule base-based valid image according to an embodiment of the present disclosure.
  • the contact determination device may be an embodiment of the computing device 100 of FIG. 1 .
  • the contact determination device may divide the ultrasound image into patches and perform a contact pressure determination operation. That is, the contact determination device can perform the task of dividing the acquired ultrasound image into patches.
  • the size and number of patches may vary depending on the ultrasound image.
  • the contact determination device may acquire a plurality of reference images (S210).
  • the contact determination device may acquire an ultrasonic image before the ultrasonic probe begins its downward movement and use this as a reference image.
  • the reference image may include an initial image taken after distilled water is sprayed onto the ultrasonic probe, a first reference image taken before the ultrasonic probe moves after distilled water is sprayed, and a second reference image.
  • the contact determination device may generate a contact determination standard based on the similarity between the plurality of reference images (S220).
  • the contact determination device may calculate the similarity between a plurality of reference images and generate a contact determination standard based on a smaller value among the calculated similarities.
  • the contact determination device may divide each of the plurality of reference images into patches and generate a contact determination standard based on the smaller value among the similarities between patches.
  • the contact determination device may divide the initial image, the first reference image, and the second reference image into patches.
  • the contact determination device may calculate the similarity between the patch of the initial image and the patch of the first reference image, and calculate the similarity between the patch of the initial image and the patch of the second reference image.
  • the contact determination device can calculate the similarity between patches at corresponding positions on the image.
  • the contact determination device may generate a contact determination standard based on the smallest similarity value calculated from each patch.
  • the contact determination device may generate an effective pressure range based on the number of contact occurrence patches that satisfy the contact determination criteria.
  • the effective pressure range may include a first reference number or a second reference number. For example, if the number of patches where contact occurs exceeds the first reference number, the contact determination device may determine that it falls within the effective pressure range. For example, the contact determination device may determine that the patch falls within the effective pressure range when the contact occurrence patch is arranged in succession in excess of the second standard number.
  • the contact determination device can acquire candidate images captured while the ultrasonic probe moves (S230).
  • the contact determination device may calculate the similarity between the patch of the candidate image and the patch of the initial image (S240).
  • the contact determination device can calculate the similarity between patches at corresponding positions of the candidate image and the initial image.
  • the contact determination device may determine whether the similarity satisfies the contact determination criteria (S250).
  • the contact determination device may determine a patch that satisfies the contact determination criteria as a contact occurrence patch.
  • the contact determination device may determine whether the number of contact occurrence patches in the candidate image exceeds the first reference number (S260).
  • the contact determination device may determine whether contact occurrence patches in the candidate image are continuously arranged in excess of the second reference number (S270). Steps S260 and S270 may be performed selectively or in parallel. Alternatively, it may be performed sequentially.
  • the contact determination device may determine the candidate image as a valid image (S280). Thereafter, the contact determination device may determine the point in time when a valid image is acquired as the point in time when the contact pressure between the ultrasound probe and the body part is in an appropriate state.
  • step S250 If the similarity does not satisfy the contact judgment criteria in step S250, if the contact occurrence patch is less than the first standard number in step S260, or if the contact occurrence patch exceeds the second standard number in step S270 and is not continuously arranged.
  • the contact determination device may return to step S230 and re-acquire the candidate image.
  • FIG. 6 is a flowchart showing a method of operating a contact pressure determination device that determines a valid image based on artificial intelligence according to an embodiment of the present disclosure.
  • the contact determination device may be an embodiment of the computing device 100 of FIG. 1 .
  • the first artificial intelligence model and the second artificial intelligence model may be learned.
  • the first artificial intelligence model may be trained to determine whether there is contact between the ultrasound probe and the body part.
  • the second artificial intelligence model may be trained to determine whether the ultrasound image is a valid image acquired within the effective pressure range in order to determine whether the contact pressure between the ultrasound probe and the body part is within the effective pressure range.
  • the first artificial intelligence model may use an ultrasound image acquired when contact between an ultrasound probe and a body part occurs as a learning image.
  • the second artificial intelligence model may use an ultrasound image acquired when the contact pressure between the ultrasound probe and a body part satisfies the effective pressure range as a learning image.
  • Ultrasound images acquired while the contact pressure is below the effective pressure range are labeled as 0
  • ultrasound images acquired while the contact pressure is within the effective pressure range are labeled as 1
  • ultrasound images acquired while the contact pressure is above the effective pressure range are labeled as 2.
  • the second artificial intelligence model may be trained to output the contact pressure between the ultrasound probe and the body part as a numerical value.
  • the second artificial intelligence model may use multiple ultrasound images according to contact pressure as learning images.
  • the first artificial intelligence model and the second artificial intelligence model may be learned as part of an ultrasound image, for example, in patch units.
  • the contact determination device can acquire a candidate image (S310).
  • the candidate image may be an ultrasound image acquired after the ultrasound probe begins its downward movement.
  • the contact determination device may use the learned first artificial intelligence model or the second artificial intelligence model to determine whether the candidate image is a valid image obtained when the contact pressure between the ultrasound probe and the body part is appropriate (S320).
  • the contact determination device can divide the candidate image into patches. And the contact determination device can use the first artificial intelligence model to determine whether each patch is a contact occurrence patch.
  • the contact determination device may determine the candidate image as a valid image according to the number of contact occurrence patches included in the candidate image.
  • the contact determination device may operate on the candidate image.
  • the image can be determined as a valid image. The details of this may be similar to steps S260 and S270 of FIG. 5.
  • the contact determination device can input a candidate image into a second artificial intelligence model and obtain a probability value corresponding to each class.
  • the contact determination device may determine that the first frame outputting a value within a preset range, for example, 0.7 to 1.3, is a valid image.
  • the contact determination device may input a candidate image into a second artificial intelligence model and obtain a contact pressure value from the second artificial intelligence model.
  • the contact determination device may determine that contact has occurred when the pressure value exceeds a preset reference value. Additionally, the contact determination device may determine the candidate image as a valid image if the pressure value falls within a preset range. In this case, the contact determination device can determine both whether there is contact and the degree of contact pressure using the second artificial intelligence model.
  • the contact determination device may determine the acquisition time of a valid image as the time when the contact pressure between the ultrasound probe and the body part is in an appropriate state.
  • first artificial intelligence model and the second artificial intelligence model are described separately, but each can be implemented as one integrated model.
  • the contact determination device may continuously acquire candidate images from the ultrasonic probe and continuously perform step S320.
  • the contact determination device may determine the time point at which the first valid image is determined as the time point at which the contact pressure between the ultrasonic probe and the body part is in an appropriate state.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Physiology (AREA)

Abstract

본 개시의 일 실시예에 따른 컴퓨팅 장치에 의해 수행되는 초음파 프로브와 신체 부위 사이의 접촉 판단 방법은, 상기 초음파 프로브를 통해 복수의 기준 이미지를 획득하는 단계, 상기 복수의 기준 이미지를 기초로, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 여부에 대한 대한 접촉 판단 기준 및 접촉 압력에 대한 유효 압력 범위를 생성하는 단계, 상기 초음파 프로브를 통해 후보 이미지를 획득하는 단계, 상기 후보 이미지가 상기 접촉 판단 기준 및 상기 유효 압력 범위를 만족하는지 판단하는 단계 및 만족하는 경우 상기 후보 이미지를, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 압력이 적정 상태에서 획득된 유효 이미지로 결정하는 단계를 포함하는 것을 특징으로 한다.

Description

의료 이미지를 기반으로 하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램
본 개시는 의료 이미지를 기반으로 하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램에 관한 것으로서, 구체적으로 초음파 이미지를 이용하여 초음파 프로브와 신체 부위 사이의 접촉 여부를 판단하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램에 관한 것이다.
의료 영상은 질병의 진단과 치료를 위해 인체의 여러 가지 장기들의 물리적인 상태를 이해할 수 있게 해주는 데이터이다. 의료 영상 기기들이 지속적으로 개발되어 오면서, 의료 영상은 초음파 영상, X선 영상, 컴퓨터 단층 촬영(computed tomography, CT) 영상, 양전자 방출 단층 촬영(positron emission tomography, PET) 영상, 또는 자기 공명 영상(magnetic resonance imaging, MRI) 등으로 다양해지고 있다.
이 중 초음파 영상 장치는 프로브의 트랜스듀서로부터 생성되는 초음파 신호를 신체에 조사하고, 신체로부터 반사된 초음파 에코 신호의 정보를 수신하여 신체 내부의 부위에 대한 영상을 획득한다.
초음파 영상 장치는 그 특성상 초음파 프로브와 신체의 표면이 접촉된 상태에서 초음파 신호를 신체로 조사한다. 이에 따라 초음파 프로브를 조작하는 사용자가 가하는 압력이 초음파 프로브를 통해 신체에 가해질 수 있다. 초음파 프로브와 신체 표면 사이에서 접촉이 발생해야 하므로 사용자는 압력을 가해야 하지만, 압력이 과하게 가해질 경우 신체에 변형이 발생하게 되고 초음파 영상이 일그러질 수 있다.
초음파 프로브와 신체 표면 사이에서 작용하는 압력이 적정한 상태에서 획득한 초음파 이미지를 이용하여 진단 등의 의료 행위를 수행해야 하므로, 초음파 프로브와 신체 표면 사이의 압력이 적정한지 판단하는 기술이 요구된다.
본 개시는 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 초음파 이미지를 이용하여 초음파 프로브와 신체 부위 사이의 접촉 여부 및 접촉 압력이 적절한지 판단하는 의료 이미지를 기반으로 하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램에 관한 것이다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는 초음파 프로브와 신체 부위 사이의 접촉 판단 방법이 개시된다. 상기 방법은, 상기 초음파 프로브를 통해 복수의 기준 이미지를 획득하는 단계, 상기 복수의 기준 이미지를 기초로, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 여부에 대한 대한 접촉 판단 기준 및 접촉 압력에 대한 유효 압력 범위를 생성하는 단계, 상기 초음파 프로브를 통해 후보 이미지를 획득하는 단계, 상기 후보 이미지가 상기 접촉 판단 기준 및 상기 유효 압력 범위를 만족하는지 판단하는 단계 및 만족하는 경우 상기 후보 이미지를, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 압력이 적정 상태에서 획득된 유효 이미지로 결정하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 생성하는 단계는, 상기 복수의 기준 이미지와 상기 후보 이미지 간 유사도가 상기 접촉 판단 기준을 초과하는 경우, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉이 발생한 것으로 결정하도록 상기 접촉 판단 기준을 생성하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 접촉 판단 기준을 생성하는 단계는, 상기 복수의 기준 이미지들 간의 유사도를 계산하고, 계산된 유사도 중 작은 값을 기초로 상기 접촉 판단 기준을 생성하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 접촉 판단 기준을 생성하는 단계는, 상기 복수의 기준 이미지 각각을 패치 단위로 분할하는 단계 및 상기 복수의 기준 이미지 각각에서 생성된 패치 간 유사도 중 작은 값을 기초로 상기 접촉 판단 기준을 생성하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 판단하는 단계는, 상기 복수의 기준 이미지의 패치와 상기 후보 이미지의 패치 간 유사도가 상기 접촉 판단 기준을 만족하는 경우, 상기 후보 이미지의 패치를 접촉 발생 패치로 판단하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 결정하는 단계는, 상기 후보 이미지에 포함되는 상기 접촉 발생 패치의 개수가 상기 유효 압력 범위에 포함되는 제1 기준 개수를 초과하는 경우, 상기 후보 이미지를 상기 유효 이미지로 결정하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 결정하는 단계는, 상기 후보 이미지에 포함되는 상기 접촉 발생 패치가 상기 유효 압력 범위에 포함되는 제2 기준 개수를 초과하여 연속하여 배치되는 경우, 상기 후보 이미지를 상기 유효 이미지로 결정하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 유효 이미지를 획득한 시점을 상기 초음파 프로브와 신체 부위 사이의 접촉 압력이 적정 상태인 시점으로 결정하는 단계를 더 포함하는 것을 특징으로 한다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는 초음파 프로브와 신체 부위 사이의 접촉 판단 방법이 개시된다. 상기 방법은, 상기 초음파 프로브를 통해 후보 이미지를 획득하는 단계 및 상기 초음파 프로브와 상기 신체 부위 사이의 접촉이 있는지 여부를 판단하도록 학습된 제1 인공지능 모델 또는 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 압력을 추론하도록 학습된 제2 인공지능 모델을 이용하여, 상기 후보 이미지가 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 압력이 적정 상태에서 획득된 유효 이미지인지 판단하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 판단하는 단계는, 상기 후보 이미지를 패치 단위로 분할하는 단계, 상기 제1 인공지능 모델을 이용하여 각 패치가 접촉 발생 패치인지 판단하는 단계 및 상기 후보 이미지에 포함되는 상기 접촉 발생 패치의 개수에 따라 상기 후보 이미지를 상기 유효 이미지로 결정하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 결정하는 단계는, 상기 후보 이미지에 포함되는 상기 접촉 발생 패치의 개수가 제1 기준 개수를 초과하는 경우, 상기 후보 이미지를 상기 유효 이미지로 결정하는 단계를 포함하는 것을 특징으로 한다.
대안적으로, 상기 결정하는 단계는, 상기 후보 이미지에 포함되는 상기 접촉 발생 패치가 제2 기준 개수를 초과하여 연속하여 배치되는 경우, 상기 후보 이미지를 상기 유효 이미지로 결정하는 단계를 포함하는 것을 특징으로 한다.
전술한 바와 같은 과제를 실현하기 위한 본 개시의 일 실시예에 따라 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램(program)이 개시된다. 상기 컴퓨터 프로그램은 하나 이상의 프로세서(processor)에서 실행되는 경우, 초음파 프로브와 신체 부위 사이의 접촉을 판단하기 위한 동작들을 수행하도록 한다. 이때, 상기 동작들은, 상기 초음파 프로브를 통해 복수의 기준 이미지를 획득하는 동작, 상기 복수의 기준 이미지를 기초로, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 여부에 대한 대한 접촉 판단 기준 및 접촉 압력에 대한 유효 압력 범위를 생성하는 동작, 상기 초음파 프로브를 통해 후보 이미지를 획득하는 동작, 상기 후보 이미지가 상기 접촉 판단 기준 및 상기 유효 압력 범위를 만족하는지 판단하는 동작 및 만족하는 경우 상기 후보 이미지를, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 압력이 적정 상태에서 획득된 유효 이미지로 결정하는 동작을 포함하는 것을 특징으로 한다.
본 개시의 실시예에 따르면, 초음파 이미지를 획득하는 하드웨어에 압력을 측정하기 위한 별도의 장치를 추가할 필요가 없어 설치 및 사용이 간편하고, 초음파 이미지만으로 접촉 압력을 파악할 수 있으므로 빠른 연산 속도를 제공할 수 있다.
또한 본 개시의 실시예에 따르면, 일률적인 접촉 판단 기준 및 유효 압력 범위를 사용하는 것이 아니라 장치로부터 획득한 초음파 이미지를 이용하여 기준을 설정하므로 환경 요인의 변화와 무관하게 접촉 압력 판단의 정확성을 높일 수 있다.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도이다.
도 2는 본 개시의 일 실시예에 따른 접촉 압력 판단 장치의 블록도이다.
도 3은 본 개시의 일 실시예에 기준 이미지를 나타내는 예시도이다.
도 4는 본 개시의 일 실시예에 따른 룰 베이스 기반의 유효 이미지를 결정하는 접촉 압력 판단 장치의 동작 방법을 나타내는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 룰 베이스 기반의 유효 이미지를 결정하는 접촉 압력 판단 장치의 동작 방법을 나타내는 흐름도이다.
도 6은 본 개시의 일 실시예에 따른 인공지능 기반의 유효 이미지를 결정하는 접촉 압력 판단 장치의 동작 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시의 기술 분야에서 통상의 지식을 가진 자(이하, 당업자)가 용이하게 실시할 수 있도록 본 개시의 실시예가 상세히 설명된다. 본 개시에서 제시된 실시예들은 당업자가 본 개시의 내용을 이용하거나 또는 실시할 수 있도록 제공된다. 따라서, 본 개시의 실시예들에 대한 다양한 변형들은 당업자에게 명백할 것이다. 즉, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며, 이하의 실시예에 한정되지 않는다.
본 개시의 명세서 전체에 걸쳐 동일하거나 유사한 도면 부호는 동일하거나 유사한 구성요소를 지칭한다. 또한, 본 개시를 명확하게 설명하기 위해서, 도면에서 본 개시에 대한 설명과 관계없는 부분의 도면 부호는 생략될 수 있다.
본 개시에서 사용되는 "또는" 이라는 용어는 배타적 "또는" 이 아니라 내포적 "또는" 을 의미하는 것으로 의도된다. 즉, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 이해되어야 한다. 예를 들어, 본 개시에서 달리 특정되지 않거나 문맥상 그 의미가 명확하지 않은 경우, "X는 A 또는 B를 이용한다" 는 X가 A를 이용하거나, X가 B를 이용하거나, 혹은 X가 A 및 B 모두를 이용하는 경우 중 어느 하나로 해석될 수 있다.
본 개시에서 사용되는 "및/또는" 이라는 용어는 열거된 관련 개념들 중 하나 이상의 개념의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.
본 개시에서 사용되는 "포함한다" 및/또는 "포함하는" 이라는 용어는, 특정 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는" 이라는 용어는, 하나 이상의 다른 특징, 다른 구성요소 및/또는 이들에 대한 조합의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 단수는 일반적으로 "하나 또는 그 이상" 을 포함할 수 있는 것으로 해석되어야 한다.
본 개시에서 사용되는 "제 N(N은 자연수)" 이라는 용어는 본 개시의 구성요소들을 기능적 관점, 구조적 관점, 혹은 설명의 편의 등 소정의 기준에 따라 상호 구별하기 위해 사용되는 표현으로 이해될 수 있다. 예를 들어, 본 개시에서 서로 다른 기능적 역할을 수행하는 구성요소들은 제 1 구성요소 혹은 제 2 구성요소로 구별될 수 있다. 다만, 본 개시의 기술적 사상 내에서 실질적으로 동일하나 설명의 편의를 위해 구분되어야 하는 구성요소들도 제 1 구성요소 혹은 제 2 구성요소로 구별될 수도 있다.
한편, 본 개시에서 사용되는 용어 "모듈(module)", 또는 "부(unit)" 는 컴퓨터 관련 엔티티(entity), 펌웨어(firmware), 소프트웨어(software) 혹은 그 일부, 하드웨어(hardware) 혹은 그 일부, 소프트웨어와 하드웨어의 조합 등과 같이 컴퓨팅 자원을 처리하는 독립적인 기능 단위를 지칭하는 용어로 이해될 수 있다. 이때, "모듈", 또는 "부"는 단일 요소로 구성된 단위일 수도 있고, 복수의 요소들의 조합 혹은 집합으로 표현되는 단위일 수도 있다. 예를 들어, 협의의 개념으로서 "모듈", 또는 "부"는 컴퓨팅 장치의 하드웨어 요소 또는 그 집합, 소프트웨어의 특정 기능을 수행하는 응용 프로그램, 소프트웨어 실행을 통해 구현되는 처리 과정(procedure), 또는 프로그램 실행을 위한 명령어 집합 등을 지칭할 수 있다. 또한, 광의의 개념으로서 "모듈", 또는 "부"는 시스템을 구성하는 컴퓨팅 장치 그 자체, 또는 컴퓨팅 장치에서 실행되는 애플리케이션 등을 지칭할 수 있다. 다만, 상술한 개념은 하나의 예시일 뿐이므로, "모듈", 또는 "부"의 개념은 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 정의될 수 있다.
본 개시에서 사용되는 "모델(model)" 이라는 용어는 특정 문제를 해결하기 위해 수학적 개념과 언어를 사용하여 구현되는 시스템, 특정 문제를 해결하기 위한 소프트웨어 단위의 집합, 혹은 특정 문제를 해결하기 위한 처리 과정에 관한 추상화 모형으로 이해될 수 있다. 예를 들어, 신경망(neural network) "모델" 은 학습을 통해 문제 해결 능력을 갖는 신경망으로 구현되는 시스템 전반을 지칭할 수 있다. 이때, 신경망은 노드(node) 혹은 뉴런(neuron)을 연결하는 파라미터(parameter)를 학습을 통해 최적화하여 문제 해결 능력을 가질 수 있다. 신경망 "모델" 은 단일 신경망을 포함할 수도 있고, 복수의 신경망들이 조합된 신경망 집합을 포함할 수도 있다.
본 개시에서 사용되는 "영상" 이라는 용어는 이산적인 이미지 요소들(예를 들어, 2차원 이미지에 있어서의 픽셀들 및 3차원 이미지에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 초음파 촬영 장치, 적외선 촬영 장치, 자기 공명 영상 촬영 장치, 컴퓨터 단층 촬영(CT) 장치 또는 엑스레이 촬영 장치 등의 의료 영상 장치에 의해 획득된 의료 영상을 포함할 수 있다.
전술한 용어의 설명은 본 개시의 이해를 돕기 위한 것이다. 따라서, 전술한 용어를 본 개시의 내용을 한정하는 사항으로 명시적으로 기재하지 않은 경우, 본 개시의 내용을 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치의 블록도이다.
본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 데이터의 종합적인 처리 및 연산을 수행하는 하드웨어 장치 혹은 하드웨어 장치의 일부일 수도 있고, 통신 네트워크로 연결되는 소프트웨어 기반의 컴퓨팅 환경일 수도 있다. 예를 들어, 컴퓨팅 장치(100)는 집약적 데이터 처리 기능을 수행하고 자원을 공유하는 주체인 서버일 수도 있고, 서버와의 상호 작용을 통해 자원을 공유하는 클라이언트(client)일 수도 있다. 또한, 컴퓨팅 장치(100)는 복수의 서버들 및 클라이언트들이 상호 작용하여 데이터를 종합적으로 처리할 수 있도록 하는 클라우드 시스템(cloud system)일 수도 있다. 그리고, 컴퓨팅 장치(100)는 의료 현장에서 수행되는 의료 행위 전반을 지원하거나 보조하는 의료용 로봇일 수도 있다. 이때, 의료용 로봇은 질병의 진단, 수혈 등을 위한 채혈 혹은 정맥 주사(IV: intravenous) 기능을 포함하는 정맥 천자 장치를 포함할 수 있다. 상술한 기재는 컴퓨팅 장치(100)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다. 상술한 기재는 컴퓨팅 장치(100)의 종류와 관련된 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
도 1을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 프로세서(processor)(110), 메모리(memory)(120), 및 네트워크부(network unit)(130)를 포함할 수 있다. 다만, 도 1은 하나의 예시일 뿐이므로, 컴퓨팅 장치(100)는 컴퓨팅 환경을 구현하기 위한 다른 구성들을 포함할 수 있다. 또한, 상기 개시된 구성들 중 일부만이 컴퓨팅 장치(100)에 포함될 수도 있다.
본 개시의 일 실시예에 따른 프로세서(110)는 컴퓨팅 연산을 수행하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 예를 들어, 프로세서(110)는 컴퓨터 프로그램을 판독하여 기계 학습을 위한 데이터 처리를 수행할 수 있다. 프로세서(110)는 기계 학습을 위한 입력 데이터의 처리, 기계 학습을 위한 특징 추출, 역전파(backpropagation)에 기반한 오차 계산 등과 같은 연산 과정을 처리할 수 있다. 이와 같은 데이터 처리를 수행하기 위한 프로세서(110)는 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit), 주문형 반도체(ASIC: application specific integrated circuit), 혹은 필드 프로그래머블 게이트 어레이(FPGA: field programmable gate array) 등을 포함할 수 있다. 상술한 프로세서(110)의 종류는 하나의 예시일 뿐이므로, 프로세서(110)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
본 개시의 실시예에 따르면, 프로세서(110)는 초음파 프로브를 통해 신체 내부의 초음파 이미지를 획득하는 과정에서, 초음파 프로브가 신체 부위에 접촉하는지 여부 및 초음파 프로브가 신체 부위에 가하는 접촉 압력이 적절한지 여부를 판단할 수 있다. 프로세서(110)는 초음파 프로브를 통해 획득한 초음파 이미지를 이용하여, 해당 초음파 이미지를 획득하는 시점에 초음파 프로브가 신체 부위에 접촉한 상황인지 및 초음파 프로브와 신체 부위 사이의 접촉 압력을 판단할 수 있다.
프로세서(110)는 초음파 프로브와 신체 부위의 접촉 여부 판단을 수행하기 위한 접촉 판단 기준을 생성할 수 있다.
초음파 이미지를 통해 신체 내부의 혈관 등의 요소를 관찰하기 위해서는, 초음파 프로브가 신체 부위와 적절한 수준으로 접촉해야 한다. 즉 초음파 프로브가 가하는 압력이 너무 작은 경우 신체 부위의 굴곡짐으로 인해 초음파 프로브가 신체 부위에 충분히 닿지 못하여 원하는 부위의 정보를 획득하기 어렵다. 또한 초음파 프로브가 가하는 압력이 너무 큰 경우 신체 내부의 구성요소의 형태가 초음파 프로브의 압력으로 인해 변형될 수 있다. 따라서 프로세서(110)는 초음파 프로브와 신체 부위의 접촉 압력이 적정 상태인지 판단하기 위한 기준이 되는 유효 압력 범위를 생성할 수 있다.
한 실시예로서, 프로세서(110)는 초음파 프로브가 정지된 상태에서 획득한 복수의 초음파 이미지들을 수신할 수 있다. 프로세서(110)는 획득한 초음파 이미지 간 유사도를 비교하여 이를 기초로 접촉 판단 기준 및 유효 압력 범위를 생성할 수 있다. 프로세서(110)는 초음파 이미지를 복수의 패치로 분할하고, 패치 단위로 유사도를 계산하여 접촉 판단 기준을 생성할 수 있다. 프로세서(110)는 초음파 프로브가 신체 부위를 향해 이동하며 획득하는 초음파 이미지를 수신하고, 접촉 판단 기준 및 유효 압력 범위를 기초로 초음파 이미지가 적정 압력 상태에서 획득한 유효 이미지인지 판단할 수 있다.
한 실시예로서, 프로세서(110)는 초음파 프로브와 신체 부위 사이의 접촉이 발생한 상태에서 획득된 초음파 이미지를 학습 이미지로 하여 제1 인공지능 모델을 학습시킬 수 있다. 또한 프로세서(110)는 초음파 프로브와 신체 부위의 접촉 압력이 유효 압력 범위인 상태에서 획득한 이미지를 학습 이미지로 하여 제2 인공지능 모델을 학습시킬 수 있다. 또한 초음파 프로브와 신체 부위의 접촉 압력을 수치로 출력하도록, 제2 인공지능 모델을 학습시킬 수 있다. 제1 인공지능 모델 및 제2 인공지능 모델은 적어도 하나의 뉴럴 네트워크를 포함할 수 있다. 뉴럴 네트워크는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network), MLP(Multilayer Perceptron), CNN(Convolutional Neural Network)과 같은 방식의 네트워크 모델들을 포함할 수 있으나, 이에 한정되지 않는다. 프로세서(110)는 초음파 프로브가 신체 부위를 향해 이동하며 획득하는 초음파 이미지를 수신하고, 초음파 이미지를 제1 인공지능 모델 또는 제2 인공지능 모델에 입력하여 유효 이미지인지 판단할 수 있다.
프로세서(110)는 유효 이미지가 획득된 시점을 초음파 프로브가 신체 부위에 적절하게 접촉한 시점으로 결정할 수 있다. 프로세서(110)는 유효 이미지 획득 시점에 정맥 천자 장치로 알림을 제공할 수 있다. 이에 따라 정맥 천자 장치는 유효 이미지를 기초로 신체 내부에서 침습 대상이 되는 혈관 후보들 파악하는 동작, 혈관 후보들 중 침습 대상 혈관을 결정하는 동작, 침습 대상 혈관에 침습을 수행하는 동작 등을 수행할 수 있다.
본 개시의 실시예에 따르면, 초음파 이미지를 획득하는 하드웨어에 압력을 측정하기 위한 별도의 장치를 추가할 필요가 없어 설치 및 사용이 간편하고, 초음파 이미지만으로 접촉 압력을 파악할 수 있으므로 빠른 연산 속도를 제공할 수 있다. 또한, 일률적인 접촉 판단 기준 및 유효 압력 범위를 사용하는 것이 아니라 장치의 동작이 수행될 때 획득되는 초음파 이미지를 이용하여 기준을 설정한다. 따라서 환경 요인의 변화에 적응적으로 접촉 판단 기준 및 유효 압력 범위를 설정함으로써 접촉 압력 판단의 정확성을 높일 수 있다.
필요에 따라, 프로세서(110)는 컴퓨팅 장치(100)의 사용자 혹은 임의의 클라이언트의 사용자와의 상호 작용을 위한 환경을 제공하는 사용자 인터페이스(user interface)를 생성할 수 있다. 프로세서(110)는 사용자로부터 인가되는 외부 입력 신호를 기초로 데이터의 출력, 수정, 변경, 혹은 추가 등의 기능이 구현되도록 하는 사용자 인터페이스를 생성할 수 있다. 상술한 사용자 인터페이스의 역할은 하나의 예시일 뿐이므로, 사용자 인터페이스의 역할은 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 정의될 수 있다.
본 개시의 일 실시예에 따른 메모리(120)는 컴퓨팅 장치(100)에서 처리되는 데이터를 저장하고 관리하기 위한 하드웨어 및/또는 소프트웨어를 포함하는 구성 단위로 이해될 수 있다. 즉, 메모리(120)는 프로세서(110)가 생성하거나 결정한 임의의 형태의 데이터 및 네트워크부(130)가 수신한 임의의 형태의 데이터를 저장할 수 있다. 예를 들어, 메모리(120)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리, 램(RAM: random access memory), 에스램(SRAM: static random access memory), 롬(ROM: read-only memory), 이이피롬(EEPROM: electrically erasable programmable read-only memory), 피롬(PROM: programmable read-only memory), 자기 메모리, 자기 디스크, 또는 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(120)는 데이터를 소정의 체제로 통제하여 관리하는 데이터베이스(database) 시스템을 포함할 수도 있다. 상술한 메모리(120)의 종류는 하나의 예시일 뿐이므로, 메모리(120)의 종류는 본 개시의 내용을 기초로 당업자가 이해 가능한 범주에서 다양하게 구성될 수 있다.
메모리(120)는 프로세서(110)가 연산을 수행하는데 필요한 데이터, 데이터의 조합, 및 프로세서(110)에서 실행 가능한 프로그램 코드(code) 등을 구조화 및 조직화하여 관리할 수 있다.
메모리(120)는 후술할 네트워크부(130)를 통해 수신된 초음파 이미지를 저장할 수 있다. 메모리(120)는 초음파 이미지를 기초로 접촉 판단 기준 및 유효 압력 범위를 생성하도록 동작시키는 프로그램 코드 및 프로그램 코드가 실행됨에 따라 생성된 접촉 판단 기준 및 유효 압력 범위를 저장할 수 있다.
본 개시의 일 실시예에 따른 네트워크부(130)는 임의의 형태의 공지된 유무선 통신 시스템을 통해 데이터를 송수신하는 구성 단위로 이해될 수 있다. 예를 들어, 네트워크부(130)는 근거리 통신망(LAN: local area network), 광대역 부호 분할 다중 접속(WCDMA: wideband code division multiple access), 엘티이(LTE: long term evolution), 와이브로(WiBro: wireless broadband internet), 5세대 이동통신(5G), 초광역대 무선통신(ultra wide-band), 지그비(ZigBee), 무선주파수(RF: radio frequency) 통신, 무선랜(wireless LAN), 와이파이(wireless fidelity), 근거리 무선통신(NFC: near field communication), 또는 블루투스(Bluetooth) 등과 같은 유무선 통신 시스템을 사용하여 데이터 송수신을 수행할 수 있다. 상술한 통신 시스템들은 하나의 예시일 뿐이므로, 네트워크부(130)의 데이터 송수신을 위한 유무선 통신 시스템은 상술한 예시 이외에 다양하게 적용될 수 있다.
네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)가 연산을 수행하는데 필요한 데이터를 수신할 수 있다. 또한, 네트워크부(130)는 임의의 시스템 혹은 임의의 클라이언트 등과의 유무선 통신을 통해, 프로세서(110)의 연산을 통해 생성된 데이터를 송신할 수 있다. 예를 들어, 네트워크부(130)는 의료 영상 저장 전송 시스템, 의료 데이터의 표준화 등의 작업을 수행하는 클라우드 서버, 혹은 의료용 로봇 등과의 통신을 통해, 의료 영상 획득 장치 등과의 통신을 통해, 초음파 이미지를 수신할 수 있다.
도 2는 본 개시의 일 실시예에 따른 접촉 압력 판단 장치의 블록도이고, 도 3은 본 개시의 일 실시예에 기준 이미지를 나타내는 예시도이다.
도 2 및 도 3을 함께 참조하면, 접촉 판단 장치(200)는 도 1의 컴퓨팅 장치(100)의 한 실시예일 수 있으며, 정맥 천자 장치, 예를 들어 채혈 장치에 포함된 구성일 수 있다.
접촉 압력 판단 장치는 초음파 프로브로부터 생성된 기준 이미지(210)를 획득하고, 초음파 프로브와 신체 부위가 접촉하는지 여부를 판단하기 위한 접촉 판단 기준 및 초음파 프로브가 신체 부위에 가하는 접촉 압력이 적절한지 판단하기 위한 유효 압력 범위를 생성할 수 있다.
기준 이미지(210)는 복수의 초음파 이미지들을 포함할 수 있으며, 예를 들어 초기 이미지(211), 제1 기준 이미지(212) 및 제2 기준 이미지(213)를 포함할 수 있다. 초기 이미지(211)는 초음파 프로브에 증류수가 분사된 후 촬영된 것이고, 제1 기준 이미지(212) 및 제2 기준 이미지(213)는 증류수 분사 이후 초음파 프로브가 이동하기 전에 촬영된 것일 수 있다. 즉 기준 이미지(210)는 초음파 프로브가 수직 방향의 하강 운동을 개시하기 이전에 획득되는 복수의 초음파 이미지를 통칭하여 의미할 수 있다. 도 3에서 3장의 기준 이미지(210)를 예로 들어 설명하나, 접촉 판단 기준을 생성하기 위해 필요한 기준 이미지(210)의 개수가 이에 제한되는 것은 아니다.
접촉 판단 장치(200)는 이미지의 유사도를 기초로 접촉 판단 기준을 생성할 수 있다. 접촉 판단 장치(200)는 이미지를 소정의 영역으로 분할하고, 각 영역에서 유사도를 계산할 수 있다. 예를 들어 접촉 판단 장치(200)는 이미지를 패치(P) 단위로 분할하고, 각 패치(P)에서 유사도를 계산할 수 있다.
도 3을 참조하면, 초기 이미지(211), 제1 기준 이미지(212) 및 제2 기준 이미지(213)는 각각 8개의 패치로 분할될 수 있다. 접촉 판단 장치(200)는 초기 이미지(211)의 패치와 제1 기준 이미지(212)의 패치 간 유사도를 계산하고, 초기 이미지(211)의 패치와 제2 기준 이미지(213)의 패치 간 유사도를 계산할 수 있다. 접촉 판단 장치(200)는 서로 대응되는 위치에 있는 패치 간 유사도를 계산할 수 있다. 이에 따라 16개의 유사도 값이 계산될 수 있다. 접촉 판단 장치(200)는 가장 작은 유사도 값을 접촉 판단 기준으로 생성할 수 있다.
한편 이미지의 유사도를 계산하는 방법은 어느 하나로 제한되지 않으며, SSIM(Structural Similarity Index Map), MSE(mean square error), image hash(average hash, perceptive hash, difference hash) 등 다양한 방법이 사용될 수 있다.
접촉 판단 장치(200)는 접촉 판단 기준을 만족하는 영역을 접촉 발생 영역으로 결정할 수 있다. 구체적으로 접촉 판단 장치(200)는 접촉 판단 기준을 만족하는 패치를 접촉 발생 패치로 결정할 수 있다.
접촉 판단 장치(200)는 접촉 판단 기준을 기초로 유효 압력 범위를 생성할 수 있다. 접촉 판단 장치(200)는 접촉 발생 패치의 개수 또는 위치를 기초로 유효 압력 범위를 생성할 수 있다. 예를 들어 임의의 초음파 이미지가 제1 기준 개수만큼 접촉 발생 패치를 포함하는 경우, 접촉 판단 장치(200)는 임의의 초음파 이미지를 유효 이미지(230)로 결정할 수 있다. 즉 접촉 판단 장치(200)는 제1 기준 개수를 유효 압력 범위로 설정할 수 있다. 예를 들어, 임의의 초음파 이미지에 포함되는 접촉 발생 패치가 제2 기준 개수만큼 연속하여 배치되는 경우, 접촉 판단 장치(200)는 임의의 초음파 이미지를 유효 이미지(230)로 결정할 수 있다. 즉 접촉 판단 장치(200)는 제2 기준 개수를 유효 압력 범위로 설정할 수 있다. 유효 압력 범위, 즉 제1 기준 개수 및 제2 기준 개수는 신체 부위의 특성, 초음파 이미지에 포함되는 혈관의 특성, 초음파 이미지의 크기 및 해상도, 패치의 크기 등에 따라 결정되며 달라질 수 있다.
접촉 판단 장치(200)는 초음파 프로브로부터 획득한 후보 이미지(220)를 이용하여, 접촉 판단 기준에 따라 초음파 프로브와 신체 부위가 접촉하는지 판단할 수 있다. 접촉 판단 장치(200)는 유효 압력 범위에 따라 초음파 프로브와 신체 부위가 적정 상태의 접촉 압력으로 접촉하는지 판단할 수 있다. 이때, 기준 이미지(210)는 초음파 프로브가 정지된 상태에서 획득되고, 후보 이미지(220)는 초음파 프로브가 이동하면서 획득될 수 있다.
접촉 판단 장치(200)는 후보 이미지(220)와 기준 이미지(210)(예를 들어 초기 이미지)의 유사도를 계산하고 유사도가 접촉 판단 기준을 초과하는 경우 초음파 프로브와 신체 부위 사이의 접촉이 발생한 것으로 결정할 수 있다. 접촉 판단 장치(200)는 후보 이미지(220)를 소정의 영역, 예를 들어 패치(P)로 분할하고, 각 패치(P)에서 유사도를 계산할 수 있다. 즉, 접촉 판단 장치(200)는 후보 이미지(220)의 패치와 초기 이미지의 패치 간 유사도를 계산하고, 접촉 판단 기준을 초과하는 패치의 개수(즉 접촉 발생 패치의 개수)가 접촉 판단 기준을 초과하는지 판단할 수 있다.
접촉 판단 장치(200)는 후보 이미지(220)가 유효 압력 범위를 만족하는 경우, 후보 이미지(220)를 유효 이미지(230)로 판단할 수 있다. 예를 들어 접촉 판단 장치(200)는 후보 이미지(220)에서, 접촉 발생 패치가 제1 기준 개수를 초과하는지 판단하고, 초과하는 경우 후보 이미지(220)를 유효 이미지(230)로 결정할 수 있다. 또는 접촉 판단 장치(200)는 후보 이미지(220)에서, 접촉 발생 패치가 제2 기준 개수를 초과하여 연속으로 배치되는지 판단하고, 초과하는 경우 후보 이미지(220)를 유효 이미지(230)로 결정할 수 있다.
접촉 판단 장치(200)는 유효 이미지(230)가 획득되는 시점 또는 유효 이미지(230)가 생성된 시점을 초음파 프로브와 신체 부위가 적정 상태의 접촉 압력으로 접촉하는 시점으로 결정할 수 있다.
접촉 판단 장치(200)는 인공지능 모델을 이용하여 후보 이미지(220)를 유효 이미지(230)로 판단할 수 있다. 이 경우 인공지능 모델을 학습시키기 위한 학습 데이터가 사용될 수 있다. 이에 대한 자세한 내용은 도 6을 통해 후술한다.
도 4는 본 개시의 일 실시예에 따른 룰 베이스 기반의 유효 이미지를 결정하는 접촉 압력 판단 장치의 동작 방법을 나타내는 흐름도이다.
도 4를 참조하면, 접촉 판단 장치는 도 1의 컴퓨팅 장치(100)의 한 실시예일 수 있다.
접촉 판단 장치는 기준 이미지를 획득할 수 있다(S110). 접촉 판단 장치는 초음파 프로브를 통해, 초음파 프로브가 정지된 상태에서 신체 부위를 촬영한 기준 이미지를 획득할 수 있다. 기준 이미지는 복수개일 수 있다.
접촉 판단 장치는 기준 이미지를 기초로 초음파 프로브와 신체 부위 사이의 접촉 여부에 대한 대한 접촉 판단 기준 및 접촉 압력에 대한 유효 압력 범위를 생성할 수 있다(S120).
접촉 판단 기준은 이미지 간 유사도 값을 포함할 수 있다. 접촉 판단 장치는 기준 이미지와 획득할 후보 이미지 간 유사도가 접촉 판단 기준을 초과하는 경우, 초음파 프로브와 신체 부위 사이의 접촉이 발생한 것으로 결정하도록 접촉 판단 기준을 생성할 수 있다. 기준 이미지가 복수의 초음파 이미지를 포함하는 경우, 접촉 판단 장치는 기준 이미지들 간 유사도를 계산하고, 유사도 중 가장 작은 값을 기초로 접촉 판단 기준을 생성할 수 있다.
유효 압력 범위는, 초음파 이미지 내에서 접촉 판단 기준을 만족하는 영역을 기초로 생성될 수 있다. 초음파 이미지 내에서 접촉 판단 기준을 만족하는 영역을 접촉 발생 영역으로 칭할 수 있고, 해당 영역이 패치 단위인 경우, 접촉 발생 영역을 접촉 발생 패치로 칭할 수 있다. 유효 압력 범위는 초음파 이미지 내에서 접촉 발생 패치의 개수를 기초로 생성될 수 있다.
접촉 판단 장치는 후보 이미지를 획득할 수 있다(S130). 접촉 판단 장치는 기준 이미지를 획득하고 임의의 시간이 지난 후 후보 이미지를 획득할 수 있다.
접촉 판단 장치는 후보 이미지가 접촉 판단 기준을 만족하는지 판단할 수 있다(S140). 접촉 판단 장치는 기준 이미지와 후보 이미지 간 유사도를 계산하고, 유사도가 접촉 판단 기준을 초과하는 경우, 초음파 프로브와 신체 부위 사이의 접촉이 발생한 것으로 결정할 수 있다.
후보 이미지가 접촉 판단 기준을 만족하는 경우, 접촉 판단 장치는 후보 이미지가 유효 압력 범위를 만족하는지 판단할 수 있다(S150). 접촉 판단 장치는 후보 이미지에서 접촉 발생 영역을 파악하고, 해당 영역이 유효 압력 범위를 만족하는지 판단할 수 있다. 접촉 판단 장치는 후보 이미지에서 접촉 판단 영역의 크기 및 배치를 유효 압력 범위와 비교할 수 있다.
후보 이미지가 유효 압력 범위를 만족하는 경우, 접촉 판단 장치는 후보 이미지를 유효 이미지로 결정할 수 있다(S160).
접촉 판단 장치는 유효 이미지 획득 시점을 접촉 압력이 적정 상태인 시점으로 결정할 수 있다(S170). 접촉 판단 장치는 유효 이미지 획득 시점에 200과 연결된 외부 구성 요소, 예를 들어 정맥 천자 장치로 알림을 제공할 수 있다.
도 5는 본 개시의 일 실시예에 따른 룰 베이스 기반의 유효 이미지를 결정하는 접촉 압력 판단 장치의 동작 방법을 나타내는 흐름도이다.
도 5를 참조하면, 접촉 판단 장치는 도 1의 컴퓨팅 장치(100)의 한 실시예일 수 있다. 접촉 판단 장치는 초음파 이미지를 패치로 분할하여 접촉 압력 판단 동작을 수행할 수 있다. 즉 접촉 판단 장치는 획득하는 초음파 이미지를 패치 단위로 분할하는 작업을 수행할 수 있다. 패치의 크기 및 개수는 초음파 이미지에 따라 달라질 수 있다.
접촉 판단 장치는 복수의 기준 이미지를 획득할 수 있다(S210). 접촉 판단 장치는 초음파 프로브가 하강 운동을 시작하기 이전에 초음파 이미지를 획득하고, 이를 기준 이미지로 할 수 있다. 예를 들어 기준 이미지는 초음파 프로브에 증류수가 분사된 후 촬영된 초기 이미지, 증류수 분사 이후 초음파 프로브가 이동하기 전에 촬영된 제1 기준 이미지 및 제2 기준 이미지를 포함할 수 있다.
접촉 판단 장치는 복수의 기준 이미지 간 유사도를 기초로 접촉 판단 기준을 생성할 수 있다(S220). 접촉 판단 장치는 복수의 기준 이미지들 간의 유사도를 계산하고, 계산된 유사도 중 작은 값을 기초로 접촉 판단 기준을 생성할 수 있다. 접촉 판단 장치는 복수의 기준 이미지들 각각을 패치 단위로 분할하고, 패치 간 유사도 중 작은 값을 기초로 접촉 판단 기준을 생성할 수 있다.
예를 들어, 접촉 판단 장치는 초기 이미지, 제1 기준 이미지 및 제2 기준 이미지를 패치 단위로 분할할 수 있다. 접촉 판단 장치는 초기 이미지의 패치와 제1 기준 이미지의 패치 간 유사도를 계산하고, 초기 이미지의 패치와 제2 기준 이미지의 패치 간 유사도를 계산할 수 있다. 접촉 판단 장치는 이미지 상에서 대응되는 위치에 있는 패치 간 유사도를 계산할 수 있다. 접촉 판단 장치는 각 패치에서 계산된 유사도 값 중 가장 작은 값을 기초로 접촉 판단 기준을 생성할 수 있다.
접촉 판단 장치는 접촉 판단 기준을 만족하는 접촉 발생 패치의 개수를 기초로 유효 압력 범위를 생성할 수 있다. 유효 압력 범위는 제1 기준 개수 또는 제2 기준 개수를 포함할 수 있다. 예를 들어 접촉 판단 장치는 접촉 발생 패치의 개수가 제1 기준 개수를 초과하는 경우, 유효 압력 범위에 속하는 것으로 판단할 수 있다. 예를 들어 접촉 판단 장치는 접촉 발생 패치가 제2 기준 개수를 초과하여 연속하여 배치되는 경우, 유효 압력 범위에 속하는 것으로 판단할 수 있다.
접촉 판단 장치는 초음파 프로브가 이동하면서 촬영하는 후보 이미지를 획득할 수 있다(S230).
접촉 판단 장치는 후보 이미지의 패치와 초기 이미지의 패치 간 유사도를 계산할 수 있다(S240). 접촉 판단 장치는 후보 이미지와 초기 이미지의 대응되는 위치에 있는 패치 간 유사도를 계산할 수 있다.
접촉 판단 장치는 유사도가 접촉 판단 기준을 만족하는지 판단할 수 있다(S250). 접촉 판단 장치는 접촉 판단 기준을 만족하는 패치를 접촉 발생 패치로 판단할 수 있다.
접촉 판단 장치는 후보 이미지에서 접촉 발생 패치가 제1 기준 개수를 초과하는지 판단할 수 있다(S260). 접촉 판단 장치는 후보 이미지에서 접촉 발생 패치가 제2 기준 개수를 초과하여 연속 배치되는지 판단할 수 있다(S270). S260 단계 및 S270 단계는 선택적으로 수행되거나, 병렬적으로 수행될 수 있다. 또는 순차적으로 수행될 수 있다.
S260 단계에서 접촉 발생 패치가 제1 기준 개수를 초과하거나 S270 단계에서 접촉 발생 패치가 제2 기준 개수를 초과하여 연속 배치되는 경우, 접촉 판단 장치는 후보 이미지를 유효 이미지로 결정할 수 있다(S280). 이후 접촉 판단 장치는 유효 이미지를 획득한 시점을 초음파 프로브와 신체 부위 사이의 접촉 압력이 적정 상태인 시점으로 결정할 수 있다.
S250 단계에서 유사도가 접촉 판단 기준을 만족하지 않는 경우, S260 단계에서 접촉 발생 패치가 제1 기준 개수 이하인 경우, S270 단계에서 접촉 발생 패치가 제2 기준 개수를 초과하여 연속 배치되지 않는 경우 중 어느 하나에서 접촉 판단 장치는 S230 단계로 돌아가 후보 이미지를 다시 획득할 수 있다.
도 6은 본 개시의 일 실시예에 따른 인공지능 기반의 유효 이미지를 결정하는 접촉 압력 판단 장치의 동작 방법을 나타내는 흐름도이다.
도 6을 참조하면, 접촉 판단 장치는 도 1의 컴퓨팅 장치(100)의 한 실시예일 수 있다. S320 단계 이전에, 제1 인공지능 모델 및 제2 인공지능 모델이 학습될 수 있다.
제1 인공지능 모델은 초음파 프로브와 신체 부위 사이의 접촉이 있는지 여부를 판단하도록 학습될 수 있다.
제2 인공지능 모델은 초음파 프로브와 신체 부위 사이의 접촉 압력이 유효 압력 범위인지 판단하기 위해, 초음파 이미지가 유효 압력 범위 내에서 획득된 유효 이미지인지 판단하도록 학습될 수 있다.
제1 인공지능 모델은 초음파 프로브와 신체 부위 사이의 접촉이 발생한 상태에서 획득된 초음파 이미지를 학습 이미지로 할 수 있다. 제2 인공지능 모델은 초음파 프로브와 신체 부위 사이의 접촉 압력이 유효 압력 범위를 만족하는 상태에서 획득된 초음파 이미지를 학습 이미지로 할 수 있다. 접촉 압력이 유효 압력 범위 미만인 상태에서 획득된 초음파 이미지는 0, 접촉 압력이 유효 압력 범위인 상태에서 획득된 초음파 이미지는 1, 접촉 압력이 유효 압력 범위 초과인 상태에서 획득된 초음파 이미지는 2로 라벨링되어 제2 인공지능 모델이 학습될 수 있다.
또는 제2 인공지능 모델은 초음파 프로브와 신체 부위 사이의 접촉 압력을 수치로 출력하도록 학습될 수 있다. 이 경우 제2 인공지능 모델은 접촉 압력에 따른 복수의 초음파 이미지를 학습 이미지로 할 수 있다.
제1 인공지능 모델 및 제2 인공지능 모델은 초음파 이미지의 일부, 예를 들어 패치 단위로 학습될 수 있다.
접촉 판단 장치는 후보 이미지를 획득할 수 있다(S310). 후보 이미지는 초음파 프로브가 하강 운동을 시작한 이후에 획득된 초음파 이미지일 수 있다.
접촉 판단 장치는 학습된 제1 인공지능 모델 또는 제2 인공지능 모델을 이용하여, 후보 이미지가 초음파 프로브와 신체 부위 사이의 접촉 압력이 적정 상태에서 획득된 유효 이미지인지 판단할 수 있다(S320).
예를 들어, 접촉 판단 장치는 후보 이미지를 패치 단위로 분할할 수 있다. 그리고 접촉 판단 장치는 제1 인공지능 모델을 이용하여 각 패치가 접촉 발생 패치인지 판단할 수 있다. 접촉 판단 장치는 후보 이미지에 포함되는 접촉 발생 패치의 개수에 따라 후보 이미지를 유효 이미지로 결정할 수 있다.
예를 들어 접촉 판단 장치는 후보 이미지에 포함되는 접촉 발생 패치의 개수가 제1 기준 개수를 초과하는 경우 또는 후보 이미지에 포함되는 접촉 발생 패치가 제2 기준 개수를 초과하여 연속하여 배치되는 경우, 후보 이미지를 유효 이미지로 결정할 수 있다. 이에 대한 내용은 도 5의 S260 단계 및 S270 단계와 유사할 수 있다.
예를 들어 접촉 판단 장치는 제2 인공지능 모델에 후보 이미지를 입력하고, 각 클래스에 대응되는 확률값을 획득할 수 있다. 접촉 판단 장치는 기 설정된 범위, 예를 들어 0.7 ~ 1.3 내의 값을 출력하는 첫번째 프레임을 유효 이미지로 판단할 수 있다.
예를 들어 접촉 판단 장치는 제2 인공지능 모델에 후보 이미지를 입력하고 제2 인공지능 모델로부터 접촉 압력 값을 획득할 수 있다. 접촉 판단 장치는 압력 값이 미리 설정된 기준 값을 초과하는 경우, 접촉이 발생한 것으로 판단할 수 있다. 또한 접촉 판단 장치는 압력 값이 미리 설정된 범위 사이에 해당하는 경우, 후보 이미지를 유효 이미지로 판단할 수 있다. 이 경우 접촉 판단 장치는 제2 인공지능 모델로 접촉 여부 및 접촉 압력의 정도를 모두 판단할 수 있다.
예를 들어 접촉 판단 장치는 유효 이미지의 획득 시점을 초음파 프로브와 신체 부위 사이의 접촉 압력이 적정 상태인 시점으로 결정할 수 있다.
본 명세서에서 제1 인공지능 모델 및 제2 인공지능 모델을 구분하여 설명하였으나, 각각이 통합된 하나의 모델로 구현될 수 있다.
접촉 판단 장치는 초음파 프로브로부터 후보 이미지를 연속적으로 획득하고, S320 단계를 연속적으로 수행할 수 있다. 접촉 판단 장치가 복수의 유효 이미지들을 결정하는 경우, 접촉 판단 장치는 첫번째로 유효 이미지로 결정된 시점을 초음파 프로브와 신체 부위 사이의 접촉 압력이 적정 상태인 시점으로 결정할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 초음파 프로브와 신체 부위 사이의 접촉 판단 방법으로서,
    상기 초음파 프로브를 통해 복수의 기준 이미지를 획득하는 단계;
    상기 복수의 기준 이미지를 기초로, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 여부에 대한 대한 접촉 판단 기준 및 접촉 압력에 대한 유효 압력 범위를 생성하는 단계;
    상기 초음파 프로브를 통해 후보 이미지를 획득하는 단계;
    상기 후보 이미지가 상기 접촉 판단 기준 및 상기 유효 압력 범위를 만족하는지 판단하는 단계; 및
    만족하는 경우 상기 후보 이미지를, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 압력이 적정 상태에서 획득된 유효 이미지로 결정하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 복수의 기준 이미지와 상기 후보 이미지 간 유사도가 상기 접촉 판단 기준을 초과하는 경우, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉이 발생한 것으로 결정하도록 상기 접촉 판단 기준을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 접촉 판단 기준을 생성하는 단계는,
    상기 복수의 기준 이미지들 간의 유사도를 계산하고, 계산된 유사도 중 작은 값을 기초로 상기 접촉 판단 기준을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 접촉 판단 기준을 생성하는 단계는,
    상기 복수의 기준 이미지 각각을 패치 단위로 분할하는 단계; 및
    상기 복수의 기준 이미지 각각에서 생성된 패치 간 유사도 중 작은 값을 기초로 상기 접촉 판단 기준을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  5. 제2항에 있어서,
    상기 판단하는 단계는,
    상기 복수의 기준 이미지의 패치와 상기 후보 이미지의 패치 간 유사도가 상기 접촉 판단 기준을 만족하는 경우, 상기 후보 이미지의 패치를 접촉 발생 패치로 판단하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 결정하는 단계는,
    상기 후보 이미지에 포함되는 상기 접촉 발생 패치의 개수가 상기 유효 압력 범위에 포함되는 제1 기준 개수를 초과하는 경우, 상기 후보 이미지를 상기 유효 이미지로 결정하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  7. 제5항에 있어서,
    상기 결정하는 단계는,
    상기 후보 이미지에 포함되는 상기 접촉 발생 패치가 상기 유효 압력 범위에 포함되는 제2 기준 개수를 초과하여 연속하여 배치되는 경우, 상기 후보 이미지를 상기 유효 이미지로 결정하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 유효 이미지를 획득한 시점을 상기 초음파 프로브와 신체 부위 사이의 접촉 압력이 적정 상태인 시점으로 결정하는 단계;
    를 더 포함하는 것을 특징으로 하는 방법.
  9. 적어도 하나의 프로세서를 포함하는 컴퓨팅 장치에 의해 수행되는, 초음파 프로브와 신체 부위 사이의 접촉 판단 방법으로서,
    상기 초음파 프로브를 통해 후보 이미지를 획득하는 단계; 및
    상기 초음파 프로브와 상기 신체 부위 사이의 접촉이 있는지 여부를 판단하도록 학습된 제1 인공지능 모델 또는 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 압력을 추론하도록 학습된 제2 인공지능 모델을 이용하여, 상기 후보 이미지가 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 압력이 적정 상태에서 획득된 유효 이미지인지 판단하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    상기 판단하는 단계는,
    상기 후보 이미지를 패치 단위로 분할하는 단계;
    상기 제1 인공지능 모델을 이용하여 각 패치가 접촉 발생 패치인지 판단하는 단계; 및
    상기 후보 이미지에 포함되는 상기 접촉 발생 패치의 개수에 따라 상기 후보 이미지를 상기 유효 이미지로 결정하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  11. 제10항에 있어서,
    상기 결정하는 단계는,
    상기 후보 이미지에 포함되는 상기 접촉 발생 패치의 개수가 제1 기준 개수를 초과하는 경우, 상기 후보 이미지를 상기 유효 이미지로 결정하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  12. 제10항에 있어서,
    상기 결정하는 단계는,
    상기 후보 이미지에 포함되는 상기 접촉 발생 패치가 제2 기준 개수를 초과하여 연속하여 배치되는 경우, 상기 후보 이미지를 상기 유효 이미지로 결정하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  13. 컴퓨터 판독가능 저장 매체 저장된 컴퓨터 프로그램(program)으로서, 상기 컴퓨터 프로그램은 하나 이상의 프로세서(processor)에서 실행되는 경우, 초음파 프로브와 신체 부위 사이의 접촉을 판단하기 위한 동작들을 수행하도록 하며,
    상기 동작들은,
    상기 초음파 프로브를 통해 복수의 기준 이미지를 획득하는 동작;
    상기 복수의 기준 이미지를 기초로, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 여부에 대한 대한 접촉 판단 기준 및 접촉 압력에 대한 유효 압력 범위를 생성하는 동작;
    상기 초음파 프로브를 통해 후보 이미지를 획득하는 동작;
    상기 후보 이미지가 상기 접촉 판단 기준 및 상기 유효 압력 범위를 만족하는지 판단하는 동작; 및
    만족하는 경우 상기 후보 이미지를, 상기 초음파 프로브와 상기 신체 부위 사이의 접촉 압력이 적정 상태에서 획득된 유효 이미지로 결정하는 동작;
    을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.
PCT/KR2023/008620 2022-10-14 2023-06-21 의료 이미지를 기반으로 하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램 WO2024080489A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0132185 2022-10-14
KR1020220132185A KR102607805B1 (ko) 2022-10-14 2022-10-14 의료 이미지를 기반으로 하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
WO2024080489A1 true WO2024080489A1 (ko) 2024-04-18

Family

ID=88969328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/008620 WO2024080489A1 (ko) 2022-10-14 2023-06-21 의료 이미지를 기반으로 하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램

Country Status (2)

Country Link
KR (2) KR102607805B1 (ko)
WO (1) WO2024080489A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003135459A (ja) * 2001-10-31 2003-05-13 Ge Medical Systems Global Technology Co Llc 超音波プローブ状態判断方法および超音波診断装置
JP2010233609A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 超音波診断装置及び接触状態判断方法
KR20180027099A (ko) * 2016-09-06 2018-03-14 삼성메디슨 주식회사 초음파 프로브, 초음파 프로브의 제어 방법 및 초음파 프로브를 포함하는 초음파 영상 장치
WO2019235521A1 (ja) * 2018-06-07 2019-12-12 トリプル・ダブリュー・ジャパン株式会社 超音波測定装置、接触判定サーバ装置、接触判定プログラム及び接触判定方法
KR102103635B1 (ko) * 2018-04-19 2020-04-22 서강대학교산학협력단 초음파 변환자 접촉평가 방법 및 그 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100052135A (ko) * 2008-11-10 2010-05-19 (주)메디슨 초음파 진단 장치 및 초음파 진단 장치의 프로브 활성화 방법
JP5907918B2 (ja) * 2013-03-21 2016-04-26 富士フイルム株式会社 光音響計測装置および光音響計測方法並びにプローブの接触判断方法
JP2014207970A (ja) * 2013-03-26 2014-11-06 富士フイルム株式会社 光音響計測装置
KR102361612B1 (ko) 2014-12-16 2022-02-10 삼성메디슨 주식회사 초음파 진단장치 및 그에 따른 초음파 진단 장치의 동작 방법
DE102017201440B3 (de) * 2017-01-30 2018-05-30 Fresenius Medical Care Deutschland Gmbh Kanülierautomat zur Erkennung und Manipulation eines Blutgefäßes, sowie entsprechendes Verfahren

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003135459A (ja) * 2001-10-31 2003-05-13 Ge Medical Systems Global Technology Co Llc 超音波プローブ状態判断方法および超音波診断装置
JP2010233609A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 超音波診断装置及び接触状態判断方法
KR20180027099A (ko) * 2016-09-06 2018-03-14 삼성메디슨 주식회사 초음파 프로브, 초음파 프로브의 제어 방법 및 초음파 프로브를 포함하는 초음파 영상 장치
KR102103635B1 (ko) * 2018-04-19 2020-04-22 서강대학교산학협력단 초음파 변환자 접촉평가 방법 및 그 장치
WO2019235521A1 (ja) * 2018-06-07 2019-12-12 トリプル・ダブリュー・ジャパン株式会社 超音波測定装置、接触判定サーバ装置、接触判定プログラム及び接触判定方法

Also Published As

Publication number Publication date
KR20240052711A (ko) 2024-04-23
KR102607805B1 (ko) 2023-11-29

Similar Documents

Publication Publication Date Title
US20220036135A1 (en) Method and apparatus for determining image to be labeled and model training method and apparatus
US10810735B2 (en) Method and apparatus for analyzing medical image
US20220222932A1 (en) Training method and apparatus for image region segmentation model, and image region segmentation method and apparatus
Abd Elaziz et al. Medical image classification utilizing ensemble learning and levy flight-based honey badger algorithm on 6G-enabled internet of things
WO2022147885A1 (zh) 影像驱动的脑图谱构建方法、装置、设备及存储介质
KR20200062589A (ko) 뇌 mri 영상의 뇌 영역별 분할을 통한 치매 예측 장치 및 방법
CN110503636B (zh) 参数调整方法、病灶预测方法、参数调整装置及电子设备
WO2024010390A1 (ko) 의료용 로봇의 제어를 모니터링 하기 위한 방법, 프로그램 및 장치
WO2024039043A1 (ko) 학습 데이터 생성 방법, 컴퓨터 프로그램 및 장치
WO2022265197A1 (ko) 인공지능에 기반하여 내시경 영상을 분석하기 위한 방법 및 장치
Shamrat et al. Analysing most efficient deep learning model to detect COVID-19 from computer tomography images
WO2023229384A1 (ko) 학습 데이터 생성 방법, 컴퓨터 프로그램 및 장치
US20230115987A1 (en) Data adjustment system, data adjustment device, data adjustment method, terminal device, and information processing apparatus
WO2020053887A1 (en) Distributed training of systems for medical image analysis
WO2024080489A1 (ko) 의료 이미지를 기반으로 하는 접촉 판단 방법 및 이를 수행하는 컴퓨터 프로그램
WO2023249402A1 (ko) 딥러닝 모델의 학습을 위한 의료 데이터의 처리 방법, 프로그램 및 장치
WO2023177151A1 (ko) 3차원 의료 데이터의 처리 방법, 프로그램 및 장치
WO2023048437A1 (ko) 의료 데이터를 기반으로 하는 딥러닝 모델의 학습 및 추론 방법, 프로그램 및 장치
WO2023108418A1 (zh) 脑图谱构建及神经环路检测的方法和相关产品
CN114937178A (zh) 基于多模态的图像分类方法、装置、可读介质和电子设备
WO2023249411A1 (ko) 데이터 처리 방법, 컴퓨터 프로그램 및 장치
WO2024122907A1 (ko) 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치
WO2024106605A1 (ko) 인공지능 기반 행동 모니터링 방법, 프로그램 및 장치
WO2024019523A1 (ko) 심전도를 이용한 건강 상태의 예측 방법, 프로그램 및 장치
WO2024106606A1 (ko) 행동 모니터링을 위한 딥러닝 모델의 학습 방법, 프로그램 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23877420

Country of ref document: EP

Kind code of ref document: A1