WO2024258022A1 - 가상 부검 탐지 장치 및 방법 - Google Patents

가상 부검 탐지 장치 및 방법 Download PDF

Info

Publication number
WO2024258022A1
WO2024258022A1 PCT/KR2024/004966 KR2024004966W WO2024258022A1 WO 2024258022 A1 WO2024258022 A1 WO 2024258022A1 KR 2024004966 W KR2024004966 W KR 2024004966W WO 2024258022 A1 WO2024258022 A1 WO 2024258022A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
layer image
autopsy
dimensional
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2024/004966
Other languages
English (en)
French (fr)
Inventor
김이석
이우영
김인범
이수경
정하린
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of Catholic University of Korea
National Forensic Service Director Ministry of The Interior and Safety
Original Assignee
Industry Academic Cooperation Foundation of Catholic University of Korea
National Forensic Service Director Ministry of The Interior and Safety
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230101796A external-priority patent/KR102964861B1/ko
Application filed by Industry Academic Cooperation Foundation of Catholic University of Korea, National Forensic Service Director Ministry of The Interior and Safety filed Critical Industry Academic Cooperation Foundation of Catholic University of Korea
Publication of WO2024258022A1 publication Critical patent/WO2024258022A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B16/00—Devices specially adapted for vivisection or autopsy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Definitions

  • the present disclosure relates to a virtual autopsy detection device and method. More specifically, it relates to a virtual autopsy detection device using an artificial intelligence learning model and a control method thereof.
  • a forensic autopsy is a medical procedure similar to surgery that dissects a corpse to determine the cause and type of death. It analyzes diseases and injuries on the corpse to determine the cause of death, and compares and evaluates whether there are any forensic discrepancies between the process of death and the findings of the autopsy based on the scene records, investigation records, and statements of those involved in the case, thereby providing legal evidence that helps understand the overall circumstances of death.
  • an autopsy is a specialized medical practice that requires not only the speed of an act that competes with time to prevent deformation due to decay, but also an objective and precise dissection strategy.
  • a CT scan of the corpse is taken before the autopsy, and the cross-sectional images are sequentially reviewed before entering the autopsy room.
  • the purpose of the embodiment disclosed in the present disclosure is to provide a virtual autopsy detection device and method that learns abnormal structures in multiple layers of a corpse using artificial intelligence and provides result data and three-dimensional images for damaged parts of the corpse based on the learned abnormal structures.
  • the purpose of the embodiments disclosed in the present disclosure is to provide a virtual autopsy detection device and method capable of acquiring and managing full-body image data of a human body and developing a three-dimensional image processing technology.
  • the purpose of the embodiments disclosed in the present disclosure is to provide a virtual autopsy detection device and method that can develop an automatic zoning technology of human body structures using artificial intelligence and big data technology.
  • the purpose of the embodiments disclosed in the present disclosure is to provide a virtual autopsy detection device and method that can develop an extended reality-based virtual autopsy platform.
  • a virtual autopsy detection device includes an input unit that receives a two-dimensional image; a control unit that preprocesses the received two-dimensional image, learns the preprocessed two-dimensional image, generates a three-dimensional image and result data based on the learned two-dimensional image, separates the generated three-dimensional image into a plurality of three-dimensional images, and displays the separated plurality of three-dimensional images and the result data; and a display that displays a graphic image according to a control command from the control unit.
  • a virtual autopsy detection method includes: a step of receiving a two-dimensional image; a step of preprocessing the received two-dimensional image; a step of learning the preprocessed two-dimensional image; a step of generating a three-dimensional image and result data based on the learned two-dimensional image; a step of separating the generated three-dimensional image into a plurality of three-dimensional images; and a step of displaying the separated plurality of three-dimensional images and the result data.
  • a computer program stored in a computer-readable recording medium may be further provided to execute a method for implementing the present disclosure.
  • a computer-readable recording medium recording a computer program for executing a method for implementing the present disclosure may be further provided.
  • the present invention by using artificial intelligence to learn abnormal structures in multiple layers of a corpse and providing result data and three-dimensional images for damaged areas of the corpse based on the learning, it is possible to predict autopsy results in advance and perform autopsies more accurately, thereby improving user convenience.
  • forensic abnormal findings can be derived to provide forensic information for trauma analysis, so that autopsy results can be predicted in advance and autopsies can be performed more accurately, thereby improving user convenience.
  • FIG. 1 is a diagram illustrating a configuration of a virtual autopsy detection device according to the present disclosure.
  • FIG. 2 is a diagram illustrating a flowchart of a virtual autopsy detection method according to the present disclosure.
  • FIG. 3 is a drawing illustrating an embodiment of an autopsy room that applies a virtual autopsy detection method according to the present disclosure.
  • FIG. 4 is a diagram illustrating a process of acquiring a two-dimensional CT image and a process of learning the normal structure of a body according to the present disclosure.
  • FIG. 5 is a diagram illustrating the creation of a three-dimensional image based on a two-dimensional CT image according to the present disclosure.
  • FIG. 6 is a drawing showing the human body divided into skin, subcutaneous fat, muscles, and bones according to the present disclosure.
  • FIG. 7 is a diagram illustrating an example of a skin layer image and a subcutaneous fat image according to the present disclosure.
  • FIG. 8 is a diagram illustrating an embodiment of a muscle image and a skeletal image according to the present disclosure.
  • FIG. 9 is a diagram illustrating an embodiment of generating result data according to the present disclosure and displaying an abnormal structure when the result data is clicked.
  • FIG. 10 is a diagram illustrating annotation data corresponding to a human body according to the present disclosure.
  • FIG. 11 is a diagram illustrating display of virtual autopsy results according to the present disclosure in two-dimensional mode and three-dimensional mode.
  • FIG. 12 is a diagram illustrating a configuration of a virtual autopsy detection device according to the present disclosure.
  • first, second, etc. are used to distinguish one component from another, and the components are not limited by the aforementioned terms.
  • each step is used for convenience of explanation and do not describe the order of each step. Each step may be performed in a different order than specified unless the context clearly indicates a specific order.
  • the present invention can be implemented not only as a server system but also as various devices capable of performing computational processing and providing results to a user.
  • the present invention according to the present disclosure can include all of a computer, a server device, and a portable terminal, or can be in the form of any one of them.
  • the computer may include, for example, a notebook, desktop, laptop, tablet PC, slate PC, etc. equipped with a web browser.
  • the above server device is a server that processes information by communicating with an external device, and may include an application server, a computing server, a database server, a file server, a game server, a mail server, a proxy server, and a web server.
  • the above portable terminal may include, for example, all kinds of handheld-based wireless communication devices such as a PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple Access), WiBro (Wireless Broadband Internet) terminal, a smart phone, and a wearable device such as a watch, a ring, a bracelet, an anklet, a necklace, glasses, contact lenses, or a head-mounted-device (HMD).
  • a PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband Code Division Multiple Access
  • WiBro Wireless Broadband Internet
  • the related function according to the present disclosure is operated through a processor and a memory.
  • the processor may be composed of one or more processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, a DSP (Digital Signal Processor), a graphics-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU.
  • the one or more processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory.
  • the one or more processors are artificial intelligence-only processors
  • the artificial intelligence-only processor may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • the predefined operation rules or artificial intelligence models are characterized by being created through learning.
  • being created through learning means that the basic artificial intelligence model is learned by using a plurality of learning data by a learning algorithm, thereby creating a predefined operation rules or artificial intelligence model set to perform a desired characteristic (or purpose).
  • Such learning may be performed in the device itself on which the artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the learning algorithm include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the examples described above.
  • the artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and performs a neural network operation through an operation between the operation result of the previous layer and the plurality of weights.
  • the plurality of weights of the plurality of neural network layers may be optimized by the learning result of the artificial intelligence model. For example, the plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model is reduced or minimized during the learning process.
  • the artificial neural network may include a deep neural network (DNN), and examples thereof include, but are not limited to, a convolutional neural network (CNN), a deep neural network (DNN), a recurrent neural network (RNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or a deep Q-network.
  • DNN deep neural network
  • the processor can create a neural network, train (or learn) a neural network, perform computations based on received input data, and generate information signals based on the results of the computations, or retrain the neural network.
  • Neural networks include CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), perceptron, multilayer perceptron, FF (Feed Forward), RBF (Radial Basis Network), DFF (Deep Feed Forward), and LSTM.
  • the processor may be configured to perform a CNN (Convolution Neural Network) such as GoogleNet, AlexNet, VGG Network, R-CNN (Region with Convolution Neural Network), RPN (Region Proposal Network), RNN (Recurrent Neural Network), S-DNN (Stacking-based deep Neural Network), S-SDNN (State-Space Dynamic Neural Network), Deconvolution Network, DBN (Deep Belief Network), RBM (Restrcted Boltzman Machine), Fully Convolutional Network, LSTM (Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, BERT, SP-BERT, MRC/QA for natural language processing, Text Analysis, Dialog System, GPT-3, GPT-4, Visual Analytics for vision processing, Visual Understanding, Video Synthesis, ResNet for data intelligence, Anomaly Detection, Prediction, Time-Series Forecasting,
  • CNN Convolution Neural Network
  • CNN
  • FIG. 1 is a diagram illustrating a configuration of a virtual autopsy detection device according to the present disclosure.
  • the virtual autopsy detection device (100) includes an input unit (110), a sensor unit (120), a control unit (130), a display (140), a memory (150), a communication unit (160), and a camera (170).
  • the input unit (110) receives a two-dimensional image.
  • the sensor unit (120) senses the status of a two-dimensional image.
  • the control unit (130) preprocesses the received two-dimensional image, learns the preprocessed two-dimensional image, generates a three-dimensional image and result data based on the learned two-dimensional image, separates the generated three-dimensional image into a plurality of three-dimensional images, and displays the separated three-dimensional images and the result data.
  • the control unit (130) learns the normal and abnormal structures of the body corresponding to the preprocessed two-dimensional image. A detailed description of this is described later in Fig. 4.
  • the control unit (130) divides the two-dimensional image from the outside to the inside into a first layer image, a second layer image, a third layer image, and a fourth layer image, and the first layer image corresponds to the skin of the body, the second layer image corresponds to the subcutaneous fat of the body, the third layer image corresponds to the muscles of the body, and the fourth layer image corresponds to the skeleton of the body, and learns the normal state of the skin, the normal state of the subcutaneous fat, the normal state of the muscles, and the normal state of the skeleton. A detailed description thereof will be described later with reference to FIG. 6.
  • the control unit (130) separates the three-dimensional image into a first layer image, a second layer image, a third layer image, and a fourth layer image.
  • the first layer image corresponds to a skin layer image
  • the second layer image corresponds to a subcutaneous fat image
  • the third layer image corresponds to a muscle image
  • the fourth layer image corresponds to a skeletal image. A detailed description thereof will be given later in Figs. 7 and 8.
  • the control unit (130) determines that the skin corresponding to the first layer image is damaged when the first area in the first layer image exceeds the threshold range.
  • the control unit (130) determines that the subcutaneous fat corresponding to the second layer image is damaged when the second area in the second layer image exceeds the threshold range.
  • the control unit (130) determines that a muscle corresponding to the third layer image is damaged when the third area in the third layer image exceeds the threshold range.
  • the control unit (130) determines that the skeleton corresponding to the fourth layer image is fractured when the fourth area in the fourth layer image exceeds the threshold range. A detailed description of this will be described later in FIGS. 7 and 8.
  • the control unit (130) renders the learned two-dimensional CT image to generate a three-dimensional image. A detailed description of this will be described later in Fig. 5.
  • the control unit (130) performs labeling on the normal structure and the abnormal structure to generate result data including annotation data. A detailed description of this is described later in Fig. 9.
  • control unit (130) When the control unit (130) receives an input from the user to select a first icon corresponding to the result data, it displays a screen corresponding to the first icon. A detailed description of this will be described later in Fig. 9.
  • the display (140) displays a graphic image according to a control command from the control unit (130).
  • the memory (150) stores inputs, results, and graphic images resulting from the performance of operations according to control commands from the control unit (130).
  • the control unit (150) stores learning data, 3D images, and result data in the memory (150).
  • the communication unit (160) transmits and receives data with an external device (200).
  • the external device (200) includes a smartphone, a PC, a laptop, a tablet PC, etc.
  • the camera (170) captures a front image according to a control command from the control unit (130).
  • FIG. 1 the components illustrated in FIG. 1 are not essential for implementing a virtual autopsy detection device (100) according to the present disclosure, and thus, the invention described in this specification may have more or fewer components than the components listed above.
  • the communication unit (160) may include one or more components that enable communication with an external device, and may include, for example, at least one of a broadcast receiving module, a wired communication module, a wireless communication module, a short-range communication module, and a location information module.
  • the input unit (110) is for inputting image information (or signal), audio information (or signal), data, or information input from a user, and may include at least one camera, at least one microphone, and at least one user input unit. Voice data or image data collected by the input unit (110) may be analyzed and processed into a user control command.
  • the display (140) displays (outputs) information processed in the present invention.
  • the numerical anomaly detection device (100) can display execution screen information of a running application program (for example, an application), or UI (User Interface) or GUI (Graphical User Interface) information according to such execution screen information.
  • UI User Interface
  • GUI Graphic User Interface
  • the memory (150) can store data supporting various functions of the present invention and a program for the operation of the control unit, can store input/output data (e.g., music files, still images, moving images, etc.), and can store a plurality of application programs (or applications) driven by the present invention, data for the operation of the device, and commands. At least some of these application programs can be downloaded from an external server via wireless communication.
  • input/output data e.g., music files, still images, moving images, etc.
  • application programs or applications driven by the present invention, data for the operation of the device, and commands. At least some of these application programs can be downloaded from an external server via wireless communication.
  • the memory (150) may include at least one type of storage medium among a flash memory type, a hard disk type, an SSD (Solid State Disk type), an SDD (Silicon Disk Drive) type, a multimedia card micro type, a card type memory (for example, an SD or XD memory, etc.), a random access memory (RAM), a static random access memory (SRAM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EEPROM), a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and an optical disk.
  • the memory (150) may be a database connected wired or wirelessly, although separate from the present invention, and may be implemented as a database system.
  • the control unit (130) may be implemented with at least one core, a memory storing data for an algorithm for controlling the operation of components within the invention or a program reproducing the algorithm, and at least one processor (not shown) performing the above-described operation using the data stored in the memory.
  • the memory and the processor may be implemented as separate chips.
  • the memory and the processor may be implemented as a single chip.
  • control unit (130) can control one or more of the components discussed above in combination to implement various embodiments according to the present invention described in FIGS. 2 to 12 below.
  • At least one component may be added or deleted in accordance with the performance of the components illustrated in FIG. 1.
  • the mutual positions of the components may be changed in accordance with the performance or structure of the system.
  • each component illustrated in Fig. 1 represents software and/or hardware components such as a Field Programmable Gate Array (FPGA) and an Application Specific Integrated Circuit (ASIC).
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • FIG. 2 is a diagram illustrating a flowchart of a virtual autopsy detection method according to the present disclosure.
  • the present invention is performed by a virtual autopsy detection device (100).
  • the present invention can be performed by a control unit (130).
  • a two-dimensional image is received (S210).
  • the received two-dimensional image is preprocessed (S220).
  • a three-dimensional image and result data are generated based on the learned two-dimensional image (S240).
  • the generated three-dimensional image is separated into multiple three-dimensional images (S250).
  • the separated multiple three-dimensional images and the result data are displayed (S260).
  • FIG. 3 is a drawing illustrating an embodiment of an autopsy room that applies a virtual autopsy detection method according to the present disclosure.
  • the present invention is performed by a virtual autopsy detection device (100).
  • the present invention can be performed by a control unit (130).
  • the control unit (130) displays autopsy result data and three-dimensional images through the display (140).
  • the autopsy results data includes AI Reporting results.
  • AI Reporting results may include autopsy findings showing a punctured lung and a fractured upper right arm.
  • the 3D image can be an image converted from a 2D CT image of the corpse's skull into a 3D image that visualizes it.
  • the control unit (130) can transmit and receive result data and 3D images to and from an external device (200).
  • the external device (200) includes a tablet PC.
  • the user (20) can predict the condition of the corpse and perform an autopsy by viewing multiple 3D images of the corpse and overlapping 3D images displayed on the tablet PC (200).
  • Applied anatomy is a branch of medicine that applies anatomical knowledge to the diagnosis and treatment of diseases.
  • the focus has been on dissection practice by medical students and surgical technique practice by residents, so the demand for dissected cadavers is always overflowing.
  • the number of beneficiaries of the practice is inevitably limited.
  • the augmented reality-based virtual autopsy platform to be developed in this research project is an integrated virtual autopsy solution that provides an autopsy simulation environment where the body of a deceased person can be virtually dissected before an actual autopsy, and can present AI-based forensic abnormal findings and promote a comprehensive understanding of the process of death.
  • the video data for the extended reality platform have legal evidentiary power on its own, but it will also be able to secure broader evidentiary power by inducing focus on actual micro-autopsy based on the results of the virtual autopsy, and by presenting forensic abnormalities and their interpretations through the platform, it will also be of great help in promoting forensic understanding by relevant organizations, bereaved families, and other parties involved in the case, thereby greatly contributing to the establishment of a social safety net.
  • Ethnic and cultural diversity is increasing worldwide, including in Korea, due to international migration and employment.
  • cultural diversity is not only reflected in ethnic differences in various diseases, but also in differences in cognitive and behavioral patterns, resulting in differences in the occurrence and mechanism of injury.
  • a successful global virtual autopsy platform can be developed by utilizing the country's high level of technological prowess as well as by introducing and cooperating with world-class artificial intelligence and big data operation technologies.
  • exchanges with developing countries with insufficient forensic science levels can greatly contribute to the transfer of technological prowess and the spread of global standardization.
  • forensic autopsy in the judicial system is an important social decision-making system that determines the conclusion of the social responsibility of the deceased through an irreproducible dissection, the medical act of autopsy must be performed thoroughly by an experienced autopsyist who establishes a systematic dissection strategy.
  • the virtual autopsy platform based on extended reality (XR) has no limitations in dissection and autopsy, and the judgment of the structure or estimated cause of death suggested by AI learning can be used as a great supplementary view for expert decision-making.
  • XR extended reality
  • the virtual autopsy platform is an integrated 3D image processing solution that applies artificial intelligence and big data technology to process full-body images in real time, learn and supplement the recognition of anatomical structures, and furthermore, can be used in forensic autopsy practice through high-freedom dissection.
  • the purpose of this research and development project is to develop an augmented reality-based virtual autopsy platform that can be utilized in the specialized medical field of forensic anatomy.
  • the platform learns anatomical knowledge about normal structures through manual and semi-automatic segmentation of the four major components of the human body, namely skin layer, subcutaneous fat layer, muscle layer, and bone layer, using whole-body CT, and based on this, it is to develop an AI model-based platform that can provide forensic abnormal findings exploration and 3D visualization reporting for customized cause of death determination of a deceased person by equipping an automatic labeling annotation tool for forensic abnormal findings such as open wounds in the skin, subcutaneous hemorrhage, intermuscular hemorrhage, and fractures, which are representative damage findings in each layer.
  • AI supervised learning method which is a self-supervised learning method that learns by modifying abnormal areas to normal areas
  • a system can be developed that applies deep learning technology to learn three-dimensional recognition ability and morphological heterogeneity of normal and abnormal anatomical structures.
  • the purpose of the present invention is as follows.
  • the purpose is to develop a platform for virtual autopsy based on augmented reality.
  • the purpose is to develop a video analysis system utilizing AI and big data.
  • the goal is to provide a flexible integrated solution suitable for forensic medicine and various medical environments.
  • image analysis equipment can be developed based on automatic zoning technology based on AI and big data.
  • a virtual autopsy platform can be built to improve education and work in forensic-related institutions (medical schools, hospitals, National Institute of Scientific Investigation, National Police Agency, Public Prosecutors' Office, health and medical fields, etc.).
  • image analysis equipment and medical devices can be developed using automatic segmentation technology of human anatomy structures.
  • an augmented reality-based virtual autopsy platform can be used in the practice and education of forensic institutions.
  • it can be directly used in the practice of autopsy of deceased persons by medical schools, hospitals, and forensic professors, forensic professors, and forensic officers working at the National Institute of Scientific Investigation to obtain various forensic results.
  • it can be used in forensic education and field manual policy establishment of the National police Agency and the Public Prosecutor's Office, where the importance of initial investigation is always emphasized, and scientific investigators and emergency rescue workers dispatched to the scene of death.
  • forensic image analysis forensic imaging
  • the global forensic image analysis (forensic imaging) market size is known to be approximately 62.54 million dollars. In addition to the absolute figures, the size of this market is growing by approximately 10.5% annually. It is analyzed that this reflects the demand for quick and accurate resolution of crimes.
  • forensic image analysis especially in the field of human images, it is still often limited to simple analysis of raw data, so if analysis of 3D stereoscopic images using a virtual autopsy platform is performed, the market demand is expected to increase even more.
  • the size of the education industry market is expected to grow even more, and in particular, the size of the education market utilizing virtual reality or augmented reality is increasing.
  • the total spending on the global education market is expected to exceed 4 trillion dollars, reaching about 8 trillion dollars in 2025 and about 10 trillion dollars in 2030.
  • a human anatomy education program is created through a customized augmented reality-based platform with infinite cases, it is expected to be qualitatively and quantitatively differentiated from the content that has been inconvenient to use so far through the development of a user interface with two-way communication and high-freedom structural exploration.
  • the present invention includes an extended reality-based virtual autopsy platform and operating technology, an artificial intelligence-based 3D automatic zoning technology of cross-section images, a technology for distributing boundary pixels of structures using big data, a technology for free exploration interface of human structure, development of haptic-based virtual human probe and incision hardware, and an educational virtual human anatomy image projection technology.
  • the virtual autopsy platform developed to simulate a preliminary autopsy using CT cross-section images of an actual corpse will directly improve the work of forensic autopsy and forensic medicine and enhance judicial services responsible for social safety, but if the technologies contained in the platform are applied to education, healthcare, and social safety net construction, it will be enough to lead to the development of various forms of software, hardware, and medical devices.
  • the 3D automatic zoning and automatic labeling technology of the entire human body structure using big data and artificial intelligence can be expanded and reproduced to the field of future prediction image analysis by incorporating simulation of shape changes over time, and the technology for reproduction and prediction of the formation mechanism of damage or external force is expected to play a responsible role in various insurance disputes and social recovery from disaster accidents.
  • FIG. 4 is a diagram illustrating a process of acquiring a two-dimensional CT image and a process of learning the normal structure of a body according to the present disclosure.
  • Figure 4 includes Figures 4(a) and 4(b).
  • Figure 4(a) is a diagram illustrating the process of obtaining a two-dimensional CT image from a corpse and the process of learning the normal structure of the body.
  • Figure 4(b) is a drawing illustrating a two-dimensional CT image acquired from a corpse.
  • the control unit (130) moves the body (10) in the first direction while performing the shooting to acquire a two-dimensional CT image.
  • the two-dimensional image includes a two-dimensional CT image.
  • the body (10) can be a whole body or a part of the body.
  • FIG. 4(b) it is a two-dimensional CT image obtained from a corpse (10).
  • the two-dimensional images include two-dimensional CT images and two-dimensional MRI images.
  • the control unit (130) learns normal and abnormal structures of the body corresponding to the preprocessed two-dimensional image.
  • the control unit (130) divides the two-dimensional image from the outside to the inside into a first layer image, a second layer image, a third layer image, and a fourth layer image.
  • the first layer image corresponds to the skin.
  • the second layer image corresponds to the subcutaneous fat.
  • the third layer images correspond to muscles.
  • the fourth layer image corresponds to the skeleton.
  • the control unit (130) learns the normal and abnormal structures of the skin.
  • the control unit (130) learns the normal and abnormal structures of subcutaneous fat.
  • the control unit (130) learns the normal and abnormal structures of muscles.
  • the control unit (130) learns the normal and abnormal structures of the skeleton.
  • the control unit (130) learns normal and abnormal structures and reports on the learning results.
  • the control unit (130) determines that the lack of continuity of the skin is an abnormal structure.
  • Housefield Unit is the standard unit for CT scans. This unit can be used to find objects in CT scanned images. HU uses water as the standard value at 0. The range is -1000 to 3000 and can be expressed as 12-bit data.
  • HU is -1000.
  • HU 100 to 300.
  • HU is 1800-1900 for Cortcial (hard bones) and HU is 300-400 for Cancellous (bone marrow tissue).
  • the control unit (130) determines that, in the case of the skin, a part lacking continuity has an open damage.
  • control unit (130) determines that a part lacking continuity is a fracture. Or, it determines that a part where continuity is separated is a fracture.
  • control unit (130) determines that there is subcutaneous bleeding if an area where the HU value is different from the area unique to the subcutaneous fat is detected. In addition, if at least one of thickness and color changes is detected in the subcutaneous fat layer, it determines that there is subcutaneous bleeding.
  • the control unit (130) determines that there is intermuscular bleeding when, in the case of a muscle, an area where the HU value is different from the area unique to the muscle space is detected.
  • FIG. 5 is a diagram illustrating the creation of a three-dimensional image based on a two-dimensional CT image according to the present disclosure.
  • Figure 5 includes Figures 5(a) and 5(b).
  • Figure 5(a) is a drawing showing a continuous arrangement of two-dimensional CT images acquired from a corpse.
  • the corpse image includes an image of the entire corpse (whole body).
  • Figure 5(b) is a diagram illustrating the creation of a 3D image based on a learned 2D CT image.
  • control unit (130) renders the learned two-dimensional CT images to generate three-dimensional images.
  • the number of two-dimensional CT images can be up to about 2,700.
  • the 3D image when generating a 3D image based on a 2D CT image, the 3D image can be generated by appropriately adjusting the interval between the 2D CT images and then rendering.
  • FIG. 6 is a drawing showing the human body divided into skin, subcutaneous fat, muscles, and bones according to the present disclosure.
  • control unit (130) divides the two-dimensional image (60) from the outside to the inside into a first layer image (61), a second layer image (62), a third layer image (63), and a fourth layer image (64).
  • the first layer image (61) corresponds to the skin of the body.
  • the second layer image (62) corresponds to the subcutaneous fat of the body.
  • the third layer image (63) corresponds to the muscles of the body.
  • the fourth layer image (64) corresponds to the skeleton of the body.
  • the control unit (130) learns the normal state of the skin, the normal state of the subcutaneous fat, the normal state of the muscle, and the normal and abnormal states of the skeleton.
  • FIG. 7 is a diagram illustrating an example of a skin layer image and a subcutaneous fat image according to the present disclosure.
  • Figure 7 includes Figures 7(a) and 7(b).
  • Figure 7(a) is a drawing illustrating a first layer image corresponding to a skin layer image among three-dimensional images.
  • Figure 7(b) is a drawing showing a second layer image corresponding to a subcutaneous fat layer image among three-dimensional images.
  • the control unit (130) separates the three-dimensional image into a first layer image (710), a second layer image (720), a third layer image (810), and a fourth layer image (820).
  • the first layer image (710) corresponds to a skin layer image
  • the second layer image (720) corresponds to a subcutaneous fat image
  • the control unit (130) determines that the skin corresponding to the first area is damaged when the first area in the first layer image (710) exceeds the threshold range.
  • the threshold value means a value within the range where the continuity of the specific area is guaranteed.
  • the control unit (130) determines that the subcutaneous fat corresponding to the second area is damaged when the second area in the second layer image exceeds the threshold range.
  • the threshold value means the HU value unique to subcutaneous fat.
  • the control unit (130) displays multiple separated three-dimensional images in different colors.
  • the first layer image (710) is displayed in blue
  • the second layer image (720) is displayed in red
  • the third layer image (810) is displayed in orange
  • the fourth layer image (820) is displayed in white.
  • FIG. 8 is a diagram illustrating an embodiment of a muscle image and a skeletal image according to the present disclosure.
  • Figure 8 includes Figures 8(a) and 8(b).
  • Figure 8(a) is a drawing showing a third layer image corresponding to a muscle layer image among three-dimensional images.
  • Figure 8(b) is a drawing showing a fourth layer image corresponding to a skeleton image among three-dimensional images.
  • the control unit (130) separates the three-dimensional image into a first layer image (710), a second layer image (720), a third layer image (810), and a fourth layer image (820).
  • the third layer image (810) corresponds to a muscle image.
  • the fourth layer image (820) corresponds to the skeleton image.
  • the control unit (130) determines that a muscle corresponding to the third layer image (810) is damaged when the third area in the third layer image (810) exceeds the threshold range.
  • the threshold value means the muscle-specific HU value.
  • the control unit (130) determines that the skeleton corresponding to the fourth layer image (820) is fractured when the fourth area in the fourth layer image (820) exceeds the threshold range.
  • the threshold value means a value within a range where the continuity of the specific area is guaranteed.
  • FIG. 9 is a diagram illustrating an embodiment of generating result data according to the present disclosure and displaying an abnormal structure when the result data is clicked.
  • Figure 9 includes Figures 9(a) and 9(b).
  • Figure 9(a) is a diagram illustrating the result data and body images.
  • Figure 9(b) is a diagram illustrating an abnormal structure corresponding to the result data.
  • control unit (130) performs labeling on the normal structure and the abnormal structure to generate result data including annotation data.
  • the control unit (130) generates result data including an automatic inspection report on abnormal areas based on a two-dimensional CT image and a three-dimensional visualization image, and displays the same.
  • the automated inspection report is a report on the suspected part.
  • control unit (130) displays the abnormal structure corresponding to the muscle hemorrhage as a three-dimensional image.
  • control unit (130) performs labeling of normal and abnormal structures of a corpse (10) to generate result data (911) including annotation data, and displays the generated result data (911).
  • the outcome data (911) includes Reporting a left humerus fracture.
  • the control unit (130) overlays a graphic image corresponding to the result data on the corpse image and displays it.
  • a graphic image (912) corresponding to a fractured left arm bone can be overlaid and displayed on top of a full body image (910).
  • control unit (130) when the control unit (130) receives an input from the user to select a first icon corresponding to the result data, it displays a screen corresponding to the first icon.
  • a screen (920) corresponding to a left arm fracture is displayed.
  • control unit (130) overlays and displays an indicator (922) indicating a fractured left arm bone on a two-dimensional screen (920).
  • control unit (130) When the control unit (130) receives a screen enlargement input from the user, it enlarges and displays a two-dimensional screen (920). At this time, the resolution of the two-dimensional screen (920) is increased.
  • the resolution can be 360p, 480p, 720p, 1080p, 1440p, 2160p, and the larger the screen, the higher the resolution.
  • result data including annotation data is generated, the generated result data is displayed, and when the result data is clicked, the abnormal structure is displayed, so that the user can intuitively understand the result data and the problematic part, thereby improving user convenience.
  • FIG. 10 is a diagram illustrating annotation data corresponding to a human body according to the present disclosure.
  • Region is Head
  • Part is Skin
  • Name is H-Skin.
  • Abbreviation is HS.
  • Region is Head
  • Part is SubQ
  • Name is H-SubQ.
  • Abbreviation is HQ.
  • HM For Code 1-H-3, Region is Head, Part is Muscle, and Name is H-Muscle. Abbreviation is HM.
  • Region is Head
  • Part is Bone
  • Name is Frontal.
  • Abbreviation is HF.
  • FIG. 11 is a diagram illustrating display of virtual autopsy results according to the present disclosure in two-dimensional mode and three-dimensional mode.
  • Figure 11 includes Figures 11(a) and 11(b).
  • Figure 11(a) is a diagram illustrating a two-dimensional mode and a three-dimensional mode.
  • Figure 11(b) is a diagram showing the results of a two-dimensional mode autopsy and a three-dimensional mode autopsy.
  • the control unit (130) displays a two-dimensional mode (1112) and a three-dimensional mode (1114) when displaying the virtual autopsy results.
  • control unit (130) When the control unit (130) receives an input from the user (10) for selecting a two-dimensional mode (1112), it displays a virtual autopsy result (1120) corresponding to the two-dimensional mode, as shown in Fig. 11(b).
  • control unit (130) When the control unit (130) receives an input from the user (10) for selecting a 3D mode (1114), it displays a virtual autopsy result (1130) corresponding to the 3D mode, as shown in Fig. 11(b).
  • the control unit (130) overlays an indicator (1122) indicating a skull fracture area on the virtual autopsy results (1120) corresponding to the two-dimensional mode and displays them.
  • the control unit (130) overlays an indicator (1132) indicating a skull fracture area on the virtual autopsy results (1130) corresponding to the 3D mode and displays them.
  • a two-dimensional mode and a three-dimensional mode can be displayed, and a virtual autopsy result can be displayed by clicking on an individual mode, so that a user can intuitively know the virtual autopsy result and the problematic part, thereby improving user convenience.
  • FIG. 12 is a diagram illustrating a configuration of a virtual autopsy detection device according to the present disclosure.
  • the virtual autopsy detection device (100) includes a device (1600).
  • the device (1600) may include a memory (1602), a processor (1603), a transceiver (1604), and a peripheral device (1601).
  • the device (1600) may further include other configurations and is not limited to the above-described embodiment.
  • the device (1600) of FIG. 12 may be an exemplary hardware/software architecture such as an NDN device, an NDN server, a content router, etc.
  • the memory (1602) may be a non-removable memory or a removable memory.
  • the peripheral device (1601) may include a display, a GPS, or other peripheral devices, and is not limited to the above-described embodiment.
  • the above-described device (1600) may include a communication circuit such as the transceiver (1604), and may perform communication with an external device based thereon.
  • the processor (1603) may be at least one of a general-purpose processor, a digital signal processor (DSP), a DSP core, a controller, a microcontroller, ASICs (Application Specific Integrated Circuits), FPGA (Field Programmable Gate Array) circuits, any other type of integrated circuit (IC), and one or more microprocessors associated with a state machine. That is, it may be a hardware/software configuration that performs a control role for controlling the above-described device (1600).
  • the processor (1603) may execute computer-executable instructions stored in the memory (1602) to perform various essential functions of virtual autopsy detection.
  • the processor (1603) may control at least one of signal coding, data processing, power control, input/output processing, and communication operations.
  • the processor (1603) may control the physical layer, the MAC layer, and the application layers.
  • the processor (1603) may perform authentication and security procedures in the access layer and/or the application layer, and is not limited to the above-described embodiment.
  • the processor (1603) can communicate with other devices through the transceiver (1604).
  • the processor (1603) can control the execution of computer-executable instructions to detect the similarity of documents. That is, the communication performed in the present invention can be controlled.
  • other nodes can be NDN servers, content routers, and other devices.
  • the transceiver (1604) can transmit RF signals through an antenna and transmit signals based on various communication networks.
  • MIMO technology, beamforming, etc. can be applied as antenna technology, and are not limited to the above-described embodiment.
  • a signal transmitted and received through the transceiver (1604) can be modulated and demodulated and controlled by the processor (1603), and are not limited to the above-described embodiment.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

본 개시는 가상 부검 탐지 장치 및 방법에 관한 것으로, 2차원 이미지를 수신하고, 수신된 상기 2차원 이미지를 전처리하고, 전처리된 상기 2차원 이미지를 학습하고, 학습된 상기 2차원 이미지를 기초로 3차원 이미지와 결과 데이터를 생성하고, 생성된 상기 3차원 이미지를 복수의 3차원 이미지로 분리하고, 분리된 상기 복수의 3차원 이미지와 상기 결과 데이터를 디스플레이할 수 있다.

Description

가상 부검 탐지 장치 및 방법
본 개시는 가상 부검 탐지 장치 및 방법에 관한 것이다. 보다 상세하게는, 인공지능 학습 모델을 이용한 가상 부검 탐지 장치 및 그 제어 방법에 관한 것이다.
사법체계에서의 법의부검은 시신을 해부하여 사망의 원인과 종류를 밝히는 일종의 수술과 유사한 의료행위이다. 시신에 나타난 질병 및 손상 등을 분석하여 사인을 규명하고, 현장기록과 수사기록 및 사건 관련자의 진술기록을 토대로 사망의 과정과 이들 부검시 나타난 소견들과의 사이에 법의학적으로 배치되는 점은 없는지 비교평가하여 죽음의 전반적인 상황을 이해하는 데 도움이 되는 법적 증거자료를 제공하는 것이다.
특히 시신은 사망 후 지속적인 부패가 일어나 객관적 증거 자료의 왜곡 및 변형이 일어나기 쉬운 특성이 있고, 부검 전 시신의 관리상태에 따라 간섭작용이 발생하여 이어질 부검 결과에 중대한 영향을 미칠 수 있는 취약성이 있기 때문에 사건현장에서의 충분한 현장 증거물 확보 이후에는 신속한 부검이 필수적으로 뒤따라야 한다.
이때 부검의는 시신의 기본적인 해부 계획 수립과 함께 방대한 양의 수사정보와 현장정보를 일일이 대응시키기 위한 부검 전략 또한 철저히 수립해야만 하며, 따라서 부검은 부패로 인한 변형을 막기위해 시간을 다투는 행위의 신속성 뿐만 아니라 객관적이고 정교한 해부 전략이 동시에 요구되는 전문적 의료행위이다. 이를 위해 보조적인 도움을 얻고자 부검 전 시신의 CT를 촬영하여 그 단면영상을 순차적으로 검토한 후 부검실에 들어서기도 한다.
그런데, 종래 기술의 경우, 단순히 부검 전 시신의 CT를 촬영하여 그 단면영상을 순차적으로 검토한 후 부검을 진행하는 것에 불과하여 신속성 및 정밀성이 요구되는 부검 실무에 직접적으로 도움이 되기에 한계가 있으므로 사용자(부검의)들이 불편함을 느끼는 문제점이 있었다.
본 개시에 개시된 실시예는 시신의 복수 개 층에서 비정상 구조를 인공지능을 이용하여 학습하고 이를 토대로 시신 중 손상 부분에 대하여 결과 데이터와 3차원 이미지를 제공하는 가상 부검 탐지 장치 및 방법을 제공하는데 그 목적이 있다.
본 개시에 개시된 실시 예는 인체의 전신 영상데이터의 획득과 관리 및 3차원 영상 처리 기술을 개발할 수 있는 가상 부검 탐지 장치 및 방법을 제공하는데 그 목적이 있다.
본 개시에 개시된 실시 예는 인공지능과 빅데이터 기술을 활용한 인체 구조의 자동구역화 기술을 개발할 수 있는 가상 부검 탐지 장치 및 방법을 제공하는데 그 목적이 있다.
본 개시에 개시된 실시 예는 확장 현실 기반 가상 부검 플랫폼을 개발할 수 있는 가상 부검 탐지 장치 및 방법을 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 개시에 따른 가상 부검 탐지 장치는, 2차원 이미지를 수신하는 입력부; 수신된 상기 2차원 이미지를 전처리하고, 전처리된 상기 2차원 이미지를 학습하고, 학습된 상기 2차원 이미지를 기초로 3차원 이미지와 결과 데이터를 생성하고, 생성된 상기 3차원 이미지를 복수의 3차원 이미지로 분리하고, 분리된 상기 복수의 3차원 이미지와 상기 결과 데이터를 디스플레이하는 제어부 및 상기 제어부로부터의 제어 명령에 따라 그래픽 이미지를 디스플레이하는 디스플레이를 포함한다.
또한, 본 개시에 따른 가상 부검 탐지 방법은, 2차원 이미지를 수신하는 단계; 수신된 상기 2차원 이미지를 전처리하는 단계; 전처리된 상기 2차원 이미지를 학습하는 단계; 학습된 상기 2차원 이미지를 기초로 3차원 이미지와 결과 데이터를 생성하는 단계; 생성된 상기 3차원 이미지를 복수의 3차원 이미지로 분리하는 단계; 및 분리된 상기 복수의 3차원 이미지와 상기 결과 데이터를 디스플레이하는 단계를 포함한다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 발명에 따르면, 시신의 복수 개 층에서 비정상 구조를 인공지능을 이용하여 학습하고 이를 토대로 시신 중 손상 부분에 대하여 결과 데이터와 3차원 이미지를 제공할 수 있어서 부검 결과를 미리 예상하고 부검을 보다 정확하게 진행할 수 있으므로 사용자 편의성을 향상 시킬 수 있는 장점이 있다.
본 발명에 따르면, 가상 부검 탐지 방법을 이용하여 법의적 이상 소견을 도출하여 외상 분석에 대한 법의학적 정보를 제공할 수 있어서 부검 결과를 미리 예상하고 부검을 보다 정확하게 진행할 수 있으므로 사용자 편의성을 향상 시킬 수 있는 장점이 있다.
본 발명에 따르면, 부검에서 놓칠 수 있는 미세손상들을 AI를 활용하여 확인할 수 있고, 보고된 부위의 정교한 해부 및 법의학적 집중도를 높일 수 있으며 사인진단의 보조 자료로 활용할 수 있는 장점이 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시에 따른 가상 부검 탐지 장치의 구성도를 도시한 도면이다.
도 2는 본 개시에 따른 가상 부검 탐지 방법의 순서도를 도시한 도면이다.
도 3는 본 개시에 따른 가상 부검 탐지 방법을 적용한 부검실의 실시 예를 도시한 도면이다.
도 4는 본 개시에 따른 2차원 CT 이미지를 획득하는 과정과 신체의 정상 구조를 학습하는 과정을 도시한 도면이다.
도 5는 본 개시에 따른 2차원 CT 이미지를 기초로 3차원 이미지를 생성하는 것을 도시한 도면이다.
도 6은 본 개시에 따른 인간의 신체를 피부, 피하지방, 근육, 골격으로 분리한 것을 도시한 도면이다.
도 7은 본 개시에 따른 피부층 이미지와 피하지방 이미지의 실시 예를 도시한 도면이다.
도 8은 본 개시에 따른 근육 이미지와 골격 이미지의 실시 예를 도시한 도면이다.
도 9는 본 개시에 따른 결과 데이터를 생성하고, 결과 데이터를 클릭하면 비정상 구조를 디스플레이하는 실시 예를 도시한 도면이다.
도 10은 본 개시에 따른 인간 신체에 대응하는 어노테이션 데이터를 도시한 도면이다.
도 11은 본 개시에 따른 가상 부검 결과를 2차원 모드, 3차원 모드로 디스플레이하는 것을 도시한 도면이다.
도 12는 본 개시에 따른 가상 부검 탐지 장치의 구성도를 도시한 도면이다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
본 발명은 서버 시스템뿐만 아니라 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들로 구현될 수 있다. 예를 들어, 본 개시에 따른 본 발명은 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
본 개시에 따른 관련 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공 지능 전용 프로세서인 경우, 인공 지능 전용 프로세서는, 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공 지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도 형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들 (weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경 망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공 지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공 지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
프로세서는 뉴럴 네트워크를 생성하거나, 뉴럴 네트워크를 훈련(train, 또는 학습(learn)하거나, 수신되는 입력 데이터를 기초로 연산을 수행하고, 수행 결과를 기초로 정보 신호(information signal)를 생성하거나, 뉴럴 네트워크를 재훈련(retrain)할 수 있다.
뉴럴 네트워크는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), 퍼셉트론(perceptron), 다층 퍼셉트론(multilayer perceptron), FF(Feed Forward), RBF(Radial Basis Network), DFF(Deep Feed Forward), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), AE(Auto Encoder), VAE(Variational Auto Encoder), DAE(Denoising Auto Encoder), SAE(Sparse Auto Encoder), MC(Markov Chain), HN(Hopfield Network), BM(Boltzmann Machine), RBM(Restricted Boltzmann Machine), DBN(Depp Belief Network), DCN(Deep Convolutional Network), DN(Deconvolutional Network), DCIGN(Deep Convolutional Inverse Graphics Network), GAN(Generative Adversarial Network), LSM(Liquid State Machine), ELM(Extreme Learning Machine), ESN(Echo State Network), DRN(Deep Residual Network), DNC(Differentiable Neural Computer), NTM(Neural Turning Machine), CN(Capsule Network), KN(Kohonen Network) 및 AN(Attention Network)를 포함할 수 있으나 이에 한정되는 것이 아닌 임의의 뉴럴 네트워크를 포함할 수 있음은 통상의 기술자가 이해할 것이다.
본 개시의 예시적인 실시예에 따르면, 프로세서는 GoogleNet, AlexNet, VGG Network 등과 같은 CNN(Convolution Neural Network), R-CNN(Region with Convolution Neural Network), RPN(Region Proposal Network), RNN(Recurrent Neural Network), S-DNN(Stacking-based deep Neural Network), S-SDNN(State-Space Dynamic Neural Network), Deconvolution Network, DBN(Deep Belief Network), RBM(Restrcted Boltzman Machine), Fully Convolutional Network, LSTM(Long Short-Term Memory) Network, Classification Network, Generative Modeling, eXplainable AI, Continual AI, Representation Learning, AI for Material Design, 자연어 처리를 위한 BERT, SP-BERT, MRC/QA, Text Analysis, Dialog System, GPT-3, GPT-4, 비전 처리를 위한 Visual Analytics, Visual Understanding, Video Synthesis, ResNet 데이터 지능을 위한 Anomaly Detection, Prediction, Time-Series Forecasting, Optimization, Recommendation, Data Creation 등 다양한 인공 지능 구조 및 알고리즘을 이용할 수 있으며, 이에 제한되지 않는다. 이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.
도 1은 본 개시에 따른 가상 부검 탐지 장치의 구성도를 도시한 도면이다.
도 1을 참조하면, 가상 부검 탐지 장치(100)는 입력부(110), 센서부(120), 제어부(130), 디스플레이(140), 메모리(150), 통신부(160), 카메라(170)를 포함한다.
입력부(110)는 2차원 이미지를 수신한다.
센서부(120)는 2차원 이미지의 상태를 센싱한다.
제어부(130)는 수신된 상기 2차원 이미지를 전처리하고, 전처리된 상기 2차원 이미지를 학습하고, 학습된 상기 2차원 이미지를 기초로 3차원 이미지와 결과 데이터를 생성하고, 생성된 상기 3차원 이미지를 복수의 3차원 이미지로 분리하고, 분리된 상기 복수의 3차원 이미지와 상기 결과 데이터를 디스플레이한다.
제어부(130)는 전처리된 상기 2차원 이미지에 대응되는 신체의 정상 구조와 비정상 구조를 학습한다. 이에 대한 자세한 설명은 도 4에서 후술한다.
제어부(130)는 상기 2차원 이미지를 외측에서 내측 방향으로 제 1 레이어 이미지, 제 2 레이어 이미지, 제 3 레이어 이미지 및 제 4 레이어 레이어 이미지로 나누고, 상기 제 1 레이어 이미지는 상기 신체의 피부에 대응시키고, 상기 제 2 레이어 이미지는 상기 신체의 피하지방에 대응시키고, 상기 제 3 레이어 이미지는 상기 신체의 근육에 대응시키고, 상기 제 4 레이어 이미지는 상기 신체의 골격에 대응시키고, 상기 피부의 정상 상태, 상기 피하지방의 정상 상태, 상기 근육의 정상 상태, 상기 골격의 정상 상태를 학습한다. 이에 대한 자세한 설명은 도 6에서 후술한다.
제어부(130)는 상기 3차원 이미지를 제 1 레이어 이미지, 제 2 레이어 이미지, 제 3 레이어 이미지 및 제 4 레이어 이미지로 분리한다.
여기서, 제 1 레이어 이미지는 피부층 이미지에 대응되고, 상기 제 2 레이어 이미지는 피하지방 이미지에 대응되고, 상기 제 3 레이어 이미지는 근육 이미지에 대응되고, 상기 제 4 레이어 이미지는 골격 이미지에 대응된다. 이에 대한 자세한 설명은 도 7, 8에서 후술한다.
제어부(130)는 제 1 레이어 이미지에서 제 1 영역이 임계값 범위를 초과한 경우, 상기 제 1 레이어 이미지에 대응하는 피부가 손상되었다고 결정한다.
제어부(130)는 제 2 레이어 이미지에서 제 2 영역이 임계값 범위를 초과한 경우, 상기 제 2 레이어 이미지에 대응하는 피하지방이 손상되었다고 결정한다.
제어부(130)는 제 3 레이어 이미지에서 제 3 영역이 임계값 범위를 초과한 경우, 상기 제 3 레이어 이미지에 대응하는 근육이 손상되었다고 결정한다.
제어부(130)는 제 4 레이어 이미지에서 제 4 영역이 임계값 범위를 초과한 경우, 상기 제 4 레이어 이미지에 대응하는 골격이 골절되었다고 결정한다. 이에 대한 자세한 설명은 도 7, 8에서 후술한다.
제어부(130)는 학습된 상기 2차원 CT 이미지를 렌더링하여 3차원 이미지를 생성한다. 이에 대한 자세한 설명은 도 5에서 후술한다.
제어부(130)는 상기 정상 구조와 상기 비정상 구조에 대한 레이블링을 진행하여 어노테이션 데이터를 포함한 결과 데이터를 생성한다. 이에 대한 자세한 설명은 도 9에서 후술한다.
제어부(130)는 결과 데이터에 대응하는 제 1 아이콘을 선택하는 입력을 사용자로부터 수신하면, 상기 제 1 아이콘에 대응하는 화면을 디스플레이한다. 이에 대한 자세한 설명은 도 9에서 후술한다.
디스플레이(140)는 제어부(130)로부터의 제어 명령에 따라 그래픽 이미지를 디스플레이한다.
메모리(150)는 제어부(130)로부터의 제어 명령에 따라 동작 수행에 따른 입력, 결과물, 그래픽 이미지를 저장한다.
제어부(150)는 학습 데이터, 3차원 이미지, 결과 데이터를 메모리(150)에 저장한다.
통신부(160)는 외부 장치(200)와 데이터를 송수신한다. 여기서, 외부 장치(200)는 스마트폰, PC, 노트북, 태블릿 PC 등을 포함한다.
카메라(170)는 제어부(130)로부터의 제어 명령에 따라 전방의 이미지를 캡쳐한다.
다만, 도 1에 도시된 구성 요소들은 본 개시에 따른 가상 부검 탐지 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 발명은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
통신부(160)는 외부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어, 방송 수신 모듈, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.
입력부(110)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 적어도 하나의 카메라, 적어도 하나의 마이크로폰 및 사용자 입력부 중 적어도 하나를 포함할 수 있다. 입력부(110)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
디스플레이(140)는 본 발명에서 처리되는 정보를 표시(출력)한다. 예를 들어, 수치 이상 탐지 장치(100)는 구동되는 응용 프로그램(일 예로, 어플리케이션)의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
메모리(150)는 본 발명의 다양한 기능을 지원하는 데이터와, 제어부의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 본 발명에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리(150)는 본 발명과는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있으며, 데이터 베이스 시스템으로 구현될 수도 있다.
제어부(130)는 적어도 하나의 코어를 포함하며, 발명 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
또한, 제어부(130)는 이하의 도 2 내지 도 12에서 설명되는 본 발명에 따른 다양한 실시 예들을 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
도 1에 도시된 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
도 2는 본 개시에 따른 가상 부검 탐지 방법의 순서도를 도시한 도면이다.
본 발명은 가상 부검 탐지 장치(100)에 의하여 수행된다. 또한, 본 발명은 제어부(130)에 의하여 수행될 수 있다.
도 2를 참조하면, 2차원 이미지를 수신한다(S210).
수신된 상기 2차원 이미지를 전처리한다(S220).
전처리된 상기 2차원 이미지를 학습한다(S230).
학습된 상기 2차원 이미지를 기초로 3차원 이미지와 결과 데이터를 생성한다 (S240).
생성된 상기 3차원 이미지를 복수의 3차원 이미지로 분리한다(S250).
분리된 상기 복수의 3차원 이미지와 상기 결과 데이터를 디스플레이한다(S260).
도 3는 본 개시에 따른 가상 부검 탐지 방법을 적용한 부검실의 실시 예를 도시한 도면이다.
본 발명은 가상 부검 탐지 장치(100)에 의하여 수행된다. 또한, 본 발명은 제어부(130)에 의하여 수행될 수 있다.
제어부(130)는 부검 결과 데이터와 3차원 이미지를 디스플레이(140)를 통하여 디스플레이한다.
여기서, 부검 결과 데이터는 AI Reporting 결과를 포함한다.
예를 들어, AI Reporting 결과는 부검 결과 폐에 구멍이 났으며 오른쪽 팔 위쪽 부분이 골절되었다는 소견을 포함할 수 있다.
3차원 이미지는 시신의 두개골의 2차원 CT 이미지를 시각화시킨 3차원 이미지로 변환한 이미기가 될 수 있다.
제어부(130)는 외부 장치(200)와 결과 데이터, 3차원 이미지를 송수신할 수 있다. 여기서, 외부 장치(200)는 테블릿 PC를 포함한다.
따라서, 사용자(20)는 테블릿 PC(200)에 디스플레이된 시신의 복수의 3차원 이미지, 중첩된 3차원 이미지를 보면서 시신의 상태를 예측하고 부검을 진행할 수 있다.
응용해부학에 대하여 설명한다.
응용해부학이란 해부학적 지식을 질병의 진단과 치료에 응용하는 의학의 한 분야이다. 의과대학교 해부학교실에서만이 기증된 시신을 활용한 응용해부학 연구를 수행할 수 있는데, 현재까지는 의과대학생의 해부 실습이나 전공의들의 수술 술기 실습에 편중되어 있어 해부 시신의 수요는 항상 넘쳐나는 실정이며, 해부나 부검을 위한 공간이나 설비의 물리적 제한으로 인해 실습 수혜자들의 수적 제한이 필수불가결하게 뒤따르는 것이 현실이다.
이러한 상황은 단지 한국에만 나타나는 특수한 사정이 아니라 미국이나 유럽 등을 포함한 선진국에서도 겪고 있는 현상이다. 하물며 의료기사 등을 포함한 보건의료인들의 해부학 교육은 특히 실습에 있어 항상 차순위에 놓여 있을 수 밖에 없는 문제점이 있으며, 장기적인 관점에서 자칫 보건의료서비스의 질적 저하를 유발하기에 충분한 우려를 내포하고 있다.
이를 해결하기 위해서는 기증시신에 대한 전신 CT 촬영을 정례화하여 방대한 양의 전신 영상자료를 지속적으로 축적하고, 세계적인 대학 및 다국적 기업과의 MOU를 기반으로 인공지능 및 빅데이터 분석을 접목하여 인체분석에 대한 자동화 기술을 획득함으로써 전신 해부 구조에 대한 디지털 분석 및 형태학적 연구방법론의 개발을 도모해야 한다.
가상 부검 플랫폼(Virtual Autopsy Platform)에 대하여 설명한다.
이 연구사업에서 개발하고자 하는 확장현실 기반 가상부검 플랫폼은 변사자의 시신을 실제로 부검하기 전에 가상으로 해부해 볼 수 있는 부검 시뮬레이션 환경을 제공하여 인공지능 기반 법의학적 이상소견을 제시하고, 죽음의 과정에 대한 전반적인 이해를 도모할 수 있는 가상부검 통합솔루션이다.
이를 위해 빅데이터 기술을 접목시켜 변사자의 전신 CT 기반의 맞춤형 해부 결과를 제시하고, 현장상황 및 수사기록의 정보를 토대로 손상의 발생 기전에 대한 시뮬레이션 자료를 제공함으로써, 실제 부검 전 부검의의 해부전략 수립 및 사인의 정확도 기여에 큰 도움을 줄 것이다. 또한 확장현실 플랫폼을 위한 영상자료 자체만으로도 법정 증거력을 갖출 뿐만 아니라 가상부검 결과를 기반으로 실제 미세부검으로의 집중을 유도하여 보다 폭넓은 증거력을 확보할 수 있고, 플랫폼을 통한 법의학적 이상소견 제시와 이에 대한 해석을 종합하여 제시함으로써 유관기관 및 유가족 등 사건 관련자들의 법의학적 이해증진에도 많은 도움을 주어 사회안정망 구축에도 크게 기여할 것이다.
특히 다양한 증례의 시신 CT에 대한 실시간 자동구역화를 수행하여 가상해부 및 가상부검 환경을 조성하면 비단 해부학 및 법의학 분야 뿐만 아니라 공간적 한계를 뛰어넘어 다양한 분야의 의학 발전을 크게 기여할 수 있고, 영상의 대상을 살아있는 환자에게 확대 적용한다면 환자 맞춤형 가상의료서비스의 개발에도 핵심적인 기술력을 확보할 수 있을 것이다.
국가 발전 전략 및 정책에 대하여 설명한다.
첫째, 문화적 다양성에 대하여 설명한다.
한국을 포함해 전세계적으로 이주 및 취업을 통한 국제이동으로 인해 민족적 문화적 다양성이 증가하고 있다. 법의학에서 문화적 다양성은 각종 질병의 민족적 차이뿐만 아니라 인지 및 행동 양상의 차이로 인해 손상의 발생과 기전에도 차이가 나타나게 된다.
이러한 문화적 다양성에 대한 법의학적 인식은 다민족국가가 늘어나고 있는 현 세계적 추세에 따라 사법적 사건의 해석에도 적극적으로 응용할 필요가 있으며, 기존의 전통적인 단일문화적 선입견에만 갇혀 있을 경우 부검을 해석할 때 수사의 폭을 좁혀 사건의 해결에 도움을 주지 못할 수도 있다. 이를 해결하기 위해서는 세계적 연구기관 등과 함께 다양한 민족에 대한 의학적 영상자료를 획득하여 표준화된 플랫폼 내에서 분석하고 시뮬레이션할 필요가 있다.
둘째, 법과학의 세계화에 대하여 설명한다.
자동화 의료영상 분석을 위해서는 전신 해부구조에 대한 표준화된 자동화 구역화 기술이 수반되어야 한다. 해부 구조의 경계에 놓인 영상의 화소에 대한 적절한 분배는 특정 알고리즘을 적용하여 디지털화 되어야 할 것이며, 이때 빅데이터 기술을 통해 알고리즘의 개선을 지속적으로 피드백하고 인공지능의 도움을 받아 정상 및 비정상 구조에 대한 판정을 학습하고 최적화할 수 있는 플랫폼이 마련될 필요가 있다.
3차원 영상처리에 대한 알고리즘의 개발 및 인공지능의 법의학적 학습 모듈 개발 등의 과정은 세계화 추세에 맞춰 표준화 코드의 도출을 선제적으로 제시할 필요가 있으며, 이를 토대로 법과학의 세계화 의료영상처리 기반 가상부검 플랫폼의 4차산업혁명 편입에 일조하게 될 것이다.
이를 위해서는 자국의 높은 기술력을 활용하는 것은 물론이고 세계적 수준의 인공지능 및 빅데이터 운영 기술을 도입 협력함으로써 성공적인 범세계적 가상부검 플랫폼의 개발이 이루어질 수 있으며, 법과학 수준이 부족한 개발도상국과의 교류를 통해 기술력의 전수 및 세계화의 표준화 파급에도 크게 기여할 수 있다.
해부 시신의 부족에 대해서 설명한다.
해부 시신의 부족은 전세계적 현상이다. 특히 법의 실무 및 현 의료환경에서 다양한 사례의 해부 실습을 통해 사전에 필요한 법의학 지식을 습득하는 것은 매우 제한적이다. 바로 기증된 시신의 수적 한계 및 의과대학마다의 기증 환경이 다르기 때문이다. 특히 사법체계에서의 법의부검은 다시 재현할 수 없는 해부를 통해 사망자의 사회적 책임에 대한 종결을 결정짓는 중요한 사회적 의사결정체계인 만큼 부검이라는 의료행위는 경험이 많은 부검의가 체계적인 해부 전략을 세워 만전을 기해 이루어져야 한다.
하지만 모든 부검의가 처음부터 해부학이나 법의학에 대한 경험을 갖고 있지는 않을 터 이들을 포함해 전공의나 의과대학생 및 여러 분야의 보건의료인들은 제한된 수의 기증시신이나 표본화된 인체 자료를 통해 다양한 상황의 시신을 대비해야 한다.
가상 부검에 의한 기회 확장에 대하여 설명한다.
확장현실(XR) 기반의 가상부검 플랫폼은 해부 및 부검의 제한이 없으며, 인공지능의 학습으로 제안된 구조의 판정이나 추정 사인은 전문가의 의사결정에 큰 보조적 견해로 이용될 수 있다. 교육적 무한 가능성뿐만 아니라 법의 실무에서는 해당 변사자의 부검을 미리 시뮬레이션하여 사인에 대한 가설을 세운 다음 직접 부검을 통해 그 결과에 대한 충분한 증거력 확보 및 사인에 대한 논리적 연계를 공고히 하여 망자의 죽음에 대한 전반적인 이해 도모에 크게 기여할 것이다.
전신 시신 스캔 이미지를 이용하여 인공지능과 빅데이터를 다루는 것에 대하여 설명한다.
현재까지 전신에 대한 CT 영상을 다루는 기술은 매우 제한적이며 시도된 바가 없다. 특정 의료시술 상황에 대한 부분 시뮬레이션은 있으나 이것도 정해진 목적성에 따라 제한된 자유도를 갖을 뿐이며 환자 맞춤형 솔루션을 제공하지는 못한다.
그 이유는 많은 수의 사람 전신 영상을 얻을 수 있는 기회가 적었고 전신 영상이라는 방대한 양의 정보를 한꺼번에 처리하고 가공할 수 있는 기술의 필요성이 제기되지 못했기 때문이다. 가상부검 플랫폼은 인공지능과 빅데이터 기술을 적용하여 실시간으로 전신 영상 자료에 대한 가공 및 해부 구조에 대한 인지를 학습 보완하며 나아가 자유도 높은 해부를 통해 법의학적 부검 실무에도 활용할 수 있는 3차원 영상처리 통합솔루션이다.
가상부검 플랫폼 개발의 목적에 대하여 설명한다.
이 연구개발사업의 목적은 법의해부학이라는 특수 의료분야에 활용할 수 있는 확대현실 기반 가상부검 플랫폼을 개발하는 것으로서, whole-body CT를 대상으로 인체의 4대 구성요소인 피부층, 피하지방층, 근육층, 뼈층에 대한 수동 및 반자동 구역화를 통해 정상 구조에 대한 해부학 지식을 학습시키고, 이를 바탕으로 각 층의 대표적인 손상 소견인 피부의 개방창, 피하출혈, 근육간출혈, 골절 등 법의학적 이상소견에 대한 자동 레이블링 어노테이션 툴을 탑재함으로써, 변사자 맞춤형 사인 판정을 위한 법의학적 이상소견 탐색 및 3D 시각화 리포팅을 제시할 수 있는 AI모델 기반 플랫폼을 개발하는 것이다.
가상부검 플랫폼에서 확보한 3차원 전신 영상처리 기술을 환자의 CT자료와 접목하면 환자 맞춤형 의료술기 개발 및 의료기기 개발 등 일반 의료분야에로의 유연한 적용이 가능할 것이다.
전체 시신의 CT 스캔의 이미지 관리 시스템에 대하여 설명한다.
첫째, 3년간 총 1,000명 이상의 전신 CT 영상 획득. 일인당 평균 2,300장의 0.7mm 간격 연속절단면 영상으로 약 2.5GB의 용량을 차지하며, 의료영상저장전송시스템(PACS)을 통해 3년간 총 2,070,000장 2,250GB의 영상 자료를 지속적으로 통합 운영할 수 있는 영상의 품질 관리 및 분석을 용이하게 하기 위한 영상 가공 처리 시스템 구축. 미국 등 해외의 다인종 whole-body CT 자료의 통합 관리 체계 도모할 수 있다.
둘째, 의료영상 획득을 위한 병원의 방사선의료기사, 영상의 품질 향상을 위한 의과대학의 영상해부학 전문가, 디지털 의료영상 이미지의 표준규약 및 가공 처리를 위한 영상분석 전문가, 대용량 의료영상 저장 및 전송 등의 관리를 위한 영상네트워크 전문가의 참여가 요구된다.
셋째, 영상해부학 전문가를 활용하여 약 2,070,000장의 CT 절단면 영상에서 수동구역화를 통해 전신의 피부층, 피하지방층, 근육층, 뼈층을 분리하여 정상 구조에 대한 레이블링 작업을 시행하고, 피부의 개방창, 피하출혈, 근육간출혈, 골절 등의 법의학적 이상소견에 대한 수동 레이블링 작업을 시행하여 비정상 구조에 대한 어노테이션 데이터를 구축할 수 있다.
인공 지능과 빅 데이터를 이용한 이미지 분석 시스템에 대하여 설명한다.
첫째, 수동구역화를 통해 구축한 전신의 피부층, 피하지방층, 근육층, 뼈층에 대한 정상 구조 및 피부의 개방창, 피하출혈, 근육간출혈, 골절에 대한 법의학적 이상소견을 대상으로 빅데이터 기술을 접목하여 각 구조의 경계를 구성하는 화소에 대한 선택적 자동분배 알고리즘을 개발한다.
둘째, AI 기반 whole-body CT의 법의학적 이상소견에 대한 자동 레이블링 및 어노테이션 툴 개발. 비정상 부위를 정상부위로 수정하여 학습하는 셀프 슈퍼바이저 학습인 AI 지도학습 방법을 적용하여 정상 및 비정상 해부 구조에 대한 입체적 인지 능력 및 형태학적 이질성을 학습할 수 있도록 딥러닝 기술을 적용한 시스템 개발할 수 있다.
셋째, 법의학적 이상소견을 탐색하고 검출할 수 있는 인지 능력과 출혈, 혈종, 파열, 전단, 골절, 탈구, 도구 손상 등의 외상 분석에 대한 법의학적 정보를 제시할 수 있는 통찰학습 능력을 갖춘 시스템 개발할 수 있다.
3차원 시각화를 통한 가상 부검 플랫폼에 대하여 설명한다.
첫째, 법의부검 실무와 유사한 사용자인터페이스를 갖추고 부검의의 의지에 기반해 자유도 높은 부검 환경을 제공하는 상호 즉시응답 가능한 가상부검 플랫폼 개발. 변사자의 전신 CT 영상을 기반으로 사건 정황을 분석하기 위한 자유도 높은 절개와 원하는 부위의 층별 몸속 구조 탐색이 가능한 시스템으로 개발하며 필요에 따라 교육 목적으로 확대 응용될 수 있도록 3D mesh의 자동생성 및 추적 관찰 시스템 부여할 수 있다.
둘째, 변사자 맞춤형 플랫폼으로서 물리적 공간을 뛰어넘어 세계 법의학 전문가들의 의사소통 및 전문 감정 소견 교류를 위한 사이버 소통 공간 제공할 수 있다.
셋째, 원격의료 시스템을 모티브로 한 가상부검 플랫폼을 구축함으로써, 종교적 국가적 부검 제한 상황을 극복할 수 있는 가상부검 플랫폼 실현. 현장 3D 스캔 등의 자료를 전송 및 시연할 수 있는 디지털 검시 시스템을 접목시켜 법의부검 통합솔루션이 가능한 활용력 확대 방안 모색할 수 있다.
본 발명의 목적은 다음과 같다.
확장 현실 기반 가상 부검을 플랫폼 개발을 목적으로 한다.
AI 및 빅데이터 활용 영상분석 시스템 개발을 목적으로 한다.
법의학 및 다양한 의료환경에 걸맞는 유동적 통합솔루션 제공을 목적으로 한다.
본 발명의 효과는 다음과 같다.
첫째, 변사자 맞춤형 법의부검의 신속성 및 정확성 확보할 수 있다.
둘째, 추정 사인 및 손상의 발생기전 등에 대한 시뮬레이션을 통해 법정 증거력 보완할 수 있다.
셋째, 사인에 대한 가설 설정 및 미세 해부로의 집중 강화할 수 있다.
넷째, 대용량 의료영상의 신속한 가공 및 관리 기술 확보할 수 있다.
다섯째, 해부학 및 법의학 교육에 대한 내실 있는 커리큘럼 구축할 수 있다.
여섯째, 시신의 해부 실습 보조 및 보건의료 분야의 교육 증대할 수 있다.
일곱째, 환자 맞춤형 의료기기의 개발할 수 있다.
여덟째, AI 및 빅데이터 기반의 자동구역화 기술을 토대로 영상분석 장비 개발할 수 있다.
본 발명의 다른 효과는 다음과 같다.
첫째, 법의학 유관기관(의과대학, 병원, 국과수, 경찰청, 검찰청, 보건의료분야 등)에서 교육 및 업무 향상을 위한 가상부검 플랫폼 구축할 수 있다.
둘째, 일반인에서 전문가에 이르는 인체 해부 교육 시스템 응용 및 사회 안전교육 모듈 개발할 수 있다.
셋째, 인체 해부 구조의 자동구역화 기술을 활용한 영상분석 장비 및 의료기기 개발할 수 있다.
본 발명의 이해관계 분석은 다음과 같다.
확장현실 기반 가상부검 플랫폼을 개발하면 법의학 유관기관의 실무와 교육에 활용할 수 있다. 특히 의과대학과 병원 및 국과수에 종사하는 영상해부학교수, 법의학교수, 법의관 등의 변사자 부검의 실무에 직접 활용하여 다양한 법의학적 성과를 얻을 수 있다. 또한 항시 초동수사의 중요성이 부각되는 경찰청과 검찰청 그리고 변사 현장에 파견되는 과학수사요원 및 응급구조요원들의 법의학적 교육 및 필드 매뉴얼 정책 수립 등에 활용될 수 있다.
전국에 의과대학이 40개가 있고 이들 의과대학에 종사하는 해부학교수는 약 100여명이고 법의학교수는 약 40여명이며, 국과수에서 근무하는 법의관 수는 약 35명 정도이다. 사망이 목격되거나 응급구조요원의 판단하에 병원으로 이송되는 변사자의 수는 변사 사건의 약 70%를 차지하며, 따라서 병원에 근무하는 의사들의 법의학 지식은 날로 그 필요성이 증가되는 추세로서 전국 병원의 의료인 수를 고려할 때 본 가상부검 플랫폼의 병원 구축은 병원 규모의 대소를 불문하고 필수 요소로 작용할 수 있다.
전국 경찰청 소속 현장감식요원 및 검시조사관의 수는 약 2000여명으로 모두 법의현장 일선에서 근무를 하고 있는 만큼 초동수사의 중요성을 고려할 때 가상부검 플랫폼을 활용한 교육 및 법의부검 시뮬레이션의 활용은 변사 사건해결의 중대한 변곡점이 될 수 있다.
기타 이해관계 분석은 다음과 같다.
의료영상에 대한 인공지능 및 빅데이터 기술을 확보하기 위해서는 영상분석 전문가, 영상네트워크 전문가, AI 전문가, 빅데이터 관리자 등의 인재가 필요하고 역으로 개발 이후에는 이들 전문가들의 양성 및 교육에 중요한 역할을 할 것이다.
이외에도 미국 대학이나 연구기관의 분석 자문 및 빅데이터 관리 전문가의 협업 솔루션이 필요하다.
프로그램 관리에 대하여 설명한다.
가상부검 시장 규모에 대하여 설명한다.
전세계 법의영상분석(포렌식 이미징) 시장 규모는 약 6,254만 달러에 이르는 것으로 알려져 있다. 절대적인 수치뿐만 아니라 이 시장의 규모는 매해 약 10.5%씩 증가하고 있는 추세이다. 그만큼 범죄에 대한 신속하고 정확한 해결을 요구하는 수요가 반영된 것으로 분석된다. 이러한 법의영상분석의 경우 특히 인체영상 분야에서는 아직 로우데이터의 단순 분석에 그치는 경우가 많아 가상부검 플랫폼을 이용한 3차원 입체구조 영상의 분석이 이루어지면 시장의 수요는 더욱 증가할 것으로 평가된다.
인체 해부 교육 시장 규모에 대하여 설명한다.
4차산업혁명 시대에 교육산업 시장의 규모는 더욱 성장할 수 밖에 없을 것으로 판단되며, 특히 가상현실이나 증강현실을 활용한 교육 시장의 규모는 점점 증가하고 있다. 전세계 교육 시장 총 지출액은 4조 달라를 넘어서 2025년에는 약 8조 달라, 2030년에는 약 10조 달라에 이를 것으로 예상하고 있다. 특히 무한한 사례의 맞춤형 확장현실 기반 플랫폼을 통해 인체해부 교육 프로그램을 만들면 양방향 소통과 자유도 높은 구조 탐색을 갖춘 사용자인터페이스의 개발로 지금껏 사용하기 불편한 컨텐츠들과는 질적 양적으로 차별화될 것으로 기대한다.
파생 시장(첨단 의료 영상 진단기기)에 대하여 설명한다.
의료영상진단 서비스가 과거에는 MRI, CT의 등장으로 한차례 도약을 이루었다면 이제는 인공지능 기술을 기반으로 다시 한번 패러다임의 변환을 맞이하고 있다. 특히 인체구조의 자동인식과 인지 및 속구조의 자동구역화 기술을 응용하면 내시경이나 초음파 등의 다양한 의료 영상에도 적용 가능하고, 특히 병소를 내포한 절단면영상을 인공지능을 통해 학습시키면 환자 맞춤형으로 병변을 선별해내고 추정 진단까지 제안하여 의료서비스의 품질을 향상시킬 수 있는 첨단의료영상 진단기기의 개발이 가능하다. 또한 신체의 특화된 각 부위에 대한 영상분석 장기를 개발하여 특수목적형 의료기기의 개발이 가능할 것으로 판단된다.
특허 및 의료 기기 인증에 대하여 설명한다.
본 발명은 확장현실 기반 가상부검 플랫폼 및 운영 기술, 인공지능 기반 절단면영상의 3차원 자동구역화 기술, 빅데이터를 활용한 구조의 경계성 화소 분배 기술, 인체구조의 자유탐색 인터페이스 기술, 햅틱 기반 가상인체 탐침 및 절개 하드웨어 개발, 교육용 가상인체해부 영상투사 기술을 포함한다.
본 발명의 효과에 대하여 설명한다.
실제 시신의 CT 절단면영상을 이용하여 예비부검을 시뮬레이션할 수 있도록 개발한 가상부검 플랫폼은 법의부검 및 법의학 영역의 직접적인 업무 개선 및 사회안전을 책임지는 사법 서비스의 향상 효과로 나타나겠지만 플랫폼에 내포된 기술들을 교육, 의료, 사회안전망구축 등에 응용하면 다양한 형태의 소프트웨어와 하드웨어 및 의료기기의 개발로 이어지기에 충분하다.
특히 빅데이터와 인공지능을 활용한 전신 인체구조의 3차원 자동구역화 및 자동라벨링 기술은 시간에 따른 형태변화의 시뮬레이션을 접목시켜 미래 예측 영상분석 분야에까지 확대 재생산이 가능하고, 손상이나 외력의 형성기전 등에 대한 재현 및 예측 기술은 각종 보험 분쟁 및 재난재해사고의 사회적복구에 책임있는 역할을 할 수 있을 것으로 기대한다.
도 4는 본 개시에 따른 2차원 CT 이미지를 획득하는 과정과 신체의 정상 구조를 학습하는 과정을 도시한 도면이다.
도 4는 도 4(a)와 도 4(b)를 포함한다.
도 4(a)는 시신으로부터 2차원 CT 이미지를 획득하는 과정과 신체의 정상 구조를 학습하는 과정을 도시한 도면이다.
도 4(b)는 시신으로부터 획득된 2차원 CT 이미지를 도시한 도면이다.
도 4(a)를 참조하면, 제어부(130)는 촬영을 실시한 상태에서 시신(10)을 제 1 방향으로 이동시키면서 2차원 CT 이미지를 획득한다. 여기서, 2차원 이미지는 2차원 CT 이미지를 포함한다. 여기서, 시신(10)은 전체 시신(Whole body) 및 부분 시신(Part of the body)이 될 수 있다.
도 4(b)에 도시한 바와 같이, 시신(10)으로부터 획득된 2차원 CT 이미지이다.
여기서, 2차원 이미지는 2차원 CT 이미지, 2차원 MRI 이미지를 포함한다.
제어부(130)는 전처리된 상기 2차원 이미지에 대응되는 신체의 정상 구조와 비정상 구조를 학습한다.
제어부(130)는 2차원 이미지를 외부에서 내부로 제 1 레이어 이미지, 제 2 레이어 이미지, 제 3 레이어 이미지 및 제 4 레이어 레이어 이미지로 나눈다.
제 1 레이어 이미지는 피부에 대응된다.
제 2 레이어 이미지는 피하지방에 대응된다.
제 3 레이어 이미지는 근육에 대응된다.
제 4 레이어 이미지는 골격에 대응된다.
제어부(130)는 피부의 정상 구조, 비정상 구조를 학습한다.
제어부(130)는 피하지방의 정상 구조, 비정상 구조를 학습한다.
제어부(130)는 근육의 정상 구조, 비정상 구조를 학습한다.
제어부(130)는 골격의 정상 구조, 비정상 구조를 학습한다.
제어부(130)는 정상 구조와 비정상 구조를 학습해서 학습 결과에 대해서 리포팅을 실행한다.
제어부(130)는 피부의 연속성이 결여된 것을 비정상 구조로 결정한다.
피하지방의 경우, 정상적인 피하지방의 하우스필드 유닛(Housefield Unit)의 영역과 달라지는 영역을 감지한다.
근육의 경우, 정상적인 근육의 하우스필드 유닛의 영역과 달라지는 영역을 감지한다.
하우스필드 유닛(Housefield Unit, 이하, HU)은 CT 촬영시 기준이 되는 단위이다. 이 단위를 통해 CT로 촬영한 영상에서 어떤 물체가 있는지 찾을 수 있다. HU는 물을 0으로 기준값으로 삼는다. 범위는 -1000~3000의 값을 가지고 12 비트 데이터로 표현할 수 있다.
예를 들어, 공기의 경우, HU는 -1000 이다.
물의 경우, HU는 0이다.
연조직의 경우, HU는 100~300이다.
골격은 Cortcial (단단한 뼈)의 경우, HU는 1800~1900이고, Cancellous (골수 조직)의 경우, HU는 300~400이다.
제어부(130)는 피부의 경우, 연속성이 결여되는 부분을 개방성 손상이 있다고 판단한다.
제어부(130)는 뼈의 경우, 연속성이 결여되는 부분을 골절이라고 판단한다. 또는 연속성이 분리되는 부분을 골절이라고 판단한다.
제어부(130)는 피하지방의 경우, 피하지방 고유의 영역과 HU 값이 달라지는 영역이 검출되면, 피하 출혈이 있다고 판단한다. 또한, 피하지방층에서 두께 및 색깔 변화 중 적어도 하나가 검출되면, 피하 출혈이 있다고 판단한다.
제어부(130)는 근육의 경우, 근육 공간 고유의 영역과 HU 값이 달라지는 영역이 검출되면, 근육간 출혈이 있다고 판단한다.
도 5는 본 개시에 따른 2차원 CT 이미지를 기초로 3차원 이미지를 생성하는 것을 도시한 도면이다.
도 5는 도 5(a)와 도 5(b)를 포함한다.
도 5(a)는 시신으로부터 획득된 2차원 CT 이미지를 연속적으로 배열한 것을 도시한 도면이다. 여기서 시신 이미지는 전체 시신 이미지(Whole body)를 포함한다.
도 5(b)는 학습된 2차원 CT 이미지를 기초로 3차원 이미지를 생성하는 것을도시한 도면이다.
구체적으로, 제어부(130)는 학습된 상기 2차원 CT 이미지를 렌더링하여 3차원 이미지를 생성한다. 여기서, 2차원 CT 이미지는 최대 2700 장 정도가 될 수 있다.
따라서, 2차원 CT 이미지를 기초로 3차원 이미지를 생성할 때, 2차원 CT 이미지 사이의 간격을 적절히 조절해서 레더링하여 3차원 이미지를 생성할 수 있다.
도 6은 본 개시에 따른 인간의 신체를 피부, 피하지방, 근육, 골격으로 분리한 것을 도시한 도면이다.
도 6에 도시한 바와 같이, 제어부(130)는 2차원 이미지(60)를 외측에서 내측 방향으로 제 1 레이어 이미지(61), 제 2 레이어 이미지(62), 제 3 레이어 이미지(63) 및 제 4 레이어 이미지(64)로 나눈다.
제 1 레이어 이미지(61)는 상기 신체의 피부에 대응시킨다.
제 2 레이어 이미지(62)는 상기 신체의 피하지방에 대응시킨다.
제 3 레이어 이미지(63)는 상기 신체의 근육에 대응시킨다.
제 4 레이어 이미지(64)는 상기 신체의 골격에 대응시킨다.
제어부(130)는 피부의 정상 상태, 상기 피하지방의 정상 상태, 상기 근육의 정상 상태, 상기 골격의 정상 상태와 비정상 상태를 학습한다.
도 7은 본 개시에 따른 피부층 이미지와 피하지방 이미지의 실시 예를 도시한 도면이다.
도 7은 도 7(a)와 도 7(b)를 포함한다.
도 7(a)는 3차원 이미지 중 피부층 이미지에 대응하는 제 1 레이어 이미지를 도시한 도면이다.
도 7(b)는 3차원 이미지 중 피하지방층 이미지에 대응하는 제 2 레이어 이미지를 도시한 도면이다.
제어부(130)는 3차원 이미지를 제 1 레이어 이미지(710), 제 2 레이어 이미지(720), 제 3 레이어 이미지(810) 및 제 4 레이어 이미지(820)로 분리한다.
여기서, 제 1 레이어 이미지(710)는 피부층 이미지에 대응되고, 제 2 레이어 이미지(720)는 피하지방 이미지에 대응된다.
제어부(130)는 제 1 레이어 이미지(710)에서 제 1 영역이 임계값 범위를 초과한 경우, 상기 제 1 영역에 대응하는 피부가 손상되었다고 결정한다.
예를 들어, 제 1 레이어 이미지의 특정 영역의 연속성이 결여된 경우 또는 특정 영역의 연속성이 끊어진 경우, 특정 영역에 대응하는 피부가 개방되었다고 결정한다. 여기서, 임계값은 특정 영역의 연속성이 보장되는 범위의 값을 의미한다.
제어부(130)는 제 2 레이어 이미지에서 제 2 영역이 임계값 범위를 초과한 경우, 상기 제 2 영역에 대응하는 피하지방이 손상되었다고 결정한다.
예를 들어, 제 2 레이어 이미지의 특정 영역이 피하지방 고유의 HU 값을 초과한 경우, 특정 영역에 대응하는 피하지방에서 피하 출혈이 있다고 결정한다. 여기서, 임계값은 피하지방 고유의 HU값을 의미한다.
제어부(130)는 분리된 복수의 3차원 이미지를 다른 색으로 디스플레이한다.
예를 들어, 제 1 레이어 이미지(710)는 파랑색, 제 2 레이어 이미지(720)는 빨강색, 제 3 레이어 이미지(810)는 주황색, 제 4 레이어 이미지(820)는 하얀색으로 디스플레이한다.
도 8은 본 개시에 따른 근육 이미지와 골격 이미지의 실시 예를 도시한 도면이다.
도 8은 도 8(a)와 도 8(b)를 포함한다.
도 8(a)는 3차원 이미지 중 근육층 이미지에 대응하는 제 3 레이어 이미지를 도시한 도면이다.
도 8(b)는 3차원 이미지 중 골격 이미지에 대응하는 제 4 레이어 이미지를 도시한 도면이다.
제어부(130)는 3차원 이미지를 제 1 레이어 이미지(710), 제 2 레이어 이미지(720), 제 3 레이어 이미지(810) 및 제 4 레이어 이미지(820)로 분리한다.
제 3 레이어 이미지(810)는 근육 이미지에 대응된다.
제 4 레이어 이미지(820)는 골격 이미지에 대응된다.
제어부(130)는 제 3 레이어 이미지(810)에서 제 3 영역이 임계값 범위를 초과한 경우, 제 3 레이어 이미지(810)에 대응하는 근육이 손상되었다고 결정한다.
예를 들어, 제 3 레이어 이미지(810)의 특정 영역이 근육 고유의 HU 값을 초과한 경우, 특정 영역에 대응하는 근육에서 근육이 손상되었다고 결정한다. 여기서, 임계값은 근육 고유의 HU값을 의미한다.
제어부(130)는 제 4 레이어 이미지(820)에서 제 4 영역이 임계값 범위를 초과한 경우, 제 4 레이어 이미지(820)에 대응하는 골격이 골절되었다고 결정한다.
예를 들어, 제 4 레이어 이미지(820)의 특정 영역의 연속성이 결여된 경우 또는 특정 영역의 연속성이 끊어진 경우, 특정 영역에 대응하는 골격이 골절되었다고 결정한다. 여기서, 임계값은 특정 영역의 연속성이 보장되는 범위의 값을 의미한다.
도 9는 본 개시에 따른 결과 데이터를 생성하고, 결과 데이터를 클릭하면 비정상 구조를 디스플레이하는 실시 예를 도시한 도면이다.
도 9는 도 9(a)와 도 9(b)를 포함한다.
도 9(a)는 결과 데이터와 신체 이미지를 도시한 도면이다.
도 9(b)는 결과 데이터에 대응하는 비정상 구조를 도시한 도면이다.
도 9(a)에 도시한 바와 같이, 제어부(130)는 정상 구조와 상기 비정상 구조에 대한 레이블링을 진행하여 어노테이션 데이터를 포함한 결과 데이터를 생성한다.
제어부(130)는 2차원 CT 이미지를 기초로 비정상 부분에 대한 자동 검사 소견서를 포함한 결과 데이터와 3차원 시각화 이미지를 생성하고, 이를 디스플레이한다.
여기서, 자동 검사 소견서는 의심되는 부분에 대한 보고 내용이다.
예를 들어, 좌측 팔의 위쪽 부분의 근육에 근육 출혈로 파악되는 부분이 있고해당 보고 내용을 포함하는 결과 데이터를 클릭하면, 제어부(130)는 근육 출혈에 대응되는 비정상 구조를 3차원 이미지로 디스플레이한다.
예를 들어, 제어부(130)는 시신(10)에 대한 정상 구조와 비정상 구조에 대한 레이블링을 진행하여 어노테이션 데이터를 포함한 결과 데이터(911)를 생성하고, 생성된 결과 데이터(911)를 디스플레이한다.
예를 들어, 결과 데이터(911)는 Reporting 좌측 팔뼈 골절을 포함한다.
제어부(130)는 시신 이미지에 결과 데이터에 대응하는 그래픽 이미지를 오버레이하여 디스플레이한다.
예를 들어, 전체 시신 이미지(910) 위에 왼쪽 팔뼈 골절에 대응하는 그래픽 이미지(912)를 오버레이하여 디스플레이할 수 있다.
도 9(b)에 도시한 바와 같이, 제어부(130)는 결과 데이터에 대응하는 제 1 아이콘을 선택하는 입력을 사용자로부터 수신하면, 상기 제 1 아이콘에 대응하는 화면을 디스플레이한다.
예를 들어, 좌측 팔뼈 골절에 대응하는 아이콘(911)을 선택하는 입력을 사용자로부터 수신하면, 좌측 팔뼈 골절에 대응하는 화면(920)을 디스플레이한다.
추가적으로 제어부(130)는 2차원 화면(920)에 좌측 팔뼈 골절 부분을 나타내는 인디케이터(922)를 오버레이하여 디스플레이한다.
제어부(130)는 화면 확대 입력을 사용자로부터 수신하면 2차원 화면(920)을 확대하여 디스플레이한다. 이 때 2차원 화면(920)의 해상도를 증가시킨다.
해상도는 360p, 480p, 720p, 1080p, 1440p, 2160p 가 될 수 있고, 화면이 확대될수록 해상도를 증가시킨다.
본 발명에 따르면, 정상 구조와 비정상 구조에 대한 레이블링을 진행하여 어노테이션 데이터를 포함한 결과 데이터를 생성하고 생성된 결과 데이터를 디스플레이하고 결과 데이터를 클릭하면 비정상 구조를 디스플레이할 수 있어서 사용자는 결과 데이터와 문제가 되는 부분을 직관적으로 알 수 있으므로 사용자 편의성을 향상 시킬 수 있는 장점이 있다.
도 10은 본 개시에 따른 인간 신체에 대응하는 어노테이션 데이터를 도시한 도면이다.
도 10을 참조하면, 어노테이션 데이터는 Code, Region, Part, Name, Abbr 순으로 작성된다.
예를 들어 설명한다.
Code 1-H-1의 경우, Region은 머리(Head)이고, Part는 피부(Skin)이고, 네임(Name)은 H-Skin이 된다. 약어(Abbr.)는 HS 가 된다.
Code 1-H-2의 경우, Region은 머리(Head)이고, Part는 피하지방(SubQ)이고, 네임(Name)은 H-SubQ이 된다. 약어(Abbr.)는 HQ 가 된다.
Code 1-H-3의 경우, Region은 머리(Head)이고, Part는 근육층(Muscle)이고, 네임(Name)은 H-Muscle이 된다. 약어(Abbr.)는 HM이 된다.
Code 1-H-4의 경우, Region은 머리(Head)이고, Part는 골격(Bone)이고, 네임(Name)은 Frontal이 된다. 약어(Abbr.)는 HF가 된다.
도 11은 본 개시에 따른 가상 부검 결과를 2차원 모드, 3차원 모드로 디스플레이하는 것을 도시한 도면이다.
도 11은 도 11(a)와 도 11(b)를 포함한다.
도 11(a)는 2차원 모드와 3차원 모드를 도시한 도면이다.
도 11(b)는 2차원 모드 부검 결과와 3차원 모드 부검 결과를 도시한 도면이다.
도 11(a)에 도시한 바와 같이, 제어부(130)는 가상 부검 결과를 디스플레이할 때 2차원 모드(1112), 3차원 모드(1114)를 디스플레이한다.
제어부(130)는 2차원 모드(1112)를 선택하는 입력을 사용자(10)로부터 수신하면, 도 11(b)에 도시한 바와 같이, 2차원 모드에 대응하는 가상 부검 결과(1120)를 디스플레이한다.
제어부(130)는 3차원 모드(1114)를 선택하는 입력을 사용자(10)로부터 수신하면, 도 11(b)에 도시한 바와 같이, 3차원 모드에 대응하는 가상 부검 결과(1130)를 디스플레이한다.
다음으로 머리뼈 골절 부위를 나타내는 인디케이터에 대하여 설명한다.
제어부(130)는 2차원 모드에 대응하는 가상 부검 결과(1120)에 머리뼈 골절 부분을 나타내는 인디케이터(1122)를 오버레이하여 디스플레이한다.
제어부(130)는 3차원 모드에 대응하는 가상 부검 결과(1130)에 머리뼈 골절 부분을 나타내는 인디케이터(1132)를 오버레이하여 디스플레이한다.
본 발명에 따르면, 2차원 모드와 3차원 모드를 디스플레이하고 개별 모드를 클릭하면 가상 부검 결과를 디스플레이할 수 있어서 사용자는 가상 부검 결과와 문제가 되는 부분을 직관적으로 알 수 있으므로 사용자 편의성을 향상 시킬 수 있는 장점이 있다.
도 12는 본 개시에 따른 가상 부검 탐지 장치의 구성도를 도시한 도면이다.
도 12를 참조하면, 가상 부검 탐지 장치(100)는 디바이스(1600)를 포함한다. 디바이스(1600)는 메모리(1602), 프로세서(1603), 송수신부(1604) 및 주변 장치(1601)를 포함할 수 있다. 또한, 일 예로, 디바이스(1600)는 다른 구성을 더 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.
보다 상세하게는, 도 12의 디바이스(1600)는 NDN 디바이스, NDN 서버, 콘텐츠 라우터 등과 같은 예시적인 하드웨어/소프트웨어 아키텍처일 수 있다. 이때, 일 예로, 메모리(1602)는 비이동식 메모리 또는 이동식 메모리일 수 있다. 또한, 일 예로, 주변 장치(1601)는 디스플레이, GPS 또는 다른 주변기기들을 포함할 수 있으며, 상술한 실시예로 한정되지 않는다.
또한, 일 예로, 상술한 디바이스(1600)는 상기 송수신부(1604)와 같이 통신 회로를 포함할 수 있으며, 이에 기초하여 외부 디바이스와 통신을 수행할 수 있다.
또한, 일 예로, 프로세서(1603)는 범용 프로세서, DSP(digital signal processor), DSP 코어, 제어기, 마이크로제어기, ASIC들(Application Specific Integrated Circuits), FPGA(Field Programmable Gate Array) 회로들, 임의의 다른 유형의 IC(integrated circuit) 및 상태 머신과 관련되는 하나 이상의 마이크로프로세서 중 적어도 하나 이상일 수 있다. 즉, 상술한 디바이스(1600)를 제어하기 위한 제어 역할을 수행하는 하드웨어적/소프트웨어적 구성일 수 있다.
이때, 프로세서(1603)는 가상 부검 탐지의 다양한 필수 기능들을 수행하기 위해 메모리(1602)에 저장된 컴퓨터 실행가능한 명령어들을 실행할 수 있다. 일 예로, 프로세서(1603)는 신호 코딩, 데이터 처리, 전력 제어, 입출력 처리 및 통신 동작 중 적어도 어느 하나를 제어할 수 있다. 또한, 프로세서(1603)는 물리 계층, MAC 계층, 어플리케이션 계층들을 제어할 수 있다. 또한, 일 예로, 프로세서(1603)는 액세스 계층 및/또는 어플리케이션 계층 등에서 인증 및 보안 절차를 수행할 수 있으며, 상술한 실시예로 한정되지 않는다.
일 예로, 프로세서(1603)는 송수신부(1604)를 통해 다른 장치들과 통신을 수행할 수 있다.
일 예로, 프로세서(1603)는 컴퓨터 실행가능한 명령어들의 실행을 통해 문서의 유사도를 탐지하게 제어할 수 있다. 즉, 본 발명에서 수행되는 통신이 제어될 수 있다. 일 예로, 다른 노드들은 NDN 서버, 콘텐츠 라우터 및 그 밖의 다른 디바이스들일 수 있다. 일 예로, 송수신부(1604)는 안테나를 통해 RF 신호를 전송할 수 있으며, 다양한 통신망에 기초하여 신호를 전송할 수 있다.
또한, 일 예로, 안테나 기술로서 MIMO 기술, 빔포밍 등이 적용될 수 있으며, 상술한 실시예로 한정되지 않는다. 또한, 송수신부(1604)를 통해 송수신한 신호는 변조 및 복조되어 프로세서(1603)에 의해 제어될 수 있으며, 상술한 실시 예로 한정되지 않는다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

Claims (15)

  1. 디스플레이;
    2차원 이미지를 수신하는 입력 모듈; 및
    수신된 상기 2차원 이미지를 전처리하고,
    전처리된 상기 2차원 이미지를 학습하고,
    학습된 상기 2차원 이미지를 기초로 3차원 이미지와 결과 데이터를 생성하고,
    생성된 상기 3차원 이미지를 복수의 3차원 이미지로 분리하고, 분리된 상기 복수의 3차원 이미지와 상기 결과 데이터를 디스플레이하는 프로세서를 포함하는, 가상 부검 탐지 장치.
  2. 제 1 항에 있어서, 상기 프로세서는,
    전처리된 상기 2차원 이미지에 대응되는 신체의 정상 구조와 비정상 구조를 학습하는, 가상 부검 탐지 장치.
  3. 제 2 항에 있어서, 상기 프로세서는,
    상기 정상 구조와 상기 비정상 구조에 대한 레이블링을 진행하여 어노테이션 데이터를 포함한 결과 데이터를 생성하는, 가상 부검 탐지 장치.
  4. 제 2 항에 있어서,
    상기 프로세서는,
    상기 2차원 이미지를 외측에서 내측 방향으로 제 1 레이어 이미지, 제 2 레이어 이미지, 제 3 레이어 이미지 및 제 4 레이어 레이어 이미지로 나누고,
    상기 제 1 레이어 이미지를 상기 신체의 피부에 대응시키고,
    상기 제 2 레이어 이미지를 상기 신체의 피하지방에 대응시키고,
    상기 제 3 레이어 이미지를 상기 신체의 근육에 대응시키고,
    상기 제 4 레이어 이미지를 상기 신체의 골격에 대응시키고,
    상기 피부의 정상 상태, 상기 피하지방의 정상 상태, 상기 근육의 정상 상태, 상기 골격의 정상 상태를 학습하는, 가상 부검 탐지 장치.
  5. 제 1 항에 있어서, 상기 프로세서는,
    상기 3차원 이미지를 제 1 레이어 이미지, 제 2 레이어 이미지, 제 3 레이어 이미지 및 제 4 레이어 이미지로 분리하고,
    상기 제 1 레이어 이미지를 피부층 이미지에 대응시키고,
    상기 제 2 레이어 이미지를 피하지방 이미지에 대응시키고,
    상기 제 3 레이어 이미지를 근육 이미지에 대응시키고,
    상기 제 4 레이어 이미지를 골격 이미지에 대응시키는,
    가상 부검 탐지 장치.
  6. 제 5 항에 있어서, 상기 프로세서는,
    상기 제 1 레이어 이미지에서 제 1 영역이 임계값 범위를 초과한 경우, 상기 제 1 영역에 대응하는 피부가 손상되었다고 결정하고,
    상기 제 2 레이어 이미지에서 제 2 영역이 임계값 범위를 초과한 경우, 상기 제 2 영역에 대응하는 피하지방이 손상되었다고 결정하고,
    상기 제 3 레이어 이미지에서 제 3 영역이 임계값 범위를 초과한 경우, 상기 제 3 영역에 대응하는 근육이 손상되었다고 결정하고,
    상기 제 4 레이어 이미지에서 제 4 영역이 임계값 범위를 초과한 경우, 상기 제 4 영역에 대응하는 골격이 골절되었다고 결정하는,
    가상 부검 탐지 장치.
  7. 제 1 항에 있어서, 상기 프로세서는,
    학습된 상기 2차원 CT 이미지를 렌더링하여 3차원 이미지를 생성하고,
    결과 데이터에 대응하는 제 1 아이콘을 선택하는 입력을 사용자로부터 수신하면, 상기 제 1 아이콘에 대응하는 화면을 디스플레이하고,
    분리된 상기 복수의 3차원 이미지를 다른 색으로 디스플레이하며,
    연속되는 상기 복수의 2차원 이미지를 소정 간격으로 스크리닝하여 전처리하는, 가상 부검 탐지 장치.
  8. 장치에 의해 수행되는 가상 부검 탐지 방법에서,
    2차원 이미지를 수신하는 단계;
    수신된 상기 2차원 이미지를 전처리하는 단계;
    전처리된 상기 2차원 이미지를 학습하는 단계;
    학습된 상기 2차원 이미지를 기초로 3차원 이미지와 결과 데이터를 생성하는 단계;
    생성된 상기 3차원 이미지를 복수의 3차원 이미지로 분리하는 단계; 및
    분리된 상기 복수의 3차원 이미지와 상기 결과 데이터를 디스플레이하는 단계를 포함하는, 가상 부검 탐지 방법.
  9. 제 8 항에 있어서,
    전처리된 상기 2차원 이미지에 대응되는 신체의 정상 구조와 비정상 구조를 학습하는 단계를 더 포함하는, 가상 부검 탐지 방법.
  10. 제 9 항에 있어서,
    상기 정상 구조와 상기 비정상 구조에 대한 레이블링을 진행하여 어노테이션 데이터를 포함한 결과 데이터를 생성하는 단계를 더 포함하는, 가상 부검 탐지 방법.
  11. 제 9 항에 있어서,
    상기 2차원 이미지를 외측에서 내측 방향으로 제 1 레이어 이미지, 제 2 레이어 이미지, 제 3 레이어 이미지 및 제 4 레이어 레이어 이미지로 나누는 단계;
    상기 제 1 레이어 이미지를 상기 신체의 피부에 대응시키는 단계;
    상기 제 2 레이어 이미지를 상기 신체의 피하지방에 대응시키는 단계;
    상기 제 3 레이어 이미지를 상기 신체의 근육에 대응시키는 단계;
    상기 제 4 레이어 이미지를 상기 신체의 골격에 대응시키는 단계; 및
    상기 피부의 정상 상태, 상기 피하지방의 정상 상태, 상기 근육의 정상 상태, 상기 골격의 정상 상태를 학습하는 단계를 더 포함하는, 가상 부검 탐지 방법.
  12. 제 8 항에 있어서,
    상기 3차원 이미지를 제 1 레이어 이미지, 제 2 레이어 이미지, 제 3 레이어 이미지 및 제 4 레이어 이미지로 분리하는 단계;
    상기 제 1 레이어 이미지를 피부층 이미지에 대응시키는 단계;
    상기 제 2 레이어 이미지를 피하지방 이미지에 대응시키는 단계;
    상기 제 3 레이어 이미지를 근육 이미지에 대응시키는 단계; 및
    상기 제 4 레이어 이미지를 골격 이미지에 대응시키는 단계를 더 포함하는, 가상 부검 탐지 방법.
  13. 제 12 항에 있어서,
    상기 제 1 레이어 이미지에서 제 1 영역이 임계값 범위를 초과한 경우, 상기 제 1 영역에 대응하는 피부가 손상되었다고 결정하는 단계;
    상기 제 2 레이어 이미지에서 제 2 영역이 임계값 범위를 초과한 경우, 상기 제 2 영역에 대응하는 피하지방이 손상되었다고 결정하는 단계;
    상기 제 3 레이어 이미지에서 제 3 영역이 임계값 범위를 초과한 경우, 상기 제 3 영역에 대응하는 근육이 손상되었다고 결정하는 단계; 및
    상기 제 4 레이어 이미지에서 제 4 영역이 임계값 범위를 초과한 경우, 상기 제 4 영역에 대응하는 골격이 골절되었다고 결정하는 단계를 더 포함하는,
    가상 부검 탐지 방법.
  14. 제 8 항에 있어서,
    학습된 상기 2차원 CT 이미지를 렌더링하여 3차원 이미지를 생성하는 단계;
    결과 데이터에 대응하는 제 1 아이콘을 선택하는 입력을 사용자로부터 수신하면, 상기 제 1 아이콘에 대응하는 화면을 디스플레이하는 단계;
    분리된 상기 복수의 3차원 이미지를 다른 색으로 디스플레이하는 단계; 및
    연속되는 상기 복수의 2차원 이미지를 소정 간격으로 스크리닝하여 전처리하는 단계를 더 포함하는, 가상 부검 탐지 방법.
  15. 제8항의 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 저장 매체.
PCT/KR2024/004966 2023-06-14 2024-04-12 가상 부검 탐지 장치 및 방법 Ceased WO2024258022A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2023-0076441 2023-06-14
KR20230076441 2023-06-14
KR1020230101796A KR102964861B1 (ko) 2023-06-14 2023-08-03 가상 부검 탐지 장치 및 방법
KR10-2023-0101796 2023-08-03

Publications (1)

Publication Number Publication Date
WO2024258022A1 true WO2024258022A1 (ko) 2024-12-19

Family

ID=93852125

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2024/004966 Ceased WO2024258022A1 (ko) 2023-06-14 2024-04-12 가상 부검 탐지 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2024258022A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200334897A1 (en) * 2019-04-18 2020-10-22 Zebra Medical Vision Ltd. Systems and methods for reconstruction of 3d anatomical images from 2d anatomical images
KR102375786B1 (ko) * 2020-09-14 2022-03-17 주식회사 뷰노 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법
US20230062811A1 (en) * 2021-08-24 2023-03-02 PAIGE.AI, Inc. Systems and methods for processing electronic images in forensic pathology
KR20230044341A (ko) * 2021-09-24 2023-04-04 주식회사 씨앤에이아이 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200334897A1 (en) * 2019-04-18 2020-10-22 Zebra Medical Vision Ltd. Systems and methods for reconstruction of 3d anatomical images from 2d anatomical images
KR102375786B1 (ko) * 2020-09-14 2022-03-17 주식회사 뷰노 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법
US20230062811A1 (en) * 2021-08-24 2023-03-02 PAIGE.AI, Inc. Systems and methods for processing electronic images in forensic pathology
KR20230044341A (ko) * 2021-09-24 2023-04-04 주식회사 씨앤에이아이 인공지능을 통해 인체 피부의 의료 진단 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DOBAY, A. ET AL.: "Potential use of deep learning techniques for postmortem imaging", FORENSIC SCIENCE, MEDICINE AND PATHOLOGY, vol. 16, 2020, pages 671 - 679, XP037296304, DOI: 10.1007/s12024-020-00307-3 *

Similar Documents

Publication Publication Date Title
WO2019083227A1 (en) MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING APPARATUS IMPLEMENTING THE METHOD
WO2021187826A1 (ko) 골다공증 진단 장치 및 그 골다공증 진단 방법
WO2019132614A1 (ko) 수술영상 분할방법 및 장치
WO2021006522A1 (ko) 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
WO2022050713A1 (ko) 흉부 이미지 판독 방법
WO2022149720A1 (ko) 기계학습모델을 이용하여 우울증예비진단정보를 제공하는 방법, 시스템 및 컴퓨터-판독가능 매체
US20220375610A1 (en) Multi-Variable Heatmaps for Computer-Aided Diagnostic Models
WO2022265345A1 (ko) 3d 프린터를 이용하여 태아 영상에 대한 모형을 출력하기 위한 시스템, 3d 프린터 출력용 파일을 생성하는 장치, 방법
WO2022173232A2 (ko) 병변의 발생 위험성을 예측하는 방법 및 시스템
WO2014208950A1 (en) Method and apparatus for managing medical data
WO2022019616A1 (ko) 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스
US20250254370A1 (en) System and method for teaching a surgical procedure
WO2021107471A1 (ko) 의료 데이터 검색 방법
WO2023177002A1 (ko) 실시간 수술영상 태깅이 가능한 원격협진지원시스템
WO2020159276A1 (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
US20230172684A1 (en) Intelligent analytics and quality assessment for surgical operations and practices
Alapatt et al. The SAGES critical view of safety challenge: A global benchmark for AI-assisted surgical quality assessment
WO2023018085A1 (ko) 병리 슬라이드 이미지와 관련된 정보를 출력하는 방법 및 장치
US20250021693A1 (en) Techniques for de-identifying sensor data captured in a medical facility room
JP2000107160A (ja) 医用画像撮影装置、医用画像撮影システムおよび医用画像撮影方法
Laurie et al. Sequential modeling for cystoscopic image classification
WO2019164276A1 (ko) 수술동작 인식 방법 및 장치
KR20240176401A (ko) 가상 부검 탐지 장치 및 방법
WO2023177003A1 (ko) 원격협진지원을 위한 3차원 포인팅시스템 및 그 제어방법
WO2023282546A1 (ko) 인공 슬관절 해리 판독 방법 및 이를 위한 컴퓨팅 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24823543

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE