WO2020045987A1 - 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법 - Google Patents

딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법 Download PDF

Info

Publication number
WO2020045987A1
WO2020045987A1 PCT/KR2019/011011 KR2019011011W WO2020045987A1 WO 2020045987 A1 WO2020045987 A1 WO 2020045987A1 KR 2019011011 W KR2019011011 W KR 2019011011W WO 2020045987 A1 WO2020045987 A1 WO 2020045987A1
Authority
WO
WIPO (PCT)
Prior art keywords
fetal
image
model
deep learning
virtual reality
Prior art date
Application number
PCT/KR2019/011011
Other languages
English (en)
French (fr)
Inventor
이상림
김형진
Original Assignee
길재소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 길재소프트 주식회사 filed Critical 길재소프트 주식회사
Priority to US17/271,032 priority Critical patent/US20210315539A1/en
Publication of WO2020045987A1 publication Critical patent/WO2020045987A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/02—Foetus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to a virtual reality 3D fetal model providing system, and in particular, to extract the facial features of the fetus based on the deep learning technology for ultrasound images, and to create a 3D model reflecting this to provide a deep learning content using the virtual reality content To a 3D fetal model providing system based.
  • ultrasound fetal images are typically 2D planar images, and are used only for the purpose of seeing pregnant women directly on a monitor in a hospital or stored in a video form.
  • Existing mothers apps and related services around the world mostly provide only pregnancy and parenting information or video services are simply playing. This is due to the fact that the technical development and service improvement of related fields have not been made yet, and the killer application is insufficient.
  • Fetal ultrasound imaging particularly technologies that effectively visualize 3D fetal faces, can be an important factor in improving healthcare.
  • image processing for fetal face of ultrasound images is very difficult. This is due to the unclear characteristics of eyes, nose, mouth, etc. due to the nature of ultrasound fetal face images, and the presence of various variables depending on the position of the pregnant woman's womb or fetal face.
  • the present invention has been made to solve the above-described problem, the present invention is applied to the fetal facial feature extraction technology using deep learning to extract a feature corresponding to the actual fetal face, generating a 3D fetal model reflecting the extracted feature Therefore, there is a problem in realizing fetal images similar to real fetal faces in a virtual reality device such as HMD.
  • the virtual reality 3D fetal model providing system is a deep learning based virtual reality fetus including an image providing server for generating a 3D model by analyzing the fetal image provided from the mobile terminal
  • An image providing system wherein the image providing server comprises: an image receiving unit receiving fetal image and ROI information from the mobile terminal, and an image processing unit extracting facial feature by inputting a fetal image corresponding to the ROI information into a deep learning model
  • a 3D model generator for generating a 3D fetal model reflecting the features of each facial region by selecting and synthesizing the region models according to the features of each facial region.
  • the image processor may include a preprocessor that specifies one or more frames from an input fetal image, removes noise, and a ROI matcher that determines a face region to be modeled by matching ROI information on the frame.
  • the image receiving unit receives a codeword for a similar model consisting of a plurality of components selected from the mobile terminal together with the reception of the fetal image and ROI information, and the image processing unit, according to the setting, codewords corresponding to the plurality of components It may include a deep learning model for performing a machine learning procedure using the learning data or to extract the facial feature codeword for the input image after the learning.
  • the face part may include one or more of eyes, nose, mouth, and face
  • the codeword may be a code representing a shape of the face part in a binary format.
  • the image processor may include a component selector that replaces one or more components for each face included in the existing 3D model in response to the codeword.
  • the image providing server may include a member manager that determines whether to register a member according to login information input from the mobile terminal, and performs a login procedure.
  • the image processor may be assigned to a user identified by the member manager.
  • the fetal image may be stored in a reservoir and the stored 3D fetal image may be extracted.
  • the image processor may receive growth information including a pregnancy period and growth parameters of a pregnant woman from the mobile terminal, and the 3D model generator may store the generated 3D model in a database according to growth parameters for each pregnancy period.
  • the mobile terminal is connected to an information communication network, a communication unit for communicating with an external system, a storage for storing the fetal image transmitted from the ultrasound diagnostic apparatus through the communication unit, ROI information by selecting a face region in the fetal image according to a user's input
  • a ROI setting unit configured to set a growth information input unit for receiving growth information including a pregnancy period and growth parameters of a pregnant woman, a terminal library database storing a library in which components corresponding to a plurality of face shapes are defined, and a face of a fetus from a user It may include a feedback unit for receiving one or more components for each part to transmit a codeword of a similar model to the image providing server.
  • a model providing method by the image providing server of the deep learning-based virtual reality 3D fetal model providing system for solving the above problems, the step of receiving a fetal image and ROI information from a mobile terminal, Extracting facial features by inputting a fetal image corresponding to the ROI information into a deep learning model, generating a 3D fetus model in which the facial features are reflected through 3D modeling, and the 3D fetal model by using the mobile It may include providing a terminal.
  • the method may include receiving a codeword and performing a machine learning procedure on the deep learning model using the codeword as learning data.
  • a plurality of codewords in which features are reflected for each body part of a 3D fetal image are set, and a learning procedure is performed according to a deep learning model based on the deep learning model.
  • the fetal imaging service may be utilized in health care application fields of fetuses and pregnant women, such as prenatal care and treatment of depression.
  • FIG. 1 is a view schematically showing the overall configuration of a deep learning-based virtual reality 3D fetal model providing system according to an embodiment of the present invention.
  • FIG. 2 is a view showing the structure of a mobile terminal of a deep learning-based virtual reality 3D fetal model providing system according to an embodiment of the present invention.
  • FIG. 3 is a view showing the structure of an image providing server of a deep learning-based virtual reality 3D fetal model providing system according to an embodiment of the present invention
  • Figure 4 is a deep learning-based virtual reality 3D fetal model provided according to an embodiment of the present invention
  • FIG. 5 is a diagram illustrating a structure of an image processor of an image providing server according to an exemplary embodiment of the present invention
  • FIG. 6 is a diagram illustrating a 3D modeling image of an image providing server according to an exemplary embodiment of the present invention.
  • FIG. 7 is a view showing a deep learning-based virtual reality 3D fetal model providing method according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a deep learning learning (a) and a codeword extraction process (b) using the trained deep learning model of the deep learning based virtual reality 3D fetal model providing system according to an exemplary embodiment of the present invention.
  • each function driven in the system of the present invention may be configured in a module unit, and may be recorded in one physical memory or distributed and recorded between two or more memories and a recording medium.
  • FIG. 1 is a view schematically showing the overall configuration of a deep learning-based virtual reality 3D fetal model providing system according to an embodiment of the present invention.
  • the deep learning-based virtual reality 3D fetal model providing system deep learning a 3D fetal image trained in conjunction with a mobile terminal 100 and a mobile terminal 100 possessed by a user.
  • the image providing server 200 converts and provides a 3D model using a model, and displays the ultrasound diagnosis unit 300 and the 3D model that captures a pregnant woman and provides the 2D fetal image to the mobile terminal 100 as a virtual reality image. It may include a VR device 400 implemented by the HMD.
  • the mobile terminal 100 is carried by a user, such as a pregnant woman or a caregiver, is connected to the image providing server 200 through an information communication network, and transmits the fetal image stored in the terminal to the image providing server 200 to generate a 3D model of the fetal image.
  • the terminal requesting.
  • the user may transmit the fetal image stored in the mobile terminal 100 to the image providing server 200 through the information communication network.
  • the mobile terminal 100 must be previously received and stored via the wired, wireless communication of the fetal image of the 2D method from the ultrasound diagnostic device 300.
  • the mobile terminal 100 is further updated according to the growth level of the fetus from the image providing server 200 by further receiving and transmitting the growth information including the pregnancy week or growth parameters of the pregnant woman during transmission of the fetal image.
  • 3D models can be provided.
  • the mobile terminal 100 may be a smart phone and a tablet PC equipped with a communication module, a microprocessor, a memory and storage capable of storing and executing an application program that can interoperate with the image providing server 200.
  • the image providing server 200 may interoperate with a plurality of mobile terminals 100 through an information communication network, store fetal images transmitted from each mobile terminal 100, and use them as machine learning data.
  • the image providing server 200 specifies the features of the face shape by dividing the parts into eyes, nose, mouth, etc. of the face of the fetus, and extracts the most similar components through comparison with the model library accumulated in the database. Through the combination, the 3D model corresponding to the fetal face may be determined and provided to the mobile terminal 100 as a 3D fetal image.
  • the image providing server 200 is a high-performance system capable of processing without delay, such as performing machine learning of the fetal image transmitted from the plurality of mobile terminals 100, 3D model generation and provision, 3D model update according to fetal growth Server devices equipped with microprocessors, large amounts of memory and storage may be used.
  • the ultrasound diagnosis apparatus 300 may be equipped with a predetermined probe, and may acquire an ultrasound image that is an original image of a 3D model with respect to a diagnosis target.
  • the ultrasound diagnosis apparatus 300 transmits to the mobile terminal 100 through a short range wireless communication network using a mounted communication module to display and store the fetal image in real time.
  • the VR device 400 may be connected to the image providing server 200 by wire or wirelessly to play a 3D fetal image provided by the mobile terminal 100.
  • the VR device 400 may be a head mounted device equipped with a geomagnetic sensor, an acceleration sensor, etc., as well as a display, and thus the user may implement a stereoscopic image of the fetus corresponding to the direction of the diagnosis target. .
  • the VR device 400 may be configured as a housing member in which a predetermined playback terminal capable of playing a virtual reality image is installed, or may be implemented in a structure in which a mobile terminal 100 is mounted to play a 3D fetal image. .
  • the deep learning-based virtual reality 3D fetal model providing system provides a model for applying a deep learning technique by providing a fetal image obtained through an ultrasound diagnostic apparatus to an image providing server through an information communication network.
  • a 3D fetal model closer to the real world can be provided.
  • each component constituting the mobile terminal may be implemented as an application program executable by a predetermined microprocessor and recorded on the recording medium.
  • the mobile terminal 100 of the present invention is connected to the information communication network communication unit 110 for transmitting and receiving data with an external system, the image storage for storing the fetal image transmitted from the ultrasound diagnostic apparatus via the communication unit 110 120, a ROI setting unit 130 for selecting a face region in the fetal image according to a user input and setting the ROI information as a ROI information, and a growth information input unit 140 receiving growth information including a pregnancy period and growth parameters of a pregnant woman.
  • the terminal library DB 150 stores a library in which components corresponding to a plurality of face shapes are defined, and a feedback unit for selecting one or more components for each fetal face from a user and transmitting a codeword of a similar model to an image providing server. 160 may be included.
  • the communication unit 110 connects to an information communication network and transmits and receives data with an external system.
  • the communication unit 110 receives a fetal image from an ultrasound diagnosis apparatus, provides a fetal image with an ROI to an image providing server, or from an image providing server. 3D fetal images may be received.
  • the image store 120 may store the original fetal image transmitted from the ultrasound diagnosis apparatus and the 3D fetal image provided from the image providing server.
  • the 3D fetal image stored in the image storage may be reproduced on the mobile terminal 100 or transmitted to an external VR device and reproduced in the form of a stereoscopic image.
  • the ROI setting unit 130 may provide an interface for the user to set a region of interest (ROI) by selecting a region of the fetal image.
  • ROI region of interest
  • the user that is, a pregnant woman or a caregiver may designate an ROI through an operation such as dragging a screen on an area corresponding to a fetus's face in the original fetal image displayed through the screen of the mobile terminal 100, and set ROI.
  • the unit 130 may generate ROI information on the corresponding fetal image.
  • the growth information input unit 140 may receive growth information about the fetal image in which the ROI is set. In addition to uploading the fetal image and ROI information, the user may input, as the growth information, a photographing time point for the currently uploaded fetal image, that is, a pregnancy period and various information related to fetal growth.
  • the fetal image, ROI information and growth information may be synchronized and transmitted to the image providing system through the communication unit 110. Accordingly, the image providing system performs a 3D modeling procedure using the collected data, and generates a 3D fetal model of the fetus.
  • the terminal library DB 150 may store various types of 3D components corresponding to each part of the face of the fetus.
  • Deep learning-based virtual reality 3D fetal model providing system is characterized in that to enhance the performance of the deep learning model through user feedback (feedback).
  • the user terminal 100 stores a number of 3D components, which are various types of models for each feature of the fetal face, that is, eyes, nose, mouth, and face, and the user stores the 3D components stored in the terminal library DB 150. Selects the component most similar to its fetal shape, generates a similar face model, and provides a codeword and an image thereof to the image providing server.
  • the image providing server utilizes the codeword of the similar face model of the fetus provided from the user terminal 100 as learning data of the deep learning model, thereby improving its accuracy during 3D modeling of the fetus.
  • the feedback unit 160 may extract a 3D component for each face part stored in the terminal library DB 150 and provide an interface for the user to designate.
  • the feedback unit 160 when a component for each feature of the fetal face is selected by the user, the feedback unit 160 generates a similar face model by synthesizing the same, and codes the codeword of the similar face model to the image providing server through the communication unit 110. Can provide.
  • the mobile terminal may provide a fetal image to an image providing server and request a 3D fetal model most similar to a real fetus through a deep learning procedure, and also, information of a similar face model Feedback to maximize the similarity of 3D modeling.
  • FIG. 3 is a view showing the structure of the image providing server of the virtual reality 3D fetal model providing system according to an embodiment of the present invention
  • Figure 4 is a deep learning based virtual reality 3D fetal model providing system according to an embodiment of the present invention
  • FIG. 3 is a diagram illustrating a process of increasing matching accuracy of a 3D model by reflecting user feedback.
  • the image providing server 200 receives the fetal image and ROI information from the mobile terminal 100, corresponding to the ROI information
  • the image processor 220 extracts the facial features by inputting the fetal image into the deep learning model, the database 230 in which the server library referenced by the deep learning model is stored, and the 3D model by which the facial features are reflected through 3D modeling.
  • 3D model generation unit 240 for generating a fetus model and may be included in the member management unit 250 to determine whether the member registration according to the login information input from the mobile terminal 100 and performs a login procedure.
  • the image receiver 210 may receive a fetal image from one or more mobile terminals 100 through an information communication network.
  • the image receiving unit 210 receives a 3D stereoscopic image of the fetus in conjunction with an application program installed in the mobile terminal 100, or periodically receives a fetal image from the user side to manage the fetal image according to the growth period of the fetus can do.
  • the image receiving unit 210 receives the original fetal image, the ROI information set therein, and information on the current growth period of the fetus so that the fetal growth time of each fetus can be stored and managed.
  • the image processor 220 may generate 3D fetal model for virtual reality by performing 3D modeling using the original fetal image received by the image receiver 210.
  • the image processor 220 may extract the face part of the fetus by referring to the ROI information on the original fetal image, and extract the face components most similar to each part of the face for 3D modeling.
  • the face of the fetus is not clear in the eyes, nose, and mouth unlike the normal face, and there are limitations such as obstruction of the face according to the position and posture of the floating body in the uterus or the fetus.
  • An optimized learning model is required, and the image processor 220 extracts components for each facial region having a minimum error with a real face through a known deep learning model.
  • the image processor 220 may improve the matching accuracy of the 3D model by using the codeword of the similar face model as the feedback information transmitted from the mobile terminal 100 and using the training data of the deep learning model.
  • the database 230 may store various information for 3D modeling.
  • the image processor 220 refers to a library for 3D modeling and requires a plurality of training data for a deep learning model.
  • the database 230 may store various information required for such 3D modeling.
  • the database 230 may be composed of a plurality of database systems that are logically or physically divided according to its purpose, and store member and fetal information, and a member DB for managing fetal images according to fetal growth periods. 231), a server library DB 232 in which a library including components for each fetal face part are stored, and a deep learning DB 233 in which learning data used for machine learning are stored.
  • the model generator 240 may update a face of the standard 3D fetal model by combining a plurality of facial components derived by the image processor 220.
  • the member manager 250 may provide a function of a pregnant woman or a caregiver member registration procedure, a login procedure, and member information management to use the 3D fetal image provided by the system of the present invention.
  • the user can access the image providing server 200 from time to time to manage and confirm the image of the fetus for each pregnancy stored in the storage assigned to his account, the member manager 250 according to the request of the mobile terminal 100 A login procedure may be performed and 3D fetal images of the user stored in the storage of the database 230 may be identified.
  • the image providing server of the deep learning-based virtual reality 3D fetal model providing system can provide a 3D model for the fetal image provided from the user side, the machine through the user feedback The accuracy of learning can be continually improved to provide a more realistic fetal model.
  • FIG. 5 is a diagram illustrating a structure of an image processor of an image providing server according to an exemplary embodiment of the present invention
  • FIG. 6 is a diagram illustrating a 3D modeling image of an image providing server according to an exemplary embodiment of the present invention.
  • the image processor 220 designates one or more frames from an input fetal image, and removes noise from the preprocessor 221 and ROI information on the frames.
  • the ROI matching unit 222 that determines a face area to be modeled by matching, performs a machine learning procedure using the codewords corresponding to the plurality of components in the set deep learning model as the training data, or performs the machine learning procedure on the input image after the training. It may include a deep learning model 224 for extracting a facial feature codeword and a component selector 225 for replacing one or more components for each face included in the existing 3D model in response to the codeword.
  • the preprocessor 221 may designate a predetermined range of frames to be 3D modeled according to the setting of the input fetal image and remove noise with respect to the designated frame.
  • the ROI matching unit 222 may determine the face part by matching ROI information specified by the user on the frame from which the noise is removed.
  • the ROI information includes coordinates of the face region of the fetus selected by the user in the fetal image, and the ROI matching unit 222 may extract an image corresponding to the face region through the ROI information.
  • the above components are defined by classifying their shapes into predetermined parts for each facial part, and may be classified into three types for each facial part as shown in Table 1 below.
  • Type 1 Type 2
  • Type 3 Snow form Degree of protrusion of the eye area entry usually Protruding Nose form High and wide nose Low and wide usually height Mouth shape Protrusion of upper and lower lip
  • Upper protrusion usually Lower protrusion
  • Face shape The slenderness of the ball and jaw Slim form usually Round shape
  • each face part may correspond to any one of three types, and a value of a binary format may be designated.
  • the codeword is '010', and if the face shape is a dividing shape, the codeword is '100'.
  • the deep learning model 224 receives the extracted codeword as learning data and machine learning
  • the ROI matching unit 222 may generate the learning data by labeling the feature information for each facial region corresponding to the facial region of the fetal image.
  • the deep learning model 224 may operate in a learning mode or a feature extraction mode.
  • the deep learning model 224 operates in the learning mode, a number of images input by the user and similar model codewords matching the same may be used for learning.
  • the codeword of the similar model may be used only when learning by user feedback.
  • the feature extraction mode when the fetal image is input based on the learned information, the feature is output as a codeword.
  • the preprocessing unit 211 and the ROI matching unit 222 may specify the learning image frames in the fetal image, and set ROI information for specifying the fetal face region in the image region of each frame, accordingly
  • the fetal face region in the ROI may be used as an input image for learning. Since 3D fetal images generally include fetal movements, a large number of educational images can be obtained with a single video.
  • a feature designation function using a similar 3D model is implemented to designate facial features of the fetus.
  • the facial shape model and the area of the face most similar to the shape of the face, the eye nose, and the mouth are implemented.
  • the model may be selected from a library to determine a 3D face model that most closely resembles the face of the fetal image.
  • various face shapes and intra-regional models are made into components and the comparison with fetal images is easy, such as model selection and replacement, model rotation, and movement.
  • the generated learning image and the fetal face feature codeword may be constructed as a learning database for integrating and managing the information in the future.
  • the component selector 225 performs 3D modeling (img) by using the updated component when generating the 3D fetal model by replacing one or more components for each face included in the existing 3D model in response to the codeword. To be able.
  • the image processing unit may provide a component for generating a 3D fetal model, and may reflect the feedback by the similar model provided from the user to the deep learning model 224.
  • the component may be delivered in the form of codeword.
  • each step execution subject may be the above-described image providing server and a component of the present invention even if not described otherwise.
  • the deep learning-based virtual reality 3D fetal model providing method receiving a fetal image and ROI information from a mobile terminal (S100), and deepens a fetal image corresponding to the ROI information. Extracting features for each facial region by inputting the running model (S110), generating a 3D fetal image in which features of each facial region are reflected through 3D modeling (S120), and providing a 3D fetal image to a mobile terminal (S130). ) May be included.
  • the mobile terminal receives and stores the original fetal image of the fetus from the ultrasound diagnostic device, and generates and stores the original fetal image according to the user's specification Together with the image providing server.
  • step S110 the fetal image corresponding to the ROI information is input to the deep learning model to extract features for each facial region, and the image providing server extracts the face region in the fetal image according to the image coordinates included in the ROI information.
  • the model extracts features for each part of the face area.
  • the deep learning model extracts facial features and generates one 3D fetal model.
  • the 3D fetal model is provided to the mobile terminal, and the image providing server provides the 3D fetal model generated to the mobile terminal.
  • the user side can view a three-dimensional fetal image of the fetus at various points of view through the mobile terminal, and can also view the 3D fetal model in a virtual reality method through the VR device linked to the mobile terminal.
  • step S130 as a step for user feedback for improving the performance of the deep learning model, after providing a 3D fetal image to the mobile terminal, at least one component for each face of the fetus selected by the user from the mobile terminal.
  • the method may further include receiving a codeword for a similar model including the same, and performing a machine learning procedure for the deep learning model using the codeword as learning data.
  • FIG. 8 is a diagram schematically illustrating a deep learning and codeword extraction process of a deep learning based virtual reality fetal image providing system according to an exemplary embodiment of the present invention.
  • the deep learning based virtual reality fetal image providing system is used as image learning data of various fetuses, prepares images of each fetus, and provides ROI information corresponding to a face in the image. It is set to perform 3D modeling by specifying and applying it to a deep learning model.
  • the learning process is a process of optimizing a deep learning model in a direction of reducing errors so that a predefined image and a codeword matched therewith are output.
  • identification and extraction of the component may be performed through a codeword corresponding thereto.
  • the codeword of the component corresponding to each part of the face is extracted and the 3D model is generated through the trained deep learning model in which the user's feedback is reflected (b). .
  • the training data of the deep learning model may be updated to reduce the error and improve the quality of the 3D model.
  • the image providing server uses this as learning data.
  • image receiver 220 image processor
  • preprocessing unit 222 ROI matching unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pregnancy & Childbirth (AREA)
  • Gynecology & Obstetrics (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 가상현실 태아 영상 제공 시스템을 개시한다. 보다 상세하게는, 본 발명은 초음파 영상에 대하여 딥 러닝 기술에 기반하여 태아의 얼굴 특징을 추출하고, 이를 반영한 초음파 영상에 대응하는 3D 모델을 생성하여 이를 이용한 가상현실 영상을 제공하는 딥 러닝 기반 태아 영상 제공 시스템에 관한 것이다. 본 발명의 실시예에 따르면, 2D 태아 영상에 대하여 신체부위별로 특징이 반영되는 복수의 코드워드를 설정하고, 이를 기반으로 딥 러닝 모델에 따라 학습절차를 수행하여 실제 태아 얼굴과 가장 유사한 신체 콤포넌트의 조합으로 생성된 3D 모델을 제공함으로써, HMD 등을 통해 태아의 모습을 입체적으로 표시할 수 있어, 임산부에게 차별화된 실감나는 태아 영상 서비스를 제공할 수 있는 효과가 있다.

Description

딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템 및 방법
본 발명은 가상현실 3D 태아 모델 제공 시스템에 관한 것으로, 특히 초음파 영상에 대하여 딥 러닝 기술에 기반하여 태아의 얼굴 특징을 추출하고, 이를 반영한 3D 모델을 생성하여 이를 이용한 가상현실 콘텐츠를 제공하는 딥 러닝 기반 3D 태아 모델 제공 시스템에 관한 것이다.
현재 초음파 태아 영상은, 통상적으로 2D 평면 영상으로서, 임산부가 병원 진료시 직접 모니터를 통해 보거나 동영상 형태로 저장되어 단순히 보는 용도로만 활용되고 있다. 전 세계적으로 기존 산모 앱 및 관련 서비스들은 대부분 임신육아 정보만을 제공하거나 동영상 서비스도 단순 재생에 그치고 있는 실정이다. 이는 아직까지 관련 분야의 기술적 발전이나 서비스 개선이 이루어지지 않고, 킬러 어플리케이션이 부족한 상황인 점에 기인하는 것으로 판단된다.
태아 초음파 영상, 특히 3D 태아 얼굴을 효과적으로 가시화하는 기술은 관련 의료서비스 개선을 위한 중요한 요소가 될 수 있다. 그러나, 일반 얼굴 영상을 대상으로 한 기존 얼굴 인식과는 달리 초음파 영상의 태아 얼굴을 대상으로 한 영상처리는 매우 어려운 일이다. 이는 초음파 태아 얼굴 영상의 특성상 눈, 코, 입 등 특징부위가 불명확하고 임산부 자궁 내 조직이나 태아 얼굴의 위치에 따른 여러 변수가 존재하기 때문이다.
이에 따라, 2D 영상을 판독하고 깊이정보를 적용하여 3D 입체 영상으로 변환하는 것은 쉬운 작업이 아니며, 3D 영상 형태의 초음파 태아 영상을 헤드 마운티드 디스플레이(HMD)와 같은 가상현실 표시수단으로 제공하는 서비스를 구현하는데도 어려움이 있다.
본 발명이 속하는 기술분야의 선행기술문헌에는 한국공개특허공보 제10-2013-0112127호 등이 있다.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로, 본 발명은 딥 러닝을 이용한 태아 얼굴 특징 추출 기술을 적용하여 실제 태아 얼굴에 대응하는 특징을 추출하고, 추출된 특징이 반영된 3D 태아 모델을 생성하여 HMD와 같은 가상현실 장치에서 실제 태아 얼굴과 유사한 태아 영상을 구현하는 데 과제가 있다.
전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 가상현실 3D 태아 모델 제공 시스템은 모바일 단말로부터 제공되는 태아 영상을 분석하여 3D 모델을 생성하는 영상 제공 서버를 포함하는 딥 러닝 기반 가상현실 태아 영상 제공 시스템으로서, 상기 영상 제공 서버는, 상기 모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 영상 수신부, 상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 영상 처리부, 상기 얼굴부위별 특징에 따른 부위 모델들의 선택 및 합성을 통해 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 3D 모델 생성부를 포함할 수 있다.
상기 영상 처리부는, 입력되는 태아 영상에서 하나 이상의 프레임을 지정하고, 노이즈를 제거하는 전처리부 및 상기 프레임 상에 ROI정보를 매칭하여 모델링 대상이 되는 얼굴영역을 결정하는 ROI 매칭부를 포함할 수 있다.
상기 영상 수신부는 태아 영상 및 ROI정보의 수신과 함께 상기 모바일 단말로부터 선택된 복수의 컴포넌트로 이루어지는 유사모델에 대한 코드워드를 수신하고, 상기 영상 처리부는, 설정에 따라 상기 복수의 컴포넌트에 대응하는 코드워드를 학습 데이터로 이용하여 기계 학습절차를 수행하거나 학습 이후 입력 영상에 대한 얼굴특징 코드워드를 추출하기 위한 딥 러닝 모델을 포함할 수 있다.
상기 얼굴부위는 눈, 코, 입 및 얼굴 중, 하나 이상을 포함하고, 상기 코드워드는 상기 얼굴부위의 형태를 이진(binary)형식으로 나타낸 코드일 수 있다.
상기 영상 처리부는, 상기 코드워드에 대응하여 기존 3D 모델에 포함되는 얼굴부위별 하나 이상의 컴포넌트를 교체하는 컴포넌트 선택부를 포함할 수 있다.
상기 영상 제공 서버는, 상기 모바일 단말로부터 입력되는 로그인 정보에 따라 회원 등록여부를 판단하고, 로그인 절차를 수행하는 회원 관리부를 포함하고, 상기 영상 처리부는, 상기 회원 관리부에 의해 식별된 사용자에게 할당된 저장소에 상기 태아 영상을 저장하고, 저장된 3D 태아 영상을 추출할 수 있다.
상기 영상 처리부는 상기 모바일 단말로부터 임산부의 임신기간 및 성장 파라미터를 포함하는 성장정보를 수신하고, 상기 3D 모델 생성부는, 생성된 3D 모델을 임신기간별로 성장 파라미터에 따라 데이터 베이스에 저장할 수 있다.
상기 모바일 단말은, 정보통신망에 연결되어 외부 시스템과 통신하는 통신부, 상기 통신부를 통해 초음파 진단기로부터 전송되는 상기 태아 영상을 저장하는 저장소, 사용자의 입력에 따라 상기 태아 영상 내 얼굴 영역을 선택받아 ROI정보로 설정하는 ROI 설정부, 임산부의 임신기간 및 성장 파라미터를 포함하는 성장정보를 입력받는 성장 정보 입력부, 복수의 얼굴형태에 대응하는 컴포넌트가 정의된 라이브러리를 저장하는 단말 라이브러리DB 및 사용자로부터 태아의 얼굴부위별 하나 이상의 컴포넌트를 선택받아 유사 모델의 코드워드를 상기 영상 제공 서버에 전송하는 피드백부를 포함할 수 있다.
또한, 전술한 과제를 해결하기 위한 본 발명의 다른 양태에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버에 의한 모델 제공 방법으로서, 모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 단계, 상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 단계, 3D 모델링을 통해 상기 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 단계 및 상기 3D 태아 모델을 상기 모바일 단말에 제공하는 단계를 포함할 수 있다.
상기 3D 태아 모델을 상기 모바일 단말에 제공하는 단계 이후, 상기 딥 러닝 모델에 대한 기계 학습의 고도화를 위해, 상기 모바일 단말로부터 사용자에 의해 선택된 태아의 얼굴부위별 하나 이상의 컴포넌트를 포함하는 유사모델에 대한 코드워드를 전송받는 단계 및 상기 코드워드를 학습 데이터로 이용하여 상기 딥 러닝 모델에 대한 기계 학습절차를 수행하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 3D 태아 영상에 대하여 신체부위별로 특징이 반영되는 복수의 코드워드를 설정하고, 이를 기반으로 딥 러닝 모델에 따라 학습절차를 수행하여 실제 태아 얼굴과 가장 유사한 신체 콤포넌트의 조합으로 생성된 3D 모델을 제공함으로써, HMD 등을 통해 태아의 모습을 입체적으로 표시할 수 있어, 임산부에게 차별화된 실감나는 태아 영상 서비스를 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 태아 영상 서비스는 임산부의 태교, 우울증 치료 등 태아와 임산부의 건강관리 응용 분야에서도 활용될 수 있다.
도 1은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 전체 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 모바일 단말의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버의 구조를 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템에서 사용자 피드백을 반영하여 3D 모델의 매칭 정확도를 높이는 과정을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 영상 제공 서버의 영상 처리부의 구조를 나타낸 도면이고, 도 6은 본 발명의 실시예에 따른 영상 제공 서버의 3D 모델링 영상을 예시한 도면이다.
도 7은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 딥 러닝 학습(a) 및 학습된 딥 러닝 모델을 사용한 코드워드 추출과정(b)을 모식화한 도면이다.
설명에 앞서, 명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부(Unit)", "...장치(Device)", "...시스템(System)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한, "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용된다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "...부(Unit)", "...장치(Device)", "...시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 시스템에서 구동되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템 및 방법을 설명한다.
도 1은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 전체 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템은 사용자가 소지한 모바일 단말(100), 모바일 단말(100)과 연동하여 3D 태아 영상을 학습된 딥 러닝 모델을 이용하여 3D 모델로 변환하여 제공하는 영상 제공 서버(200), 임산부를 촬영하고 상기의 2D 태아 영상을 모바일 단말(100)에 제공하는 초음파 진단기(300) 및 3D 모델을 가상현실 영상으로 표시하는 HMD 등으로 구현되는 VR 장치(400)를 포함할 수 있다.
모바일 단말(100)은 임산부 또는 그 보호자 등의 사용자가 소지하고 정보통신망을 통해 영상 제공 서버(200)에 연결되어 단말 내 저장된 태아 영상을 영상 제공 서버(200)에 전송하여 태아 영상에 대한 3D 모델을 요청하는 단말기이다.
사용자는 VR 장치(400)로 태아에 대한 보다 실제적인 영상을 보기를 원함에 따라, 자신의 모바일 단말(100)에 저장된 태아 영상을 정보 통신망을 통해 영상 제공 서버(200)에 전송할 수 있다.
이를 위해, 모바일 단말(100)에는 사전에 초음파 진단기(300)로부터 2D 방식의 원 태아 영상을 유, 무선 통신을 통해 전송받아 저장되어야 한다.
또한, 모바일 단말(100)은 태아 영상의 전송시, 당해 임산부의 임신주차 또는 성장 파라미터를 포함하는 성장정보를 더 입력받아 함께 전송함으로써, 영상 제공 서버(200)로부터 태아의 성장 정도에 따라 갱신되는 3D 모델을 제공받을 수 있다.
이러한 모바일 단말(100)로는 영상 제공 서버(200)와 연동할 수 있는 어플리케이션 프로그램을 저장 및 실행할 수 있는 통신모듈, 마이크로프로세서, 메모리 및 저장소를 탑재한 스마트폰 및 태블릿PC 등이 이용될 수 있다.
영상 제공 서버(200)는 정보통신망을 통해 다수의 모바일 단말(100)과 연동할 수 있고, 각 모바일 단말(100)로부터 전송되는 태아 영상을 저장하고, 기계 학습용 데이터로 활용할 수 있다. 또한, 영상 제공 서버(200)는 해당 태아 얼굴의 눈, 코, 입 등으로 부위를 구분하여 얼굴형태의 특징을 지정하고, 데이터 베이스에 축적된 모델 라이브러리와의 비교를 통해 가장 유사한 컴포넌트들을 추출하여 그 조합을 통해 태아 얼굴에 대응하는 3D 모델을 결정하여 3D 태아 영상으로 모바일 단말(100)에 제공할 수 있다.
이러한 영상 제공 서버(200)로는 다수의 모바일 단말(100)로부터 전송되는 태아 영상의 기계학습 수행, 3D 모델 생성 및 제공, 태아 성장에 따른 3D 모델 갱신 등의 작업을 지연없이 처리할 수 있도록 고성능의 마이크로프로세서, 대용량의 메모리 및 저장소를 탑재한 서버 장치가 이용될 수 있다.
초음파 진단기(300)는 소정의 프로브를 탑재하고 있고, 진단대상에 대하여 3D 모델의 원 영상이 되는 초음파 영상을 획득할 수 있다.
또한, 초음파 진단기(300)는 장착된 통신모듈을 이용하여 근거리 무선 통신망을 통해 모바일 단말(100)에 전송하여 원 태아 영상을 실시간으로 표시 및 저장할 수 있도록 한다.
VR 장치(400)는 영상 제공 서버(200)와 유선 또는 무선으로 연결되어 모바일 단말(100)이 제공하는 3D 태아 영상을 재생할 수 있다. 이러한 VR 장치(400)는 디스플레이뿐만 아니라, 지자기 센서, 가속센서 등을 탑재한 헤드 마운티드 장치가 이용될 수 있고, 이에 사용자는 진단대상을 바라보는 방향에 대응하는 태아에 대한 입체영상을 구현할 수 있다.
또한, VR 장치(400)는 가상현실 영상을 재생할 수 있는 소정의 재생단말이 장치되는 하우징 부재로 구성될 수 있고, 모바일 단말(100)이 장착되어 3D 태아 영상을 재생하는 구조로 구현될 수도 있다.
전술한 구조에 따라, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템은 초음파 진단기를 통해 획득한 원 태아 영상을 정보통신망을 통해 영상제공 서버에 제공하여 딥 러닝 기법이 적용된 모델링 절차에 따른 3D 태아 모델을 생성하고 이를 VR 장치를 통해 표시함으로써, 보다 실제 모습과 가까운 3D 태아 모델을 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 모바일 단말을 설명한다.
도 2는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 모바일 단말의 구조를 나타낸 도면이다. 이하의 설명에서, 모바일 단말을 구성하는 각 구성부는 소정의 마이크로프로세서에 의해 실행 가능한 어플리케이션 프로그램으로 구현되어 기록매체에 기록될 수 있다.
도 2를 참조하면, 본 발명의 모바일 단말(100)은 정보통신망에 연결되어 외부 시스템과 데이터를 송수신하는 통신부(110), 통신부(110)를 통해 초음파 진단기로부터 전송되는 태아 영상을 저장하는 이미지 저장소(120), 사용자의 입력에 따라 태아 영상 내 얼굴 영역을 선택받아 ROI정보로 설정하는 ROI 설정부(130), 임산부의 임신기간 및 성장 파라미터를 포함하는 성장정보를 입력받는 성장정보 입력부(140), 복수의 얼굴형태에 대응하는 컴포넌트가 정의된 라이브러리를 저장하는 단말 라이브러리DB(150) 및 사용자로부터 태아의 얼굴부위별 하나 이상의 컴포넌트를 선택받아 유사 모델의 코드워드를 영상 제공 서버에 전송하는 피드백부(160)를 포함할 수 있다.
통신부(110)는 정보통신망에 접속하여 외부 시스템과 데이터를 송수신하는 역할을 하는 것으로, 초음파 진단기로부터 원 태아 영상을 수신하거나, ROI가 설정된 원 태아 영상을 영상 제공 서버에 제공하거나, 영상 제공 서버로부터 3D 태아 영상을 수신할 수 있다.
이미지 저장소(120)는 초음파 진단기로부터 전송되는 원 태아 영상 및 영상 제공 서버로부터 제공되는 3D 태아 영상을 저장할 수 있다. 특히, 태아 영상은 일자별로 분류되어 저장됨에 따라, 사용자는 과거에서부터 현재까지 태아의 변화를 쉽게 확인할 수 있다. 이미지 저장소에 저장된 3D 태아 영상은 모바일 단말(100)상에서 재생되거나, 혹은 외부의 VR 장치로 전송되어 입체 영상의 형태로 재생될 수 있다.
ROI 설정부(130)는 태아 영상에 대하여 사용자가 영역 선택을 통해 관심영역(ROI)을 설정할 수 있는 인터페이스를 제공할 수 있다. 사용자 즉, 임산부 또는 보호자는 모바일 단말(100)의 화면을 통해 표시되는 원 태아 영상에서 태아의 얼굴에 해당하는 영역을 화면에 대한 드래깅(dragging) 등의 동작을 통해 ROI를 지정할 수 있고, ROI 설정부(130)는 해당 태아 영상에 대한 ROI정보를 생성할 수 있다.
성장정보 입력부(140)는 ROI가 설정된 태아 영상에 대한 성장정보를 입력받을 수 있다. 사용자는 태아 영상 및 ROI정보의 업로드와 아울러 현재 업로드하는 태아 영상에 대한 촬영시점, 즉 임신기간과, 태아의 성장과 관련된 각종 정보인 성장 파라미터를 성장정보로서 입력할 수 있다.
상기의 태아 영상, ROI정보 및 성장정보는 동기화하여 통신부(110)를 통해 영상 제공 시스템에 전송될 수 있다. 이에 따라, 영상 제공 시스템은 수집되는 데이터들을 이용하여 3D 모델링 절차를 수행하고, 해당 태아의 3D 태아 모델을 생성하게 된다.
단말 라이브러리DB(150)는 태아의 얼굴의 각 부위에 대응하는 다양한 형태의 3D 컴포넌트를 저장할 수 있다.
본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템은 사용자 피드백(feedback)을 통해 딥 러닝 모델의 성능을 높이는 것을 특징으로 한다. 이에, 사용자 단말(100)에는 태아 얼굴의 각 특징부위, 즉 눈, 코, 입, 얼굴에 대한 다양한 형태의 모델인 3D 컴포넌트가 다수 저장되어 있으며, 사용자는 단말 라이브러리DB(150)에 저장된 3D 컴포넌트에서 자신의 태아 형상과 가장 유사한 컴포넌트를 선택하여 유사얼굴 모델을 생성하고, 이에 대한 코드워드와 영상을 영상 제공 서버측에 제공할 수 있다.
이에, 영상 제공 서버는 사용자 단말(100)로부터 제공된 해당 태아의 유사얼굴 모델의 코드워드를 딥 러닝 모델의 학습 데이터로 활용함으로써, 이후 태아의 3D 모델링시 그 정확도를 향상시키게 된다.
피드백부(160)는 단말 라이브러리DB(150)에 저장된 각 얼굴 부위별 3D 컴포넌트를 추출하고, 사용자가 지정할 수 있도록 인터페이스를 제공할 수 있다. 또한, 피드백부(160)는 사용자에 의해 태아 얼굴의 각 특징부위에 대한 컴포넌트가 선택되면, 이를 종합하여 유사얼굴 모델을 생성하고 유사얼굴 모델의 코드워드를 통신부(110)를 통해 영상 제공 서버에 제공할 수 있다.
전술한 구조에 따라, 본 발명의 실시예에 따른 모바일 단말은 영상 제공 서버에 태아 영상을 제공하여 딥 러닝 절차를 거쳐 실제 태아와 가장 유사한 3D 태아 모델을 요청할 수 있고, 아울러, 유사얼굴 모델의 정보를 피드백함으로써 3D 모델링의 유사도를 극대화할 수 있도록 한다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버를 설명한다.
도 3은 본 발명의 실시예에 따른 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버의 구조를 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템에서 사용자 피드백을 반영하여 3D 모델의 매칭 정확도를 높이는 과정을 나타낸 도면이다.
도 3 및 도 4를 참조하면, 본 발명의 실시예에 따른 영상 제공 서버(200)는, 모바일 단말(100)로부터 태아 영상 및 ROI정보를 전송받는 영상 수신부(210), 상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 영상 처리부(220), 딥 러닝 모델이 참조하는 서버 라이브러리가 저장된 데이터 베이스(230) 및 3D 모델링을 통해 상기 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 3D 모델 생성부(240) 및 모바일 단말(100)로부터 입력되는 로그인 정보에 따라 회원 등록여부를 판단하고, 로그인 절차를 수행하는 회원 관리부(250)를 포함할 수 있다.
영상 수신부(210)는 하나 이상의 모바일 단말(100)로부터 정보통신망을 통해 원 태아 영상을 전송받을 수 있다. 이러한 영상 수신부(210)는 모바일 단말(100)에 설치되는 어플리케이션 프로그램과 연동하여 태아에 대한 3D 입체 영상을 요청 받거나, 태아의 성장기간에 따른 태아 영상을 관리하고자 하는 사용자측으로부터 주기적으로 태아 영상을 수신할 수 있다.
여기서, 영상 수신부(210)는 원 태아 영상과, 그에 설정된 ROI정보 및 현재 태아의 성장기간에 대한 정보를 함께 수신하여 각 태아의 성장시기별 모습을 저장 및 관리할 수 있도록 한다.
영상 처리부(220)는 영상 수신부(210)가 수신한 원 태아 영상을 이용하여 3D 모델링을 수행하여 가상현실용 3D 태아 모델을 생성할 수 있다. 영상 처리부(220)는 원 태아 영상에 ROI정보를 참조하여 태아의 얼굴부분을 추출하고, 3D 모델링을 위한 얼굴의 각 부위와 가장 유사한 얼굴부위별 컴포넌트를 추출할 수 있다.
초음파 3D 태아 영상에서 태아의 얼굴은 일반 얼굴과는 달리 눈, 코, 입이 명확하지 않고, 자궁 내 부유물 또는 태아의 몸 위치, 자세에 따라 얼굴부위가 가려지는 등의 제약점이 존재하므로 태아 영상에 최적화된 학습 모델이 요구되며, 이에 영상 처리부(220)는 공지의 딥 러닝 모델을 통해 실제 얼굴과의 오차가 최소인 얼굴부위별 컴포넌트를 추출하게 된다.
또한, 영상 처리부(220)는 모바일 단말(100)로부터 전송되는 피드백 정보로서 유사얼굴 모델의 코드워드를 이용하여 딥 러닝 모델의 학습 데이터로 이용하여 업데이트 함으로써 3D 모델의 매칭 정확도를 높일 수 있다.
데이터 베이스(230)는 3D 모델링을 위한 각종 정보를 저장할 수 있다. 특히, 영상 처리부(220)는 3D 모델링을 위해 라이브러리를 참조하게 되며, 딥 러닝 모델을 위한 다수의 학습 데이터가 요구된다. 데이터 베이스(230)는 이러한 3D 모델링에 필요한 각종 정보들을 저장할 수 있다.
이러한 데이터 베이스(230)는 그 목적에 따라 논리적 또는 물리적으로 구분되는 복수의 데이터 베이스 시스템으로 이루어질 수 있고, 회원 및 태아정보를 저장하고, 태아의 성장기간에 따른 태아 영상을 관리하기 위한 회원DB(231), 태아의 얼굴부위별 컴포넌트를 포함하는 라이브러리가 저장되는 서버 라이브러리DB(232) 및 기계 학습에 이용되는 학습 데이터가 저장되는 딥 러닝DB(233)을 포함할 수 있다.
모델 생성부(240)는 영상 처리부(220)에 의해 도출된 복수의 얼굴부위별 컴포넌트를 조합하여 표준 3D 태아모델의 얼굴을 갱신할 수 있다.
회원 관리부(250)는 본 발명의 시스템이 제공하는 3D 태아 영상을 이용하고자 하는 임산부 또는 보호자의 회원가입 절차, 로그인 절차 및 회원정보 관리 등의 기능을 제공할 수 있다.
특히, 사용자는 수시로 영상 제공 서버(200)에 접속하여 자신의 계정에 할당된 저장소에 저장된 임신기간별 태아의 영상을 관리 및 확인할 수 있고, 회원 관리부(250)는 모바일 단말(100)의 요청에 따라 로그인 절차를 수행하고, 데이터 베이스(230)의 저장소에 저장된 사용자에 대한 3D 태아 영상을 식별할 수 있다.
전술한 구조에 따라, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버는 사용자측에서 제공하는 태아 영상에 대한 3D 모델을 제공할 수 있고, 사용자측의 피드백을 통해 기계 학습의 정확도를 지속적으로 향상시켜 보다 실제에 가까운 태아 모델을 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 영상 제공 서버에 포함되는 영상 처리부를 설명한다.
도 5는 본 발명의 실시예에 따른 영상 제공 서버의 영상 처리부의 구조를 나타낸 도면이고, 도 6은 본 발명의 실시예에 따른 영상 제공 서버의 3D 모델링 영상을 예시한 도면이다.
도 5 및 도 6을 참조하면, 본 발명의 실시예에 따른 영상 처리부(220)는 입력되는 태아 영상에서 하나 이상의 프레임을 지정하고, 노이즈를 제거하는 전처리부(221), 프레임 상에 ROI정보를 매칭하여 모델링 대상이 되는 얼굴영역을 결정하는 ROI 매칭부(222), 설정된 딥 러닝 모델에 상기 복수의 컴포넌트에 대응하는 코드워드를 학습 데이터로 이용하여 기계 학습절차를 수행하거나 학습 이후 입력 영상에 대한 얼굴특징 코드워드를 추출하기 위한 딥 러닝 모델(224) 및 코드워드에 대응하여 기존 3D 모델에 포함되는 얼굴부위별 하나 이상의 컴포넌트를 교체하는 컴포넌트 선택부(225)를 포함할 수 있다.
전처리부(221)는 입력되는 태아 영상에 대하여, 설정에 따라 3D 모델링의 대상이 되는 소정 범위의 프레임을 지정하고, 지정된 프레임에 대하여 노이즈를 제거할 수 있다.
ROI 매칭부(222)는 노이즈가 제거된 프레임 상에 사용자에 의해 지정된 ROI정보를 매칭하여 얼굴부분을 결정할 수 있다. ROI정보는 태아 영상내 사용자에 의해 선택된 태아의 얼굴영역에 대한 좌표를 포함하고 있고 ROI 매칭부(222)는 ROI정보를 통해 그 얼굴영역에 해당하는 이미지를 추출할 수 있다.
상기의 컴포넌트는 얼굴부위별로 그 형태를 소정개로 분류하여 정의하는 것으로서, 이하의 표 1에 도시된 바와 같이 얼굴부위별 3개의 타입(type)으로 구분될 수 있다.
특징 부위 형태 구분 기준 Type 1 Type 2 Type 3
눈 형태 눈 부위의 돌출 정도 들어감 보통 튀어나옴
코 형태 코가 높고 넓은 정도 낮고 넓음 보통 높음
입 형태 상/하 입술의 돌출 정도 상부 돌출 보통 하부 돌출
얼굴형태 볼과 턱 부분이 갸름한 정도 갸름한 형태 보통 둥근 형태
여기서, 각 얼굴부위의 형태는 3가지 타입 중 어느 하나에 해당할 수 있고, 이진(binary)형식의 값이 지정될 수 있다. 일례로서, 눈 형태가 보통이라면 코드워드는 '010'이 되고, 얼굴형태가 가름한 형태라면, '100'이 된다.딥 러닝 모델(224)은 추출된 코드워드를 학습 데이터로서 입력받아 기계 학습을 수행할 수 있으며, ROI 매칭부(222)에 의한 태아 영상의 얼굴영역에 대응되는 얼굴부위별 특징정보를 라벨링하여 학습 데이터를 생성하게 된다.
상세하게는, 딥 러닝 모델(224)은 학습모드 또는 특징 추출모드로 동작할 수 있고, 학습모드로 동작시에는 사용자가 입력한 수많은 영상과 그에 매칭되는 유사모델 코드워드를 학습에 이용하게 된다. 여기서, 유사모델의 코드워드는 사용자 피드백에 의한 학습시에만 이용될 수 있다.
또한, 특징추출 모드로 동작시에는 학습된 정보를 바탕으로 태아 영상이 입력되면 특징을 코드워드로 출력하게 된다.
이를 위해, 전처리부(211) 및 ROI 매칭부(222)를 통해 태아 영상에서 학습용 영상 프레임들을 지정하고, 각 프레임의 영상영역에서 태아의 얼굴영역을 지정하기 위한 ROI정보를 설정할 수 있으며, 이에 따라, ROI내 태아 얼굴 영역은 학습용 입력 영상으로 활용될 수 있다. 3D 태아 영상은 일반적으로 태아의 움직임을 포함하고 있어 하나의 동영상으로 많은 수의 학습용 영상을 구할 수 있다는 장점이 있다.
여기서, 태아의 얼굴부위의 특징을 지정하기 위해 이와 유사한 3D 모델을 이용한 특징 지정 기능을 구현하게 되는데, 태아 영상의 얼굴 영역에서 얼굴의 형태, 눈 코, 입에 가장 유사한 얼굴 형태 모델과 얼굴 내 부위 모델을 라이브러리로부터 선택하여 전체적으로 태아 영상의 얼굴과 가장 유사한 3D 얼굴 모델을 결정하는 방식으로 구현될 수 있다. 이를 위해, 다양한 얼굴 형태와 얼굴 내 부위 모델들을 컴포넌트로 제작하고 모델의 선택과 교체, 모델의 회전, 이동 등 태아 영상과의 비교가 쉽도록 한다.
여기서, 생성된 학습용 영상과 태아 얼굴 특징 코드워드는 이를 통합적으로 관리하기 위한 학습 데이터베이스로 구축되어 추후 정보의 추가, 수정이 용이하도록 구현할 수 있다.
컴포넌트 선택부(225)는 코드워드에 대응하여 기존 3D 모델에 포함되는 얼굴부위별 하나 이상의 컴포넌트(compt)를 교체함으로써 3D 태아 모델의 생성시 갱신된 컴포넌트를 이용하여 3D 모델링(img)을 수행할 수 있도록 한다.
전술한 구조에 따라, 본 발명의 실시예에 따른 영상 처리부는 3D 태아 모델을 생성하기 위한 컴포넌트를 제공할 수 있고, 사용자로부터 제공되는 유사모델에 의한 피드백을 딥 러닝 모델(224)에 반영할 수 있다. 이때, 컴포넌트는 코드워드 형태로 전달될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법을 설명한다.
도 7은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법을 나타낸 도면이다. 이하의 설명에서 각 단계별 실행주체는 별도의 기재가 없더라도 전술한 본 발명의 영상 제공 서버 및 그 구성부가 된다.
도 7을 참조하면, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법은, 모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 단계(S100), ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 단계(S110), 3D 모델링을 통해 얼굴부위별 특징이 반영된 3D 태아 영상을 생성하는 단계(S120) 및 3D 태아 영상을 모바일 단말에 제공하는 단계(S130)를 포함할 수 있다.
모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 단계(S100)에서는, 모바일 단말이 초음파 진단기기로부터 태아에 대한 원 태아영상을 전송받아 저장하고, 사용자의 지정에 따라 ROI정보를 생성하여 저장된 원 태아 영상과 함께 영상 제공 서버에 전송하게 된다.
ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 단계(S110)에서는 영상 제공 서버가 ROI정보에 포함된 영상좌표에 따라 태아 영상내 얼굴영역을 추출하고, 딥 러닝 모델을 통해 얼굴영역 내 각 부위에 대하여 특징을 추출하게 된다.
3D 모델링을 통해 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 단계(S120)에서는 딥 러닝 모델이 얼굴부위별 특징을 추출하고, 하나의 3D 태아 모델을 생성하게 된다.
그리고, 3D 태아 모델을 모바일 단말에 제공하는 단계(S130)에서는 영상 제공 서버가 해당 모바일 단말에 생성한 3D 태아 모델을 제공하게 된다.
이에 따라, 사용자측에서는 모바일 단말을 통해 태아에 대하여 다양한 시점에서 입체적인 태아 영상을 감상할 수 있고, 또한 모바일 단말과 연동하는 VR 장치를 통해 가상현실 방식으로 3D 태아 모델을 감상할 수 있다.
또한, S130 단계 이후, 딥 러닝 모델의 성능 향상을 위한 사용자 피드백에 대한 단계로서, 3D 태아 영상을 상기 모바일 단말에 제공하는 단계 이후, 모바일 단말로부터 사용자에 의해 선택된 태아의 얼굴부위별 하나 이상의 컴포넌트를 포함하는 유사모델에 대한 코드워드를 전송받는 단계 및 코드워드를 학습 데이터로 이용하여 딥 러닝 모델에 대한 기계 학습절차를 수행하는 단계를 더 포함할 수 있다.
이하, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 태아 영상 제공 시스템에 의한 딥 러닝 과정 및 그 과정에서 코드워드를 추출하는 과정을 통해 본 발명의 기술적 사상을 설명한다.
도 8은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 태아 영상 제공 시스템의 딥 러닝 및 코드워드 추출과정을 모식화한 도면이다.
도 8을 참조하면, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 태아 영상 제공 시스템은 다양한 태아의 영상 학습 데이터로서 이용하며, 각 태아의 영상을 준비하고, 영상에서 얼굴에 해당하는 ROI정보를 지정하여 딥 러닝 모델에 적용함으로써 3D 모델링을 수행하도록 설정된다.
딥 러닝 모델의 학습을 위해 다수의 학습용 영상과 해당 영상의 얼굴 특징이 반영된 코드워드를 미리 정의하고 딥러닝 모델의 학습 절차를 수행한다. 학습 과정은 미리 정의된 영상과 그에 매칭되는 코드워드가 출력이 되도록 오차를 줄이는 방향으로 딥 러닝 모델을 최적화하는 절차이다.(a)
여기서, 이진화 데이터로서, 컴포넌트의 식별 및 추출은 그에 해당하는 코드워드를 매개로 하여 수행될 수 있다.
이에 따라, 사용자가 현재 태아 영상과 ROI정보를 제공하면, 사용자의 피드백이 반영된 학습된 딥 러닝 모델을 통해 얼굴의 각 부위에 대응하는 컴포넌트의 코드워드를 추출하고 3D 모델을 생성하게 된다(b).
본 발명의 실시예에 따르면, 사용자의 피드백에 따라, 딥 러닝 모델의 학습 데이터를 업데이트하여 오차를 줄이고 3D 모델의 품질을 개선할 수 있다.
이를 위해, 사용자측의 모바일 단말에 복수의 컴포넌트를 포함하는 라이브러리를 제공하고, 사용자가 라이브러리에서 제공하는 얼굴부위별 컴포넌트에서 가장 유사하다고 판단되는 컴포넌트들을 선택하여 유사모델을 생성하고 코드워드를 제공하면, 영상 제공 서버는 이를 학습 데이터로 이용하게 된다.
상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.
* 부호의 설명 *
100 : 모바일 단말 110 : 통신부
120 : 이미지 저장소 130 : ROI 설정부
140 : 성장정보 입력부 150 : 단말 라이브러리DB
160 : 피드백부 200 : 영상 제공 서버
210 : 영상 수신부 220 : 영상 처리부
221 : 전처리부 222 : ROI 매칭부
224 : 딥 러닝 모델 225 : 컴포넌트 선택부
230 : 데이터 베이스 240 : 3D 모델 생성부
250 : 회원 관리부 300 : 초음파 진단기
400 : VR 장치

Claims (10)

  1. 모바일 단말로부터 제공되는 태아 영상을 분석하여 3D 모델을 생성하는 영상 제공 서버를 포함하는 딥 러닝 기반 가상현실 태아 영상 제공 시스템으로서,
    상기 영상 제공 서버는,
    상기 모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 영상 수신부;
    상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 영상 처리부; 및
    상기 얼굴부위별 특징에 따른 부위 모델들의 선택 및 합성을 통해 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 3D 모델 생성부
    를 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템.
  2. 제 1 항에 있어서,
    상기 영상 처리부는,
    입력되는 태아 영상에서 하나 이상의 프레임을 지정하고, 노이즈를 제거하는 전처리부; 및
    상기 프레임 상에 ROI정보를 매칭하여 모델링 대상이 되는 얼굴영역을 결정하는 ROI 매칭부
    를 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템.
  3. 제 2 항에 있어서,
    상기 영상 수신부는 태아 영상 및 ROI 정보의 수신과 함께 상기 모바일 단말로부터 선택된 복수의 컴포넌트로 이루어지는 유사모델에 대한 코드워드를 수신하고,
    상기 영상 처리부는,
    설정에 따라 상기 복수의 컴포넌트에 대응하는 코드워드를 학습 데이터로 이용하여 기계 학습절차를 수행하거나, 학습 이후 입력 영상에 대한 얼굴특징 코드워드를 추출하기 위한 딥 러닝 모델
    를 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템.
  4. 제 3 항에 있어서,
    상기 얼굴부위는 눈, 코, 입 및 얼굴 중, 하나 이상을 포함하고,
    상기 코드워드는,
    상기 얼굴부위의 형태를 이진(binary)형식으로 나타낸 코드인 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템.
  5. 제 4 항에 있어서,
    상기 영상 처리부는,
    상기 코드워드에 대응하여 기존 3D 모델에 포함되는 얼굴부위별 하나 이상의 컴포넌트를 교체하는 컴포넌트 선택부
    를 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템.
  6. 제 1 항에 있어서,
    상기 영상 제공 서버는,
    상기 모바일 단말로부터 입력되는 로그인 정보에 따라 회원 등록여부를 판단하고, 로그인 절차를 수행하는 회원 관리부를 포함하고,
    상기 영상 처리부는,
    상기 회원 관리부에 의해 식별된 사용자에게 할당된 저장소에 상기 태아 영상을 저장하고, 저장된 3D 태아 영상을 추출하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템.
  7. 제 1 항에 있어서,
    상기 영상 처리부는 상기 모바일 단말로부터 임산부의 임신기간 및 성장 파라미터를 포함하는 성장정보를 수신하고,
    상기 3D 모델 생성부는,
    생성된 3D 모델을 임신기간별로 성장 파라미터에 따라 데이터 베이스에 저장하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템.
  8. 제 1항에 있어서,
    상기 모바일 단말은,
    정보통신망에 연결되어 외부 시스템과 통신하는 통신부;
    상기 통신부를 통해 초음파 진단기로부터 전송되는 상기 태아 영상을 저장하는 저장소;
    사용자의 입력에 따라 상기 태아 영상 내 얼굴 영역을 선택받아 ROI정보로 설정하는 ROI 설정부;
    임산부의 임신기간 및 성장 파라미터를 포함하는 성장정보를 입력받는 성장 정보 입력부;
    복수의 얼굴형태에 대응하는 컴포넌트가 정의된 라이브러리를 저장하는 단말 라이브러리DB; 및
    사용자로부터 태아의 얼굴부위별 하나 이상의 컴포넌트를 선택받아 유사 모델의 코드워드를 상기 영상 제공 서버에 전송하는 피드백부
    를 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템.
  9. 청구항 1에 기재된 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버에 의한 모델 제공 방법으로서,
    모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 단계;
    상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 단계;
    3D 모델링을 통해 상기 얼굴부위별 특징이 반영된 3D 태아 영상을 생성하는 단계; 및
    상기 3D 태아 영상을 상기 모바일 단말에 제공하는 단계
    를 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법.
  10. 제 9 항에 있어서,
    상기 3D 태아 영상을 상기 모바일 단말에 제공하는 단계 이후,
    상기 모바일 단말로부터 사용자에 의해 선택된 태아의 얼굴부위별 하나 이상의 컴포넌트를 포함하는 유사모델에 대한 코드워드를 전송받는 단계; 및
    상기 코드워드를 학습 데이터로 이용하여 상기 딥 러닝 모델에 대한 기계 학습절차를 수행하는 단계
    를 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법.
PCT/KR2019/011011 2018-08-31 2019-08-28 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법 WO2020045987A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/271,032 US20210315539A1 (en) 2018-08-31 2019-08-28 System and method for providing deep learning-based virtual reality 3d embryo model

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180103412 2018-08-31
KR10-2018-0103412 2018-08-31
KR10-2019-0007744 2019-01-21
KR1020190007744A KR102027974B1 (ko) 2018-08-31 2019-01-21 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2020045987A1 true WO2020045987A1 (ko) 2020-03-05

Family

ID=68208225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/011011 WO2020045987A1 (ko) 2018-08-31 2019-08-28 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법

Country Status (3)

Country Link
US (1) US20210315539A1 (ko)
KR (1) KR102027974B1 (ko)
WO (1) WO2020045987A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11696740B2 (en) 2020-08-17 2023-07-11 Clarius Mobile Health Corp. Method and system for defining cut lines to generate a 3D fetal representation
CN116757967A (zh) * 2023-08-18 2023-09-15 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102615255B1 (ko) * 2020-11-30 2023-12-19 동의대학교 산학협력단 의료용 이미지의 3차원 메쉬 생성을 위한 장치 및 방법
KR102334666B1 (ko) * 2021-05-20 2021-12-07 알레시오 주식회사 얼굴 이미지 생성 방법
KR20230033917A (ko) 2021-09-02 2023-03-09 길재소프트 주식회사 3d 태아 아바타 얼굴 구성 장치 및 방법
CN114652354B (zh) * 2022-03-03 2023-03-10 广州三瑞医疗器械有限公司 一种胎头姿态3d展示方法
KR102664430B1 (ko) * 2022-12-07 2024-05-09 박성용 반려 동물에 대한 3d모델링을 제공하는 방법 및 디바이스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070058070A (ko) * 2005-12-01 2007-06-07 주식회사 메디슨 Ｓｖｍ 기반 질감분류를 이용하여 추출된 태아의 표면영상을 기초로 태아의 3차원 초음파 영상을 형성하는초음파 시스템 및 방법
KR20100040557A (ko) * 2008-10-10 2010-04-20 주식회사 메디슨 태아의 미래 얼굴 영상을 제공하는 시스템 및 방법
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
JP2016083192A (ja) * 2014-10-27 2016-05-19 日立アロカメディカル株式会社 超音波診断装置
KR20160115366A (ko) * 2015-03-27 2016-10-06 주식회사 스토리앤 스마트폰의 애플리케이션을 이용한 산부인과 태아정보 서비스 제공 시스템 및 그 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130112127A (ko) 2012-04-03 2013-10-14 주식회사 사이버메드 가상 엔도스코프를 이용하여 3차원 모델을 생성하는 방법
JP6196951B2 (ja) * 2014-08-22 2017-09-13 株式会社日立製作所 超音波診断画像生成装置、及び方法
US11694083B2 (en) * 2017-10-15 2023-07-04 Alethio Co. Signal translation system and signal translation method
JP7237147B2 (ja) * 2018-08-23 2023-03-10 コーニンクレッカ フィリップス エヌ ヴェ バイオメトリック測定及び品質評価
JP7193979B2 (ja) * 2018-10-29 2022-12-21 富士フイルムヘルスケア株式会社 医用撮像装置、画像処理装置、および、画像処理方法
KR20200109879A (ko) * 2019-03-15 2020-09-23 길재소프트 주식회사 환자의 초음파 이미지 및 정보로 3d 모델 생성 및 표시 방법 그리고 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070058070A (ko) * 2005-12-01 2007-06-07 주식회사 메디슨 Ｓｖｍ 기반 질감분류를 이용하여 추출된 태아의 표면영상을 기초로 태아의 3차원 초음파 영상을 형성하는초음파 시스템 및 방법
KR20100040557A (ko) * 2008-10-10 2010-04-20 주식회사 메디슨 태아의 미래 얼굴 영상을 제공하는 시스템 및 방법
KR20150108701A (ko) * 2014-03-18 2015-09-30 삼성전자주식회사 의료 영상 내 해부학적 요소 시각화 시스템 및 방법
JP2016083192A (ja) * 2014-10-27 2016-05-19 日立アロカメディカル株式会社 超音波診断装置
KR20160115366A (ko) * 2015-03-27 2016-10-06 주식회사 스토리앤 스마트폰의 애플리케이션을 이용한 산부인과 태아정보 서비스 제공 시스템 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11696740B2 (en) 2020-08-17 2023-07-11 Clarius Mobile Health Corp. Method and system for defining cut lines to generate a 3D fetal representation
CN116757967A (zh) * 2023-08-18 2023-09-15 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质
CN116757967B (zh) * 2023-08-18 2023-11-03 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质

Also Published As

Publication number Publication date
US20210315539A1 (en) 2021-10-14
KR102027974B1 (ko) 2019-10-04

Similar Documents

Publication Publication Date Title
WO2020045987A1 (ko) 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법
WO2019132168A1 (ko) 수술영상데이터 학습시스템
CN106296017A (zh) 一种客房入住的管理方法及装置
CN107320124A (zh) 医学成像系统中设定定位片扫描的方法及医学成像系统
WO2018182130A1 (ko) Ar을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN112071387A (zh) 一种自动化医学影像的电子胶片和检查报告获取方法及系统
WO2022131642A1 (ko) 의료 영상 기반 질환 중증도 결정 장치 및 방법
WO2021034138A1 (ko) 치매 평가 방법 및 이를 이용한 장치
CN111883235A (zh) 基于医学影像的数字胶片及报告的获取方法及系统
JP2020140630A (ja) 注視点推定システム、注視点推定方法、注視点推定プログラム、及び、これが記録された情報記録媒体
CN115457196A (zh) 一种咬合调整方法、装置、设备及介质
CN112862752A (zh) 一种图像处理显示方法、系统电子设备及存储介质
CN108550390A (zh) 智慧医疗管理系统与管理方法
CN201286718Y (zh) 一种b超一体化装置
CN114882983B (zh) 一种智慧病房交互方法、系统及储存介质
WO2020230972A1 (ko) 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치
CN115191975A (zh) 一种应用于血压计的一体化身份录入控制装置及使用方法
CN110473637A (zh) 一种云影像在线阅片系统及方法
CN107145745A (zh) 电子病历信息采集方法
WO2023090601A1 (ko) 사용자 단말기 및 사용자의 신체 부위 별 체형 정보를 제공하는 방법
CN103462621A (zh) 一种x射线数字化成像系统
CN112641466A (zh) 一种超声人工智能辅助诊断方法及装置
CN109060831A (zh) 一种基于底板拟合的自动脏污检测方法
WO2023018259A1 (ko) 증강 현실 및 가상 현실을 이용하여 원격으로 피부 질환을 진단하는 진단 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19855439

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08/07/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19855439

Country of ref document: EP

Kind code of ref document: A1