KR20200109879A - Method and apparatus for 3d modeling of ultrasound image - Google Patents

Method and apparatus for 3d modeling of ultrasound image Download PDF

Info

Publication number
KR20200109879A
KR20200109879A KR1020190029671A KR20190029671A KR20200109879A KR 20200109879 A KR20200109879 A KR 20200109879A KR 1020190029671 A KR1020190029671 A KR 1020190029671A KR 20190029671 A KR20190029671 A KR 20190029671A KR 20200109879 A KR20200109879 A KR 20200109879A
Authority
KR
South Korea
Prior art keywords
fetal
image
model
information
ultrasound
Prior art date
Application number
KR1020190029671A
Other languages
Korean (ko)
Inventor
이상림
김형진
Original Assignee
길재소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 길재소프트 주식회사 filed Critical 길재소프트 주식회사
Priority to KR1020190029671A priority Critical patent/KR20200109879A/en
Publication of KR20200109879A publication Critical patent/KR20200109879A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

The present invention relates to a method for generating and displaying a three-dimensional model using ultrasound images and information of a patient. The present invention relates to a method for generating and displaying a three-dimensional model using ultrasound images and information of a patient which generates the three-dimensional model for simulating movement of blood vessels, heat, and the like, blood flow rate and the like of the patient by having one or more ultrasound images (2d, 3d, 4d) and ultrasound data, and a device thereof.

Description

환자의 초음파 이미지 및 정보로 3D 모델 생성 및 표시 방법 그리고 장치{METHOD AND APPARATUS FOR 3D MODELING OF ULTRASOUND IMAGE}Method and device for creating and displaying 3D model with patient's ultrasound image and information{METHOD AND APPARATUS FOR 3D MODELING OF ULTRASOUND IMAGE}

본 발명은 환자의 초음파 이미지 및 정보로 3D 모델 생성 및 표시 방법에 관한 것으로, 하나 이상의 초음파 이미지 (2d, 3d, 4d)와 초음파 데이터 환자 데이터를 가지고 환자의 혈관 심장등의 움직임과 혈류의 속도 등을 시물레이션 하기 위한 3d 모델을 생성하고자 하는 환자의 초음파 이미지 및 정보로 3D 모델 생성 및 표시 방법 그리고 장치에 관한 것이다.The present invention relates to a method of generating and displaying a 3D model using ultrasound images and information of a patient, including one or more ultrasound images (2d, 3d, 4d) and ultrasound data, and the movement of the patient's blood vessels, heart, etc., and the speed of blood flow. The present invention relates to a method and an apparatus for generating and displaying a 3D model using ultrasound images and information of a patient who wants to generate a 3D model for simulating the image.

현재, 초음파 태아 영상은 2D 영상을 기본으로 제공되고 있으며, 환부의 정확한 판단을 위해 입체 초음파 이미지의 변환이 필요한 실정이다.Currently, ultrasound fetal images are provided based on 2D images, and conversion of a stereoscopic ultrasound image is required to accurately determine the affected area.

본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로, 본 발명은 환자의 초음파 이미지 및 정보로 3D 모델 생성 및 표시 방법을 제공하는 데 과제가 있다.The present invention has been conceived to solve the above-described problem, and the present invention has a problem to provide a method of generating and displaying a 3D model using ultrasound images and information of a patient.

본 발명은 하나 이상의 초음파 이미지 (2d, 3d, 4d)와 초음파 데이터 환자 데이터를 가지고 환자의 혈관 심장등의 움직임과 혈류의 속도 등을 시물레이션 하기 위한 3d 모델을 생성하고자 하는 환자의 초음파 이미지 및 정보로 3D 모델 생성 및 표시 방법을 제공할 수 있다.The present invention uses one or more ultrasound images (2d, 3d, 4d) and ultrasound data and patient data, and uses ultrasound images and information of a patient who wants to create a 3D model for simulating the movement of the patient's blood vessels, heart, etc. A 3D model creation and display method can be provided.

본 발명의 실시예에 따르면, 2D 기반의 초음파 이미지를 다양한 정보를 이용 3D 모델링 하여 제공함으로써, 보다 정확하고 구체적인 이미지 정보를 제공할 수 있도록 하는 효과가 있다.According to an embodiment of the present invention, it is possible to provide more accurate and detailed image information by providing a 2D-based ultrasound image by 3D modeling using various information.

도 1은 본 발명의 실시예에 따른 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스의 영상 제공 서버의 구조를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 영상 제공 서버의 영상 처리부의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스에 의해 생성된 3D 태아 모델 및 이를 시청하는 모습을 예시한 도면이다.
도4 본 발명의 실시예에 따른 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스에서 태아 심음 서비스를 추가한 형태를 나타낸 도면이다.1 is a diagram showing the structure of an image providing server for a 3D fetal model generation service using a stereoscopic ultrasound fetal image according to an embodiment of the present invention.
2 is a diagram showing the structure of an image processing unit of an image providing server according to an embodiment of the present invention.
3 is a diagram illustrating a 3D fetal model generated by a 3D fetal model generation service using a stereoscopic ultrasound fetal image according to an exemplary embodiment of the present invention, and viewing the same.
4 is a diagram showing a form in which a fetal heart sound service is added from a 3D fetal model generation service using a stereoscopic ultrasound fetal image according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예에 따른 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스를 설명한다.Hereinafter, a 3D fetal model generation service using a stereoscopic ultrasound fetal image according to an embodiment of the present invention will be described with reference to the drawings.

본 발명은 환자의 초음파 이미지 및 정보로 3D 모델 생성 및 표시 방법에 관한 것으로, 하나 이상의 초음파 이미지 (2d, 3d, 4d)와 초음파 데이터 환자 데이터를 가지고 환자의 혈관 심장등의 움직임과 혈류의 속도 등을 시물레이션 하기 위한 3d 모델을 생성하고자 하는 환자의 초음파 이미지 및 정보로 3D 모델 생성 및 표시 방법 그리고 장치에 관한 것이다.The present invention relates to a method of generating and displaying a 3D model using ultrasound images and information of a patient, including one or more ultrasound images (2d, 3d, 4d) and ultrasound data, and the movement of the patient's blood vessels, heart, etc., and the speed of blood flow. The present invention relates to a method and an apparatus for generating and displaying a 3D model using ultrasound images and information of a patient who wants to generate a 3D model for simulating the image.

도 1은 본 발명의 실시예에 따른 기반 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스의 구조를 나타낸 도면이다.1 is a diagram showing the structure of a 3D fetal model generation service using a stereoscopic ultrasound fetus image based on an embodiment of the present invention.

도 3a 및 도 3b를 참조하면, 본 발명의 실시예에 따른 영상 제공 서버(200)는, 모바일 단말(100)로부터 태아 영상 및 ROI정보를 전송받는 영상 수신부(210), 상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 영상 처리부(220), 딥 러닝 모델이 참조하는 서버 라이브러리가 저장된 데이터 베이스(230) 및 3D 모델링을 통해 상기 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 3D 모델 생성부(240) 및 모바일 단말(100)로부터 입력되는 로그인 정보에 따라 회원 등록여부를 판단하고, 로그인 절차를 수행하는 회원 관리부(250)를 포함할 수 있다.3A and 3B, an image providing server 200 according to an embodiment of the present invention includes an image receiving unit 210 receiving fetal image and ROI information from the mobile terminal 100, corresponding to the ROI information. An image processing unit 220 that extracts features for each face by inputting fetal images into a deep learning model, a database 230 storing server libraries referenced by the deep learning model, and 3D reflecting the features of each face through 3D modeling It may include a 3D model generation unit 240 for generating a fetal model and a member management unit 250 for determining whether to register a member according to login information input from the mobile terminal 100 and performing a login procedure.

영상 수신부(210)는 하나 이상의 모바일 단말(100)로부터 정보통신망을 통해 원 태아 영상을 전송 받을 수 있다. 이러한 영상 수신부(210)는 모바일 단말(100)에 설치되는 어플리케이션 프로그램과 연동하여 태아에 대한 3D 입체 영상을 요청 받거나, 태아의 성장기간에 따른 태아 영상을 관리하고자 하는 사용자측으로부터 주기적으로 태아 영상을 수신할 수 있다. The image receiving unit 210 may receive a raw fetal image from one or more mobile terminals 100 through an information communication network. The image receiving unit 210 receives a request for a 3D stereoscopic image of the fetus in connection with an application program installed in the mobile terminal 100, or periodically receives a fetal image from a user who wants to manage the fetal image according to the growth period of the fetus. can do.

여기서, 영상 수신부(210)는 원 태아 영상과, 그에 설정된 ROI정보 및 현재 태아의 성장기간에 대한 정보를 함께 수신하여 각 태아의 성장시기별 모습을 저장 및 관리할 수 있도록 한다.Here, the image receiving unit 210 receives the original fetal image, ROI information set thereto, and information on the current fetal growth period together to store and manage the appearance of each fetus for each growth period.

영상 처리부(220)는 영상 수신부(210)가 수신한 원 태아 영상을 이용하여 3D 모델링을 수행하여 가상현실용 3D 태아 모델을 생성할 수 있다. 영상 처리부(220)는 원 태아 영상에 ROI정보를 참조하여 태아의 얼굴부분을 추출하고, 3D 모델링을 위한 얼굴의 각 부위와 가장 유사한 얼굴부위별 컴포넌트를 추출할 수 있다. The image processing unit 220 may generate a 3D fetal model for virtual reality by performing 3D modeling using the original fetal image received by the image receiving unit 210. The image processing unit 220 may extract a face part of the fetus by referring to ROI information in the original fetal image, and extract a component for each face part most similar to each part of the face for 3D modeling.

초음파 3D 태아 영상에서 태아의 얼굴은 일반 얼굴과는 달리 눈 코 입이 명확하지 않고, 자궁내 부유물 또는 태아의 몸 위치, 자세에 따라 얼굴부위가 가려지는 등의 제약 점이 존재하므로 태아 영상에 최적화된 학습 모델이 요구되며, 이에 영상 처리부(220)는 공지의 러닝 머신을 통해 실제 얼굴과의 오차가 최소인 얼굴부위별 컴포넌트를 추출하게 된다.In the ultrasound 3D fetal image, the fetus's face is optimized for fetal images because the eyes, nose, and mouth are not clear, and the face of the fetus is hidden depending on the position and posture of the fetus or a float in the uterus. A learning model is required, and thus, the image processing unit 220 extracts a component for each face part with the minimum error with the real face through a known treadmill.

또한, 영상 처리부(220)는 모바일 단말(100)로부터 전송되는 피드백 정보로서 유사얼굴 모델의 코드워드를 이용하여 딥 러닝 모델의 학습 데이터로 이용하여 업데이트 함으로써 3D 모델의 매칭 정확도를 높일 수 있다.In addition, the image processing unit 220 may increase the accuracy of matching of the 3D model by using the codeword of the similar face model as the feedback information transmitted from the mobile terminal 100 and updating the training data of the deep learning model.

데이터 베이스(230)는 3D 모델링을 위한 각종 정보를 저장할 수 있다. 특히, 영상 처리부(220)는 3D 모델링을 위해 라이브러리를 참조하게 되며, 딥 러닝 모델을 위한 다수의 학습 데이터가 요구된다. 데이터 베이스(230)는 이러한 3D 모델링에 필요한 각종 정보들을 저장할 수 있다.The database 230 may store various types of information for 3D modeling. In particular, the image processing unit 220 refers to a library for 3D modeling, and a plurality of training data for a deep learning model is required. The database 230 may store various types of information necessary for such 3D modeling.

이러한 데이터 베이스(230)는 그 목적에 따라 논리적 또는 물리적으로 구분되는 복수의 데이터 베이스 시스템으로 이루어질 수 있고, 회원 및 태아정보를 저장하고, 태아의 성장기간에 따른 태아 영상을 관리하기 위한 회원DB(231), 태아의 얼굴부위별 컴포넌트를 포함하는 라이브러리가 저장되는 서버 라이브러리DB(232) 및 기계 학습에 이용되는 학습 데이터가 저장되는 딥 러닝DB(233)을 포함할 수 있다.This database 230 may consist of a plurality of database systems logically or physically divided according to its purpose, and a member DB for storing member and fetal information, and managing fetal images according to the growth period of the fetus ( 231), a server library DB 232 in which a library including components for each face of the fetus is stored, and a deep learning DB 233 in which learning data used for machine learning is stored.

모델 생성부(240)는 영상 처리부(220)에 의해 도출된 복수의 얼굴부위별 컴포넌트를 조합하여 표준 3D 태아모델의 얼굴을 갱신할 수 있다. The model generator 240 may update the face of the standard 3D fetal model by combining components for each face part derived by the image processing unit 220.

회원 관리부(250)는 본 발명의 시스템이 제공하는 3D 태아 영상을 이용하고자 하는 임산부 또는 보호자의 회원가입 절차, 로그인 절차 및 회원정보 관리 등의 기능을 제공할 수 있다.The member management unit 250 may provide functions such as a membership registration procedure, a login procedure, and member information management of a pregnant woman or guardian who wants to use the 3D fetal image provided by the system of the present invention.

특히, 사용자는 수시로 영상 제공 서버(200)에 접속하여 자신의 계정에 할당된 저장소에 저장된 임신기간별 태아의 영상을 관리 및 확인할 수 있고, 회원 관리부(250)는 모바일 단말(100)의 요청에 따라 로그인 절차를 수행하고, 데이터 베이스(230)의 저장소에 저장된 사용자에 대한 3D 태아 영상을 식별할 수 있다.In particular, the user can access the image providing server 200 from time to time to manage and check the image of the fetus for each pregnancy period stored in the storage allocated to his account, and the member management unit 250 is provided according to the request of the mobile terminal 100. A login procedure may be performed, and a 3D fetal image of a user stored in the storage of the database 230 may be identified.

전술한 구조에 따라, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버는 사용자측에서 제공하는 태아 영상에 대한 3D 모델을 제공할 수 있고, 사용자측의 피드백을 통해 기계 학습의 정확도를 지속적으로 향상시켜 보다 실제에 가까운 태아 모델을 제공할 수 있다.According to the above-described structure, the image providing server of the deep learning-based virtual reality 3D fetal model providing system according to an embodiment of the present invention can provide a 3D model for the fetal image provided by the user, and through the user's feedback, the machine By continuously improving the accuracy of learning, we can provide a more realistic fetal model.

도 2는 본 발명의 실시예에 따른 영상 제공 서버의 영상 처리부의 구조를 나타낸 도면이다. 2 is a diagram showing the structure of an image processing unit of an image providing server according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 실시예에 따른 영상 처리부(220)는 입력되는 태아 영상에서 하나 이상의 프레임을 지정하고, 노이즈를 제거하는 전처리부(221), 프레임 상에 ROI정보를 매칭하여 모델링 대상이 되는 얼굴영역을 결정하는 ROI 매칭부(222), 설정된 딥 러닝 모델에 상기 복수의 컴포넌트에 대응하는 코드워드를 학습 데이터로 이용하여 기계 학습절차를 수행하는 딥 러닝 모델(224) 및 코드워드에 대응하여 기존 3D 모델에 포함되는 얼굴부위별 하나 이상의 컴포넌트를 교체하는 컴포넌트 선택부(225)를 포함할 수 있다.Referring to FIG. 2, the image processing unit 220 according to an embodiment of the present invention designates one or more frames from an input fetal image, and a preprocessor 221 that removes noise, and modeling by matching ROI information on the frame. ROI matching unit 222 for determining a target face region, a deep learning model 224 and a codeword for performing a machine learning procedure using codewords corresponding to the plurality of components in a set deep learning model as training data In response to, a component selection unit 225 for replacing one or more components for each face included in the existing 3D model may be included.

전처리부(221)는 입력되는 태아 영상에 대하여, 설정에 따라 3D 모델링의 대상이 되는 소정 범위의 프레임을 지정하고, 지정된 프레임에 대하여 노이즈를 제거할 수 있다.The preprocessor 221 may designate a frame of a predetermined range to be subjected to 3D modeling according to a setting with respect to the input fetal image, and may remove noise for the designated frame.

ROI 매칭부(222)는 노이즈가 제거된 프레임 상에 사용자에 의해 지정된 ROI정보를 매칭하여 얼굴부분을 결정할 수 있다. ROI정보는 태아 영상내 사용자에 의해 선택된 태아의 얼굴영역에 대한 좌표를 포함하고 있고 ROI 매칭부(222)는 ROI정보를 통해 그 얼굴영역에 해당하는 이미지를 추출할 수 있다.The ROI matching unit 222 may determine a face part by matching ROI information designated by a user on a frame from which noise has been removed. The ROI information includes coordinates for the face region of the fetus selected by the user in the fetal image, and the ROI matching unit 222 may extract an image corresponding to the face region through the ROI information.

딥 러닝 모델(224)은 추출된 코드워드를 학습 데이터로서 입력받아 기계 학습을 수행할 수 있으며, ROI 매칭부(222)에 의한 태아 영상의 얼굴영역에 대응되는 얼굴부위별 특징정보를 라벨링하여 학습 데이터를 생성하게 된다.The deep learning model 224 may perform machine learning by receiving the extracted codeword as training data, and the ROI matching unit 222 learns by labeling feature information for each face region corresponding to the face region of the fetal image. Data is created.

상세하게는, 딥 러닝 모델(224)는 학습모드 또는 특징 추출모드로 동작할 수 있고, 학습모드로 동작시에는 사용자가 입력한 수많은 영상과 그에 매칭되는 유사모델 코드워드를 학습에 이용하게 된다. 여기서 유사모델의 코드워드는 사용자 피드백에 의한 학습시에만 이용될 수 있다.In detail, the deep learning model 224 may operate in a learning mode or a feature extraction mode, and when operating in a learning mode, a number of images input by a user and a similar model codeword matching thereto are used for learning. Here, the codeword of the similar model can be used only when learning based on user feedback.

또한, 특징추출 모드로 동작시에는 학습된 정보를 바탕으로 태아 영상이 입력되면 특징을 코드워드로 출력하게 된다.In addition, when operating in the feature extraction mode, when a fetal image is input based on the learned information, the feature is output as a codeword.

이를 위해, 전처리부(211) 및 ROI 매칭부(222)를 통해 태아 영상에서 학습용 영상 프레임들을 지정하고, 각 프레임의 영상영역에서 태아의 얼굴영역을 지정하기 위한 ROI정보를 설정할 수 있으며, 이에 따라, ROI내 태아 얼굴 영역은 학습용 입력 영상으로 활용될 수 있다. 3D 태아 영상은 일반적으로 태아의 움직임을 포함하고 있어 하나의 동영상으로 많은 수의 학습용 영상을 구할 수 있다는 장점이 있다.To this end, through the pre-processing unit 211 and the ROI matching unit 222, it is possible to designate image frames for learning in the fetal image, and set ROI information for designating the face region of the fetus in the image region of each frame. , The fetal face area in the ROI may be used as an input image for learning. Since 3D fetal images generally include fetal movements, there is an advantage that a large number of learning images can be obtained with one video.

여기서, 태아의 얼굴부위의 특징을 지정하기 위해 이와 유사한 3D 모델을 이용한 특징 지정 기능을 구현하게 되는데, 태아 영상의 얼굴 영역에서 얼굴의 형태, 눈 코, 입에 가장 유사한 얼굴 형태 모델과 얼굴 내 부위 모델을 라이브러리로부터 선택하여 전체적으로 태아 영상의 얼굴과 가장 유사한 3D 얼굴 모델을 결정하는 방식으로 구현될 수 있다. 이를 위해, 다양한 얼굴 형태와 얼굴 내 부위 모델들을 컴포넌트로 제작하고 모델의 선택과 교체, 모델의 회전, 이동 등 태아 영상과의 비교가 쉽도록 한다.Here, in order to designate the features of the fetus's face, a feature designation function using a similar 3D model is implemented. In the face area of the fetus image, the face shape model most similar to the face, eyes, nose, and mouth, and the area inside the face It can be implemented by selecting a model from a library and determining a 3D face model that is most similar to the face of the fetus image as a whole. To this end, various facial shapes and models of parts within the face are produced as components, and comparison with fetal images is made easy, such as selection and replacement of models, rotation and movement of models.

여기서, 생성된 학습용 영상과 태아 얼굴 특징 코드워드는 이를 통합적으로 관리하기 위한 학습 데이터베이스로 구축되어 추후 정보의 추가, 수정이 용이하도록 구현할 수 있다.Here, the generated learning image and fetal facial feature codeword are constructed as a learning database for integrated management thereof, and can be implemented to facilitate the addition and modification of information later.

컴포넌트 선택부(225)는 코드워드에 대응하여 기존 3D 모델에 포함되는 얼굴부위별 하나 이상의 컴포넌트(compt)를 교체함으로써 3D 태아 모델의 생성시 갱신된 컴포넌트를 이용하여 3D 모델링(img)을 수행할 수 있도록 한다.The component selection unit 225 replaces one or more components for each face part included in the existing 3D model in response to the codeword, thereby performing 3D modeling (img) using the updated component when generating the 3D fetal model. Make it possible.

전술한 구조에 따라, 본 발명의 실시예에 따른 영상 처리부는 3D 태아 모델을 생성하기 위한 컴포넌트를 제공할 수 있고, 사용자로부터 제공되는 유사모델에 의한 피드백을 딥 러닝 모델(224)에 반영할 수 있다. 이때, 컴포넌트는 코드워드 형태로 전달될 수 있다.According to the above structure, the image processing unit according to an embodiment of the present invention may provide a component for generating a 3D fetal model, and may reflect feedback from a similar model provided from a user to the deep learning model 224. have. In this case, the component may be delivered in the form of a codeword.

도 3은 본 발명의 실시예에 따른 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스에 의해 생성된 3D 태아 모델 및 이를 시청하는 모습을 예시한 도면이고, 도 4는 본 발명의 실시예에 따른 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스에서 태아 심음 서비스를 추가한 형태를 나타낸 도면이다.3 is a diagram illustrating a 3D fetal model generated by a 3D fetal model generation service using a stereoscopic ultrasound fetal image according to an embodiment of the present invention and a viewing state thereof, and FIG. 4 is a three-dimensional diagram according to an embodiment of the present invention. This is a diagram showing a form of adding a fetal heart sound service to a 3D fetal model generation service using an ultrasound fetal image.

본 발명의 실시예에 따른 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스는 공지의 컴퓨터 프로그래밍 언어에 의해 구현되어 마이크로 프로세서에 의해 실행 가능한 형태로 읽기 쓰기가 가능한 기록매체에 기록되어 컴퓨팅 장치에 탑재될 수 있다.The 3D fetal model generation service using a stereoscopic ultrasound fetal image according to an embodiment of the present invention is implemented by a known computer programming language and recorded in a readable and writable recording medium in a form executable by a microprocessor to be mounted on a computing device. I can.

본 발명의 실시예에 따른 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스에 의하면, 공지의 초음파 진단기로부터 획득된 입체 초음파 영상을 분석하여 깊이정보를 추출하고, 깊이정보를 이용하여 태아의 전체 외관에 대한 메쉬를 생성한다.According to the 3D fetal model generation service using a stereoscopic ultrasound fetus image according to an embodiment of the present invention, depth information is extracted by analyzing a stereoscopic ultrasound image obtained from a known ultrasound diagnostic device, and the entire appearance of the fetus is displayed using the depth information. Create a mesh for.

이후, 메쉬상에 태아의 신체부위를 매핑하여 태아의 얼굴을 포함하는 3D 태아 모델을 생성할 수 있다.Thereafter, a 3D fetal model including the fetus's face may be generated by mapping the body part of the fetus on the mesh.

생성된 태아의 3D 모델은 스마트폰과 같은 모바일 단말을 통해 표시할 수 있고, 또는 깊이정보가 양안에 반영되어 공간감을 제공하는 공지의 VR 장치에서 재생 가능한 형태로 제작될 수 있다.The generated 3D model of the fetus may be displayed through a mobile terminal such as a smartphone, or depth information may be reflected in both eyes to be reproduced in a known VR device that provides a sense of space.

임산부 등 보호자는 제작된 3D 태아 모델을 자신이 소지한 모바일 단말에 전송받아 시청하거나, 또는 VR 장치를 연결하여 다양한 시점에서 3D 태아 모델을 시청할 수 있다.A guardian, such as a pregnant woman, may receive and view the 3D fetal model produced by their mobile terminal, or connect a VR device to view the 3D fetal model from various viewpoints.

또한, 본 발명의 실시예에 따른 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스는 3D 태아 모델상에 태아의 심음 정보를 더 포함할 수 있고, 심음에 따른 수치정보를 영상 내 태아 모델과 중첩하여 표시할 수 있다.In addition, the 3D fetal model generation service using the stereoscopic ultrasound fetal image according to an embodiment of the present invention may further include heart sound information of the fetus on the 3D fetal model, and numerical information according to the heart sound is superimposed with the fetal model in the image. Can be displayed.

..

Claims (1)

모바일 단말로부터 제공되는 태아 영상을 분석하여 3D 모델을 생성하는 영상 제공 서버를 포함하는 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스로서,
상기 영상 제공 서버는,
상기 모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 영상 수신부;
상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 영상 처리부;
상기 얼굴부위별 특징에 따른 부위 모델들의 선택 및 합성을 통해 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 3D 모델 생성부
를 포함하는 입체 초음파 태아 영상을 이용한 3D 태아 모델 생성 서비스.As a 3D fetal model generation service using a stereoscopic ultrasound fetal image including an image providing server that analyzes a fetal image provided from a mobile terminal and generates a 3D model,
The video providing server,
An image receiving unit that receives fetal images and ROI information from the mobile terminal;
An image processing unit for extracting facial features by inputting a fetal image corresponding to the ROI information into a deep learning model;
A 3D model generation unit that generates a 3D fetal model reflecting the features of each face area through selection and synthesis of area models according to the features of each face area
3D fetal model generation service using a stereoscopic ultrasound fetal image comprising a.
KR1020190029671A 2019-03-15 2019-03-15 Method and apparatus for 3d modeling of ultrasound image KR20200109879A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190029671A KR20200109879A (en) 2019-03-15 2019-03-15 Method and apparatus for 3d modeling of ultrasound image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190029671A KR20200109879A (en) 2019-03-15 2019-03-15 Method and apparatus for 3d modeling of ultrasound image

Publications (1)

Publication Number Publication Date
KR20200109879A true KR20200109879A (en) 2020-09-23

Family

ID=72708223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190029671A KR20200109879A (en) 2019-03-15 2019-03-15 Method and apparatus for 3d modeling of ultrasound image

Country Status (1)

Country Link
KR (1) KR20200109879A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210315539A1 (en) * 2018-08-31 2021-10-14 Girjaesoft Co., Ltd. System and method for providing deep learning-based virtual reality 3d embryo model

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210315539A1 (en) * 2018-08-31 2021-10-14 Girjaesoft Co., Ltd. System and method for providing deep learning-based virtual reality 3d embryo model

Similar Documents

Publication Publication Date Title
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
CN110163054B (en) Method and device for generating human face three-dimensional image
US20170039752A1 (en) Generating an avatar from real time image data
US20210315539A1 (en) System and method for providing deep learning-based virtual reality 3d embryo model
US11423602B2 (en) Fast 3D reconstruction with depth information
CN109035415B (en) Virtual model processing method, device, equipment and computer readable storage medium
US11238651B2 (en) Fast hand meshing for dynamic occlusion
Ping et al. Computer facial animation: A review
CN109584321A (en) System and method for the image reconstruction based on deep learning
KR20200046048A (en) Creation of new frames using rendered content and non-rendered content from previous perspectives
US20240029301A1 (en) Efficient localization based on multiple feature types
CN107452050B (en) Method and presentation system for multi-sensory presentation of objects
CN114904268A (en) Virtual image adjusting method and device, electronic equipment and storage medium
KR20200109879A (en) Method and apparatus for 3d modeling of ultrasound image
US20220392174A1 (en) Information processing apparatus, information processing method, and program
Soares et al. Designing a highly immersive interactive environment: The virtual mine
KR20220080576A (en) System and method for generating avatar character
CN109711335A (en) The method and device that Target Photo is driven by characteristics of human body
Berlage Augmented reality for diagnosis based on ultrasound images
Mamdouh et al. Using Azure to construct recent architecture for visualize training in real-time
US20240127538A1 (en) Scene understanding using occupancy grids
CN111696183B (en) Projection interaction method and system and electronic equipment
Gott et al. Teaching heart function: one application of medical computer animation
Selvamanikkam et al. High-Resolution Stereoscopic Visualization of Pediatric Echocardiography Data on Microsoft HoloLens 2
EP4150519A1 (en) Computationally efficient method for computing a composite representation of a 3d environment