KR102027974B1 - 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법 - Google Patents
딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법 Download PDFInfo
- Publication number
- KR102027974B1 KR102027974B1 KR1020190007744A KR20190007744A KR102027974B1 KR 102027974 B1 KR102027974 B1 KR 102027974B1 KR 1020190007744 A KR1020190007744 A KR 1020190007744A KR 20190007744 A KR20190007744 A KR 20190007744A KR 102027974 B1 KR102027974 B1 KR 102027974B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fetal
- model
- deep learning
- face
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013135 deep learning Methods 0.000 title claims abstract description 47
- 210000003754 fetus Anatomy 0.000 title claims abstract description 43
- 238000013136 deep learning model Methods 0.000 claims abstract description 36
- 230000001605 fetal effect Effects 0.000 claims description 172
- 230000001815 facial effect Effects 0.000 claims description 29
- 230000012010 growth Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 23
- 238000002604 ultrasonography Methods 0.000 claims description 19
- 238000010801 machine learning Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 11
- 230000035935 pregnancy Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 9
- 238000003745 diagnosis Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000007726 management method Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 230000004578 fetal growth Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- XLKHXJGMJBNLDR-UHFFFAOYSA-N CC1C(C2)C2C2C1C2 Chemical compound CC1C(C2)C2C2C1C2 XLKHXJGMJBNLDR-UHFFFAOYSA-N 0.000 description 1
- 208000020401 Depressive disease Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/02—Foetus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Gynecology & Obstetrics (AREA)
- Pregnancy & Childbirth (AREA)
- Geometry (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 가상현실 태아 영상 제공 시스템을 개시한다. 보다 상세하게는, 본 발명은 초음파 영상에 대하여 딥 러닝 기술에 기반하여 태아의 얼굴 특징을 추출하고, 이를 반영한 초음파 영상에 대응하는 3D 모델을 생성하여 이를 이용한 가상현실 영상을 제공하는 딥 러닝 기반 태아 영상 제공 시스템에 관한 것이다.
본 발명의 실시예에 따르면, 2D 태아 영상에 대하여 신체부위별로 특징이 반영되는 복수의 코드워드를 설정하고, 이를 기반으로 딥 러닝 모델에 따라 학습절차를 수행하여 실제 태아 얼굴과 가장 유사한 신체 콤포넌트의 조합으로 생성된 3D 모델을 제공함으로써, HMD 등을 통해 태아의 모습을 입체적으로 표시할 수 있어, 임산부에게 차별화된 실감나는 태아 영상 서비스를 제공할 수 있는 효과가 있다.
본 발명의 실시예에 따르면, 2D 태아 영상에 대하여 신체부위별로 특징이 반영되는 복수의 코드워드를 설정하고, 이를 기반으로 딥 러닝 모델에 따라 학습절차를 수행하여 실제 태아 얼굴과 가장 유사한 신체 콤포넌트의 조합으로 생성된 3D 모델을 제공함으로써, HMD 등을 통해 태아의 모습을 입체적으로 표시할 수 있어, 임산부에게 차별화된 실감나는 태아 영상 서비스를 제공할 수 있는 효과가 있다.
Description
본 발명은 가상현실 3D 태아 모델 제공 시스템에 관한 것으로, 특히 초음파 영상에 대하여 딥 러닝 기술에 기반하여 태아의 얼굴 특징을 추출하고, 이를 반영한 3D 모델을 생성하여 이를 이용한 가상현실 콘텐츠를 제공하는 딥 러닝 기반 3D 태아 모델 제공 시스템에 관한 것이다.
현재 초음파 태아 영상은, 통상적으로 2D 평면 영상으로서, 임산부가 병원 진료시 직접 모니터를 통해 보거나 동영상 형태로 저장되어 단순히 보는 용도로만 활용되고 있다. 전 세계적으로 기존 산모 앱 및 관련 서비스들은 대부분 임신육아 정보만을 제공하거나 동영상 서비스도 단순 재생에 그치고 있는 실정이다. 이는 아직까지 관련 분야의 기술적 발전이나 서비스 개선이 이루어지지 않고, 킬러 어플리케이션이 부족한 상황인 점에 기인하는 것으로 판단된다.
태아 초음파 영상, 특히 3D 태아 얼굴을 효과적으로 가시화하는 기술은 관련 의료서비스 개선을 위한 중요한 요소가 될 수 있다. 그러나, 일반 얼굴 영상을 대상으로 한 기존 얼굴 인식과는 달리 초음파 영상의 태아 얼굴을 대상으로 한 영상처리는 매우 어려운 일이다. 이는 초음파 태아 얼굴 영상의 특성상 눈, 코, 입 등 특징부위가 불명확하고 임산부 자궁 내 조직이나 태아 얼굴의 위치에 따른 여러 변수가 존재하기 때문이다.
이에 따라, 2D 영상을 판독하고 깊이정보를 적용하여 3D 입체 영상으로 변환하는 것은 쉬운 작업이 아니며, 3D 영상 형태의 초음파 태아 영상을 헤드 마운티드 디스플레이(HMD)와 같은 가상현실 표시수단으로 제공하는 서비스를 구현하는데도 어려움이 있다.
본 발명은 전술한 문제를 해결하기 위해 안출된 것으로, 본 발명은 딥 러닝을 이용한 태아 얼굴 특징 추출 기술을 적용하여 실제 태아 얼굴에 대응하는 특징을 추출하고, 추출된 특징이 반영된 3D 태아 모델을 생성하여 HMD와 같은 가상현실 장치에서 실제 태아 얼굴과 유사한 태아 영상을 구현하는 데 과제가 있다.
전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 가상현실 3D 태아 모델 제공 시스템은 모바일 단말로부터 제공되는 태아 영상을 분석하여 3D 모델을 생성하는 영상 제공 서버를 포함하는 딥 러닝 기반 가상현실 태아 영상 제공 시스템으로서, 상기 영상 제공 서버는, 상기 모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 영상 수신부, 상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 영상 처리부, 상기 얼굴부위별 특징에 따른 부위 모델들의 선택 및 합성을 통해 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 3D 모델 생성부를 포함할 수 있다.
상기 영상 처리부는, 입력되는 태아 영상에서 하나 이상의 프레임을 지정하고, 노이즈를 제거하는 전처리부 및 상기 프레임 상에 ROI정보를 매칭하여 모델링 대상이 되는 얼굴영역을 결정하는 ROI 매칭부를 포함할 수 있다.
상기 영상 수신부는 태아 영상 및 ROI정보의 수신과 함께 상기 모바일 단말로부터 선택된 복수의 컴포넌트로 이루어지는 유사모델에 대한 코드워드를 수신하고, 상기 영상 처리부는, 설정에 따라 상기 복수의 컴포넌트에 대응하는 코드워드를 학습 데이터로 이용하여 기계 학습절차를 수행하거나 학습 이후 입력 영상에 대한 얼굴특징 코드워드를 추출하기 위한 딥 러닝 모델을 포함할 수 있다.
상기 얼굴부위는 눈, 코, 입 및 얼굴 중, 하나 이상을 포함하고, 상기 코드워드는 상기 얼굴부위의 형태를 이진(binary)형식으로 나타낸 코드일 수 있다.
상기 영상 처리부는, 상기 코드워드에 대응하여 기존 3D 모델에 포함되는 얼굴부위별 하나 이상의 컴포넌트를 교체하는 컴포넌트 선택부를 포함할 수 있다.
상기 영상 제공 서버는, 상기 모바일 단말로부터 입력되는 로그인 정보에 따라 회원 등록여부를 판단하고, 로그인 절차를 수행하는 회원 관리부를 포함하고, 상기 영상 처리부는, 상기 회원 관리부에 의해 식별된 사용자에게 할당된 저장소에 상기 태아 영상을 저장하고, 저장된 3D 태아 영상을 추출할 수 있다.
상기 영상 처리부는 상기 모바일 단말로부터 임산부의 임신기간 및 성장 파라미터를 포함하는 성장정보를 수신하고, 상기 3D 모델 생성부는, 생성된 3D 모델을 임신기간별로 성장 파라미터에 따라 데이터 베이스에 저장할 수 있다.
상기 모바일 단말은, 정보통신망에 연결되어 외부 시스템과 통신하는 통신부, 상기 통신부를 통해 초음파 진단기로부터 전송되는 상기 태아 영상을 저장하는 저장소, 사용자의 입력에 따라 상기 태아 영상 내 얼굴 영역을 선택받아 ROI정보로 설정하는 ROI 설정부, 임산부의 임신기간 및 성장 파라미터를 포함하는 성장정보를 입력받는 성장 정보 입력부, 복수의 얼굴형태에 대응하는 컴포넌트가 정의된 라이브러리를 저장하는 단말 라이브러리DB 및 사용자로부터 태아의 얼굴부위별 하나 이상의 컴포넌트를 선택받아 유사 모델의 코드워드를 상기 영상 제공 서버에 전송하는 피드백부를 포함할 수 있다.
또한, 전술한 과제를 해결하기 위한 본 발명의 다른 양태에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버에 의한 모델 제공 방법으로서, 모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 단계, 상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 단계, 3D 모델링을 통해 상기 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 단계 및 상기 3D 태아 모델을 상기 모바일 단말에 제공하는 단계를 포함할 수 있다.
상기 3D 태아 모델을 상기 모바일 단말에 제공하는 단계 이후, 상기 딥 러닝 모델에 대한 기계 학습의 고도화를 위해, 상기 모바일 단말로부터 사용자에 의해 선택된 태아의 얼굴부위별 하나 이상의 컴포넌트를 포함하는 유사모델에 대한 코드워드를 전송받는 단계 및 상기 코드워드를 학습 데이터로 이용하여 상기 딥 러닝 모델에 대한 기계 학습절차를 수행하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 3D 태아 영상에 대하여 신체부위별로 특징이 반영되는 복수의 코드워드를 설정하고, 이를 기반으로 딥 러닝 모델에 따라 학습절차를 수행하여 실제 태아 얼굴과 가장 유사한 신체 콤포넌트의 조합으로 생성된 3D 모델을 제공함으로써, HMD 등을 통해 태아의 모습을 입체적으로 표시할 수 있어, 임산부에게 차별화된 실감나는 태아 영상 서비스를 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 태아 영상 서비스는 임산부의 태교, 우울증 치료 등 태아와 임산부의 건강관리 응용 분야에서도 활용될 수 있다.
도 1은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 전체 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 모바일 단말의 구조를 나타낸 도면이다.
도 3a는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버의 구조를 나타낸 도면이고, 도 3b는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템에서 사용자 피드백을 반영하여 3D 모델의 매칭 정확도를 높이는 과정을 나타낸 도면이다.
도 4a는 본 발명의 실시예에 따른 영상 제공 서버의 영상 처리부의 구조를 나타낸 도면이고, 도 4b는 본 발명의 실시예에 따른 영상 제공 서버의 3D 모델링 영상을 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 딥 러닝 학습(a) 및 학습된 딥 러닝 모델을 사용한 코드워드 추출과정(b)을 모식화한 도면이다.
도 2는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 모바일 단말의 구조를 나타낸 도면이다.
도 3a는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버의 구조를 나타낸 도면이고, 도 3b는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템에서 사용자 피드백을 반영하여 3D 모델의 매칭 정확도를 높이는 과정을 나타낸 도면이다.
도 4a는 본 발명의 실시예에 따른 영상 제공 서버의 영상 처리부의 구조를 나타낸 도면이고, 도 4b는 본 발명의 실시예에 따른 영상 제공 서버의 3D 모델링 영상을 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 딥 러닝 학습(a) 및 학습된 딥 러닝 모델을 사용한 코드워드 추출과정(b)을 모식화한 도면이다.
설명에 앞서, 명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부(Unit)", "...장치(Device)", "...시스템(System)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 또한, "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용된다.
본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "...부(Unit)", "...장치(Device)", "...시스템(System)" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명의 시스템에서 구동되는 각 기능은 모듈단위로 구성될 수 있고, 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 및 기록매체 사이에 분산되어 기록될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템 및 방법을 설명한다.
도 1은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 전체 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템은 사용자가 소지한 모바일 단말(100), 모바일 단말(100)과 연동하여 3D 태아 영상을 학습된 딥 러닝 모델을 이용하여 3D 모델로 변환하여 제공하는 영상 제공 서버(200), 임산부를 촬영하고 상기의 2D 태아 영상을 모바일 단말(100)에 제공하는 초음파 진단기(300) 및 3D 모델을 가상현실 영상으로 표시하는 HMD 등으로 구현되는 VR 장치(400)를 포함할 수 있다.
모바일 단말(100)은 임산부 또는 그 보호자 등의 사용자가 소지하고 정보통신망을 통해 영상 제공 서버(200)에 연결되어 단말 내 저장된 태아 영상을 영상 제공 서버(200)에 전송하여 태아 영상에 대한 3D 모델을 요청하는 단말기이다.
사용자는 VR 장치(400)로 태아에 대한 보다 실제적인 영상을 보기를 원함에 따라, 자신의 모바일 단말(100)에 저장된 태아 영상을 정보 통신망을 통해 영상 제공 서버(200)에 전송할 수 있다.
이를 위해, 모바일 단말(100)에는 사전에 초음파 진단기(300)로부터 2D 방식의 원 태아 영상을 유, 무선 통신을 통해 전송받아 저장되어야 한다.
또한, 모바일 단말(100)은 태아 영상의 전송시, 당해 임산부의 임신주차 또는 성장 파라미터를 포함하는 성장정보를 더 입력받아 함께 전송함으로써, 영상 제공 서버(200)로부터 태아의 성장 정도에 따라 갱신되는 3D 모델을 제공받을 수 있다.
이러한 모바일 단말(100)로는 영상 제공 서버(200)와 연동할 수 있는 어플리케이션 프로그램을 저장 및 실행할 수 있는 통신모듈, 마이크로프로세서, 메모리 및 저장소를 탑재한 스마트폰 및 태블릿PC 등이 이용될 수 있다.
영상 제공 서버(200)는 정보통신망을 통해 다수의 모바일 단말(100)과 연동할 수 있고, 각 모바일 단말(100)로부터 전송되는 태아 영상을 저장하고, 기계 학습용 데이터로 활용할 수 있다. 또한, 영상 제공 서버(200)는 해당 태아 얼굴의 눈, 코, 입 등으로 부위를 구분하여 얼굴형태의 특징을 지정하고, 데이터 베이스에 축적된 모델 라이브러리와의 비교를 통해 가장 유사한 컴포넌트들을 추출하여 그 조합을 통해 태아 얼굴에 대응하는 3D 모델을 결정하여 3D 태아 영상으로 모바일 단말(100)에 제공할 수 있다.
이러한 영상 제공 서버(200)로는 다수의 모바일 단말(100)로부터 전송되는 태아 영상의 기계학습 수행, 3D 모델 생성 및 제공, 태아 성장에 따른 3D 모델 갱신 등의 작업을 지연없이 처리할 수 있도록 고성능의 마이크로프로세서, 대용량의 메모리 및 저장소를 탑재한 서버 장치가 이용될 수 있다.
초음파 진단기(300)는 소정의 프로브를 탑재하고 있고, 진단대상에 대하여 3D 모델의 원 영상이 되는 초음파 영상을 획득할 수 있다.
또한, 초음파 진단기(300)는 장착된 통신모듈을 이용하여 근거리 무선 통신망을 통해 모바일 단말(100)에 전송하여 원 태아 영상을 실시간으로 표시 및 저장할 수 있도록 한다.
VR 장치(400)는 영상 제공 서버(200)와 유선 또는 무선으로 연결되어 모바일 단말(100)이 제공하는 3D 태아 영상을 재생할 수 있다. 이러한 VR 장치(400)는 디스플레이뿐만 아니라, 지자기 센서, 가속센서 등을 탑재한 헤드 마운티드 장치가 이용될 수 있고, 이에 사용자는 진단대상을 바라보는 방향에 대응하는 태아에 대한 입체영상을 구현할 수 있다.
또한, VR 장치(400)는 가상현실 영상을 재생할 수 있는 소정의 재생단말이 장치되는 하우징 부재로 구성될 수 있고, 모바일 단말(100)이 장착되어 3D 태아 영상을 재생하는 구조로 구현될 수도 있다.
전술한 구조에 따라, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템은 초음파 진단기를 통해 획득한 원 태아 영상을 정보통신망을 통해 영상제공 서버에 제공하여 딥 러닝 기법이 적용된 모델링 절차에 따른 3D 태아 모델을 생성하고 이를 VR 장치를 통해 표시함으로써, 보다 실제 모습과 가까운 3D 태아 모델을 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 모바일 단말을 설명한다.
도 2는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 모바일 단말의 구조를 나타낸 도면이다. 이하의 설명에서, 모바일 단말을 구성하는 각 구성부는 소정의 마이크로프로세서에 의해 실행 가능한 어플리케이션 프로그램으로 구현되어 기록매체에 기록될 수 있다.
도 2를 참조하면, 본 발명의 모바일 단말(100)은 정보통신망에 연결되어 외부 시스템과 데이터를 송수신하는 통신부(110), 통신부(110)를 통해 초음파 진단기로부터 전송되는 태아 영상을 저장하는 이미지 저장소(120), 사용자의 입력에 따라 태아 영상 내 얼굴 영역을 선택받아 ROI정보로 설정하는 ROI 설정부(130), 임산부의 임신기간 및 성장 파라미터를 포함하는 성장정보를 입력받는 성장정보 입력부(140), 복수의 얼굴형태에 대응하는 컴포넌트가 정의된 라이브러리를 저장하는 단말 라이브러리DB(150) 및 사용자로부터 태아의 얼굴부위별 하나 이상의 컴포넌트를 선택받아 유사 모델의 코드워드를 영상 제공 서버에 전송하는 피드백부(160)를 포함할 수 있다.
통신부(110)는 정보통신망에 접속하여 외부 시스템과 데이터를 송수신하는 역할을 하는 것으로, 초음파 진단기로부터 원 태아 영상을 수신하거나, ROI가 설정된 원 태아 영상을 영상 제공 서버에 제공하거나, 영상 제공 서버로부터 3D 태아 영상을 수신할 수 있다.
이미지 저장소(120)는 초음파 진단기로부터 전송되는 원 태아 영상 및 영상 제공 서버로부터 제공되는 3D 태아 영상을 저장할 수 있다. 특히, 태아 영상은 일자별로 분류되어 저장됨에 따라, 사용자는 과거에서부터 현재까지 태아의 변화를 쉽게 확인할 수 있다. 이미지 저장소에 저장된 3D 태아 영상은 모바일 단말(100)상에서 재생되거나, 혹은 외부의 VR 장치로 전송되어 입체 영상의 형태로 재생될 수 있다.
ROI 설정부(130)는 태아 영상에 대하여 사용자가 영역 선택을 통해 관심영역(ROI)을 설정할 수 있는 인터페이스를 제공할 수 있다. 사용자 즉, 임산부 또는 보호자는 모바일 단말(100)의 화면을 통해 표시되는 원 태아 영상에서 태아의 얼굴에 해당하는 영역을 화면에 대한 드래깅(dragging) 등의 동작을 통해 ROI를 지정할 수 있고, ROI 설정부(130)는 해당 태아 영상에 대한 ROI정보를 생성할 수 있다.
성장정보 입력부(140)는 ROI가 설정된 태아 영상에 대한 성장정보를 입력받을 수 있다. 사용자는 태아 영상 및 ROI정보의 업로드와 아울러 현재 업로드하는 태아 영상에 대한 촬영시점, 즉 임신기간과, 태아의 성장과 관련된 각종 정보인 성장 파라미터를 성장정보로서 입력할 수 있다.
상기의 태아 영상, ROI정보 및 성장정보는 동기화하여 통신부(110)를 통해 영상 제공 시스템에 전송될 수 있다. 이에 따라, 영상 제공 시스템은 수집되는 데이터들을 이용하여 3D 모델링 절차를 수행하고, 해당 태아의 3D 태아 모델을 생성하게 된다.
단말 라이브러리DB(150)는 태아의 얼굴의 각 부위에 대응하는 다양한 형태의 3D 컴포넌트를 저장할 수 있다.
본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템은 사용자 피드백(feedback)을 통해 딥 러닝 모델의 성능을 높이는 것을 특징으로 한다. 이에, 사용자 단말(100)에는 태아 얼굴의 각 특징부위, 즉 눈, 코, 입, 얼굴에 대한 다양한 형태의 모델인 3D 컴포넌트가 다수 저장되어 있으며, 사용자는 단말 라이브러리DB(150)에 저장된 3D 컴포넌트에서 자신의 태아 형상과 가장 유사한 컴포넌트를 선택하여 유사얼굴 모델을 생성하고, 이에 대한 코드워드와 영상을 영상 제공 서버측에 제공할 수 있다.
이에, 영상 제공 서버는 사용자 단말(100)로부터 제공된 해당 태아의 유사얼굴 모델의 코드워드를 딥 러닝 모델의 학습 데이터로 활용함으로써, 이후 태아의 3D 모델링시 그 정확도를 향상시키게 된다.
피드백부(160)는 단말 라이브러리DB(150)에 저장된 각 얼굴 부위별 3D 컴포넌트를 추출하고, 사용자가 지정할 수 있도록 인터페이스를 제공할 수 있다. 또한, 피드백부(160)는 사용자에 의해 태아 얼굴의 각 특징부위에 대한 컴포넌트가 선택되면, 이를 종합하여 유사얼굴 모델을 생성하고 유사얼굴 모델의 코드워드를 통신부(110)를 통해 영상 제공 서버에 제공할 수 있다.
전술한 구조에 따라, 본 발명의 실시예에 따른 모바일 단말은 영상 제공 서버에 태아 영상을 제공하여 딥 러닝 절차를 거쳐 실제 태아와 가장 유사한 3D 태아 모델을 요청할 수 있고, 아울러, 유사얼굴 모델의 정보를 피드백함으로써 3D 모델링의 유사도를 극대화할 수 있도록 한다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버를 설명한다.
도 3a는 본 발명의 실시예에 따른 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버의 구조를 나타낸 도면이고, 도 3b는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템에서 사용자 피드백을 반영하여 3D 모델의 매칭 정확도를 높이는 과정을 나타낸 도면이다.
도 3a 및 도 3b를 참조하면, 본 발명의 실시예에 따른 영상 제공 서버(200)는, 모바일 단말(100)로부터 태아 영상 및 ROI정보를 전송받는 영상 수신부(210), 상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 영상 처리부(220), 딥 러닝 모델이 참조하는 서버 라이브러리가 저장된 데이터 베이스(230) 및 3D 모델링을 통해 상기 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 3D 모델 생성부(240) 및 모바일 단말(100)로부터 입력되는 로그인 정보에 따라 회원 등록여부를 판단하고, 로그인 절차를 수행하는 회원 관리부(250)를 포함할 수 있다.
영상 수신부(210)는 하나 이상의 모바일 단말(100)로부터 정보통신망을 통해 원 태아 영상을 전송받을 수 있다. 이러한 영상 수신부(210)는 모바일 단말(100)에 설치되는 어플리케이션 프로그램과 연동하여 태아에 대한 3D 입체 영상을 요청 받거나, 태아의 성장기간에 따른 태아 영상을 관리하고자 하는 사용자측으로부터 주기적으로 태아 영상을 수신할 수 있다.
여기서, 영상 수신부(210)는 원 태아 영상과, 그에 설정된 ROI정보 및 현재 태아의 성장기간에 대한 정보를 함께 수신하여 각 태아의 성장시기별 모습을 저장 및 관리할 수 있도록 한다.
영상 처리부(220)는 영상 수신부(210)가 수신한 원 태아 영상을 이용하여 3D 모델링을 수행하여 가상현실용 3D 태아 모델을 생성할 수 있다. 영상 처리부(220)는 원 태아 영상에 ROI정보를 참조하여 태아의 얼굴부분을 추출하고, 3D 모델링을 위한 얼굴의 각 부위와 가장 유사한 얼굴부위별 컴포넌트를 추출할 수 있다.
초음파 3D 태아 영상에서 태아의 얼굴은 일반 얼굴과는 달리 눈, 코, 입이 명확하지 않고, 자궁 내 부유물 또는 태아의 몸 위치, 자세에 따라 얼굴부위가 가려지는 등의 제약점이 존재하므로 태아 영상에 최적화된 학습 모델이 요구되며, 이에 영상 처리부(220)는 공지의 딥 러닝 모델을 통해 실제 얼굴과의 오차가 최소인 얼굴부위별 컴포넌트를 추출하게 된다.
또한, 영상 처리부(220)는 모바일 단말(100)로부터 전송되는 피드백 정보로서 유사얼굴 모델의 코드워드를 이용하여 딥 러닝 모델의 학습 데이터로 이용하여 업데이트 함으로써 3D 모델의 매칭 정확도를 높일 수 있다.
데이터 베이스(230)는 3D 모델링을 위한 각종 정보를 저장할 수 있다. 특히, 영상 처리부(220)는 3D 모델링을 위해 라이브러리를 참조하게 되며, 딥 러닝 모델을 위한 다수의 학습 데이터가 요구된다. 데이터 베이스(230)는 이러한 3D 모델링에 필요한 각종 정보들을 저장할 수 있다.
이러한 데이터 베이스(230)는 그 목적에 따라 논리적 또는 물리적으로 구분되는 복수의 데이터 베이스 시스템으로 이루어질 수 있고, 회원 및 태아정보를 저장하고, 태아의 성장기간에 따른 태아 영상을 관리하기 위한 회원DB(231), 태아의 얼굴부위별 컴포넌트를 포함하는 라이브러리가 저장되는 서버 라이브러리DB(232) 및 기계 학습에 이용되는 학습 데이터가 저장되는 딥 러닝DB(233)을 포함할 수 있다.
모델 생성부(240)는 영상 처리부(220)에 의해 도출된 복수의 얼굴부위별 컴포넌트를 조합하여 표준 3D 태아모델의 얼굴을 갱신할 수 있다.
회원 관리부(250)는 본 발명의 시스템이 제공하는 3D 태아 영상을 이용하고자 하는 임산부 또는 보호자의 회원가입 절차, 로그인 절차 및 회원정보 관리 등의 기능을 제공할 수 있다.
특히, 사용자는 수시로 영상 제공 서버(200)에 접속하여 자신의 계정에 할당된 저장소에 저장된 임신기간별 태아의 영상을 관리 및 확인할 수 있고, 회원 관리부(250)는 모바일 단말(100)의 요청에 따라 로그인 절차를 수행하고, 데이터 베이스(230)의 저장소에 저장된 사용자에 대한 3D 태아 영상을 식별할 수 있다.
전술한 구조에 따라, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버는 사용자측에서 제공하는 태아 영상에 대한 3D 모델을 제공할 수 있고, 사용자측의 피드백을 통해 기계 학습의 정확도를 지속적으로 향상시켜 보다 실제에 가까운 태아 모델을 제공할 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 영상 제공 서버에 포함되는 영상 처리부를 설명한다.
도 4a는 본 발명의 실시예에 따른 영상 제공 서버의 영상 처리부의 구조를 나타낸 도면이고, 도 4b는 본 발명의 실시예에 따른 영상 제공 서버의 3D 모델링 영상을 예시한 도면이다.
도 4a 및 도 4b를 참조하면, 본 발명의 실시예에 따른 영상 처리부(220)는 입력되는 태아 영상에서 하나 이상의 프레임을 지정하고, 노이즈를 제거하는 전처리부(221), 프레임 상에 ROI정보를 매칭하여 모델링 대상이 되는 얼굴영역을 결정하는 ROI 매칭부(222), 설정된 딥 러닝 모델에 상기 복수의 컴포넌트에 대응하는 코드워드를 학습 데이터로 이용하여 기계 학습절차를 수행하거나 학습 이후 입력 영상에 대한 얼굴특징 코드워드를 추출하기 위한 딥 러닝 모델(224) 및 코드워드에 대응하여 기존 3D 모델에 포함되는 얼굴부위별 하나 이상의 컴포넌트를 교체하는 컴포넌트 선택부(225)를 포함할 수 있다.
전처리부(221)는 입력되는 태아 영상에 대하여, 설정에 따라 3D 모델링의 대상이 되는 소정 범위의 프레임을 지정하고, 지정된 프레임에 대하여 노이즈를 제거할 수 있다.
ROI 매칭부(222)는 노이즈가 제거된 프레임 상에 사용자에 의해 지정된 ROI정보를 매칭하여 얼굴부분을 결정할 수 있다. ROI정보는 태아 영상내 사용자에 의해 선택된 태아의 얼굴영역에 대한 좌표를 포함하고 있고 ROI 매칭부(222)는 ROI정보를 통해 그 얼굴영역에 해당하는 이미지를 추출할 수 있다.
상기의 컴포넌트는 얼굴부위별로 그 형태를 소정개로 분류하여 정의하는 것으로서, 이하의 표 1에 도시된 바와 같이 얼굴부위별 3개의 타입(type)으로 구분될 수 있다.
| 특징 부위 | 형태 구분 기준 | Type 1 | Type 2 | Type 3 |
| 눈 형태 | 눈 부위의 돌출 정도 | 들어감 | 보통 | 튀어나옴 |
| 코 형태 | 코가 높고 넓은 정도 | 낮고 넓음 | 보통 | 높음 |
| 입 형태 | 상/하 입술의 돌출 정도 | 상부 돌출 | 보통 | 하부 돌출 |
| 얼굴형태 | 볼과 턱 부분이 갸름한 정도 | 갸름한 형태 | 보통 | 둥근 형태 |
여기서, 각 얼굴부위의 형태는 3가지 타입 중 어느 하나에 해당할 수 있고, 이진(binary)형식의 값이 지정될 수 있다. 일례로서, 눈 형태가 보통이라면 코드워드는 '010'이 되고, 얼굴형태가 가름한 형태라면, '100'이 된다.
딥 러닝 모델(224)은 추출된 코드워드를 학습 데이터로서 입력받아 기계 학습을 수행할 수 있으며, ROI 매칭부(222)에 의한 태아 영상의 얼굴영역에 대응되는 얼굴부위별 특징정보를 라벨링하여 학습 데이터를 생성하게 된다.
상세하게는, 딥 러닝 모델(224)은 학습모드 또는 특징 추출모드로 동작할 수 있고, 학습모드로 동작시에는 사용자가 입력한 수많은 영상과 그에 매칭되는 유사모델 코드워드를 학습에 이용하게 된다. 여기서, 유사모델의 코드워드는 사용자 피드백에 의한 학습시에만 이용될 수 있다.
또한, 특징추출 모드로 동작시에는 학습된 정보를 바탕으로 태아 영상이 입력되면 특징을 코드워드로 출력하게 된다.
이를 위해, 전처리부(211) 및 ROI 매칭부(222)를 통해 태아 영상에서 학습용 영상 프레임들을 지정하고, 각 프레임의 영상영역에서 태아의 얼굴영역을 지정하기 위한 ROI정보를 설정할 수 있으며, 이에 따라, ROI내 태아 얼굴 영역은 학습용 입력 영상으로 활용될 수 있다. 3D 태아 영상은 일반적으로 태아의 움직임을 포함하고 있어 하나의 동영상으로 많은 수의 학습용 영상을 구할 수 있다는 장점이 있다.
여기서, 태아의 얼굴부위의 특징을 지정하기 위해 이와 유사한 3D 모델을 이용한 특징 지정 기능을 구현하게 되는데, 태아 영상의 얼굴 영역에서 얼굴의 형태, 눈 코, 입에 가장 유사한 얼굴 형태 모델과 얼굴 내 부위 모델을 라이브러리로부터 선택하여 전체적으로 태아 영상의 얼굴과 가장 유사한 3D 얼굴 모델을 결정하는 방식으로 구현될 수 있다. 이를 위해, 다양한 얼굴 형태와 얼굴 내 부위 모델들을 컴포넌트로 제작하고 모델의 선택과 교체, 모델의 회전, 이동 등 태아 영상과의 비교가 쉽도록 한다.
여기서, 생성된 학습용 영상과 태아 얼굴 특징 코드워드는 이를 통합적으로 관리하기 위한 학습 데이터베이스로 구축되어 추후 정보의 추가, 수정이 용이하도록 구현할 수 있다.
컴포넌트 선택부(225)는 코드워드에 대응하여 기존 3D 모델에 포함되는 얼굴부위별 하나 이상의 컴포넌트(compt)를 교체함으로써 3D 태아 모델의 생성시 갱신된 컴포넌트를 이용하여 3D 모델링(img)을 수행할 수 있도록 한다.
전술한 구조에 따라, 본 발명의 실시예에 따른 영상 처리부는 3D 태아 모델을 생성하기 위한 컴포넌트를 제공할 수 있고, 사용자로부터 제공되는 유사모델에 의한 피드백을 딥 러닝 모델(224)에 반영할 수 있다. 이때, 컴포넌트는 코드워드 형태로 전달될 수 있다.
이하, 도면을 참조하여 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법을 설명한다.
도 5는 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법을 나타낸 도면이다. 이하의 설명에서 각 단계별 실행주체는 별도의 기재가 없더라도 전술한 본 발명의 영상 제공 서버 및 그 구성부가 된다.
도 5를 참조하면, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법은, 모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 단계(S100), ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 단계(S110), 3D 모델링을 통해 얼굴부위별 특징이 반영된 3D 태아 영상을 생성하는 단계(S120) 및 3D 태아 영상을 모바일 단말에 제공하는 단계(S130)를 포함할 수 있다.
모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 단계(S100)에서는, 모바일 단말이 초음파 진단기기로부터 태아에 대한 원 태아영상을 전송받아 저장하고, 사용자의 지정에 따라 ROI정보를 생성하여 저장된 원 태아 영상과 함께 영상 제공 서버에 전송하게 된다.
ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 단계(S110)에서는 영상 제공 서버가 ROI정보에 포함된 영상좌표에 따라 태아 영상내 얼굴영역을 추출하고, 딥 러닝 모델을 통해 얼굴영역 내 각 부위에 대하여 특징을 추출하게 된다.
3D 모델링을 통해 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 단계(S120)에서는 딥 러닝 모델이 얼굴부위별 특징을 추출하고, 하나의 3D 태아 모델을 생성하게 된다.
그리고, 3D 태아 모델을 모바일 단말에 제공하는 단계(S130)에서는 영상 제공 서버가 해당 모바일 단말에 생성한 3D 태아 모델을 제공하게 된다.
이에 따라, 사용자측에서는 모바일 단말을 통해 태아에 대하여 다양한 시점에서 입체적인 태아 영상을 감상할 수 있고, 또한 모바일 단말과 연동하는 VR 장치를 통해 가상현실 방식으로 3D 태아 모델을 감상할 수 있다.
또한, S130 단계 이후, 딥 러닝 모델의 성능 향상을 위한 사용자 피드백에 대한 단계로서, 3D 태아 영상을 상기 모바일 단말에 제공하는 단계 이후, 모바일 단말로부터 사용자에 의해 선택된 태아의 얼굴부위별 하나 이상의 컴포넌트를 포함하는 유사모델에 대한 코드워드를 전송받는 단계 및 코드워드를 학습 데이터로 이용하여 딥 러닝 모델에 대한 기계 학습절차를 수행하는 단계를 더 포함할 수 있다.
이하, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 태아 영상 제공 시스템에 의한 딥 러닝 과정 및 그 과정에서 코드워드를 추출하는 과정을 통해 본 발명의 기술적 사상을 설명한다.
도 6은 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 태아 영상 제공 시스템의 딥 러닝 및 코드워드 추출과정을 모식화한 도면이다.
도 6을 참조하면, 본 발명의 실시예에 따른 딥 러닝 기반 가상현실 태아 영상 제공 시스템은 다양한 태아의 영상 학습 데이터로서 이용하며, 각 태아의 영상을 준비하고, 영상에서 얼굴에 해당하는 ROI정보를 지정하여 딥 러닝 모델에 적용함으로써 3D 모델링을 수행하도록 설정된다.
딥 러닝 모델의 학습을 위해 다수의 학습용 영상과 해당 영상의 얼굴 특징이 반영된 코드워드를 미리 정의하고 딥러닝 모델의 학습 절차를 수행한다. 학습 과정은 미리 정의된 영상과 그에 매칭되는 코드워드가 출력이 되도록 오차를 줄이는 방향으로 딥 러닝 모델을 최적화하는 절차이다.(a)
여기서, 이진화 데이터로서, 컴포넌트의 식별 및 추출은 그에 해당하는 코드워드를 매개로 하여 수행될 수 있다.
이에 따라, 사용자가 현재 태아 영상과 ROI정보를 제공하면, 사용자의 피드백이 반영된 학습된 딥 러닝 모델을 통해 얼굴의 각 부위에 대응하는 컴포넌트의 코드워드를 추출하고 3D 모델을 생성하게 된다(b).
본 발명의 실시예에 따르면, 사용자의 피드백에 따라, 딥 러닝 모델의 학습 데이터를 업데이트하여 오차를 줄이고 3D 모델의 품질을 개선할 수 있다.
이를 위해, 사용자측의 모바일 단말에 복수의 컴포넌트를 포함하는 라이브러리를 제공하고, 사용자가 라이브러리에서 제공하는 얼굴부위별 컴포넌트에서 가장 유사하다고 판단되는 컴포넌트들을 선택하여 유사모델을 생성하고 코드워드를 제공하면, 영상 제공 서버는 이를 학습 데이터로 이용하게 된다.
상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.
100 : 모바일 단말 110 : 통신부
120 : 이미지 저장소 130 : ROI 설정부
140 : 성장정보 입력부 150 : 단말 라이브러리DB
160 : 피드백부 200 : 영상 제공 서버
210 : 영상 수신부 220 : 영상 처리부
221 : 전처리부 222 : ROI 매칭부
224 : 딥 러닝 모델 225 : 컴포넌트 선택부
230 : 데이터 베이스 240 : 3D 모델 생성부
250 : 회원 관리부 300 : 초음파 진단기
400 : VR 장치
120 : 이미지 저장소 130 : ROI 설정부
140 : 성장정보 입력부 150 : 단말 라이브러리DB
160 : 피드백부 200 : 영상 제공 서버
210 : 영상 수신부 220 : 영상 처리부
221 : 전처리부 222 : ROI 매칭부
224 : 딥 러닝 모델 225 : 컴포넌트 선택부
230 : 데이터 베이스 240 : 3D 모델 생성부
250 : 회원 관리부 300 : 초음파 진단기
400 : VR 장치
Claims (10)
- 모바일 단말로부터 제공되는 태아 영상을 분석하여 3D 모델을 생성하는 영상 제공 서버를 포함하는 딥 러닝 기반 가상현실 태아 영상 제공 시스템으로서,
상기 영상 제공 서버는,
상기 모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 영상 수신부;
상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 영상 처리부; 및
상기 얼굴부위별 특징에 따른 부위 모델들의 선택 및 합성을 통해 얼굴부위별 특징이 반영된 3D 태아 모델을 생성하는 3D 모델 생성부를 포함하고,
상기 영상 처리부는,
입력되는 태아 영상에서 하나 이상의 프레임을 지정하고, 노이즈를 제거하는 전처리부; 및
상기 프레임 상에 ROI정보를 매칭하여 모델링 대상이 되는 얼굴영역을 결정하는 ROI 매칭부를 포함하고,
상기 영상 수신부는 태아 영상 및 ROI 정보의 수신과 함께 상기 모바일 단말로부터 선택된 복수의 컴포넌트로 이루어지는 유사모델에 대한 코드워드를 수신하고,
상기 영상 처리부는,
설정에 따라 상기 복수의 컴포넌트에 대응하는 코드워드를 학습 데이터로 이용하여 기계 학습절차를 수행하거나, 학습 이후 입력 영상에 대한 얼굴특징 코드워드를 추출하기 위한 딥 러닝 모델을 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템. - 삭제
- 삭제
- 제 1 항에 있어서,
상기 얼굴부위는 눈, 코, 입 및 얼굴 중, 하나 이상을 포함하고,
상기 코드워드는,
상기 얼굴부위의 형태를 이진(binary)형식으로 나타낸 코드인 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템. - 제 4 항에 있어서,
상기 영상 처리부는,
상기 코드워드에 대응하여 기존 3D 모델에 포함되는 얼굴부위별 하나 이상의 컴포넌트를 교체하는 컴포넌트 선택부
를 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템. - 제 1 항에 있어서,
상기 영상 제공 서버는,
상기 모바일 단말로부터 입력되는 로그인 정보에 따라 회원 등록여부를 판단하고, 로그인 절차를 수행하는 회원 관리부를 포함하고,
상기 영상 처리부는,
상기 회원 관리부에 의해 식별된 사용자에게 할당된 저장소에 상기 태아 영상을 저장하고, 저장된 3D 태아 영상을 추출하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템. - 제 1 항에 있어서,
상기 영상 처리부는 상기 모바일 단말로부터 임산부의 임신기간 및 성장 파라미터를 포함하는 성장정보를 수신하고,
상기 3D 모델 생성부는,
생성된 3D 모델을 임신기간별로 성장 파라미터에 따라 데이터 베이스에 저장하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템. - 제 1항에 있어서,
상기 모바일 단말은,
정보통신망에 연결되어 외부 시스템과 통신하는 통신부;
상기 통신부를 통해 초음파 진단기로부터 전송되는 상기 태아 영상을 저장하는 저장소;
사용자의 입력에 따라 상기 태아 영상 내 얼굴 영역을 선택받아 ROI정보로 설정하는 ROI 설정부;
임산부의 임신기간 및 성장 파라미터를 포함하는 성장정보를 입력받는 성장 정보 입력부;
복수의 얼굴형태에 대응하는 컴포넌트가 정의된 라이브러리를 저장하는 단말 라이브러리DB; 및
사용자로부터 태아의 얼굴부위별 하나 이상의 컴포넌트를 선택받아 유사 모델의 코드워드를 상기 영상 제공 서버에 전송하는 피드백부
를 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템. - 청구항 1에 기재된 딥 러닝 기반 가상현실 3D 태아 모델 제공 시스템의 영상 제공 서버에 의한 모델 제공 방법으로서,
모바일 단말로부터 태아 영상 및 ROI정보를 전송받는 단계;
상기 ROI정보에 대응하는 태아 영상을 딥 러닝 모델에 입력하여 얼굴부위별 특징을 추출하는 단계;
3D 모델링을 통해 상기 얼굴부위별 특징이 반영된 3D 태아 영상을 생성하는 단계; 및
상기 3D 태아 영상을 상기 모바일 단말에 제공하는 단계를 포함하고,
상기 3D 태아 영상을 상기 모바일 단말에 제공하는 단계 이후,
상기 모바일 단말로부터 사용자에 의해 선택된 태아의 얼굴부위별 하나 이상의 컴포넌트를 포함하는 유사모델에 대한 코드워드를 전송받는 단계; 및
상기 코드워드를 학습 데이터로 이용하여 상기 딥 러닝 모델에 대한 기계 학습절차를 수행하는 단계
를 포함하는 딥 러닝 기반 가상현실 3D 태아 모델 제공 방법. - 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/271,032 US20210315539A1 (en) | 2018-08-31 | 2019-08-28 | System and method for providing deep learning-based virtual reality 3d embryo model |
| PCT/KR2019/011011 WO2020045987A1 (ko) | 2018-08-31 | 2019-08-28 | 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180103412 | 2018-08-31 | ||
| KR20180103412 | 2018-08-31 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102027974B1 true KR102027974B1 (ko) | 2019-10-04 |
Family
ID=68208225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190007744A KR102027974B1 (ko) | 2018-08-31 | 2019-01-21 | 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210315539A1 (ko) |
| KR (1) | KR102027974B1 (ko) |
| WO (1) | WO2020045987A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102334666B1 (ko) * | 2021-05-20 | 2021-12-07 | 알레시오 주식회사 | 얼굴 이미지 생성 방법 |
| KR20220075728A (ko) * | 2020-11-30 | 2022-06-08 | 동의대학교 산학협력단 | 의료용 이미지의 3차원 메쉬 생성을 위한 장치 및 방법 |
| KR20230033917A (ko) | 2021-09-02 | 2023-03-09 | 길재소프트 주식회사 | 3d 태아 아바타 얼굴 구성 장치 및 방법 |
| KR102664430B1 (ko) * | 2022-12-07 | 2024-05-09 | 박성용 | 반려 동물에 대한 3d모델링을 제공하는 방법 및 디바이스 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11457891B2 (en) | 2020-08-17 | 2022-10-04 | Clarius Mobile Health Corp. | Method and system for defining cut lines to generate a 3D fetal representation |
| CN114652354B (zh) * | 2022-03-03 | 2023-03-10 | 广州三瑞医疗器械有限公司 | 一种胎头姿态3d展示方法 |
| CN116757967B (zh) * | 2023-08-18 | 2023-11-03 | 武汉互创联合科技有限公司 | 胚胎图像碎片去除方法、计算机设备及可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100040557A (ko) * | 2008-10-10 | 2010-04-20 | 주식회사 메디슨 | 태아의 미래 얼굴 영상을 제공하는 시스템 및 방법 |
| KR20130112127A (ko) | 2012-04-03 | 2013-10-14 | 주식회사 사이버메드 | 가상 엔도스코프를 이용하여 3차원 모델을 생성하는 방법 |
| KR20150108701A (ko) * | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | 의료 영상 내 해부학적 요소 시각화 시스템 및 방법 |
| KR20160115366A (ko) * | 2015-03-27 | 2016-10-06 | 주식회사 스토리앤 | 스마트폰의 애플리케이션을 이용한 산부인과 태아정보 서비스 제공 시스템 및 그 방법 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100870412B1 (ko) * | 2005-12-01 | 2008-11-26 | 주식회사 메디슨 | Ｓｖｍ 기반 질감분류를 이용하여 추출된 태아의 표면영상을 기초로 태아의 3차원 초음파 영상을 형성하는초음파 시스템 및 방법 |
| JP6196951B2 (ja) * | 2014-08-22 | 2017-09-13 | 株式会社日立製作所 | 超音波診断画像生成装置、及び方法 |
| JP2016083192A (ja) * | 2014-10-27 | 2016-05-19 | 日立アロカメディカル株式会社 | 超音波診断装置 |
| WO2019074339A1 (ko) * | 2017-10-15 | 2019-04-18 | 알레시오 주식회사 | 신호 변환 시스템 및 신호 변환 방법 |
| US20210177374A1 (en) * | 2018-08-23 | 2021-06-17 | Koninklijke Philips N.V. | Biometric measurement and quality assessment |
| JP7193979B2 (ja) * | 2018-10-29 | 2022-12-21 | 富士フイルムヘルスケア株式会社 | 医用撮像装置、画像処理装置、および、画像処理方法 |
| KR20200109879A (ko) * | 2019-03-15 | 2020-09-23 | 길재소프트 주식회사 | 환자의 초음파 이미지 및 정보로 3d 모델 생성 및 표시 방법 그리고 장치 |
-
2019
- 2019-01-21 KR KR1020190007744A patent/KR102027974B1/ko active IP Right Grant
- 2019-08-28 WO PCT/KR2019/011011 patent/WO2020045987A1/ko active Application Filing
- 2019-08-28 US US17/271,032 patent/US20210315539A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100040557A (ko) * | 2008-10-10 | 2010-04-20 | 주식회사 메디슨 | 태아의 미래 얼굴 영상을 제공하는 시스템 및 방법 |
| KR20130112127A (ko) | 2012-04-03 | 2013-10-14 | 주식회사 사이버메드 | 가상 엔도스코프를 이용하여 3차원 모델을 생성하는 방법 |
| KR20150108701A (ko) * | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | 의료 영상 내 해부학적 요소 시각화 시스템 및 방법 |
| KR20160115366A (ko) * | 2015-03-27 | 2016-10-06 | 주식회사 스토리앤 | 스마트폰의 애플리케이션을 이용한 산부인과 태아정보 서비스 제공 시스템 및 그 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220075728A (ko) * | 2020-11-30 | 2022-06-08 | 동의대학교 산학협력단 | 의료용 이미지의 3차원 메쉬 생성을 위한 장치 및 방법 |
| KR102615255B1 (ko) * | 2020-11-30 | 2023-12-19 | 동의대학교 산학협력단 | 의료용 이미지의 3차원 메쉬 생성을 위한 장치 및 방법 |
| KR102334666B1 (ko) * | 2021-05-20 | 2021-12-07 | 알레시오 주식회사 | 얼굴 이미지 생성 방법 |
| KR20230033917A (ko) | 2021-09-02 | 2023-03-09 | 길재소프트 주식회사 | 3d 태아 아바타 얼굴 구성 장치 및 방법 |
| KR102664430B1 (ko) * | 2022-12-07 | 2024-05-09 | 박성용 | 반려 동물에 대한 3d모델링을 제공하는 방법 및 디바이스 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020045987A1 (ko) | 2020-03-05 |
| US20210315539A1 (en) | 2021-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102027974B1 (ko) | 딥 러닝 기반 가상현실 3d 태아 모델 제공 시스템 및 방법 | |
| US10832039B2 (en) | Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium | |
| US10674135B2 (en) | Handheld portable optical scanner and method of using | |
| US11395715B2 (en) | Methods and systems for generating and using 3D images in surgical settings | |
| KR102394593B1 (ko) | 신체 이미징 | |
| CN112805750A (zh) | 跨现实系统 | |
| CN113822977A (zh) | 图像渲染方法、装置、设备以及存储介质 | |
| CN108012559A (zh) | 自动三维模型生成 | |
| WO2014172484A1 (en) | Handheld portable optical scanner and method of using | |
| KR20170071159A (ko) | 이미지 관련 서비스를 제공하기 위한 방법, 저장 매체 및 전자 장치 | |
| CN109887077B (zh) | 用于生成三维模型的方法和装置 | |
| CN108388889B (zh) | 用于分析人脸图像的方法和装置 | |
| CN108229375B (zh) | 用于检测人脸图像的方法和装置 | |
| CN107480612A (zh) | 人物动作的识别方法、装置和终端设备 | |
| US11748905B2 (en) | Efficient localization based on multiple feature types | |
| US20200118349A1 (en) | Information processing apparatus, information processing method, and program | |
| CN113538682B (zh) | 模型训练、头部重建方法、电子设备及存储介质 | |
| KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
| CN116704084B (zh) | 人脸动画生成网络的训练方法、人脸动画生成方法及装置 | |
| CN116993948A (zh) | 一种人脸三维重建方法、系统及智能终端 | |
| KR20200109879A (ko) | 환자의 초음파 이미지 및 정보로 3d 모델 생성 및 표시 방법 그리고 장치 | |
| KR102646272B1 (ko) | 사용자 단말기 및 사용자의 신체 부위 별 체형 정보를 제공하는 방법 | |
| CN109558836A (zh) | 一种人脸图像的处理方法及相关设备 | |
| CN110992476B (zh) | 胎儿三维超声图像的3d打印方法、存储介质及超声设备 | |
| US20230070062A1 (en) | Method and system, using an ai model, for identifying and predicting optimal fetal images for generating an ultrasound multimedia product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |