KR102558551B1

KR102558551B1 - 체외 수정에 대한 정보 제공 방법 및 이를 이용한 체외 수정에 대한 정보 제공용 디바이스

Info

Publication number: KR102558551B1
Application number: KR1020220116597A
Authority: KR
Inventors: 이혜준; 김형민
Original assignee: 주식회사 카이헬스
Priority date: 2022-09-15
Filing date: 2022-09-15
Publication date: 2023-07-24

Abstract

본 발명은, 프로세서에 의해 구현되는 체외 수정에 대한 정보 제공 방법으로, 개체로부터 배아 영상을 수신하는 단계, 배아 영상 내에서 배아 영역을 결정하는 단계, 및 배아 영역을 입력으로 하여 포배기를 예측하도록 학습된 예측 모델을 이용하여, 결정된 배아 영역에 기초하여 포배기 여부를 예측하는 단계를 포함하는, 체외 수정에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공한다.

Description

체외 수정에 대한 정보 제공 방법 및 이를 이용한 체외 수정에 대한 정보 제공용 디바이스{METHOD FOR PROVIDING INFORMATION OF IN VITRO FERTILIZATION AND DEVICE USING THE SAME}

본 발명은 체외 수정에 대한 정보 제공 방법 및 이를 이용한 체외 수정에 대한 정보 제공용 디바이스에 관한 것이다.

체외 수정은 난소로부터 난자가 배란되기 전에 몸 밖으로 채취하여 시험관에서 정자와 수정을 시키고, 수정된 배아를 다시 자궁경부를 통하여 자궁 내로 이식하는 난임 시술 중 하나이다.

한편, 체외 수정의 성공률은 배아와 연관이 있을 수 있다. 이때, 배아는 세포 분열 속도와 모양을 기준으로 상·중·하급으로 나뉠 수 있고, 상급의 배아일수록 착상률이 높을 수 있다.

즉, 최상의 배아를 선별하는 것이 난임 치료의 핵심일 수 있다. 한편, 배아 선별은 현미경 또는 획득된 배아 영상을 통해 육안으로 이루어지고 있으며, 이의 정확도는 의료진의 실력, 촬영된 영상의 수준 등에 따라 달라질 수 있다.

따라서, 체외 수정을 통한 임신 성공률을 높이기 위하여 정확하게 체외 수정과 연관된 정보를 제공하는 시스템의 개발이 지속적으로 요구되고 있는 실정이다.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.
(특허문헌 1) KR 10-1747983 B

한편, 전술한 문제점을 해결하기 위해, 본 발명의 발명자들은 배아 영상으로부터 배아의 상태를 예측하도록 학습된 인공 신경망 네트워크 기반의 정보 제공 시스템을 개발하고자 하였다.

이때, 본 발명의 발명자들은 영상 처리 알고리즘을 더욱 적용하여 배아 영상 내에서 배아 영역을 선별할 수 있음을 인지할 수 있었다.

보다 구체적으로, 본 발명의 발명자들은, 획득된 영상에 대하여 영상 처리 알고리즘을 적용하여 배아 영역을 탐색하고, 이에 대하여 체외 수정과 연관된 다양한 정보를 예측하도록 각각 학습된 인공 신경망 기반의 모델을 적용하고자 하였다.

이를 통해 본 발명의 발명자들은, 새로운 정보 제공 시스템에 대하여, 특정 시점에서 획득된 배아 영상을 선별한 후, 배아 이식 시술의 적기인 포배기를 예측하도록 학습된 예측 모델을 적용할 수 있음을 인지할 수 있었다.

나아가, 본 발명의 발명자들은 새로운 정보 제공 시스템에 대하여, 배아 영역으로부터 특징을 추출하고, 이를 기초로 배아 등급, 임신낭 형성 가능성, 임신 가능성 (태아 심장 박동 확인) 을 각각 예측하도록 학습된 평가 모델을 더욱 적용하고자 하였다.

즉, 본 발명의 발명자들은, 인공 신경망 기반의 모델들의 적용을 통해, 사람의 육안으로 확인할 수 없는 체외 수정과 연관된 '배아의 양상'에 대한 정확도 높은 분석이 가능함을 인지할 수 있었다.

이에, 본 발명의 발명자들은 새로운 정보 제공 시스템을 제공함으로써, 의료진의 작업 시간을 줄이면서도, 임신 가능성이 높은 배아의 선별의 가능하여 체외 수정의 성공 확률을 높일 수 있음을 기대할 수 있었다.

나아가, 본 발명의 발명자들은 새로운 정보 제공 시스템을 제공함으로써, 의료진의 숙련도에 관계 없이 체외 수정에 대한 신뢰도 높은 정보의 제공이 가능함을 기대할 수 있었다.

이에, 본 발명이 해결하고자 하는 과제는 수신된 배아 영상으로부터 배아 영역을 결정하고, 예측된 배아 영역에 대하여 포배기를 예측하거나 임신 가능성을 평가하도록 구성된 체외 수정에 대한 정보 제공 방법 및 이를 이용한 디바이스를 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 체외 수정에 대한 정보 제공 방법이 제공된다. 상기 정보 제공 방법은, 개체로부터 배아 영상을 수신하는 단계, 배아 영상 내에서 배아 영역을 결정하는 단계, 및 배아 영역을 입력으로 하여 포배기를 예측하도록 학습된 예측 모델을 이용하여, 결정된 배아 영역에 기초하여 포배기 여부를 예측하는 단계를 포함한다.

본 발명의 특징에 따르면 배아 영상은, 시간 데이터를 포함하는 복수의 배아 영상이고, 상기 정보 제공 방법은 수신하는 단계 이후에 시간 데이터에 기초하여, 복수의 배아 영상 내에서 미리 결정된 시점의 배아 영상을 결정하는 단계를 포함할 수 있다. 이때, 포배기 여부를 예측하는 단계는, 예측 모델을 이용하여 미리 결정된 시점의 배아 영상 내의 배아 영역을 기초로 포배기 여부를 예측하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면 배아 영역을 결정하는 단계는, 배아 영상 내에서 미리 결정된 형태를 갖는 영역을 각각 결정하는 단계, 및 미리 결정된 형태를 갖는 영역 중 배아 영역을 각각 결정하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면 상기 정보 제공 방법은, 배아 영역을 결정하는 단계 이후에, 배아 영상 내에서, 결정된 배아 영역 이외의 영역을 제거하는 단계를 더 포함할 수 있다. 이때, 포배기 여부를 예측하는 단계는, 예측 모델을 이용하여, 이외의 영역이 제거된 배아 영상을 기초로 포배기 여부를 결정하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면 배아 영상은, 복수의 배아 현미경 영상이고, 배아 영역을 결정하는 단계 이후에, 배아 영역을 입력으로 하여 태아 심장 박동 (Fetal Heart Tones; FHT), 임신낭 (Gestational Sac) 및 배아 등급중 적어도 하나를 예측하도록 학습된 평가 모델을 이용하여, 배아 영역을 기초로 개체에 대한 임신 가능성을 평가하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 특징에 따르면 결정된 배아 영역은 복수 개이고, 상기 정보 제공 방법은 배아 영역을 결정하는 단계 이후에, 복수 개의 배아 영역을 포함하는 복수 개의 크로핑 영상을 획득하도록, 배아 영상을 크로핑하는 단계를 더 포함할 수 있다. 이때, 임신 가능성을 평가하는 단계는, 평가 모델을 이용하여, 복수 개의 크로핑 영상을 기초로 임신 가능성을 평가하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면 배아 영역을 결정하는 단계는, 복수의 배아 현미경 영상을 이진화하는 단계, 이진화된 배아 영상에 대하여 배아 모서리를 결정하는 단계, 및 배아 모서리를 기초로 배아 영역을 각각 결정하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면 배아 영역을 결정하는 단계는, 영상 처리 알고리즘을 이용하여 배아 영역을 결정하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 따르면 배아 영상은, 복수의 프레임을 포함하는 배아 타임랩스 비디오 영상일 수 있다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 체외 수정에 대한 정보 제공용 디바이스가 제공된다. 상기 정보 제공용 디바이스는, 개체로부터 배아 영상을 수신하도록 구성된 통신부, 및 통신부와 전기적으로 연결된 프로세서를 포함한다. 이때, 프로세서는, 배아 영상 내에서 배아 영역을 결정하고, 배아 영역을 입력으로 하여 포배기를 예측하도록 학습된 예측 모델을 이용하여, 결정된 배아 영역에 기초하여 포배기 여부를 예측하도록 구성된다.

본 발명의 특징에 따르면 배아 영상은, 시간 데이터를 포함하고, 프로세서는, 시간 데이터에 기초하여, 미리 결정된 시점의 배아 영상을 결정하고, 예측 모델을 이용하여, 미리 결정된 시점의 배아 영상 내의 배아 영역을 기초로 포배기 여부를 예측하도록 더 구성될 수 있다.

본 발명의 다른 특징에 따르면 프로세서는, 배아 영상 내에서 미리 결정된 형태를 갖는 영역을 각각 결정하는 단계, 및 미리 결정된 형태를 갖는 영역 중 배아 영역을 각각 결정하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면 프로세서는, 배아 영상 내에서, 결정된 배아 영역 이외의 영역을 제거하고, 예측 모델을 이용하여, 이외의 영역이 제거된 배아 영상을 기초로 포배기 여부를 결정하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면 배아 영상은, 복수의 배아 현미경 영상이고, 프로세서는, 배아 영역을 입력으로 하여 태아 심장 박동 (Fetal Heart Tones; FHT), 임신낭 (Gestational Sac) 및 배아 등급 중 적어도 하나를 예측하도록 학습된 평가 모델을 이용하여, 배아 영역을 기초로 개체에 대한 임신 가능성을 평가하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면 결정된 배아 영역은 복수 개이고, 프로세서는, 복수 개의 배아 영역을 포함하는 복수 개의 크로핑 영상을 획득하도록, 배아 영상을 크로핑하고, 평가 모델을 이용하여, 복수 개의 크로핑 영상을 기초로 임신 가능성을 평가하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면 프로세서는, 복수의 배아 현미경 영상을 이진화하고, 이진화된 배아 영상에 대하여 배아 모서리를 결정하고, 배아 모서리를 기초로 배아 영역을 각각 결정하도록 더 구성될 수 있다.

본 발명의 또 다른 특징에 따르면 프로세서는, 영상 처리 알고리즘을 이용하여 배아 영역을 결정하도록 더 구성될 수 있다.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명은, 배아 영상을 이용하여 체외 수정과 연관된 정보를 예측하도록 구성된 인공 신경망 네트워크 기반의 정보 제공 시스템을 제공함으로써 체외 수정 성공률을 높일 수 있는 효과가 있다.

보다 구체적으로, 본 발명은, 인공 신경망 기반의 모델 적용을 통해, 사람의 육안으로 확인할 수 없는 체외 수정과 연관된 '배아의 양상'에 대한 정확도 높은 분석이 가능할 수 있다.

이에, 본 발명은 새로운 정보 제공 시스템을 제공함으로써, 의료진의 작업 시간을 줄이면서도, 임신 가능성이 높은 배아의 선별의 가능하여 체외 수정의 성공 확률을 높일 수 있다.

나아가, 본 발명은 새로운 정보 제공 시스템을 제공함으로써, 의료진의 숙련도에 관계 없이 체외 수정에 대한 신뢰도 높은 정보를 제공할 수 있다.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.

도 1은 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공용 디바이스를 이용한 체외 수정에 대한 정보 제공 시스템을 도시한 것이다.
도 2a는 본 발명의 일 실시예에 따른 의료진 디바이스의 구성을 나타낸 블록도이다.
도 2b는 본 발명의 일 실시예에 따른 정보 제공용 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 4a 내지 4c는 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 5는 본 발명의 다른 실시예에 따른 체외 수정에 대한 정보 제공 방법의 절차를 도시한 것이다.
도 6a 및 6b는 본 발명의 다른 실시예에 따른 체외 수정에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법에 이용되는 예측 모델의 구조를 예시적으로 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법에 이용되는 예측 모델의 학습 데이터를 도시한 것이다.
도 9a 내지 9c는 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법에 이용되는 예측 모델의 평가 결과를 도시한 것이다.

발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.

구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.

본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.

본 명세서에서 사용되는 용어, "개체"는 체외 수정에 대한 정보를 제공받고자 하는 모든 대상을 의미할 수 있다. 예를 들어, 개체는, 가임기의 개체일 수도 있다. 한편, 본 명세서 내에 개시된 개체는, 인간을 제외한 모든 포유 동물일 수 있으나, 이에 제한되는 것은 아니다.

본 명세서에서 사용되는 용어, "배아 영상"은, 체외 수정에 따른 배아 영상으로서, 배아관찰경 및/또는 현미경의 영상 제공 디바이스로부터 획득 가능한 영상일 수 있다.

한편, 배아 영상은, 복수 개의 프레임으로 구성된 동영상일 수 있다. 이때, 동영상은 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법에 따라 동영상의 프레임 각각에 대하여 배아 영역이 결정되고, 포배기 상태가 결정되거나 임신 가능성의 평가가 수행될 수 있다.

본 발명의 특징에 따르면, 동영상의 배아 영상은 타임랩스 영상으로서 시간 데이터를 포함할 수 있다. 그러나 이에 제한되는 것은 아니다.

본 명세서에서 사용되는 용어, "미리 결정된 시점의 배아 영상"은 포배기 여부가 확인 가능한 시점의 영상을 의미할 수 있다.

여기서 미리 결정된 시점은 수정란 배양 3일차 시점일 수 있으며, 바람직하게 수정란 배양 66 시간 내지 68 시간일 수 있다. 그러나, 이에 제한되는 것은 아니다.

본 명세서에서 사용되는 용어, "영상 처리 알고리즘"은 배아 영상 내에서 배아 영역을 탐지하거나, 시간 데이터를 포함하는 프레임에 대하여 촬영 시점을 인식하도록 구성된 알고리즘일 수 있다.

예를 들어, 영상 처리 알고리즘은 파이썬 OpenCV 라이브러리를 기초로 구현될 수 있으나, 이에 제한되는 것은 아니다.

본 명세서에서 사용되는 용어, "예측 모델"은 배아 영상, 특히 배아 영역을 입력으로 하여, 포배기 여부를 출력하도록 구성된 모델일 수 있다.

본 발명의 특징에 따르면, 예측 모델은 배아 영역에 기초하여 포배기 상태를 확률적으로 출력하도록 구성된 모델일 수 있다.

본 발명의 다른 특징에 따르면, 예측 모델에 입력되는 배아 영상 (영역) 은 배아관찰경으로부터 획득 가능한 동영상의 타임랩스 영상일 수 있으나, 이에 제한되는 것은 아니다.

본 명세서에서 사용되는 용어, "평가 모델"은, 배아 영역을 입력으로 하여 배아 등급, 임신낭 형성 가능성, 임신 가능성 (태아 심장 박동 확인) 을 예측하도록 학습된 복수의 모델일 수 있다.

예를 들어, 평가 모델은 배아 영역을 입력으로 하여 배아 등급을 상·중·하 중 적어도 하나로 출력하도록 구성될 수 있다. 본 발명의 특징에 따르면, 평가 모델은 배아 영역을 입력으로 하여 임신낭 형성, 즉 아기집의 형성 가능성을 확률적을 출력하도록 구성될 수 있다. 본 발명의 또 다른 특징에 따르면, 평가 모델은 배아 영역을 입력으로 하여 임신 가능성 (태아 심박수) 을 확률적으로 출력하도록 구성될 수 있다.

즉, 하나의 평가 모델이 배아 영상을 기초로 전술한 임신 성공과 연관된 특징 중 하나를 예측할 수 있다. 이때, 입력되는 배아 영상은 배아 현미경 영상일 수 있으나, 이에 제한되는 것은 아니다.

한편, 예측 모델 및 평가 모델은, VGG 16, 특히 사전 학습된 VGG 16일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 예측 모델 및 평가 모델은, U-net, DenseNet 및, encoder-decoder structure를 갖는 FCN (Fully Convolutional Network), SegNet, DeconvNet, DeepLAB V3+와 같은 DNN (deep neural network), SqueezeNet, Alexnet, ResNet18, MobileNet-v2, GoogLeNet, Resnet-v2, Resnet50, RetinaNet, Resnet101, Inception-v3 중 선택된 적어도 하나의 알고리즘에 기초할 수 있다. 나아가, 예측 모델 및 평가 모델은 전술한 알고리즘 중 적어도 두 개의 알고리즘 모델에 기초한 앙상블 모델일 수 도 있다.

이하에서는 도 1 및 2a 및 2b를 참조하여, 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공용 디바이스를 이용한 체외 수정에 대한 정보 제공 시스템 및 체외 수정에 대한 정보 제공용 디바이스를 설명한다.

도 1은 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공용 디바이스를 이용한 체외 수정에 대한 정보 제공 시스템을 도시한 것이다. 도 2a는 본 발명의 일 실시예에 따른 체외 수정에 대한 정보를 제공받는 의료진 디바이스의 구성을 예시적으로 도시한 것이다. 도 2b는 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공용 디바이스의 구성을 예시적으로 도시한 것이다.

먼저, 도 1을 참조하면, 정보 제공 시스템 (1000) 은, 개체에 대한 배아 영상을 기초로 체외 수정과 연관된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 정보 제공 시스템 (1000) 은, 체외 수정과 연관된 정보를 수신하는 의료진 디바이스 (100), 부인과 초음파 영상과 같은 배아 영상을 제공하며 배아관찰경 (EmbryoScope) (210) 및/또는 현미경 (220) 을 포함하는, 의료 영상 제공 디바이스 (200) 및 수신된 배아 영상에 기초하여 체외 수정에 관한 정보를 생성하는 정보 제공용 서버 (300) 로 구성될 수 있다.

다음으로, 의료진 디바이스 (100) 는 체외 수정과 연관된 정보를 나타내기 위한 사용자 인터페이스를 제공하는 전자 디바이스로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.

의료진 디바이스 (100) 는 정보 제공용 서버 (300) 로부터 개체에 대한 체외 수정과 연관된 정보를 수신하고, 수신된 결과를 후술할 표시부를 통해 표시할 수 있다.

정보 제공용 서버 (300) 는 배아관찰경 (210) 및/또는 현미경 (220) 과 같은 의료 영상 제공 디바이스 (200) 로부터 제공된 배아 영상을 기초로 체외 수정과 연관된 정보를 결정하기 위한 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. 이때, 정보 제공용 서버 (300) 는 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다.

보다 구체적으로, 정보 제공용 서버 (300) 는 의료 영상 제공 디바이스 (200) 로부터 배아 영상을 수신하고, 수신된 배아 영상 내에서 배아 영역을 분할하고, 이로부터 포배기 여부, 나아가 배아 등급, 임신낭 형성 가능성, 임신 가능성 등을 결정하여 체외 수정과 연관된 정보를 제공할 수 있다. 이때, 정보 제공용 서버 (300), 예측 모델을 이용하여 배아 영상으로부터 체외 수정과 연관된 정보를 예측할 수 있다.

정보 제공용 서버 (300) 는 체외 수정과 연관된 정보를 의료진 디바이스 (100) 로 제공할 수 있다.

이와 같이 정보 제공용 서버 (300) 로부터 제공되는 정보는 의료진 디바이스 (100) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.

다음으로, 도 2a 및 2b를 참조하여, 본 발명의 정보 제공용 서버 (300) 의 구성 요소에 대하여 구체적으로 설명한다.

먼저, 도 2a를 참조하면, 의료진 디바이스 (100) 는 메모리 인터페이스 (110), 하나 이상의 프로세서 (120) 및 주변 인터페이스 (130) 를 포함할 수 있다. 의료진 디바이스 (100) 내의 다양한 컴포넌트들은 하나 이상의 통신 버스 또는 신호 라인에 의해 연결될 수 있다.

메모리 인터페이스 (110) 는 메모리 (150) 에 연결되어 프로세서 (120) 로 다양한 데이터를 전할 수 있다. 여기서, 메모리 (150) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

다양한 실시예에서, 메모리 (150) 는 운영 체제 (151), 통신 모듈 (152), 그래픽 사용자 인터페이스 모듈 (GUI) (153), 센서 처리 모듈 (154), 전화 모듈 (155) 및 애플리케이션 모듈 (156) 중 적어도 하나 이상을 저장할 수 있다. 구체적으로, 운영 체제 (151) 는 기본 시스템 서비스를 처리하기 위한 명령어 및 하드웨어 작업들을 수행하기 위한 명령어를 포함할 수 있다. 통신 모듈 (152) 은 다른 하나 이상의 디바이스, 컴퓨터 및 서버 중 적어도 하나와 통신할 수 있다. 그래픽 사용자 인터페이스 모듈 (GUI) (153) 은 그래픽 사용자 인터페이스를 처리할 수 있다. 센서 처리 모듈 (154) 은 센서 관련 기능 (예를 들어, 하나 이상의 마이크 (192) 를 이용하여 수신된 음성 입력을 처리함) 을 처리할 수 있다. 전화 모듈 (155) 은 전화 관련 기능을 처리할 수 있다. 애플리케이션 모듈 (156) 은 사용자 애플리케이션의 다양한 기능들, 예컨대 전자 메시징, 웹 브라우징, 미디어 처리, 탐색, 이미징, 기타 프로세스 기능을 수행할 수 있다. 아울러, 의료진 디바이스 (100) 는 메모리 (150) 에 어느 한 종류의 서비스와 연관된 하나 이상의 소프트웨어 애플리케이션 (156-1, 156-2) (예를 들어, 정보 제공 어플리케이션) 을 저장할 수 있다.

다양한 실시예에서, 메모리 (150) 는 디지털 어시스턴트 클라이언트 모듈 (157) (이하, DA 클라이언트 모듈) 을 저장할 수 있으며, 그에 따라 디지털 어시스턴트의 클라이언트 측의 기능을 수행하기 위한 명령어 및 다양한 사용자 데이터 (158) (예를 들어, 사용자 맞춤형 어휘 데이터, 선호도 데이터, 사용자의 전자 주소록, 할 일 목록, 쇼핑 리스트 등과 같은 기타 데이터) 를 저장할 수 있다.

한편, DA 클라이언트 모듈 (157) 은 의료진 디바이스 (100) 에 구비된 다양한 사용자 인터페이스 (예를 들어, I/O 서브시스템 (140)) 를 통해 사용자의 음성 입력, 텍스트 입력, 터치 입력 및/또는 제스처 입력을 획득할 수 있다.

또한, DA 클라이언트 모듈 (157) 은 시청각적, 촉각적 형태의 데이터를 출력할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 음성, 소리, 알림, 텍스트 메시지, 메뉴, 그래픽, 비디오, 애니메이션 및 진동 중 적어도 둘 하나 이상의 조합으로 이루어진 데이터를 출력할 수 있다. 아울러, DA 클라이언트 모듈 (157) 은 통신 서브시스템 (180) 을 이용하여 디지털 어시스턴트 서버 (미도시) 와 통신할 수 있다.

다양한 실시예에서, DA 클라이언트 모듈 (157) 은 사용자 입력과 연관된 상황 (context) 을 구성하기 위하여 다양한 센서, 서브시스템 및 주변 디바이스로부터 의료진 디바이스 (100) 의 주변 환경에 대한 추가 정보를 수집할 수 있다. 예를 들어, DA 클라이언트 모듈 (157) 은 사용자 입력과 함께 상황 정보를 디지털 어시스턴트 서버에 제공하여 사용자의 의도를 추론할 수 있다. 여기서, 사용자 입력에 동반될 수 있는 상황 정보는 센서 정보, 예를 들어, 광 (lighting), 주변 소음, 주변 온도, 주변 환경의 이미지, 비디오 등을 포함할 수 있다. 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 물리적 상태 (예를 들어, 디바이스 배향, 디바이스 위치, 디바이스 온도, 전력 레벨, 속도, 가속도, 모션 패턴, 셀룰러 신호 강도 등) 을 포함할 수 있다. 또 다른 예를 들어, 상황 정보는 의료진 디바이스 (100) 의 소프트웨어 상태에 관련된 정보 (예를 들어, 의료진 디바이스 (100) 에서 실행 중인 프로세스, 설치된 프로그램, 과거 및 현재 네트워크 활동성, 백그라운드 서비스, 오류 로그, 리소스 사용 등) 를 포함할 수 있다.

다양한 실시예에서, 메모리 (150) 는 추가 또는 삭제된 명령어를 포함할 수 있으며, 나아가 의료진 디바이스 (100) 도 도 2에 도시된 구성 외에 추가 구성을 포함하거나, 일부 구성을 제외할 수도 있다.

프로세서 (120) 는 의료진 디바이스 (100) 의 전반적인 동작을 제어할 수 있으며, 메모리 (150) 에 저장된 어플리케이션 또는 프로그램을 구동하여 체외 수정과 연관된 정보를 제공하는 인터페이스를 구현하기 위한 다양한 명령들을 수행할 수 있다.

프로세서 (120) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 디바이스에 해당할 수 있다. 또한, 프로세서 (120) 는 NPU (Neural Processing Unit) 과 같은 다양한 연산 디바이스가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다.

주변 인터페이스 (130) 는 다양한 센서, 서브 시스템 및 주변 디바이스와 연결되어, 의료진 디바이스 (100) 가 다양한 기능을 수행할 수 있도록 데이터를 제공해 줄 수 있다. 여기서, 의료진 디바이스 (100) 가 어떠한 기능을 수행한다는 것은 프로세서 (120) 에 의해 수행되는 것으로 이해될 수 있다.

주변 인터페이스 (130) 는 모션 센서 (160), 조명 센서 (광 센서) (161) 및 근접 센서 (162) 로부터 데이터를 제공받을 수 있으며, 이를 통해, 의료진 디바이스 (100) 는 배향, 광, 및 근접 감지 기능 등을 수행할 수 있다. 다른 예를 들어, 주변 인터페이스 (130) 는 기타 센서들 (163) (포지셔닝 시스템-GPS 수신기, 온도 센서, 생체인식 센서) 로부터 데이터를 제공받을 수 있으며, 이를 통해 의료진 디바이스 (100) 가 기타 센서들 (163) 과 관련된 기능들을 수행할 수 있다.

다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 카메라 서브시스템 (170) 및 이와 연결된 광학 센서 (171) 를 포함할 수 있으며, 이를 통해 의료진 디바이스 (100) 는 사진 촬영 및 비디오 클립 녹화 등의 다양한 촬영 기능을 수행할 수 있다.

다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 통신 서브 시스템 (180) 을 포함할 수 있다. 통신 서브 시스템 (180) 은 하나 이상의 유/무선 네트워크로 구성되며, 다양한 통신 포트, 무선 주파수 송수신기, 광학 송수신기를 포함할 수 있다.

다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 오디오 서브 시스템 (190) 을 포함하며, 이러한 오디오 서브 시스템 (190) 은 하나 이상의 스피커 (191) 및 하나 이상의 마이크 (192) 를 포함함으로써, 의료진 디바이스 (100) 는 음성 작동형 기능, 예컨대 음성 인식, 음성 복제, 디지털 녹음, 및 전화 기능 등을 수행할 수 있다.

다양한 실시예에서, 의료진 디바이스 (100) 는 주변 인터페이스 (130) 와 연결된 I/O 서브시스템 (140) 을 포함할 수 있다. 예를 들어, I/O 서브시스템 (140) 은 터치 스크린 제어기 (141) 를 통해 의료진 디바이스 (100) 에 포함된 터치 스크린 (143) 을 제어할 수 있다. 일 예로서, 터치 스크린 제어기 (141) 는 정전용량형, 저항형, 적외형, 표면 탄성파 기술, 근접 센서 어레이 등과 같은 복수의 터치 감지 기술 중 어느 하나의 기술을 사용하여 사용자의 접촉 및 움직임 또는 접촉 및 움직임의 중단을 검출할 수 있다. 다른 예를 들어, I/O 서브시스템 (140) 은 기타 입력 제어기(들) (142) 를 통해 의료진 디바이스 (100) 에 포함된 기타 입력/제어 디바이스 (144) 를 제어할 수 있다. 일 예로서, 기타 입력 제어기 (들) (142) 은 하나 이상의 버튼, 로커 스위치 (rocker switches), 썸 휠 (thumb-wheel), 적외선 포트, USB 포트 및 스타일러스 등과 같은 포인터 디바이스를 제어할 수 있다.

다음으로, 도 2b를 참조하면, 정보 제공용 서버 (300) 는 통신 인터페이스 (310), 메모리 (320), I/O 인터페이스 (330) 및 프로세서 (340) 를 포함할 수 있으며, 각 구성은 하나 이상의 통신 버스 또는 신호 라인을 통해 서로 통신할 수 있다.

통신 인터페이스 (310) 는 유/무선 통신 네트워크를 통해 의료진 디바이스 (100) 및 의료 영상 제공 디바이스 (200) 와 연결되어 데이터를 주고받을 수 있다. 예를 들어, 통신 인터페이스 (310) 는 의료 영상 제공 디바이스 (200) 로부터 배아 영상을 수신할 수 있고, 결정된 체외 수정과 연관된 정보를 의료진 디바이스 (100) 에 송신할 수 있다.

한편, 이러한 데이터의 송수신을 가능하게 하는 통신 인터페이스 (310) 는 통신 포드 (311) 및 무선 회로 (312) 를 포함하며, 여기 유선 통신 포트 (311) 는 하나 이상의 유선 인터페이스, 예를 들어, 이더넷, 범용 직렬 버스 (USB), 파이어와이어 등을 포함할 수 있다. 또한, 무선 회로 (312) 는 RF 신호 또는 광학 신호를 통해 외부 디바이스와 데이터를 송수신할 수 있다. 아울러, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술, 예컨대 GSM, EDGE, CDMA, TDMA, 블루투스, Wi-Fi, VoIP, Wi-MAX, 또는 임의의 기타 적합한 통신 프로토콜 중 적어도 하나를 사용할 수 있다.

메모리 (320) 는 정보 제공용 서버 (300) 에서 사용되는 다양한 데이터를 저장할 수 있다. 예를 들어, 메모리 (320) 는 배아 영상을 저장하거나, 배아 영상 내에서 배아 영역을 결정하도록 구성된 영상 처리 알고리즘, 배아 영역을 기반으로 포배기 상태, 나아가 임신 가능성을 예측하도록 구성된 예측 모델 및 복수의 평가 모델들을 저장할 수 있다.

다양한 실시예에서, 메모리 (320) 는 각종 데이터, 명령 및 정보를 저장할 수 있는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 예를 들어, 메모리 (320) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 네트워크 저장 스토리지, 클라우드, 블록체인 데이터베이스 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

다양한 실시예에서, 메모리 (320) 는 운영 체제 (321), 통신 모듈 (322), 사용자 인터페이스 모듈 (323) 및 하나 이상의 애플리케이션 (324) 중 적어도 하나의 구성을 저장할 수 있다.

운영 체제 (321) (예를 들어, LINUX, UNIX, MAC OS, WINDOWS, VxWorks 등의 내장형 운영 체제) 는 일반적인 시스템 작업 (예를 들어, 메모리 관리, 저장 디바이스 제어, 전력 관리 등) 를 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및 드라이버를 포함할 수 있으며, 다양한 하드웨어, 펌웨어, 및 소프트웨어 컴포넌트 간의 통신을 지원할 수 있다.

통신 모듈 (323) 은 통신 인터페이스 (310) 를 통해 다른 디바이스와 통신을 지원할 수 있다. 통신 모듈 (320) 은 통신 인터페이스 (310) 의 유선 통신 포트 (311) 또는 무선 회로 (312) 에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 구성 요소들을 포함할 수 있다.

사용자 인터페이스 모듈 (323) 은 I/O 인터페이스 (330) 를 통해 키보드, 터치 스크린, 마이크 등으로부터 사용자의 요청 또는 입력을 수신하고, 디스플레이 상에 사용자 인터페이스를 제공할 수 있다.

애플리케이션 (324) 은 하나 이상의 프로세서 (330) 에 의해 실행되도록 구성되는 프로그램 또는 모듈을 포함할 수 있다. 여기서, 체외 수정과 연관된 정보를 제공하기 위한 애플리케이션은 서버 팜 (server farm) 상에서 구현될 수 있다.

I/O 인터페이스 (330) 는 정보 제공용 서버 (300) 의 입출력 디바이스 (미도시), 예컨대 디스플레이, 키보드, 터치 스크린 및 마이크 중 적어도 하나를 사용자 인터페이스 모듈 (323) 과 연결할 수 있다. I/O 인터페이스 (330) 는 사용자 인터페이스 모듈 (323) 과 함께 사용자 입력 (예를 들어, 음성 입력, 키보드 입력, 터치 입력 등) 을 수신하고, 수신된 입력에 따른 명령을 처리할 수 있다.

프로세서 (340) 는 통신 인터페이스 (310), 메모리 (320) 및 I/O 인터페이스 (330) 와 연결되어 정보 제공용 서버 (300) 의 전반적인 동작을 제어할 수 있으며, 메모리 (320) 에 저장된 애플리케이션 또는 프로그램을 통해 정보 제공을 위한 다양한 명령들을 수행할 수 있다.

프로세서 (340) 는 CPU (Central Processing Unit) 나 AP (Application Processor) 와 같은 연산 디바이스에 해당할 수 있다. 또한, 프로세서 (340) 는 다양한 연산 디바이스가 통합된 SoC (System on Chip) 와 같은 통합 칩 (Integrated Chip (IC)) 의 형태로 구현될 수 있다. 또는 프로세서 (340) 는 NPU (Neural Processing Unit) 과 같이 인공 신경망 모델을 계산하기 위한 모듈을 포함할 수 있다.

다양한 실시예에서, 프로세서 (340) 는 영상 처리 알고리즘을 이용하여 배아 영상 내에서 배아 영역을 결정하고, 인공지능 예측 모델을 이용하여 배아 영역에 기초하여 포배기 상태, 임신 가능성을 평가하여 제공하도록 구성될 수 있다.

이하에서는, 도 3 및 도 4a 내지 4c를 참조하여, 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법을 구체적으로 설명한다. 도 3은 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 4a 내지 4c는 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.

먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따른 정보 제공 절차는 다음과 같다. 먼저, 개체에 대한 배아 영상이 수신된다 (S310). 그 다음, 배아 영역이 결정되고 (S320) 예측 모델에 의해 포배기 여부와 같은 체외 수정에 관한 데이터가 결정된다 (S330).

보다 구체적으로, 배아 영상이 수신되는 단계 (S310) 에서 배아관찰경 및/또는 현미경의 영상 제공 디바이스로부터 획득 가능한 배아 영상이 수신될 수 있다.

본 발명의 특징에 따르면, 배아 영상이 수신되는 단계 (S310) 에서 동영상 형태의 타임랩스 배아 영상이 수신될 수 있다. 이때, 타임랩스는 복수의 프레임마다 배아가 촬영된 시간 데이터를 포함할 수 있다.

다음으로, 배아 영역이 결정되는 단계 (S320) 가 수행된다.

본 발명의 특징에 따르면, 배아 영역이 결정되는 단계 (S320) 에서 파이썬 OpenCV과 같은 라이브러리를 활용하여 배아 영역이 결정될 수 있다.

본 발명의 또 다른 특징에 따르면, 배아 영역이 결정되는 단계 (S320) 에서 배아 영상 내에서 미리 결정된 형태를 갖는 영역이 결정되고, 미리 결정된 형태를 갖는 영역 중 배아 영역이 결정될 수 있다.

예를 들어, 도 4a를 함께 참조하면, 배아 영상이 수신되는 단계 (S310) 에서 획득한 배아 영상 (412) 에 대하여, 배아 형태와 유사한 원형의 형태를 탐지하도록 구성된 영상 처리 알고리즘이 적용된다. 그 결과, 복수의 원형 영역이 탐지되고 (413), 복수의 원형 영역 내에서 배아 영역이 결정된다 (422 참조).

그러나 이에 제한되는 것은 아니며, 배아 영상 내에서 배아 영역을 분할하도록 학습된 인공지능 기반 모델에 의해 배아 영역이 예측될 수도 있다.

본 발명의 다른 특징에 따르면, 배아 영상 내에서, 결정된 배아 영역 이외의 영역, 즉 배경 영역이 제거된다.

그 다음, 포배기 여부가 예측되는 단계 (S330) 에서 예측 모델에 배아 영역이 입력되고, 포배기 여부가 출력된다.

예를 들어, 도 4b를 함께 참조하면, 배아 영상이 수신되는 단계 (S310) 에서 획득한 배아 영상 (412) 에 대하여 배아 영역이 결정되고 (422 참조), 배경 영역의 노이즈가 제거되어 배아 영역에 대한 영상 (424) 이 획득된다. 그 다음, 포배기 여부가 예측되는 단계 (S330) 에서 예측 모델 (430) 에 배아 영역에 대한 영상 (424) 이 입력되고, 배아 상태 (440) 가 확률적으로 예측된 후 출력된다.

결과적으로, 예측 모델 (430) 에 의해 배아에 대한 포배기 여부가 결정될 수 있다. 그러나, 포배기 여부의 예측은 전술한 것에 제한되는 것은 아니다.

예를 들어, 도 4c를 더욱 참조하면, 배아 영상이 수신되는 단계 (S310) 에서 시간 데이터를 포함하는 복수의 프레임으로 이루어진 타임랩스의 배아 영상 (412) 이 수신되고, 복수의 배아 영상 각각에 대하여 배아 영역이 결정된다 (422 참조). 그 다음, 복수의 배아 영상 내에서 미리 결정된 시점의 배아 영상 (423) 이 결정된다. 이때, 미리 결정된 시점의 배아 영상은 포배기 배아가 관찰되는 배양 3일차 시점일 수 있으며, 바람직하게 수정란 배양 66 시간 내지 68 시간일 수 있다. 그러나, 이에 제한되는 것은 아니며 포배기 배아가 관찰되는 보다 다양한 시점의 영상이 결정될 수 있다.

한편, 미리 결정된 시점의 배아 영상 (423) 은, 영상 처리 알고리즘에 의해 복수의 프레임 내에 포함된 시간 데이터가 식별됨으로써 선별될 수 있다. 그러나, 이에 제한되는 것은 아니다.

그 다음, 미리 결정된 시점의 배아 영상 (423) 각각에 대하여 배경 영역의 노이즈가 제거되고, 포배기 여부가 예측되는 단계 (S330) 에서 예측 모델 (430) 에 배아 영역에 대한 영상 (424) 이 입력되고, 배아 상태 (440) 가 확률적으로 예측된 후 출력된다.

이때, 배아 상태 (440) 는 복수의 배아 영역에 대한 영상 (424) 각각에 대하여 결정되어 복수로 제공될 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 수학적 통계 방식에 의해 복수의 배아 영역에 대한 영상 (424) 에 대하여 결정된 확률의 평균 값, 중간 값 또는 임계치 이상의 값에 기초하여 단일의 결과가 제공될 수도 있다.

즉, 의료진 디바이스 (100) 에 배아에 대한 포배기 상태 여부가 결정되어 제공될 수 있어, 의료진들은 착상 확률이 높은 배아를 선별하여 이식술을 수행할 수 있게 된다. 이를 통해, 체외 수정에 대한 확률이 높아질 수 있다.

한편, 본 발명의 다양한 실시예에 따른 정보 제공 시스템에 따라 제공될 수 있는 체외 수정에 관한 정보는 전술한 것에 제한되지 않는다.

이하에서는, 도 5 및 도 6a 및 6b를 참조하여, 본 발명의 다른 실시예에 따른 체외 수정에 대한 정보 제공 방법을 구체적으로 설명한다. 도 5는 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법의 절차를 도시한 것이다. 도 6a 및 6b는 본 발명의 다른 실시예에 따른 체외 수정에 대한 정보 제공 방법의 절차를 예시적으로 도시한 것이다.

먼저, 도 5를 참조하면, 본 발명의 다른 실시예에 따른 정보 제공 절차는 다음과 같다. 먼저, 개체에 대한 배아 영상이 수신된다 (S510). 그 다음, 배아 영역이 결정되고 (S520) 평가 모델에 의해 임신 가능성에 대한 평가가 수행된다 (S330).

보다 구체적으로, 배아 영상이 수신되는 단계 (S510) 에서 현미경의 영상 제공 디바이스로부터 획득 가능한 배아 현미경 영상이 수신될 수 있다.

그 다음, 배아 영역이 결정되고 (S520), 임신 가능성에 대한 평가가 수행되는 단계 (S530) 에서 배아 영역을 입력으로 하여 태아 심장 박동 (Fetal Heart Tones; FHT), 임신낭 (Gestational Sac) 및 배아 등급 중 적어도 하나를 예측하도록 학습된 평가 모델에 의해 개체에 대한 임신 가능성이 평가될 수 있다.

즉, 임신 가능성에 대한 평가가 수행되는 단계 (S530) 에서 배아 영역을 입력으로 하여 임신 여부 (태아 심장 박동), 임신낭 형성 여부 및 배아 등급 각각을 예측하도록 학습된 복수의 평가 모델에 의해 개체에 대한 임신 가능성이 확률적으로 평가될 수 있다.

본 발명의 다른 특징에 따르면, 배아 영역이 결정되는 단계 (S520) 에서, 배아 현미경 영상이 이진화 되고, 이진화된 배아 영상에 대하여 배아 모서리가 결정되며, 배아 모서리를 기초로 배아 영역이 결정될 수 있다.

예를 들어, 도 6a를 함께 참조하면, 배아 영역이 결정되는 단계 (S520) 에서, 복수의 배아를 포함하는 배아 영상 (612) 이 이진화되어 이진화된 영상 (613) 이 획득된다. 이를 통해 배아 영역이 강조될 수 있다. 그 다음, 배아의 모서리가 탐지된후, 배아 영역 이외의 영역인 배경 영역이 제거되고 (615 참조), 배아 영역과 함께 배아 수가 결정된다 (616 참조). 최종적으로 배아 영역이 결정될 수 있다.

이러한 배아 영역의 결정은 영상 처리 알고리즘에 의해 수행될 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 영역 분할이 가능한 인공 지능 네트워크 기만 예측 모델에 의해 배아 영역의 결정이 수행될 수도 있다.

한편, 본 발명의 다른 특징에 따르면, 임신 가능성에 대한 평가가 수행되는 단계 (S530) 에서, 배아 영역을 포함하도록 크로핑된 영상이 평가 모델에 입력되고, 임신 가능성에 대한 평가 결과가 확률적으로 출력될 수 있다.

예를 들어, 도 6b를 참조하면, 임신 가능성에 대한 평가가 수행되는 단계 (S530) 에서, 배아 영역이 결정된 영상 (622) 내에서 배아 영역만이 크로핑되어 배아 영상 (626) 이 획득되고, 평가 모델 (630) 에 크로핑된 배아 영상 (626) 이 입력된다. 그 결과, 임신 여부 (태아 심장 박동), 임신낭 형성 여부 및 배아 등급 중 적어도 하나의 임신 가능성에 대한 데이터가 출력될 수 있다.

이때, 평가 모델은, 배아 영상을 입력으로 하여, 임신 여부 (태아 심장 박동), 임신낭 형성 여부 및 배아 등급 각각을 확률적으로 출력하도록 학습된 복수의 모델일 수 있으나, 이에 제한되는 것은 아니다.

이상의 본 발명의 다른 실시예에 따른 정보 제공 방법에 따라, 의료진은 개체의 체외 수정과 연관된 정보에 대한 정보를 제공받을 수 있어, 임신 성공률이 높은 배아 선별 및 이식이 가능할 수 있다.

이하에서는, 도 7 및 도 8을 참조하여, 본 발명의 다양한 실시예에서 이용되는 체외 수정과 연관된 정보 예측 모델의 구조적 특징 및 학습에 대하여 설명한다.

도 7은 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법에 이용되는 예측 모델의 구조를 예시적으로 도시한 것이다. 도 8은 본 발명의 일 실시예에 따른 체외 수정에 대한 정보 제공 방법에 이용되는 예측 모델의 학습 데이터를 도시한 것이다.

먼저, 도 7을 참조하면, 본 발명의 다양한 실시예에서 이용되는 예측 모델은, VGG 네트워크 구조를 가질 수 있다. 보다 구체적으로, 예측 모델은, 타임랩스 영상 내의 복수의 프레임, 특히 배양 3일차의 배아 영상 (프레임) 을 기초로 사전학습된 예측 모델일 수 있다. 이때, 새로운 영상이 입력 레이어에 입력되면, 4 개의 SELU 연산 레이어 및 1 개의 시그모이드 (Sigmoid) 연산 레이어로 이루어진 완전 연결 레이어 (Fully connected layers) 를 통해 특징이 추출되고 최종적으로 배아의 상태, 즉 포배기 상태일 가능성이 확률적으로 출력된다.

이, 예측 모델의 학습을 위한 영상의 수는 비디오당 6 개의 프레임 (영상) 이고, 영상의 크기는 224 x 224, 에폭 (Epoch) 은 100, 학습율은 0.001, 배치 크기 (Batch size) 는 32일 수 있으며, 옵티마이져 (Optimizer) 로 SGD (Stochastic gradient descent) 가 이용될 수 있다.

한편, 예측 모델의 구조 및 학습 파라미터는 전술한 형태에 제한되는 것은 아니며, 배아 영역으로부터 포배기 여부가 결정 가능한, 보다 다양한 구조를 가질 수 있다.

다음으로 도 8을 참조하면, 본 발명의 다양한 실시예에 이용되는 예측 모델의 학습을 위한 학습용 배아 영상 (812) 의 데이터 증강 방법이 도시된다. 보다 구체적으로 배아 마다 존재하는 위치, 각도, 크기가 다양하기 때문에 데이터 증강을 이용해, 단일의 학습용 배아 영상 (812) 의 파라미터 값을 변형할 수 있어 보다 다양한 학습용 영상의 획득이 가능할 수 있다.

나아가, 본 발명의 다양한 실시예에 적용되는 평가 모델 또한 전술한 예측 모델의 학습 파라미터에 기초하여 임신 가능성을 확률적으로 예측하도록 학습될 수 있다.

평가: 예측 모델에 대한 평가

이하에서는 도 9a 내지 9c를 참조하여 본 발명의 다양한 실시예에 따른 체외 수정에 대한 정보 제공 방법에 이용되는 예측 모델의 성능을 구체적으로 설명한다.

도 9a 내지 9c는 본 발명의 다양한 실시예에 따른 체외 수정에 대한 정보 제공 방법에 이용되는 예측 모델의 평가 결과를 도시한 것이다.

먼저, 도 9a 및 9b를 참조하면, 단일의 프레임으로 포배기를 예측하도록 학습된 예측 모델에 대한 AUROC (비교예) 및 본 발명의 다양한 실시예에 따른 정보 제공 방법에 이용되는 예측 모델로서, 6 개의 프레임을 학습하여 포배기를 예측하도록 학습된 모델에 대한 AUROC (실시예) 가 각각 도시된다.

도 9c를 함께 참조하면, 예측 모델의 예측 결과에 대한 성능을 의미하는 AUROC 값은 본 발명의 복수의 프레임 (특히, 배양 3일 차에 획득 가능한 프레임) 을 학습한 모델이 0.85로, 0.7의 AUROC 값을 갖는 단일 프레임 기반 예측 모델보다 높은 것으로 나타난다. 정확도 (Accuracy) 및 F1-점수 (F1-score) 또한 복수의 프레임 기반 예측 모델이 높은 것으로 나타난다.

이러한 결과는 본 발명의 다양한 실시예에 따른 정보 제공 방법에 이용되는 예측 모델이 포배기 예측에 있어서 우수한 성능을 갖는다는 것을 의미할 수 있다.

이에, 예측 모델 기반의 정보 제공 시스템은, 정확도 높은 포배기 상태의 배아의 선별을 가능하게 하여 성공률 높은 체외 수정에 기여할 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시 예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 의료진 디바이스
110: 메모리 인터페이스 120: 프로세서
130: 주변 인터페이스 140: I/O 서브 시스템
141: 터치 스크린 제어기 142: 기타 입력 제어기
143: 터치 스크린
144: 기타 입력 제어 디바이스
150: 메모리 151: 운영 체제
152: 통신 모듈 153: GUI 모듈
154: 센서 처리 모듈 155: 전화 모듈
156: 애플리케이션들
156-1, 156-2: 애플리케이션
157: 디지털 어시스턴트 클라이언트 모듈
158: 사용자 데이터
160: 모션 센서 161: 조명 센서
162: 근접 센서 163: 기타 센서
170: 카메라 서브 시스템 171: 광학 센서
180: 통신 서브 시스템
190: 오디오 서브 시스템
191: 스피커 192: 마이크
300: 정보 제공용 서버
310: 통신 인터페이스
311: 유선 통신 포트 312: 무선 회로
320: 메모리
321: 운영 체제 322: 통신 모듈
323: 사용자 인터페이스 모듈 324: 애플리케이션
330: I/O 인터페이스 340: 프로세서

Claims

프로세서에 의해 구현되는, 이식술 전 배아의 양상에 대한 분석 정확도를 향상시키기 위한, 체외 수정에 따른 배아에 대한 정보 제공 방법으로,
개체로부터 분리되어 얻어진, 복수의 배아 현미경 영상인 배아 영상을 수신하는 단계;
상기 복수의 배아 영상 내에서 배아 영역을 결정하는 단계,
배아 영역을 입력으로 하여 태아 심장 박동 (Fetal Heart Tones; FHT), 임신낭 (Gestational Sac) 및 배아 등급 중 적어도 하나를 예측하도록 학습된 평가 모델을 이용하여, 상기 배아 영역을 기초로 임신 가능성이 높은 배아를 선별하여 상기 개체에 대한 임신 가능성을 평가하는 단계 및
배아 영역을 입력으로 하여 포배기를 예측하도록 학습된 예측 모델로서 상기 예측 모델은 224 x 224 의 영상 크기, 에폭 (Epoch) 100, 학습율 0.001, 배치 크기 (Batch size) 32및 SGD (Stochastic gradient descent) 옵티마이져 (Optimizer) 인 복수의 학습용 배아 영상으로 학습되며, 상기 학습용 배아 영상은 데이터 증강법으로 파라미터 값을 변형한 것인,
상기 예측 모델을 이용하여, 결정된 상기 배아 영역에 기초하여 포배기 여부를 예측하는 단계를 포함하는,
체외 수정에 따른 배아에 대한 정보 제공 방법.
제1항에 있어서,
상기 배아 영상은, 시간 데이터를 포함하는 복수의 배아 영상이고,
상기 수신하는 단계 이후에,
상기 시간 데이터에 기초하여, 상기 복수의 배아 영상 내에서 미리 결정된 시점의 배아 영상을 결정하는 단계를 포함하고,
상기 포배기 여부를 예측하는 단계는,
상기 예측 모델을 이용하여, 상기 미리 결정된 시점의 배아 영상 내의 배아 영역을 기초로 포배기 여부를 예측하는 단계를 포함하는, 체외 수정에 따른 배아에 대한 정보 제공 방법.
제1항에 있어서,
상기 배아 영역을 결정하는 단계는,
상기 배아 영상 내에서 미리 결정된 형태를 갖는 영역을 각각 결정하는 단계, 및
상기 미리 결정된 형태를 갖는 영역 중 상기 배아 영역을 각각 결정하는 단계를 포함하는, 체외 수정에 따른 배아에 대한 정보 제공 방법.
제1항에 있어서,
상기 배아 영역을 결정하는 단계 이후에,
상기 배아 영상 내에서, 결정된 상기 배아 영역 이외의 영역을 제거하는 단계를 더 포함하고,
상기 포배기 여부를 예측하는 단계는,
상기 예측 모델을 이용하여, 상기 이외의 영역이 제거된 배아 영상을 기초로 포배기 여부를 결정하는 단계를 포함하는, 체외 수정에 따른 배아에 대한 정보 제공 방법.
삭제
제1항에 있어서,
결정된 상기 배아 영역은 복수 개이고,
상기 배아 영역을 결정하는 단계 이후에,
복수 개의 배아 영역을 포함하는 복수 개의 크로핑 영상을 획득하도록, 상기 배아 영상을 크로핑하는 단계를 더 포함하고,
상기 임신 가능성을 평가하는 단계는,
상기 평가 모델을 이용하여, 상기 복수 개의 크로핑 영상을 기초로 임신 가능성을 평가하는 단계를 포함하는, 체외 수정에 따른 배아에 대한 정보 제공 방법.
제1항에 있어서,
상기 배아 영역을 결정하는 단계는,
상기 복수의 배아 현미경 영상을 이진화하는 단계;
이진화된 상기 배아 영상에 대하여 배아 모서리를 결정하는 단계, 및
상기 배아 모서리를 기초로 상기 배아 영역을 각각 결정하는 단계를 포함하는, 체외 수정에 따른 배아에 대한 정보 제공 방법.
제1항에 있어서,
상기 배아 영역을 결정하는 단계는,
영상 처리 알고리즘을 이용하여 상기 배아 영역을 결정하는 단계를 포함하는, 체외 수정에 따른 배아에 대한 정보 제공 방법.
제1항에 있어서,
상기 배아 영상은,
복수의 프레임을 포함하는 배아 타임랩스 비디오 영상인, 체외 수정에 따른 배아에 대한 정보 제공 방법.
개체로부터 분리되어 얻어진, 복수의 배아 현미경 영상인 배아 영상을 수신하도록 구성된 통신부, 및
상기 통신부와 전기적으로 연결된 프로세서를 포함하되,
상기 프로세서는,
상기 배아 영상 내에서 배아 영역을 결정하고,
배아 영역을 입력으로 하여 포배기를 예측하도록 학습된 예측 모델로서 상기 예측 모델은 224 x 224 의 영상 크기, 에폭 (Epoch) 100, 학습율 0.001, 배치 크기 (Batch size) 32및 SGD (Stochastic gradient descent) 옵티마이져 (Optimizer) 인 복수의 학습용 배아 영상으로 학습되며, 상기 학습용 배아 영상은 데이터 증강법으로 파라미터 값을 변형한 것인, 예측 모델을 이용하여, 결정된 상기 배아 영역에 기초하여 포배기 여부를 예측하도록 구성되며,
배아 영역을 입력으로 하여 태아 심장 박동 (Fetal Heart Tones; FHT), 임신낭 (Gestational Sac) 및 배아 등급 중 적어도 하나를 예측하도록 학습된 평가 모델을 이용하여, 상기 배아 영역을 기초로 임신 가능성이 높은 배아를 선별하여 상기 개체에 대한 임신 가능성을 평가하도록 더 구성된,
체외 수정에 따른 배아에 대한 정보 제공용 디바이스.
제10항에 있어서,
상기 배아 영상은, 시간 데이터를 포함하고,
상기 프로세서는,
상기 시간 데이터에 기초하여, 미리 결정된 시점의 배아 영상을 결정하고,
상기 예측 모델을 이용하여, 상기 미리 결정된 시점의 배아 영상 내의 배아 영역을 기초로 포배기 여부를 예측하도록 더 구성된, 체외 수정에 따른 배아에 대한 정보 제공용 디바이스.
제10항에 있어서,
상기 프로세서는,
상기 배아 영상 내에서 미리 결정된 형태를 갖는 영역을 각각 결정하는 단계, 및 상기 미리 결정된 형태를 갖는 영역 중 상기 배아 영역을 각각 결정하도록 더 구성된, 체외 수정에 따른 배아에 대한 정보 제공용 디바이스.
제10항에 있어서,
상기 프로세서는,
상기 배아 영상 내에서, 결정된 상기 배아 영역 이외의 영역을 제거하고,
상기 예측 모델을 이용하여, 상기 이외의 영역이 제거된 배아 영상을 기초로 포배기 여부를 결정하도록 더 구성된, 체외 수정에 따른 배아에 대한 정보 제공용 디바이스.
삭제
제10항에 있어서,
결정된 상기 배아 영역은 복수 개이고,
상기 프로세서는,
복수 개의 배아 영역을 포함하는 복수 개의 크로핑 영상을 획득하도록, 상기 배아 영상을 크로핑하고,
상기 평가 모델을 이용하여, 상기 복수 개의 크로핑 영상을 기초로 임신 가능성을 평가하도록 더 구성된, 체외 수정에 따른 배아에 대한 정보 제공용 디바이스.
제10항에 있어서,
상기 프로세서는,
상기 복수의 배아 현미경 영상을 이진화하고,
이진화된 상기 배아 영상에 대하여 배아 모서리를 결정하고,
상기 배아 모서리를 기초로 상기 배아 영역을 각각 결정하도록 더 구성된, 체외 수정에 따른 배아에 대한 정보 제공용 디바이스.
제10항에 있어서,
상기 프로세서는,
영상 처리 알고리즘을 이용하여 상기 배아 영역을 결정하도록 더 구성된, 체외 수정에 따른 배아에 대한 정보 제공용 디바이스.
제10항에 있어서,
상기 배아 영상은,
복수의 프레임을 포함하는 배아 타임랩스 비디오 영상인, 체외 수정에 따른 배아에 대한 정보 제공용 디바이스.