KR20210096655A

KR20210096655A - 신경 네트워크 훈련 및 이미지 분할 방법, 장치, 기기, 매체 및 프로그램

Info

Publication number: KR20210096655A
Application number: KR1020217020479A
Authority: KR
Inventors: 리앙 자오; 창 리우; 슈아이닝 시에
Original assignee: 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2019-10-31
Filing date: 2020-07-07
Publication date: 2021-08-05
Also published as: CN110852325B; TWI765386B; JP2022518583A; US20220245933A1; TW202118440A; CN110852325A; WO2021082517A1

Abstract

본 출원은 신경 네트워크 훈련 및 이미지 분할 방법, 장치, 전자 기기, 컴퓨터 저장 매체 및 컴퓨터 프로그램에 관한 것이다. 상기 방법은, 제1 신경 네트워크를 통해 제1 이미지의 제1 특징 및 제2 이미지의 제2 특징을 추출하는 단계; 상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하는 단계; 상기 제1 신경 네트워크를 통해 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하는 단계; 및 상기 제1 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하는 단계를 포함한다.

Description

신경 네트워크 훈련 및 이미지 분할 방법, 장치, 기기, 매체 및 프로그램

관련 출원의 상호 참조

본 출원은 출원번호가 201911063105.0이고 출원일자가 2019년 10월 31일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 전부 내용을 본 출원에 인용하여 참조로 한다.

본 출원은 컴퓨터 기술 분야에 관한 것으로서, 신경 네트워크 훈련 및 이미지 분할 방법, 장치, 전자 기기, 컴퓨터 저장 매체 및 컴퓨터 프로그램에 관한 것이지만 이에 한정되지 않는다.

이미지 분할은 이미지를 몇 개의 특정된, 독특한 속성을 가진 영역으로 나누고 관심 있는 타깃을 제출하는 기술 및 과정이다. 이미지 분할은 이미지 처리에서 이미지 분석까지의 관건적인 단계이다. 이미지 분할의 정확성을 어떻게 향상시킬지는, 시급히 해결해야 하는 문제이다.

본 출원의 실시예는 신경 네트워크 훈련 및 이미지 분할 방법, 장치, 전자 기기, 컴퓨터 저장 매체 및 컴퓨터 프로그램을 제공한다.

본 출원의 실시예에서 제공되는 신경 네트워크 훈련 방법은,

제1 신경 네트워크를 통해 제1 이미지의 제1 특징 및 제2 이미지의 제2 특징을 추출하는 단계;

상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하는 단계;

상기 제1 신경 네트워크를 통해 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하는 단계; 및

상기 제1 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하는 단계를 포함한다.

알 수 있다시피, 제1 신경 네트워크를 통해 제1 이미지의 제1 특징 및 제2 이미지의 제2 특징을 추출하고, 상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하며, 상기 제1 신경 네트워크를 통해 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하고, 상기 제1 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하며, 이로써 훈련하여 획득한 제1 신경 네트워크는 두 이미지를 결합하여 두 이미지에서 중합되는 픽셀에 대해 분할을 수행하여, 이미지 분할의 정확성을 향상시킬 수 있다.

본 출원의 일부 실시예에 있어서, 상기 신경 네트워크 훈련 방법은,

제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하는 단계; 및

상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련하는 단계를 더 포함한다.

이와 같이, 제2 신경 네트워크는 레이어 별로 이미지의 분할 결과를 결정함으로써, 이미지의 레이어 사이 해상도가 비교적 낮은 문제를 극복하여, 더욱 정확한 분할 결과를 획득할 수 있다.

훈련된 상기 제1 신경 네트워크를 통해 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계;

훈련된 상기 제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하는 단계; 및

상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하는 단계를 더 포함한다.

이와 같이, 훈련된 제1 신경 네트워크에 의해 출력된 중합 픽셀의 분류 결과로 모니터링하여, 제2 신경 네트워크에 대해 훈련을 수행할 수 있고, 이로써 분할 정확도를 진일보 향상시킬 수 있으며, 제2 신경 네트워크의 일반화 능력을 향상시킬 수 있다.

본 출원의 일부 실시예에 있어서, 상기 제1 이미지와 상기 제2 이미지는 스캔 이미지이고, 상기 제1 이미지와 상기 제2 이미지의 스캔 평면은 상이하다.

이와 같이, 상이한 스캔 평면으로 스캔 되어 획득한 제1 이미지 및 제2 이미지를 사용하여 제1 신경 네트워크를 훈련할 수 있기에, 이로써 이미지에서의 3차원 공간 정보를 충분하게 활용할 수 있고, 이미지의 레이어 사이 해상도가 비교적 낮은 문제를 어느 정도 극복할 수 있음으로써, 3차원 공간에서 더욱 정확한 이미지 분할을 수행하는 데 도움이 되도록 한다.

본 출원의 일부 실시예에 있어서, 상기 제1 이미지는 횡단 위치의 이미지이고, 상기 제2 이미지는 관상 위치 또는 시상 위치의 이미지이다.

횡단 위치의 이미지의 해상도가 상대적으로 비교적 높기 때문에, 횡단 위치의 이미지를 사용하여 제2 신경 네트워크를 훈련하면, 비교적 정확한 분할 결과를 획득할 수 있다.

본 출원의 일부 실시예에 있어서, 상기 제1 이미지 및 상기 제2 이미지는 모두 자기공명 영상(Magnetic Resonance Imaging, MRI) 이미지이다.

이로부터 알다시피, MRI 이미지를 사용하여, 타깃의 해부학적 세부 사항, 조직 밀도 및 종양의 위치 확정 등 조직 구성 정보를 반영할 수 있다.

본 출원의 일부 실시예에 있어서, 상기 제1 신경 네트워크는 제1 서브 네트워크, 제2 서브 네트워크 및 제3 서브 네트워크를 포함하고, 여기서, 상기 제1 서브 네트워크는 상기 제1 이미지의 제1 특징을 추출하기 위한 것이며, 상기 제2 서브 네트워크는 제2 이미지의 제2 특징을 추출하기 위한 것이고, 상기 제3 서브 네트워크는 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하고, 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하기 위한 것이다.

이로부터 알다시피, 본 출원의 실시예는 제1 이미지 및 제2 이미지에 대해 각각 특징 추출을 수행할 수 있고, 제1 이미지 및 제2 이미지의 특징을 결합하여 두 이미지에서 중합되는 픽셀의 분류 결과를 결정할 수 있음으로써, 더욱 정확한 이미지 분할 구현하도록 한다.

본 출원의 일부 실시예에 있어서, 상기 제1 서브 네트워크는 마지막 두 개의 레이어가 제거된 U-Net이다.

알 수 있다시피, 마지막 두 개의 레이어가 제거된 U-Net을 제1 서브 네트워크의 구조로 사용하는 것을 통해, 제1 서브 네트워크는 이미지에 대해 특징 추출을 수행할 때, 이미지의 상이한 스케일의 특징을 활용할 수 있고, 제1 서브 네트워크가 비교적 얕은 레이어에서 추출한 특징과 제1 서브 네트워크가 비교적 깊은 레이어에서 추출한 특징을 융합할 수 있음으로써, 다중 스케일의 정보를 충분하게 정합하고 활용하도록 한다.

본 출원의 일부 실시예에 있어서, 상기 제2 서브 네트워크는 마지막 두 개의 레이어가 제거된 U-Net이다.

알 수 있다시피, 마지막 두 개의 레이어가 제거된 U-Net을 제2 서브 네트워크의 구조로 사용하는 것을 통해, 제2 서브 네트워크는 이미지에 대해 특징 추출을 수행할 때, 이미지의 상이한 스케일의 특징을 활용할 수 있고, 제2 서브 네트워크가 비교적 얕은 레이어에서 추출한 특징과 제2 서브 네트워크가 비교적 깊은 레이어에서 추출한 특징을 융합할 수 있음으로써, 다중 스케일의 정보를 충분하게 정합하고 활용하도록 한다.

본 출원의 일부 실시예에 있어서, 상기 제3 서브 네트워크는 다계층 퍼셉트론 이다.

알 수 있다시피, 다계층 퍼셉트론을 제3 서브 네트워크의 구조로 사용하는 것을 통해, 제1 신경 네트워크의 성능을 진일보 향상시키는데 도움이 된다.

본 출원의 일부 실시예에 있어서, 상기 제2 신경 네트워크는 U-Net이다.

알 수 있다시피, U-Net을 제2 신경 네트워크의 구조로 사용하는 것을 통해, 제2 신경 네트워크는 이미지에 대해 특징 추출을 수행할 때, 이미지의 상이한 스케일의 특징을 활용할 수 있고, 제2 신경 네트워크가 비교적 얕은 레이어에서 추출한 특징과 제2 신경 네트워크가 비교적 깊은 레이어에서 추출한 특징을 융합할 수 있음으로써, 다중 스케일의 정보를 충분하게 정합하고 활용하도록 한다.

본 출원의 일부 실시예에 있어서, 분류 결과는 픽셀이 종양 영역에 속할 확률 및 픽셀이 비 종양 영역에 속할 확률에서의 하나 또는 두 개를 포함한다.

이와 같이, 이미지에서 종양 경계의 분할을 수행하는 정확도를 향상시킬 수 있다.

본 출원의 실시예에서 더 제공되는 신경 네트워크 훈련 방법은,

제1 신경 네트워크를 통해 제1 이미지 및 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계;

제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하는 단계; 및

상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하는 단계를 포함한다.

상기 방법을 통해, 훈련된 제1 신경 네트워크에 의해 출력된 중합 픽셀의 분류 결과로 모니터링하여, 제2 신경 네트워크에 대해 훈련을 수행할 수 있고, 이로써 분할 정확도를 진일보 향상시킬 수 있으며, 제2 신경 네트워크의 일반화 능력을 향상시킬 수 있다.

본 출원의 일부 실시예에 있어서, 상기 제1 신경 네트워크를 통해 제1 이미지 및 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계는,

상기 제1 이미지의 제1 특징 및 상기 제2 이미지의 제2 특징을 추출하는 단계;

상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하는 단계; 및

상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하는 단계를 포함한다.

알 수 있다시피, 본 출원의 실시예는 두 이미지를 결합하여 두 이미지에서 중합되는 픽셀에 대해 분할을 수행하여, 이미지 분할의 정확성을 향상시킬 수 있다.

본 출원의 일부 실시예에 있어서,

상기 제3 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하는 단계를 더 포함한다.

이로써 훈련하여 획득한 제1 신경 네트워크는 두 이미지를 결합하여 두 이미지에서 중합되는 픽셀에 대해 분할을 수행하여, 이미지 분할의 정확성을 향상시킬 수 있다.

본 출원의 일부 실시예에 있어서,

상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하는 단계; 및

본 출원의 실시예에서 더 제공되는 이미지 분할 방법은,

상기 신경 네트워크 훈련 방법에 따라 훈련된 상기 제2 신경 네트워크를 획득하는 단계; 및

제3 이미지를 훈련된 상기 제2 신경 네트워크에 입력하고, 훈련된 상기 제2 신경 네트워크를 거쳐 상기 제3 이미지에서의 픽셀의 제5 분류 결과를 출력하는 단계를 포함한다.

이로부터 알다시피, 상기 이미지 분할 방법은 제3 이미지를 훈련된 제2 신경 네트워크에 입력하고, 훈련된 제2 신경 네트워크를 거쳐 제3 이미지에서의 픽셀의 제5 분류 결과를 출력하는 것을 통해, 이미지 대해 자동으로 분할을 수행하여, 이미지 분할 시간을 절약할 수 있고, 이미지 분할의 정확성을 향상시킬 수 있다.

상기 제3 이미지에 대응되는 제4 이미지에 대해 골격 분할을 수행하여, 상기 제4 이미지에 대응되는 골격 분할 결과를 획득하는 단계를 더 포함한다.

이와 같이, 상기 제4 이미지에 대응되는 골격 분할 결과에 따라, 상기 제4 이미지에서의 골격 경계를 결정할 수 있다.

상기 제3 이미지 및 상기 제4 이미지에서의 픽셀의 대응 관계를 결정하는 단계; 및

상기 대응 관계에 따라, 상기 제5 분류 결과 및 상기 골격 분할 결과를 융합하여, 융합 결과를 획득하는 단계를 더 포함한다.

이와 같이, 상기 제3 이미지 및 상기 제4 이미지에서의 픽셀의 대응 관계에 따라, 상기 제5 분류 결과 및 상기 골격 분할 결과를 융합하는 것을 통해, 융합 결과를 획득하고, 이로써 의사가 수술 계획 및 임플란트 설계 시 골종양이 골반에서의 위치를 이해하는 데 도움이 될 수 있다.

본 출원의 일부 실시예에 있어서, 상기 제3 이미지는 MRI 이미지이고, 상기 제4 이미지는 컴퓨터 단층촬영(Computed Tomography, CT) 이미지이다.

이로부터 알다시피, 상이한 타입의 이미지를 사용하는 것을 통해, 상이한 타입의 이미지에서의 정보를 충분하게 결합할 수 있음으로써, 의사가 수술 계획 및 임플란트 설계 시 골종양이 골반에서의 위치를 더 잘 이해하도록 도움이 될 수 있다.

본 출원의 실시예에서 더 제공되는 신경 네트워크 훈련 장치는,

제1 신경 네트워크를 통해 제1 이미지의 제1 특징 및 제2 이미지의 제2 특징을 추출하도록 구성된 제1 추출 모듈;

상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하도록 구성된 제1 융합 모듈;

상기 제1 신경 네트워크를 통해 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하도록 구성된 제1 결정 모듈; 및

상기 제1 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하도록 구성된 제1 훈련 모듈을 포함한다.

본 출원의 일부 실시예에 있어서, 상기 신경 네트워크 훈련 장치는,

제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하도록 구성된 제2 결정 모듈; 및

상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제2 훈련 모듈을 더 포함한다.

훈련된 상기 제1 신경 네트워크를 통해 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하도록 구성된 제3 결정 모듈;

훈련된 상기 제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하도록 구성된 제4 결정 모듈; 및

상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제3 훈련 모듈을 더 포함한다.

본 출원의 일부 실시예에 있어서, 상기 제1 이미지 및 상기 제2 이미지는 모두 MRI 이미지이다.

제1 신경 네트워크를 통해 제1 이미지 및 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하도록 구성된 제6 결정 모듈;

제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하도록 구성된 제7 결정 모듈; 및

상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제4 훈련 모듈을 포함한다.

상기 제1 이미지의 제1 특징 및 상기 제2 이미지의 제2 특징을 추출하도록 구성된 제2 추출 모듈;

상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하도록 구성된 제3 융합 모듈; 및

상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하도록 구성된 제8 결정 모듈을 포함한다.

본 출원의 일부 실시예에 있어서,

상기 제3 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하도록 구성된 제5 훈련 모듈을 더 포함한다.

본 출원의 일부 실시예에 있어서,

상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하도록 구성된 제9 결정 모듈; 및

상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제6 훈련 모듈을 더 포함한다.

본 출원의 실시예에서 더 제공되는 이미지 분할 장치는,

상기 신경 네트워크 훈련 장치에 따라 훈련된 상기 제2 신경 네트워크를 획득하도록 구성된 획득 모듈; 및

제3 이미지를 훈련된 상기 제2 신경 네트워크에 입력하고, 훈련된 상기 제2 신경 네트워크를 거쳐 상기 제3 이미지에서의 픽셀의 제5 분류 결과를 출력하도록 구성된 출력 모듈을 포함한다.

이로부터 알다시피, 제3 이미지를 훈련된 제2 신경 네트워크에 입력하고, 훈련된 제2 신경 네트워크를 거쳐 제3 이미지에서의 픽셀의 제5 분류 결과를 출력하는 것을 통해, 이미지 대해 자동으로 분할을 수행하여, 이미지 분할 시간을 절약할 수 있고, 이미지 분할의 정확성을 향상시킬 수 있다.

본 출원의 일부 실시예에 있어서, 상기 이미지 분할 장치는,

상기 제3 이미지에 대응되는 제4 이미지에 대해 골격 분할을 수행하여, 상기 제4 이미지에 대응되는 골격 분할 결과를 획득하도록 구성된 골격 분할 모듈을 더 포함한다.

본 출원의 일부 실시예에 있어서, 상기 이미지 분할 장치는,

상기 제3 이미지 및 상기 제4 이미지에서의 픽셀의 대응 관계를 결정하도록 구성된 제5 결정 모듈; 및

상기 대응 관계에 따라, 상기 제5 분류 결과 및 상기 골격 분할 결과를 융합하여, 융합 결과를 획득하도록 구성된 제2 융합 모듈을 더 포함한다.

본 출원의 일부 실시예에 있어서, 상기 제3 이미지 는 MRI 이미지이고, 상기 제4 이미지는 CT 이미지이다.

본 출원의 실시예는 하나 또는 복수 개의 프로세서; 및 실행 가능한 명령어를 저장하도록 구성된 메모리를 포함하는 전자 기기를 더 제공하고; 여기서, 상기 하나 또는 복수 개의 프로세서는 상기 메모리에 저장된 실행 가능한 명령어를 호출하여, 상기 어느 한 가지 방법을 실행하도록 구성된다.

본 출원의 실시예는 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때 상기 어느 한 가지 방법을 구현한다.

본 출원의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 상기 어느 한 가지 방법을 구현하기 위한 것이다.

본 출원의 실시예에 있어서, 제1 신경 네트워크를 통해 제1 이미지의 제1 특징 및 제2 이미지의 제2 특징을 추출하고, 상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하며, 상기 제1 신경 네트워크를 통해 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하고, 상기 제1 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하며, 이로써 훈련하여 얻은 제1 신경 네트워크는 두 이미지를 결합하여 두 이미지에서 중합되는 픽셀에 대해 분할을 수행하여, 이미지 분할의 정확성을 향상시킬 수 있다.

이해해야 할 것은, 이상의 일반적인 설명 및 아래의 세부적인 설명은 다만 예시적 및 해석적인 것이며, 본 출원을 한정하는 것이 아니다.

아래의 도면은 본 명세서에 포함되어 본 명세서의 일부를 구성하며, 이러한 도면은 본 출원에 맞는 실시예를 예시하여, 명세서와 함께 본 출원의 실시예의 기술적 방안을 설명하기 위한 것이다.
도 1은 본 출원의 실시예에서 제공되는 신경 네트워크 훈련 방법의 흐름도이다.
도 2는 본 출원의 실시예에서 제공되는 신경 네트워크 훈련 방법에서 제1 신경 네트워크의 예시도이다.
도 3a는 본 출원의 실시예에서 제공되는 이미지 분할 방법에서 골반 골종양 영역의 예시도이다.
도 3b는 본 출원의 실시예의 응용 시나리오의 예시도이다.
도 3c는 본 출원의 실시예에서 골반 골종양에 대한 처리 흐름 예시도이다.
도 4는 본 출원의 실시예에서 제공되는 신경 네트워크 훈련 장치의 구조 예시도이다.
도 5는 본 출원의 실시예에서 제공되는 전자 기기의 구조 예시도이다.
도 6은 본 출원의 실시예에서 제공되는 다른 전자 기기의 구조 예시도이다.

아래에 도면을 참조하여 본 출원의 다양한 예시적 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 표시는 기능이 동일하거나 또는 유사한 구성 요소를 나타낸다. 실시예의 다양한 측면이 도면에서 도시되었지만, 특별히 지적하지 않는 한, 비례대로 제도될 필요는 없다.

여기서 전문적으로 사용되는 "예시적"이란 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 "예시적"으로 설명된 그 어떤 실시예는 다른 실시예보다 더 낫거나 좋은 것으로 해석될 필요는 없다.

본문에서 용어 “및 /또는”은 다만 관련 대상의 관련 관계를 설명하기 위한 것일 뿐, 세 가지의 관계가 존재함을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낼 수 있다. 또한, 본문에서 용어 "적어도 하나"는 복수에서의 어느 하나 또는 복수에서의 적어도 두 개 중의 어느 하나의 조합을 나타내고, 예를 들어, A, B, C 중 적어도 하나를 포함하는 것은, A, B 및 C로 구성된 집합에서 선택된 어느 하나 또는 복수 개의 요소를 포함하는 것을 나타낼 수 있다.

또한, 본 출원을 더욱 잘 설명하기 위해, 아래의 구체적 실시 형태에서 수많은 구체적 세부 사항을 제공한다. 본 분야의 기술자는 일부 구체적 세부 사항이 없더라도, 본 출원은 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 실제의 예에 있어서, 본 출원의 요지가 부각되도록 본 분야의 기술자들이 익숙한 방법, 수단, 구성 요소 및 회로에 대해서는 상세한 설명을 하지 않는다.

관련 기술에 있어서, 악성 골종양은 치사율이 매우 높은 질병이고; 현재 임상에서 악성 골종양에 대한 주요 치료 방법 중 하나는 사지 구제 절제 수술이다. 골반은 구조가 복잡하고, 다른 많은 조직 기관을 포함하였기 때문에, 골반에 위치한 골종양에 대해 사지 구제 절제 수술을 실시하는 난도는 매우 크고; 사지 구제 절제 수술의 재발률 및 수술 후 회복 효과는 모두 절제 경계의 영향을 받기에, MRI 이미지에서 골종양 경계를 결정하는 것은, 수술 전 계획에서 매우 중요한 관건적 단계지만; 인공적으로 종양 경계를 스케치하려면 의사가 풍부한 경험이 필요하고, 시간이 오래 걸리며, 이런 문제의 존재는 사지 구제 절제 수술의 보급을 크게 제약한다.

상기 기술적 문제에 대해, 본 출원의 실시예는 신경 네트워크 훈련 및 이미지 분할 방법, 장치, 전자 기기, 컴퓨터 저장 매체 및 컴퓨터 프로그램을 제공한다.

도 1은 본 출원의 실시예에서 제공되는 신경 네트워크 훈련 방법의 흐름도이다. 상기 신경 네트워크 훈련 방법의 실행 주체는 신경 네트워크 훈련 장치일 수 있다. 예를 들어, 신경 네트워크 훈련 장치는 단말 기기 또는 서버 또는 다른 처리 기기일 수 있다. 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 휴대용 기기, 컴퓨팅 기기, 차량 탑재 기기 또는 웨어러블 기기 등일 수 있다. 본 출원의 일부 실시예에 있어서, 상기 신경 네트워크 훈련 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능 명령어를 호출하는 방식을 통해 구현될 수 있다.

본 출원의 일부 실시예에 있어서, 제1 신경 네트워크 및 제2 신경 네트워크는 이미지에서의 종양 영역을 자동 분할하기 위한 것일 수 있고, 즉, 제1 신경 네트워크 및 제2 신경 네트워크는 이미지에서의 종양이 위치하는 영역을 결정하기 위한 것일 수 있다. 본 출원의 일부 실시예에 있어서, 제1 신경 네트워크 및 제2 신경 네트워크는 이미지에서의 다른 관심 있는 영역을 자동 분할하기 위한 것일 수도 있다.

본 출원의 일부 실시예에 있어서, 제1 신경 네트워크 및 제2 신경 네트워크는 이미지에서의 골종양 영역을 자동 분할하기 위한 것일 수 있고, 즉, 제1 신경 네트워크 및 제2 신경 네트워크는 이미지에서의 골종양이 위치하는 영역을 결정하기 위한 것일 수 있다. 일 예시에 있어서, 제1 신경 네트워크 및 제2 신경 네트워크는 골반에서의 골종양 영역을 자동 분할하기 위한 것일 수 있다. 다른 예시에 있어서, 제1 신경 네트워크 및 제2 신경 네트워크는 다른 부위의 골종양 영역을 자동 분할하기 위한 것일 수도 있다.

도 1에 도시된 바와 같이, 상기 신경 네트워크 훈련 방법은 단계 S11 내지 단계 S14를 포함한다.

단계 S11에 있어서, 제1 신경 네트워크를 통해 제1 이미지의 제1 특징 및 제2 이미지의 제2 특징을 추출한다.

본 출원의 실시예에 있어서, 제1 이미지 및 제2 이미지는 동일한 대상에 대해 스캔하여 획득한 이미지일 수 있다. 예를 들어, 대상은 인체일 수 있다. 예를 들어, 제1 이미지 및 제2 이미지는 동일한 기기가 연속적으로 스캔하여 획득한 것일 수 있고, 스캔 과정에서, 대상은 거의 움직이지 않는다.

본 출원의 실시예에 있어서, 스캔 평면은 횡단면, 관상면 또는 시상면일 수 있다. 여기서, 스캔 평면이 횡단면인 이미지는 횡단 위치의 이미지라고 지칭될 수 있고, 스캔 평면이 관상면인 이미지는 관상 위치의 이미지라고 지칭될 수 있으며, 스캔 평면이 시상면인 이미지는 시상 위치의 이미지라고 지칭될 수 있다.

다른 예시에 있어서, 제1 이미지 및 제2 이미지의 스캔 평면은 횡단면, 관상면 및 시상면에 한정되지 않을 수 있고, 제1 이미지와 제2 이미지의 스캔 평면이 상이하기만 하면 된다.

알 수 있다시피, 본 출원의 실시예는 상이한 스캔 평면으로 스캔 되어 획득한 제1 이미지 및 제2 이미지를 사용하여 제1 신경 네트워크를 훈련할 수 있고, 이로써 이미지에서의 3차원 공간 정보를 충분하게 활용할 수 있고, 이미지의 레이어 사이 해상도가 비교적 낮은 문제를 어느 정도 극복할 수 있음으로써, 3차원 공간에서 더욱 정확한 이미지 분할을 수행하는 데 도움이 되도록 한다.

본 출원의 일부 실시예에 있어서, 제1 이미지 및 제2 이미지는 레이어 별로 스캔하여 획득한 3차원 이미지일 수 있고, 여기서, 각 레이어는 2차원 슬라이스이다.

알 수 있다시피, MRI 이미지를 사용하여, 타깃의 해부학적 세부 사항, 조직 밀도 및 종양의 위치 확정 등 조직 구성 정보를 반영할 수 있다.

본 출원의 일부 실시예에 있어서, 제1 이미지 및 제2 이미지는 3차원 MRI 이미지일 수 있다. 3차원 MRI 이미지는 레이어 별로 스캔 된 것이고, 일련의 2차원 슬라이스의 스택으로 간주할 수 있다. 3차원 MRI 이미지가 스캔 평면에서의 해상도는 보통 비교적 높고, 레이어 내 해상도(in-plane spacing)라고 지칭한다. 3차원 MRI 이미지가 스택 방향에서의 해상도는 보통 비교적 낮고, 레이어 사이 해상도 또는 레이어 두께(slice thickness)라고 지칭한다.

단계 S12에 있어서, 상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득한다.

본 출원의 일부 실시예에 있어서, 상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하는 것은, 상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징에 대해 연결 처리를 수행하는 것일 수 있다. 예를 들어, 연결 처리는 concat 처리일 수 있다.

단계 S13에 있어서, 상기 제1 신경 네트워크를 통해 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정한다.

본 출원의 일부 실시예에 있어서, 상기 제1 이미지의 픽셀 및 상기 제2 이미지의 픽셀이 세계 좌표계에서의 좌표에 따라, 제1 이미지 및 제2 이미지에서 중합되는 픽셀을 결정할 수 있다.

본 출원의 일부 실시예에 있어서, 분류 결과는 픽셀이 종양 영역에 속할 확률 및 픽셀이 비 종양 영역에 속할 확률에서의 하나 또는 두 개를 포함한다. 분류 결과에 따라 이미지에서의 종양 경계를 결정할 수 있다. 여기서, 분류 결과는 본 출원의 실시예에서의 제1 분류 결과, 제2 분류 결과, 제3 분류 결과, 제4 분류 결과 및 제5 분류 결과에서의 하나 또는 복수 개일 수 있다.

본 출원의 일부 실시예에 있어서, 분류 결과는 픽셀이 골종양 영역에 속할 확률 및 픽셀이 비 골종양 영역에 속할 확률에서의 하나 또는 두 개를 포함한다. 분류 결과에 따라 이미지에서의 골종양 경계를 결정할 수 있다. 여기서, 분류 결과는 본 출원의 실시예에서의 제1 분류 결과, 제2 분류 결과, 제3 분류 결과, 제4 분류 결과 및 제5 분류 결과에서의 하나 또는 복수 개일 수 있다.

도 2는 본 출원의 실시예에서 제공되는 신경 네트워크 훈련 방법에서 제1 신경 네트워크의 예시도이고, 도 2에 도시된 바와 같이, 상기 제1 신경 네트워크는 제1 서브 네트워크(201), 제2 서브 네트워크(202) 및 제3 서브 네트워크(203)를 포함하고, 여기서, 상기 제1 서브 네트워크(201)는 상기 제1 이미지(204)의 제1 특징을 추출하기 위한 것이며, 상기 제2 서브 네트워크(202)는 제2 이미지(205)의 제2 특징을 추출하기 위한 것이고, 상기 제3 서브 네트워크(203)는 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하고, 상기 제3 특징에 따라, 상기 제1 이미지(204) 및 상기 제2 이미지(205)에서 중합되는 픽셀의 제1 분류 결과를 결정하기 위한 것이다.

본 출원의 실시예에 있어서, 제1 신경 네트워크는 이중 모델 이중 경로 3차원 신경 네트워크(dual modal dual path pseudo 3-dimension neural network)라고 지칭될 수 있고; 제1 이미지(204) 및 제2 이미지(205)의 스캔 평면은 상이하며, 따라서, 제1 신경 네트워크는 상이한 스캔 평면의 이미지를 충분하게 활용하고, 골반 골종양의 정확한 분할을 구현할 수 있다.

본 출원의 일부 실시예에 있어서, 상기 제1 서브 네트워크(201)는 엔드 투 엔트의 인코더-디코더 구조이다.

본 출원의 일부 실시예에 있어서, 상기 제1 서브 네트워크(201)는 마지막 두 개의 레이어가 제거된 U-Net이다.

알 수 있다시피, 마지막 두 개의 레이어가 제거된 U-Net을 제1 서브 네트워크(201)의 구조로 사용하는 것을 통해, 제1 서브 네트워크(201)는 이미지에 대해 특징 추출을 수행할 때, 이미지의 상이한 스케일의 특징을 활용할 수 있고, 제1 서브 네트워크(201)가 비교적 얕은 레이어에서 추출한 특징과 제1 서브 네트워크(201)가 비교적 깊은 레이어에서 추출한 특징을 융합할 수 있음으로써, 다중 스케일의 정보를 충분하게 정합하고 활용하도록 한다.

본 출원의 일부 실시예에 있어서, 상기 제2 서브 네트워크(202)는 엔드 투 엔트의 인코더-디코더 구조이다.

본 출원의 일부 실시예에 있어서, 상기 제2 서브 네트워크(202)는 마지막 두 개의 레이어가 제거된 U-Net이다.

본 출원의 실시예에 있어서, 마지막 두 개의 레이어가 제거된 U-Net을 제2 서브 네트워크(202)의 구조로 사용하는 것을 통해, 제2 서브 네트워크(202)는 이미지에 대해 특징 추출을 수행할 때, 이미지의 상이한 스케일의 특징을 활용할 수 있고, 제2 서브 네트워크(202)가 비교적 얕은 레이어에서 추출한 특징과 제2 서브 네트워크(202)가 비교적 깊은 레이어에서 추출한 특징을 융합할 수 있음으로써, 다중 스케일의 정보를 충분하게 정합하고 활용하도록 한다.

본 출원의 일부 실시예에 있어서, 상기 제3 서브 네트워크(203)는 다계층 퍼셉트론이다.

본 출원의 실시예에 있어서, 다계층 퍼셉트론을 제3 서브 네트워크(203)의 구조로 사용하는 것을 통해, 제1 신경 네트워크의 성능을 진일보 향상시키는 데 도움이 된다.

도 2를 참조하면, 제1 서브 네트워크(201) 및 제2 서브 네트워크(202)는 모두 마지막 두 개의 레이어가 제거된 U-Net이고, 아래 제1 서브 네트워크(201)를 예로 들어 설명한다. 제1 서브 네트워크(201)는 인코더 및 디코더를 포함하고, 여기서, 인코더는 제1 이미지(204)를 인코딩 처리하기 위한 것이고, 디코더는 이미지 세부 정보 및 공간 차원을 디코딩 복구하기 위한 것으로써, 제1 이미지(204)의 제1 특징을 추출한다.

인코더는 복수 개의 코드 블록을 포함할 수 있고, 각 코드 블록은 복수 개의 컨볼루션 레이어, 하나의 배치 정규화(Batch Normalization, BN) 레이어 및 하나의 활성화 레이어를 포함할 수 있으며, 각 코드 블록은 입력 데이터 다운 샘플링을 수행하여, 입력 데이터의 크기를 절반 줄이고, 여기서, 첫 번째 코드 블록의 입력 데이터는 제1 이미지(204)이고, 다른 코드 블록의 입력 데이터는 이전 코드 블록에 의해 출력된 특징 이미지이며, 첫 번째 코드 블록, 두 번째 코드 블록, 세 번째 코드 블록, 네 번째 코드 블록 및 다섯 번째 코드 블록에 대응되는 채널 수는 각각 64, 128, 256, 512 및 1024이다.

디코더는 복수 개의 디코드 블록을 포함할 수 있고, 각 디코드 블록 은 복수 개의 컨볼루션 레이어, 하나의 배치 정규화 레이어 및 하나의 활성화 레이어를 포함할 수 있으며, 각 디코드 블록은 입력된 특징 이미지에 대한 업 샘플링을 수행하여, 특징 이미지의 크기를 두 배로 하고; 첫 번째 디코드 블록, 두 번째 디코드 블록, 세 번째 디코드 블록, 네 번째 디코드 블록에 대응되는 채널 수는 각각 512, 256, 128 및 64이다.

제1 서브 네트워크(201)에 있어서, 스킵 커넥션(Skip connection)을 구비한 네트워크 구조를 사용하여, 채널 수가 동일한 코드 블록 및 디코드 블록을 연결할 수 있고; 마지막 디코드 블록(다섯 번째 디코드 블록)에서, 1×1 컨볼루션 레이어를 사용하여 네 번째 디코드 블록에 의해 출력된 특징 이미지를 1차원 공간에 매핑하여, 특징 벡터를 획득할 수 있다.

제3 서브 네트워크(203)에 있어서, 제1 서브 네트워크(201)에 의해 출력된 제1 특징과 제2 서브 네트워크(202)에 의해 출력된 제2 특징을 합병하여, 제3 특징을 획득할 수 있고; 다음, 다계층 퍼셉트론을 통해, 제1 이미지(204) 및 제2 이미지(205)에서 중합되는 픽셀의 제1 분류 결과를 결정할 수 있다.

단계 S14에 있어서, 상기 제1 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련한다.

본 출원의 실시예에 있어서, 태깅 데이터는 예들 들어 의사에 의해 태깅된 데이터와 같이 인위적으로 태깅된 데이터일 수 있다. 의사는 제1 이미지 및 제2 이미지의 2차원 슬라이스에 레이어 별로 태깅을 수행할 수 있다. 각 레이어 2차원 슬라이스의 태깅 결과에 따라, 3차원 태깅 데이터로 정합할 수 있다.

본 출원의 일부 실시예에 있어서, 다이스 유사성 계수를 사용하여 상기 제1 분류 결과와 상기 중합되는 픽셀에 대응되는 태깅 데이터 사이의 차이를 결정할 수 있음으로써, 차이에 따라 상기 제1 신경 네트워크를 훈련한다. 예를 들어, 역방향 전파를 사용하여 제1 신경 네트워크의 파라미터를 업데이트할 수 있다.

본 출원의 일부 실시예에 있어서, 상기 신경 네트워크 훈련 방법은, 제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하는 단계; 및 상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련하는 단계를 더 포함한다.

본 출원의 실시예에 있어서, 제1 이미지는 3차원 이미지일 수 있고, 제2 신경 네트워크는 제1 이미지의 2차원 슬라이스의 픽셀의 제2 분류 결과를 결정하기 위한 것일 수 있다. 예를 들어, 제2 신경 네트워크는 레이어 별로 제1 이미지의 각 2차원 슬라이스의 각 픽셀의 제2 분류 결과를 결정하기 위한 것일 수 있다. 제1 이미지의 2차원 슬라이스의 픽셀의 제2 분류 결과와 제1 이미지의 2차원 슬라이스에 대응되는 태깅 데이터 사이의 차이에 따라, 제2 신경 네트워크를 훈련할 수 있다. 예를 들어, 역방향 전파를 사용하여 제2 신경 네트워크의 파라미터를 업데이트할 수 있다. 여기서, 제1 이미지의 2차원 슬라이스의 픽셀의 제2 분류 결과와 제1 이미지의 2차원 슬라이스에 대응되는 태깅 데이터 사이의 차이는, 다이스 유사성 계수를 사용하여 결정할 수 있고, 상기 구현 방식은 이에 대해 한정하지 않는다.

알 수 있다시피, 본 출원의 실시예에 있어서, 제2 신경 네트워크는 레이어 별로 이미지의 분할 결과를 결정함으로써, 이미지의 레이어 사이 해상도가 비교적 낮은 문제를 극복하여, 더욱 정확한 분할 결과를 획득할 수 있다.

본 출원의 일부 실시예에 있어서, 상기 신경 네트워크 훈련 방법은, 훈련된 상기 제1 신경 네트워크를 통해 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계; 훈련된 상기 제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하는 단계; 및 상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하는 단계를 더 포함한다.

알 수 있다시피, 본 출원의 실시예에 있어서, 훈련된 제1 신경 네트워크에 의해 출력된 중합 픽셀의 분류 결과로 모니터링하여, 제2 신경 네트워크에 대해 훈련을 수행할 수 있고, 이로써 분할 정확도를 진일보 향상시킬 수 있으며, 제2 신경 네트워크의 일반화 능력을 향상시킬 수 있고; 다시 말하면, 훈련된 제1 신경 네트워크에 의해 출력된 중합 픽셀의 분류 결과로 모니터링하여, 제2 신경 네트워크의 파라미터에 대해 미세 조정(fine tune)을 수행함으로써, 제2 신경 네트워크의 이미지 분할 성능을 최적화하고; 예를 들어, 상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 제2 신경 네트워크의 마지막 두 개 레이어의 파라미터에 대해 업데이트를 수행할 수 있다.

본 출원의 일부 실시예에 있어서, 상기 제1 이미지는 횡단 위치의 이미지이고, 상기 제2 이미지는 관상 위치 또는 시상 위치의 이미지이다. 횡단 위치의 이미지의 해상도가 상대적으로 비교적 높기 때문에, 횡단 위치의 이미지를 사용하여 제2 신경 네트워크를 훈련하면, 비교적 정확한 분할 결과를 획득할 수 있다.

설명해야 할 것은, 상기 제1 이미지는 횡단 위치의 이미지이고, 상기 제2 이미지는 관상 위치 또는 시상 위치의 이미지인 것을 예시로 위와 같이 제1 이미지 및 제2 이미지를 설명했지만, 본 분야의 기술자는, 본 출원은 이에 한정되지 않아야 함을 이해할 수 있으며, 본 분야의 기술자는 실제 응용 시나리오 수요에 따라 제1 이미지 및 제2 이미지의 타입을 선택할 수 있고, 제1 이미지와 제2 이미지의 스캔 평면이 상이하기만 하면 된다.

본 출원의 일부 실시예에 있어서, 제1 신경 네트워크 및/또는 제2 신경 네트워크를 훈련하는 과정에, 일찍 정지하는 책략을 사용할 수 있고, 일단 네트워크 성능이 더 이상 향상되지 않으면, 훈련을 정지하며, 이로써 과적합을 방지할 수 있다.

본 출원의 실시예는 다른 신경 네트워크 훈련 방법을 더 제공하고, 상기 다른 신경 네트워크 훈련 방법은, 제1 신경 네트워크를 통해 제1 이미지 및 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계; 제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하는 단계; 및 상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하는 단계를 포함한다.

본 출원의 일부 실시예에 있어서, 상기 제1 신경 네트워크를 통해 제1 이미지 및 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계는, 상기 제1 이미지의 제1 특징 및 상기 제2 이미지의 제2 특징을 추출하는 단계; 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하는 단계; 및 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계를 포함한다.

알 수 있다시피, 본 출원의 실시예에 있어서, 두 이미지를 결합하여 두 이미지에서 중합되는 픽셀에 대해 분할을 수행하여, 이미지 분할의 정확성을 향상시킬 수 있다.

본 출원의 일부 실시예에 있어서, 상기 제3 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련할 수도 있다.

본 출원의 일부 실시예에 있어서, 상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하고; 상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련할 수도 있다.

본 출원의 실시예는 이미지 분할 방법을 더 제공하고, 이미지 분할 방법은 이미지 분할 장치에 의해 실행될 수 있으며, 이미지 분할 장치는 사용자 기기(UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 개인용 정보 단말기, 휴대용 기기, 컴퓨팅 기기, 차량 탑재 기기 또는 웨어러블 기기 등일 수 있다. 본 출원의 일부 실시예에 있어서, 상기 이미지 분할 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능 명령어를 호출하는 방식을 통해 구현될 수 있다.

본 출원의 실시예에 있어서, 상기 이미지 분할 방법은, 상기 신경 네트워크 훈련 방법에 따라 훈련된 상기 제2 신경 네트워크를 획득하는 단계; 및 제3 이미지를 훈련된 상기 제2 신경 네트워크에 입력하고, 훈련된 상기 제2 신경 네트워크를 거쳐 상기 제3 이미지에서의 픽셀의 제5 분류 결과를 출력하는 단계를 포함할 수 있다.

본 출원의 실시예에 있어서, 제3 이미지는 3차원 이미지일 수 있고, 제2 신경 네트워크는 레이어 별로 제3 이미지의 각 2차원 슬라이스의 각 픽셀의 제2 분류 결과를 결정하기 위한 것일 수 있다.

본 출원의 실시예에서 제공되는 이미지 분할 방법은 제3 이미지를 훈련된 제2 신경 네트워크에 입력하고, 훈련된 제2 신경 네트워크를 거쳐 제3 이미지에서의 픽셀의 제5 분류 결과를 출력하는 것을 통해, 이미지 대해 자동으로 분할을 수행하여, 이미지 분할 시간을 절약할 수 있고, 이미지 분할의 정확성을 향상시킬 수 있다.

본 출원의 실시예에서 제공되는 이미지 분할 방법은 사지 구제 절제 수술을 실시하기 전에 종양의 경계를 결정하기 위한 것일 수 있고, 예를 들어, 사지 구제 절제 수술을 실시하기 전에 골반의 골종양의 경계를 결정하기 위한 것일 수 있다. 관련 기술에 있어서, 경험이 풍부한 의사가 인공적으로 골종양의 경계를 스케치해야 한다. 본 출원의 실시예는 이미지에서의 골종양 영역을 자동적으로 결정하는 것을 통해, 의사의 시간을 절약하고, 골종양 분할에 소요되는 시간을 대폭 감소시킬 수 있으며, 사지 구제 절제 수술 전 계획의 효율을 향상시킨다.

본 출원의 일부 실시예에 있어서, 훈련된 제2 신경 네트워크에 의해 출력된 상기 제3 이미지에서의 픽셀의 제5 분류 결과에 따라, 상기 제3 이미지에서의 골종양 영역을 결정할 수 있다. 도 3a는 본 출원의 실시예에서 제공되는 이미지 분할 방법에서 골반 골종양 영역의 예시도이다.

본 출원의 일부 실시예에 있어서, 상기 이미지 분할 방법은, 상기 제3 이미지에 대응되는 제4 이미지에 대해 골격 분할을 수행하여, 상기 제4 이미지에 대응되는 골격 분할 결과를 획득하는 단계를 더 포함한다. 상기 구현 방식에 있어서, 제3 이미지 및 제4 이미지는 동일한 대상에 대해 스캔하여 획득한 이미지이다.

알 수 있다시피, 본 출원의 실시예에 있어서, 상기 제4 이미지에 대응되는 골격 분할 결과에 따라, 상기 제4 이미지에서의 골격 경계를 결정할 수 있다.

본 출원의 일부 실시예에 있어서, 상기 이미지 분할 방법은, 상기 제3 이미지 및 상기 제4 이미지에서의 픽셀의 대응 관계를 결정하는 단계; 및 상기 대응 관계에 따라, 상기 제5 분류 결과 및 상기 골격 분할 결과를 융합하여, 융합 결과를 획득하는 단계를 더 포함한다.

알 수 있다시피, 상기 제3 이미지 및 상기 제4 이미지에서의 픽셀의 대응 관계에 따라, 상기 제5 분류 결과 및 상기 골격 분할 결과를 융합하는 것을 통해, 융합 결과를 획득하고, 이로써 의사가 수술 계획 및 임플란트 설계 시 골종양이 골반에서의 위치를 이해하는 데 도움이 될 수 있다.

본 출원의 실시예에 있어서, 관련 알고리즘을 통해 상기 제3 이미지 및 상기 제4 이미지에 대해 영상 정합(image registration)을 수행하여, 상기 제3 이미지 및 상기 제4 이미지에서의 픽셀의 대응 관계를 결정할 수 있다.

본 출원의 일부 실시예에 있어서, 상기 대응 관계에 따라, 상기 제5 분류 결과를 상기 골격 분할 결과에 커버하여, 융합 결과를 획득할 수 있다.

본 출원의 일부 실시예에 있어서, 상기 제5 분류 결과 및 상기 골격 분할 결과를 융합하기 전에, 의사가 상기 제5 분류 결과에 대해 수동으로 수정을 수행하여, 골종양 분할의 정확성을 진일보 향상시킬 수도 있다.

본 출원의 일부 실시예에 있어서, 상기 제3 이미지는 MRI 이미지이고, 상기 제4 이미지는 CT 이미지이다.

상기 구현 방식에 있어서, 상이한 타입의 이미지를 사용하는 것을 통해, 상이한 타입의 이미지에서의 정보를 충분하게 결합할 수 있음으로써, 의사가 수술 계획 및 임플란트 설계 시 골종양이 골반에서의 위치를 더 잘 이해하도록 도움이 될 수 있다.

아래에 도면을 결합하여 본 출원의 응용 시나리오에 대해 설명한다. 도 3b는 본 출원의 실시예의 응용 시나리오의 예시도이고, 도 3b에 도시된 바와 같이, 골반 영역의 MRI 이미지(300)는 상기 제3 이미지이며, 제3 이미지를 상기 이미지 분할 장치(301)에 입력할 수 있고, 제5 분류 결과를 획득할 수 있으며; 본 출원의 일부 실시예에 있어서, 제5 분류 결과는 골반의 골종양 영역을 포함할 수 있다. 설명해야 할 것은, 도 3b에 도시된 시나리오는 본 출원의 실시예의 예시적 시나리오일 뿐이고, 본 출원은 구체적인 응용 시나리오에 대해 한정하지 않는다.

도 3c는 본 출원의 실시예에서 골반 골종양에 대한 처리 흐름 예시도이고, 도 3c에 도시된 바와 같이, 상기 처리 흐름은 하기 단계 a1 내지 단계 a13을 포함할 수 있다.

단계 a1에 있어서, 처리될 이미지를 획득한다.

여기서, 처리될 이미지는 환자의 골반 영역의 MRI 이미지 및 골반 영역의 CT 이미지를 포함할 수 있고, 본 출원의 실시예에 있어서, 자기공명 및 CT 검사를 통해, 골반 영역의 MRI 이미지 및 골반 영역의 CT 이미지를 획득할 수 있다.

단계 a2에 있어서, 의사가 진단한다.

본 출원의 실시예에 있어서, 의사는 처리될 이미지에 따라 진단할 수 있고, 단계 a3을 실행할 수 있다.

단계 a3에 있어서, 사지 구제 수술의 가능성이 있는지 여부를 판단하고, 만약 가능성이 있으면 단계 a5를 실행하고, 가능성 없으면 단계 a4를 실행한다.

본 출원의 실시예에 있어서, 의사는 진단 결과에 따라 사지 구제 수술의 가능성이 있는지 여부를 판단할 수 있다.

단계 a4에 있어서, 흐름을 종료한다.

본 출원의 실시예에 있어서, 만약 의사가 사지 구제 수술의 가능성이 없다고 판단하면, 흐름을 종료할 수 있고, 이런 경우, 의사는 다른 치료 방식에 따라 환자를 치료할 수 있다.

단계 a5에 있어서, 골반 골종양 영역이 자동 분할된다.

본 출원의 실시예에 있어서, 도 3b를 참조하여 골반 영역의 MRI 이미지(300)를 상기 이미지 분할 장치(301)에 입력함으로써, 골반 골종양 영역 자동 분할을 구현하고, 골반의 골종양 영역을 결정할 수 있다.

단계 a6에 있어서, 수동으로 수정된다.

본 출원의 실시예에 있어서, 의사는 골반 골종양 영역의 분할 결과에 대해 수동으로 수정하여, 수정된 골반 골종양 영역을 획득할 수 있다.

단계 a7에 있어서, 골반 골격이 분할된다.

본 출원의 실시예에 있어서, 골반 영역의 CT 이미지는 상기 제4 이미지이고, 이와 같이, 골반 영역의 CT 이미지를 골격 분할하여, 골반 영역의 CT 이미지에 대응되는 골격 분할 결과를 획득할 수 있다.

단계 a8에 있어서, CT-MR(Computed Tomography- Magnetic Resonance) 영상 정합을 수행한다.

본 출원의 실시예에 있어서, 골반 영역의 MRI 이미지 및 골반 영역의 CT 이미지에 대해 형상 정합을 수행하여, 골반 영역의 MRI 이미지 및 골반 영역의 CT 이미지에서 픽셀의 대응 관계를 결정할 수 있다.

단계 a9에 있어서, 종양 분할 결과와 골격 분할 결과가 융합된다.

본 출원의 실시예에 있어서, 단계 a8에 의해 결정된 상기 대응 관계에 따라, 골반 골종양 영역의 분할 결과 및 골반 영역의 CT 이미지에 대응되는 골격 분할 결과를 융합하여, 융합 결과를 획득할 수 있다.

단계 a10에 있어서, 골반-골종양 모델 3차원(3-Dimension, 3D) 프린팅 한다.

본 출원의 실시예에 있어서, 융합 결과에 따라, 골반-골종양 모델 3차원 프린팅을 수행할 수 있다.

단계 a11에 있어서, 수술 전 계획을 수행한다.

본 출원의 실시예에 있어서, 의사는 프린팅된 골반-골종양 모델에 따라, 수술 전 계획을 수행할 수 있다.

단계 a12에 있어서, 임플란트 보형물과 수술 가이드를 설계한다.

본 출원의 실시예에 있어서, 의사는 수술 전 계획을 수행한 후, 임플란트 보형물과 수술 가이드를 설계할 수 있다.

단계 a13에 있어서, 임플란트 보형물과 수술 가이드의 3D 프린팅 한다.

본 출원의 실시예에 있어서, 의사는 임플란트 보형물과 수술 가이드를 설계한 후, 임플란트 보형물과 수술 가이드의 3D 프린팅을 수행할 수 있다.

이해할 수 있는 것은, 본 출원에서 언급한 상기 각 방법 실시예는, 원리 논리에 위배되지 않는 한, 모두 서로 상호적으로 결합되어 결합된 실시예를 형성할 수 있고, 편폭의 제한으로, 본 출원에서 더 이상 반복하여 설명하지 않는다.

본 분야의 기술자는 구체적인 실시 형태의 상기 방식에서, 각 단계의 기록 순서는 엄격한 수행 순서를 의미하지 않고 실시 과정에 대한 임의의 제한을 구성하며, 각 단계의 구체적인 수행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된는 것을 이해할 수 있다.

또한, 본 출원은 신경 네트워크 훈련 장치, 이미지 분할 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체, 프로그램을 더 제공하고, 상기 신경 네트워크 훈련 장치, 이미지 분할 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체, 프로그램은 모두 본 출원에서 제공하는 어느 하나의 신경 네트워크 훈련 방법 또는 이미지 분할 방법을 구현하는데 사용될 수 있고, 상응한 기술적 방안 및 설명 및 방법 부분을 참조한 상응한 기재는 더 이상 반복하여 설명하지 않는다.

도 4는 본 출원의 실시예에서 제공되는 신경 네트워크 훈련 장치의 구조 예시도이고, 도 4에 도시된 바와 같이, 상기 신경 네트워크 훈련 장치는, 제1 신경 네트워크를 통해 제1 이미지의 제1 특징 및 제2 이미지의 제2 특징을 추출하도록 구성된 제1 추출 모듈(41); 상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하도록 구성된 제1 융합 모듈(42); 상기 제1 신경 네트워크를 통해 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하도록 구성된 제1 결정 모듈(43); 및 상기 제1 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하도록 구성된 제1 훈련 모듈(44)을 포함한다.

본 출원의 일부 실시예에 있어서, 상기 신경 네트워크 훈련 장치는, 제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하도록 구성된 제2 결정 모듈; 및 상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제2 훈련 모듈을 더 포함한다.

본 출원의 일부 실시예에 있어서, 상기 신경 네트워크 훈련 장치는, 훈련된 상기 제1 신경 네트워크를 통해 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하도록 구성된 제3 결정 모듈; 훈련된 상기 제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하도록 구성된 제4 결정 모듈; 및 상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제3 훈련 모듈을 더 포함한다.

본 출원의 실시예에서 더 제공되는 다른 신경 네트워크 훈련 장치는, 제1 신경 네트워크를 통해 제1 이미지 및 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하도록 구성된 제6 결정 모듈; 제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하도록 구성된 제7 결정 모듈; 및 상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제4 훈련 모듈을 포함한다.

본 출원의 일부 실시예에 있어서, 상기 제1 신경 네트워크를 통해 제1 이미지 및 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계는, 상기 제1 이미지의 제1 특징 및 상기 제2 이미지의 제2 특징을 추출하도록 구성된 제2 추출 모듈; 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하도록 구성된 제3 융합 모듈; 및 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하도록 구성된 제8 결정 모듈을 포함한다.

본 출원의 일부 실시예에 있어서, 상기 다른 신경 네트워크 훈련 장치는, 상기 제3 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하도록 구성된 제5 훈련 모듈을 더 포함한다.

본 출원의 일부 실시예에 있어서, 상기 다른 신경 네트워크 훈련 장치는, 상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하도록 구성된 제9 결정 모듈; 및 상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제6 훈련 모듈을 더 포함한다.

본 출원의 실시예에서 더 제공되는 이미지 분할 장치는, 상기 신경 네트워크 훈련 장치에 따라 훈련된 상기 제2 신경 네트워크를 획득하도록 구성된 획득 모듈; 및 제3 이미지를 훈련된 상기 제2 신경 네트워크에 입력하고, 훈련된 상기 제2 신경 네트워크를 거쳐 상기 제3 이미지에서의 픽셀의 제5 분류 결과를 출력하도록 구성된 출력 모듈을 포함한다.

본 출원의 일부 실시예에 있어서, 상기 이미지 분할 장치는, 상기 제3 이미지에 대응되는 제4 이미지에 대해 골격 분할을 수행하여, 상기 제4 이미지에 대응되는 골격 분할 결과를 획득하도록 구성된 골격 분할 모듈을 더 포함한다.

본 출원의 일부 실시예에 있어서, 상기 이미지 분할 장치는, 상기 제3 이미지 및 상기 제4 이미지에서의 픽셀의 대응 관계를 결정하도록 구성된 제5 결정 모듈; 및 상기 대응 관계에 따라, 상기 제5 분류 결과 및 상기 골격 분할 결과를 융합하여, 융합 결과를 획득하도록 구성된 제2 융합 모듈을 더 포함한다.

일부 실시예에 있어서, 본 출원의 실시예에서 제공되는 장치가 갖고 있는 기능 또는 포함하는 모듈은 전술한 방법 실시예에서 설명한 방법을 수행하는데 사용될 수 있고, 그 구체적인 구현은 전술한 방법 실시예의 설명을 참조할 수 있으며, 간결함을 위해, 여기서 더 이상 반복하여 설명하지 않는다.

본 출원의 실시예는 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때 상기 방법을 구현한다. 여기서, 상기 컴퓨터 판독 가능 저장 매체는 비휘발성 컴퓨터 판독 가능 저장 매체일 수 있거나, 또는 휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.

본 출원의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램 제품을 더 제공하고, 컴퓨터 판독 가능한 코드가 기기에서 작동될 경우, 기기에서의 프로세서는 상기 어느 한 가지 방법을 구현하기 위한 명령어를 실행한다.

본 출원의 실시예는 컴퓨터 판독 가능 명령어를 저장하도록 구성된 다른 컴퓨터 프로그램 제품을 더 제공하고, 명령어가 실행될 경우 컴퓨터로 하여금 상기 어느 한 가지 방법의 동작을 실행하도록 한다.

전자 기기는 단말, 서버 또는 형태의 기기일 수 있다.

본 출원의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 상기 어느 한 가지 방법을 실행한다.

도 5는 본 출원의 실시예에서 제공되는 전자 기기의 구조 예시도이고, 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 휘트니스 기기, 개인용 휴대 단말기 등 단말일 수 있다.

도 5를 참조하면, 전자 기기(800)는 제1 처리 컴포넌트(802), 제1 메모리(804), 제1 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 제1 입력/출력(Input Output, I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

제1 처리 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전반적인 동작을 제어한다. 제1 처리 컴포넌트(802)는, 상기 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 수행하는 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 제1 처리 컴포넌트(802)는 제1 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 인터랙션을 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 제1 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 제1 처리 컴포넌트(802) 사이의 용이한 인터랙션을 위해, 멀티미디어 모듈을 포함할 수 있다.

제1 메모리(804)는 전자 기기(800)의 동작을 지원하기 위해, 다양한 유형의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(800)에서의 동작을 위한 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 이미지, 비디오 등을 포함한다. 제1 메모리(804)는 정적 랜덤 액세스 메모리(Static Random-Access Memory, SRAM), 전기적 소거 및 프로그램 가능 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 및 프로그램 가능 읽기 전용 메모리(Electrical Programmable Read Only Memory, EPROM), 프로그램 가능 읽기 전용 메모리(Programmable Read-Only Memory, PROM), 읽기 전용 메모리(Read-Only Memory, ROM), 자기 메모리, 플래시 메모리, 디스켓 또는 광디스크와 같은 임의의 유형의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

제1 전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 제공한다. 제1 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 전자 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 상기 전자 기기(800) 및 사용자 사이에 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 디스플레이(Liquid Crystal Display, LCD) 및 터치 패널(Touch Pad, TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하면, 스크린은 사용자에 의해 입력된 신호를 수신하도록 터치스크린으로 구현될 수 있다. 터치 패널은 터치, 스와이프 및 터치 패널에서의 제스처를 감지하도록 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 동작의 바운드를 감지할 수 있을 뿐만 아니라, 상기 터치 또는 스와이프 동작과 관련된 지속 시간 및 압력도 검출할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(808)는 전방 카메라 및/또는 후방 카메라를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 작동 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크로폰(MIC)을 포함하고, 전자 기기(800)가 호출 모드, 기록 모드 및 음성 인식 모드와 같은 작동 모드일 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 제1 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)를 통해 송신될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

제1 입력/출력 인터페이스(812)는 제1 처리 컴포넌트(802) 및 주변 인터페이스 모듈 사이에 인터페이스를 제공하고, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈버튼, 음량 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)에 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있고, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 모니터와 키패드이며, 센서 컴포넌트(814)는 전자 기기(800) 또는 전자 기기(800)에서 하나의 컴포넌트의 위치 변화, 사용자와 전자 기기(800) 접촉의 존재 유무, 전자 기기(800) 방향 또는 가속/감속 및 전자 기기(800)의 온도 변화도 검출할 수 있다. 센서 컴포넌트(814)는 그 어떤 물리적 접촉이 없을 경우 주변 물체의 존재를 검출하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 상보성 금속 산화막 반도체(Complementary Metal Oxide Semiconductor, CMOS) 또는 전하 결합 소자(Charge Coupled Device, CCD) 이미지 센서와 같은 이미징 애플리케이션에 사용하기 위한 광 센서를 더 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 전자 기기(800) 및 다른 기기 사이의 유선 또는 무선 방식의 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 통신 표준에 기반하는 무선 네트워크, 예를 들어Wi-Fi, 2G, 3G, 4G/LTE, 5G 또는 이들의 조합에 액세스할 수 있다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송과 관련된 정보를 수신한다. 하나의 예시적 실시예에 있어서, 상기 통신 컴포넌트(816)는 근거리 통신을 촉진하도록 근거리 자기장 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역(Ultra Wide Band, UWB) 기술, 블루투스(Bluetooth, BT) 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적 실시예에 있어서, 전자 기기(800)는 상기 어느 한 가지 방법을 수행하기 위하여, 하나 또는 복수 개의 응용 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 기기(Digital Signal Processing Device, DSPD), 프로그램 가능 논리 소자(Programmable Logic Device, PLD), 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 구현될 수 있다.

예시적 실시예에 있어서, 예를 들어 컴퓨터 프로그램 명령어를 포함하는 제1 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 컴퓨터 프로그램 명령어는 전자 기기(800)의 프로세서(820)에 의해 수행됨으로써 상기 어느 한 가지 방법을 완료하도록 한다.

도 6은 본 출원의 실시예에서 제공되는 다른 전자 기기의 구조 예시도이고, 예를 들어, 전자 기기(1900)는 서버로 제공될 수 있다. 도 6을 참조하면, 전자 기기(1900)는 제2 처리 컴포넌트(1922)를 포함하고, 추가로 하나 또는 복수 개의 프로세서 및 제2 메모리(1932)를 대표로 하는 메모리 자원을 포함하고, 예를 들어 애플리케이션 프로그램과 같은 제2 처리 컴포넌트(1922)에 의해 수행될 수 있는 명령어를 저장하기 위한 것이다. 제2 메모리(1932)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각각 명령어 세트에 대응되는 모듈을 포함할 수 있다. 또한, 제2 처리 컴포넌트(1922)는 명령어를 수행하여, 상기 방법을 수행하도록 구성된다.

전자 기기(1900)는 전자 기기(1900)의 전원 관리를 수행하도록 구성된 하나의 제2 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성된 유선 또는 무선 네트워크 인터페이스(1950) 및 제2 입력 출력(I/O) 인터페이스(1958)를 더 포함할 수 있다. 전자 기기(1900)는 제2 메모리(1932)에 저장된 운영체제, 예를 들어, Windows Server®, Mac OS X®, Unix®, Linux®, FreeBSD® 또는 유사한 것에 기반하여 동작될 수 있다.

예시적 실시예에 있어서, 예를 들어 컴퓨터 프로그램 명령어를 포함하는 제2 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공하며, 상기 컴퓨터 프로그램 명령어는 전자 기기(1900)의 제2 처리 컴포넌트(1922)에 의해 수행됨으로써 상기 어느 한 가지 방법을 완료하도록 한다.

본 출원의 실시예는 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능 저장 매체에는 프로세서로 하여금 본 출원의 각 측면을 구현하도록 하기 위한 컴퓨터 판독 가능 프로그램 명령어가 탑재되어 있다.

컴퓨터 판독 가능 저장 매체는 명령어 수행 기기에 의해 사용되는 명령어를 유지 및 저장할 수 있는 유형 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전기 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 이들의 임의의 적합한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능 저장 매체의 더욱 구체적인 예(비전면한 리스트)는, 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM), 디지털 비디오 디스크(Digital Video Disc, DVD), 메모리 스틱, 플로피 디스크, 명령어가 저장된 펀치 카드 또는 홈내에 철기된 구조와 같은 기계적으로 인코딩된 기기 및 이들의 임의의 적합한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능 저장 매체는 무선 전자파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통과하는 펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간적인 신호 자체로 해석되지 않는다.

여기서 설명한 컴퓨터 판독 가능 프로그램 명령어는 컴퓨터 판독 가능 저장 매체로부터 각 컴퓨팅/처리 기기로 다운로드될 수 있거나, 또는 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운로드될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능 저장 매체에 저장하기 위해, 컴퓨터 판독 가능 프로그램 명령어를 전달한다.

본 출원의 실시예 동작을 수행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 목적 코드일 수 있고, 상기 프로그래밍 언어에는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어 및 “C” 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능 프로그램 명령어는 사용자 컴퓨터에서 완전히 실행되거나, 사용자 컴퓨터에서 부분적으로 실행되거나, 독립적인 소프트웨어 패키지로서 실행되거나, 사용자 컴퓨터에서 일부가 실행되고 원격 컴퓨터에서 일부가 실행되거나, 원격 컴퓨터 또는 서버에서 완전히 실행될 수 있다. 원격 컴퓨터와 관련된 상황에서 원격 컴퓨터는 근거리 통신망(Local Area Network, LAN) 또는 광대역 통신망(Wide Area Network, WAN)을 포함하는 모든 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결). 일부 실시예에 있어서, 프로그램 가능 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그램 가능 논리 어레이 (Programmable Logic Array, PLA)와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 수행할 수 있음으로써, 본 출원의 다양한 측면을 구현한다.

여기서 본 출원의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 본 출원의 다양한 측면을 설명하였다. 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도의 각 블록들의 조합은, 컴퓨터 판독 가능 프로그램 명령어에 의해 모두 구현될 수 있음을 이해해야 한다.

이러한 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공될 수 있음으로써, 이러한 명령어가 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 의해 실행되도록 하는 기계가 생성되고, 흐름도 및/또는 블록도에서의 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 장치가 생성된다. 이러한 컴퓨터 판독 가능 프로그램 명령어를 컴퓨터 판독 가능 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 다른 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및/또는 블록도에서의 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 명령어를 포함한다.

컴퓨터 판독 가능 프로그램 명령어는 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에 로딩될 수도 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에서 실행되도록 함으로써, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에서 실행되는 명령어는 흐름도 및/또는 블록도에서의 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현한다.

도면의 흐름도 및 블록도는 본 출원의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도에서의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 실행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 부동한 순서로 발생될 수도 있다. 예를 들어, 연속적으로 도시된 두 개의 블록은 실제로 동시에 실행될 수 있으며, 때로는 관련 기능에 따라 역순으로 실행될 수도 있으며, 이는 관련된 기능에 의해 결정된다. 또한 유의해야 할 것은, 블록도 및/또는 흐름도에서의 각 블록 및 블록도 및/또는 흐름도에서의 블록의 조합은, 지정된 기능 또는 동작을 실행하는 전용 하드웨어 기반의 시스템에 의해 구현될 수 있거나, 전용 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.

상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 결합의 방식을 통해 구현될 수 있다. 선택 가능한 실시예에 있어서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로서 구체적으로 체현되며, 다른 선택 가능한 실시예에 있어서, 컴퓨터 프로그램 제품은 예를 들어 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로서 구체적으로 체현된다.

이상 본 출원의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 철저하지 않으며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 경우, 많은 수정 및 변경은 본 기술분야의 통상적인 기술자에게는 자명한 것이다. 본문에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 또는 본 기술분야의 다른 통상적인 기술자가 본문에서 개시된 각 실시예를 이해할 수 있는것을 목적으로 한다.

본 출원의 실시예는 신경 네트워크 훈련 및 이미지 분할 방법, 장치, 전자 기기, 컴퓨터 저장 매체 및 컴퓨터 프로그램을 제공한다. 상기 신경 네트워크 훈련 및 이미지 분할 방법은, 제1 신경 네트워크를 통해 제1 이미지의 제1 특징 및 제2 이미지의 제2 특징을 추출하는 단계; 상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하는 단계; 상기 제1 신경 네트워크를 통해 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하는 단계; 및 상기 제1 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하는 단계를 포함한다. 본 출원의 실시예는 이미지 분할의 정확성을 향상시킬 수 있다.

Claims

신경 네트워크 훈련 방법으로서,
제1 신경 네트워크를 통해 제1 이미지의 제1 특징 및 제2 이미지의 제2 특징을 추출하는 단계;
상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하는 단계;
상기 제1 신경 네트워크를 통해 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하는 단계; 및
상기 제1 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
제1항에 있어서,
상기 신경 네트워크 훈련 방법은,
제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하는 단계; 및
상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련하는 단계를 더 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
제2항에 있어서,
상기 신경 네트워크 훈련 방법은,
훈련된 상기 제1 신경 네트워크를 통해 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계;
훈련된 상기 제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하는 단계; 및
상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하는 단계를 더 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 이미지와 상기 제2 이미지는 스캔 이미지이고, 상기 제1 이미지와 상기 제2 이미지의 스캔 평면은 상이한 것을 특징으로 하는 신경 네트워크 훈련 방법.
제4항에 있어서,
상기 제1 이미지는 횡단 위치의 이미지이고, 상기 제2 이미지는 관상 위치 또는 시상 위치의 이미지인 것을 특징으로 하는 신경 네트워크 훈련 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 제1 이미지 및 상기 제2 이미지는 모두 자기공명 영상(MRI) 이미지인 것을 특징으로 하는 신경 네트워크 훈련 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 제1 신경 네트워크는 제1 서브 네트워크, 제2 서브 네트워크 및 제3 서브 네트워크를 포함하고, 상기 제1 서브 네트워크는 상기 제1 이미지의 제1 특징을 추출하기 위한 것이며, 상기 제2 서브 네트워크는 제2 이미지의 제2 특징을 추출하기 위한 것이고, 상기 제3 서브 네트워크는 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하고, 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하기 위한 것임을 특징으로 하는 신경 네트워크 훈련 방법.
제7항에 있어서,
상기 제1 서브 네트워크는 마지막 두 개의 레이어가 제거된 U-Net인 것을 특징으로 하는 신경 네트워크 훈련 방법.
제7항 또는 제8항에 있어서,
상기 제2 서브 네트워크는 마지막 두 개의 레이어가 제거된 U-Net인 것을 특징으로 하는 신경 네트워크 훈련 방법.
제7항 내지 제9항 중 어느 한 항에 있어서,
상기 제3 서브 네트워크는 다계층 퍼셉트론인 것을 특징으로 하는 신경 네트워크 훈련 방법.
제2항 또는 제3항에 있어서,
상기 제2 신경 네트워크는 U-Net인 것을 특징으로 하는 신경 네트워크 훈련 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
분류 결과는 픽셀이 종양 영역에 속할 확률 및 픽셀이 비 종양 영역에 속할 확률에서의 하나 또는 두 개를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
신경 네트워크 훈련 방법으로서,
제1 신경 네트워크를 통해 제1 이미지 및 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계;
제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하는 단계; 및
상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하는 단계를 더 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
제13항에 있어서,
상기 제1 신경 네트워크를 통해 제1 이미지 및 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계는,
상기 제1 이미지의 제1 특징 및 상기 제2 이미지의 제2 특징을 추출하는 단계;
상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하는 단계; 및
상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하는 단계를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
제13항 또는 제14항에 있어서,
상기 제3 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하는 단계를 더 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
제13항 내지 제15항 중 어느 한 항에 있어서,
상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하는 단계; 및
상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련하는 단계를 더 포함하는 것을 특징으로 하는 신경 네트워크 훈련 방법.
이미지 분할 방법으로서,
제2항 내지 제16항 중 어느 한 항에 따른 신경 네트워크 훈련 방법에 따라 훈련된 상기 제2 신경 네트워크를 획득하는 단계; 및
제3 이미지를 훈련된 상기 제2 신경 네트워크에 입력하고, 훈련된 상기 제2 신경 네트워크를 거쳐 상기 제3 이미지에서의 픽셀의 제5 분류 결과를 출력하는 단계를 포함하는 것을 특징으로 하는 이미지 분할 방법.
제17항에 있어서,
상기 제3 이미지에 대응되는 제4 이미지에 대해 골격 분할을 수행하여, 상기 제4 이미지에 대응되는 골격 분할 결과를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 분할 방법.
제18항에 있어서,
상기 신경 네트워크 훈련 방법은,
상기 제3 이미지 및 상기 제4 이미지에서의 픽셀의 대응 관계를 결정하는 단계; 및
상기 대응 관계에 따라, 상기 제5 분류 결과 및 상기 골격 분할 결과를 융합하여, 융합 결과를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 분할 방법.
제18항 또는 제19항에 있어서,
상기 제3 이미지는 MRI 이미지이고, 상기 제4 이미지는 컴퓨터 단층촬영(CT) 이미지인 것을 특징으로 하는 이미지 분할 방법.
신경 네트워크 훈련 장치로서,
제1 신경 네트워크를 통해 제1 이미지의 제1 특징 및 제2 이미지의 제2 특징을 추출하도록 구성된 제1 추출 모듈;
상기 제1 신경 네트워크를 통해 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하도록 구성된 제1 융합 모듈;
상기 제1 신경 네트워크를 통해 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하도록 구성된 제1 결정 모듈; 및
상기 제1 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하도록 구성된 제1 훈련 모듈을 포함하는 것을 특징으로 하는 신경 네트워크 훈련 장치.
제21항에 있어서,
상기 신경 네트워크 훈련 장치는,
제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하도록 구성된 제2 결정 모듈; 및
상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제2 훈련 모듈을 더 포함하는 것을 특징으로 하는 신경 네트워크 훈련 장치.
제22항에 있어서,
상기 신경 네트워크 훈련 장치는,
훈련된 상기 제1 신경 네트워크를 통해 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하도록 구성된 제3 결정 모듈;
훈련된 상기 제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하도록 구성된 제4 결정 모듈; 및
상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제3 훈련 모듈을 더 포함하는 것을 특징으로 하는 신경 네트워크 훈련 장치.
제21항 내지 제23항 중 어느 한 항에 있어서,
상기 제1 이미지와 상기 제2 이미지는 스캔 이미지이고, 상기 제1 이미지와 상기 제2 이미지의 스캔 평면은 상이한 것을 특징으로 하는 신경 네트워크 훈련 장치.
제24항에 있어서,
상기 제1 이미지는 횡단 위치의 이미지이고, 상기 제2 이미지는 관상 위치 또는 시상 위치의 이미지인 것을 특징으로 하는 신경 네트워크 훈련 장치.
제21항 내지 제25항 중 어느 한 항에 있어서,
상기 제1 이미지 및 상기 제2 이미지는 모두 자기공명 영상(MRI) 이미지인 것을 특징으로 하는 신경 네트워크 훈련 장치.
제21항 내지 제26항 중 어느 한 항에 있어서,
상기 제1 신경 네트워크는 제1 서브 네트워크, 제2 서브 네트워크 및 제3 서브 네트워크를 포함하고, 상기 제1 서브 네트워크는 상기 제1 이미지의 제1 특징을 추출하기 위한 것이며, 상기 제2 서브 네트워크는 제2 이미지의 제2 특징을 추출하기 위한 것이고, 상기 제3 서브 네트워크는 상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하고, 상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제1 분류 결과를 결정하기 위한 것임을 특징으로 하는 신경 네트워크 훈련 장치.
제27항에 있어서,
상기 제1 서브 네트워크는 마지막 두 개의 레이어가 제거된 U-Net인 것을 특징으로 하는 신경 네트워크 훈련 장치.
제27항 또는 제28항에 있어서,
상기 제2 서브 네트워크는 마지막 두 개의 레이어가 제거된 U-Net인 것을 특징으로 하는 신경 네트워크 훈련 장치.
제27항 내지 제29항 중 어느 한 항에 있어서,
상기 제3 서브 네트워크는 다계층 퍼셉트론인 것을 특징으로 하는 신경 네트워크 훈련 장치.
제22항 또는 제23항에 있어서,
상기 제2 신경 네트워크는 U-Net인 것을 특징으로 하는 신경 네트워크 훈련 장치.
제21항 내지 제31항 중 어느 한 항에 있어서,
분류 결과는 픽셀이 종양 영역에 속할 확률 및 픽셀이 비 종양 영역에 속할 확률에서의 하나 또는 두 개를 포함하는 것을 특징으로 하는 신경 네트워크 훈련 장치.
신경 네트워크 훈련 장치로서,
제1 신경 네트워크를 통해 제1 이미지 및 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하도록 구성된 제6 결정 모듈;
제2 신경 네트워크를 통해 상기 제1 이미지에서의 픽셀의 제4 분류 결과를 결정하도록 구성된 제7 결정 모듈; 및
상기 제3 분류 결과 및 상기 제4 분류 결과에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제4 훈련 모듈을 포함하는 것을 특징으로 하는 신경 네트워크 훈련 장치.
제33항에 있어서,
상기 제6 결정 모듈은,
상기 제1 이미지의 제1 특징 및 상기 제2 이미지의 제2 특징을 추출하도록 구성된 제2 추출 모듈;
상기 제1 특징 및 상기 제2 특징을 융합하여, 제3 특징을 획득하도록 구성된 제3 융합 모듈; 및
상기 제3 특징에 따라, 상기 제1 이미지 및 상기 제2 이미지에서 중합되는 픽셀의 제3 분류 결과를 결정하도록 구성된 제8 결정 모듈을 포함하는 것을 특징으로 하는 신경 네트워크 훈련 장치.
제33항 또는 제34항에 있어서,
상기 제3 분류 결과 및 상기 중합되는 픽셀에 대응되는 태깅 데이터에 따라, 상기 제1 신경 네트워크를 훈련하도록 구성된 제5 훈련 모듈을 더 포함하는 것을 특징으로 하는 신경 네트워크 훈련 장치.
제33항 내지 제35항 중 어느 한 항에 있어서,
상기 제1 이미지에서의 픽셀의 제2 분류 결과를 결정하도록 구성된 제9 결정 모듈; 및
상기 제2 분류 결과 및 상기 제1 이미지에 대응되는 태깅 데이터에 따라, 상기 제2 신경 네트워크를 훈련하도록 구성된 제6 훈련 모듈을 더 포함하는 것을 특징으로 하는 신경 네트워크 훈련 장치.
이미지 분할 장치로서,
제22항 내지 제36항 중 어느 한 항에 따른 상기 신경 네트워크 훈련 장치에 따라 훈련된 상기 제2 신경 네트워크를 획득하도록 구성된 획득 모듈; 및
제3 이미지를 훈련된 상기 제2 신경 네트워크에 입력하고, 훈련된 상기 제2 신경 네트워크를 거쳐 상기 제3 이미지에서의 픽셀의 제5 분류 결과를 출력하도록 구성된 출력 모듈을 포함하는 것을 특징으로 하는 이미지 분할 장치.
제37항에 있어서,
상기 신경 네트워크 훈련 장치는,
상기 제3 이미지에 대응되는 제4 이미지에 대해 골격 분할을 수행하여, 상기 제4 이미지에 대응되는 골격 분할 결과를 획득하도록 구성된 골격 분할 모듈을 더 포함하는 것을 특징으로 하는 이미지 분할 장치.
제38항에 있어서,
상기 신경 네트워크 훈련 장치는,
상기 제3 이미지 및 상기 제4 이미지에서의 픽셀의 대응 관계를 결정하도록 구성된 제5 결정 모듈; 및
상기 대응 관계에 따라, 상기 제5 분류 결과 및 상기 골격 분할 결과를 융합하여, 융합 결과를 획득하도록 구성된 제2 융합 모듈을 더 포함하는 것을 특징으로 하는 이미지 분할 장치.
제38항 또는 제39항에 있어서,
상기 제3 이미지는 MRI 이미지이고, 상기 제4 이미지는 컴퓨터 단층촬영(CT) 이미지인 것을 특징으로 하는 이미지 분할 장치.
전자 기기로서,
하나 또는 복수 개의 프로세서; 및
실행 가능한 명령어를 저장하도록 구성된 메모리를 포함하고;
상기 하나 또는 복수 개의 프로세서는 상기 메모리에 저장된 실행 가능한 명령어를 호출하여, 상기 제1항 내지 제20항 중 어느 한 항에 따른 신경 네트워크 훈련 방법을 실행하도록 구성된 것을 특징으로 하는 전자 기기.
컴퓨터 판독 가능 저장 매체로서,
컴퓨터 프로그램 명령어가 저장되어 있고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 경우 제1항 내지 제20항 중 어느 한 항에 따른 신경 네트워크 훈련 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 제1항 내지 제20항 중 어느 한 항에 따른 신경 네트워크 훈련 방법을 실행하기 위한 것임을 특징으로 하는 컴퓨터 프로그램.