KR20210107667A

KR20210107667A - 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체

Info

Publication number: KR20210107667A
Application number: KR1020217018707A
Authority: KR
Inventors: 페이제 자오; 싱롱 리우; 닝 후앙
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2019-04-18
Filing date: 2019-09-25
Publication date: 2021-09-01
Also published as: TW202040587A; WO2020211293A1; TWI713054B; CN110060262A; JP2022515722A

Abstract

이미지 분할 방법 및 장치, 전자 기기 및 저장 매체에 있어서, 상기 이미지 분할 방법은 폐 이미지에서의 폐엽 데이터 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 획득하는 단계; 및 폐엽 분할 네트워크에 따라, 폐 이미지에서의 타깃 폐엽의 위치를 결정하는 단계를 포함한다. 본 발명에 따르면, 폐엽 위치를 정확하게 결정함으로써, 병변 위치를 적시에 결정할 수 있다.

Description

이미지 분할 방법 및 장치, 전자 기기 및 저장 매체

관련 출원의 상호 참조

본 발명은 2019년 4월 18일에 중국 특허국에 제출되고, 출원 번호가 201910315130.7이며, 발명의 명칭이 “이미지 분할 방법 및 장치, 전자 기기 및 저장 매체”인 중국 특허 출원의 우선권을 주장하고, 그 모든 내용은 참조로서 본 발명에 인용된다.

본 발명은 컴퓨터 비전 기술 분야에 관한 것이고, 특히 이미지 분할 방법 및 장치, 전자 기기 및 저장 매체에 관한 것이다.

임상 진단에서, 호흡기과 의사는 일반적으로 감염된 폐엽에 따라 질병의 중증도의 평가 및 치료 방법의 결정을 하며; 방사선과 의사는 폐 질환 또는 병변에 대해 근처의 섹션을 찾아야만 발병 폐엽을 결정할 수 있다. 이러한 병변 위치 결정은 일반적으로 폐 균열 사이의 틈이 보이지 않아 잘못된 진단이 발생하는 경우가 많다. 병변 위치를 적시에 결정하기 위해 폐엽 위치를 결정하는 방법은 해결해야 할 과제이지만, 관련 기술에는 효과적인 해결수단이 없다.

본 발명은 이미지 분할 기술적 해결수단을 제공한다.

본 발명의 일 양태에 따르면, 이미지 분할 방법을 제공하고, 상기 이미지 분할 방법은,

폐 이미지에서의 폐엽 데이터 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 획득하는 단계; 및

상기 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하는 단계를 포함한다.

본 발명에 따르면, 상기 폐엽 분할 네트워크가 수동 포지셔닝이 아닌, 폐엽 데이터 및 폐 균열 데이터에 따라 트레이닝하여 획득한 자가 적응 분할 네트워크에 의존하므로, 상기 분할 네트워크를 기반으로 폐엽 위치를 정확하게 결정함으로써, 병변 위치를 적시에 결정할 수 있다.

가능한 실시형태에서, 상기 폐 이미지에서의 폐엽 데이터 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 획득하는 단계는,

상기 폐 균열 데이터를 상기 폐엽 데이터를 포함하는 폐엽 분할 네트워크 트레이닝에 사용하여, 트레이닝된 폐엽 분할 네트워크를 획득하는 단계를 포함하고;

상기 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하는 단계는,

상기 트레이닝된 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하는 단계를 포함한다.

본 발명에 따르면, 입력 데이터에 수동으로 주석된 폐 균열 데이터와 폐엽 데이터를 추가하여 함께 네트워크 트레이닝에 사용되므로, 분할 정확도를 향상시킬 수 있다. 상기 폐 균열 데이터가 폐엽을 인식하는 경계 정보이므로, 상기 폐 균열 데이터는 폐엽 분할 네트워크 트레이닝을 보조하여, 폐엽 분할 네트워크를 통한 폐엽 경계의 특징 추출이 강화되어, 상기 트레이닝된 폐엽 분할 네트워크를 사용하여 더 정확한 이미지 분할을 통해 폐 이미지로부터 폐엽의 위치를 결정함으로써, 폐엽의 위치에 따라, 병변 위치를 적시에 결정할 수 있다.

가능한 실시형태에서, 상기 폐 균열 데이터를 상기 폐엽 데이터를 포함하는 폐엽 분할 네트워크 트레이닝에 사용하여, 트레이닝된 폐엽 분할 네트워크를 획득하는 단계는,

상기 폐 균열 데이터 및 상기 폐엽 데이터를 결합하여 획득한 혼합 손실 함수에 따라, 손실 함수의 역전파를 진행하는 단계; 및

상기 손실 함수의 역전파를 통해 상기 폐엽 분할 네트워크를 트레이닝하여, 트레이닝된 폐엽 분할 네트워크를 획득하는 단계를 포함한다.

본 발명에 따르면, 입력 데이터에 수동으로 주석된 폐 균열 데이터를 추가하여 네트워크 트레이닝을 진행하고, 폐 균열 데이터와 폐엽 데이터를 결합하여 혼합 손실 함수를 획득하며, 손실 함수의 역전파를 통해 폐엽 분할 네트워크를 트레이닝함으로써, 이런 트레이닝 방식을 통해 획득한 폐엽 분할 네트워크의 분할 정확도를 향상시킬 수 있다. 상기 트레이닝된 폐엽 분할 네트워크를 사용하여 더 정확한 이미지 분할을 통해 폐 이미지로부터 폐엽의 위치를 결정함으로써, 폐엽의 위치에 따라, 병변 위치를 적시에 결정할 수 있다.

가능한 실시형태에서, 상기 이미지 분할 방법은 상기 폐 균열 데이터 및 상기 폐엽 데이터를 결합하여 획득한 혼합 손실 함수에 따라, 손실 함수의 역전파를 진행하기 전에,

상기 폐엽 데이터에 따라 제1 손실 함수 및 제2 손실 함수를 획득하는 단계;

상기 폐 균열 데이터에 따라 제3 손실 함수를 획득하는 단계; 및

상기 제1 손실 함수, 상기 제2 손실 함수 및 상기 제3 손실 함수에 따라 상기 혼합 손실 함수를 획득하는 단계를 더 포함한다.

본 발명에 따르면, 각각 상기 폐엽 데이터 및 상기 폐 균열 데이터에 따라 각각의 손실 함수를 획득한 후, 획득한 다수의 손실 함수에 따라 획득한 혼합 손실 함수는 더 정확하고, 상기 혼합 손실 함수의 역전파를 통해 폐엽 분할 네트워크를 트레이닝하는 이런 트레이닝 방식을 통해 획득한 폐엽 분할 네트워크의 분할 정확도를 향상시킬 수 있다. 상기 트레이닝된 폐엽 분할 네트워크를 사용하여 더 정확한 이미지 분할을 통해 폐 이미지로부터 폐엽의 위치를 결정함으로써, 폐엽의 위치에 따라, 병변 위치를 적시에 결정할 수 있다.

가능한 실시형태에서, 상기 폐 균열 데이터를 상기 폐엽 데이터를 포함하는 폐엽 분할 네트워크 트레이닝에 사용하기 전에,

상기 폐 이미지를 상기 폐엽 분할 네트워크에 입력하고, 상기 폐 이미지에 대해 다양한 레벨의 다운 샘플링 처리 및 대응되는 업 샘플링 처리를 진행하여, 상이한 레벨에 대응되는 다운 샘플링 처리 결과 및 업 샘플링 처리 결과를 획득하는 단계; 및

모든 레벨의 처리가 끝날 때까지, 동일한 레벨의 다운 샘플링 처리 결과와 업 샘플링 처리 결과를 스킵 연결 처리하여, 상이한 해상도 및 멀티스케일 크기에 대응되는 멀티 레이어 출력 결과를 획득하는 단계를 더 포함한다.

가능한 실시형태에서, 상기 멀티 레이어 출력 결과는 상기 폐 균열 데이터를 인식하기 위한 제1 복셀 데이터, 및 상기 폐엽 데이터를 인식하기 위한 제2 복셀 데이터 중 적어도 하나를 포함하고;

상기 이미지 분할 방법은 상기 제1 복셀 데이터 및 상기 제2 복셀 데이터 중 하나를, 상기 폐엽 분할 네트워크를 트레이닝하기 위한 트레이닝 데이터로 사용하는 단계를 더 포함한다.

본 발명에 따르면, 상기 폐 이미지에 대해 다양한 레벨의 다운 샘플링 처리 및 대응되는 업 샘플링 처리를 진행하고, 동일한 레벨의 다운 샘플링 처리 및 업 샘플링 처리를 스킵 연결하면, 상이한 해상도 및 멀티스케일 크기에 대응되는 멀티 레이어 출력 결과를 획득할 수 있고, 폐엽 분할 네트워크의 분할 정확도를 향상시킬 수 있다. 상기 트레이닝된 폐엽 분할 네트워크를 사용하여 더 정확한 이미지 분할을 통해 폐 이미지로부터 폐엽의 위치를 결정함으로써, 폐엽의 위치에 따라, 병변 위치를 적시에 결정할 수 있다.

가능한 실시형태에서, 상기 동일한 레벨의 다운 샘플링 처리 결과와 업 샘플링 처리 결과를 스킵 연결 처리하는 단계는,

상기 동일한 레벨의 다운 샘플링 처리 결과 및 업 샘플링 처리 결과 중 동일한 스케일의 특징을 융합하여, 스킵 처리 결과를 획득하는 단계를 포함한다.

본 발명에 따르면, 멀티 레이어 출력 결과 중의 각각의 레이어에 대해, 동일한 레벨의 다운 샘플링 처리 결과 및 업 샘플링 처리 결과 중 동일한 스케일의 특징을 융합하여, 폐엽 분할 네트워크의 분할 정확도를 향상시킬 수 있다. 상기 트레이닝된 폐엽 분할 네트워크를 사용하여 더 정확한 이미지 분할을 통해 폐 이미지로부터 폐엽의 위치를 결정함으로써, 폐엽의 위치에 따라, 병변 위치를 적시에 결정할 수 있다.

본 발명의 다른 양태에 따르면, 이미지 분할 장치를 제공하고, 상기 이미지 분할 장치는,

폐 이미지에서의 폐엽 데이터 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 획득하도록 구성된 분할 네트워크 획득 유닛; 및

상기 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하도록 구성된 위치 결정 유닛을 포함한다.

가능한 실시형태에서, 상기 분할 네트워크 획득 유닛은 또한,

상기 폐 균열 데이터를 상기 폐엽 데이터를 포함하는 폐엽 분할 네트워크 트레이닝에 사용하여, 트레이닝된 폐엽 분할 네트워크를 획득하도록 구성되고;

상기 위치 결정 유닛은 또한,

상기 트레이닝된 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하도록 구성된다.

상기 폐 균열 데이터 및 상기 폐엽 데이터를 결합하여 획득한 혼합 손실 함수에 따라, 손실 함수의 역전파를 진행하고;

상기 손실 함수의 역전파를 통해 상기 폐엽 분할 네트워크를 트레이닝하여, 트레이닝된 폐엽 분할 네트워크를 획득하도록 구성된다.

가능한 실시형태에서, 상기 이미지 분할 장치는, 혼합 손실 함수 결정 유닛을 더 포함하고, 상기 혼합 손실 함수 결정 유닛은,

상기 폐엽 데이터에 따라 제1 손실 함수 및 제2 손실 함수를 획득하고;

상기 폐 균열 데이터에 따라 제3 손실 함수를 획득하며;

상기 제1 손실 함수, 상기 제2 손실 함수 및 상기 제3 손실 함수에 따라 상기 혼합 손실 함수를 획득하도록 구성된다.

가능한 실시형태에서, 상기 이미지 분할 장치는, 데이터 처리 유닛을 더 포함하며, 상기 데이터 처리 유닛은,

상기 폐 이미지를 상기 폐엽 분할 네트워크에 입력하고, 상기 폐 이미지에 대해 다양한 레벨의 다운 샘플링 처리 및 대응되는 업 샘플링 처리를 진행하여, 상이한 레벨에 대응되는 다운 샘플링 처리 결과 및 업 샘플링 처리 결과를 획득하며;

모든 레벨의 처리가 끝날 때까지, 동일한 레벨의 다운 샘플링 처리 결과와 업 샘플링 처리 결과를 스킵 연결 처리하여, 상이한 해상도 및 멀티스케일 크기에 대응되는 멀티 레이어 출력 결과를 획득하도록 구성된다.

상기 이미지 분할 장치는 상기 제1 복셀 데이터 및 상기 제2 복셀 데이터 중 하나를, 상기 폐엽 분할 네트워크를 트레이닝하기 위한 트레이닝 데이터로 사용하도록 구성된 데이터 결정 유닛을 더 포함한다.

가능한 실시형태에서, 상기 데이터 처리 유닛은 또한,

상기 동일한 레벨의 다운 샘플링 처리 결과 및 업 샘플링 처리 결과 중 동일한 스케일의 특징을 융합하여, 스킵 처리 결과를 획득하도록 구성된다.

본 발명의 또 다른 양태에 따르면, 전자 기기를 제공하고, 상기 전자 기기는,

프로세서; 및

프로세서가 실행 가능한 명령을 저장하는 메모리를 포함하며,

여기서, 상기 프로세서는 상기 이미지 분할 방법을 수행한다.

본 발명의 또 다른 양태에 따르면, 컴퓨터 프로그램 명령이 저장되는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우 상기 이미지 분할 방법을 구현하도록 한다.

본 발명의 실시예에서, 폐 이미지에서의 폐엽 데이터 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 획득하고, 상기 폐엽 분할 네트워크에 따라, 폐 이미지에서의 타깃 폐엽의 위치를 결정한다. 상기 폐엽 분할 네트워크가 수동 포지셔닝이 아닌, 폐엽 데이터 및 폐 균열 데이터에 따라 트레이닝하여 획득한 자가 적응 분할 네트워크에 의존하므로, 상기 분할 네트워크를 기반으로 폐엽 위치를 정확하게 결정함으로써, 병변 위치를 적시에 결정할 수 있다.

이해해야 할 것은, 이상의 일반적인 설명 및 아래의 상세한 설명은 단지 예시적 및 해석적인 것으로, 본 발명을 한정하지 않는다.

아래의 도면을 참조하여 예시적 실시예에 대해 상세히 설명하고, 본 발명의 다른 특징 및 양태는 명확해질 것이다.

여기에서 도면은 명세서에 통합되어 본 명세서의 일부를 구성하고, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 기술적 해결수단을 설명한다.
도 1은 본 발명의 실시예에 따른 이미지 분할 방법의 흐름도이다.
도 2는 본 발명의 실시예에 따른 이미지 분할 방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 이미지 분할 방법의 흐름도이다.
도 4는 본 발명의 실시예에 따른 트레이닝 과정의 흐름도이다.
도 5는 본 발명의 실시예에 따른 이미지 분할 장치의 블록도이다.
도 6은 본 발명의 실시예에 따른 전자 기기의 블록도이다.
도 7은 본 발명의 실시예에 따른 전자 기기의 블록도이다.

이하 도면을 참조하여 본 발명의 다양한 예시적 실시예, 특징 및 양태를 상세히 설명한다. 도면에서 동일한 도면 부호는 기능이 동일하거나 유사한 소자를 가리킨다. 도면에서 실시예의 다양한 양태를 도시하지만, 달리 지정되지 않는 한, 본 발명은 도면의 비율에 의해 한정되지 않는다.

여기서 사용된 단어 “예시적”은 “예, 실시예 또는 설명적”인 의미이다. “예시적”으로 설명되는 어떠한 실시예는 다른 실시예보다 우수하거나 더 나은 것으로 해석될 필요는 없다.

본문의 용어 “및/또는”은 단지 관련 객체를 설명하는 연관 관계일 뿐, 3가지 관계가 존재할 수 있음을 의미한다, 예를 들어, A 및/또는 B는, A만 존재, A와 B가 동시에 존재, B만 존재하는 3가지 경우를 의미한다. 또한, 본문에서 용어 “적어도 하나”는 다수 중의 임의의 하나 또는 다수 중의 적어도 2개의 임의의 조합을 나타내고, 예를 들어, A, B, C 중의 적어도 하나를 포함하며, A, B 및 C로 구성된 집합으로부터 선택된 임의의 하나 또는 다수의 요소를 포함하는 것을 나타낸다.

또한, 본 발명을 더 잘 설명하기 위해, 아래에 발명의 상세한 설명에서 다양한 구체적인 세부사항을 시사한다. 당업자는 일부 구체적인 세부사항이 없이도, 본 발명은 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 구현예에서, 본 발명의 사상을 강조하기 위해 당업자에게 숙지된 방법, 수단, 소자 및 회로에 대해 상세히 설명하지 않는다.

임상 진단에서 육안으로 인식하여 폐엽의 위치를 결정할 수 있다. 호흡기 의사는 일반적으로 감염된 폐엽에 의해 질병의 심각성을 평가하고 치료 수단을 결정한다. 또한 영상학 방법을 통해 폐엽의 위치를 결정할 수 있다. 방사선 의사는 폐 질환 또는 병변에 대해 근처의 섹션을 통해 발병 폐엽을 결정할 수 있다. 이러한 병변 위치의 결정은 일반적으로 폐 균열 틈이 보이지 않아 잘못된 진단이 발생한다. 관련 기술에서, 폐엽을 분할할 때, 분할을 위해 사전 기관 및 혈관에 의존해야 하거나, 또는 분할 결과를 최적화하기 위해 사용자 상호 작용이 필요하며, 즉 의사의 수동 조작에 의존하여 인식하고 최적화해야 하므로, 획득한 폐엽의 분할 결과가 나쁠 뿐만 아니라, 분할 속도가 매우 느리다.

요약하면, 육안으로 인식하는 방법 또는 영상학 방법을 사용하여 폐엽의 위치를 결정하는 경우 아래와 같은 문제에 직면한다. 첫째, 대다수의 폐 균열은 불완전하고, 일반적으로 폐의 가장자리까지 연장되지 못하며, 관련 연구에서 불완전한 폐 균열은 흔한 현상임을 확인하였다. 둘째, 폐엽 가장자리의 시각 특징은 병리학 요인의 영향에 따라 변하며, 이러한 시각 특징은 두께, 위치 및 모양을 포함한다. 셋째, 폐에 다른 균열(예를 들어 부속 균열 및 특이한 균열)이 존재하면 크고 작은 폐 균열로 잘못 인식될 수 있다.

신뢰할 수 있고 완전 자동화된 폐엽 분할 네트워크를 구축하여 폐엽의 위치를 결정하는 것은, 폐 질환의 진단, 평가 및 정량화에 매우 중요하다. 완전 자동화 폐엽 분할 방법은 또한 의사들이 병변 위치를 결정하는데 걸리는 시간을 줄이고 위치 결정 정확도를 향상시키는데 도움을 준다.

도 1은 본 발명의 실시예에 따른 이미지 분할 방법의 흐름도이고, 상기 이미지 분할 방법은 이미지 분할 장치에 적용되며, 예를 들어, 이미지 분할 장치는 단말 기기 또는 서버 또는 다른 처리 기기에 의해 수행될 수 있고, 여기서, 단말 기기는 사용자 기기(UE, User Equipment), 모바일 기기, 셀룰러폰, 무선 전화, 개인 휴대 정보 단말기(PDA, Personal Digital Assistant), 휴대용 기기, 컴퓨팅 기기, 차량 탑재 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 실시형태에서, 상기 이미지 분할 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능한 명령을 호출하는 방식으로 구현될 수 있다. 도 1에 도시된 바와 같이, 상기 흐름은 아래와 같은 단계를 포함한다.

단계 S101에 있어서, 폐 이미지에서의 폐엽 데이터 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 획득한다.

본 발명의 일 가능한 실시형태에서, 폐 이미지는 병원에서 CT 촬영한 이미지일 수 있고, 상기 폐엽 데이터 및 폐 균열 데이터는 수동으로 주석된 폐엽 및 폐 균열 데이터일 수 있으며, 상기 수동으로 주석된 폐엽 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 트레이닝하여, 트레이닝된 폐엽 분할 네트워크를 획득한다.

유의해야 할 것은, 폐엽 분할의 태스크에서, 분할 정확도를 높이고, 위양성을 낮추어, 상이한 폐엽 위치를 구분해야 한다. 이미징 및 자연적인 생리적 원인으로, 일부 CT 영상에는 가시적인 폐 균열이 없고, 시각적으로 상이한 폐엽을 구분할 수 없으므로, 분할 오류가 발생할 수 있다. 따라서, 입력 데이터에 수동으로 주석된 폐 균열 데이터를 추가하여 네트워크 트레이닝을 진행하는 방식을 통해, 분할 정확도를 향상시킬 수 있다. 폐엽 분할 네트워크에 입력된 트레이닝 데이터는, 폐엽 데이터를 포함할 뿐만 아니라, 폐 균열 데이터도 포함한다. 폐엽 데이터 자체에만 의존하는 것이 아니라, 폐 균열 데이터를 폐엽 데이터를 포함하는 폐엽 분할 네트워크 트레이닝에 사용하는 바, 상기 폐 균열 데이터가 폐엽을 인식하는 경계 정보이므로, 상기 폐 균열 데이터를 폐엽 분할 네트워크 트레이닝을 보조하여, 폐엽 분할 네트워크를 통한 폐엽 경계의 특징 추출이 강화되어, 상기 트레이닝된 폐엽 분할 네트워크를 사용하여 더 정확한 이미지 분할을 통해 폐 이미지로부터 폐엽의 위치를 결정할 수 있다.

단계 S102에 있어서, 폐엽 분할 네트워크에 따라, 폐 이미지에서의 타깃 폐엽의 위치를 결정한다.

본 발명의 일 가능한 실시형태에서, 상기 수동으로 주석된 폐엽 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 트레이닝하여, 트레이닝된 폐엽 분할 네트워크를 획득한 다음, 트레이닝된 폐엽 분할 네트워크에 따라, 폐 이미지에서의 타깃 폐엽의 위치를 결정할 수 있다. 타깃 폐엽에 있어서, 인간의 폐는 5개의 폐엽으로 나뉘는데, 여기서 오른쪽 폐에는 3개의 폐엽이 있고, 우상엽(RUL, right upper lobe), 우중엽(RML, right middle lobe) 및 우하엽(RLL, right lower lobe)이며, 각각 소폐 균열 및 대폐 균열에 의해 분리된다. 왼쪽 폐에는 2개의 폐엽이 있고, 좌상엽(LUL, left upper lobe) 및 좌하엽(LLL, left lower lobe)이며, 대폐 균열에 의해 분리된다. 이 5개의 폐엽은 기능적으로 각각 독립적이고, 각자의 기관지 및 혈관 시스템이 있다. 상기 트레이닝된 폐엽 분할 네트워크에 따라, 폐 이미지에서 이 5개의 폐엽이 폐 이미지에서의 위치를 결정할 수 있다.

도 2는 본 발명의 실시예에 따른 이미지 분할 방법의 흐름도이고, 상기 이미지 분할 방법은 이미지 분할 장치에 적용되며, 예를 들어, 이미지 분할 장치는 단말 기기 또는 서버 또는 다른 처리 기기에 의해 수행되고, 여기서, 단말 기기는 사용자 기기(UE, User Equipment), 모바일 기기, 셀룰러폰, 무선 전화, 개인 휴대 정보 단말기(PDA, Personal Digital Assistant), 휴대용 기기, 컴퓨팅 기기, 차량 탑재 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 실시형태에서, 상기 이미지 분할 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능한 명령을 호출하는 방식으로 구현될 수 있다. 도 2에 도시된 바와 같이, 상기 흐름은 아래와 같은 단계를 포함한다.

단계 S201에 있어서, 폐 균열 데이터 및 폐엽 데이터를 결합하여 획득한 혼합 손실 함수에 따라, 손실 함수의 역전파를 진행한다.

단계 S202에 있어서, 손실 함수의 역전파를 통해 폐엽 분할 네트워크를 트레이닝하여, 트레이닝된 폐엽 분할 네트워크를 획득한다.

본 발명의 일 가능한 실시형태에서, 폐엽 다이스(Dice) 계수와 폐엽 및 폐 균열 교차 엔트로피(Cross Entropy)를 결합한 혼합 손실 함수를 상기 손실 함수로 사용할 수 있고, 상기 손실 함수의 역전파를 통해 폐엽 분할 네트워크 중의 각 파라미터를 트레이닝하는 바, 즉 상기 폐엽 분할 네트워크에 대해 파라미터 진화를 진행한다.

본 발명의 일 가능한 실시형태에서, 폐 균열 데이터 및 폐엽 데이터를 결합하여 획득한 혼합 손실 함수에 따라, 손실 함수의 역전파를 진행하기 전에, 폐엽 데이터에 따라 제1 손실 함수(예를 들어,

) 및 제2 손실 함수(예를 들어,

)를 획득할 수 있다. 폐 균열 데이터에 따라 제3 손실 함수(예를 들어,

)를 획득한다. 상기 제1 손실 함수, 상기 제2 손실 함수 및 상기 제3 손실 함수에 따라 상기 혼합 손실 함수를 획득한다. 혼합 손실 함수를 계산하는 구체적인 계산 프로세스는 후속 응용 예시에서 구체적으로 설명한다.

단계 S201 내지 단계 S202를 통해, 수동으로 주석된 폐엽 데이터 및 폐 균열 데이터에 따라 트레이닝된 폐엽 분할 네트워크를 획득할 수 있다. 상기 폐 균열 데이터가 폐엽을 인식하는 경계 정보이므로, 상기 폐 균열 데이터를 폐엽 분할 네트워크 트레이닝을 보조하여, 폐엽 분할 네트워크를 통한 폐엽 경계의 특징 추출이 강화되어, 상기 트레이닝된 폐엽 분할 네트워크를 사용하여 더 정확한 이미지 분할을 통해 폐 이미지로부터 폐엽의 위치를 결정할 수 있다. 다시 말하면, 폐엽 데이터 외에 수동으로 주석된 폐 균열 데이터를 입력하여 네트워크 트레이닝을 진행하여, 네트워크 모델이 폐 균열 위치에 대한 민감도를 강화하고, 폐엽 경계에서의 관심도를 향상시킨다. 상이한 폐엽 경계에서의 분할 효과를 개선하고, 경계 흐림을 감소할 수 있다.

단계 S203에 있어서, 트레이닝된 폐엽 분할 네트워크에 따라, 폐 이미지에서의 타깃 폐엽의 위치를 결정한다.

도 3은 본 발명의 실시예에 따른 이미지 분할 방법의 흐름도이고, 상기 이미지 분할 방법은 이미지 분할 장치에 적용되며, 예를 들어, 이미지 분할 장치는 단말 기기 또는 서버 또는 다른 처리 기기에 의해 수행되고, 여기서, 단말 기기는 사용자 기기(UE, User Equipment), 모바일 기기, 셀룰러폰, 무선 전화, 개인 휴대 정보 단말기(PDA, Personal Digital Assistant), 휴대용 기기, 컴퓨팅 기기, 차량 탑재 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 실시형태에서, 상기 이미지 분할 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능한 명령을 호출하는 방식으로 구현될 수 있다. 도 3에 도시된 바와 같이, 상기 흐름은 아래와 같은 단계를 포함한다.

단계 S301에 있어서, 폐 이미지를 폐엽 분할 네트워크에 입력하고, 폐 이미지에 대해 다양한 레벨의 다운 샘플링 처리 및 대응되는 업 샘플링 처리를 진행하여, 상이한 레벨에 대응되는 다운 샘플링 처리 결과 및 업 샘플링 처리 결과를 획득한다.

샘플링은 아날로그 신호의 샘플을 수집하는 것이고, 샘플링은 샘플링 펄스 작용하에 시간과 진폭에서 모두 연속적인 신호를 시간과 진폭에서 이산적인 신호로 변환시킨다. 샘플링은 파형의 이산화 과정이라고도 한다. 여기서, 다운 샘플링은 샘플값 서열에 대해, 몇 개의 샘플값을 간격으로 한 번의 샘플링을 진행하여 획득한 새로운 서열이 원래 서열의 다운 샘플링인 것을 의미한다. 이미지를 축소(또는 다운 샘플링 또는 축소 샘플링이라고 함)하는 주요 목적은 아래와 같다. 첫째, 이미지가 표시 영역의 크기에 부합되도록 한다. 둘째, 이미지에 대응되는 썸네일을 생성한다. 업 샘플링은 다운 샘플링의 반대 과정이다. 업 샘플링의 본질은 보간 또는 차이값이다. 이미지의 확대는 일반적으로 보간법을 사용하는 바, 즉 원래 이미지 픽셀의 기초상에서 적합한 보간 알고리즘을 사용하여 픽셀점 사이에 새로운 요소를 삽입한다. 이미지를 확대(또는 업 샘플링 또는 이미지 보간이라고 함)하는 주요 목적은 원래 이미지를 확대하여, 더 높은 해상도의 디스플레이 기기에 디스플레이할 수 있도록 하는 것이다. 지적해야 할 것은, 업 샘플링 및 다운 샘플링은 모두 디지털 신호를 재수집하는 것이고, 재수집된 샘플링 비율과 원래의 상기 디지털 신호(예를 들어 아날로그 신호에서 샘플링하여 획득함)를 획득한 샘플링 비율을 비교하면, 샘플링 비율이 원래 신호보다 큰 것을 업 샘플링이라 하고; 원래 신호보다 작은 것을 다운 샘플링이라 한다.

본 발명의 일 가능한 실시형태에서, 다중 다운 샘플링 및 대응되는 업 샘플링 및 스킵 연결은 하나의 폐 이미지의 CT를 입력하고, 상기 CT를 제1 레벨 다운 샘플링하여, 제1 다운 샘플링 결과를 획득하며, 제1 다운 샘플링 결과를 제2 레벨 다운 샘플링하여, 제2 다운 샘플링 결과를 얻으며, 순차적으로 다양한 레벨의 다운 샘플링(본 발명은 4레벨의 다운 샘플링에 한정되지 않음)을 진행한다. 4레벨의 다운 샘플링을 예로 들면, 제2 다운 샘플링 결과를 제3 레벨 다운 샘플링하여, 제3 다운 샘플링 결과를 획득하고, 제3 다운 샘플링 결과를 제4 레벨 다운 샘플링하여, 제4 다운 샘플링 결과를 획득하며, 다운 샘플링이 끝나면, 다운 샘플링의 최저 레벨의 제4 다운 샘플링 결과(본 발명에서 네 번째 다운 샘플링 후의 결과)를 제1 레벨 업 샘플링하여, 제1 업 샘플링 결과를 획득하고, 제1 업 샘플링 결과를 제2 레벨 업 샘플링하여, 제2 업 샘플링 결과를 획득하며, 제2 업 샘플링 결과를 제3 레벨 업 샘플링하여, 제3 업 샘플링 결과를 획득하고, 제3 업 샘플링 결과를 제4 레벨 업 샘플링하여, 제4 업 샘플링 결과를 획득한다.

스킵 연결은 동일한 레벨에 대한 것이고, 예를 들어 제1 레벨에 대해, 다운 샘플링 “제1 다운 샘플링 결과”와 업 샘플링 “제3 업 샘플링 결과”가 대응되므로, 제1 다운 샘플링 결과 및 제3 업 샘플링 결과를 스킵 연결한다.

단계 S302에 있어서, 모든 레벨의 처리가 끝날 때까지, 동일한 레벨의 다운 샘플링 처리 결과와 업 샘플링 처리 결과를 스킵 연결 처리하여, 상이한 해상도 및 멀티스케일 크기에 대응되는 멀티 레이어 출력 결과를 획득한다.

본 발명의 일 가능한 실시형태에서, 동일한 레벨의 다운 샘플링 처리 결과 및 업 샘플링 처리 결과 중 동일한 스케일의 특징을 융합하여, 스킵 처리 결과를 획득한다. 동일한 스케일의 콘볼루션 특징을 융합하여, 분할 정확도를 향상시킨다.

본 발명의 일 가능한 실시형태에서, 상기 멀티 레이어 출력 결과는 상기 폐 균열 데이터를 인식하기 위한 제1 복셀 데이터, 및 상기 폐엽 데이터를 인식하기 위한 제2 복셀 데이터 중 적어도 하나를 포함한다.

단계 S303에 있어서, 폐 균열 데이터를 인식하는 제1 복셀 데이터 및 폐엽 데이터를 인식하는 제2 복셀 데이터를 트레이닝 데이터로 하여 획득한 혼합 손실 함수에 대해, 손실 함수의 역전파를 진행하고, 손실 함수의 역전파를 통해 폐엽 분할 네트워크를 트레이닝하여, 트레이닝된 폐엽 분할 네트워크를 획득한다.

본 발명의 일 가능한 실시형태에서, 또한 상기 트레이닝 데이터를 폐엽 분할 네트워크에 입력하기 전에 다운 샘플을 진행하여, 데이터양을 감소하고, 유한한 계산 자원으로 전체 폐를 분할하며, 완정한 데이터 입력을 보장하는 전제하에, 더 완전한 네트워크를 사용한다. 상기 트레이닝 데이터를 폐엽 분할 네트워크에 입력하기 전에 다운 샘플을 진행하여, 데이터의 처리 속도를 향상시키고, 분할 속도를 2초 내로 제어할 수 있다.

단계 S304에 있어서, 트레이닝된 폐엽 분할 네트워크에 따라, 폐 이미지에서의 타깃 폐엽의 위치를 결정한다.

본 발명에서, 폐 균열 및 폐엽 분할 처리 흐름에 대해, 입력된 폐 이미지 CT는 같고, 사용된 네트워크는 동일한 네트워크이며, 상이한 흐름에서 상이한 데이터를 획득하고, 모두 상기 단계 S301 내지 단계 S302의 처리 흐름을 사용할 수 있다. 폐 균열과 폐엽 분할 처리 흐름의 처리 모드는 동일하고, 그 처리에서 상이한 부분은 폐 균열 데이터에 대해, 폐 균열 데이터를 인식하는 제1 복셀 데이터일 수 있으며; 폐엽 데이터에 대해, 폐엽 데이터를 인식하는 제2 복셀 데이터일 수 있다. 다시 말하면, 멀티 레이어 출력 결과에 따라 최종 처리 결과를 획득할 수 있고, 상기 최종 처리 결과로부터 추출되어 트레이닝에 사용되는 데이터는 두 가지인데, 하나는 폐 균열에 대한 제1 복셀 데이터이며, 다른 하나는 폐엽에 대한 제2 복셀 데이터이다. 폐 균열 및 폐엽 분할 처리 흐름은 동시에 진행될 수 있다.

복셀에 있어서, 하나의 이미지에 대해, 상기 이미지가 2D 이미지이면, 상기 이미지는 다수의 픽셀로 이루어지고, 픽셀이 2차원인 것으로 설명될 수 있으며; 상기 이미지가 3D 이미지이면, 상기 이미지는 다수의 복셀로 이루어지고, 복셀이 3차원인 것으로 설명될 수 있으며, 3D 이미지에서, 부피는 균등한 간격의 행 및 열로 나뉘고, 3개의 상이한 방향(상하, 좌우, 내외)을 모두 포함한다. 이는 3D 공간을 정육면체로 구획하고, 복셀(부피 요소 또는 부피 픽셀)이라고도 한다. 각각의 복셀은 3차원 좌표 및 상기 좌표의 색상으로 정의된다.

본 발명에서, 상기 폐엽 분할 네트워크는 단말 간 3D 분할 네트워크(또는 VNet에 기반한 3D 콘볼루션 신경망이라고 함)이다. 더 정확한 분할을 구현하기 위해, 본 발명은 단말 간 3D 분할 네트워크 구조를 사용하여, 폐를 전체적으로 분할함으로써, 공간 지각 능력을 향상시키고, 더 많은 공간 정보를 추출하여, 각 폐엽의 분할 결과를 향상시킬 수 있다. 우중엽은 그 모양과 위치가 가변적이고, 예측 정확도가 높지 않다. 본 발명에 따르면, 상기 우중엽 영역을 정확하게 분할할 수 있다. 혼합 손실 함수의 역전파를 통해 상기 네트워크 구조를 트레이닝하는 것은 딥러닝 모델이므로, 관련 기술에 비해 의사가 분할 결과에 추가적인 작업을 진행할 필요가 없는 바, 즉 의사의 인터랙션 및 수정에 의해 상대적으로 정확한 폐엽 분할 결과를 획득할 필요가 없이, 상기 네트워크 구조를 이용하여 완전 자동화 폐엽 분할을 진행하여, 분할 정확도를 보장하는 동시에 의사의 작업량을 줄여주고, 분할 처리 효율을 향상시킨다.

본 발명에 따르면, 먼저 폐 이미지를 폐엽 분할 네트워크에 입력하고, 폐 이미지에 대해 다양한 레벨의 다운 샘플링 처리 및 대응되는 업 샘플링 처리를 진행하여, 모든 레벨의 처리가 끝날 때까지, 동일한 레벨의 다운 샘플링 처리 결과와 업 샘플링 처리 결과를 스킵 연결 처리하여, 상이한 해상도 및 멀티스케일 크기에 대응되는 멀티 레이어 출력 결과를 획득한다. 동일한 레벨의 다운 샘플링 처리 결과 및 업 샘플링 처리 결과 중 동일한 스케일의 특징을 융합하여, 스킵 처리 결과를 획득하고, 동일한 스케일의 콘볼루션 특징을 융합하여 분할 정확도를 향상시킨다. 다음, 폐 균열 데이터 및 폐엽 데이터를 네트워크 트레이닝에 사용하고, 폐 균열 데이터 및 폐엽 데이터를 결합하여 획득한 혼합 손실 함수에 따라 손실 함수의 역전파를 진행하여, 폐엽 분할 네트워크를 트레이닝한다. 이런 트레이닝 방식을 통해 획득한 폐엽 분할 네트워크는, 분할 정확도를 향상시킬 수 있다. 상기 트레이닝된 폐엽 분할 네트워크를 사용하여 더 정확한 이미지 분할을 통해 폐 이미지로부터 폐엽의 위치를 결정함으로써, 폐엽의 위치에 따라, 병변 위치를 적시에 결정할 수 있다.

응용 예에 있어서,

상기 폐엽 분할 네트워크의 트레이닝 과정은 폐엽의 전체적인 분할 및 폐 균열의 분할 흐름을 포함한다. 폐 균열 및 폐엽 분할 처리 흐름에 대해, 입력된 폐 이미지 CT는 같고, 사용된 네트워크는 동일한 네트워크이다. 도 4는 본 발명에 따른 트레이닝 과정 모식도이다. 도 4에 도시된 바와 같이, 단말 간 3D 구조의 폐엽 분할 네트워크를 기반으로, 폐엽 분할 및 폐 균열 분할 태스크을 각각 진행하고, 폐 이미지(111)는 폐엽 분할 네트워크의 입력 데이터이며, 폐 이미지(111)는 3차원 CT 데이터일 수 있고, 업 샘플링, 대응되는 다운 샘플링 및 같은 레벨의 스킵 연결을 통해, 폐엽 분할 네트워크의 출력 데이터를 획득할 수 있으며, 출력 데이터는 폐엽 데이터(112) 및 폐 균열 데이터(113)를 포함한다. 다음 폐 균열 데이터(113) 및 폐엽 데이터(112)에 따라 상기 폐엽 분할 네트워크를 트레이닝한다. 폐엽 분할 및 폐 균열 분할 태스크는 아래와 같은 2개의 부분으로 나눌 수 있다.

1. 폐엽 분할에 있어서,

도 4에 도시된 바와 같이, 단말 간 3D 구조의 폐엽 분할 네트워크를 기반으로, 폐엽 분할 네트워크의 입력을 폐 3차원 CT 데이터로 하여, 폐엽 분할 네트워크에서 다수의 다운 샘플링 및 대응되는 업 샘플링 과정 및 스킵 연결을 진행하여, 상이한 해상도 및 멀티스케일 크기에 대응되는 멀티 레이어 출력을 획득하고, 이러한 멀티스케일 출력을 결합하면 최종 분할 결과를 획득한다. 여기서, 입력된 원본 데이터는 zХxХy의 단일 채널 그레이 이미지이고, 데이터 사전 처리를 거친 후 3D 분할 네트워크에 입력되며, 출력은 zХxХy 사이즈의 6 채널 텐서이고, 각각의 복셀 위치가 어느 폐엽 또는 배경에 속하는지를 각각 가리킨다. 여기서 각각의 스킵 연결은 모두 네트워크 중 다운 샘플링과 이에 대응되는 업 샘플링을 융합하는 것이고, 이런 캐스케이드(cascade)는 상기 데이터의 3D 확률 분포도로 합성된다.

2. 폐 균열 분할에 있어서,

도 4에 도시된 바와 같이, 단말 간 3D 구조의 폐엽 분할 네트워크를 기반으로, 폐 경계 정보를 추출하기 위해, 폐 균열를 타깃 결과로 사용하여 트레이닝을 진행한다. 단말 간 3D 구조를 이용하여 멀티스케일의 콘볼루션 특징 융합을 진행한다. 폐엽 분할 네트워크 중의 로컬 정보를 충분하게 이용하기 위해, 폐엽 분할 네트워크에서 멀티그리드(multigrid) 콘볼루션의 네트워크 구조로 관련 기술에서의 콘볼루션 블록을 대체하고, 폐엽 분할 네트워크에서 4 스케일로 관련 기술의 단일 스케일 네트워크를 대체하여, 특징 융합의 효과를 개선한다. 멀티그리드 콘볼루션의 네트워크 구조는 각각의 콘볼루션층 이전에 상이한 스케일의 특징맵을 캐스케이드 하여, 기존의 FCN, U-Net 등 네트워크 구조가 축소 샘플링으로 인한 특징 손실을 줄여준다. 멀티그리드 네트워크를 3D 분할에 사용하고, 상이한 스케일의 콘볼루션 특징을 융합하여, 분할 정확도를 향상시키며, 폐 균열 위치 정보를 추출할 경우 더 정확한 예측 효과가 있다. 네트워크의 입력은 폐엽 분할과 동일하게, zХ xХy의 단일 채널 그레이 이미지이며, 출력은 4 채널 3D 데이터(여기서 3 채널은 인체 내에서 3개의 폐 균열의 위치 정보이고, 1 채널은 배경 정보임)이다.

트레이닝 과정에서, 본 발명은 폐엽 다이스 계수와 폐엽 및 폐 균열 교차 엔트로피를 결합한 혼합 손실 함수를 손실 함수로 사용하여 네트워크에 대해 파라미터 진화를 진행한다. 여기서 다이스 손실 함수의 표현식은 공식 (1)과 같다.

(1)

여기서, V는 3D 이미지에서의 모든 복셀점을 가리키고,

는 I 복셀점이 타깃 클래스로 예측될 확률이며, 즉 타깃 폐엽으로 예측될 학률이고;

는 상기 복셀점의 실제 레이블이다. 멀티 다이스 계수의 가중치로 경계를 수정하고, 폐엽 트레이닝 시 다이스 손실 함수는 공식 (2)와 같다.

(2)

여기서,

은 5개의 폐엽의 각각의 다이스 계수를 가리키고,

는 각 폐엽의 분할 태스크에서의 각 폐엽의 가중치가 전체 분할에 대한 영향을 캘리브레이션(calibration) 하는 조절 가능한 계수이다.

교차 엔트로피 손실 함수의 표현식은 공식 (3)과 같다.

(3)

여기서,

는 정확하게 예측될 확률이고,

는 틀리게 예측될 확률이다.

최종 네트워크의 손실 함수는 공식 (4)에 의해 산출된다.

(4)

여기서,

는 폐엽 트레이닝 시 다이스 손실 함수이고,

는 폐엽 트레이닝 시의 교차 엔트로피 손실 함수이며,

는 폐 균열 트레이닝 시의 교차 엔트로피 손실 함수이고,

,

은 각 손실 함수의 가중치이며, 이는 각 부분의 트레이닝 결과가 최종 분할 결과에 대한 영향을 결정한다.

당업자는, 발명의 상세한 설명의 상기 이미지 분할 방법에서, 각 단계의 작성 순서는 엄격한 수행 순서를 의미하는 것이 아니고 실시 과정에 대해 어떠한 한정도 하지 않으며, 각 단계의 구체적인 수행 순서는 그 기능 및 가능한 내부 논리에 의해 결정해야 함을 이해할 수 있다.

본 발명에서 언급된 상기 각 방법 실시예는, 원리와 논리를 위반하지 않는 상황에서, 모두 서로 결합되어 결합 후의 실시예를 형성할 수 있고, 편폭의 제한으로 인해, 본 발명은 반복하여 설명하지 않는다.

또한, 본 발명은 이미지 분할 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램을 더 제공하고, 이는 본 발명에서 제공하는 어느 한 이미지 분할 방법을 구현할 수 있으며, 해당 기술적 해결수단 및 설명 및 참조 방법 부분의 상응한 내용은 반복하여 설명하지 않는다.

도 5는 본 발명의 실시예에 따른 이미지 분할 장치의 블록도이고, 도 5에 도시된 바와 같이, 본 발명의 실시예의 이미지 분할 장치는, 폐 이미지에서의 폐엽 데이터 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 획득하는 분할 네트워크 획득 유닛(31); 상기 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하는 위치 결정 유닛(32)을 포함한다.

본 발명의 가능한 실시형태에서, 상기 분할 네트워크 획득 유닛은 또한, 상기 폐 균열 데이터를 상기 폐엽 데이터를 포함하는 폐엽 분할 네트워크 트레이닝에 사용하여, 트레이닝된 폐엽 분할 네트워크를 획득하고; 상기 위치 결정 유닛은 또한, 상기 트레이닝된 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정한다.

본 발명의 가능한 실시형태에서, 상기 분할 네트워크 획득 유닛은 또한, 상기 폐 균열 데이터 및 상기 폐엽 데이터를 결합하여 획득한 혼합 손실 함수에 따라, 손실 함수의 역전파를 진행하고; 상기 손실 함수의 역전파를 통해 상기 폐엽 분할 네트워크를 트레이닝하여, 트레이닝된 폐엽 분할 네트워크를 획득한다.

본 발명의 가능한 실시형태에서, 상기 이미지 분할 장치는, 혼합 손실 함수 결정 유닛을 더 포함하고, 상기 혼합 손실 함수 결정 유닛은, 상기 폐엽 데이터에 따라 제1 손실 함수 및 제2 손실 함수를 획득하며; 상기 폐 균열 데이터에 따라 제3 손실 함수를 획득하고; 상기 제1 손실 함수, 상기 제2 손실 함수 및 상기 제3 손실 함수에 따라 상기 혼합 손실 함수를 획득한다.

본 발명의 가능한 실시형태에서, 상기 이미지 분할 장치는, 데이터 처리 유닛을 더 포함하며, 상기 데이터 처리 유닛은, 상기 폐 이미지를 상기 폐엽 분할 네트워크에 입력하고, 상기 폐 이미지에 대해 다양한 레벨의 다운 샘플링 처리 및 대응되는 업 샘플링 처리를 진행하여, 상이한 레벨에 대응되는 다운 샘플링 처리 결과 및 업 샘플링 처리 결과를 획득하며; 모든 레벨의 처리가 끝날 때까지, 동일한 레벨의 다운 샘플링 처리 결과와 업 샘플링 처리 결과를 스킵 연결 처리하여, 상이한 해상도 및 멀티스케일 크기에 대응되는 멀티 레이어 출력 결과를 획득한다.

본 발명의 가능한 실시형태에서, 상기 멀티 레이어 출력 결과는 상기 폐 균열 데이터를 인식하기 위한 제1 복셀 데이터, 및 상기 폐엽 데이터를 인식하기 위한 제2 복셀 데이터 중 적어도 하나를 포함하고; 상기 이미지 분할 장치는 상기 제1 복셀 데이터 및 상기 제2 복셀 데이터 중 하나를, 상기 폐엽 분할 네트워크를 트레이닝하기 위한 트레이닝 데이터로 사용하도록 구성된 데이터 결정 유닛을 더 포함한다.

본 발명의 가능한 실시형태에서, 상기 데이터 처리 유닛은 또한, 상기 동일한 레벨의 다운 샘플링 처리 결과 및 업 샘플링 처리 결과 중 동일한 스케일의 특징을 융합하여, 스킵 처리 결과를 획득한다.

일부 실시예에서, 본 발명의 실시예에서 제공하는 장치가 구비한 기능 또는 포함한 모듈은 상기 이미지 분할 방법 실시예에서 설명된 방법을 수행할 수 있으며, 구체적인 실시형태는 상기 이미지 분할 방법 실시예의 설명을 참조할 수 있고, 간결성을 위해, 여기서는 반복하여 설명하지 않는다.

본 발명의 실시예는 컴퓨터 프로그램 명령이 저장되는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우 상기 이미지 분할 방법을 구현한다. 컴퓨터 판독 가능한 저장 매체는 비일시적 컴퓨터 판독 가능한 저장 매체일 수 있다.

본 발명의 실시예는 전자 기기를 더 제공하고, 상기 전자 기기는 프로세서; 및 프로세서에 의해 실행 가능한 명령이 저장되는 메모리를 포함하고, 여기서, 상기 프로세서는 상기 이미지 분할 방법을 수행하도록 구성된다.

전자 기기는 단말기, 서버 또는 다른 형태의 기기로 제공될 수 있다.

도 6은 일 예시적 실시예에 따라 도시된 전자 기기(800)의 블록도이다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말기, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대 정보 단말기 등 단말기일 수 있다.

도 6을 참조하면, 전자 기기(800)는 프로세싱 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 다수의 컴포넌트를 포함할 수 있다.

프로세싱 컴포넌트(802)는 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전체 동작을 제어한다. 프로세싱 컴포넌트(802)는, 상기 이미지 분할 방법의 전부 또는 일부 단계를 완료하도록 하나 또는 다수의 프로세서(820)를 포함하여 명령을 실행한다. 또한, 프로세싱 컴포넌트(802)는, 프로세싱 컴포넌트(802)와 다른 컴포넌트 사이의 인터랙션을 진행하도록 하나 또는 다수의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(802)는, 멀티미디어 모듈(808)과 프로세싱 컴포넌트(802) 사이의 인터랙션을 편리하게 진행하도록 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는 다양한 유형의 데이터를 저장하여 전자 기기(800)에서의 동작을 보충한다. 이러한 데이터의 예시는 전자 기기(800)에서 동작하는 임의의 응용 프로그램 또는 방법의 명령, 연락처 데이터, 전화번호부 데이터, 메시지, 이미지, 영상 등을 포함한다. 메모리(804)는, 정적 랜덤 액세스 메모리(SRAM), 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리(EEPROM), 소거 가능한 프로그램 가능 판독 전용 메모리(EPROM), 프로그램 가능 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 디스크 또는 광디스크와 같은 임의의 유형의 일시적 또는 비일시적 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 제공한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 다수의 전원, 및 전자 기기(800)의 생성, 관리, 및 전원 할당과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 상기 이미지 분할 장치(800)와 사용자 사이에 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(LCD) 및 터치 패널(TP)을 포함할 수 있다. 만약, 스크린이 터치 패널을 포함하면, 사용자로부터 입력 신호를 수신하도록 스크린은 터치스크린으로 구현될 수 있다. 터치 패널은, 터치, 슬라이드, 터치 패널의 제스처를 감지하기 위한 하나 또는 다수의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라 상기 터치 또는 슬라이드 동장과 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및/또는 후방 카메를 포함한다. 전자 기기(800)가, 촬영 모드 또는 영상 모드와 같은 동작 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각각의 전방 카메라와 후방 카메라는 하나의 고정식 광학 렌즈 시스템 또는 초점 거리 및 광학 줌 기능을 가질 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크(MIC)를 포함하고 전자 기기(800)가 통화 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드일 경우, 마이크는 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 또한 메모리(804)에 저장되거나 통신 컴포넌트(816)를 통해 발송될 수 있다. 일부 실시예에서, 오디오 컴포넌트(810)는 오디오 신호를 출력하기 위한 스피커를 더 포함한다.

I/O 인터페이스(812)는 프로세싱 컴포넌트(802)와 주변 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 주변 인터페이스 모듈은 키보드, 클릭 휠(Click Wheel), 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지는 않는다.

센서 컴포넌트(814)는 다양한 양태의 상태 평가를 전자 기기(800)에 제공하기 위한 하나 또는 다수의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 컴포넌트의 상대적 위치를 감지할 수 있고, 예를 들어, 상기 컴포넌트는 전자 기기(800)의 디스플레이 및 키 패드이고 센서 컴포넌트(814)는 전자 기기(800) 또는 전자 기기(800)의 컴포넌트의 위치 변화, 사용자와 전자 기기(800) 사이의 접촉 여부, 전자 기기(800) 방위 또는 가속/감속 및 전자 기기(800)의 온도 변화를 더 감지할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉 없이 주변 물체의 존재를 감지하도록 구성된 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 이미징 애플리케이션에 사용하기 위한 CMOS 또는 CCD 이미지 센서와 같은 광센서를 더 포함할 수 있다. 일부 실시예에서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 방식의 통신이 용이하도록 구성된다. 전자 기기(800)는 WiFi, 2G 또는 3G, 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 액세스할 수 있다. 일 예시적 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 컴포넌트(816)는 근거리 통신을 촉진하는 근거리 통신(NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 인식(RFID) 기술, 적외선 통신 규격(IrDA) 기술, 초광대역(UWB) 기술, 블루투스(BT) 기술 및 다른 기술 기반으로 구현될 수 있다.

예시적인 실시예에서, 전자 기기(800)는 하나 또는 다수의 응용 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 프로세서 기기(DSPD), 프로그램 가능 논리 소자(PLD), 필드 프로그램 가능 게이트 어레이(FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로프로세서 또는 다른 전자 소자에 의해 상기 이미지 분할 방법을 실행할 수 있다.

예시적인 실시예에서, 상기 이미지 분할 방법을 수행하기 위해 전자 기기(800)의 프로세서(820)에 의해 실행 가능한 명령을 포함하는 메모리(804)와 같은 비일시적 컴퓨터 판독 가능한 저장 매체를 더 제공한다.

도 7은 일 예시적 실시예에 따라 도시한 전자 기기(900)의 블록도이다. 예를 들어, 전자 기기(900)는 하나의 서버로 제공될 수 있다. 도 7을 참조하면 전자 기기(900)는 프로세싱 컴포넌트(922)를 포함하고 이는 또한 하나 또는 다수의 프로세서 및 프로세싱 컴포넌트(922)에 의해 실행 가능한 명령 예를 들어 응용 프로그램을 저장하기 위한 메모리(932)를 대표로 하는 메모리 리소스를 포함한다. 메모리(932)에 저장된 응용 프로그램은 하나 이상의 각각의 명령과 대응되는 모듈을 포함할 수 있다. 또한 프로세싱 컴포넌트(922)는 상기 이미지 분할 방법을 수행하도록 명령을 실행한다.

전자 기기(900)는 전자 기기(900)의 전원 관리를 실행하도록 구성된 하나의 전원 컴포넌트(926), 전자 기기(900)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(950), 및 하나의 입력 출력(I/O) 인터페이스(958)를 더 포함할 수 있다. 전자 기기(900)는 메모리(932)에 저장된 운영체제, 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 유사한 것을 작동시킬 수 있다.

예시적인 실시예에서, 상기 이미지 분할 방법을 수행하기 위해 전자 기기(900)의 프로세싱 컴포넌트(922)에 의해 실행 가능한 명령을 포함하는 메모리(804)와 같은 비일시적 컴퓨터 판독 가능한 저장 매체를 더 제공한다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 프로세서가 본 발명의 각 양태를 구현하도록 하는 컴퓨터 판독 가능한 프로그램 명령이 로딩된 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다.

컴퓨터 판독 가능한 저장 매체는 명령 실행 기기에 의해 사용되는 명령을 유지 및 저장할 수 있는 유형 기기일 수 있다. 컴퓨터 판독 가능한 저장 매체는 예를 들어 전기 저장 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 이들의 임의의 적합한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능한 저장 매체의 더 구체적인 예(완전하지 않은 목록)는 휴대용 컴퓨터 디스크, 하드 드라이버, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그램 가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 집 디스크 판독 전용 메모리(CD-ROM), 디지털 비디오 디스크(DVD), 메모리 스틱, 플로피 디스크, 기계식 코딩 기기, 예를 들어 명령이 저장된 펀치 카드 또는 오목 홈 내 돌출 구조, 및 이들의 임의의 적합한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능한 저장 매체는 예를 들어 무선 전파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광 섬유 케이블을 통과하는 광 펄스), 또는 전선을 통해 전송되는 전기 신호와 같은 순시 신호 자체로 해석되지 않는다.

여기서 설명한 컴퓨터 판독 가능한 프로그램 명령은 컴퓨터 판독 가능한 저장 매체에서 각 컴퓨팅/처리 기기에 다운로드되거나, 또는 예를 들어 인터넷, 근거리 통신망, 광역 통신망 및/또는 와이파이 등 네트워크를 통해 외부 컴퓨터 또는 외부 저장 기기에 저장될 수 있다. 네트워크는 구리 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각 컴퓨팅/처리 기기 중의 네트워크 어댑터 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능한 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능한 프로그램 명령을 전달하여, 각 컴퓨팅/처리 기기에 저장된 컴퓨터 판독 가능한 저장 매체에 제공된다.

본 발명의 동작을 수행하는 컴퓨터 프로그램 명령은 어셈블리 명령, 명령 세트 아키텍처(ISA) 명령, 기계 명령, 기계 관련 명령, 마이크로 코드, 펌웨어 명령, 상태 설정 데이터, 또는 하나 또는 다수의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 타깃 코드일 수 있고, 상기 프로그래밍 언어는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어, 및 “C” 언어 또는 유사한 프로그래밍 언어와 같은 통상적인 절차 프로그래밍 언어를 포함한다. 컴퓨터 판독 가능한 프로그램 명령은 전체적으로 사용자 컴퓨터에서 실행되거나, 부분적으로 사용자 컴퓨터에서 실행되거나, 하나의 독립형 소프트웨어 패키지로 실행되거나, 일부가 사용자 컴퓨터에서 실행되고 일부가 원격 컴퓨터에서 실행되거나, 또는 전체적으로 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 포함하는 임의의 종류의 네트워크를 통해 사용자 컴퓨터에 연결되거나, 또는 외부 컴퓨터(예를 들어, 인터넷 서비스 공급자를 이용하여 인터넷을 통해 연결됨)에 연결될 수 있다. 일부 실시예에서, 컴퓨터 판독 가능한 프로그램 명령의 상태 정보를 이용하여 예를 들어 프로그램 가능 논리 회로, 필드 프로그램 가능 게이트 어레이(FPGA) 또는 프로그램 가능 논리 어레이(PLA)와 같은 전자 회로를 맞춤화 제작할 수 있고, 상기 전자 회로는 컴퓨터 판독 가능한 프로그램 명령을 실행할 수 있으므로, 본 발명의 각 양태를 구현한다.

여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 본 발명의 각 양태를 설명한다. 이해해야 할 것은, 흐름도 및/또는 블록도의 각 블록 및 흐름도 및/또는 블록도 중의 각 블록의 조합은, 모두 컴퓨터 판독 가능한 프로그램 명령에 의해 구현될 수 있다.

이러한 컴퓨터 판독 가능한 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서에 제공될 수 있으므로, 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 프로세서를 통해 이러한 명령을 실행할 경우, 흐름도 및/또는 블록도 중의 하나 또는 다수의 블록에 지정된 기능/동작을 구현하는 장치를 생성하도록 기계를 생산한다. 또한 이러한 컴퓨터 판독 가능한 프로그램 명령을 컴퓨터 판독 가능한 저장 매체에 저장하여, 이러한 명령이 컴퓨터, 프로그램 가능 데이터 처리 장치 및/또는 다른 기기가 특정 방식으로 작동하도록 함으로써, 명령이 저장된 컴퓨터 판독 가능한 매체는 흐름도 및/또는 블록도 중의 하나 또는 다수의 블록에 지정된 기능/동작의 각 양태를 구현하는 명령을 포함하는 하나의 제조품을 포함한다.

또한 컴퓨터 판독 가능한 프로그램 명령을 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에 로딩하여, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치 또는 다른 기기에서 일련의 작업 단계를 수행하여, 컴퓨터 구현의 과정을 생성하도록 함으로써, 컴퓨터, 다른 프로그램 가능 데이터 처리 장치, 또는 다른 기기에서 실행되는 명령이 흐름도 및/또는 블록도 중의 하나 또는 다수의 블록에 지정된 기능/동작을 구현하도록 한다.

도면 중의 흐름도 및 블록도는 본 발명의 다수의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 아키텍처, 기능 및 동작을 표시한다. 이러한 점에서, 흐름도 또는 블록도 중의 각 블록은 하나의 모듈, 프로그램 세그먼트 또는 명령의 일부를 대표하고, 상기 모듈, 프로그램 세그먼트 또는 명령의 일부는 하나 또는 다수의 소정 논리 기능을 구현하는 실행 가능한 명령을 포함한다. 일부 대안적인 구현에서, 블록에 마크업된 기능은 도면에 마크업된 순서와 다르게 발생할 수도 있다. 예를 들어, 2개의 연속적인 블록은 실제로 병렬로 수행될 수 있으며, 이들은 관련 기능에 따라 역순으로 수행될 수 있다. 또한 주의해야 할 것은, 블록도 및/또는 흐름도 중의 각 블록, 및 블록도 및/또는 흐름도 중의 블록의 조합, 소정 기능 또는 동작을 수행하는 전용 하드웨어 기반 시스템에 의해 구현될 수 있거나, 또는 전용 하드웨어와 컴퓨터 명령의 조합으로 구현될 수 있다.

논리를 위반하지 않는 전제하에, 본 발명의 상이한 실시예들은 서로 결합할 수 있고, 상이한 실시예들은 강조하여 설명되며, 강조하여 설명된 부분은 다른 실시예의 설명을 참조 할 수 있다. 이상, 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적인 것이며, 완전하지 않고, 또한 개시된 실시예에 한정되지 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 전제하에, 당업자에게 있어서 많은 수정 및 변경은 모두 자명한 것이다. 본문에서 사용되는 용어의 선택은, 각 실시예의 원리, 실제 응용 또는 시장에서 기술의 개진을 가장 잘 해석하거나, 또는 다른 당업자가 본문에서 개시된 각 실시예를 이해할 수 있도록 하기 위한 것이다.

Claims

이미지 분할 방법으로서,
폐 이미지에서의 폐엽 데이터 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 획득하는 단계; 및
상기 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 분할 방법.
제1항에 있어서,
상기 폐 이미지에서의 폐엽 데이터 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 획득하는 단계는,
상기 폐 균열 데이터를 상기 폐엽 데이터를 포함하는 폐엽 분할 네트워크 트레이닝에 사용하여, 트레이닝된 폐엽 분할 네트워크를 획득하는 단계를 포함하고;
상기 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하는 단계는,
상기 트레이닝된 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 분할 방법.
제2항에 있어서,
상기 폐 균열 데이터를 상기 폐엽 데이터를 포함하는 폐엽 분할 네트워크 트레이닝에 사용하여, 트레이닝된 폐엽 분할 네트워크를 획득하는 단계는,
상기 폐 균열 데이터 및 상기 폐엽 데이터를 결합하여 획득한 혼합 손실 함수에 따라, 손실 함수의 역전파를 진행하는 단계;
상기 손실 함수의 역전파를 통해 상기 폐엽 분할 네트워크를 트레이닝하여, 트레이닝된 폐엽 분할 네트워크를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 분할 방법.
제3항에 있어서,
상기 이미지 분할 방법은 상기 폐 균열 데이터 및 상기 폐엽 데이터를 결합하여 획득한 혼합 손실 함수에 따라, 손실 함수의 역전파를 진행하기 전에,
상기 폐엽 데이터에 따라 제1 손실 함수 및 제2 손실 함수를 획득하는 단계;
상기 폐 균열 데이터에 따라 제3 손실 함수를 획득하는 단계; 및
상기 제1 손실 함수, 상기 제2 손실 함수 및 상기 제3 손실 함수에 따라 상기 혼합 손실 함수를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 분할 방법.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 폐 균열 데이터를 상기 폐엽 데이터를 포함하는 폐엽 분할 네트워크 트레이닝에 사용하기 전에,
상기 폐 이미지를 상기 폐엽 분할 네트워크에 입력하고, 상기 폐 이미지에 대해 다양한 레벨의 다운 샘플링 처리 및 대응되는 업 샘플링 처리를 진행하여, 상이한 레벨에 대응되는 다운 샘플링 처리 결과 및 업 샘플링 처리 결과를 획득하는 단계; 및
모든 레벨의 처리가 끝날 때까지, 동일한 레벨의 다운 샘플링 처리 결과와 업 샘플링 처리 결과를 스킵 연결 처리하여, 상이한 해상도 및 멀티스케일 크기에 대응되는 멀티 레이어 출력 결과를 획득하는 단계를 더 포함하는 것을 특징으로 하는 이미지 분할 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 멀티 레이어 출력 결과는 상기 폐 균열 데이터를 인식하는 제1 복셀(voxel) 데이터, 및/또는 상기 폐엽 데이터를 인식하는 제2 복셀 데이터를 포함하고;
상기 이미지 분할 방법은 상기 제1 복셀 데이터 및 상기 제2 복셀 데이터 중 하나를, 상기 폐엽 분할 네트워크를 트레이닝하기 위한 트레이닝 데이터로 사용하는 단계를 더 포함하는 것을 특징으로 하는 이미지 분할 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 동일한 레벨의 다운 샘플링 처리 결과와 업 샘플링 처리 결과를 스킵 연결 처리하는 단계는,
상기 동일한 레벨의 다운 샘플링 처리 결과 및 업 샘플링 처리 결과 중 동일한 스케일의 특징을 융합하여, 스킵 처리 결과를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 분할 방법.
이미지 분할 장치로서,
폐 이미지에서의 폐엽 데이터 및 폐 균열 데이터에 따라 폐엽 분할 네트워크를 획득하는 분할 네트워크 획득 유닛; 및
상기 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하는 위치 결정 유닛을 포함하는 것을 특징으로 하는 이미지 분할 장치.
제8항에 있어서,
상기 분할 네트워크 획득 유닛은 또한,
상기 폐 균열 데이터를 상기 폐엽 데이터를 포함하는 폐엽 분할 네트워크 트레이닝에 사용하여, 트레이닝된 폐엽 분할 네트워크를 획득하도록 구성되고;
상기 위치 결정 유닛은 또한,
상기 트레이닝된 폐엽 분할 네트워크에 따라, 상기 폐 이미지에서의 타깃 폐엽의 위치를 결정하도록 구성된 것을 특징으로 하는 이미지 분할 장치.
제9항에 있어서,
상기 분할 네트워크 획득 유닛은 또한,
상기 폐 균열 데이터 및 상기 폐엽 데이터를 결합하여 획득한 혼합 손실 함수에 따라, 손실 함수의 역전파를 진행하도록 구성되고;
상기 손실 함수의 역전파를 통해 상기 폐엽 분할 네트워크를 트레이닝하여, 트레이닝된 폐엽 분할 네트워크를 획득하도록 구성된 것을 특징으로 하는 이미지 분할 장치.
제10항에 있어서,
상기 이미지 분할 장치는, 혼합 손실 함수 결정 유닛을 더 포함하고, 상기 혼합 손실 함수 결정 유닛은,
상기 폐엽 데이터에 따라 제1 손실 함수 및 제2 손실 함수를 획득하고;
상기 폐 균열 데이터에 따라 제3 손실 함수를 획득하며;
상기 제1 손실 함수, 상기 제2 손실 함수 및 상기 제3 손실 함수에 따라 상기 혼합 손실 함수를 획득하도록 구성된 것을 특징으로 하는 이미지 분할 장치.
제9항 내지 제11항 중 어느 한 항에 있어서,
상기 이미지 분할 장치는, 데이터 처리 유닛을 더 포함하며, 상기 데이터 처리 유닛은,
상기 폐 이미지를 상기 폐엽 분할 네트워크에 입력하고, 상기 폐 이미지에 대해 다양한 레벨의 다운 샘플링 처리 및 대응되는 업 샘플링 처리를 진행하여, 상이한 레벨에 대응되는 다운 샘플링 처리 결과 및 업 샘플링 처리 결과를 획득하고;
모든 레벨의 처리가 끝날 때까지, 동일한 레벨의 다운 샘플링 처리 결과와 업 샘플링 처리 결과를 스킵 연결 처리하여, 상이한 해상도 및 멀티스케일 크기에 대응되는 멀티 레이어 출력 결과를 획득하도록 구성된 것을 특징으로 하는 이미지 분할 장치.
제8항 내지 제12항 중 어느 한 항에 있어서,
상기 멀티 레이어 출력 결과는 상기 폐 균열 데이터를 인식하기 위한 제1 복셀 데이터, 및 상기 폐엽 데이터를 인식하기 위한 제2 복셀 데이터 중 적어도 하나를 포함하고;
상기 이미지 분할 장치는 상기 제1 복셀 데이터 및 상기 제2 복셀 데이터 중 하나를, 상기 폐엽 분할 네트워크를 트레이닝하기 위한 트레이닝 데이터로 사용하도록 구성된 데이터 결정 유닛을 더 포함하는 것을 특징으로 하는 이미지 분할 장치.
제8항 내지 제12항 중 어느 한 항에 있어서,
상기 데이터 처리 유닛은 또한,
상기 동일한 레벨의 다운 샘플링 처리 결과 및 업 샘플링 처리 결과 중 동일한 스케일의 특징을 융합하여, 스킵 처리 결과를 획득하도록 구성된 것을 특징으로 하는 이미지 분할 장치.
전자 기기로서,
프로세서; 및
프로세서에서 실행 가능한 명령을 저장하는 메모리를 포함하고,
상기 프로세서는 제1항 내지 제7항 중 어느 한 항에 따른 이미지 분할 방법을 실행하는 것을 특징으로 하는 전자 기기.
컴퓨터 프로그램 명령이 저장되는 컴퓨터 판독 가능한 저장 매체로서,
상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우 제1항 내지 제7항 중 어느 한 항에 따른 이미지 분할 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 컴퓨터 판독 가능한 코드를 포함하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서가 제1항 내지 제7항 중 어느 한 항에 따른 이미지 분할 방법을 구현하도록 하는 것을 특징으로 하는 컴퓨터 프로그램.