KR20220034844A

KR20220034844A - 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품

Info

Publication number: KR20220034844A
Application number: KR1020227004541A
Authority: KR
Inventors: 웬지 왕; 칭 시아; 지치앙 후
Original assignee: 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2020-08-11
Filing date: 2021-01-29
Publication date: 2022-03-18
Also published as: CN111882558A; WO2022032998A1; TW202219831A; JP2022547372A

Abstract

본 발명은 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품에 관한 것으로서, 상기 방법은, 처리할 이미지에 기반하여 하나 이상의 스케일의 부분 이미지를 획득하는 단계; 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 하나 이상의 스케일의 부분 이미지에 대응되는 특징 맵을 얻는 단계; 및 하나 이상의 스케일의 부분 이미지에 대응되는 특징 맵에 기반하여 상기 처리할 이미지에 대해 분할 처리를 수행하여, 분할 결과를 얻는 단계를 포함한다.

Description

이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품

[관련 출원의 상호 참조]

본 발명은 출원 번호가 202010801035.0이고, 출원 일자가 2020년 8월 11일인 중국 특허 출원을 기반으로 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 전체 내용은 참조로서 본 발명에 인용된다.

본 발명은 컴퓨터 기술 분야에 관한 것으로서, 특히는 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품에 관한 것이다.

이미지 처리 과정에서, 타깃이 비교적 작고 분포가 복잡한 상황에서, 비교적 바람직한 분할 효과를 획득하기 어려우며, 예를 들면, 의료 영상 처리 분야에서, 컴퓨터 단층 촬영 혈관조영(Computed tomography angiography, CTA) 영상에서, 관맥 혈관 타깃이 비교적 작고 분포가 복잡하며 노이즈의 간섭을 쉽게 받으므로, 관맥 혈관을 정확하게 분할하기 어렵다.

본 발명의 실시예는 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품을 제공한다.

본 발명의 실시예는 이미지 처리 방법을 제공하는 바, 처리할 이미지에 기반하여 하나 이상의 스케일의 부분 이미지를 획득하는 단계; 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 하나 이상의 스케일의 부분 이미지에 대응되는 특징 맵을 얻는 단계; 및 상기 하나 이상의 스케일의 부분 이미지에 대응되는 상기 특징 맵에 기반하여 상기 처리할 이미지에 대해 분할 처리를 수행하여, 분할 결과를 얻는 단계를 포함한다. 이러한 방식을 통해, 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여 특징 맵을 얻고, 획득된 특징 맵을 분할하여, 처리할 이미지를 통해 비교적 작은 부분의 미세 특징, 및 비교적 복잡한 전역 분포 특징을 획득할 수 있으며, 분할 결과의 정확성을 향상한다.

하나의 가능한 실시형태에서, 상기 처리할 이미지에 기반하여 하나 이상의 스케일의 부분 이미지를 획득하는 단계는, 상기 처리할 이미지에 대해 복수 개의 스케일의 스크린샷(screenshot) 처리를 수행하여, 복수 개의 부분 이미지를 획득하는 단계를 포함하고, 상기 복수 개의 부분 이미지는 기준 크기의 제1 부분 이미지, 및 상기 기준 크기보다 큰 제2 부분 이미지를 포함하며, 상기 복수 개의 부분 이미지의 이미지 중심은 동일하다. 이러한 방식을 통해, 처리할 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하는 것을 통해, 비교적 작은 크기의 스크린샷을 수행할 경우, 상세 특징을 표시하는 부분 이미지를 획득할 수 있고, 비교적 큰 크기의 스크린샷을 수행할 경우, 전역 특징을 표시하는 부분 이미지를 획득할 수 있으며, 획득된, 부분 이미지에 대응되는 특징 맵은 디테일을 표시하는 특징 맵을 포함할 뿐만 아니라, 전역을 표시하는 특징 맵을 더 포함하고, 나아가 이러한 특징 맵에 기반하여 처리할 이미지를 합리하게 분할함으로써, 분할 결과의 정확성을 향상한다.

하나의 가능한 실시형태에서, 상기 특징 맵은 제1 특징 맵 및 제2 특징 맵을 포함하고; 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 하나 이상의 스케일의 부분 이미지에 대응되는 특징 맵을 얻는 상기 단계는, 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하는 단계를 포함한다. 이러한 방식을 통해, 크기가 비교적 작은 제1 부분 이미지에 대응되는 제1 특징 맵 및 크기가 비교적 큰 제2 부분 이미지에 대응되는 제2 특징 맵을 획득할 수 있으며, 제1 특징 맵 및 제2 특징 맵에 기반하여 처리할 이미지를 분할할 경우, 분할 결과의 정확성을 향상할 수 있다.

하나의 가능한 실시형태에서, 상기 하나 이상의 스케일의 부분 이미지에 대응되는 상기 특징 맵에 기반하여 상기 처리할 이미지에 대해 분할 처리를 수행하여, 분할 결과를 얻는 단계는, 상기 제1 특징 맵과 상기 제2 특징 맵에 대해 오버레이 처리를 수행하여, 제3 특징 맵을 획득하는 단계; 및 상기 제3 특징 맵에 대해 활성화 처리를 수행하여, 상기 처리할 이미지 중의 특정 영역의 분할 결과를 획득하는 단계를 포함한다. 이러한 방식을 통해, 제1 특징 맵과 제2 특징 맵에 대해 오버레이 처리를 수행한 제3 특징 맵에 기반하여, 처리할 이미지를 분할하고, 제3 특징 맵은 크기가 비교적 작은 제1 부분 이미지에 대응되는 제1 특징 맵 중의 특징을 보존할 뿐만 아니라, 크기가 비교적 큰 제2 부분 이미지에 대응되는 제2 특징 맵 중의 특징을 보존할 수도 있으며, 이로써 분할 결과의 정확성을 향상할 수 있다.

하나의 가능한 실시형태에서, 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하는 상기 단계는, 상기 제2 부분 이미지에 대해 다운샘플링 처리를 수행하여, 상기 기준 크기의 제3 부분 이미지를 획득하는 단계; 및 상기 제1 부분 이미지 및 상기 제3 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵, 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하는 단계를 포함한다. 이러한 방식을 통해, 다운샘플링을 통해 상이한 크기의 부분 이미지가 모두 특징 추출 네트워크의 입력 요구를 만족하도록 하며, 나아가 복수 개의 스케일의 특징 맵을 획득하여, 복수 개의 스케일의 특징 정보의 획득에 유리하다.

하나의 가능한 실시형태에서, 상기 제1 특징 맵과 상기 제2 특징 맵에 대해 오버레이 처리를 수행하여, 제3 특징 맵을 획득하는 상기 단계는, 상기 제2 특징 맵에 대해 업샘플링 처리를 수행하여, 제4 특징 맵을 획득하는 단계 - 상기 제4 특징 맵과 상기 제1 특징 맵의 크기의 비는, 상기 제2 부분 이미지와 상기 제1 부분 이미지의 크기의 비와 동일함 - ; 상기 제4 특징 맵에 대해 크로핑 처리를 수행하여, 제5 특징 맵을 획득하는 단계 - 상기 제5 특징 맵과 상기 제1 특징 맵의 크기는 일치함 - ; 및 상기 제1 특징 맵과 상기 제5 특징 맵에 대해 가중합 처리를 수행하여, 상기 제3 특징 맵을 획득하는 단계를 포함한다. 이러한 방식을 통해, 업샘플링 및 컷팅 처리를 통해, 복수 개의 특징 맵의 크기를 통일하고, 가중 평균을 수행하여, 복수 개의 특징 맵에 융합하며, 획득된 제3 특징 맵이 더 많은 특징 정보를 포함하도록 하여, 타깃의 디테일 및 분포를 결정하는 데 유리하고, 노이즈 간섭을 감소하여 분할 정확성을 향상한다.

하나의 가능한 실시형태에서, 상기 특징 추출 처리를 수행하는 것은, 복수 개의 특징 추출 네트워크를 사용하여 처리하는 것을 포함하고; 상기 오버레이 처리 또는 상기 가중합 처리를 수행하는 것은, 오버레이 네트워크를 사용하여 처리하는 것을 포함하며; 상기 분할 처리를 수행하는 것은, 활성화 계층을 사용하여 처리하는 것을 포함하고; 상기 방법은, 샘플 이미지를 통해 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 단계를 더 포함한다. 이러한 방식을 통해, 샘플 이미지를 통해 복수 개의 특징 추출 네트워크, 오버레이 네트워크 및 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층이 샘플 이미지의 특징 및 라벨링 정보와 매칭되도록 하며, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 포함하는 신경망을 이용하여 후속적인 이미지를 정확하게 분할할 수 있다.

하나의 가능한 실시형태에서, 상기 샘플 이미지를 통해 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 단계는, 상기 샘플 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 상기 기준 크기의 제4 샘플 부분 이미지, 및 상기 기준 크기보다 큰 제5 샘플 부분 이미지를 획득하는 단계; 상기 제5 샘플 부분 이미지에 대해 다운샘플링 처리를 수행하여, 상기 기준 크기의 제6 샘플 부분 이미지를 획득하는 단계; 상기 제4 샘플 부분 이미지 및 상기 제6 샘플 부분 이미지를 대응되는 특징 추출 네트워크에 각각 입력하고 특징 추출 처리를 수행하여, 상기 제4 샘플 부분 이미지에 대응되는 제3 샘플 특징 맵, 및 상기 제6 샘플 부분 이미지에 대응되는 제4 샘플 특징 맵을 획득하는 단계; 상기 제4 샘플 특징 맵에 대해 업샘플링 처리 및 크로핑 처리를 수행하여, 제5 샘플 특징 맵을 획득하는 단계; 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵을 상기 오버레이 네트워크에 입력하여, 제6 샘플 특징 맵을 획득하는 단계; 상기 제6 샘플 특징 맵을 상기 활성화 계층에 입력하고 활성화 처리를 수행하여, 상기 샘플 이미지의 제2 샘플 타깃 영역을 획득하는 단계; 상기 제2 샘플 타깃 영역 및 상기 샘플 이미지의 라벨링 정보에 따라, 상기 신경망의 제2 네트워크 손실을 결정하는 단계; 및 상기 제2 네트워크 손실에 따라, 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 단계를 포함한다. 이러한 방식을 통해, 사전 트레이닝된 특징 추출 네트워크 및 샘플 이미지를 통해 복수 개의 특징 추출 네트워크, 오버레이 네트워크 및 활성화 계층을 포함하는 신경망을 트레이닝하여, 신경망의 트레이닝 정밀도를 향상하고, 부가적으로, 오버레이 네트워크를 트레이닝하는 것을 통해 오버레이된 가중치를 획득하여, 트레이닝 과정에서 적합한 가중치 파라미터를 선택할 수 있으며, 특징 융합의 효과를 향상하고, 상세 특징 및 전역 특징을 최적화함으로써, 신경망의 정밀도를 향상하는 데 유리하다.

하나의 가능한 실시형태에서, 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵을 상기 오버레이 네트워크에 입력하여, 제6 샘플 특징 맵을 획득하는 단계는, 상기 오버레이 네트워크를 통해 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵에 대해 가중합 처리를 수행하여, 상기 제6 샘플 특징 맵을 획득하는 단계를 포함한다. 이러한 방식을 통해, 제6 샘플 특징 맵은 제3 샘플 특징 맵 및 제5 샘플 특징 맵에 기반하여 오버레이하여 획득된 것이므로, 제6 샘플 특징 맵에 비교적 많은 특징 정보를 포함하며, 제6 샘플 특징 맵에 기반하여 복수 개의 특징 추출 네트워크, 오버레이 네트워크 및 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층도 비교적 많은 특징 정보를 보존할 수 있도록 하고, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 포함하는 신경망을 이용하여 후속적인 이미지를 정확하게 분할할 수 있다.

하나의 가능한 실시형태에서, 상기 방법은, 상기 제4 샘플 특징 맵에 대해 활성화 처리를 수행하여, 제3 샘플 타깃 영역을 획득하는 단계; 상기 제3 샘플 타깃 영역과 상기 샘플 이미지의 라벨링 정보에 따라, 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크의 제3 네트워크 손실을 결정하는 단계; 및 상기 제3 네트워크 손실에 따라 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크를 트레이닝하는 단계를 더 포함한다. 이러한 방식을 통해, 더 큰 부분 이미지 중의 예측 정보를 이용하여 특징 추출 네트워크를 더 트레이닝하여, 신경망의 정밀도를 더 향상할 수 있다.

본 발명의 실시예의 다른 한 양태에 따르면, 이미지 처리 장치를 제공하는 바, 상기 이미지 처리 장치는, 처리할 이미지에 기반하여 하나 이상의 스케일의 부분 이미지를 획득하는 부분 이미지 획득 모듈; 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 하나 이상의 스케일의 부분 이미지에 대응되는 특징 맵을 얻는 특징 추출 모듈; 및 상기 하나 이상의 스케일의 부분 이미지에 대응되는 상기 특징 맵에 기반하여 상기 처리할 이미지에 대해 분할 처리를 수행하여, 분할 결과를 얻는 분할 모듈을 포함한다.

본 발명의 실시예의 다른 한 양태에 따르면, 전자 기기를 제공하는 바, 프로세서; 프로세서에 의해 실행 가능한 명령이 저장되는 메모리를 포함하되; 상기 프로세서는 상기 메모리에 저장된 명령을 호출하여, 상기 방법을 수행한다.

본 발명의 실시예의 다른 한 양태에 따르면, 컴퓨터 프로그램 명령이 저장되는 컴퓨터 판독 가능 저장 매체를 제공하는 바, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우 상기 방법을 구현한다.

본 발명의 실시예의 다른 한 양태에 따르면, 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램 제품을 제공하는 바, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서는 상기 방법을 수행한다.

상기의 일반적인 서술 및 하기의 절차에 대한 서술은 단지 예시적 및 해석적인 것으로서, 본 발명을 한정하지 않음을 반드시 이해해야 한다. 하기의 참조 도면에 따라 예시적인 실시예를 상세하게 설명하며, 본 발명의 다른 특징 및 양태는 명확해질 것이다.

여기서의 도면은 명세서에 병합되어 본 명세서의 일 부분을 구성하며, 이러한 도면은 본 발명의 실시예에 부합되고, 명세서와 함께 본 발명의 기술적 해결수단을 설명하기 위한 것이다.
도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름 모식도이다.
도 2a는 본 발명의 실시예에 따라 처리할 이미지에 대해 스크린샷 처리를 수행하는 모식도이다.
도 2b는 본 발명의 실시예에 따른 부분 이미지 모식도이다.
도 2c는 다른 한 본 발명의 실시예에 따른 부분 이미지 모식도이다.
도 2d는 다른 한 본 발명의 실시예에 따른 부분 이미지 모식도이다.
도 3은 본 발명의 실시예에 따른 이미지 처리 방법의 응용 모식도이다.
도 4는 본 발명의 실시예에 따른 이미지 처리 장치의 구조 모식도이다.
도 5는 본 발명의 실시예에 따른 전자 기기의 구조 모식도이다.
도 6은 본 발명의 다른 한 실시예에 따른 전자 기기의 구조 모식도이다.

아래 도면을 참조하여 본 발명의 각 예시적인 실시예, 특징 및 양태를 설명한다. 도면에서 동일한 도면 부호는 기능이 동일하거나 유사한 소자를 표시한다. 비록 도면에서 실시예의 여러 양태를 시사하였으나, 특별히 지적하지 않는 한 비율에 따라 도면을 제작할 필요가 없다.

여기서 전용 단어 “예시적”은 “예, 실시예 또는 설명성으로 사용됨”을 의미한다. 여기서 “예시적”으로 설명되는 임의의 실시예는 다른 실시예보다 바람직하거나 훌륭함으로 해석될 필요는 없다.

본문에서의 용어 “및/또는”은 단지 연관 대상의 연관 관계를 기술하기 위한 것으로, 3가지 관계가 존재할 수 있음을 의미하는데, 예를 들어 “A 및/또는 B”는, A만 존재, A와 B가 동시에 존재, B만 존재하는 3가지 경우를 의미한다. 이밖에, 본문에서 “적어도 한 가지”는 여러 가지 중의 임의의 하나 또는 여러 가지 중의 적어도 두 가지의 임의의 조합을 표시하는 바, 예를 들면, A, B, C 중의 적어도 하나를 포함한다는 것은 A, B 및 C로 구성된 집합에서 임의의 하나 또는 복수 개의 원소를 선택하는 것을 표시할 수 있다.

또한, 본 발명을 더욱 잘 설명하기 위해, 아래의 실시형태에서 다양한 구체적인 절차를 시사하였다. 본 기술분야의 통상의 기술자는 일부 절차가 없어도 본 발명은 여전히 실시할 수 있음을 반드시 이해해야 한다. 일부 구현예에서, 본 발명의 주지를 강조하기 위해, 본 기술분야의 통상의 기술자에게 자명한 방법, 수단, 소자 및 회로에 대해서는 상세하게 서술하지 않는다.

본 발명의 실시예에서 언급한 복수 개, 여러 차례는 특수하게 설명되지 않는 한, 반드시 두 개 또는 두 개 이상, 두 번 또는 두 번 이상으로 이해해야 한다.

도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름 모식도이고, 도 1에 도시된 바와 같이, 상기 방법은 하기의 단계를 포함한다.

단계 S11에서, 처리할 이미지에 기반하여 하나 이상의 스케일의 부분 이미지를 획득한다.

단계 S12에서, 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 하나 이상의 스케일의 부분 이미지에 대응되는 특징 맵을 얻는다.

단계 S13에서, 상기 하나 이상의 스케일의 부분 이미지에 대응되는 상기 특징 맵에 기반하여 상기 처리할 이미지에 대해 분할 처리를 수행하여, 분할 결과를 얻는다.

본 발명의 실시예에 따른 이미지 처리 방법, 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여 특징 맵을 얻고, 획득된 특징 맵을 분할하여, 처리할 이미지를 통해 비교적 작은 부분의 미세 특징, 및 비교적 복잡한 전역 분포 특징을 획득할 수 있으며, 분할 결과의 정확성을 향상한다.

하나의 가능한 실시형태에서, 상기 이미지 처리 방법은 단말 장치 또는 서버 등 전자 기기에 의해 수행될 수 있고, 단말 장치는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말기, 단말기, 셀룰러 폰, 무선 전화, 개인 휴대 정보 단말기(Personal Digital Assistant, PDA), 핸드헬드 기기, 컴퓨팅 기기, 차량 탑재 기기, 웨어러블 기기 등일 수 있으며, 상기 방법은 프로세서를 통해 메모리에 저장된 컴퓨터 판독 가능 명령을 호출하는 방식으로 구현될 수 있거나, 또는 서버를 통해 상기 방법을 수행할 수 있다.

하나의 가능한 실시형태에서, 상기 처리할 이미지는 의료 영상을 포함할 수 있고, 예를 들면, 의료 영상은 컴퓨터 단층 촬영 혈관조영(Computed tomography angiography, CTA) 영상을 포함할 수 있다. 처리할 이미지는 특정 영역을 포함할 수 있고, 상기 특정 영역은 관맥 혈관 등 타깃이 위치한 영역을 포함할 수 있으며, 관맥 혈관 타깃은 비교적 작고, 분포가 비교적 복잡하며, 다른 혈관(예를 들면 폐 혈관)과 연계가 있고, 다른 혈관의 노이즈 간섭을 쉽게 받는다. 이해해야 할 것은, 다른 일부 가능한 실시형태에서, 처리할 이미지는 다른 이미지일 수도 있고, 예를 들면, 초상 이미지, 스트릿 뷰 이미지 등이며, 처리할 이미지 중의 타깃은 사람의 오관, 거리의 행인, 차량 등을 포함할 수 있고, 본 발명의 처리할 이미지의 타입 및 특정 영역 중의 타깃의 타입을 한정하지 않는다.

하나의 가능한 실시형태에서, 단계 S11에서, 처리할 이미지에 대해 하나의 스케일의 스크린샷 처리를 수행하여, 하나의 스케일의 부분 이미지를 획득한다. 전자 기기는 처리할 이미지에 대해 임의의 하나의 스케일의 스크린샷 처리를 수행하여, 상기 스케일의 부분 이미지를 획득할 수 있는 바, 예를 들면, 비교적 작은 스케일의 스크린샷을 수행하여, 상세 특징을 표시하는 부분 이미지를 획득할 수 있거나, 또는, 비교적 큰 스케일의 스크린샷을 수행하여, 전역 특징을 표시하는 부분 이미지를 획득할 수 있다. 비교적 작은 스케일의 스크린샷은 상기 스크린샷의 크기가 타깃 임계 값보다 작을 수 있고, 비교적 큰 스케일의 스크린샷은 상기 스크린샷의 크기가 타깃 임계 값보다 크거나 같을 수 있다. 크기는 최장 거리, 최단 거리, 길이, 폭, 높이, 대각선 길이 및 면적 등 중의 적어도 하나를 포함할 수 있다.

하나의 가능한 실시형태에서, 처리할 이미지에 대해 복수 개의 스케일의 스크린샷을 수행하여, 복수 개의 스케일의 부분 이미지를 획득할 수 있고, 단계 S11은 처리할 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 복수 개의 부분 이미지를 획득하는 단계를 포함할 수 있으며, 여기서, 상기 복수 개의 부분 이미지는 기준 크기의 제1 부분 이미지, 및 기준 크기보다 큰 제2 부분 이미지를 포함하며, 상기 복수 개의 부분 이미지의 이미지 중심은 동일하다. 이러한 방식을 통해, 처리할 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하는 것을 통해, 비교적 작은 크기의 스크린샷을 수행할 경우, 상세 특징을 표시하는 부분 이미지를 획득할 수 있고, 비교적 큰 크기의 스크린샷을 수행할 경우, 전역 특징을 표시하는 부분 이미지를 획득할 수 있으며, 획득된, 부분 이미지에 대응되는 특징 맵은 디테일을 표시하는 특징 맵을 포함할 뿐만 아니라, 전역을 표시하는 특징 맵을 더 포함하고, 나아가 이러한 특징 맵에 기반하여 처리할 이미지를 합리하게 분할함으로써, 분할 결과의 정확성을 향상한다.

하나의 가능한 실시형태에서, 처리할 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 복수 개의 상이한 크기의 부분 이미지를 획득할 수 있고, 상기 부분 이미지는 기준 크기의 제1 부분 이미지 및 기준 크기보다 큰 제2 부분 이미지를 포함한다. 스크린샷 조작을 수행할 경우, 이미지 중심이 일치하도록 유지할 수 있는 바, 예를 들면, 처리할 이미지의 이미지 중심을 중심으로 하여 모두 스크린샷을 수행할 수 있고, 획득된 각각의 부분 이미지의 이미지 중심은 모두 처리할 이미지의 이미지 중심과 일치하다. 또는, 처리할 이미지의 임의의 한 픽셀점은 부분 이미지의 이미지 중심일 수 있고, 스크린샷을 수행하며, 획득된 각각의 부분 이미지의 이미지 중심은 모두 상기 픽셀점이다. 획득된 복수 개의 부분 이미지에서, 제2 부분 이미지에 포함되는 내용은 제1 부분 이미지에 포함되는 내용보다 많다. 본 발명은 기준 크기의 선택 및 부분 이미지의 형태를 한정하지 않는다.

도 2a는 본 발명의 실시예에 따라 처리할 이미지에 대해 스크린샷 처리를 수행하는 모식도이고; 도 2b는 본 발명의 실시예에 따른 부분 이미지 모식도이며; 도 2c는 다른 한 본 발명의 실시예에 따른 부분 이미지 모식도이고; 도 2d는 다른 한 본 발명의 실시예에 따른 부분 이미지 모식도이다. 도 2a에 도시된 바와 같이, 처리할 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행할 수 있는 바, 즉, 기준 크기의 스크린샷 크기로 스크린샷 처리를 수행하여, 기준 크기의 제1 부분 이미지(x1)(도 2b에 도시된 바와 같음)를 획득하고, 스크린샷 크기가 기준 크기보다 큰 스크린샷 처리를 수행하여, 기준 크기보다 큰 제2 부분 이미지(x2)(도 2c에 도시된 바와 같음) 및 제2 부분 이미지(x3)(도 2d에 도시된 바와 같음)를 획득한다. 여기서, 제1 부분 이미지(x1) 및 제2 부분 이미지(x2) 및 x3의 이미지 중심은 동일하고, 제2 부분 이미지(x2)에 포함되는 내용은 제1 부분 이미지(x1)에 포함되는 내용보다 많으며, 제2 부분 이미지(x3)에 포함되는 내용은 제2 부분 이미지(x2)에 포함되는 내용보다 많다. 기준 크기의 제1 부분 이미지(x1)는 더욱 미세한 일부 상세 특징(예를 들면, 관맥 혈관 자체의 상세 특징)을 포함하고, 제2 부분 이미지(x2 및 x3)는 더 많은 전역 분포 특징(예를 들면, 관맥 혈관의 분포 및 다른 혈관 사이의 연계)을 포함하며, 예를 들면, 제1 부분 이미지(x1)에서 타깃과 제2 부분 이미지(x2 또는 x3)에서 다른 영역 사이의 연계(예를 들면, 제1 부분 이미지(x1)에서 관맥 혈관과 제2 부분 이미지(x2 또는 x3)에서 다른 영역 중의 혈관 사이의 연계)이다.

하나의 가능한 실시형태에서, 단계 S12에서, 스크린샷으로 하나의 스케일의 부분 이미지를 획득하였다면, 상기 부분 이미지에 대해 특징 추출 처리를 수행하여, 특징 맵을 획득할 수 있다. 복수 개의 스케일의 부분 이미지를 획득하였다면, 복수 개의 스케일의 부분 이미지에 대해 각각 특징 추출 처리를 수행하여, 각각의 부분 이미지의 특징 맵을 획득할 수 있다. 상기 특징 맵은 제1 특징 맵 및 제2 특징 맵을 포함한다. 단계 S12는, 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하는 단계를 포함할 수 있다. 이러한 방식을 통해, 크기가 비교적 작은 제1 부분 이미지에 대응되는 제1 특징 맵 및 크기가 비교적 큰 제2 부분 이미지에 대응되는 제2 특징 맵을 획득할 수 있으며, 제1 특징 맵 및 제2 특징 맵에 기반하여 처리할 이미지를 분할할 경우, 분할 결과의 정확성을 향상할 수 있다.

구현예에서, 각각 특징 추출 네트워크를 통해 각각의 부분 이미지에 대해 특징 추출 처리를 수행할 수 있고, 상기 특징 추출 네트워크는 콘볼루션 신경망 등 딥러닝 신경망에 포함될 수 있으며, 본 발명은 특징 추출 네트워크의 타입을 한정하지 않는다.

구현예에서, 특징 추출 네트워크의 개수는 부분 이미지의 개수와 상이할 수 있고, 즉, 각각의 특징 추출 네트워크는 하나의 부분 이미지를 추출한다. 예를 들면, 제1 부분 이미지(x1)는 특징 추출 네트워크(1)에 입력되어 특징 추출 처리를 수행할 수 있고, 제2 부분 이미지(x2)는 특징 추출 네트워크(2)에 입력되어 특징 추출 처리를 수행할 수 있으며, 제2 부분 이미지(x3)는 특징 추출 네트워크(3)에 입력되어 특징 추출 처리를 수행할 수 있다.

하나의 가능한 실시형태에서, 복수 개의 특징 추출 네트워크는 동일한 특징 추출 네트워크일 수 있고, 특징 추출 네트워크에 입력된 이미지의 크기를 일치하게 유지할 수 있으며, 제1 부분 이미지의 기준 크기를 특징 추출 네트워크에 입력된 입력 크기로 하고, 기준 크기보다 큰 제2 부분 이미지를 처리하여, 제2 부분 이미지의 크기를 축소하며, 이가 특징 추출 네트워크의 입력 요구를 만족하도록 한다. 구현예에서, 다른 크기를 특징 추출 네트워크를 입력한 입력 크기로 할 수도 있는 바, 예를 들면, 하나의 크기를 입력 크기로 미리 설정할 수 있고, 입력 크기와 일치하지 않은 부분 이미지를 모두 처리하여, 이가 특징 추출 네트워크의 입력 요구를 만족하도록 한다. 본 발명은 입력 크기의 선택을 한정하지 않는다.

하나의 가능한 실시형태에서, 상기 기준 크기를 입력 크기로 할 경우, 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하는 단계는, 상기 제2 부분 이미지에 대해 다운샘플링 처리를 수행하여, 상기 기준 크기의 제3 부분 이미지를 획득하는 단계; 상기 제1 부분 이미지 및 상기 제3 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵, 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하는 단계를 포함할 수 있다.

하나의 가능한 실시형태에서, 제2 부분 이미지의 크기는 기준 크기보다 크고, 즉, 입력 크기보다 크며, 제2 부분 이미지에 대해 다운샘플링 처리를 수행하여, 기준 크기의 제3 부분 이미지를 획득하여, 제3 부분 이미지가 특징 추출 네트워크의 입력 크기 요구를 만족할 수 있도록 한다.

하나의 가능한 실시형태에서, 각각 제1 부분 이미지 및 제3 부분 이미지에 대해 특징 추출 처리를 수행할 수 있고, 구현예에서, 대응되는 특징 추출 네트워크를 각각 입력하여 특징 추출 처리를 수행할 수 있는 바, 예를 들면, 제1 부분 이미지(x1)를 특징 추출 네트워크(1)에 입력하여 특징 추출 처리를 수행하여, 제1 특징 맵을 획득할 수 있고, 제2 부분 이미지(x2)에 대응되는 제3 부분 이미지를 특징 추출 네트워크(2)에 입력하여 특징 추출 처리를 수행하여, x2에 대응되는 제2 특징 맵을 획득할 수 있으며, 제2 부분 이미지(x3)에 대응되는 제3 부분 이미지를 특징 추출 네트워크(3)에 입력하여 특징 추출 처리를 수행하여, x3에 대응되는 제2 특징 맵을 획득할 수 있다.

하나의 가능한 실시형태에서, 제1 특징 맵은 미세한 부분 상세 특징(예를 들면, 관맥 혈관 자체의 상세 특징)을 포함할 수 있는 바, 예를 들면, 제1 부분 이미지(x1)에서 타깃(예를 들면, 관맥 혈관)의 상세 특징(예를 들면, 형태, 윤곽 등)이며, 제2 특징 맵은 더욱 큰 수용야를 구비하여, 더 많은 전역 분포 특징을 포함할 수 있는 바, 예를 들면, 관맥 혈관이 제2 부분 이미지(x2 또는 x3)에서의 분포 및 다른 혈관과의 연계이다.

이러한 방식을 통해, 다운샘플링을 통해 상이한 크기의 부분 이미지가 모두 특징 추출 네트워크의 입력 요구를 만족하도록 하며, 나아가 복수 개의 스케일의 특징 맵을 획득하여, 복수 개의 스케일의 특징 정보의 획득에 유리하다.

하나의 가능한 실시형태에서, 복수 개의 특징 추출 네트워크는 동일한 특징 추출 네트워크이고, 입력된 제1 부분 이미지 및 제3 부분 이미지의 크기가 동일할 경우, 특징 추출 네트워크가 출력한 대응되는 특징 맵은, 예를 들면, 제1 특징 맵과 제2 특징 맵의 크기는 동일하지만, 제2 특징 맵은 제2 부분 이미지에 대한 처리 결과이므로, 따라서, 제2 특징 맵이 원래 처리할 이미지에서 대응되는 영역의 크기는 제1 특징 맵이 원래 처리할 이미지에서 대응되는 영역의 크기보다 크고, 제2 특징 맵과 제1 특징 맵에 포함되는 특징 정보는 상이하다.

하나의 가능한 실시형태에서, 상이한 특징 정보를 포함하는 특징 맵에 따라 처리할 이미지에 대해 분할 처리를 수행하여, 분할 결과를 획득할 수 있다. 단계 S13은, 상기 제1 특징 맵과 상기 제2 특징 맵에 대해 오버레이 처리를 수행하여, 제3 특징 맵을 획득하는 단계; 및 상기 제3 특징 맵에 대해 활성화 처리를 수행하여, 상기 처리할 이미지 중의 특정 영역의 분할 결과를 획득하는 단계를 포함할 수 있다. 이러한 방식을 통해, 제1 특징 맵과 제2 특징 맵에 대해 오버레이 처리를 수행한 제3 특징 맵에 기반하여, 처리할 이미지를 분할하고, 제3 특징 맵은 크기가 비교적 작은 제1 부분 이미지에 대응되는 제1 특징 맵 중의 특징을 보존할 뿐만 아니라, 크기가 비교적 큰 제2 부분 이미지에 대응되는 제2 특징 맵 중의 특징을 보존할 수도 있으며, 이로써 분할 결과의 정확성을 향상할 수 있다.

하나의 가능한 실시형태에서, 상기 제1 특징 맵과 상기 제2 특징 맵에 대해 오버레이 처리를 수행하여, 제3 특징 맵을 획득하는 단계는, 상기 제2 특징 맵에 대해 업샘플링 처리를 수행하여, 제4 특징 맵을 획득하는 단계 - 상기 제4 특징 맵과 상기 제1 특징 맵의 크기의 비는, 상기 제2 부분 이미지와 상기 제1 부분 이미지의 크기의 비와 동일함 - ; 상기 제4 특징 맵에 대해 크로핑 처리를 수행하여, 제5 특징 맵을 획득하는 단계 - 상기 제5 특징 맵과 상기 제1 특징 맵의 크기는 일치함 - ; 및 상기 제1 특징 맵과 상기 제5 특징 맵에 대해 가중합 처리를 수행하여, 상기 제3 특징 맵을 획득하는 단계를 포함할 수 있다. 이러한 방식을 통해, 업샘플링 및 컷팅 처리를 통해, 복수 개의 특징 맵의 크기를 통일하고, 가중 평균을 수행하여, 복수 개의 특징 맵에 융합하며, 획득된 제3 특징 맵이 더 많은 특징 정보를 포함하도록 하여, 타깃의 디테일 및 분포를 결정하는 데 유리하고, 노이즈 간섭을 감소하여 분할 정확성을 향상한다.

하나의 가능한 실시형태에서, 상기 제2 특징 맵에 대해 업샘플링 처리를 수행하여, 제4 특징 맵을 획득할 수 있는 바, 예를 들면, 보간법 등 방식을 이용하여 업샘플링 처리를 수행할 수 있으며, 본 발명은 업샘플링 처리의 방식을 한정하지 않는다.

하나의 가능한 실시형태에서, 제1 부분 이미지 및 제2 부분 이미지는 모두 처리할 이미지의 일 부분이고, 제1 부분 이미지 크기는 제2 부분 이미지보다 작으며, 제1 부분 이미지와 제2 부분 이미지는 중심이 동일하고, 즉, 제1 부분 이미지는 제2 부분 이미지의 일 부분이다. 제1 특징 맵은 제1 부분 이미지의 특징 맵이고, 제4 특징 맵은 제2 부분 이미지의 특징 맵이며, 제4 특징 맵과 상기 제1 특징 맵의 크기의 비가, 제2 부분 이미지와 제1 부분 이미지의 크기의 비와 동일할 수 있도록 한다.

구현예에서, 제2 부분 이미지(x2)의 크기는 제1 부분 이미지(x1)의 8배(3차원 이미지)이고, 제1 부분 이미지는 제2 부분 이미지의 일 부분이면(제1 부분 이미지(x1)과 제2 부분 이미지(x2)의 중심 영역은 일치하며, 제1 부분 이미지(x1)의 길이, 폭 및 높이는 모두 제2 부분 이미지(x2)의 이 분의 일임), 제2 부분 이미지(x2)에 대응되는 제4 특징 맵과 상기 제1 특징 맵의 크기의 비도 8이며, 제1 특징 맵의 길이, 폭 및 높이는 모두 제2 부분 이미지(x2)에 대응되는 제4 특징 맵의 이 분의 일이고, 제2 부분 이미지(x2)에 대응되는 제4 특징 맵의 중심 영역이 처리할 이미지에서 대응되는 영역에서 제1 부분 이미지(x1)와 동일하다. 구현예에서, 제2 부분 이미지(x3)의 크기는 제1 부분 이미지(x1)의 27배이고, 제1 부분 이미지는 제2 부분 이미지의 일 부분이면(제1 부분 이미지(x1)와 제2 부분 이미지(x3)의 중심 영역은 일치하고, 제1 부분 이미지(x1)의 길이, 폭 및 높이는 모두 제2 부분 이미지(x3)의 삼 분의 일임), 제2 부분 이미지(x3)에 대응되는 제4 특징 맵과 상기 제1 특징 맵의 크기의 비도 27이며, 제1 특징 맵의 길이, 폭 및 높이는 모두 제2 부분 이미지(x3)에 대응되는 제4 특징 맵의 삼 분의 일이고, 제2 부분 이미지(x3)에 대응되는 제4 특징 맵의 중심 영역이 처리할 이미지에서 대응되는 영역에서 제1 부분 이미지(x1)와 동일하다.

구현예에서, 제1 특징 맵의 크기는 제1 부분 이미지(x1)의 크기와 일치하고, 제2 부분 이미지(x2)에 대응되는 제4 특징 맵은 제2 부분 이미지(x2)의 크기와 일치할 수 있으며, 제2 부분 이미지(x3)에 대응되는 제4 특징 맵은 제2 부분 이미지(x3)의 크기와 일치할 수 있다. 본 발명은 제1 특징 맵 및 제4 특징 맵의 크기를 한정하지 않는다.

하나의 가능한 실시형태에서, 제4 특징 맵을 컷팅하여, 제1 특징 맵 크기와 일치한 제5 특징 맵을 얻을 수 있다. 구현예에서, 제4 특징 맵의 중심 영역(상기 중심 영역이 처리할 이미지에서 대응되는 영역은 제1 특징 맵이 처리할 이미지에서 대응되는 영역은 동일함)을 보존하고, 다른 영역을 컷팅하여, 제5 특징 맵을 획득할 수 있다. 구현예에서, 제2 부분 이미지(x2)에 대응되는 제5 특징 맵은 제2 부분 이미지(x2)에 대응되는 제4 특징 맵의 중심 영역(처리할 이미지에서 대응되는 영역은 제1 부분 이미지(x1)와 동일함)이고, 제2 부분 이미지(x3)에 대응되는 제5 특징 맵은 제2 부분 이미지(x3)에 대응되는 제4 특징 맵의 중심 영역(처리할 이미지 중의 대응되는 영역은 제1 부분 이미지(x1)와 동일함)이다. 제5 특징 맵은 제2 부분 이미지의 중심 영역의 일부 전역 특징을 포함하고, 예를 들면, 제2 부분 이미지(x2 또는 x3)가 그 중심 영역의 전역 특징은, 구체적으로 말하자면, 제4 특징 맵에서 중심 영역 외의 다른 영역은 컷팅되고, 중심 영역(즉, 제5 특징 맵)만 보존되므로, 따라서, 제5 특징 맵은 제4 특징 맵의 중심 영역의 특징을 포함하고, 예를 들면, 제5 특징 맵의 수용야는 제1 특징 맵보다 크며, 예를 들면 관맥 혈관이 처리할 이미지에서 x1에 대응되는 영역 중의 분포 정보를 포함할 수 있고, 관맥 혈관의 분포를 결정하는 데 유리하며, 다른 혈관(예를 들면, 폐 혈관)의 노이즈 간섭을 감소한다. 즉, 제5 특징 맵 및 제1 특징 맵은 모두 x1에 대응되는 영역의 특징 맵이지만, 각 특징 추출 네트워크의 파라미터(가중치, 수용야 등 파라미터)가 상이하므로, 따라서, 제5 특징 맵과 제1 특징 맵의 특징은 상이하고, 상기 방식을 통해 x1에 대응되는 영역의 특징 정보량을 증가하여, 분할 처리에 더 풍부한 근거를 제공하여, 분할 처리의 정확성을 향상할 수 있다.

하나의 가능한 실시형태에서, 제1 특징 맵과 제5 특징 맵에 대해 가중합 처리를 수행하여, 제3 특징 맵을 획득할 수 있다. 예를 들면, 제1 특징 맵 및 제5 특징 맵에 대해 픽셀점에 따른 가중합을 수행할 수 있다. 구현예에서, 제1 특징 맵의 가중치는 α이고, 제2 부분 이미지(x2)에 대응되는 제5 특징 맵의 가중치는 β이며, 제2 부분 이미지(x3)에 대응되는 제5 특징 맵의 가중치는 γ이고, 상기 가중치에 따라, 제1 특징 맵, 제2 부분 이미지(x2)에 대응되는 제5 특징 맵 및 제2 부분 이미지(x3)에 대응되는 제5 특징 맵에 대해 픽셀점에 따른 가중합을 수행하여, 제3 특징 맵을 획득할 수 있다. 제3 특징 맵은 제1 특징 맵의 상세 특징을 포함할뿐더러, 제5 특징 맵의 전역 특징도 포함한다.

구현예에서, 오버레이 네트워크를 통해 상기 가중합 처리를 수행할 수 있고, 상기 오버레이 네트워크는 콘볼루션 신경망 등 딥러닝 신경망에 포함될 수 있으며, 본 발명은 오버레이 네트워크의 타입을 한정하지 않는다.

이러한 방식을 통해, 업샘플링 및 컷팅 처리를 통해, 복수 개의 특징 맵의 크기를 통일하고, 가중 평균을 수행하여, 복수 개의 특징 맵에 융합하며, 획득된 제3 특징 맵이 더 많은 특징 정보를 포함하도록 하여, 타깃의 디테일 및 분포를 결정하는 데 유리하고, 노이즈 간섭을 감소하여 분할 정확성을 향상한다.

하나의 가능한 실시형태에서, 제3 특징 맵에 대해 활성화 처리를 수행하여, 예를 들면, 제3 특징 맵에 포함되는 특징 정보에 따라 활성화 처리를 수행하여, 타깃(예를 들면, 관맥 혈관)이 위치하는 특정 영역의 분할 결과를 획득할 수 있는 바, 예를 들면, softmax 활성화 함수를 통해 제3 특징 맵에 대해 활성화 처리를 수행하여, 확률도를 획득할 수 있고, 다른 활성화 함수를 통해 활성화 처리를 수행할 수도 있으며, 예를 들면, 수정 리니어 유닛(Rectified Linear Unit, RELU) 활성화 함수 등으로서, 본 발명은 활성화 처리를 한정하지 않는다. 상기 확률도에서, 각 픽셀점의 확률은 상기 픽셀점이 특정 영역에 위치할 확률(예를 들면, 확률이 확률 임계 값(예를 들면50%)보다 크거나 같을 경우, 상기 픽셀점이 특정 영역에 위치하는 것으로 간주할 수 있음)을 표시하고, 확률도에서 각 픽셀점의 확률에 기반하여, 타깃이 위치하는 특정 영역의 위치를 결정할 수 있다. 구현예에서, 활성화 계층을 통해 상기 분할 처리를 수행할 수 있다. 구현예에서, 상기 특정 영역은 처리할 이미지 중의 x1에 대응되는 영역 중의 타깃이 위치한 영역일 수 있고, 예를 들면, x1에 대응되는 영역 중의 관맥 혈관을 분할할 수 있다.

하나의 가능한 실시형태에서, 상기 이미지 처리 방법은 신경망으로 구현되고, 상기 신경망은 복수 개의 특징 추출 네트워크, 오버레이 네트워크 및 활성화 계층을 포함한다.

하나의 가능한 실시예에서, 상기 특징 추출 처리를 수행하는 것은, 복수 개의 특징 추출 네트워크를 사용하여 처리하는 것을 포함하고; 상기 오버레이 처리 또는 상기 가중합 처리를 수행하는 것은, 오버레이 네트워크를 사용하여 처리하는 것을 포함하며; 상기 분할 처리를 수행하는 것은, 활성화 계층을 사용하여 처리하는 것을 포함하고. 예를 들면, 특징 추출 네트워크를 통해 복수 개의 부분 이미지에 대해 각각 특징 추출 처리를 수행할 수 있고, 오버레이 네트워크를 통해 제1 특징 맵 및 제5 특징 맵에 대해 오버레이 처리를 수행하며, 활성화 계층을 통해 제3 특징 맵에 대해 분할 처리를 수행한다. 신경망을 사용하여 상기 이미지 처리 방법을 수행하기 전에, 신경망을 트레이닝할 수 있다.

하나의 가능한 실시형태에서, 상기 방법은, 샘플 이미지를 통해 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 단계를 더 포함한다. 이러한 방식을 통해, 샘플 이미지를 통해 복수 개의 특징 추출 네트워크, 오버레이 네트워크 및 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층이 샘플 이미지의 특징 및 라벨링 정보와 매칭되도록 하며, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 포함하는 신경망을 이용하여 후속적인 이미지를 정확하게 분할할 수 있다.

하나의 가능한 실시형태에서, 상기 샘플 이미지는 의료 영상을 포함할 수 있고, 예를 들면, CTA 영상, 샘플 이미지는 타깃(예를 들면, 관맥 혈관)에 대한 라벨링 정보를 포함할 수 있다.

하나의 가능한 실시형태에서, 특징 추출 네트워크에 대해 사전 트레이닝을 수행할 수 있다. 샘플 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 기준 크기의 제1 샘플 부분 이미지, 및 기준 크기보다 큰 제2 샘플 부분 이미지를 획득할 수 있다. 제1 샘플 부분 이미지 및 제2 샘플 부분 이미지의 총수와 특징 추출 네트워크의 개수는 동일하다. 구현예에서, 제1 샘플 부분 이미지 및 제2 샘플 부분 이미지의 이미지 중심은 동일하고, 제1 샘플 부분 이미지를 캡쳐한 영역은 제2 샘플 부분 이미지의 중심 영역이다. 예를 들면, 샘플 이미지에 대해 스크린샷을 수행하여, 기준 크기의 제1 샘플 부분 이미지(y1)를 획득할 수 있고, 기준 크기보다 큰 제2 샘플 부분 이미지(y2)는, 제2 샘플 부분 이미지(y2)의 크기의 제2 샘플 부분 이미지(y3)보다 크다.

하나의 가능한 실시형태에서, 상기 제2 샘플 부분 이미지에 대해 다운샘플링 처리를 수행하여, 기준 크기의 제3 샘플 부분 이미지를 획득할 수 있다. 복수 개의 특징 추출 네트워크는 동일한 특징 추출 네트워크이고, 입력 특징 추출 네트워크의 이미지의 크기를 일치하게 유지할 수 있으며, 예를 들면, 제1 샘플 부분 이미지의 기준 크기를 입력 특징 추출 네트워크의 입력 크기로 하고, 기준 크기보다 큰 제2 샘플 부분 이미지에 대해 다운샘플링 처리를 수행하여, 제2 샘플 부분 이미지의 크기를 축소하여, 제3 샘플 부분 이미지를 획득하고, 이가 특징 추출 네트워크의 입력 요구를 만족하도록 하며, 즉, 제3 샘플 부분 이미지의 크기가 기준 크기와 같도록 한다. 구현예에서, 제2 샘플 부분 이미지(y2 및 y3)에 대해 다운샘플링 처리를 각각 수행하여, 기준 크기의 제3 샘플 부분 이미지를 획득할 수 있다.

하나의 가능한 실시형태에서, 상기 제1 샘플 부분 이미지 및 상기 제3 샘플 부분 이미지에 대응되는 특징 추출 네트워크를 각각 입력하여 특징 추출 처리를 수행하여, 제1 샘플 부분 이미지에 대응되는 제1 샘플 특징 맵, 및 제2 샘플 부분 이미지에 대응되는 제2 샘플 특징 맵을 획득할 수 있다. 구현예에서, 제1 샘플 부분 이미지(y1)는 특징 추출 네트워크(1)를 입력하여 특징 추출 처리를 수행하여, 제1 샘플 특징 맵을 획득할 수 있고, 제2 샘플 부분 이미지(y2)에 대응되는 제3 샘플 부분 이미지는 특징 추출 네트워크(2)를 입력하여 특징 추출 처리를 수행하여, y2에 대응되는 제2 샘플 특징 맵을 획득할 수 있으며, 제2 샘플 부분 이미지(y3)에 대응되는 제3 샘플 부분 이미지는 특징 추출 네트워크(3)를 입력하여 특징 추출 처리를 수행하여, y3에 대응되는 제2 샘플 특징 맵을 획득할 수 있다.

하나의 가능한 실시형태에서, 상기 제1 샘플 특징 맵 및 상기 제2 샘플 특징 맵에 대해 각각 활성화 처리를 수행할 수 있는 바, 예를 들면, softmax 함수를 통해 활성화 처리를 수행하여, 복수 개의 특징 추출 네트워크에 각각 대응되는 제1 샘플 타깃 영역을 획득한다. 구현예에서, 각각 제1 샘플 특징 맵, y2에 대응되는 제2 샘플 특징 맵 및 y3에 대응되는 제2 샘플 특징 맵에 대해 각각 활성화 처리를 수행하여, 제1 샘플 부분 이미지(y1) 중의 제1 샘플 타깃 영역, 제2 샘플 부분 이미지(y2) 중의 제1 샘플 타깃 영역 및 제2 샘플 부분 이미지(y3) 중의 제1 샘플 타깃 영역을 각각 획득할 수 있다. 즉, 특징 추출 네트워크의 특징 추출 처리 및 활성화 처리를 통해, 각각 복수 개의 샘플 부분 이미지에서 샘플 타깃 영역을 결정해낼 수 있고, 샘플 타깃 영역에는 오차가 존재할 수 있다.

하나의 가능한 실시형태에서, 상기 샘플 이미지의 라벨링 정보와 상기 제1 샘플 타깃 영역에 따라, 복수 개의 특징 추출 네트워크의 제1 네트워크 손실을 각각 결정할 수 있다. 구현예에서, 샘플 이미지에서 y1에 대응되는 영역의 라벨링 정보 및 제1 샘플 부분 이미지(y1) 중의 제1 샘플 타깃 영역에 따라, 특징 추출 네트워크(1)의 제1 네트워크 손실을 결정할 수 있거나, 및/또는, 샘플 이미지에서 y2에 대응되는 영역의 라벨링 정보 및 제2 샘플 부분 이미지(y2) 중의 제1 샘플 타깃 영역에 따라, 특징 추출 네트워크(2)의 제1 네트워크 손실을 결정할 수 있거나, 및/또는, 샘플 이미지에서 y3에 대응되는 영역의 라벨링 정보 및 제2 샘플 부분 이미지(y3) 중의 제1 샘플 타깃 영역에 따라, 특징 추출 네트워크(3)의 제1 네트워크 손실을 결정할 수 있다. 구현예에서, 상기 제1 네트워크 손실은 크로스 엔트로피 손실 및 집합 유사도 손실(dice loss)을 포함할 수 있고, 제1 샘플 타깃 영역 및 대응되는 라벨링 정보에 따라, 각 특징 추출 네트워크의 크로스 엔트로피 손실 및 집합 유사도 손실을 각각 결정하며, 상기 크로스 엔트로피 손실과 집합 유사도 손실을 가중합 처리하여, 각 특징 추출 네트워크의 제1 네트워크 손실을 획득하며, 본 발명은 제1 네트워크 손실의 결정 방식을 한정하지 않는다.

하나의 가능한 실시형태에서, 상기 제1 네트워크 손실에 따라, 상기 복수 개의 특징 추출 네트워크를 트레이닝하여, 복수 개의 사전 트레이닝된 특징 추출 네트워크를 획득할 수 있다. 구현예에서, 각 특징 추출 네트워크의 제1 네트워크 손실에 따라 각 특징 추출 네트워크를 각각 트레이닝할 수 있는 바, 예를 들면, 특징 추출 네트워크(1)의 제1 네트워크 손실에 따라 특징 추출 네트워크(1)를 트레이닝하고, 특징 추출 네트워크(2)의 제1 네트워크 손실에 따라 특징 추출 네트워크(2)를 트레이닝하며, 특징 추출 네트워크(3)의 제1 네트워크 손실에 따라 특징 추출 네트워크(3)를 트레이닝한다. 구현예에서, 경사 하강법을 통해 제1 네트워크 손실을 역전파하여, 특징 추출 네트워크의 네트워크 파라미터를 조절할 수 있으며, 제1 트레이닝 조건을 만족할 때까지, 상기 트레이닝 방법은 여러 차례 반복 수행될 수 있고, 상기 제1 트레이닝 조건은 트레이닝 횟수를 포함할 수 있으며, 즉, 트레이닝 횟수가 기설정 횟수보다 크거나 같을 경우, 제1 트레이닝 조건을 만족하고, 상기 제1 트레이닝 조건은 제1 네트워크 손실의 크기 또는 수렴 및 확산성을 포함할 수 있으며, 예를 들면, 제1 네트워크 손실이 기설정 임계 값보다 작거나 같고, 또는 기설정 구간에 수렴될 경우, 제1 트레이닝 조건을 만족하고, 본 발명은 제1 트레이닝 조건을 한정하지 않는다. 제1 트레이닝 조건을 만족할 경우, 사전 트레이닝된 특징 추출 네트워크를 획득할 수 있다.

하나의 가능한 실시형태에서, 사전 트레이닝된 특징 추출 네트워크에 따라, 상기 신경망을 트레이닝할 수 있다.

하나의 가능한 실시형태에서, 샘플 이미지를 통해 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 단계는, 상기 샘플 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 상기 기준 크기의 제4 샘플 부분 이미지, 및 상기 기준 크기보다 큰 제5 샘플 부분 이미지를 획득하는 단계; 상기 제5 샘플 부분 이미지에 대해 다운샘플링 처리를 수행하여, 상기 기준 크기의 제6 샘플 부분 이미지를 획득하는 단계; 상기 제4 샘플 부분 이미지 및 상기 제6 샘플 부분 이미지를 대응되는 특징 추출 네트워크에 각각 입력하고 특징 추출 처리를 수행하여, 상기 제4 샘플 부분 이미지에 대응되는 제3 샘플 특징 맵, 및 상기 제6 샘플 부분 이미지에 대응되는 제4 샘플 특징 맵을 획득하는 단계; 상기 제4 샘플 특징 맵에 대해 업샘플링 처리 및 크로핑 처리를 수행하여, 제5 샘플 특징 맵을 획득하는 단계; 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵을 상기 오버레이 네트워크에 입력하여, 제6 샘플 특징 맵을 획득하는 단계; 상기 제6 샘플 특징 맵을 상기 활성화 계층에 입력하고 활성화 처리를 수행하여, 상기 샘플 이미지의 제2 샘플 타깃 영역을 획득하는 단계; 상기 제2 샘플 타깃 영역 및 상기 샘플 이미지의 라벨링 정보에 따라, 상기 신경망의 제2 네트워크 손실을 결정하는 단계; 및 상기 제2 네트워크 손실에 따라, 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 단계를 포함한다.

하나의 가능한 실시형태에서, 상기 샘플 이미지는 의료 영상을 포함할 수 있고, 예를 들면, CTA 영상이며, 샘플 이미지는 타깃(예를 들면, 관맥 혈관)에 대한 라벨링 정보를 포함할 수 있다.

하나의 가능한 실시형태에서, 샘플 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 기준 크기의 제4 샘플 부분 이미지, 및 기준 크기보다 큰 제5 샘플 부분 이미지를 획득할 수 있다. 제4 샘플 부분 이미지 및 제5 샘플 부분 이미지의 총수는 특징 추출 네트워크의 개수와 동일하다. 구현예에서, 제4 샘플 부분 이미지와 제5 샘플 부분 이미지의 이미지 중심은 동일하고, 제4 샘플 부분 이미지를 캡쳐한 영역은 제5 샘플 부분 이미지의 중심 영역이다. 예를 들면, 샘플 이미지에 대해 스크린샷을 수행하여, 기준 크기의 제4 샘플 부분 이미지(z1)를 획득할 수 있고, 기준 크기보다 큰 제5 샘플 부분 이미지(z2)는, 제5 샘플 부분 이미지(z2)의 크기보다 큰 제5 샘플 부분 이미지(z3)이다.

하나의 가능한 실시형태에서, 상기 제5 샘플 부분 이미지에 대해 다운샘플링 처리를 수행하여, 기준 크기의 제6 샘플 부분 이미지를 획득할 수 있다. 복수 개의 특징 추출 네트워크는 동일한 구조의 특징 추출 네트워크일 수 있고, 입력 특징 추출 네트워크의 이미지의 크기를 일치하게 유지할 수 있으며, 예를 들면, 제4 샘플 부분 이미지의 기준 크기를 입력 특징 추출 네트워크의 입력 크기로 하여, 기준 크기보다 큰 제5 샘플 부분 이미지에 대해 다운샘플링 처리를 수행하여, 제5 샘플 부분 이미지의 크기를 축소하여, 제6 샘플 부분 이미지를 획득함으로써, 이가 특징 추출 네트워크의 입력 요구를 만족하도록 하고, 즉, 제6 샘플 부분 이미지의 크기가 기준 크기와 같도록 한다. 구현예에서, 제5 샘플 부분 이미지(z2 및 z3)에 대해 각각 다운샘플링 처리를 수행하여, 기준 크기의 제6 샘플 부분 이미지를 획득할 수 있다.

하나의 가능한 실시형태에서, 상기 제4 샘플 부분 이미지 및 상기 제6 샘플 부분 이미지를 대응되는 특징 추출 네트워크에 각각 입력하고 특징 추출 처리를 수행하여, 제4 샘플 부분 이미지에 대응되는 제3 샘플 특징 맵, 및 제6 샘플 부분 이미지에 대응되는 제4 샘플 특징 맵을 획득할 수 있다. 구현예에서, 제4 샘플 부분 이미지(z1)는 특징 추출 네트워크(1)를 입력하여 특징 추출 처리를 수행하여, 제3 샘플 특징 맵을 획득할 수 있고, 제5 샘플 부분 이미지(z2)에 대응되는 제6 샘플 부분 이미지는 특징 추출 네트워크(2)를 입력하여 특징 추출 처리를 수행하여, z2에 대응되는 제4 샘플 특징 맵을 획득할 수 있으며, 제5 샘플 부분 이미지(z3)에 대응되는 제6 샘플 부분 이미지는 특징 추출 네트워크(3)를 입력하여 특징 추출 처리를 수행하여, z3에 대응되는 제4 샘플 특징 맵을 획득할 수 있다.

하나의 가능한 실시형태에서, 상기 제4 샘플 특징 맵에 대해 업샘플링 처리 및 크로핑 처리를 수행하여, 제5 샘플 특징 맵을 획득할 수 있다. 구현예에서, 복수 개의 특징 추출 네트워크는 동일한 특징 추출 네트워크이고, 입력된 제4 샘플 부분 이미지와 제6 샘플 부분 이미지의 크기는 동일하며, 따라서, 획득된 제3 샘플 특징 맵과 제4 샘플 특징 맵 크기는 동일하다. 제4 샘플 특징 맵에 대해 업샘플링 처리를 수행하여, 업샘플링된 제4 샘플 특징 맵 및 제3 샘플 특징 맵의 크기의 비는 제5 샘플 부분 이미지 및 제4 샘플 부분 이미지의 비와 동일하도록 한다. 예를 들면, 제3 샘플 특징 맵 및 제4 샘플 특징 맵은 제4 샘플 부분 이미지 크기와 일치하고, 업샘플링된 제4 샘플 특징 맵은 제5 샘플 부분 이미지 크기와 일치하다.

구현예에서, 제5 샘플 특징 맵의 중심 영역을 보존하고, 다른 영역을 컷팅하며, 제5 샘플 특징 맵을 획득할 수 있고, 제5 샘플 특징 맵이 샘플 이미지에서 대응되는 영역은 제3 샘플 특징 맵이 샘플 이미지에서 대응되는 영역과 일치하고, 예를 들면, 모두 제4 샘플 부분 이미지(z1)가 샘플 이미지에서 대응되는 영역이다.

하나의 가능한 실시형태에서, 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵을 상기 오버레이 네트워크에 입력하여, 제6 샘플 특징 맵을 획득할 수 있다. 여기서, 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵을 상기 오버레이 네트워크에 입력하여, 제6 샘플 특징 맵을 획득하는 단계는, 상기 오버레이 네트워크를 통해 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵에 대해 가중합 처리를 수행하여, 상기 제6 샘플 특징 맵을 획득하는 단계를 포함할 수 있다.

구현예에서, 상기 오버레이 네트워크는 제3 샘플 특징 맵 및 제5 샘플 특징 맵에 대해 픽셀점에 따른 가중합을 수행할 수 있다. 구현예에서, 제3 샘플 특징 맵의 가중치는 α이고, 제5 샘플 부분 이미지(z2)에 대응되는 제5 샘플 특징 맵의 가중치는 β이며, 제5 샘플 부분 이미지(z3)에 대응되는 제5 샘플 특징 맵의 가중치는 γ이고, α, β 및 γ는 오버레이 네트워크의 네트워크 파라미터일 수 있고, 오버레이 네트워크를 트레이닝하여 가중치의 값을 결정할 수 있다. 오버레이 네트워크 처리를 거친 후, 제6 샘플 특징 맵을 획득할 수 있고, 제6 샘플 특징 맵은 더 많은 특징 정보를 포함할 수 있다.

이러한 방식을 통해, 제6 샘플 특징 맵은 제3 샘플 특징 맵 및 제5 샘플 특징 맵에 기반하여 오버레이하여 획득된 것이므로, 제6 샘플 특징 맵에 비교적 많은 특징 정보를 포함하며, 제6 샘플 특징 맵에 기반하여 복수 개의 특징 추출 네트워크, 오버레이 네트워크 및 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층도 비교적 많은 특징 정보를 보존할 수 있도록 하고, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 포함하는 신경망을 이용하여 후속적인 이미지를 정확하게 분할할 수 있다.

하나의 가능한 실시형태에서, 상기 제6 샘플 특징 맵을 상기 활성화 계층에 입력할 수 있고, 상기 샘플 이미지의 제2 샘플 타깃 영역을 획득한다. 구현예에서, 활성화 계층은 softmax 함수를 통해 제6 샘플 특징 맵에 대해 활성화 처리를 수행하여, 타깃(예를 들면, 관맥 혈관)이 위치하는 특정 영역을 획득한다. 특정 영역은 제4 샘플 부분 이미지(z1)가 샘플 이미지에서 대응되는 영역 중의 타깃 위치 영역일 수 있고, 예를 들면, z1이 샘플 이미지에서 대응되는 영역 중의 관맥 혈관이 위치한 영역을 분할하여 제2 샘플 타깃 영역으로 할 수 있다. 제2 샘플 타깃 영역에는 오차가 존재할 수 있다.

하나의 가능한 실시형태에서, 상기 제2 샘플 타깃 영역 및 상기 샘플 이미지의 라벨링 정보에 따라, 상기 신경망의 제2 네트워크 손실을 결정할 수 있다. 샘플 이미지의 라벨링 정보(예를 들면, z1이 샘플 이미지에서 대응되는 영역 중의 라벨링 정보) 및 신경망에 의해 획득된 제2 샘플 타깃 영역에 따라, 제2 네트워크 손실을 결정할 수 있고, 구현예에서, 상기 제2 네트워크 손실은 크로스 엔트로피 손실 및 집합 유사도 손실을 포함할 수 있으며, 제2 샘플 타깃 영역 및 라벨링 정보에 따라, 각 신경망의 크로스 엔트로피 손실 및 집합 유사도 손실을 결정하고, 상기 크로스 엔트로피 손실과 집합 유사도 손실을 가중합 처리하여, 신경망의 제2 네트워크 손실을 획득하며, 본 발명은 제2 네트워크 손실의 결정 방식을 한정하지 않는다.

하나의 가능한 실시형태에서, 상기 제2 네트워크 손실에 따라, 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득할 수 있다. 구현예에서, 경사 하강법을 통해 제2 네트워크 손실을 역전파하여, 신경망의 네트워크 파라미터를 조절할 수 있고, 제2 트레이닝 조건에 만족할 때까지, 상기 트레이닝 방법은 여러 차례 반복 수행하며, 상기 제2 트레이닝 조건은 트레이닝 횟수를 포함할 수 있고, 즉, 트레이닝 횟수가 기설정 횟수보다 크거나 같을 경우, 제2 트레이닝 조건을 만족하며, 상기 제2 트레이닝 조건은 제2 네트워크 손실의 크기 또는 수렴 및 확산성을 포함할 수 있고, 예를 들면, 제2 네트워크 손실은 기설정 임계 값보다 작거나 같으며, 또는 기설정 구간에 수렴될 경우, 제2 트레이닝 조건을 만족하고, 본 발명은 제2 트레이닝 조건을 한정하지 않는다. 제2 트레이닝 조건을 만족한 후, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득할 수 있고, 이미지 중의 타깃에 대해 분할 처리를 수행할 수 있다.

이러한 방식을 통해, 사전 트레이닝된 특징 추출 네트워크 및 샘플 이미지를 통해 복수 개의 특징 추출 네트워크, 오버레이 네트워크 및 활성화 계층을 포함하는 신경망을 트레이닝하여, 신경망의 트레이닝 정밀도를 향상하고, 부가적으로, 오버레이 네트워크를 트레이닝하는 것을 통해 오버레이된 가중치를 획득하여, 트레이닝 과정에서 적합한 가중치 파라미터를 선택할 수 있으며, 특징 융합의 효과를 향상하고, 상세 특징 및 전역 특징을 최적화함으로써, 신경망의 정밀도를 향상하는 데 유리하다.

하나의 가능한 실시형태에서, 특징 추출 네트워크의 파라미터를 후속적으로 조절하여, 신경망의 정밀도를 더 향상할 수도 있다. 상기 방법은, 상기 제4 샘플 특징 맵에 대해 활성화 처리를 수행하여, 제3 샘플 타깃 영역을 획득하는 단계; 상기 제3 샘플 타깃 영역과 상기 샘플 이미지의 라벨링 정보에 따라, 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크의 제3 네트워크 손실을 결정하는 단계; 상기 제3 네트워크 손실에 따라 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크를 트레이닝하는 단계를 더 포함한다. 일부 가능한 실시형태에서, 상기 제3 네트워크 손실에 따라 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크를 트레이닝하는 단계는, 상기 샘플 이미지를 통해 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 단계 이후에 수행될 수 있다.

구현예에서, 제4 샘플 특징 맵에 대해 업샘플링 및 크로핑 처리를 수행하기 전에, 제4 샘플 특징 맵에 대해 활성화 처리(예를 들면, softmax 함수를 통해 활성화 처리를 수행할 수 있음)를 수행하여, 제3 샘플 타깃 영역을 획득할 수 있다. 예를 들면, 특징 추출 네트워크(2) 및 특징 추출 네트워크(3)가 획득한 제4 샘플 특징 맵을 통해 제3 샘플 타깃 영역을 예측한다. 구현예에서, 특징 추출 네트워크(2)는 제5 샘플 부분 이미지(z2) 중의 제3 샘플 타깃 영역을 예측할 수 있고, 특징 추출 네트워크(3)는 제5 샘플 부분 이미지(z3) 중의 제3 샘플 타깃 영역을 예측할 수 있다.

구현예에서, z2가 샘플 이미지에서의 대응되는 영역의 라벨링 정보 및 제5 샘플 부분 이미지(z2) 중의 제3 샘플 타깃 영역을 이용하여 특징 추출 네트워크(2)의 제3 네트워크 손실을 획득할 수 있으며, 및/또는, z3이 샘플 이미지에서의 대응되는 영역의 라벨링 정보 및 제5 샘플 부분 이미지(z3) 중의 제3 샘플 타깃 영역을 이용하여 특징 추출 네트워크(3)의 제3 네트워크 손실을 획득할 수 있으며, 구현예에서, 제3 네트워크 손실은 크로스 엔트로피 손실 및 집합 유사도 손실을 포함할 수 있고, 본 발명은 제3 네트워크 손실을 한정하지 않는다.

구현예에서, 각 특징 추출 네트워크의 제3 네트워크 손실을 이용하여 각 특징 추출 네트워크를 트레이닝하여, 더 큰 부분 이미지(예를 들면, z2 및 z3)에서 예측된 샘플 타깃 영역 및 라벨링 정보를 이용하여, 특징 추출 네트워크의 파라미터를 계속하여 조절함으로써, 신경망의 정밀도를 향상한다.

이러한 방식을 통해, 더 큰 부분 이미지 중의 예측 정보를 이용하여 특징 추출 네트워크를 더 트레이닝하여, 신경망의 정밀도를 더 향상할 수 있다.

상기 트레이닝 완료된 후, 트레이닝된 신경망을 이미지 분할 처리에 응용하여, 이미지(예를 들면, CTA 영상) 중의 특정 영역을 분할할 수 있다.

본 발명의 실시예에 따른 이미지 처리 방법은, 처리할 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하는 것을 통해, 다운샘플링을 통해 상이한 크기의 부분 이미지가 모두 특징 추출 네트워크의 입력 요구를 만족하도록 하며, 나아가 복수 개의 스케일의 특징 맵을 획득할 수 있다. 업샘플링 및 컷팅 처리를 통해, 복수 개의 특징 맵의 크기를 통일하고, 가중 평균을 수행하여, 복수 개의 특징 맵에 융합하며, 획득된 제3 특징 맵이 더욱 많은 특징 정보를 포함하도록 하여, 타깃의 디테일을 결정하는 데 유리하고, 타깃의 분포를 결정하는 데 유리하며, 노이즈 간섭을 감소할 수 있다. 부가적으로, 사전 트레이닝된 특징 추출 네트워크 및 샘플 이미지를 통해 신경망을 트레이닝하여, 신경망의 트레이닝 정밀도를 향상할 수 있다. 오버레이 네트워크를 트레이닝하는 것을 통해 오버레이된 가중치를 획득하여, 트레이닝 과정에서 적합한 가중치 파라미터를 선택할 수 있으며, 특징 융합의 효과를 향상하고, 상세 특징 및 전역 특징을 최적화함으로써, 더욱 큰 부분 영역 중의 예측 정보를 이용하여 특징 추출 네트워크를 트레이닝하여, 신경망의 정밀도를 향상하는 데 유리하며, 분할 처리의 정확성을 향상한다.

도 3은 본 발명의 실시예에 따른 이미지 처리 방법의 응용 모식도이고, 도 3에 도시된 바와 같이, 이미지 분할을 위한 신경망은 특징 추출 네트워크(1), 특징 추출 네트워크(2), 특징 추출 네트워크(3), 오버레이 네트워크 및 활성화 계층을 포함할 수 있다.

하나의 가능한 실시형태에서, 샘플 이미지를 통해 상기 신경망을 트레이닝하여, 샘플 이미지는 의료 영상을 포함할 수 있고, 예를 들면, CTA 영상이며, 샘플 이미지는 타깃(예를 들면, 관맥 혈관)에 대한 라벨링 정보를 포함할 수 있다. 샘플 이미지를 대해 전처리할 수 있는 바, 예를 들면, 샘플 이미지에 대해 리샘플링 및/또는 정규화 등 전처리를 수행하고, 전처리된 샘플 이미지에 대해 스크린샷 처리를 수행하여, 기준 크기의 부분 이미지(x1), 기준 크기보다 큰 부분 이미지(x2) 및 x2의 크기보다 큰 부분 이미지(x3)를 얻으며, 스크린샷 방식은 도 3을 참조하고, 샘플 이미지에서 캡쳐 이미지 중심이 동일하지만, 크기가 상이한 3개의 부분 이미지는, 즉, x1, x2 및 x3이며, 부가적으로, 부분 이미지(x2, x3)를 다운샘플링하여, 그 크기를 기준 크기로 축소하고, 부분 이미지(x1), 기준 크기의 x2 및 기준 크기의 x3에 대해 각각 특징 추출 네트워크(1), 특징 추출 네트워크(2) 및 특징 추출 네트워크(3)를 입력하여 트레이닝하여(예를 들면, 각 특징 추출 네트워크의 출력 결과 및 샘플 이미지의 라벨링 정보에 따라 트레이닝함), 사전 트레이닝된 특징 추출 네트워크(1), 특징 추출 네트워크(2) 및 특징 추출 네트워크(3)를 획득한다.

하나의 가능한 실시형태에서, 사전 트레이닝된 특징 추출 네트워크(1), 특징 추출 네트워크(2) 및 특징 추출 네트워크(3), 및 샘플 이미지(상기 샘플 이미지와 동일할 수 있고, 다른 샘플 이미지일 수도 있음)를 통해 신경망을 계속하여 트레이닝할 수 있다. 구현예에서, 샘플 이미지에 대해 전처리 및 스크린샷 처리를 수행하여, 기준 크기의 부분 이미지(x1), 기준 크기보다 큰 부분 이미지(x2) 및 x2의 크기보다 큰 부분 이미지(x3)를 획득할 수 있다. 부분 이미지(x2, x3)을 다운샘플링하여, 그 크기를 기준 크기로 축소하고, 부분 이미지(x1), 기준 크기의 x2 및 기준 크기의 x3을 각각 특징 추출 네트워크(1), 특징 추출 네트워크(2) 및 특징 추출 네트워크(3)에 입력하여, 특징 추출 네트워크(1)는 부분 이미지(x1)에 대응되는 특징 맵을 획득할 수 있으며, 특징 추출 네트워크(2)는 부분 이미지(x2)에 대응되는 특징 맵을 획득할 수 있고, 특징 추출 네트워크(3)는 부분 이미지(x3)에 대응되는 특징 맵을 획득할 수 있다.

하나의 가능한 실시형태에서, 부분 이미지(x2)에 대응되는 특징 맵 및 부분 이미지(x3)에 대응되는 특징 맵을 업샘플링하고, 부분 이미지(x1)에 대응되는 중심 영역을 컷팅할 수 있다. 부가적으로, 부분 이미지(x1)에 대응되는 특징 맵을, 상기 두 개의 컷팅된 특징 맵에 대해 오버레이 처리를 수행하는 바, 예를 들면, 오버레이 네트워크를 통해, 상기 세 개의 특징 맵에 대해 각각 가중치 α, β 및 γ로 가중합하고, 오버레이 결과를 활성화 계층에 입력하여 활성화 처리하며, 제2 샘플 타깃 영역을 획득하고, 즉, 부분 이미지(x1)가 샘플 이미지에서의 대응 영역에서 예측된 특정 영역이다. 상기 특정 영역과 샘플 이미지의 라벨링 정보에 따라 신경망의 네트워크 손실을 결정할 수 있고, 네트워크 손실을 이용하여 상기 신경망을 트레이닝할 수 있다.

하나의 가능한 실시형태에서, 특징 추출 네트워크(2) 및 특징 추출 네트워크(3)가 출력한 특징 맵을 각각 활성화 처리하여, 각각 제3 샘플 타깃 영역을 획득하고, 즉, x2가 샘플 이미지에서의 대응 영역에서 예측한 특정 영역 및 x3이 샘플 이미지에서의 대응 영역에서 예측한 특정 영역이며, 부가적으로, 제3 샘플 타깃 영역 및 샘플 이미지의 라벨링 정보를 이용하여 특징 추출 네트워크(2) 및 특징 추출 네트워크(3)의 네트워크 손실을 각각 결정하고, 특징 추출 네트워크(2) 및 특징 추출 네트워크(3)를 트레이닝한다.

하나의 가능한 실시형태에서, 상기 트레이닝 과정을 완료한 후, 상기 신경망을 이용하여 처리할 이미지에 대해 분할 처리를 수행할 수 있는 바, 예를 들면, 처리할 이미지를 전처리하고, 처리할 이미지에 대해 스크린샷 처리를 수행하여, 기준 크기의 부분 이미지(x1), 기준 크기보다 큰 부분 이미지(x2) 및 x2의 크기보다 큰 부분 이미지(x3)를 획득할 수 있다. 부분 이미지(x2, x3)를 다운샘플링하고, 그 크기를 기준 크기로 축소하며, 부분 이미지(x1), 기준 크기의 x2 및 기준 크기의 x3을 특징 추출 네트워크(1), 특징 추출 네트워크(2) 및 특징 추출 네트워크(3)에 각각 입력한다. 부가적으로, 특징 추출 네트워크(2) 및 특징 추출 네트워크(3)가 출력한 특징 맵에 대해 업샘플링 및 컷팅한 후, 특징 추출 네트워크(1)가 출력한 특징 맵과 오버레이 처리하는 바, 즉, 오버레이 네트워크를 입력한다. 오버레이 네트워크가 출력한 오버레이 결과를 활성화 계층에 입력하여 활성화 처리를 수행하여, x1이 처리할 이미지에서의 대응 영역에서 타깃이 위치한 특정 영역을 획득할 수 있는 바, 예를 들면, 처리할 이미지는 컴퓨터 단층 촬영 혈관조영(Computed tomography angiography, CTA) 영상이고, 상기 신경망은 x1이 처리할 이미지에서의 대응 영역에서 관맥 혈관이 위치한 영역을 분할할 수 있다.

하나의 가능한 실시형태에서, 상기 이미지 처리 방법은 관맥 혈관의 분할 처리에 응용될 수 있으며, 복수 개의 스케일의 특징 정보를 이용하여 분할 정밀도를 향상하여, 관맥 혈관이 위치한 영역을 획득하고, 후속적인 진단(예를 들면, 혈관 중의 플라크, 혈관 막힘, 협착 등 질환의 진단)에 근거를 제공할 수 있다. 상기 이미지 처리 방법은 예를 들면, 초상 분할, 물체 분할 등 분야와 같은 다른 분야의 이미지 분할 처리에 응용될 수도 있는 바, 본 발명은 상기 이미지 처리 방법의 응용 분야를 한정하지 않는다.

본 발명의 실시예의 이미지 처리 방법은 임상의 보조적인 진단에 응용될 수 있는 바, 영상과 의사 작업량을 감소해주는 도잇에 진단의 정확도를 향상할 수 있다. 일반적으로, CTA 영상을 촬영한 환자에 대해 혈관 질병을 진단하는 과정은 하기와 같은 바, 우선 영상과 의사/웍스테이션에서 관맥 혈관의 윤곽을 그리고, 이어서 혈관에 대응되는 중심선을 추출하며, 그 다음 중심선에 따라 곡면 재구성(Curved Planar Reformatted, CPR) 영상을 생성하고, CPR 영상에 따라 혈관 중의 플라크를 인식하며, 협착 정도를 추정하여 최종적으로 진단 보고서를 출력한다. 볼 수 있다시피, 전체 진단 과정에서, 관맥 혈관을 분할하는 것은 매우 관건적이다. 한편으로, 의사가 윤곽을 그릴 때 대량의 시간과 정력이 소모되는데, 상이한 경험의 의사가 그린 윤곽은 비교적 큰 차이가 있다. 다른 한편으로, 기존의 웍스테이션에서 제공하는 분할 결과는 일반적으로 대락적인 것으로서, 실제 임상 수요를 만족할 수 없다. 따라서, 본 발명의 실시예의 제공은 고효율적이고 정확한 관맥 혈관 분할 수요를 만족할 수 있다.

CTA 영상은 심혈관 질병을 검출하는 주요한 영상 수단 중의 하나이다. CTA 영상에서 심장 관맥 혈관을 정확하게 분할하는 것은 심혈관 질환의 진단 및 치료에 대한 기초이다. 그러나, 관맥 혈관에 대한 표시는 매우 어렵고, 관련된 공개 데이터가 비교적 적으며 연구 작업의 진행이 쉽지 않다.

통상적인 혈관 협착 검출 방법은 일반적으로 크게 두 가지로 나뉘는 바, 하나는 정확한 낭강 분할에 그레이스케일 임계 값 또는 정상적인 혈관 직경의 추정을 결합하여 협착을 검출하는 방법이고; 다른 하나는 중심선에 따라 추출된 특징을 사용하여 직접 플라크를 검출하는 방법으로, 검출하여 얻은 플라크가 협착에 대한 정도를 추정하는 것이며, 이러한 방법은 협착의 검출이 아닌 플라크의 검출에 더 치중한다. 여기서, 첫 번째에서 언급한 낭강 분할 방법은 기존의 방법이며, 영역 증장, 영상 분할 알고리즘 또는 레벨 세트 등을 포함한다.

그러나, 관맥 혈관의 분할 난이도가 비교적 크기에, 종래 방법의 연구에서 비교적 큰 돌파가 없다. 최근 몇 년간, 딥러닝의 발전에 따라, 신경망은 혈관 분할 태스크에 응용되었다. 관련 기술에서 3개 직교 시각의 2차원(Two Dimensions, 2D) 이미지를 입력하였고, 25개 콘볼루션 신경망 및 2개의 완전 콘볼루션 네트워크를 사용하여 기관을 분할하는 바, 그 중에는 관맥 혈관의 추출도 포함되었다. 다른 한 관련 기술에서는 DeepMedic 구조를 3차원 (Three Dimensions, 3D) 관맥 분할에 응용하는 것을 제공하였다. 또 다른 관련 기술에서는 다중 채널의 3D UNet네트워크를 사용하여 분할하고, 다중 채널의 입력은 원시 CTA 영상 및 Frangi 필터를 사용하여 처리된 확률도를 포함한다. 딥러닝 방법은 대량의 주석 데이터를 사용하여 트레이닝해야 하며, 더군다나 관맥 혈관의 표시 난이도는 상대적으로 비교적 크기에, 이와 관련된 작업은 매우 결핍하고 최적화 가능한 공간이 비교적 크다.

관맥 혈관 타깃 비교적 작고 복잡하기에, 다른 노이즈(예를 들면, 폐 혈관)의 간섭을 쉽게 받으므로, 분할 난이도가 비교적 크다. 본 발명의 실시예에서, 하나 이상의 스케일의 특징 정보에 결부하여, 디테일 정보를 주시하는 동시에 위양성율(False Positive Rate)을 효과적으로 감소하여, 더욱 정확한 분할 결과를 얻는다.

상이한 스케일의 특징 정보를 더욱 합리하고 효과적으로 이용하기 위해, 본 발명의 실시예는 자기 적응형 네트워크 손실을 사용하여, 상이한 스케일의 특징에 대해 하나의 적합한 네트워크 손실을 학습한다.

네트워크 손실은 크로스 엔트로피 손실 및 집합 유사도 손실을 포함하고, 크로스 엔트로피 손실은 관상 구조 물체를 주시하며, 비교적 높은 재검률을 가진다. 집합 유사도 손실은 관맥 혈관의 전체 구조를 주시하며, 비교적 높은 정확도를 가지며; 양자의 결합은 더욱 정확한 분할 결과를 획득할 수 있다. 이 외에, 가중치의 크로스 엔트로피 손실 함수는 불균형적인 전경 및 배경 분포의 문제를 비교적 바람직하게 해결할 수도 있다.

본 발명의 실시예에서, 우선 샘플 이미지에 대해 일련의 전처리 조작을 수행하여, 하나 이상의 스케일의 CTA 영상을 얻고, 그 다음 상이한 스케일의 CTA 영상을 사전 트레이닝하여, 특징 추출 네트워크(1)(net1), 특징 추출 네트워크(2)(net2), 특징 추출 네트워크(3)(net3) 3개의 사전 트레이닝 모델을 각각 얻으며, 이어서 상이한 스케일 특징의 융합 전략을 학습하고, 최종적으로 전체 신경망을 미세하게 조절하여 최종적인 분할 결과를 출력한다.

상이한 환자의 CTA 영상의 해상도에 차이가 있고, 동일한 이미지 x, y 및 z 세 개 방향의 해상도 역시 약간 상이하므로, CTA 영상에 대해 리샘플링 조작을 수행하여, 동일한 해상도에 도달함으로써, 네트워크 입력의 수요를 만족할 수 있다. 이 외에, 신경망이 안정적으로 트레이닝되도록 하기 위해, 리샘플링된 이미지에 대해 정규화 조작을 수행할 수 있다.

상이한 스케일의 CTA 영상에 대응되는 특징 정보를 더욱 잘 결정하기 위해, 본 발명의 실시예는 각각 세 가지 스케일의 이미지의 모델을 사전 트레이닝할 수 있다. 세 개의 신경망 모델의 입력은 각각 기준 크기의 제1 부분 이미지(x1), 기준 크기보다 큰 제2 부분 이미지(x2) 및 기준 크기보다 큰 제2 부분 이미지(x3)이며, x1, x2 및 x3의 중심은 일치하게 유지할 수 있으나, 상이한 크로핑 크기를 통해 획득할 수 있다. x2 및 x3을 신경망에 입력하기 전에 다운샘플링 조작을 통해 x1과 동일한 크기로 복구할 수 있으며, 그 후 세 개의 신경망 모델은 상이한 크기에 대응되는 감독 정보에서 각자 트레이닝되기에, 서로 간섭하지 않으며 net1, net2 및 net3 세 개의 사전 트레이닝 모델을 얻는다.

상이한 스케일의 특징 정보를 더욱 잘 이용하기 위해, 본 발명의 실시예는 자가 적응 학습의 가중 방식으로 상이한 스케일의 특징을 취합할 수 있다. 자가 적응 학습의 가중 방식은 상이한 스케일의 특징을 취합하여 구현하는 방식은, net1, net2, net3에서 추출한 특징 불변을 유지하고, α, β, γ를 통해 특징을 가중 취합하며, 가중 취합된 후의 특징은 몇 층의 콘볼루션 계층을 통해 최종적인 분할 결과를 얻는다.

더욱 정확한 분할 결과를 얻기 위해, 본 발명의 실시예는 세 개의 상이한 크기의 샘플 이미지에서 타깃의 라벨링 정보(라벨)를 사용하여 감독함으로써, 복수 개의 크기 특징에 비교적 큰 변화가 발생하지 않는 것을 보장하여, 가중 파라미터 및 네트워크 파라미터를 조절할 수 있으며, 조절된 후의 가중 파라미터 및 네트워크 파라미터의 연계가 더욱 긴밀해지도록 한다.

CTA 영상의 관맥 혈관 표시의 제한으로 인해, 관련 기술에서 관맥 혈관 분할에 대한 연구가 비교적 적고, 방법이 비교적 통상적이며, 예를 들면, 딥러닝 프레임워크에서 고정 크기의 조각 이미지를 예를 들면 U-Net 등 분할 네트워크에 입력하고, 분할 결과를 출력한다. 그러나, 관맥 혈관은 타깃 비교적 작고 분포가 복잡하기에, 다른 노이즈(예를 들면, 폐 혈관)의 간섭을 쉽게 받으며, 따라서, 본 발명의 실시예에서 상이한 크기의 특징 정보에 결합하여, 분할 결과를 공동으로 출력하는 방안을 제기하였는 바, 작은 크기의 CTA 영상의 입력을 통해, 신경망이 혈관의 디테일한 정보를 더욱 주시하도록 하고, 비교적 큰 크기의 CTA 영상을 입력하며, 신경망에 더욱 큰 수용야를 제공하여, 혈관의 전반적인 분포를 주시함으로써, 복수 개의 크기의 특징을 융합할 수 있는 바, 디테일도 함께 고려하며 위양성율을 효과적으로 감소할 수 있다.

관련 기술에서 일반적으로 인위 고정 하이퍼 파라미터의 방식을 통해 다양한 특징을 융합하지만, 이러한 방식으로 최적의 하이퍼 파라미터를 선택하기 어렵고, 특징 융합의 최대 작용을 발휘할 수 없다. 본 발명의 실시예는 오버레이 네트워크를 트레이닝하는 것을 통해 오버레이된 가중치를 획득하여, 트레이닝 과정에서 적합한 가중치 파라미터를 선택할 수 있으며, 이로써 특징 융합의 효과를 향상하고, 상세 특징 및 전역 특징을 최적화함으로써, 신경망의 정밀도를 향상하는 데 유리하다.

관련 기술의 단지 어느 한 가지 손실 함수만 사용하여 감독 트레이닝을 수행하는 방식과 비교하면, 본 발명의 실시예에서 제공하는 가중의 크로스 엔트로피 손실과 집합 유사도 손실을 사용하여 감독 네트워크 트레이닝을 공동으로 수행함으로써, 더욱 정확한 분할 결과를 획득할 수 있고, 이 외에, 가중의 크로스 엔트로피 손실 함수는 불균형적인 전경, 배경 분포 문제를 비교적 바람직하게 해결할 수도 있다.

본 기술분야의 통상의 기술자는 구체적인 실시형태의 상기 방법에서, 각 단계의 작성 순서는 엄격한 수행 순서를 의미하지 않으며 실시 과정에 그 어떤 한정도 구성하지 않고, 각 단계의 수행 순서는 반드시 그 기능 및 가능한 내재적인 논리로 결정될 수 있음을 이해할 수 있다.

도 4는 본 발명의 실시예에 따른 이미지 처리 장치의 구조 모식도이고, 도 4에 도시된 바와 같이, 상기 장치는, 처리할 이미지에 기반하여 하나 이상의 스케일의 부분 이미지를 획득하는 부분 이미지 획득 모듈(402); 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 하나 이상의 스케일의 부분 이미지에 대응되는 특징 맵을 얻는 특징 추출 모듈(404); 및 상기 하나 이상의 스케일의 부분 이미지에 대응되는 상기 특징 맵에 기반하여 상기 처리할 이미지에 대해 분할 처리를 수행하여, 분할 결과를 얻는 분할 모듈(406)을 더 포함한다.

하나의 가능한 실시형태에서, 상기 부분 이미지 획득 모듈은 또한, 상기 처리할 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 복수 개의 부분 이미지를 획득하도록 구성되며, 여기서, 상기 복수 개의 부분 이미지는 기준 크기의 제1 부분 이미지, 및 상기 기준 크기보다 큰 제2 부분 이미지를 포함하며, 상기 복수 개의 부분 이미지의 이미지 중심은 동일하다.

하나의 가능한 실시형태에서, 상기 특징 맵은 제1 특징 맵 및 제2 특징 맵을 포함하고; 상기 특징 추출 모듈은 또한, 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하도록 구성된다.

하나의 가능한 실시형태에서, 상기 분할 모듈은 또한, 상기 제1 특징 맵과 상기 제2 특징 맵에 대해 오버레이 처리를 수행하여, 제3 특징 맵을 획득하고; 상기 제3 특징 맵에 대해 활성화 처리를 수행하여, 상기 처리할 이미지 중의 특정 영역의 분할 결과를 획득하도록 구성된다.

하나의 가능한 실시형태에서, 상기 특징 추출 모듈은 또한, 상기 제2 부분 이미지에 대해 다운샘플링 처리를 수행하여, 상기 기준 크기의 제3 부분 이미지를 획득하고; 상기 제1 부분 이미지 및 상기 제3 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵, 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하도록 구성된다.

하나의 가능한 실시형태에서, 상기 분할 모듈은 또한, 상기 제2 특징 맵에 대해 업샘플링 처리를 수행하여, 제4 특징 맵을 획득하고, 상기 제4 특징 맵과 상기 제1 특징 맵의 크기의 비는, 상기 제2 부분 이미지와 상기 제1 부분 이미지의 크기의 비와 동일하며; 상기 제4 특징 맵에 대해 크로핑 처리를 수행하여, 제5 특징 맵을 획득하고, 상기 제5 특징 맵과 상기 제1 특징 맵의 크기는 일치하며; 상기 제1 특징 맵과 상기 제5 특징 맵에 대해 가중합 처리를 수행하여, 상기 제3 특징 맵을 획득하도록 구성된다.

하나의 가능한 실시형태에서, 상기 특징 추출 처리를 수행하는 것은, 복수 개의 특징 추출 네트워크를 사용하여 처리하는 것을 포함하고; 상기 오버레이 처리 또는 상기 가중합 처리를 수행하는 것은, 오버레이 네트워크를 사용하여 처리하는 것을 포함하며; 상기 분할 처리를 수행하는 것은, 활성화 계층을 사용하여 처리하는 것을 포함하고; 상기 장치는, 샘플 이미지를 통해 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 트레이닝 모듈을 더 포함한다.

하나의 가능한 실시형태에서, 상기 트레이닝 모듈은 또한, 상기 샘플 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 상기 기준 크기의 제4 샘플 부분 이미지, 및 상기 기준 크기보다 큰 제5 샘플 부분 이미지를 획득하고; 상기 제5 샘플 부분 이미지에 대해 다운샘플링 처리를 수행하여, 상기 기준 크기의 제6 샘플 부분 이미지를 획득하며; 상기 제4 샘플 부분 이미지 및 상기 제6 샘플 부분 이미지를 대응되는 특징 추출 네트워크에 각각 입력하고 특징 추출 처리를 수행하여, 상기 제4 샘플 부분 이미지에 대응되는 제3 샘플 특징 맵, 및 상기 제6 샘플 부분 이미지에 대응되는 제4 샘플 특징 맵을 획득하고; 상기 제4 샘플 특징 맵에 대해 업샘플링 처리 및 크로핑 처리를 수행하여, 제5 샘플 특징 맵을 획득하며; 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵을 상기 오버레이 네트워크에 입력하여, 제6 샘플 특징 맵을 획득하고; 상기 제6 샘플 특징 맵을 상기 활성화 계층에 입력하고 활성화 처리를 수행하여, 상기 샘플 이미지의 제2 샘플 타깃 영역을 획득하며; 상기 제2 샘플 타깃 영역 및 상기 샘플 이미지의 라벨링 정보에 따라, 제2 네트워크 손실을 결정하고; 상기 제2 네트워크 손실에 따라, 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하도록 구성된다.

하나의 가능한 실시형태에서, 상기 트레이닝 모듈은 또한, 상기 오버레이 네트워크를 통해 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵에 대해 가중합 처리를 수행하여, 상기 제6 샘플 특징 맵을 획득하도록 구성된다.

하나의 가능한 실시형태에서, 상기 트레이닝 모듈은 또한, 상기 제4 샘플 특징 맵에 대해 활성화 처리를 수행하여, 제3 샘플 타깃 영역을 획득하는 단계; 상기 제3 샘플 타깃 영역과 상기 샘플 이미지의 라벨링 정보에 따라, 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크의 제3 네트워크 손실을 결정하고; 상기 제3 네트워크 손실에 따라 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크를 트레이닝하도록 구성된다.

이해할 수 있는 것은, 본 발명에서 언급된 상기 각 방법 실시예가 원리 논리를 위배하지 않는 경우, 모두 서로 상호 결합하여 결합된 후의 실시예를 형성할 수 있으며, 편폭의 제한으로 인해, 본 발명은 서술하지 않는다. 본 기술분야의 통상의 기술자 이해할 수 있는 것은, 실시형태의 상기 방법에서, 각 단계의 수행 순서는 그 기능 및 가능한 내재적인 논리에 따라 결정해야 한다.

이 외에, 본 발명은 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체, 프로그램을 더 제공하였고, 상기 내용은 모두 본 발명에서 제공하는 임의의 한 가지 이미지 처리 방법을 구현하기 위한 것으로서, 상응한 기술적 해결수단 및 서술은 방법 부분의 상응한 기재를 참조 바라며, 더 서술하지 않는다.

일부 실시예에서, 본 발명의 실시예에서 제공하는 장치가 구비하는 기능 또는 포함하는 모듈은 윗 문장의 방법 실시예에서 서술된 방법을 수행하도록 구성되며, 그 구현은 윗 문장의 방법 실시예의 서술을 참조 가능하고, 간결함을 위해 여기서 더 서술하지 않는다.

본 발명의 실시예에서는 컴퓨터 프로그램 명령이 저장되는 컴퓨터 판독 가능 저장 매체를 제공하는 바, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우 상기 방법을 구현한다. 컴퓨터 판독 가능 저장 매체 휘발성 컴퓨터 판독 가능 저장 매체 또는 비휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.

본 발명의 실시예는 전자 기기를 더 제공하는 바, 프로세서; 및 프로세서 실행 가능한 명령을 저장하는 메모리를 포함하되; 여기서, 상기 프로세서는 상기 메모리에 저장된 명령을 호출하여, 상기 방법을 수행하도록 구성된다.

본 발명의 실시예에서는 컴퓨터 프로그램 제품을 더 제공하는 바, 컴퓨터 판독 가능 코드를 포함하되, 컴퓨터 판독 가능 코드가 기기에서 수행될 경우, 기기 중의 프로세서는 상기 임의의 실시예에서 제공하는 이미지 처리 방법의 명령을 실행한다.

본 발명의 실시예에서는 다른 컴퓨터 프로그램 제품을 더 제공하는 바, 컴퓨터 판독 가능 명령을 저장하기 위한 것이고, 명령이 실행될 경우 컴퓨터가 상기 임의의 실시예에서 제공하는 이미지 처리 방법의 조작을 수행하도록 한다.

전자 기기는 단말기, 서버 또는 다른 형태의 기기로 제공될 수 있다.

도 5는 본 발명의 실시예에 따른 전자 기기(500)의 블록도이다. 예를 들어, 전자 기기(500)는 모바일 전화, 컴퓨터, 디지털 방송 단말기, 메시지 송수신 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 헬스 기기, 개인 휴대 정보 단말기 등 단말기일 수 있다.

도 5를 참조하면, 전자 기기(500)는 프로세싱 컴포넌트(502), 메모리(504), 전원 컴포넌트(506), 멀티미디어 컴포넌트(508), 오디오 컴포넌트(510), 입출력(I/O) 인터페이스(512), 센서 컴포넌트(514) 및 통신 컴포넌트(516) 중 하나 이상의 컴포넌트를 포함할 수 있다.

프로세싱 컴포넌트(502)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(500)의 전체 동작을 제어한다. 프로세싱 컴포넌트(502)는, 상기 방법의 전부 또는 일부 단계를 완료하도록 하나 이상의 프로세서(520)를 포함하여 명령을 실행한다. 이외에, 프로세싱 컴포넌트(502)는, 프로세싱 컴포넌트(502)와 다른 컴포넌트 사이의 인터랙션을 진행하도록 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(502)는, 멀티미디어 모듈(508)과 프로세싱 컴포넌트(502) 사이의 인터랙션을 편리하게 진행하도록 멀티미디어 모듈을 포함할 수 있다.

메모리(504)는, 정적 랜덤 액세스 메모리(Static RAM, SRAM), 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리(Electrically EPROM, EEPROM), 소거 가능한 프로그램 가능 판독 전용 메모리(Erasable PROM, EPROM), 프로그램 가능 판독 전용 메모리(Programmable ROM, PROM), 판독 전용 메모리(Read-Only Memory, ROM), 자기 메모리, 플래시 메모리, 디스크 또는 광 디스크와 같은 임의의 유형의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(506)는 전자 기기(500)의 다양한 컴포넌트에게 전력을 제공한다. 전원 컴포넌트(506)는 전원 관리 시스템, 하나 이상의 전원, 및 전자 기기(500)의 전력 생성, 관리 및 할당과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(508)는 상기 전자 기기(500)와 사용자 사이에 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에서, 스크린은 액정 디스플레이(Liquid Crystal Display, LCD) 및 터치 패널(Touch Panel, TP)을 포함할 수 있다. 만약, 스크린이 터치 패널을 포함하면, 사용자로부터 입력 신호를 수신하도록 스크린은 터치 스크린으로 구현될 수 있다. 터치 패널은, 패널에서의 터치, 슬라이드, 터치 패널의 제스처를 감지하기 위한 하나 이상의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라 상기 터치 또는 슬라이드 동작에 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에서, 멀티미디어 컴포넌트(508)는 하나의 전방 카메라 및/또는 후방 카메를 포함한다. 전자 기기(500)가 촬영 모드 또는 영상 모드와 같은 동작 모드일 경우, 전방 카메라 및/또는 후방 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 각각의 전방 카메라와 후방 카메라는 하나의 고정식 광학 렌즈 시스템 또는 초점 거리 및 광학 줌 기능을 가질 수 있다.

오디오 컴포넌트(510)는 오디오 신호를 출력 및/또는 입력한다. 예를 들어, 오디오 컴포넌트(510)는 하나의 마이크(Microphone, MIC)를 포함하고 전자 기기(500)가 통화 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드일 경우, 마이크는 외부 오디오 신호를 수신한다. 수신된 오디오 신호는 메모리(504)에 저장되거나 통신 컴포넌트(516)를 통해 발송될 수 있다. 일부 실시예에서, 오디오 컴포넌트(510)는 오디오 신호를 출력하기 위한 스피커를 포함한다.

I/O 인터페이스(512)는 프로세싱 컴포넌트(502)와 주변 장치 인터페이스 모듈 사이의 인터페이스를 제공하며, 상기 주변 장치 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지는 않는다.

센서 컴포넌트(514)는 다양한 양태의 상태 평가를 전자 기기(500)에 제공하기 위한 하나 이상의 센서를 포함한다. 예를 들어, 센서 컴포넌트(514)는 전자 기기(500)의 온/오프 상태, 컴포넌트의 상대적 위치를 감지할 수 있고, 예를 들어, 상기 컴포넌트는 전자 기기(500)의 디스플레이 및 키패드이고 센서 컴포넌트(514)는 전자 기기(500) 또는 전자 기기(500)의 컴포넌트의 위치 변화, 사용자와 전자 기기(500) 사이의 접촉 여부, 전자 기기(500) 방위 또는 가속/감속 및 전자 기기(500)의 온도 변화를 감지할 수 있다. 센서 컴포넌트(514)는 물리적 접촉없이 주변 물체의 존재를 감지하는 근접 센서를 포함할 수 있다. 센서 컴포넌트(514)는 이미징 애플리케이션에 사용하기 위한 CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge-Coupled Device) 이미지 센서와 같은 광 센서를 더 포함할 수 있다. 일부 실시예에서, 상기 센서 컴포넌트(514)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(516)는 전자 기기(500)와 다른 기기 사이의 유선 또는 무선 방식의 통신이 용이하도록 구성된다. 전자 기기(500)는 WiFi(Wireless Fidelity), 2G 또는 3G, 또는 이들의 조합과 같은 통신 표준에 기반한 무선 네트워크에 액세스할 수 있다. 예시적인 일 실시예에서, 통신 컴포넌트(516)는 방송 채널을 통해 외부 방송 관리 시스템으로부터 방송 신호 또는 방송 관련 정보를 수신한다. 예시적인 일 실시예에서, 상기 통신 컴포넌트(516)는 근거리 통신을 촉진하는 근거리 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역(Ultra Wide Band, UWB) 기술, 블루투스(Blue Tooth, BT) 기술 및 다른 기술 기반으로 구현될 수 있다.

예시적인 실시예에서, 전자 기기(500)는 하나 이상의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디티절 신호 프로세서 기기(DSP Device, DSPD), 프로그램 가능 논리 소자(Programmable Logic Device, PLD), 필드 프로그램 가능 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 소자에 의해 상기 방법을 실행할 수 있다.

예시적인 실시예에서, 상기 방법을 수행하기 위해 전자 기기(500)의 프로세서(820)에 의해 실행 가능한 명령을 포함하는 메모리(504)와 같은 명령을 포함하는 비휘발성 컴퓨터 판독 가능한 기록매체를 더 제공한다.

도 6은 일 예시적 실시예에 따른 전자 기기(600)의 블록도이다. 예를 들어, 전자 기기(600)는 하나의 서버로 제공될 수 있다. 도 6을 참조하면 전자 기기(600)는 프로세싱 컴포넌트(602)를 포함하고 이는 또한 하나 또는 다수의 프로세서 및 프로세싱 컴포넌트(602)가 실행 가능한 명령, 예를 들어 애플리케이션 프로그램을 저장하기 위한 메모리(604)를 대표로 하는 메모리 리소스를 포함한다. 메모리(604)에 저장된 애플리케이션 프로그램은 하나 또는 하나 이상의 각각의 명령과 대응되는 모듈을 포함할 수 있다. 이 밖에 프로세싱 컴포넌트(602)는 명령을 실행하여 상기 방법을 수행한다.

전자 기기(600)는 전자 기기(600)의 전원관리를 실행하도록 구성된 하나의 전원 컴포넌트(606), 전자 기기(600)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(608), 및 하나의 입출력(I/O) 인터페이스(610)를 더 포함할 수 있다. 전자 기기(600)는 메모리(604)에 저장된 운영체제, 예를 들어 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 등과 같은 것을 작동시킬 수 있다.

예시적인 실시예에서, 비휘발성 컴퓨터 판독 가능 저장 매체를 더 제공하는 바, 예를 들어 컴퓨터 프로그램 명령을 포함하는 메모리(604)를 포함하며, 상기 컴퓨터 프로그램 명령은 전자 기기(600)의 프로세싱 컴포넌트(602)에 의해 실행되어 상기 방법을 완성한다.

본 발명은 시스템, 방법 및/또는 컴퓨터 프로그램 제품일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 저장 매체를 포함할 수 있고, 프로세서가 본 발명의 각 양태를 구현하는 컴퓨터 판독 가능 프로그램 명령이 로딩되어 있다.

컴퓨터 판독 가능 저장 매체는 명령에 의해 수행되는 기기가 사용하는 명령을 보존 및 저장 가능한 유형의 기기일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전기적 저장 기기, 마그네틱 저장 기기, 광 저장 기기, 전자 저장 기기, 반도체 저장 기기 또는 상기 임의의 적합한 조합일 수 있지만 이에 한하지 않는다. 컴퓨터 판독 가능 저장 매체의 예는(비 완전한 리스트), 휴대형 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능 프로그램가능 판독전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), CD 롬(CD-ROM), DVD, 메모리 스틱, 플로피 디스켓, 기계 코딩 기기, 예를 들어 이에 명령이 저장된 펀칭 카드 또는 요홈 내의 돌기 구조, 및 상기 임의이 적합한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능 저장 매체는 예컨대 무선 전자파 또는 다른 자유 전파의 전자파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자파(광섬유 케이블의 광펄스), 또는 전선을 통해 전송되는 전자 신호와 같은 일시적 신호 자체로 해석되지 않는다.

여기서 서술되는 컴퓨터 판독 가능 프로그램 명령은 컴퓨터 판독 가능 저장 매체에서 각 컴퓨팅/처리 기기로 다운로드할 수 있거나, 또는 네트워크, 예를 들어 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선망을 통해 외부 컴퓨터 또는 외부 저장 기기에 다운로드될 수 있다. 네트워크는 구리 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 엣지 서버를 포함할 수 있다. 각각의 컴퓨팅/처리 기기 중의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크에서 컴퓨터 판독 가능 프로그램 명령을 수신하고, 상기 컴퓨터 판독 가능 프로그램 명령을 전달하여, 각 컴퓨팅/처리 기기의 컴퓨터 판독 가능 저장 매체에 저장되도록 한다.

본 발명의 동작을 수행하기 위한 컴퓨터 프로그램 명령은 컴포넌트 명령, 명령 세트 아키텍처(ISA) 명령, 기계 명령, 기계 관련 명령, 마이크로코드, 펌웨어 명령, 상태 설정 데이터, 또는 하나 또는 여러 가지 프로그래밍 언어의 임의의 조합으로 프로그래밍된 소스 코드 또는 타깃 코드일 수 있고, 상기 프로그래밍 언어는 Smalltalk, C++를 비롯한 객체 지향 프로그래밍 언어와 "C" 언어 또는 유사한 프로그래밍 언어를 비롯한 기존 절차적 프로그래밍 언어를 포함한다. 컴퓨터 판독 가능 프로그램 명령은 완전히 사용자의 컴퓨터에서 실행되거나, 부분적으로 사용자의 컴퓨터에서 실행되거나, 독립형 소프트웨어 패키지로서 실행되거나, 일부는 사용자의 컴퓨터에서 실행되고 일부는 원격 컴퓨터에서 실행되거나, 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터의 경우 원격 컴퓨터는 LAN 또는 WAN을 포함한 모든 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 외부 컴퓨터에 연결될 수 있다(예를 들어, 인터넷 서비스 제공 업체를 이용하여 인터넷을 통해 연결). 일부 실시예에서, 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 이용하여, 예를 들어 프로그래머블 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA) 또는 프로그래머블 논리 어레이(PLA)와 같은 전자 회로를 개인 맞춤하며, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령을 실행함으로써, 본 발명의 각 양태를 구현한다.

각 하나의 실시예에 대한 설명은 각 실시예 사이의 상이한 점을 강조하는 경향이 있으며, 동일하거나 유사한 점은 서로 참조 가능하며, 간결함을 위해 본문에서 더 설명하지 않는다.

본문에서 용어 “및/또는”은 단지 연관 대상의 연관 관계를 설명하기 위한 거스오서, 세 가지 관계가 존재함을 표시할 수 있는 바, 예를 들면 A및/또는 B는, A가 단독으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독으로 존재하는 세 가지 상황을 표시할 수 있다.

여기서 본 발명의 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 본 발명의 각 양태를 서술하였다. 반드시 이해해야 할 것은, 흐름도 및/또는 블록도의 각각의 블록 및 흐름도 및/또는 블록도에서 각 블록의 조합은 모두 컴퓨터 판독 가능 프로그램 명령에 의해 구현된다.

이러한 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 전용 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서에 제공됨으로써, 기계를 생산할 수 있도록 하며, 이러한 명령이 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서를 통해 실행될 경우, 흐름도 및/또는 블록도 중의 하나 또는 복수 개의 블록에 규정된 기능/동작을 구현하는 장치를 생성한다. 이러한 컴퓨터 판독 가능 프로그램 명령을 컴퓨터 판독 가능 저장 매체에 저장할 수도 있으며, 이러한 명령은 컴퓨터, 프로그래머블 데이터 처리 장치 및/또는 다른 기기가 특정 방식으로 작동하도록 함으로써, 명령이 저장된 컴퓨터 판독 가능 매체는 하나의 제조품을 포함하고, 이는 흐름도 및/또는 블록도 중의 하나 또는 복수 개의 블록에 규정된 기능/동작을 구현하는 각 양태의 명령을 포함한다.

컴퓨터 판독 가능 프로그램 명령을 컴퓨터, 다른 프로그래머블 데이터 처리 장치, 또는 다른 기기에 로딩하여, 컴퓨터, 다른 프로그래머블 데이터 처리 장치 또는 다른 기기에서 일련의 조작 단계가, 컴퓨터 구현의 과정을 생성하도록 하여, 컴퓨터, 다른 프로그래머블 데이터 처리 장치, 또는 다른 기기에서 실행되는 명령이 흐름도 및/또는 블록도 중의 하나 또는 복수 개의 블록에 규정된 기능/동작을 구현하도록 할 수도 있다.

도면의 흐름도 및 블록도는 본 발명의 복수 개의 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 아키텍처, 기능 및 동작을 도시한다. 이 점에서, 흐름도 또는 블록도의 각 블록은 지정된 논리적 기능을 구현하기 위한 하나 또는 하나 이상의 실행 가능한 명령을 포함하는 모듈, 프로그램 세그먼트 또는 코드의 일부를 나타낼 수 있다. 일부 대안적인 구현에서, 블록에 표기된 기능은 또한 도면에 도시된 것과 다른 순서로 구현될 수 있음에 유의해야 한다. 예를 들어, 연속적으로 표현된 2개의 블록은 실제로 병렬 실행될 수 있고, 관련 기능에 따라 때때로 역순으로 실행될 수도 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도에서 블록의 조합은 지정된 기능 또는 동작을 수행하는 전용 하드웨어 기반 시스템에서 구현될 수 있거나 전용 하드웨어와 컴퓨터 명령어를 조합하여 구현할 수도 있음에 유의해야 한다.

상기 컴퓨터 프로그램 제품은 하드웨어, 소프트웨어 또는 그 결합의 방식으로 구현된다. 하나의 선택 가능한 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되며, 다른 선택 가능한 실시예에서, 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 제품으로 구현되고, 예를 들면 소프트웨어 개발 키트(Software Development Kit, SDK) 등이다.

상기와 같이 본 발명의 각 실시예를 서술하였고, 상기 설명은 예시적인 것으로서 완벽한 것이 아니며 공개된 각 실시예에 한정되지도 않는다. 설명되는 각 실시예의 범위와 구상을 벗어나지 않는 전제하에서, 수많은 보정 및 변경은 본 기술분야의 통상의 기술자에게 있어서 모두 자명한 것이다. 본문에서 사용되는 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장 중의 기술의 개선을 가장 잘 해석하기 위한 것이거나, 또는 본 기술분야의 통상의 기술자가 본문에 공개된 각 실시예를 가장 잘 이해하도록 하기 위한 것이다.

본 실시예에서, 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여 특징 맵을 얻고, 획득된 특징 맵을 분할하여, 처리할 이미지를 통해 비교적 작은 부분의 미세 특징, 및 비교적 복잡한 전역 분포 특징을 획득할 수 있으며, 분할 결과의 정확성을 향상한다.

Claims

이미지 처리 방법으로서,
처리할 이미지에 기반하여 하나 이상의 스케일의 부분 이미지를 획득하는 단계;
상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 하나 이상의 스케일의 부분 이미지에 대응되는 특징 맵을 얻는 단계; 및
상기 하나 이상의 스케일의 부분 이미지에 대응되는 상기 특징 맵에 기반하여 상기 처리할 이미지에 대해 분할 처리를 수행하여, 분할 결과를 얻는 단계를 포함하는 이미지 처리 방법.
제1항에 있어서,
상기 처리할 이미지에 기반하여 하나 이상의 스케일의 부분 이미지를 획득하는 단계는,
상기 처리할 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 복수 개의 부분 이미지를 획득하는 단계를 포함하고, 상기 복수 개의 부분 이미지는 기준 크기의 제1 부분 이미지, 및 상기 기준 크기보다 큰 제2 부분 이미지를 포함하며, 상기 복수 개의 부분 이미지의 이미지 중심은 동일한 이미지 처리 방법.
제2항에 있어서,
상기 특징 맵은 제1 특징 맵 및 제2 특징 맵을 포함하고;
상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 하나 이상의 스케일의 부분 이미지에 대응되는 특징 맵을 얻는 상기 단계는,
상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하는 단계를 포함하는 이미지 처리 방법.
제3항에 있어서,
상기 하나 이상의 스케일의 부분 이미지에 대응되는 상기 특징 맵에 기반하여 상기 처리할 이미지에 대해 분할 처리를 수행하여, 분할 결과를 얻는 상기 단계는,
상기 제1 특징 맵과 상기 제2 특징 맵에 대해 오버레이 처리를 수행하여, 제3 특징 맵을 획득하는 단계; 및
상기 제3 특징 맵에 대해 활성화 처리를 수행하여, 상기 처리할 이미지 중의 특정 영역의 분할 결과를 획득하는 단계를 포함하는 이미지 처리 방법.
제3항에 있어서,
상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하는 상기 단계는,
상기 제2 부분 이미지에 대해 다운샘플링 처리를 수행하여, 상기 기준 크기의 제3 부분 이미지를 획득하는 단계; 및
상기 제1 부분 이미지 및 상기 제3 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵, 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하는 단계를 포함하는 이미지 처리 방법.
제4항에 있어서,
상기 제1 특징 맵과 상기 제2 특징 맵에 대해 오버레이 처리를 수행하여, 제3 특징 맵을 획득하는 상기 단계는,
상기 제2 특징 맵에 대해 업샘플링 처리를 수행하여, 제4 특징 맵을 획득하는 단계 - 상기 제4 특징 맵과 상기 제1 특징 맵의 크기의 비는, 상기 제2 부분 이미지와 상기 제1 부분 이미지의 크기의 비와 동일함 - ;
상기 제4 특징 맵에 대해 크로핑 처리를 수행하여, 제5 특징 맵을 획득하는 단계 - 상기 제5 특징 맵과 상기 제1 특징 맵의 크기는 일치함 - ; 및
상기 제1 특징 맵과 상기 제5 특징 맵에 대해 가중합 처리를 수행하여, 상기 제3 특징 맵을 획득하는 단계를 포함하는 이미지 처리 방법.
제6항에 있어서,
상기 특징 추출 처리를 수행하는 것은, 복수 개의 특징 추출 네트워크를 사용하여 처리하는 것을 포함하고; 상기 오버레이 처리 또는 상기 가중합 처리를 수행하는 것은, 오버레이 네트워크를 사용하여 처리하는 것을 포함하며; 상기 분할 처리를 수행하는 것은, 활성화 계층을 사용하여 처리하는 것을 포함하고;
상기 방법은,
샘플 이미지를 통해 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 단계를 더 포함하는 이미지 처리 방법.
제7항에 있어서,
상기 샘플 이미지를 통해 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 단계는,
상기 샘플 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 상기 기준 크기의 제4 샘플 부분 이미지, 및 상기 기준 크기보다 큰 제5 샘플 부분 이미지를 획득하는 단계;
상기 제5 샘플 부분 이미지에 대해 다운샘플링 처리를 수행하여, 상기 기준 크기의 제6 샘플 부분 이미지를 획득하는 단계;
상기 제4 샘플 부분 이미지 및 상기 제6 샘플 부분 이미지를 대응되는 특징 추출 네트워크에 각각 입력하고 특징 추출 처리를 수행하여, 상기 제4 샘플 부분 이미지에 대응되는 제3 샘플 특징 맵, 및 상기 제6 샘플 부분 이미지에 대응되는 제4 샘플 특징 맵을 획득하는 단계;
상기 제4 샘플 특징 맵에 대해 업샘플링 처리 및 크로핑 처리를 수행하여, 제5 샘플 특징 맵을 획득하는 단계;
상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵을 상기 오버레이 네트워크에 입력하여, 제6 샘플 특징 맵을 획득하는 단계;
상기 제6 샘플 특징 맵을 상기 활성화 계층에 입력하고 활성화 처리를 수행하여, 상기 샘플 이미지의 제2 샘플 타깃 영역을 획득하는 단계;
상기 제2 샘플 타깃 영역 및 상기 샘플 이미지의 라벨링 정보에 따라, 제2 네트워크 손실을 결정하는 단계; 및
상기 제2 네트워크 손실에 따라, 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 상기 트레이닝된 복수 개의 특징 추출 네트워크, 상기 트레이닝된 오버레이 네트워크 및 상기 트레이닝된 활성화 계층을 획득하는 단계를 포함하는 이미지 처리 방법.
제8항에 있어서,
상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵을 상기 오버레이 네트워크에 입력하여, 제6 샘플 특징 맵을 획득하는 상기 단계는,
상기 오버레이 네트워크를 통해 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵에 대해 가중합 처리를 수행하여, 상기 제6 샘플 특징 맵을 획득하는 단계를 포함하는 이미지 처리 방법.
제8항에 있어서,
상기 방법은,
상기 제4 샘플 특징 맵에 대해 활성화 처리를 수행하여, 제3 샘플 타깃 영역을 획득하는 단계;
상기 제3 샘플 타깃 영역과 상기 샘플 이미지의 라벨링 정보에 따라, 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크의 제3 네트워크 손실을 결정하는 단계; 및
상기 제3 네트워크 손실에 따라 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크를 트레이닝하는 단계를 더 포함하는 이미지 처리 방법.
이미지 처리 장치로서,
처리할 이미지에 기반하여 하나 이상의 스케일의 부분 이미지를 획득하는 부분 이미지 획득 모듈;
상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 하나 이상의 스케일의 부분 이미지에 대응되는 특징 맵을 얻는 특징 추출 모듈; 및
상기 하나 이상의 스케일의 부분 이미지에 대응되는 상기 특징 맵에 기반하여 상기 처리할 이미지에 대해 분할 처리를 수행하여, 분할 결과를 얻는 분할 모듈을 포함하는 이미지 처리 장치.
제11항에 있어서,
상기 부분 이미지 획득 모듈은 또한, 상기 처리할 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 복수 개의 부분 이미지를 획득하도록 구성되고, 상기 복수 개의 부분 이미지는 기준 크기의 제1 부분 이미지, 및 상기 기준 크기보다 큰 제2 부분 이미지를 포함하며, 상기 복수 개의 부분 이미지의 이미지 중심은 동일한 이미지 처리 장치.
제12항에 있어서,
상기 특징 맵은 제1 특징 맵 및 제2 특징 맵을 포함하고; 상기 특징 추출 모듈은 또한, 상기 하나 이상의 스케일의 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하도록 구성되는 이미지 처리 장치.
제13항에 있어서,
상기 분할 모듈은 또한, 상기 제1 특징 맵과 상기 제2 특징 맵에 대해 오버레이 처리를 수행하여, 제3 특징 맵을 획득하고; 상기 제3 특징 맵에 대해 활성화 처리를 수행하여, 상기 처리할 이미지 중의 특정 영역의 분할 결과를 획득하도록 구성되는 이미지 처리 장치.
제13항에 있어서,
상기 특징 추출 모듈은 또한, 상기 제2 부분 이미지에 대해 다운샘플링 처리를 수행하여, 상기 기준 크기의 제3 부분 이미지를 획득하고; 상기 제1 부분 이미지 및 상기 제3 부분 이미지에 대해 특징 추출 처리를 각각 수행하여, 상기 제1 부분 이미지에 대응되는 제1 특징 맵, 및 상기 제2 부분 이미지에 대응되는 제2 특징 맵을 획득하도록 구성되는 이미지 처리 장치.
제14항에 있어서,
상기 분할 모듈은 또한, 상기 제2 특징 맵에 대해 업샘플링 처리를 수행하여, 제4 특징 맵을 획득하고, 상기 제4 특징 맵과 상기 제1 특징 맵의 크기의 비는, 상기 제2 부분 이미지와 상기 제1 부분 이미지의 크기의 비와 동일하며; 상기 제4 특징 맵에 대해 크로핑 처리를 수행하여, 제5 특징 맵을 획득하고, 상기 제5 특징 맵과 상기 제1 특징 맵의 크기는 일치하며; 상기 제1 특징 맵과 상기 제5 특징 맵에 대해 가중합 처리를 수행하여, 상기 제3 특징 맵을 획득하도록 구성되는 이미지 처리 장치.
제16항에 있어서,
상기 특징 추출 처리를 수행하는 것은, 복수 개의 특징 추출 네트워크를 사용하여 처리하는 것을 포함하고; 상기 오버레이 처리 또는 상기 가중합 처리를 수행하는 것은, 오버레이 네트워크를 사용하여 처리하는 것을 포함하며; 상기 분할 처리를 수행하는 것은, 활성화 계층을 사용하여 처리하는 것을 포함하고;
상기 장치는, 샘플 이미지를 통해 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 트레이닝된 복수 개의 특징 추출 네트워크, 트레이닝된 오버레이 네트워크 및 트레이닝된 활성화 계층을 획득하는 트레이닝 모듈을 더 포함하는 이미지 처리 장치.
제17항에 있어서,
상기 트레이닝 모듈은 또한, 상기 샘플 이미지에 대해 복수 개의 스케일의 스크린샷 처리를 수행하여, 상기 기준 크기의 제4 샘플 부분 이미지, 및 상기 기준 크기보다 큰 제5 샘플 부분 이미지를 획득하고; 상기 제5 샘플 부분 이미지에 대해 다운샘플링 처리를 수행하여, 상기 기준 크기의 제6 샘플 부분 이미지를 획득하며; 상기 제4 샘플 부분 이미지 및 상기 제6 샘플 부분 이미지를 대응되는 특징 추출 네트워크에 각각 입력하고 특징 추출 처리를 수행하여, 상기 제4 샘플 부분 이미지에 대응되는 제3 샘플 특징 맵, 및 상기 제6 샘플 부분 이미지에 대응되는 제4 샘플 특징 맵을 획득하며; 상기 제4 샘플 특징 맵에 대해 업샘플링 처리 및 크로핑 처리를 수행하여, 제5 샘플 특징 맵을 획득하고; 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵을 상기 오버레이 네트워크에 입력하여, 제6 샘플 특징 맵을 획득하며; 상기 제6 샘플 특징 맵을 상기 활성화 계층에 입력하고 활성화 처리를 수행하여, 상기 샘플 이미지의 제2 샘플 타깃 영역을 획득하고; 상기 제2 샘플 타깃 영역 및 상기 샘플 이미지의 라벨링 정보에 따라, 제2 네트워크 손실을 결정하며; 상기 제2 네트워크 손실에 따라, 상기 복수 개의 특징 추출 네트워크, 상기 오버레이 네트워크 및 상기 활성화 계층을 트레이닝하여, 상기 트레이닝된 복수 개의 특징 추출 네트워크, 상기 트레이닝된 오버레이 네트워크 및 상기 트레이닝된 활성화 계층을 획득하도록 구성되는 이미지 처리 장치.
제18항에 있어서,
상기 트레이닝 모듈은 또한, 상기 오버레이 네트워크를 통해 상기 제3 샘플 특징 맵 및 상기 제5 샘플 특징 맵에 대해 가중합 처리를 수행하여, 상기 제6 샘플 특징 맵을 획득하도록 구성되는 이미지 처리 장치.
제18항에 있어서,
상기 트레이닝 모듈은 또한, 상기 제4 샘플 특징 맵에 대해 활성화 처리를 수행하여, 제3 샘플 타깃 영역을 획득하고; 상기 제3 샘플 타깃 영역과 상기 샘플 이미지의 라벨링 정보에 따라, 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크의 제3 네트워크 손실을 결정하며; 상기 제3 네트워크 손실에 따라 상기 제4 샘플 특징 맵에 대응되는 특징 추출 네트워크를 트레이닝하도록 구성되는 이미지 처리 장치.
전자 기기로서,
프로세서; 및
프로세서에 의해 실행 가능한 명령이 저장되는 메모리를 포함하되;
상기 프로세서는 상기 메모리에 저장된 명령을 호출하여, 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행하도록 구성되는 전자 기기.
컴퓨터 판독 가능 저장 매체로서,
컴퓨터 프로그램 명령이 저장되고, 상기 컴퓨터 프로그램 명령이 프로세서에 의해 실행될 경우 제1항 내지 제10항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 판독 가능 저장 매체.
컴퓨터 프로그램 제품으로서,
컴퓨터 판독 가능 코드를 포함하며, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기 중의 프로세서가 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 프로그램 제품.