KR20210110823A

KR20210110823A - 이미지 인식 방법, 인식 모델의 트레이닝 방법 및 관련 장치, 기기

Info

Publication number: KR20210110823A
Application number: KR1020217021261A
Authority: KR
Inventors: 슈앙 양; 지아후이 리; 시아오디 후앙
Original assignee: 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2020-02-26
Filing date: 2020-07-22
Publication date: 2021-09-09
Also published as: TW202133043A; WO2021169161A1; JP2022537781A; CN111461165A; TWI767506B

Abstract

본 출원의 실시예는 이미지 인식 방법, 인식 모델의 트레이닝 방법 및 관련 장치, 기기를 제공하는 바, 여기서, 이미지 인식 방법은, 인식하고자 하는 병리학적 이미지를 획득하는 단계; 인식 모델 중의 검출 서브 모델을 사용하여 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻는 단계; 및 인식 모델 중의 분류 서브 모델을 이용하여 검출 영역에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻는 단계를 포함한다.

Description

이미지 인식 방법, 인식 모델의 트레이닝 방법 및 관련 장치, 기기

관련 출원의 상호 참조

본원 발명은 출원번호가 202010121559.5이고 출원일이 2020년 2월 26일인 중국 특허 출원에 기반하여 제출하였고 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 본원 발명에 원용된다.

본 출원은 인공 지능 기술 분야에 관한 것으로, 특히는 이미지 인식 방법, 인식 모델의 트레이닝 방법 및 관련 장치, 기기에 관한 것이다.

신경망, 딥 러닝 등 인공 지능 기술의 발전과 더불어, 신경망 모델을 트레이닝하고, 트레이닝을 거친 신경망 모델을 이용하여 의료분야의 관련 업무 요구사항을 충족시키며, 이는 점차 사람들의 주목을 받기 시작한다.

관련 업무상, 국내 세포 병리 의사가 심각하게 부족하여, 인공 지능 기술을 활용하여 병리학적 이미지 인식을 지원하여, 병변 세포 등 표적 세포를 선별하는데, 이는 현재 세포 병리 의료 자원이 부족한 상황에서, 중요한 의미를 가지고 있다. 이를 감안하여, 병리학적 이미지에서 표적 세포를 어떻게 정확하고 효율적으로 인식할 것인가 하는 것은 해결해야 할 과제이다.

본 출원의 실시예는 이미지 인식 방법, 인식 모델의 트레이닝 방법 및 관련 장치, 기기를 제공한다.

본 출원의 실시예는 이미지 인식 방법을 제공하는 바, 인식하고자 하는 병리학적 이미지를 획득하는 단계; 인식 모델 중의 검출 서브 모델을 사용하여 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻는 단계; 및 인식 모델 중의 분류 서브 모델을 이용하여 검출 영역에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻는 단계를 포함한다.

따라서, 인식 모델 중의 검출 서브 모델을 사용하여 획득된 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행함으로써, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻은 후, 인식 모델 중의 분석 서브 모델을 이용하여 검출 영역에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻고, 나아가 먼저 표적 세포를 검출할 수 있으며, 그 다음 표적 세포를 분류하여 검출과 분류를 분리함으로써, 병리학적 이미지 중의 표적 세포를 정확하고 효율적으로 인식할 수 있다.

본 출원의 일부 실시예에 있어서, 인식 모델 중의 검출 서브 모델을 사용하여 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻는 단계는, 검출 서브 모델의 제1 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻는 단계 - 이미지 분류 결과는 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되는지 여부를 나타내기 위한 것임 - ; 이미지 분류 결과 인식하고자 하는 병리학적 이미지에 표적 세포가 포함된 것으로 나타나면, 검출 서브 모델의 제2 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻는 단계를 포함한다.

따라서, 검출 서브 모델의 제1 부분을 통해 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻으며, 이미지 분류 결과는 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되는지 여부를 나타내기 위한 것이며, 이미지 분류 결과 인식하고자 하는 병리학적 이미지에 표적 세포가 포함된 것으로 나타나면, 검출 서브 모델의 제2 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻음으로써 표적 세포의 동적 검출을 구현할 수 있어, 표적 세포 인식의 효율을 향상시킨다.

본 출원의 일부 실시예에 있어서, 검출 서브 모델의 제1 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻은 후, 상기 이미지 인식 방법은, 이미지 분류 결과 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되지 않은 것으로 나타나면, 제1 부분은 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되어 있지 않다는 검출 결과 프롬프트를 출력하는 단계를 더 포함한다.

따라서, 이미지 분류 결과 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되지 않은 것으로 나타나면, 제1 부분은 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되어 있지 않다는 검출 결과 프롬프트를 출력하므로, 표적 세포의 동적 검출을 구현할 수 있어, 표적 세포 인식의 효율을 향상시킨다.

본 출원의 일부 실시예에 있어서, 인식 모델 중의 검출 서브 모델을 사용하여 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻는 단계는, 검출 서브 모델의 제3 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 특징 추출을 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 특징을 얻는 단계를 더 포함한다.

따라서, 검출 서브 모델의 제3 부분을 통해 인식하고자 하는 병리학적 이미지에 대해 특징 추출을 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 특징을 얻음으로써, 인식하고자 하는 병리학적 이미지에 대해 먼저 특징 추출을 수행할 수 있고, 다음 후속적으로 이 기초 위에서 검출 서브 모델을 이용하여 다른 처리를 수행함으로써, 모델의 작동 효율을 향상시킴에 있어서 유리하다.

본 출원의 일부 실시예에 있어서, 검출 서브 모델의 제1 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻는 단계는, 검출 서브 모델의 제1 부분을 이용하여 이미지 특징에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻는 단계를 포함한다.

따라서, 검출 서브 모델의 제1 부분을 이용하여 제3 부분이 추출하여 획득한 이미지 특징에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻음으로써, 분류 처리의 정확도를 향상시킬 수 있다.

본 출원의 일부 실시예에 있어서, 검출 서브 모델의 제2 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻는 단계는, 검출 서브 모델의 제2 부분을 이용하여 이미지 특징에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻는 단계를 포함한다.

따라서, 검출 서브 모델의 제2 부분을 이용하여 이미지 특징에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻으며, 표적 세포 인식의 정확도를 향상시킴에 있어서 유리하다.

본 출원의 일부 실시예에 있어서, 제1 부분은 글로벌 분류 네트워크이고, 제2 부분은 이미지 검출 네트워크이며, 제3 부분은 특징 추출 네트워크이고; 여기서, 특징 추출 네트워크는 변형 가능한 컨볼루션 계층, 글로벌 정보 향상 모듈 중의 적어도 하나를 포함한다.

따라서, 변형 가능한 컨볼루션 계층을 포함하도록 특징 추출 네트워크를 설정함으로써, 여러 형태의 표적 세포의 인식 정확도를 향상시킬 수 있으며, 글로벌 정보 향상 모듈 중의 적어도 하나를 포함하도록 특징 추출 네트워크를 설정함으로써, 장거리 특징 및 의존 관계를 갖는 특징을 획득함에 있어서 유리하고, 표적 세포 인식의 정확도를 향상시킴에 있어서 유리하다.

본 출원의 일부 실시예에 있어서, 인식 모델 중의 분류 서브 모델을 이용하여 검출 영역에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻는 단계는, 분류 서브 모델을 이용하여 인식하고자 하는 병리학적 이미지의 검출 영역에 대해 특징 추출을 수행하여, 검출 영역의 이미지 특징을 얻는 단계; 검출 영역의 이미지 특징에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻는 단계를 포함한다.

따라서, 인식하고자 하는 병리학적 이미지의 검출 영역에 대해 특징 추출을 수행함으로써, 검출 영역의 이미지 특징을 얻고, 검출 영역의 이미지 특징에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻음으로써, 분류 처리의 효율을 향상시킴에 있어서 유리하다.

본 출원의 일부 실시예에 있어서, 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함하고, 표적 세포의 카테고리는 표적 세포의 병변 정도를 나타낸다.

따라서, 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함하고, 단일 병변 세포 및 병변 세포 클러스터를 인식하는데 유리할 수 있고, 표적 세포의 카테고리는 표적 세포의 병변 정도를 나타내기 위한 것이므로, 표적 세포의 병변 분류를 구현하는데 유리하다.

본 출원의 실시예는 인식 모델의 트레이닝 방법을 제공하는 바, 인식 모델은 검출 서브 모델 및 분류 서브 모델을 포함하고, 트레이닝 방법은, 제1 샘플 이미지 및 제2 샘플 이미지를 획득하는 단계 - 제1 샘플 이미지에는 표적 세포에 대응되는 실제 영역이 마킹되어 있고, 제2 샘플 이미지에는 표적 세포의 실제 카테고리가 마킹되어 있음 - ; 검출 서브 모델을 이용하여 제1 샘플 이미지에 대해 표적 검출을 수행하여, 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻고, 분류 서브 모델을 이용하여 제2 샘플 이미지에 대해 제1 분류 처리를 수행하여, 표적 세포의 예측 카테고리를 얻는 단계; 실제 영역과 예측 영역에 기반하여, 검출 서브 모델의 제1 손실 값을 결정하고, 실제 카테고리와 예측 카테고리에 기반하여, 분류 서브 모델의 제2 손실 값을 결정하는 단계; 및 제1 손실 값 및 제2 손실 값을 이용하여, 검출 서브 모델 및 분류 서브 모델의 파라미터를 상응하게 조정하는 단계를 포함한다.

따라서, 트레이닝 과정에서, 먼저 표적 세포를 검출한 후, 표적 세포를 분류하여 검출과 분류를 분리함으로써, 샘플 데이터 카테고리가 불균형적인 문제를 해결하여, 트레이닝하여 획득된 모델의 정확도를 향상시키는데 유리하므로, 표적 세포 인식의 정확도 및 효율을 향상시킴에 있어서 도움이 될 수 있다.

본 출원의 일부 실시예에 있어서, 검출 서브 모델을 이용하여 제1 샘플 이미지에 대해 표적 검출을 수행하여, 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻는 단계는, 제1 샘플 이미지에 대해 제2 분류 처리를 수행하여, 제1 샘플 이미지의 이미지 분류 결과를 얻는 단계 - 이미지 분류 결과는 제1 샘플 이미지에 표적 세포가 포함되는지 여부를 나타내기 위한 것임 - ; 이미지 분류 결과가 제1 샘플 이미지에 표적 세포가 포함된 것으로 나타나면, 상기 제1 샘플 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 예측 영역을 얻는 단계를 포함한다.

따라서, 트레이닝 과정에서, 이미지 분류 결과가 제1 샘플 이미지에 표적 세포가 포함된 것으로 나타나면, 제1 샘플 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 예측 영역을 얻음으로써, 양성/음성의 샘플을 인식하는 모델의 능력을 향상시킬 수 있으므로, 검출 오류의 확률을 감소시켜, 트레이닝으로 얻은 모델의 정확도를 향상시킴에 있어서 유리하므로, 표적 세포 인식의 정확도를 향상시킴에 있어서 도움이 될 수 있다.

본 출원의 일부 실시예에 있어서, 검출 서브 모델을 이용하여 제1 샘플 이미지에 대해 표적 검출을 수행하여, 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻고, 분류 서브 모델을 이용하여 제2 샘플 이미지에 대해 제1 분류 처리를 수행하여, 표적 세포의 예측 카테고리를 얻기 전에, 인식 모델의 트레이닝 방법은, 제1 샘플 이미지 및 제2 샘플 이미지에 대해 데이터 향상을 수행하는 단계; 및/또는, 제1 샘플 이미지 및 제2 샘플 이미지 중의 픽셀 값을 정규화 처리하는 단계를 더 포함하며; 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함하고, 표적 세포의 카테고리는 표적 세포의 병변 정도를 나타낸다.

따라서, 제1 샘플 이미지 및 제2 샘플 이미지에 대해 데이터 향상을 수행함으로써 샘플 다양성을 개선하여, 과적합 방지에 유리하며, 모델의 일반화 성능을 향상시키고; 제1 샘플 이미지 및 제2 샘플 이미지 중의 픽셀 값을 정규화 처리함으로써, 모델의 수렴 속도의 향상에 유리할 수 있으며; 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함하고, 표적 세포의 카테고리는 표적 세포의 병변 정도를 나타내며, 단일 병변 세포 및 병변 세포 클러스터를 인식하는데 유리하며, 표적 세포의 카테고리는 표적 세포의 병변 정도를 나타내므로, 표적 세포의 병변 분류를 구현하는데 유리하다.

본 출원의 실시예는 이미지 인식 장치를 제공하는 바, 이미지 획득 모듈, 이미지 검출 모듈 및 이미지 분류 모듈을 포함하고, 이미지 획득 모듈은 인식하고자 하는 병리학적 이미지를 획득하도록 구성되며; 이미지 검출 모듈은 인식 모델 중의 검출 서브 모델을 사용하여 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻도록 구성되고; 이미지 분류 모듈은 인식 모델 중의 분류 서브 모델을 이용하여 검출 영역에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻도록 구성된다.

본 출원의 실시예는 인식 모델의 트레이닝 장치를 제공하는 바, 인식 모델은 검출 서브 모델 및 분류 서브 모델을 포함하고, 인식 모델의 트레이닝 장치는, 이미지 획득 모듈, 모델 실행 모듈, 손실 결정 모듈 및 파라미터 조정 모듈을 포함하며, 이미지 획득 모듈은 제1 샘플 이미지 및 제2 샘플 이미지를 획득하도록 구성되고, 여기서, 제1 샘플 이미지에는 표적 세포에 대응되는 실제 영역이 마킹되어 있고, 제2 샘플 이미지에는 표적 세포의 실제 카테고리가 마킹되어 있으며; 모델 실행 모듈은 검출 서브 모델을 이용하여 제1 샘플 이미지에 대해 표적 검출을 수행하여, 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻고, 분류 서브 모델을 이용하여 제2 샘플 이미지에 대해 제1 분류 처리를 수행하여, 표적 세포의 예측 카테고리를 얻도록 구성되며; 손실 결정 모듈은 실제 영역과 예측 영역에 기반하여, 검출 서브 모델의 제1 손실 값을 결정하고, 실제 카테고리와 예측 카테고리에 기반하여, 분류 서브 모델의 제2 손실 값을 결정하도록 구성되며; 파라미터 조정 모듈은 제1 손실 값 및 제2 손실 값을 이용하여, 검출 서브 모델 및 분류 서브 모델의 파라미터를 상응하게 조정하도록 구성된다.

본 출원의 실시예는 서로 커플링되는 메모리 및 프로세서를 포함하는 전자 기기를 제공하는 바, 프로세서는 메모리에 저장된 프로그램 명령을 실행하여, 상기 하나 또는 복수의 실시예 중의 이미지 인식 방법을 구현하거나, 상기 하나 또는 복수의 실시예 중의 인식 모델의 트레이닝 방법을 구현한다.

본 출원의 실시예는 프로그램 명령이 저장된 컴퓨터 판독 가능한 저장 매체를 제공하는 바, 프로그램 명령이 프로세서에 의해 실행될 경우 상기 하나 또는 복수의 실시예 중의 이미지 인식 방법을 구현하거나, 상기 하나 또는 복수의 실시예 중의 인식 모델의 트레이닝 방법을 구현한다.

본 출원의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하는 바, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 경우, 상기 전자 기기 중의 프로세서는 상기 하나 또는 복수의 실시예 중의 이미지 인식 방법을 실행하거나, 상기 하나 또는 복수의 실시예 중의 인식 모델의 트레이닝 방법을 실행한다.

상기 방안은, 인식 모델 중의 검출 서브 모델을 사용하여, 획득된 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행함으로써, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻은 후, 인식 모델 중의 분석 서브 모델을 이용하여 검출 영역에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻어, 표적 세포를 먼저 검출한 후, 표적 세포를 분류하여 검출과 분류를 분리함으로써, 병리학적 이미지 중의 표적 세포를 정확하고 효율적으로 인식할 수 있다.

도 1은 본 출원의 실시예에서 제공하는 이미지 인식 방법의 흐름 모식도이다.
도 2는 본 출원의 실시예에서 제공하는 이미지 인식 방법의 상태 모식도이다.
도 3은 본 출원의 실시예에서 제공하는 이미지 인식 방법의 흐름 모식도이다.
도 4는 본 출원의 실시예에서 제공하는 이미지 인식 방법의 상태 모식도이다.
도 5는 본 출원의 실시예에서 제공하는 인식 모델의 트레이닝 방법의 흐름 모식도이다.
도 6은 본 출원의 실시예에서 제공하는 이미지 인식 장치의 구조 모식도이다.
도 7은 본 출원의 실시예에서 제공하는 인식 모델의 트레이닝 장치의 구조 프레임 모식도이다.
도 8은 본 출원의 실시예에서 제공하는 전자 기기의 구조 프레임 모식도이다.
도 9는 본 출원의 실시예에서 제공하는 컴퓨터 판독 가능한 저장 매체의 구조 프레임 모식도이다.

이하 도면를 결합하여 본 출원의 실시예의 방안을 상세하게 설명하도록 한다.

이하의 설명에서는 본 출원의 실시예에 대한 철저한 이해를 위해 한정이 아닌 예시의 목적으로 특정 시스템 구조, 인터페이스, 기술 등과 같은 특정 세부 사항을 제안한다.

본문에서 용어 “시스템” 및 “네트워크”는 본문에서 흔히 호환되어 사용될 수 있다. 본문에서의 용어 “및/또는”은 단지 연관 대상의 연관 관계를 기술하기 위한 것으로, 3가지 관계가 존재할 수 있음을 의미하는데, 예를 들면 A 및/또는 B는, A만 존재, A와 B가 동시에 존재, B만 존재하는 3가지 경우를 의미한다. 또한, 본문에서 “/"는 일반적으로 전후 연관 대상이 “또는”의 관계임을 나타낸다. 또한, 본문에서 “복수”는 두 개 또는 두 개 이상을 나타낸다.

도 1을 참조하면, 도 1은 본 출원의 실시예에서 제공하는 이미지 인식 방법의 흐름 모식도이다. 구체적으로 말하자면, 하기의 단계를 포함할 수 있다.

단계 S11에 있어서, 인식하고자 하는 병리학적 이미지를 획득한다.

인식하고자 하는 병리학적 이미지는 자궁 경부 병리학적 이미지, 간장 병리학적 이미지, 신장 병리학적 이미지를 포함하지만 이에 한정되지 않는다.

단계 S12에 있어서, 인식 모델 중의 검출 서브 모델을 사용하여 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻는다.

인식 모델은 검출 서브 모델을 포함하고, 일 구체적인 실시 장면에서, 검출 서브 모델은 Faster RCNN(Region with Convolutional Neural Networks) 네트워크 모델을 사용할 수 있다. 다른 한 구체적인 실시 장면에서, 검출 서브 모델은 또한 Fast RCNN, YOLO(You Only Look Once) 등을 사용할 수도 있으며, 여기서 한정하지 않는다.

검출 서브 모델을 이용하여 인식하고자 하는 병리학적 이미지를 검출하여, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻으며, 예를 들면, 자궁 경부 병리학적 이미지를 검출하여, 자궁경 병리 세포에서 편평 상피 세포를 포함한 검출 영역을 얻거나; 또는, 간장 병리학적 이미지를 검출하여, 간장 병리학적 이미지에 병변 세포를 포함한 검출 영역을 얻으며, 인식하고자 하는 병리학적 이미지가 다른 이미지일 경우, 이러한 방식으로 유추할 수 있으며, 여기서 일일이 설명하지 않는다. 일 실시 장면에서, 검출 영역은 구체적으로 표적 세포를 포함하는 직사각형의 중심 좌표 및 직사각형의 길이 폭을 사용하여 나타낼 수 있는 바, 예를 들면, (50, 60, 10, 20)을 사용하여 인식하고자 하는 병리학적 이미지에 위치한 픽셀 좌표 (50, 60)를 중심으로 하고, 길이가 10이고 폭이 20인 직사각형을 나타내며, 또한, 표적 세포를 포함하는 직사각형의 중심 좌표 및 기설정된 직사각형에 대한 직사각형의 길이 및 폭의 비율로 나타낼 수도 있고, 예를 들면, 기설정된 직사각형의 길이가 10이고 폭이 20이면, (50, 60, 1, 1)을 사용하여 인식하고자 하는 병리학적 이미지에 위치한 픽셀 좌표 (50, 60)를 중심으로 하고, 길이가 10이고 폭이 20인 직사각형을 나타내며, 여기서 한정하지 않는다.

본 출원의 일부 실시예에 있어서, 인식하고자 하는 병리학적 이미지는 표적 세포를 포함하지 않는 이미지일 수도 있고, 이때 인식 모델 중의 검출 서브 모델을 사용하여 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하며, 검출 영역을 획득하지 않았으므로, 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되어 있지 않다는 프롬프트를 출력할 수 있어, 후속적인 분류 처리의 단계를 생략하여, 모델 작동 효율을 향상시킨다. 예를 들면, 자궁 경부 병리학적 이미지에 편평 상피 세포가 포함되어 있지 않다는 프롬프트를 직접적으로 출력할 수 있으며, 다른 병리학적 이미지는 이와 같이 유추할 수 있으며, 여기서 일일이 설명하지 않는다.

본 출원의 일부 실시예에 있어서, 도 2를 결합하여 참조하면, 도 2는 본 출원의 실시예에서 제공하는 이미지 인식 방법의 상태 모식도이다. 도 2에 도시된 바와 같이, 인식하고자 하는 병리학적 이미지는 자궁 경부 병리학적 이미지이고, 인식하고자 하는 병리학적 이미지는 인식 모델 중의 검출 서브 모델을 통해 표적 검출을 수행하여, 표적 세포를 포함하는 두 개의 검출 영역을 얻는다.

단계 S13에 있어서, 인식 모델 중의 분류 서브 모델을 이용하여 검출 영역에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻는다.

인식 모델은 분류 서브 모델을 더 포함할 수 있고, 일 구체적인 실시 장면에서, 분류 서브 모델은 EfficientNet네트워크 모델을 사용할 수 있다. 다른 한 구체적인 실시 장면에서, 분류 서브 모델은 ResNet, MobileNet 등을 사용할 수도 있고, 여기서 한정하지 않는다.

인식 모델 중의 분류 서브 모델을 이용하여 검출 영역에 대해 분류 처리를 수행하여, 표적 세포의 카테고리를 획득할 수 있으며, 구체적으로, 분류 효율을 향상시키기 위해, 분류 서브 모델을 이용하여 인식하고자 하는 병리학적 이미지의 검출 영역에 대해 특징 추출을 수행하여, 검출 영역의 이미지 특징을 얻음으로써, 검출 영역의 이미지 특징에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻을 수 있다. 예를 들면, 검출 영역의 이미지 특징에 대해 풀링 처리, 완전 연결 처리를 수행하여, 표적 세포의 카테고리를 얻을 수 있으며, 여기서 더이상 설명하지 않는다.

본 출원의 일부 실시예에 있어서, 표적 세포에 대한 병변 분류를 구현하기 위해, 표적 세포의 카테고리는 표적 세포의 병변 정도를 나타낼 수 있다. 인식하고자 하는 병변 이미지가 자궁 경부 병리학적 이미지인 것을 예로 들면, 표적 세포는 구체적으로 고등급 편평 상피내 병변(High-grade Squamous Intraepithelial Lesion, HSIL), 저등급 편평 상피내 병변(Low-grade Squamous Intraepithelial Lesion, LSIL), 의미 미결정 비정형 편평 세포(Atypical Squamous Cells of Undetermined Significance, ASC-US), 고등급 편평 상피내 병변을 배제할 수 없는 비정형 편평 상피 세포(Atypical Squamous Cells-cannot exclude HSIL, ASC-H)를 포함하지만 이에 한정되지 않는다. 인식하고자 하는 병리학적 이미지가 다른 병리학적 이미지일 경우, 이와 같이 유추할 수 있으며, 여기서 일일이 설명하지 않는다. 일 실시 장면에서, 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함함으로써, 단일 병변 세포 또는 병변 세포 클러스터의 인식을 구현할 수 있다.

본 출원의 일부 실시예에 있어서, 도 2를 결합하여 참조하면, 분류 서브 모델은 검출 서브 모델이 검출하여 획득한 두 개의 검출 영역에 대해 각각 분류 처리하여, 두 개의 검출 영역에 포함되는 표적 세포의 카테고리를 얻을 수 있는 바, 그 중의 하나의 검출 영역 중의 표적 세포는 고등급 편평 상피내 병변(HSIL)이고, 다른 한 검출 영역 중의 표적 세포는 고등급 편평 상피내 병변을 배제할 수 없는 비정형 편평 상피 세포(ASC-H)이다.

본 출원의 일부 실시예에 있어서, 분류 서브 모델은 검출 영역에 대해 제1 분류 처리를 수행할 수도 있고, 표적 세포의 카테고리 및 그 신뢰도를 얻으며, 여기서, 신뢰도는 표적 세포의 실제 카테고리가 모델에 의해 예측된 카테고리의 신뢰도임을 나타내며, 신뢰도가 높을수록 믿음성이 높다. 계속하여 도 2를 결합하여 참조하면, 분류 서브 모델은 각각 검출 영역을 분류 처리하여, 표적 세포의 카테고리 및 그 신뢰도를 얻으며, 그 중의 하나의 검출 영역 중의 표적 세포는 고등급 편평 상피내 병변(HSIL)이고, 그 신뢰도는 0.97(즉 97%의 신뢰도)이며, 다른 한 검출 영역 중의 표적 세포는 고등급 편평 상피내 병변을 배제할 수 없는 비정형 편평 상피 세포(ASC-H)이고, 그 신뢰도는 0.98(즉 98%의 신뢰도)이다.

상기 방안은, 인식 모델 중의 검출 서브 모델을 사용하여 획득된 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행함으로써, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻은 후, 인식 모델 중의 분석 서브 모델을 이용하여 검출 영역에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻음으로써, 표적 세포를 먼저 검출한 후, 표적 세포를 분류하여 검출과 분류를 분리함으로써, 병리학적 이미지 중의 표적 세포를 정확하고 효율적으로 인식할 수 있다.

도 3을 참조하면, 도 3은 본 출원의 실시예에서 제공하는 이미지 인식 방법의 흐름 모식도이다. 구체적으로 말하자면, 하기의 단계를 포함할 수 있다.

단계 S31에 있어서, 인식하고자 하는 병리학적 이미지를 획득한다.

구체적인 것은 전술한 실시예 중의 관련 단계를 참조하기 바란다.

단계 S32에 있어서, 검출 서브 모델의 제1 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻는다.

여기서, 이미지 분류 결과는 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되는지 여부를 나타내기 위한 것이며, 구체적으로, “0”은 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되지 않음을 나나태고, “1”은 인식하고자 하는 병리학적 이미지에 표적 세포가 포함됨을 나타내며, 여기서 한정하지 않는다.

본 출원의 일부 실시예에 있어서, 검출 서브 모델의 제1 부분은 글로벌 분류 네트워크이고, 글로벌 분류 네트워크는 신경원을 포함하는 신경망 모델이며, 전술한 실시예 중의 분류 서브 모델과 상이하고, 글로벌 분류 네트워크는 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되는지 여부를 나타내기 위한 이미지 분류 결과를 얻는다. 일 구체적인 실시 장면에서, 분류 서브 모델의 분류 처리와 구별하기 위해, 검출 서브 모델의 제1 부분의 분류 처리를 제2 분류 처리로 부를 수 있으며, 여기서 한정하지 않는다.

단계 S33에 있어서, 이미지 분류 결과가 인식하고자 하는 병리학적 이미지에 표적 세포가 포함된 것으로 나타나는지 여부를 판단하고, 포함되면 단계 S34를 실행하고, 포함되지 않으면 단계 S36을 실행한다.

이미지 분류 결과를 통해, 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되는지 여부를 판단하며, 표적 세포가 포함되면, 인식하고자 하는 병리학적 이미지에 대해 다음 단계의 처리를 수행하고, 포함되지 않으면 다음 처리를 수행할 필요가 없으므로, 표적 세포가 포함되는지 여부의 분류 처리와 표적 세포를 구체적으로 검출하는 검출 영역을 분리함으로써, 모델의 작동 효율을 더 향상시킬 수 있어, 이미지에서 표적 세포 인식의 효율을 향상시킨다.

단계 S34에 있어서, 검출 서브 모델의 제2 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻는다.

본 출원의 일부 실시예에 있어서, 검출 서브 모델의 제2 부분은 이미지 검출 네트워크이며, 이미지 검출 네트워크는 신경원을 포함하는 신경망 모델이고, 검출 서브 모델이 Faster RCNN을 사용하는 것을 예로 들면, 제2 부분은 RPN(Region Proposal Networks) 네트워크일 수 있고, 검출 서브 모델이 다른 네트워크 모델일 경우, 이와 같이 유추할 수 있으며, 여기서 일일이 설명하지 않는다.

본 출원의 일부 실시예에 있어서, 표적 세포 인식의 정확도를 향상시키기 위해, 검출 서브 모델의 제3 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 특징 추출을 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 특징을 얻을 수도 있으며, 구체적으로, 제3 부분은 특징 추출 네트워크일 수 있고, 본 출원의 일부 실시예에 있어서, 특징 추출 네트워크는 ResNet101 네트워크일 수 있거나, 또는, 특징 추출 네트워크는 ResNet50 네트워크 등일 수도 있으며, 여기서 한정하지 않는다. 본 출원의 일부 실시예에 있어서, 여러 형태의 표적 세포에 대한 인식의 정확도를 향상시키기 위해, 특징 추출 네트워크는 변형 가능한 컨볼루션 계층(deformable convolution)을 포함할 수 있고, 변형 가능한 컨볼루션은 공간에서 사용하는 위치 정보에 기반하여 변위 조정을 수행하여 상이한 형태의 세포의 특징 추출을 구현한다. 본 출원의 일부 실시예에 있어서, 장거리의 특징 및 의존 관계를 갖는 특징을 획득함으로써, 표적 세포 인식의 정확도를 향상시키기 위해, 특징 추출 네트워크는 글로벌 정보 향상 모듈을 더 포함할 수 있다. 도 4를 결합하여 참조하면, 도 4는 본 출원의 실시예에서 제공하는 이미지 인식 방법의 상태 모식도이고, 인식하고자 하는 병리학적 이미지에 대해 특징 추출을 수행한 후, 검출 서브 모델의 제1 부분을 사용하여 이미지 특징에 대해 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻으며, 이미지 분류 결과 인식하고자 하는 병리학적 이미지에 표적 세포가 포함된 것으로 나타나면(즉 이미지 분류 결과가 양성일 경우), 검출 서브 모델의 제2 부분을 사용하여 이미지 특징에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻음으로써, 후속적인 분류 처리를 수행하고, 구체적인 것은 본 실시예 중의 관련 단계를 참조 바라며, 여기서 더이상 설명하지 않는다.

단계 S35에 있어서, 인식 모델 중의 분류 서브 모델을 이용하여 검출 영역에 대해 분류 처리를 수행하여, 표적 세포의 카테고리를 얻는다.

구체적인 것은 전술한 실시예 중의 관련 단계를 참조 바란다.

본 출원의 일부 실시예에 있어서, 도 2를 결합하여 참조하면, 도 2는 본 출원의 실시예에서 제공하는 이미지 인식 방법의 상태 모식도이다. 도 2에 도시된 바와 같이, 인식하고자 하는 병리학적 이미지가 자궁 경부 병리학적 이미지이고, 인식하고자 하는 병리학적 이미지는 인식 모델 중의 검출 서브 모델을 통해 표적 검출을 수행하여, 표적 세포를 포함하는 두 개의 검출 영역을 얻는다.

단계 S36에 있어서, 제1 부분은 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되어 있지 않다는 검출 결과 프롬프트를 출력한다.

이미지 검출 결과가 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되어 있지 않다는것으로 표시할 경우(즉 이미지 분류 결과가 음성일 경우), 다음 처리를 수행할 필요가 없고, 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되어 있지 않다는 검출 결과 프롬프트(즉 결과가 음성인 프롬프트)를 직접적으로 출력할 수 있으며, 모델의 작동 효율을 향상시켜, 이미지에서 표적 세포 인식의 효율을 향상시킨다.

전술한 실시예와 달리, 검출 서브 모델의 제1 부분을 통해 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻고, 이미지 분류 결과는 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되는지 여부를 나타내기 위한 것이며, 이미지 분류 결과 인식하고자 하는 병리학적 이미지에 표적 세포가 포함된 것으로 나타나면, 검출 서브 모델의 제2 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻음으로써, 표적 세포의 동적 검출을 구현하여, 표적 세포 인식의 효율을 향상시킨다.

도 5를 참조하면, 도 5는 본 출원의 실시예에서 제공하는 인식 모델의 트레이닝 방법의 흐름 모식도이고, 본 출원의 실시예에서, 인식 모델은 구체적으로 검출 서브 모델 및 분류 서브 모델을 포함할 수 있고, 구체적으로 말하자면 하기의 단계를 포함할 수 있다.

단계 S51에 있어서, 제1 샘플 이미지 및 제2 샘플 이미지를 획득한다.

본 출원의 실시예에서, 제1 샘플 이미지에는 표적 세포에 대응되는 실제 영역이 마킹되어 있고, 실제 영역은 표적 세포를 포함하는 직사각형의 중심 좌표 및 직사각형의 길이 폭을 사용하여 나타낼 수 있고, 예를 들면, (50, 60, 10, 20)을 사용하여 제1 샘플 이미지에 위치하고 픽셀 포인트 (50, 60)를 중심으로 하고, 길이가 10이고 폭이 20인 직사각형을 나타낼 수 있다. 제2 샘플 이미지에는 표적 세포의 실제 카테고리가 마킹되어 있고, 본 출원의 일부 실시예에 있어서, 표적 세포의 실제 카테고리는 표적 세포의 병변 정도를 나타낸다. 제2 샘플 이미지가 자궁 경부 병리학적 이미지인 것을 예로 들면, 표적 세포는, 고등급 편평 상피내 병변(HSIL), 저등급 편평 상피내 병변(LSIL), 의미 미결정 비정형 편평 세포(ASC-US), 고등급 편평 상피내 병변을 배제할 수 없는 비정형 편평 상피 세포(ASC-H)를 포함하지만 이에 한정되지 않는다. 인식하고자 하는 병리학적 이미지가 다른 병리학적 이미지일 경우, 이와 같이 유추할 수 있으며, 여기서 일일이 설명하지 않는다. 본 출원의 일부 실시예에 있어서, 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함할 수 있으므로, 단일 병변 세포 또는 병변 세포 클러스터에 대한 인식을 구현할 수 있다.

본 출원의 일부 실시예에 있어서, 제1 샘플 이미지 및 제2 샘플 이미지는 병리학적 이미지이고, 예를 들어 자궁 경부 병리학적 이미지, 간장 병리학적 이미지, 신장 병리학적 이미지를 포함하지만 이에 한정되지 않는다. 제1 샘플 이미지 및 제2 샘플 이미지가 자궁 경부 병리학적 이미지인 것을 예로 들면, 표적 세포는 편평 상피 세포이다. 제1 샘플 이미지 및 제2 샘플 이미지가 다른 병리학적 이미지일 경우, 이와 같이 유추할 수 있으며, 여기서 일일이 설명하지 않는다.

본 출원의 일부 실시예에 있어서, 획득횐 샘플 이미지 및 제2 샘플 이미지에 대해 데이터 향상을 수행함으로써, 샘플의 다양성을 개선하여, 과적합 방지에 유리하여, 모델의 일반화 성능을 향상시킨다. 일 구체적인 실시 장면에서, 랜덤 컷팅, 랜덤 회전, 랜덤 인버턴, 컬러 교란, 감마 정정, 가우스 잡음을 포함하지만 이에 한정되지 않고 데이터 향상을 수행할 수 있다.

본 출원의 일부 실시예에 있어서, 제1 샘플 이미지 및 제2 샘플 이미지 중의 픽셀 값을 정규화 처리하여, 모델의 수렴 속도를 향상시킬 수도 있다. 본 출원의 일부 실시예에 있어서, 모든 제1 샘플 이미지 픽셀 값의 제1 평균 값 및 제1 분산을 먼저 통계하고, 그 다음 각 하나의 제1 샘플 이미지 중의 픽셀 값을 이용하여 제1 평균 값을 뺀 다음, 제1 분산으로 나누어, 각 하나의 제1 샘플 이미지에 대해 정규화 처리를 수행할 수 있으며; 모든 제2 샘플 이미지의 픽셀 값의 제2 평균 값 및 제2 분산을 통계한 다음, 각 하나의 제2 샘플 이미지의 픽셀 값을 이용하여 제2 평균 값을 뺀 다음, 제2 분산으로 나누어, 각 하나의 제2 샘플 이미지에 대해 정규화 처리를 수행할 수 있다.

단계 S52에 있어서, 검출 서브 모델을 이용하여 제1 샘플 이미지에 대해 표적 검출을 수행하여, 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻고, 분류 서브 모델을 이용하여 제2 샘플 이미지에 대해 제1 분류 처리를 수행하여, 표적 세포의 예측 카테고리를 얻는다.

검출 서브 모델은 Faster RCNN을 사용할 수 있고, 구체적인 것은 전술한 실시예 중의 관련 단계를 참조 가능하며, 여기서 더이상 설명하지 않는다. 예측 영역은 직사각형의 중심 좌표 및 직사각형의 길이 폭을 사용하여 나타낼 수 있고, 예를 들면, (70, 80, 10, 20)을 사용하여 제1 샘플 이미지에서 픽셀 포인트 (70, 80)을 중심으로 하고, 길이가 10이고 폭이 20인 예측 영역을 나타낼 수 있고, 예측 영역은 직사각형의 중심 좌표 및 기설정된 직사각형의 길이 및 폭에 대한 직사각형의 길이 및 폭의 비율로 표시할 수 있으며, 예를 들면, 기설정된 직사각형을 설정할 수 있고, 기설정된 직사각형의 길이가 10이고 폭이 20이면, (70, 80, 1, 1)을 사용하여 제1 샘플 이미지에 위치하고 (70, 80)을 이미지 중심으로 하는, 길이가 10이고 폭이 20인 예측 영역을 나타낼 수 있다. 분류 서브 모델은 EfficientNet네트워크 모델을 사용 가능하고, 구체적인 것은 전술한 실시예 중의 관련 단계를 참조 가능하며, 여기서 더이상 설명하지 않는다.

본 출원의 일부 실시예에 있어서, 양성/음성의 샘플을 인식하는 모델의 능력을 향상시키기 위해, 동적 예측을 구현하여, 모델 작동 효율을 향상시키고, 검출 서브 모델을 이용하여 제1 샘플 이미지에 대해 표적 검출을 수행하여, 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻는 과정에서, 제1 샘플 이미지에 대해 제2 분류 처리를 수행하여, 제1 샘플 이미지의 이미지 분류 결과를 얻을 수도 있고, 여기서, 이미지 분류 결과는 제1 샘플 이미지에 표적 세포가 포함되는지 여부를 나타내기 위한 것이며, 이미지 분류 결과가 제1 샘플 이미지에 표적 세포가 포함된 것으로 나타나면, 상기 제1 샘플 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 예측 영역을 얻고, 구체적인 것은 전술한 실시예 중의 관련 단계를 참조 가능하며, 여기서 더이상 설명하지 않는다. 또한, 검출 서브 모델은 제1 부분 및 제2 부분을 포함할 수도 있으며, 제1 부분은 제1 샘플 이미지에 대해 분류 처리를 수행하여, 제1 샘플 이미지에 표적 세포가 포함되는지 여부를 나타내기 위한 이미지 분류 결과를 얻고, 제2 부분은 제1 샘플 이미지에 표적 세포가 포함될 경우, 제1 샘플 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 예측 영역을 얻고, 구체적인 것은 전술한 실시예 중의 관련 단계를 참조 가능하며, 여기서 더이상 설명하지 않는다. 또한, 검출 서브 모델은 제3 부분을 더 포함할 수 있고, 제1 샘플 이미지에 대해 특징 추출을 수행하여, 제1 샘플 이미지의 이미지 특징을 얻음으로써, 제1 부분은 이미지 특징에 대해 특징 추출을 수행하여, 제1 샘플 이미지의 이미지 분류 결과를 얻고, 제2 부분은 이미지 특징에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 예측 영역을 얻는다. 구체적으로, 제1 부분은 글로벌 분류 네트워크일 수 있고, 제2 부분은 이미지 검출 네트워크이며, 제3 부분은 특징 추출 네트워크이고, 여기서, 특징 추출 네트워크는 변형 가능한 컨볼루션 계층, 글로벌 정보 향상 모듈 중의 적어도 하나를 포함한다, 구체적인 것은 전술한 실시예 중의 관련 단계를 참조 가능하며, 여기서 더이상 설명하지 않는다.

단계 S53에 있어서, 실제 영역과 예측 영역에 기반하여, 검출 서브 모델의 제1 손실 값을 결정하고, 실제 카테고리와 예측 카테고리에 기반하여, 분류 서브 모델의 제2 손실 값을 결정한다.

본 출원의 일부 실시예에 있어서, 평균 제곱 오차 손실 함수, 교차 엔트로피 손실 함수 등을 사용하여 검출 서브 모델의 제1 손실 값을 결정할 수 있다. 본 출원의 일부 실시예에 있어서, 교차 엔트로피 손실 함수를 사용하여 분류 서브 모델의 제2 손실 값을 결정할 수 있으며, 여기서 더이상 설명하지 않는다.

단계 S54에 있어서, 제1 손실 값 및 제2 손실 값을 이용하여, 검출 서브 모델 및 분류 서브 모델의 파라미터를 상응하게 조정한다.

구체적으로, 랜덤 기울기 하강, 지수 평균 가중, Adam 등 기울기 하강 최적화 방법을 사용하여, 검출 서브 모델 및 분류 서브 모델의 파라미터에 대해 조정하며, 여기서 더이상 설명하지 않는다.

또한, 제1 샘플 이미지 및 제2 샘플 이미지를 복수의 미니 배치(batch)로 나눌 수도 있고, 미니 배치(mini-batch)의 트레이닝 방식을 사용하여 검출 서브 모델 및 분류 서브 모델을 트레이닝한다. 본 출원의 일부 실시예에 있어서, 트레이닝 종료 조건을 설정할 수도 있으며, 트레이닝 종료 조건을 만족할 경우, 트레이닝을 종료할 수 있다. 구체적으로, 트레이닝 종료 조건은, 트레이닝의 반복 횟수가 기설정된 한계 값(예를 들면, 100회, 500회 등)보다 크거나 같은 것; 제1 손실 값 및 제2 손실 값은 기설정된 손실 한계 값보다 작으면서, 더이상 감소되지 않는 것; 검증 데이터 세트를 각각 사용하여 검출 서브 모델 및 분류 서브 모델을 검증하여 얻은 모델의 성능이 향상되지 않는 것을 포함하지만 이에 한정되지 않는다.

상기 방안은, 트레이닝 과정에서, 먼저 표적 세포를 검출한 후, 표적 세포를 분류하여 검출과 분류를 분리함으로써, 샘플 데이터 카테고리가 불균형적인 문제를 해결하여, 트레이닝으로 획득된 모델의 정확도를 향상시키는데 유리하여, 표적 세포 인식의 정확도 및 효율을 향상시킴에 있어서 도움이 될 수 있다.

도 6을 참조하면, 도 6은 본 출원의 실시예에서 제공하는 이미지 인식 장치(60)의 구조 프레임 모식도이다. 이미지 인식 장치(60)는 이미지 획득 모듈(61), 이미지 검출 모듈(62) 및 이미지 분류 모듈(63)을 포함하고, 이미지 획득 모듈(61)은 인식하고자 하는 병리학적 이미지를 획득하도록 구성되고; 이미지 검출 모듈(62)은 인식 모델 중의 검출 서브 모델을 사용하여 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻도록 구성되며; 이미지 분류 모듈(63)은 인식 모델 중의 분류 서브 모델을 이용하여 검출 영역에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻도록 구성된다.

본 출원의 일부 실시예에 있어서, 이미지 검출 모듈(62)은, 검출 서브 모델의 제1 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻고, 이미지 분류 결과는 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되는지 여부를 나타내도록 구성된 제1 부분 서브 모듈을 포함하고, 이미지 검출 모듈(62)은, 이미지 분류 결과 인식하고자 하는 병리학적 이미지에 표적 세포가 포함된 것으로 나타나면, 검출 서브 모델의 제2 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻도록 구성된 제2 부분 서브 모듈을 더 포함한다.

전술한 실시예와 달리, 검출 서브 모델의 제1 부분으로 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻고, 이미지 분류 결과는 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되는지 여부를 나타내기 위한 것이며, 이미지 분류 결과 인식하고자 하는 병리학적 이미지에 표적 세포가 포함된 것으로 나타나면, 다시 검출 서브 모델의 제2 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻으므로 표적 세포의 동적 검출을 구현함으로써, 표적 세포 인식의 효율을 향상시킨다.

본 출원의 일부 실시예에 있어서, 이미지 검출 모듈(62)은, 이미지 분류 결과 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되지 않은 것으로 나타나면, 제1 부분이 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되어 있지 않다는 검출 결과 프롬프트를 출력하는 결과 프롬프트 서브 모듈을 더 포함한다.

전술한 실시예와 달리, 검출 서브 모델의 제1 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻은 후, 이미지 분류 결과 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되지 않은 것으로 나타나면, 제1 부분은 인식하고자 하는 병리학적 이미지에 표적 세포가 포함되어 있지 않다는 검출 결과 프롬프트를 출력하는 단계를 더 포함한다.

본 출원의 일부 실시예에 있어서, 이미지 검출 모듈(62)은, 검출 서브 모델의 제3 부분을 이용하여 인식하고자 하는 병리학적 이미지에 대해 특징 추출을 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 특징을 얻도록 구성된 제3 부분 서브 모듈을 더 포함한다.

전술한 실시예와 달리, 검출 서브 모델의 제3 부분을 통해 인식하고자 하는 병리학적 이미지에 대해 특징 추출을 수행하고, 인식하고자 하는 병리학적 이미지의 이미지 특징을 얻음으로써, 먼저 인식하고자 하는 병리학적 이미지에 대해 수행할 수 있으며, 나아가 후속적으로 이 기초 상에서 다시 검출 서브 모델을 이용하여 다른 처리를 수행하므로, 모델의 작동 효율을 향상시킴에 있어서 유리하다.

본 출원의 일부 실시예에 있어서, 제1 부분 서브 모듈은 구체적으로 검출 서브 모델의 제1 부분을 이용하여 이미지 특징에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻는다.

전술한 실시예와 달리, 검출 서브 모델의 제1 부분을 이용하여 제3 부분이 추출한 이미지 특징에 대해 제2 분류 처리를 수행하여, 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻으며, 분류 처리의 정확도를 향상시킬 수 있다.

본 출원의 일부 실시예에 있어서, 제2 부분 서브 모듈은 구체적으로 검출 서브 모델의 제2 부분을 이용하여 이미지 특징에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻는다.

전술한 실시예와 달리, 검출 서브 모델의 제2 부분을 이용하여 이미지 특징에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 검출 영역을 얻음으로써, 표적 세포 인식의 정확도를 향상시킴에 있어서 유리하다.

전술한 실시예와 달리, 변형 가능한 컨볼루션 계층을 포함하도록 특징 추출 네트워크를 설정함으로써, 여러 형태의 표적 세포의 인식 정확도를 향상시킬 수 있으며, 글로벌 정보 향상 모듈 중의 적어도 하나를 포함하도록 특징 추출 네트워크를 설정함으로써, 장거리의 특징 및 의존 관계를 갖는 특징을 획득하는데 유리하여, 표적 세포 인식의 정확도를 향상시킴에 있어서 유리하다.

본 출원의 일부 실시예에 있어서, 이미지 분류 모듈(63)은, 분류 서브 모델을 이용하여 인식하고자 하는 병리학적 이미지의 검출 영역에 대해 특징 추출을 수행하여, 검출 영역의 이미지 특징을 얻도록 구성된 특징 추출 서브 모듈을 포함하고, 이미지 분류 모듈(63)은, 검출 영역의 이미지 특징에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻도록 구성된 분류 처리 서브 모듈을 포함한다.

전술한 실시예와 달리, 인식하고자 하는 병리학적 이미지의 검출 영역에 대해 특징 추출을 수행함으로써, 검출 영역의 이미지 특징을 얻고, 검출 영역의 이미지 특징에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻어, 분류 처리의 효율을 향상시킴에 있어서 유리하다.

전술한 실시예와 달리, 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함하고, 단일 병변 세포 및 병변 세포 클러스터를 인식하는데 유리하며, 표적 세포의 카테고리는 표적 세포의 병변 정도를 나타내고, 표적 세포의 병변 분류를 구현하는데 유리하다.

도 7을 참조하면, 도 7은 본 출원의 실시예에서 제공하는 인식 모델의 트레이닝 장치(70)의 구조 프레임 모식도이다. 인식 모델은 검출 서브 모델 및 분류 서브 모델을 포함하고, 인식 모델의 트레이닝 장치(70)는 이미지 획득 모듈(71), 모델 실행 모듈(72), 손실 결정 모듈(73) 및 파라미터 조정 모듈(74)을 포함하며, 이미지 획득 모듈(71)은 제1 샘플 이미지 및 제2 샘플 이미지를 획득하고, 여기서, 제1 샘플 이미지에는 표적 세포에 대응되는 실제 영역이 마킹되어 있고, 제2 샘플 이미지에는 표적 세포의 실제 카테고리가 마킹되어 있으며; 모델 실행 모듈(72)은 검출 서브 모델을 이용하여 제1 샘플 이미지에 대해 표적 검출을 수행하여, 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻고, 분류 서브 모델을 이용하여 제2 샘플 이미지에 대해 제1 분류 처리를 수행하여, 표적 세포의 예측 카테고리를 얻도록 구성되고; 손실 결정 모듈(73)은 실제 영역과 예측 영역에 기반하여, 검출 서브 모델의 제1 손실 값을 결정하고, 실제 카테고리와 예측 카테고리에 기반하여, 분류 서브 모델의 제2 손실 값을 결정하도록 구성되며; 파라미터 조정 모듈(74)은 제1 손실 값 및 제2 손실 값을 이용하여, 검출 서브 모델 및 분류 서브 모델의 파라미터를 상응하게 조정하도록 구성된다.

상기 방안은, 트레이닝 과정에서, 먼저 표적 세포를 검출하한 다음, 표적 세포를 분류하여 검출과 분류를 분리함으로써, 샘플 데이터 카테고리가 불균형적인 문제를 해결함으로써, 트레이닝으로 획득된 모델의 정확도를 향상시키는데 유리하여, 표적 세포 인식의 정확도 및 효율을 향상시킴에 있어서 도움이 될 수 있다.

본 출원의 일부 실시예에 있어서, 모델 실행 모듈(72)은, 제1 샘플 이미지에 대해 제2 분류 처리를 수행하여, 제1 샘플 이미지의 이미지 분류 결과를 얻고, 이미지 분류 결과는 제1 샘플 이미지에 표적 세포가 포함되는지 여부를 나타내도록 구성된 초기 분류 서브 모듈을 포함하고, 모델 실행 모듈(72)은, 이미지 분류 결과가 제1 샘플 이미지에 표적 세포가 포함된 것으로 나타나면, 제1 샘플 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 예측 영역을 얻도록 구성된 영역 검출 서브 모듈을 포함한다.

전술한 실시예와 달리, 트레이닝 과정에서, 이미지 분류 결과가 제1 샘플 이미지에 표적 세포가 포함된 것으로 나타나면, 다시 제1 샘플 이미지에 대해 영역 검출을 수행하여, 표적 세포를 포함하는 예측 영역을 얻음으로써, 모델이 양성/음성의 샘플을 인식하는 능력을 향상시킬 수 있으며, 검출 오류의 확률을 감소시켜, 트레이닝으로 얻은 모델의 정확도를 향상시킴에 있어서 유리하여, 표적 세포 인식의 정확도를 향상시킴에 있어서 도움이 될 수 있다.

본 출원의 일부 실시예에 있어서, 인식 모델의 트레이닝 장치(70)는 제1 샘플 이미지 및 제2 샘플 이미지에 대해 데이터 향상을 수행하도록 구성된 데이터 향상 모듈을 더 포함한다.

전술한 실시예와 달리, 제1 샘플 이미지 및 제2 샘플 이미지에 대해 데이터 향상을 수행함으로써 샘플 다양성을 향상시키고, 과적합 방지에 유리하여, 모델의 일반화 성능을 향상시킨다.

본 출원의 일부 실시예에 있어서, 인식 모델의 트레이닝 장치(70)는 제1 샘플 이미지 및 제2 샘플 이미지 중의 픽셀 값을 정규화 처리하도록 구성된 정규화 처리 모듈을 더 포함한다.

전술한 실시예와 달리, 제1 샘플 이미지 및 제2 샘플 이미지 중의 픽셀 값을 정규화 처리함으로써, 모델의 수렴 속도의 향상에 도움이 될 수 있다.

전술한 실시예와 달리, 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함하고, 표적 세포의 카테고리는 표적 세포의 병변 정도를 나타내므로, 단일 병변 세포 및 병변 세포 클러스터를 인식하는데 유리하며, 표적 세포의 카테고리는 표적 세포의 병변 정도를 나타내므로, 표적 세포의 병변 분류를 구현하는데 유리하다.

도 8을 참조하면, 도 8은 본 출원의 실시예에서 제공하는 전자 기기(80)의 구조 프레임 모식도이다. 전자 기기(80)는 서로 커플링된 메모리(81) 및 프로세서(82)를 포함하고, 프로세서(82)는 메모리(81)에 저장된 프로그램 명령을 실행하여, 상기 임의의 하나의 이미지 인식 방법 실시예의 단계를 구현하거나, 상기 임의의 하나의 인식 모델의 트레이닝 방법 실시예 중의 단계를 구현한다. 일 구체적인 실시 장면에서, 전자 기기(80)는 마이크로 컴퓨터, 서버를 포함하지만 이에 한정되지 않고, 또한, 전자 기기(80)는 노트북 컴퓨터, 태블릿 PC 등 모바일 기기를 포함하지만, 여기서 한정하지 않는다.

구체적으로 말하자면, 프로세서(82)는 프로세서 및 메모리(81)를 제어하여 상기 임의의 하나의 이미지 인식 방법 실시예의 단계를 구현하거나, 상기 임의의 하나의 인식 모델의 트레이닝 방법 실시예 중의 단계를 구현한다. 프로세서(82)를 중앙처리장치(Central Processing Unit, CPU)를 지칭할 수도 있다. 프로세서(82)는 신호 처리 기능을 구비한 집적 회로 칩일 수 있다. 프로세서(82)는 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 전용 집적 회로(Application Specific Integrated Circuit, ASIC), 현장 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA) 또는 다른 프로그래머블 논리 소자, 단일 게이트 또는 트랜지스터 논리 소자, 단일 하드웨어 컴포넌트 등일 수 있다. 범용 프로세서는 마이크로 프로세서일 수 있거나 또는 상기 프로세서도 임의의 통상적인 프로세서 등일 수도 있다. 또한, 프로세서(82)는 집적 회로 칩으로 공동 구현될 수 있다.

상기 방안은 병리학적 이미지 중의 표적 세포를 정확하고 효율적으로 인식할 수 있다.

도 9를 참조하면, 도 9는 본 출원의 실시예에서 제공하는 컴퓨터 판독 가능한 저장 매체(90)의 구조 프레임 모식도이다. 컴퓨터 판독 가능한 저장 매체(90)에는 프로세서에 의해 실행되는 프로그램 명령(901)이 저장되어 있고, 프로그램 명령(901)은 상기 임의의 하나의 이미지 인식 방법 실시예의 단계를 구현하거나, 또는 상기 임의의 하나의 인식 모델의 트레이닝 방법 실시예 중의 단계를 구현한다.

상기 방안은, 병리학적 이미지 중의 표적 세포를 정확하고 효율적으로 인식할 수 있다.

본 출원의 실시예는 컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램을 제공하는 바, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 경우, 상기 전자 기기 중의 프로세서는 본 출원의 실시예에서 제공하는 임의의 하나의 이미지 인식 방법을 구현하거나, 본 출원의 실시예에서 제공하는 임의의 하나의 인식 모델의 트레이닝 방법을 구현한다.

본원 발명에서 제공된 몇 개의 실시예에서, 개시된 시스템, 장치, 방법은 다른 방식으로 실현될 수 있음을 이해해야 할 것이다. 예를 들면, 이상에서 설명한 장치 실시예는 단지 예시적인 것이고, 예를 들면 상기 유닛의 구획은 단지 논리적 기능 구획일 뿐이고 실제 응용시 다른 구획 방식이 있을 수 있으며, 예를 들면 다수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 조합 또는 집적될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 기재 또는 토론된 서로 간의 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스를 통한 것일 수 있고, 장치 또는 유닛의 간접 커플링 또는 통신 연결은 전기적, 기계적 또는 다른 형식일 수 있다.

분리 부재로 설명된 유닛은 물리적으로 분리되거나 분리되지 않은 것일 수 있고, 유닛으로 표시된 부재는 물리적 유닛일 수 있거나, 물리적 유닛이 아닐 수 있으며, 하나의 장소에 위치하거나, 다수의 네트워크 유닛에 분포될 수 있다. 실제 수요에 따라 그중의 일부 또는 전부 유닛을 선택하여 본 실시예의 해결수단의 목적을 실현할 수 있다.

또한, 본 출원의 각 실시예의 각 기능 유닛은 하나의 프로세싱 유닛에 집적될 수 있거나, 각 유닛이 별도로 물리적으로 존재할 수 있거나, 둘 또는 둘 이상의 유닛이 하나의 유닛에 집적될 수 있다. 상기 집적된 유닛은 하드웨어 형식으로 구현될 수 있고, 소프트웨어 기능 유닛의 형식으로 구현될 수도 있다.

집적된 유닛이 소프트웨어 기능 유닛의 형식으로 실현되고 별도의 제품으로 판매되거나 사용될 경우, 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반하면, 본 출원의 실시예의 기술적 해결수단은 본질적으로 또는 선행기술에 기여하는 부분 또는 해당 기술적 해결수단의 일부는 소프트웨어 제품의 형식으로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 약간의 명령을 포함하여 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)가 본 출원의 각 실시예에 따른 방법의 전부 또는 일부 단계를 실행하도록 할 수 있다. 전술한 저장 매체는 USB 메모리, 외장 하드, 판독 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 디스켓 또는 CD 등 프로그램 코드를 저장할 수 있는 여러 매체를 포함한다.

본 출원의 실시예는 이미지 인식 방법, 인식 모델의 트레이닝 방법 및 관련 장치, 기기를 제공하는 바, 여기서, 이미지 인식 방법은, 인식하고자 하는 병리학적 이미지를 획득하는 단계; 인식 모델 중의 검출 서브 모델을 사용하여 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻는 단계; 및 인식 모델 중의 분류 서브 모델을 이용하여 검출 영역에 대해 제1 분류 처리를 수행하여, 표적 세포의 카테고리를 얻는 단계를 포함한다. 본 출원의 실시예의 이미지 인식 방법에 따르면, 병리학적 이미지 중의 표적 세포를 정확하고 효율적으로 인식할 수 있다.

Claims

이미지 인식 방법으로서,
인식하고자 하는 병리학적 이미지를 획득하는 단계;
인식 모델 중의 검출 서브 모델을 사용하여 상기 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 상기 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻는 단계; 및
상기 인식 모델 중의 분류 서브 모델을 이용하여 상기 검출 영역에 대해 제1 분류 처리를 수행하여, 상기 표적 세포의 카테고리를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 인식 방법.
제1항에 있어서,
상기 인식 모델 중의 검출 서브 모델을 사용하여 상기 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 상기 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻는 단계는,
상기 검출 서브 모델의 제1 부분을 이용하여 상기 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 상기 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻는 단계 - 상기 이미지 분류 결과는 상기 인식하고자 하는 병리학적 이미지에 상기 표적 세포가 포함되는지 여부를 나타내기 위한 것임 - ;
상기 이미지 분류 결과 상기 인식하고자 하는 병리학적 이미지에 상기 표적 세포가 포함된 것으로 나타나면, 상기 검출 서브 모델의 제2 부분을 이용하여 상기 인식하고자 하는 병리학적 이미지에 대해 영역 검출을 수행하여, 상기 표적 세포를 포함하는 검출 영역을 얻는 단계를 포함하는 것을 특징으로 하는 이미지 인식 방법.
제2항에 있어서,
상기 검출 서브 모델의 제1 부분을 이용하여 상기 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 상기 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻은 후, 상기 이미지 인식 방법은,
상기 이미지 분류 결과 상기 인식하고자 하는 병리학적 이미지에 상기 표적 세포가 포함되지 않은 것으로 나타나면, 상기 제1 부분은 상기 인식하고자 하는 병리학적 이미지에 상기 표적 세포가 포함되어 있지 않다는 검출 결과 프롬프트를 출력하는 단계를 더 포함하는 것을 특징으로 하는 이미지 인식 방법.
제2항 또는 제3항에 있어서,
상기 인식 모델 중의 검출 서브 모델을 사용하여 상기 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 상기 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻는 단계는,
상기 검출 서브 모델의 제3 부분을 이용하여 상기 인식하고자 하는 병리학적 이미지에 대해 특징 추출을 수행하여, 상기 인식하고자 하는 병리학적 이미지의 이미지 특징을 얻는 단계를 더 포함하는 것을 특징으로 하는 이미지 인식 방법.
제4항에 있어서,
상기 검출 서브 모델의 제1 부분을 이용하여 상기 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 상기 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻는 단계는,
상기 검출 서브 모델의 제1 부분을 이용하여 상기 이미지 특징에 대해 제2 분류 처리를 수행하여, 상기 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 인식 방법.
제4항에 있어서,
상기 검출 서브 모델의 제2 부분을 이용하여 상기 인식하고자 하는 병리학적 이미지에 대해 영역 검출을 수행하여, 상기 표적 세포를 포함하는 검출 영역을 얻는 단계는,
상기 검출 서브 모델의 제2 부분을 이용하여 상기 이미지 특징에 대해 영역 검출을 수행하여, 상기 표적 세포를 포함하는 검출 영역을 얻는 단계를 포함하는 것을 특징으로 하는 이미지 인식 방법.
제4항 내지 제6항 중 어느 한 항에 있어서,
상기 제1 부분은 글로벌 분류 네트워크이고, 상기 제2 부분은 이미지 검출 네트워크이며, 상기 제3 부분은 특징 추출 네트워크이고; 상기 특징 추출 네트워크는 변형 가능한 컨볼루션 계층, 글로벌 정보 향상 모듈 중의 적어도 하나를 포함하는 것을 특징으로 하는 이미지 인식 방법.
제1항 또는 제2항에 있어서,
상기 인식 모델 중의 분류 서브 모델을 이용하여 상기 검출 영역에 대해 제1 분류 처리를 수행하여, 상기 표적 세포의 카테고리를 얻는 단계는,
상기 분류 서브 모델을 이용하여 상기 인식하고자 하는 병리학적 이미지의 상기 검출 영역에 대해 특징 추출을 수행하여, 상기 검출 영역의 이미지 특징을 얻는 단계;
상기 검출 영역의 이미지 특징에 대해 제1 분류 처리를 수행하여, 상기 표적 세포의 카테고리를 얻는 단계를 포함하는 것을 특징으로 하는 이미지 인식 방법.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함하고, 상기 표적 세포의 카테고리는 상기 표적 세포의 병변 정도를 나타내는 것을 특징으로 하는 이미지 인식 방법.
인식 모델의 트레이닝 방법으로서,
상기 인식 모델은 검출 서브 모델 및 분류 서브 모델을 포함하며,
제1 샘플 이미지 및 제2 샘플 이미지를 획득하는 단계 - 상기 제1 샘플 이미지에는 표적 세포에 대응되는 실제 영역이 마킹되어 있고, 상기 제2 샘플 이미지에는 표적 세포의 실제 카테고리가 마킹되어 있음 - ;
상기 검출 서브 모델을 이용하여 상기 제1 샘플 이미지에 대해 표적 검출을 수행하여, 상기 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻고, 상기 분류 서브 모델을 이용하여 상기 제2 샘플 이미지에 대해 제1 분류 처리를 수행하여, 상기 표적 세포의 예측 카테고리를 얻는 단계;
상기 실제 영역과 상기 예측 영역에 기반하여, 상기 검출 서브 모델의 제1 손실 값을 결정하고, 상기 실제 카테고리와 상기 예측 카테고리에 기반하여, 상기 분류 서브 모델의 제2 손실 값을 결정하는 단계; 및
상기 제1 손실 값 및 상기 제2 손실 값을 이용하여, 상기 검출 서브 모델 및 상기 분류 서브 모델의 파라미터를 상응하게 조정하는 단계를 포함하는 것을 특징으로 하는 인식 모델의 트레이닝 방법.
제10항에 있어서,
상기 검출 서브 모델을 이용하여 상기 제1 샘플 이미지에 대해 표적 검출을 수행하여, 상기 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻는 단계는,
상기 제1 샘플 이미지에 대해 제2 분류 처리를 수행하여, 상기 제1 샘플 이미지의 이미지 분류 결과를 얻는 단계 - 상기 이미지 분류 결과는 상기 제1 샘플 이미지에 상기 표적 세포가 포함되는지 여부를 나타내기 위한 것임 - ;
상기 이미지 분류 결과 상기 제1 샘플 이미지에 상기 표적 세포가 포함된 것으로 나타나면, 상기 제1 샘플 이미지에 대해 영역 검출을 수행하여, 상기 표적 세포를 포함하는 예측 영역을 얻는 단계를 포함하는 것을 특징으로 하는 인식 모델의 트레이닝 방법.
제10항 또는 제11항에 있어서,
상기 검출 서브 모델을 이용하여 상기 제1 샘플 이미지에 대해 표적 검출을 수행하여, 상기 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻고, 상기 분류 서브 모델을 이용하여 상기 제2 샘플 이미지에 대해 제1 분류 처리를 수행하여, 상기 표적 세포의 예측 카테고리를 얻기 전에, 상기 인식 모델의 트레이닝 방법은,
상기 제1 샘플 이미지 및 제2 샘플 이미지에 대해 데이터 향상을 수행하는 단계; 및
상기 제1 샘플 이미지 및 제2 샘플 이미지 중의 픽셀 값을 정규화 처리하는 단계 중 적어도 하나를 더 포함하며;
상기 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함하고, 상기 표적 세포의 카테고리는 상기 표적 세포의 병변 정도를 나타내는 것을 특징으로 하는 인식 모델의 트레이닝 방법.
이미지 인식 장치로서,
인식하고자 하는 병리학적 이미지를 획득하도록 구성된 이미지 획득 모듈;
인식 모델 중의 검출 서브 모델을 사용하여 상기 인식하고자 하는 병리학적 이미지에 대해 표적 검출을 수행하여, 상기 인식하고자 하는 병리학적 이미지에서의 표적 세포를 포함하는 검출 영역을 얻도록 구성된 이미지 검출 모듈; 및
상기 인식 모델 중의 분류 서브 모델을 이용하여 상기 검출 영역에 대해 제1 분류 처리를 수행하여, 상기 표적 세포의 카테고리를 얻도록 구성된 이미지 분류 모듈을 포함하는 것을 특징으로 하는 이미지 인식 장치.
제13항에 있어서,
상기 이미지 검출 모듈은,
상기 검출 서브 모델의 제1 부분을 이용하여 상기 인식하고자 하는 병리학적 이미지에 대해 제2 분류 처리를 수행하여, 상기 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻도록 구성된 제1 부분 서브 모듈 - 상기 이미지 분류 결과는 상기 인식하고자 하는 병리학적 이미지에 상기 표적 세포가 포함되는지 여부를 나타내기 위한 것임 - ;
이미지 분류 결과가 상기 인식하고자 하는 병리학적 이미지에 상기 표적 세포가 포함된 것으로 나타나면, 상기 검출 서브 모델의 제2 부분을 이용하여 상기 인식하고자 하는 병리학적 이미지에 대해 영역 검출을 수행하여, 상기 표적 세포를 포함하는 검출 영역을 얻도록 구성된 제2 부분 서브 모듈을 포함하는 것을 특징으로 하는 이미지 인식 장치.
제14항에 있어서,
상기 이미지 검출 모듈은,
상기 이미지 분류 결과 상기 인식하고자 하는 병리학적 이미지에 상기 표적 세포가 포함되지 않은 것으로 나타나면, 상기 제1 부분이 상기 인식하고자 하는 병리학적 이미지에 상기 표적 세포가 포함되어 있지 않다는 검출 결과 프롬프트를 출력하도록 구성된 결과 프롬프트 서브 모듈을 더 포함하는 것을 특징으로 하는 이미지 인식 장치.
제14항 또는 제15항에 있어서,
상기 이미지 검출 모듈은,
상기 검출 서브 모델의 제3 부분을 이용하여 상기 인식하고자 하는 병리학적 이미지에 대해 특징 추출을 수행하여, 상기 인식하고자 하는 병리학적 이미지의 이미지 특징을 얻도록 구성된 제3 부분 서브 모듈을 더 포함하는 것을 특징으로 하는 이미지 인식 장치.
제16항에 있어서,
상기 제1 부분 서브 모듈은 또한, 상기 검출 서브 모델의 제1 부분을 이용하여 상기 이미지 특징에 대해 제2 분류 처리를 수행하여, 상기 인식하고자 하는 병리학적 이미지의 이미지 분류 결과를 얻도록 구성된 것을 특징으로 하는 이미지 인식 장치.
제16항에 있어서,
상기 제2 부분 서브 모듈은 또한, 상기 검출 서브 모델의 제2 부분을 이용하여 상기 이미지 특징에 대해 영역 검출을 수행하여, 상기 표적 세포를 포함하는 검출 영역을 얻도록 구성된 것을 특징으로 하는 이미지 인식 장치.
제16항 내지 제18항 중 어느 한 항에 따라서,
상기 제1 부분은 글로벌 분류 네트워크이고, 상기 제2 부분은 이미지 검출 네트워크이며, 상기 제3 부분은 특징 추출 네트워크이고; 상기 특징 추출 네트워크는 변형 가능한 컨볼루션 계층, 글로벌 정보 향상 모듈 중의 적어도 하나를 포함하는 것을 특징으로 하는 이미지 인식 장치.
제13항 또는 제14항에 있어서,
상기 이미지 분류 모듈은,
상기 분류 서브 모델을 이용하여 상기 인식하고자 하는 병리학적 이미지의 상기 검출 영역에 대해 특징 추출을 수행하여, 상기 검출 영역의 이미지 특징을 얻도록 구성된 특징 추출 서브 모듈;
상기 검출 영역의 이미지 특징에 대해 제1 분류 처리를 수행하여, 상기 표적 세포의 카테고리를 얻도록 구성된 분류 처리 서브 모듈을 포함하는 것을 특징으로 하는 이미지 인식 장치.
제13항 내지 제20항 중 어느 한 항에 있어서,
상기 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함하고, 상기 표적 세포의 카테고리는 표적 세포의 병변 정도를 나타내는 것을 특징으로 하는 이미지 인식 장치.
인식 모델의 트레이닝 장치로서,
상기 인식 모델의 트레이닝 장치는 검출 서브 모델 및 분류 서브 모델을 포함하며,
제1 샘플 이미지 및 제2 샘플 이미지를 획득하도록 구성된 이미지 획득 모듈 - 상기 제1 샘플 이미지에는 표적 세포에 대응되는 실제 영역이 마킹되어 있고, 상기 제2 샘플 이미지에는 표적 세포의 실제 카테고리가 마킹되어 있음 - ;
상기 검출 서브 모델을 이용하여 상기 제1 샘플 이미지에 대해 표적 검출을 수행하여, 상기 제1 샘플 이미지에서 표적 세포를 포함하는 예측 영역을 얻고, 상기 분류 서브 모델을 이용하여 상기 제2 샘플 이미지에 대해 제1 분류 처리를 수행하여, 상기 표적 세포의 예측 카테고리를 얻도록 구성된 모델 실행 모듈;
상기 실제 영역과 상기 예측 영역에 기반하여, 상기 검출 서브 모델의 제1 손실 값을 결정하고, 상기 실제 카테고리와 상기 예측 카테고리에 기반하여, 상기 분류 서브 모델의 제2 손실 값을 결정하도록 구성된 손실 결정 모듈; 및
상기 제1 손실 값 및 상기 제2 손실 값을 이용하여, 상기 검출 서브 모델 및 상기 분류 서브 모델의 파라미터를 상응하게 조정하도록 구성된 파라미터 조정 모듈을 포함하는 것을 특징으로 하는 인식 모델의 트레이닝 장치.
제22항에 있어서,
상기 모델 실행 모듈은,
상기 제1 샘플 이미지에 대해 제2 분류 처리를 수행하여, 상기 제1 샘플 이미지의 이미지 분류 결과를 얻도록 구성된 초기 분류 서브 모듈 - 상기 이미지 분류 결과는 상기 제1 샘플 이미지에 상기 표적 세포가 포함되는지 여부를 나타내기 위한 것임 - ;
상기 이미지 분류 결과가 상기 제1 샘플 이미지에 상기 표적 세포가 포함된 것으로 나타나면, 상기 제1 샘플 이미지에 대해 영역 검출을 수행하여, 상기 표적 세포를 포함하는 예측 영역을 얻도록 구성된 영역 검출 서브 모듈을 포함하는 것을 특징으로 하는 인식 모델의 트레이닝 장치.
제22항 또는 제23항에 있어서,
상기 인식 모델의 트레이닝 장치는,
상기 제1 샘플 이미지 및 제2 샘플 이미지에 대해 데이터 향상을 수행하도록 구성된 데이터 향상 모듈; 또는,
상기 제1 샘플 이미지 및 제2 샘플 이미지 중의 픽셀 값을 정규화 처리하도록 구성된 정규화 처리 모듈을 더 포함하며;
상기 표적 세포는 단일 병변 세포, 병변 세포 클러스터 중의 임의의 하나를 포함하고, 상기 표적 세포의 카테고리는 상기 표적 세포의 병변 정도를 나타내는 것을 특징으로 하는 인식 모델의 트레이닝 장치.
전자 기기로서,
서로 커플링된 메모리 및 프로세서를 포함하고,
상기 프로세서는 상기 메모리에 저장된 프로그램 명령을 실행하여, 제1항 내지 제9항 중 어느 한 항에 따른 이미지 인식 방법, 또는 제10항 내지 제12항 중 어느 한 항에 따른 인식 모델의 트레이닝 방법을 구현하는 것을 특징으로 하는 전자 기기.
프로그램 명령이 저장된 컴퓨터 판독 가능한 저장 매체로서,
상기 프로그램 명령이 프로세서에 의해 실행될 경우, 제1항 내지 제9항 중 어느 한 항에 따른 이미지 인식 방법, 또는 제10항 내지 제12항 중 어느 한 항에 따른 인식 모델의 트레이닝 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 판독 가능 코드를 포함하는 컴퓨터 프로그램으로서,
상기 컴퓨터 판독 가능 코드가 전자 기기에서 실행될 경우, 상기 전자 기기의 프로세서는 제1항 내지 제9항 중 어느 한 항에 따른 이미지 인식 방법, 또는 제10항 내지 제12항 중 어느 한 항에 따른 인식 모델의 트레이닝 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.