KR102597385B1 - 이미지 세그먼트화 방법 및 장치, 컴퓨터 디바이스 및 저장 매체 - Google Patents

Abstract

본 출원은 컴퓨터 기술 분야에 관련된다. 개시된 것은 이미지 세그먼트화 방법 및 장치, 컴퓨터 디바이스, 및 저장 매체이다. 방법은: 복수의 제1 샘플 이미지에 기초하여 제1 초기 모델을 사전 훈련시켜 제2 초기 모델을 획득하는 단계 - 제2 초기 모델은 복수의 타입의 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 포함함 -; 복수의 제2 샘플 이미지에 기초하여 제2 초기 모델을 훈련시켜 이미지 세그먼트화 모델을 획득하는 단계; 및 세그먼트화될 제1 이미지가 획득될 때 이미지 세그먼트화 모델을 호출하고, 이미지 세그먼트화 모델을 사용하여 제2 샘플 이미지들의 이미지 정보에 따라 제1 이미지를 세그먼트화하여 제2 이미지를 출력하는 단계를 포함한다.

Description

이미지 세그먼트화 방법 및 장치, 컴퓨터 디바이스 및 저장 매체

본 출원은 2018년 10월 16일자로 중국 특허청에 출원된 발명의 명칭이 "IMAGE SEGMENTATION METHOD AND APPARATUS, COMPUTER DEVICE, AND STORAGE MEDIUM"인 중국 특허 출원 제201811205146.4호에 대한 우선권을 주장하며, 이 출원은 그 전체가 본 명세서에 참조로 포함된다.

본 출원은 컴퓨터 기술 분야에 관한 것으로, 특히, 이미지 세그먼트화 방법 및 장치, 컴퓨터 디바이스, 및 저장 매체에 관한 것이다.

컴퓨터 기술의 발달로, 이미지 세그먼트화 기술, 예를 들어, 의료 이미지 세그먼트화 및 자연적 이미지 세그먼트화가 점점 더 광범위하게 적용된다. 이미지 세그먼트화 기술은 이미지를 특별한 속성들을 갖는 여러 특정 영역들로 세그먼트화하고 관심 타겟을 지정하는 기술이다. 예를 들어, 인체 조직 이미지 세그먼트화 시나리오에서, 의료 이미지가 세그먼트화되어 다양한 인체 조직들이 세그먼트화된 이미지에서 명확하게 구별될 수 있도록 한다.

현재, 이미지 세그먼트화 방법들은 일반적으로 2개의 모델: 캐스케이드된 3차원 완전 컨볼루션 네트워크(cascaded three-dimensional fully convolutional network: 캐스케이드된 3D FCN) 및 피라미드 장면 파싱 네트워크(pyramid scene parsing network: Pspnet)를 이용하여 구현된다. 이들 중에서도, 캐스케이드된 3D FCN이 주로 복부 조직을 세그먼트화하는데 이용되는 3차원(3D) 네트워크이다. Pspnet는 주로 자연적 이미지들을 세그먼트화하기 위해 사용되는 2차원(2D) 네트워크이다. 전술한 이미지 세그먼트화 방법들은 일반적으로 기술자가 이미지 세그먼트화의 요건들에 따라 인체 조직의 이미지를 분석하고, 이미지에서 어느 인체 조직이 세그먼트화될 것인지, 및 그러한 인체 조직의 이미지의 픽셀 분포의 특성들이 무엇인지를 분석하고, 및 분석 결과에 따라 모델을 설계하여 이 인체 조직의 샘플 이미지를 획득하여 설계된 모델을 훈련함으로써, 훈련된 모델이 세그먼트화될 필요가 있는 이미지를 세그먼트화하기 위해 사용될 수 있도록 하는 것을 요구한다.

모든 전술한 이미지 세그먼트화 방법들은 기술자가 이미지들 및 설계 모델들을 분석할 것을 요구한다. 다른 인체 조직들의이미지들이 세그먼트화될 필요가 있는 경우, 기술자는 다른 인체 조직들의이미지들을 분석하고 모델들을 재설계할 필요가 있다. 훈련은 이전에 설계된 모델들에 기초하여 직접 수행될 수 없다. 따라서, 전술한 이미지 세그먼트화 방법은 열악한 다목적성, 적용가능성, 및 실용성을 갖는다.

본 출원의 실시예들은 이미지 세그먼트화 방법 및 장치, 컴퓨터 디바이스, 및 저장 매체를 제공한다. 기술적 해결책들은 다음과 같다.

일 양태에 따르면, 이미지 세그먼트화 방법이 제공되고, 이 방법은 다음을 포함한다:

컴퓨터 디바이스에 의해, 복수의 제1 샘플 이미지에 기초하여 제1 초기 모델을 사전 훈련시켜 제2 초기 모델을 획득하는 단계 - 복수의 제1 샘플 이미지는 복수의 인체 조직의 이미지들을 포함하고, 제2 초기 모델은 복수의 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 포함함 -;

컴퓨터 디바이스에 의해, 복수의 제2 샘플 이미지에 기초하여 제2 초기 모델을 훈련시켜 이미지 세그먼트화 모델을 획득하는 단계 - 복수의 제2 샘플 이미지는 타겟 인체 조직의 이미지들이고, 이미지 세그먼트화 모델은 훈련 과정에서 복수의 제2 샘플 이미지의 이미지 정보를 획득하고, 복수의 제2 샘플 이미지의 이미지 정보는 타겟 인체 조직에 대응하는 복수의 타겟 영역의 적어도 분포 정보를 포함함 -; 및

컴퓨터 디바이스에 의해, 세그먼트화될 제1 이미지가 획득되는 경우에 이미지 세그먼트화 모델을 호출하고, 이미지 세그먼트화 모델을 사용하여, 이미지 정보에 따라 제1 이미지를 세그먼트화하여 제2 이미지를 출력하는 단계.

일 양태에 따르면, 이미지 세그먼트화 장치가 제공되고, 이 장치는 다음을 포함한다:

복수의 제1 샘플 이미지에 기초하여 제1 초기 모델을 사전 훈련시켜 제2 초기 모델을 획득하도록 구성된 훈련 모듈 - 복수의 제1 샘플 이미지는 복수의 인체 조직의 이미지들을 포함하고, 제2 초기 모델은 복수의 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 포함하고,

훈련 모듈은 복수의 제2 샘플 이미지에 기초하여 제2 초기 모델을 훈련하여 이미지 세그먼트화 모델을 획득하도록 추가로 구성되고, 복수의 제2 샘플 이미지는 타겟 인체 조직의 이미지들이고, 이미지 세그먼트화 모델은 훈련 과정에서 복수의 제2 샘플 이미지의 이미지 정보를 획득하고, 복수의 제2 샘플 이미지의 이미지 정보는 타겟 인체 조직에 대응하는 복수의 타겟 영역의 적어도 분포 정보를 포함함 -; 및

세그먼트화될 제1 이미지가 획득되는 경우에 이미지 세그먼트화 모델을 호출하고, 이미지 세그먼트화 모델을 사용하여 이미지 정보에 따라 제1 이미지를 세그먼트화하여 제2 이미지를 출력하도록 구성된 세그먼트화 모듈.

일 양태에 따르면, 프로세서 및 메모리를 포함하는 컴퓨터 디바이스가 제공되고, 메모리는 컴퓨터 판독가능 명령어들을 저장하고, 컴퓨터 판독가능 명령어들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 전술한 실시예들에서 설명된 방법을 수행하게 야기한다.

일 양태에 따르면, 컴퓨터 판독가능 명령어들을 저장하는 하나 이상의 비휘발성 저장 매체가 제공되고, 컴퓨터 판독가능 명령어들은, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 전술한 실시예들에서 설명된 방법을 수행하게 야기한다.

본 출원의 하나 이상의 실시예의 세부사항들은 이하의 첨부 도면들 및 설명들에서 제공된다. 본 출원의 다른 특징들, 목적들, 및 이점들은 명세서, 첨부 도면들, 및 청구항들로부터 명백해질 것이다.

본 출원의 실시예들에서의 기술적 해결책들을 보다 명확하게 설명하기 위해, 실시예들을 설명하기 위해 요구되는 첨부 도면들이 이하에서 간략하게 설명된다. 명백하게, 다음의 설명에서의 첨부 도면들은 단지 본 출원의 일부 실시예들을 도시하며, 본 기술분야의 통상의 기술자는 창의적인 노력 없이 이러한 첨부 도면들에 따라 다른 첨부 도면들을 획득할 수 있다.
도 1은 본 출원의 실시예에 따른 이미지 세그먼트화 방법의 구현 환경의 도면이다.
도 2는 본 출원의 실시예에 따른 이미지 세그먼트화 모델 훈련 방법의 흐름도이다.
도 3은 본 출원의 실시예에 따른 양상 병합 모듈의 처리 절차의 개략도이다.
도 4는 본 출원의 실시예에 따른 이미지 샘플링 방식의 개략도이다.
도 5는 본 출원의 실시예에 따른 이미지 샘플링 방식의 개략도이다.
도 6은 본 출원의 실시예에 따른 3D 모델의 개략적인 구조도이다.
도 7은 본 출원의 실시예에 따른 이미지 후처리 방식의 개략도이다.
도 8은 본 출원의 실시예에 따른 이미지 후처리 방식의 개략도이다.
도 9는 본 출원의 실시예에 따른 이미지 세그먼트화 모델의 개략적인 아키텍처 도면이다.
도 10은 본 출원의 실시예에 따른 이미지 세그먼트화 방법의 흐름도이다.
도 11은 본 출원의 실시예에 따른 이미지 세그먼트화 장치의 개략적인 구조도이다.
도 12는 본 출원의 실시예에 따른 단말기의 개략적인 구조도이다.
도 13은 본 출원의 실시예에 따른 서버의 개략적인 구조도이다.
도 14는 본 출원의 실시예에 따른 서버의 개략적인 구조도이다.
도 15는 본 출원의 실시예에 따른 단말기의 개략적인 구조도이다.

본 출원의 목적들, 기술적 해결책들, 및 장점들을 보다 명확하고 보다 이해하기 쉽게 하기 위해, 본 출원은 첨부 도면들 및 실시예들을 참조하여 상세히 추가로 상술된다. 본 명세서에 설명된 특정한 실시예들은 단지 출원을 설명하기 위해 사용되고, 본 출원을 제한하려는 것이 아니라는 것을 이해하여야 한다. 창의적 노력 없이도 본 출원의 실시예들에 기초하여 본 기술분야의 통상의 기술자에 의해 획득되는 모든 다른 실시예들은 본 출원의 보호 범위 내에 있을 것이다.

도 1은 본 출원의 실시예에 따른 이미지 세그먼트화 방법의 구현 환경의 도면이다. 도 1을 참조하면, 구현 환경은 복수의 컴퓨터 디바이스를 포함할 수 있다. 복수의 컴퓨터 디바이스는 유선 접속 방식으로 데이터 교환을 구현할 수 있거나, 또는 무선 네트워크 접속 방식으로 데이터 교환을 구현할 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다.

본 출원의 실시예들에서, 컴퓨터 디바이스(101)는 이미지를 세그먼트화하도록 구성될 수 있다. 일부 실시예들에서, 이미지는 의료 이미지, 즉 인체 조직의 이미지일 수 있다. 본 출원의 실시예들에서 제공되는 이미지 세그먼트화 방법은 인체 조직 이미지 세그먼트화 시나리오들, 예를 들어, 간암 세그먼트화, 뇌암 및 주변 손상 세그먼트화, 폐암 세그먼트화, 췌장암 세그먼트화, 대장암 세그먼트화, 간 세그먼트화의 미세혈관 침습, 해마 구조 세그먼트화, 전립선 구조 세그먼트화, 좌심방 세그먼트화, 췌장 세그먼트화, 간 세그먼트화, 또는 비장 세그먼트화와 같은 인체 조직 이미지 세그먼트화 시나리오들에 적용가능하고, 물론, 대안적으로 다른 인체 조직 이미지 세그먼트화 시나리오들일 수 있다. 물론, 이미지는 또 다른 타입의 이미지일 수 있고, 이미지 세그먼트화 방법은 대안적으로 장면 이미지 세그먼트화 시나리오와 같은 또 다른 이미지 세그먼트화 시나리오에 적용 가능하다.

컴퓨터 디바이스(102)는, 컴퓨터 디바이스(101)가 이미지 세그먼트화 서비스를 제공하기 위해, 이미지를 캡처하고 캡처된 이미지를 컴퓨터 디바이스(101)에 전송하도록 구성될 수 있다. 일부 실시예들에서, 컴퓨터 디바이스(101)는 대안적으로 이미지를 캡처하고, 캡처된 이미지를 세그먼트화할 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다. 일부 실시예들에서, 컴퓨터 디바이스(102)는 대안적으로 또 다른 컴퓨터 디바이스로부터 획득된 이미지를 저장하도록 구성될 수 있고, 컴퓨터 디바이스(101)는 세그먼트화를 위해 컴퓨터 디바이스(102)로부터 저장된 이미지를 획득할 수 있다.

구체적으로, 컴퓨터 디바이스(101) 및 컴퓨터 디바이스(102) 둘 모두는 단말기들로서 제공되거나, 또는 서버들로서 제공될 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다.

도 2는 본 출원의 실시예에 따른 이미지 세그먼트화 모델 훈련 방법의 흐름도이다. 이미지 세그먼트화 모델 훈련 방법은 컴퓨터 디바이스에 적용가능하고, 컴퓨터 디바이스는 전술한 구현 환경에서의 컴퓨터 디바이스(101)일 수 있거나, 또는 또 다른 컴퓨터 디바이스일 수 있다. 즉, 이미지 세그먼트화 모델이 컴퓨터 디바이스(101)상에서의 훈련을 통해 획득될 수 있거나, 또는 이미지 세그먼트화 모델이 또 다른 컴퓨터 디바이스상에서의 훈련을 통해 획득될 수 있고, 그 다음에 이미지 세그먼트화 모델이 구성 파일로서 처리된다. 구성 파일은 컴퓨터 디바이스(101)에 전송되고, 따라서, 컴퓨터 디바이스(101)는 이미지 세그먼트화 모델을 저장한다. 물론, 컴퓨터 디바이스(101)는 대안적으로 이미지 세그먼트화 요건이 있을 때 또 다른 컴퓨터 디바이스상에서의 훈련을 통해 획득된 이미지 세그먼트화 모델을 호출할 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다. 도 2를 참조하면, 방법은 다음의 단계들을 포함할 수 있다:

200. 컴퓨터 디바이스는 복수의 제1 샘플 이미지에 기초하여 제1 초기 모델을 사전 훈련시켜 제2 초기 모델을 획득한다.

복수의 제1 샘플 이미지는 복수의 인체 조직의 이미지들을 포함한다. 예를 들어, 복수의 제1 샘플 이미지는 간 이미지, 뇌 이미지, 폐 이미지, 췌장 이미지, 대장 이미지, 해마 부분의 이미지, 전립선 부분의 이미지, 심장 부분의 이미지, 및 비장 이미지와 같은 인체 조직들의 이미지들을 포함할 수 있다. 물론, 그것은 다른 부분들의 더 많은 이미지들을 추가로 포함할 수 있고, 단지 예시적인 설명이 여기에 제공된다. 복수의 인체 조직의 이미지들의 타입 및 특정 타입의 수는 본 명세서에서 한정되지 않는다.

단계(200)에서, 컴퓨터 디바이스는 복수의 인체 조직의 이미지들에 기초한 사전 훈련을 통해 제2 초기 모델의 모델 파라미터를 획득하고, 제2 초기 모델은 복수의 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 포함한다. 즉, 복수의 인체 조직의 이미지들을 세그먼트화함으로써 선험적 지식이 획득된다. 이러한 방식으로, 모델은 상이한 시나리오들로부터의 데이터로 사전 훈련되어, 제2 초기 모델이 인체 조직 이미지들의 세그먼트화에 대한 관련 지식을 갖고, 의대생이 모든 부서마다 순환하는 것을 시뮬레이션하도록 구성될 수 있고, 따라서 의대생이 소정의 의료 지식 또는 임상 지식을 가질 수 있다.

이러한 방식으로, 제2 초기 모델은 이미 소정의 선험적 지식을 갖는다. 인체 조직의 이미지가 후속하여 세그먼트화될 필요가 있을 때, 제2 초기 모델은 관련 기술자가 인체 조직의 이미지를 분석하고 모델을 재설계할 필요 없이 이 인체 조직의 샘플 이미지들을 사용하여 직접 훈련될 수 있다. 즉, 제2 초기 모델은 특정 의학적 지식을 가지며, 인체 조직들의 다양한 이미지들은 제2 초기 모델을 사용하여 직접 훈련될 수 있고, 이는 제2 초기 모델 및 제2 초기 모델에 기초한 훈련을 통해 획득된 이미지 세그먼트화 모델의 실용성 및 다목적성을 효과적으로 개선할 수 있다.

201: 컴퓨터 디바이스는 복수의 제2 샘플 이미지를 획득하고, 여기서 각각의 제2 샘플 이미지는 라벨을 운반하고, 라벨은 제2 샘플 이미지의 타겟 세그먼트화 결과를 표시하기 위해 사용된다.

컴퓨터 디바이스는 복수의 제2 샘플 이미지에 기초한 훈련을 통해 이미지 세그먼트화 모델을 획득할 수 있다. 일부 실시예들에서, 복수의 제2 샘플 이미지는 컴퓨터 디바이스에 저장될 수 있고, 이미지 세그먼트화 모델 훈련이 수행될 필요가 있을 때 획득될 수 있다. 각각의 제2 샘플 이미지는 타겟 세그먼트화 결과를 표시하기 위해 사용되는 라벨을 추가로 반송할 수 있고, 여기서 타겟 세그먼트화 결과는 제2 샘플 이미지의 정확한 세그먼트화 결과, 또는 제2 샘플 이미지의 실제 세그먼트화 결과를 참조한다. 이러한 방식으로, 모델 훈련의 과정에서, 훈련 동안의 모델이 제2 샘플 이미지를 정확하게 세그먼트화하는지가 알려질 수 있고, 모델을 계속 훈련시킬 필요가 있는지가 알려질 수 있어서, 제2 샘플 이미지가 훈련된 모델을 이용하여 세그먼트화될 때 타겟 세그먼트화 결과 또는 타겟 세그먼트화 결과에 상당히 가까운 결과가 획득될 수 있도록 한다.

일부 실시예에서, 복수의 제2 샘플 이미지는 대안적으로 또 다른 컴퓨터 디바이스에 저장될 수 있다. 이미지 세그먼트화 모델 훈련이 요구될 때, 컴퓨터 디바이스는 또 다른 컴퓨터 디바이스로부터 복수의 제2 샘플 이미지를 획득할 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다.

예를 들어, 복수의 제2 샘플 이미지는 이미지 데이터베이스에 저장될 수 있고, 각각의 제2 샘플 이미지는 또한 라벨을 운반한다. 단계 201은 컴퓨터 디바이스가 이미지 데이터베이스로부터 복수의 제2 샘플 이미지를 획득하는 것일 수 있다.

202: 컴퓨터 디바이스는 복수의 제2 샘플 이미지를 제2 초기 모델에 입력한다.

일부 실시예들에서, 단계 200 후에, 컴퓨터 디바이스는 제2 초기 모델을 직접 훈련할 수 있는데, 즉 단계 201이 수행되고, 그 후 단계 202가 수행된다. 따라서, 단계 202에서, 복수의 제2 샘플 이미지를 획득한 후에, 컴퓨터 디바이스는 복수의 제2 샘플 이미지에 기초하여 제2 초기 모델을 훈련시켜, 후속하여 이미지 세그먼트화 모델에 기초하여 취득된 제1 이미지를 정확하게 세그먼트화하기 위한 이미지 세그먼트화 모델을 획득할 수 있다. 일부 실시예들에서, 단계 200 후에, 컴퓨터 디바이스는, 또 다른 컴퓨터 디바이스가 제2 초기 모델에 기초하여 후속 모델 훈련 과정을 수행하도록, 제2 초기 모델을 추가로 저장하거나, 또는 제2 초기 모델을 또 다른 컴퓨터 디바이스에 전송할 수 있다. 따라서, 단계 202에서, 복수의 제2 샘플 이미지를 획득한 후에, 컴퓨터 디바이스는 제2 초기 모델을 호출하고, 복수의 제2 샘플 이미지를 제2 초기 모델에 입력할 수 있다. 구체적인 구현은 본 출원의 실시예들에서 제한되지 않는다.

즉, 단계 202에서의 컴퓨터 디바이스는 제2 초기 모델을 저장하고, 이미지 세그먼트화 모델 훈련이 요구될 때 제2 초기 모델을 직접 호출하거나, 또는 호출하지 않고서 단계 200 후에 획득된 제2 초기 모델에 기초하여 훈련을 직접 수행할 수 있다. 물론, 제2 초기 모델은 또 다른 컴퓨터 디바이스에 대안적으로 저장될 수 있다. 이미지 세그먼트화 모델 훈련이 요구될 때, 컴퓨터 디바이스는 또 다른 컴퓨터 디바이스로부터 제2 초기 모델을 호출할 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다.

제2 초기 모델의 모델 파라미터는 초기 값이고, 컴퓨터 디바이스는 제2 초기 모델을 훈련하기 위해, 즉, 제2 샘플 이미지들을 통해 제2 초기 모델의 모델 파라미터를 조절하기 위해, 복수의 제2 샘플 이미지를 훈련 샘플들 및 검증 샘플들로서 사용할 수 있다. 따라서, 그 모델 파라미터가 복수 회 조절된 제2 초기 모델이 제1 이미지를 세그먼트화할 때 획득되는 세그먼트화 결과가 더 정확하다.

구체적으로, 컴퓨터 디바이스는 복수의 제2 샘플 이미지를 제2 초기 모델에 입력하고 - 각각의 제2 샘플 이미지는 제2 초기 모델에 의해 세그먼트화될 수 있음 -; 제2 초기 모델의 세그먼트화 결과 및 제2 샘플 이미지의 라벨, 즉, 제2 샘플 이미지의 타겟 세그먼트화 결과에 기초하여, 제2 초기 모델의 세그먼트화 능력을 결정하여, 제2 초기 모델의 모델 파라미터를 조절함으로써 제2 초기 모델의 세그먼트화 능력을 계속적으로 개선한다. 따라서, 후속 훈련을 통해 획득된 이미지 세그먼트화 모델은 이미지들을 정확하게 세그먼트화할 수 있다.

203. 컴퓨터 디바이스에서의 제2 초기 모델은 복수의 제2 샘플 이미지의 이미지 정보를 획득한다.

이미지 정보는 타겟 인체 조직에 대응하는 복수의 타겟 영역의 적어도 분포 정보를 포함한다. 즉, 제2 초기 모델은 먼저 복수의 제2 샘플 이미지의 이미지 정보를 획득하여, 소정 선험적 지식을 획득하고 세그먼트화될 타겟 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 이해할 수 있는데, 예를 들어, 분포 정보는 복수의 타겟 영역의 분포 타입들, 수, 및 크기 범위들을 포함할 수 있다. 물론, 본 출원의 실시예들에서 하나씩 열거되지 않은 다른 정보가 또한 포함될 수 있다.

제2 초기 모델은 복수의 제2 샘플 이미지의 관련된 상황들에 기초하여 후속 모델 훈련이 완료된 후에 세그먼트화될 필요가 있는 제1 이미지의 일부 세그먼트화 규칙들 및 처리 규칙들을 초기에 획득할 수 있다.

구체적으로, 제2 초기 모델은 복수의 제2 샘플 이미지의 라벨들에서의 정보에 기초하여 복수의 제2 샘플 이미지에 대해 연결 도메인 처리를 수행하고, 연결 도메인 처리가 수행되는 복수의 제2 샘플 이미지에 대해 토폴로지 분석을 수행하여, 타겟 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 획득할 수 있다. 타겟 영역은 복수의 제2 샘플 이미지에서의 타겟 타입의 픽셀들이 위치되는 영역을 지칭한다.

일부 실시예들에서, 이미지 정보는 각각의 제2 샘플 이미지의 속성 정보를 추가로 포함하여, 제2 샘플 이미지의 속성 정보에 기초하여 제2 샘플 이미지에 대해 전처리를 수행하여, 제2 샘플 이미지의 일부 기본 정보를 더 통합하거나 더 정확하게 할 수 있고, 따라서, 제2 샘플 이미지에 대한 세그먼트화가 더 정확해진다. 물론, 세그먼트화 결과를 더 정확하게 하기 위해 세그먼트화된 이미지에 대해 후처리가 대안적으로 수행될 수 있다. 속성 정보는 그레이스케일 범위, 양상 수, 및 크기 범위를 포함할 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다.

일부 실시예들에서, 제1 초기 모델 및 제2 초기 모델 둘 모두는 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 포함할 수 있다. 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈은 하나의 세그먼트화 알고리즘에 제각기 대응하고, 여기서 제1 이미지 세그먼트화 모듈은 3D 이미지들을 세그먼트화하도록 구성되고, 제2 이미지 세그먼트화 모듈은 2D 이미지들을 세그먼트화하도록 구성된다. 따라서, 훈련을 통해 제2 초기 모델에 기초하여 획득된 이미지 세그먼트화 모델은 또한 2개의 이미지 세그먼트화 모듈을 포함할 수 있다. 이러한 방식으로 획득된 이미지 세그먼트화 모델은 3D 이미지들을 직접 세그먼트화하거나 3D 이미지들을 세그먼트화를 위해 2D 이미지들로 변환할 수 있다. 물론, 2D 이미지들은 또한 직접 세그먼트화될 수 있고, 이미지는 2개의 세그먼트화 알고리즘을 통해 상이한 세그먼트화 방식들을 유연하게 선택함으로써 세그먼트화될 수 있으며, 이는 이미지 세그먼트화 모델의 실용성을 효과적으로 개선할 수 있고, 또한 이미지 세그먼트화의 정확도를 개선할 수 있다.

이러한 방식으로, 단계 203에서, 컴퓨터 디바이스에 의해 획득된 이미지 정보는 복수의 제2 샘플 이미지의 이미지 수를 추가로 포함하여, 이미지 수에 기초하여 이미지 세그먼트화 서브모듈들을 제2 이미지 세그먼트화 모듈로서 선택할 수 있게 한다. 구체적으로, 이미지 수에 기초하여 제2 샘플 이미지에 대한 처리 방식을 선택하는 방법은 아래의 단계 205에서 제2 이미지 세그먼트화 모듈의 이미지 세그먼트화 서브모듈들을 선택하는 과정을 지칭할 수 있고, 본 출원의 실시예들은 본 명세서에서 너무 많은 것을 도입하지 않을 것이다.

이하에서는, 이미지 정보가 타겟 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보, 각각의 제2 샘플 이미지의 속성 정보, 및 복수의 제2 샘플 이미지의 이미지 수를 포함하는 것이 단계 203에서 획득되는 예를 사용하여 설명이 모두 이뤄지고, 제1 초기 모델, 제2 초기 모델, 및 이미지 세그먼트화 모델은 각각 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 포함한다.

204. 컴퓨터 디바이스에서의 제2 초기 모델은 이미지 정보에 따라 각각의 제2 샘플 이미지를 전처리하고, 각각의 전처리된 제2 샘플 이미지를 제2 초기 모델에서의 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 내에 입력한다.

단계 204는 각각의 제2 샘플 이미지의 속성 정보에 기초하여 각각의 제2 샘플 이미지를 전처리하고, 전처리된 복수의 제2 샘플 이미지를 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 내에 입력하는 과정이다. 즉, 단계 204에서의 전처리가 기초하는 데이터는 이미지 정보에서의 각각의 제2 샘플 이미지의 속성 정보이다.

제2 초기 모델은 제2 샘플 이미지를 전처리하여, 전처리된 제2 샘플 이미지가 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈의 이미지 세그먼트화 조건을 충족시킬 수 있게 하거나, 또는 제2 샘플 이미지에서의 비정상 픽셀을 제거할 수 있거나, 제1 이미지의 픽셀들을 정규화할 수 있고, 따라서, 전처리된 제2 샘플 이미지는 이미지 세그먼트화 동안 더 정확해진다.

일부 실시예들에서, 제2 샘플 이미지의 속성 정보가 상이하면, 전처리 과정도 상이할 수 있다. 구체적으로, 전처리 과정은 다음의 단계들 중 임의의 하나 이상을 포함할 수 있다:

단계 1: 제2 초기 모델은, 속성 정보에 따라 제2 이미지에서 비정상 픽셀이 존재한다고 결정하는 경우, 비정상 픽셀을 삭제한다.

일부 실시예들에서, 비정상 픽셀은 픽셀 값이 비정상 값인 픽셀을 지칭하며, 여기서 비정상 픽셀의 픽셀 값은 제2 샘플 이미지에서의 복수의 픽셀 값 중 표준 편차의 2배를 초과하는 복수의 픽셀 값의 평균 값으로부터의 편차를 갖는 픽셀 값이다. 또한, 평균값으로부터의 편차가 표준 편차의 3배를 초과하는 픽셀 값이 또한 매우 비정상적인 픽셀의 픽셀 값일 수 있다. 제2 샘플 이미지에서 비정상 픽셀이 존재하면, 제2 샘플 이미지에서의 비정상 픽셀은 비정상 픽셀이 세그먼트화 결과에 영향을 미치는 것을 방지하기 위해 삭제될 수 있고, 그에 의해 제2 샘플 이미지의 더 정확한 세그먼트화 결과를 보장한다.

구체적으로, 제2 샘플 이미지의 복수의 픽셀의 픽셀 값들에 따라 제2 샘플 이미지의 그레이스케일 곡선이 획득될 수 있어서, 제2 샘플 이미지의 복수의 픽셀의 픽셀 값들의 평균 값, 최대 값, 최소 값 또는 그와 유사한 것이 그레이스케일 곡선으로부터 획득되어, 비정상 픽셀 값을 결정할 수 있도록 한다. 물론, 비정상 픽셀 값은 대안적으로 히스토그램 형태로 제2 샘플 이미지의 복수의 픽셀 값을 카운트함으로써 결정될 수 있다. 예를 들어, 평균 값과의 그 차이가 미리 설정된 차이보다 큰 픽셀 값에 대응하는 픽셀이 비정상 픽셀로서 사용될 수 있고, 대안적으로, 제2 샘플 이미지의 복수의 픽셀 값 중 80%가 정상 값들로서 사용될 수 있고, 나머지 20% 는 픽셀 값들과 평균 값 사이의 차이 값들에 따라 비정상 값들로서 사용될 수 있으며, 여기서 비정상 값은 평균 값과 큰 차이를 갖는 픽셀 값이고, 정상 값은 평균 값과 작은 차이를 갖는 픽셀 값이다. 전술한 내용은 일부 예시적인 설명들만을 제공한다. 구체적으로, 단계 1은 임의의 비정상 값 검출 알고리즘 또는 임의의 비정상 값 처리 방법을 사용하여 구현될 수 있으며, 이는 본 출원의 실시예들에서 제한되지 않는다.

단계 2: 제2 초기 모델은 속성 정보에 따라 비정상 픽셀이 그로부터 삭제된 제2 샘플 이미지의 그레이스케일 범위가 타겟 범위보다 크다고 결정한 경우에 제2 샘플 이미지에 대해 정규화 처리를 수행하여, 제2 샘플 이미지의 그레이스케일 범위가 타겟 범위 내에 있도록 조절한다.

타겟 범위는 또한 제2 초기 모델에서 설정될 수 있고, 타겟 범위는 관련 기술자에 의해 미리 설정될 수 있다. 예를 들어, 타겟 범위는 [0, 255]일 수 있다. 제2 샘플 이미지의 그레이스케일 범위가 타겟 범위보다 클 때, 제2 샘플 이미지에 대해 정규화 처리가 수행되어 제2 샘플 이미지의 그레이스케일 범위가 타겟 범위 내에 있도록 조절할 수 있다. 따라서, 모든 제2 샘플 이미지들의 그레이스케일 범위들은 세그먼트화의 후속 과정에서 타겟 범위 내에 있다. 그레이스케일 범위들은 통합되고, 제2 샘플 이미지들은 또한 필적하므로, 제2 샘플 이미지를 세그먼트화함으로써 획득되는 세그먼트화 결과들이 또한 더 정확해지도록 한다. 구체적으로, 정규화 처리 과정은 임의의 정규화 방법을 사용하여 구현될 수 있다. 예를 들어, 그레이스케일 범위는 선형 함수에 따라 타겟 범위 내에 있도록 변환될 수 있고, 이는 본 출원의 실시예들에서 제한되거나 상세히 설명되지 않는다.

단계 3: 제2 초기 모델은 속성 정보에 따라 제2 샘플 이미지의 채널 수가 1보다 큰 것으로 결정한 경우에 제2 샘플 이미지의 각각의 픽셀 값으로부터 타겟 이미지 평균을 감산한다.

제2 샘플 이미지는 컬러 이미지 또는 그레이스케일 이미지일 수 있다. 컬러 이미지의 채널 수는 1보다 크고, 그레이스케일 이미지의 채널 수는 1이다. 제2 샘플 이미지가 속성 정보에 따라 컬러 이미지라고 결정되면, 타겟 이미지 평균은 제2 샘플 이미지의 각각의 픽셀 값으로부터 감산될 수 있다. 일부 실시예들에서, 타겟 이미지 평균은 제2 초기 모델을 사전 훈련하는 과정에서 획득될 수 있는데, 즉, 타겟 이미지 평균은 전술한 단계 200에서 획득될 수 있다. 구체적으로, 타겟 이미지 평균은 사전 훈련 동안의 복수의 제1 샘플 이미지의 이미지 평균, 즉, 픽셀 값들의 평균 값일 수 있다.

단계 3을 통해, 제2 샘플 이미지의 픽셀 값들의 범위(그레이스케일 범위)는 모델 사전 훈련 동안 제1 샘플 이미지의 픽셀 값들의 범위(그레이스케일 범위)와 일치하게 될 수 있어서, 모델 훈련 및 모델 이용 동안 이미지에 대해 전술한 처리가 수행될 때, 처리된 이미지의 그레이스케일 범위가 처리 전의 이미지의 것과 일치할 수 있도록 하고, 따라서 이미지 세그먼트화 결과가 더 정확해진다.

단계 4: 제2 초기 모델은 속성 정보에 따라 제2 샘플 이미지의 양상 수가 1보다 크다고 결정한 경우에 제2 샘플 이미지를 양상 병합 모듈에 입력하고, 양상 병합 모듈을 사용하여, 제2 샘플 이미지의 복수의 픽셀 값을 걸러내어, 전처리된 제2 샘플 이미지의 픽셀 값들의 타겟 수를 획득하는데, 전처리된 제2 샘플 이미지의 양상 수는 1이다.

제2 샘플 이미지의 양상 수는 1이 아닐 수 있다. 예를 들어, 제2 샘플 이미지는 컴퓨터 단층 촬영(CT), 자기 공명 촬영(MRI), 또는 양전자 방출 컴퓨터 단층 촬영(PET)과 같은 복수의 촬영 원리 또는 복수의 촬영 디바이스를 통해 획득된다. 제2 초기 모델은 다중 양상 이미지에 대해 양상 병합을 더 수행하고, 그에 의해 병합된 이미지를 세그먼트화할 수 있다. 양상 병합 모듈은 제2 초기 모델에서의 모듈이다. 제2 샘플 이미지의 양상 수가 1보다 클 때, 양상 병합 모듈을 사용하여 제2 샘플 이미지에 대해 양상 병합이 수행될 수 있다.

구체적으로, 단계 4에서 양상 병합 모듈을 이용하여 제2 샘플 이미지를 처리하는 과정은 또한 다음과 같이 이해될 수 있다: 양상 병합 모듈은 모듈 파라미터에 따라, 제2 샘플 이미지의 복수의 픽셀 값으로부터 픽셀 값들의 타겟 수를 제2 샘플 이미지의 픽셀 값들로서 선택할 수 있다. 타겟 수는 그 양상 수가 1인 제2 샘플 이미지의 픽셀 값들의 수이다. 일부 실시예들에서, 양상 병합 모듈의 모듈 파라미터는 모델 훈련 과정에서 조절될 수 있어서, 선택된 픽셀 값들의 타겟 수가 더 대표적이고 제2 샘플 이미지의 특징들을 더 잘 나타낼 수 있다. 전술한 것은 하나의 양상 병합 방식만을 제공한다. 구체적으로, 과정은 대안적으로 또 다른 방식을 채택할 수 있고, 이는 본 출원의 실시예들에서 제한되지 않는다.

예를 들어, 도 3에 도시된 바와 같이, 양상 병합 모듈의 경우, 제2 샘플 이미지의 양상 수는 n일 수 있고, n은 양의 정수이다. 양상 병합 모듈은 n개의 양상의 픽셀 값들을 병합하고 전술한 선택 단계를 수행하여, 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈에 입력될 제2 샘플 이미지의 픽셀 값을 최종적으로 획득할 수 있고, 그에 의해 n개의 양상을 갖는 제2 샘플 이미지를 하나의 양상을 갖는 제2 샘플 이미지로 병합한다. 도 3에서, 양상은 양상(modality)를 지칭하고, H는 높이를 지칭하고, W는 폭을 지칭하고, D는 깊이를 지칭하고, C는 채널 수를 지칭하고, Concat는 연쇄를 지칭하고, 입력은 입력을 지칭하고, Convolution은 컨볼루션을 지창하고, Featuremap은 특징 맵을 지칭한다.

제2 샘플 이미지가 전술한 단계들 중 하나 이상을 통해 전처리된 후에, 전처리된 제2 샘플 이미지는 후속 세그먼트화 단계들을 위해 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈에 입력될 수 있다. 물론, 전처리 과정은 전술한 4개의 단계로 제한되지 않는다. 전처리 과정은 다른 단계들을 추가로 포함할 수 있다. 예를 들어, 제2 초기 모델은 제2 샘플 이미지를 샘플링할 수 있고, 제2 샘플 이미지의 크기 범위에 기초하여 제2 샘플 이미지에 대한 샘플링 방식을 결정할 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 제2 초기 모델의 다운샘플링 배수가 8에 설정되고, 크기 조정(resizing)되고 이후 8배만큼 다운샘플링되는 이미지의 크기가 하나의 픽셀보다 큰 경우, 이미지는 직접 크기 조정될 수 있다. 도 5에 도시된 바와 같이, 8배만큼 크기 조정되고 이후 다운샘플링되는 이미지의 크기가 하나의 픽셀 미만인 경우, 이는 다운샘플링 과정에서 많은 유용한 정보가 손실됨을 나타내며, 이미지는 다중 스케일 이미지 크로핑 방식으로 샘플링될 필요가 있다.

205. 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈은 각각의 제2 샘플 이미지를 제각기 세그먼트화하여 제1 세그먼트화 결과 및 제2 세그먼트화 결과를 획득한다.

제1 이미지 세그먼트화 모듈에 대해, 제1 이미지 세그먼트화 모듈은 2-스테이지 흐름 설계를 채택할 수 있는데, 즉, 제1 이미지 세그먼트화 모듈은 제2 샘플 이미지에 대해 2-스테이지 세그먼트화, 즉, 두 번의 세그먼트화를 수행할 수 있다. 제1 스테이지에서, 제1 이미지 세그먼트화 모듈은 제2 샘플 이미지에 대해 거친 세그먼트화를 수행할 수 있고, 제2 스테이지에서, 제1 이미지 세그먼트화 모듈은 제2 샘플 이미지에 대해 미세 세그먼트화를 수행할 수 있다. 이러한 방식으로, 상이한 장애 레벨들에서의 세그먼트화 작업들이 다루어질 수 있다.

일부 실시예들에서, 제1 이미지 세그먼트화 모듈은 18-계층 3D 단위 네트워킹(unet) 모델을 사용함으로써 구현될 수 있다. 도 6은 본 출원의 실시예에 따른 3D 모델의 개략적인 구조도이다. 도 6에 도시된 바와 같이, 3D 모델은 먼저 제2 샘플 이미지에 대해 특징 추출을 수행한 다음, 추출된 특징에 기초하여 업샘플링을 수행할 수 있다. 특징 추출 과정은 컨볼루션 및 풀링과 같은 단계들을 통해 구현될 수 있다. 특징 추출 과정에서, 제2 샘플 이미지의 크기는 점차 감소한다. 업샘플링 과정에서, 업샘플링은 이전 특징 추출 과정에서의 제2 샘플 이미지의 일부 데이터 및 특징 추출 후에 획득된 데이터를 통합함으로써 수행될 수 있는데, 즉, 전술한 업샘플링 과정은 스킵 연결 방식으로 구현되어, 제2 샘플 이미지를 세그먼트화하는 과정을 최종적으로 구현한다. [132, 132, 116] 및 [64, 64, 56]은 폭, 높이 및 깊이를 포함하는 이미지의 크기를 나타낸다. 32, 64, 128, 512 및 258+512는 상위 계층 네트워크의 컨볼루션 커널들의 수들이고, 이들은 본 명세서에서 하나씩 설명되지 않는다. 본 출원의 실시예들은 3D 모델만을 예로서 사용한다. 구체적으로, 제1 이미지 세그먼트화 모듈은 대안적으로 또 다른 모델을 사용함으로써 구현될 수 있는데, 이것은 본 출원의 실시예들에서 제한되거나 상세히 설명되지 않는다.

제1 이미지 세그먼트화 모듈을 사용하여 제2 샘플 이미지를 세그먼트화하는 과정은: 제1 이미지 세그먼트화 모듈이 제1 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제2 샘플 이미지에 대해 2개의 분류를 수행하여 제1 세그먼트화 결과를 획득하는 것일 수 있고, 여기서 2개의 분류에서의 제1 분류의 분류 대상들은 제2 샘플 이미지의 모든 픽셀들이고, 제2 분류의 분류 대상들은 제1 분류의 결과에서의 전경 픽셀(foreground pixel)들이다. 이러한 방식으로, 2개의 세그먼트화를 통해, 즉, 거친 세그먼트화가 먼저 수행된 후에, 미세 세그먼트화가 수행되고, 제1 세그먼트화 결과가 2개의 세그먼트화의 결과들을 참조하여 획득될 수 있고, 이는 이미지 세그먼트화의 정확도를 효과적으로 개선할 수 있다.

제1 이미지 세그먼트화 모듈은 복수 타입의 세그먼트화를 지원할 수 있고, 제1 이미지 세그먼트화 모듈은 제2 샘플 이미지의 각각의 픽셀에 대해 분류를 수행하고 각각의 픽셀의 타입, 즉 적어도 2개의 타입 중 하나를 결정할 수 있다. 적어도 2가지 타입은 2가지 타입으로 분할될 수 있고, 하나는 배경이고 다른 하나는 전경이다. 따라서, 대응하는 픽셀들은 배경 픽셀들 및 전경 픽셀들이다. 즉, 그 타입이 배경인 픽셀은 배경 픽셀이고, 그 타입이 전경인 픽셀은 전경 픽셀이다. 배경은 적어도 2가지 타입 중 하나이고, 전경은 적어도 2가지 타입의 배경 이외의 하나 이상의 타입이다.

구체적으로, 세그먼트화의 2개의 과정은 다음의 단계 1 내지 단계 3을 포함할 수 있다:

단계 1. 제1 이미지 세그먼트화 모듈은 제1 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제2 샘플 이미지의 각각의 픽셀에 대해 분류를 수행하여 제3 세그먼트화 결과를 획득하고, 제3 세그먼트화 결과는 제2 샘플 이미지의 각각의 픽셀이 적어도 2개의 타입 각각에 속할 확률을 표시하기 위해 사용된다.

단계 1은 제2 샘플 이미지를 거칠게 세그먼트화하는 과정, 즉, 2-스테이지 흐름 설계에서의 제1 스테이지이다. 제1 이미지 세그먼트화 모듈은 제2 샘플 이미지에서의 전경 픽셀들 및 배경 픽셀들을 구별할 수 있어서, 제2 샘플 이미지에서의 타겟 영역의 외부 윤곽을 결정하도록 한다. 단계 1에서 결정된 외부 윤곽에서의 픽셀들은 타겟 영역의 특정 분포를 결정하도록 외부 윤곽에서의 픽셀들의 타입들을 더 상세히 구별하기 위해 단계 2를 통해 더 분류된다.

단계 2. 제1 이미지 세그먼트화 모듈은 제3 세그먼트화 결과 및 제1 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제3 세그먼트화 결과에서의 각각의 전경 픽셀에 대해 분류를 수행하여 제4 세그먼트화 결과를 획득하고, 제4 세그먼트화 결과는 제3 세그먼트화 결과에서의 각각의 전경 픽셀이 적어도 2개의 타입 각각에 속할 확률을 나타내기 위해 사용된다.

단계 2에서, 제3 세그먼트화 결과에서의 배경 픽셀들은 무시되고, 전경 픽셀들만이 다시 분류되어, 타겟 영역의 외부 윤곽에서의 픽셀들에 대한 분류를 더 상세히 수행하여 더 상세한 세그먼트화 결과를 획득한다. 단계 2는 제2 샘플 이미지를 미세하게 세그먼트화하는 과정, 즉, 2-스테이지 흐름 설계에서의 제2 스테이지이다. 제1 이미지 세그먼트화 모듈은 전경 픽셀들로서 결정되는 픽셀들에 대해 분류를 다시 수행하고, 각각의 픽셀이 적어도 2개의 타입 중 어느 타입에 속하는지를 다시 결정할 수 있다.

단계 3. 제1 이미지 세그먼트화 모듈은 제3 세그먼트화 결과 및 제4 세그먼트화 결과에 기초하여 제1 세그먼트화 결과를 획득한다.

거친 세그먼트화 및 미세 세그먼트화가 제3 세그먼트화 결과 및 제4 세그먼트화 결과를 획득하기 위해 수행된 후에, 제1 이미지 세그먼트화 모듈은 제2 샘플 이미지의 제1 세그먼트화 결과를 결정하기 위해 2개의 세그먼트화 결과를 추가로 통합할 수 있다. 일부 실시예들에서, 거친 세그먼트화에서의 배경 픽셀들에 대해, 제3 세그먼트화 결과에서의 배경 픽셀들의 세그먼트화 결과들은 제1 세그먼트화 결과에서의 픽셀들의 세그먼트화 결과들로서 사용될 수 있다. 거친 세그먼트화에서의 전경 픽셀들에 대해, 전경 픽셀들의 세그먼트화 결과들이 제3 세그먼트화 결과 및 제4 세그먼트화 결과 둘 다에 존재하고, 제1 이미지 세그먼트화 모듈은 제3 세그먼트화 결과 및 제4 세그먼트화 결과에서의 전경 픽셀들의 세그먼트화 결과들을 제1 세그먼트화 결과로서 평균화할 수 있다.

일부 실시예들에서, 제1 이미지 세그먼트화 모듈은 대안적으로 제3 세그먼트화 결과 및 제4 세그먼트화 결과의 평균 값을 제1 세그먼트화 결과로서 직접 사용할 수 있고, 여기서 제4 세그먼트화 결과는 제3 세그먼트화 결과에서의 배경 픽셀들의 세그먼트화 결과들을 추가로 포함하고, 배경 픽셀들은 배경으로서 직접 결정된다. 즉, 제2 스테이지에서, 제1 이미지 세그먼트화 모듈은 제1 스테이지에서 배경 픽셀들에 대해 다시 분류를 수행하지 않지만, 배경 픽셀들의 타입을 디폴트로 배경으로서 직접 결정한다.

물론, 단계 3이 평균화 방식으로 구현되는 예를 사용하는 것에 의해서만 위에서 설명들이 이루어진다. 일부 실시예들에서, 제1 이미지 세그먼트화 모듈은 대안적으로 제3 세그먼트화 결과와 제4 세그먼트화 결과의 가중 합을 계산하여 제1 세그먼트화 결과를 획득할 수 있다. 단계 3의 특정 구현은 본 출원의 실시예들에서 제한되지 않는다.

제2 이미지 세그먼트화 모듈에 대해, 일부 실시예들에서, 제2 이미지 세그먼트화 모듈은 깊은 잔차 네트워크(residual network: ResNet)를 사용함으로써 구현될 수 있다. 예를 들어, ResNet는 ResNet-18, ResNet-101, 또는 ResNet-152일 수 있고, 어느 ResNet가 구체적으로 사용되는지는 본 출원의 실시예들에서 제한되지 않는다.

일부 실시예들에서, 제2 이미지 세그먼트화 모듈은 적어도 하나의 이미지 세그먼트화 서브모듈을 포함할 수 있고, 상이한 이미지 세그먼트화 서브모듈들은 상이한 깊이들을 갖는다. 예를 들어, 제2 이미지 세그먼트화 모듈은 2개의 이미지 세그먼트화 서브모듈: ResNet-18 및 ResNet-101을 포함할 수 있고, ResNet-101의 깊이는 ResNet-18의 깊이보다 더 크다. 전술한 단계 203에서 설명된 바와 같이, 이미지 정보는 복수의 제2 샘플 이미지의 이미지 수를 추가로 포함할 수 있다. 이러한 방식으로, 제2 샘플 이미지들의 이미지 수들이 상이할 때, 상이한 깊이들을 갖는 이미지 세그먼트화 서브모듈들이 훈련을 위해 사용될 수 있어서, 훈련된 모델의 오버피팅 현상 또는 불량한 세그먼트화 능력 문제를 피할 수 있다.

구체적으로, 제2 초기 모델은 이미지 수와 이미지 세그먼트화 서브모듈 사이의 대응 관계를 추가로 저장할 수 있다. 따라서, 단계 205는 제2 초기 모델이 복수의 제2 샘플 이미지의 이미지 수에 기초하여 이미지 수에 대응하는 이미지 세그먼트화 서브모듈들을 제2 이미지 세그먼트화 모듈로서 획득하는 것을 추가로 포함하고, 복수의 제2 샘플 이미지의 이미지 수는 전술한 단계 203에서 획득된 이미지 정보의 한 타입의 정보이다.

일부 실시예들에서, 제2 이미지 세그먼트화 모듈의 획득 단계에서, 더 큰 이미지 수는 획득된 이미지 세그먼트화 서브모듈의 더 큰 깊이를 나타낸다. 이러한 방식으로, 작은 데이터의 상황이 효과적으로 다뤄질 수 있고, 모델은 샘플 수가 비교적 작을 때 훈련될 수 있고, 따라서 더 양호한 세그먼트화 효과를 갖는 이미지 세그먼트화 모델이 획득된다.

또한, 제2 이미지 세그먼트화 모듈이 2개의 이미지 서브모듈을 포함하는 예가 사용되고, 제2 이미지 세그먼트화 모듈의 획득 단계는: 복수의 제2 샘플 이미지의 이미지 수가 미리 설정된 수보다 클 때, 제2 초기 모델이 제1 이미지 세그먼트화 서브모듈을 획득하고; 및 복수의 제2 샘플 이미지의 이미지 수가 미리 설정된 수 이하일 때, 제2 초기 모델이 제2 이미지 세그먼트화 서브모듈을 획득하는 것일 수 있다. 제1 이미지 세그먼트화 서브모듈의 깊이는 제2 이미지 세그먼트화 서브모듈의 깊이보다 크다. 미리 설정된 수는 관련 기술자에 의해 미리 설정될 수 있고, 미리 설정된 수의 특정 값은 본 출원의 실시예들에서 제한되지 않는다.

예를 들어, 제1 이미지 세그먼트화 서브모듈은 ResNet-101일 수 있고, 제2 이미지 세그먼트화 서브모듈은 ResNet-18일 수 있다. 타겟 수가 100인 예가 사용되고, 제2 이미지 세그먼트화 모듈의 획득 단계는: 제2 샘플 이미지들의 이미지 수가 100 미만일 때, ResNet-18이 기본 모델로서 사용될 수 있고; 및 제2 샘플 이미지들의 이미지 수가 100보다 클 때, ResNet-101이 기본 모델로서 사용될 수 있는 것일 수 있다. ResNet-18 및 ResNet-101의 구조 테이블들은 제각기 다음의 표 1 및 표 2이다:

계층 명은 계층의 이름이고, Conv는 컨볼루션에 대한 약어이며, 이는 컨볼루션을 의미하고, 스트라이드는 스트라이드이고, 블록들은 블록들이고, 최대 풀은 최대 풀링이다. 간단한 설명을 위한 예로서 ResNet-18의 구조를 사용하면, Conv1은 컨볼루션 계층일 수 있고, 컨볼루션 커널의 크기는 7x7이고, 컨볼루션 커널들의 수는 64이고, 스트라이드는 2이다. Conv2_x의 제1 계층은 풀링 계층이다. 풀링 계층 이후에, 2개의 컨볼루션 계층이 포함되고, 이들 모두는 64개의 3x3 컨볼루션 커널을 포함한다. 2개의 컨볼루션 커널은 하나의 블록이다. Conv2_x의 풀링 계층 이후에, 2개의 블록이 포함되는데, 즉, Conv2_x는 하나의 풀링 계층 및 4개의 컨볼루션 계층을 포함한다. 표 1 및 표 2는 Conv1 내지 Conv5_x의 구조들만을 보여준다. Conv5_x 배후에, 실제로는 표 1 및 표 2에 도시되지 않은 완전 컨볼루션(FC) 계층이 있으며, 이는 본 명세서에서 상세히 설명되지 않는다.

ResNet-18 및 ResNet-101에서, Conv3_x의 제1 계층, 즉 Conv3_1의 스트라이드는 2에 설정되고, Conv4_x의 제1 계층의 스트라이드는 1에 설정되고, 확대(dilation)는 2에 설정된다. 이 경우에, 세그먼트화 결과들에 대한 다운샘플링의 영향이 회피될 수 있고, ResNet-101의 각각의 계층의 수용 필드가 예약될 수 있다. 물론, 전술한 컨볼루션 계층들 각각의 이후에 ReLU(rectified linear unit) 계층 및 배치 정규화 계층이 존재하며, 이는 본 출원의 실시예들에서 상세히 설명되지 않는다.

전술한 것에서의 ResNet-18 및 ResNet-101의 Conv1 내지 Conv5_x는 모두 기본 모델들, 즉, 제2 이미지 세그먼트화 모듈의 백본 모델들이다. Conv5_3 이후에, 제2 샘플 이미지는 추가로 다운샘플링될 수 있다. 구체적으로, 다운샘플링 과정은 대안적으로 다중 스케일 컨볼루션 커널들을 채택할 수 있다. 예를 들어, 1, 9, 19, 37 및 74의 5개의 배수를 갖는 컨볼루션 커널들이 채택될 수 있다. 일반적으로, 다운샘플링 과정은 통상적으로 풀링 계층(pooling layer)을 사용하여 구현된다. 본 출원의 실시예들에서, 다운샘플링 과정은 모든 풀링 계층들을 깊이 방향 컨볼루션 계층으로 대체함으로써 구현될 수 있다. 물론, 전술한 설정들은 대안적으로 이미지 세그먼트화 요건에 따라 관련 기술자에 의해 설정 또는 조절될 수 있고, 이는 본 출원의 실시예들에서 구체적으로 제한되지 않는다.

단계 200에서의 내용과 유사하게, 제2 초기 모델의 모델 파라미터는 복수의 제1 샘플 이미지에 기초한 사전 훈련을 통해 획득될 수 있다. 즉, 전술한 Conv1 내지 Conv5_x의 파라미터들은 복수의 제1 샘플 이미지에 기초한 사전 훈련을 통해 획득될 수 있다. 사전 훈련 과정에서, Conv1 내지 Conv5_x의 파라미터들이 주로 훈련된다. 배후의 다른 층들의 파라미터들에 대해, 0.01의 분산 및 0의 평균을 갖는 가우시안 분포 값이 초기 값으로서 사용될 수 있다. 물론, 단지 하나의 예가 본 명세서에 제공되고, 또 다른 계층의 초기 값은 대안적으로 또 다른 값일 수 있고, 초기 값의 설정은 본 출원의 실시예들에서 구체적으로 제한되지 않는다.

제2 이미지 세그먼트화 모듈을 사용하여 제2 샘플 이미지를 세그먼트화하는 과정은 다음의 단계 1 및 단계 2를 포함할 수 있다:

단계 1. 제2 이미지 세그먼트화 모듈은 제2 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제2 샘플 이미지에 대해 특징 추출을 수행한다.

제2 이미지 세그먼트화 모듈은 제2 샘플 이미지의 특징을 획득하기 위해 위에 획득된 제2 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제2 샘플 이미지에 대해 특징 추출을 수행할 수 있고, 예를 들어, 특징은 특징 맵 형태일 수 있다.

단계 2. 제2 이미지 세그먼트화 모듈은 추출된 특징에 기초하여 제2 샘플 이미지의 각각의 픽셀에 대해 분류를 수행하여 제2 세그먼트화 결과를 획득한다.

제2 이미지 세그먼트화 모듈이 특징을 추출한 후에, 전술한 다운샘플링 과정이 추가로 수행될 수 있고, 모든 정보가 조합된 후에, 제2 샘플 이미지의 각각의 픽셀은 제2 세그먼트화 결과를 결정하기 위해 분류된다.

일부 실시예들에서, 제2 이미지 세그먼트화 모듈은 2D 이미지를 세그먼트화하도록 구성된다. 제2 샘플 이미지가 3D 이미지이면, 제2 이미지 세그먼트화 모듈을 사용하여 제2 샘플 이미지를 세그먼트화하는 과정 전에, 제2 초기 모델은 2D 이미지를 제2 이미지 세그먼트화 모듈에 입력하기 위해, 제2 샘플 이미지를 처리할 필요가 있는데, 즉, 3D 이미지를 2D 이미지로 처리할 필요가 추가로 있다.

구체적으로, 제1 이미지가 제1 이미지의 속성 정보에 따라 3D 이미지라고 결정되고, 제1 이미지가 제2 이미지 세그먼트화 모듈을 사용하여 세그먼트화될 필요가 있다고 결정될 때, 제2 초기 모델은 제1 이미지를 처리하여 복수의 제1 서브이미지를 획득하는데, 제1 서브이미지들은 2D 이미지들이다. 3D 이미지를 복수의 2D 이미지로 처리하는 과정은 임의 3D/2D 변환 방식을 채택할 수 있다. 예를 들어, 3D 이미지는 복수의 2D 이미지를 획득하기 위해 소정 방향으로 샘플링될 수 있다. 물론, 3D 이미지는 대안적으로 복수의 2D 이미지를 획득하기 위해 모든 방향으로 샘플링될 수 있다. 이는 본 출원의 실시예들에서 제한되지 않는다.

따라서, 제2 이미지 세그먼트화 모듈을 사용하여 제1 이미지를 세그먼트화하는 과정은: 제2 이미지 세그먼트화 모듈이 제2 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제1 이미지에 대응하는 복수의 제1 서브이미지를 제각기 세그먼트화하여 복수의 제2 서브세그먼트화 결과를 획득하는 것을 포함하고; 및 제2 이미지 세그먼트화 모듈은 복수의 서브세그먼트화 결과를 병합하여 제2 세그먼트화 결과를 획득한다.

전술한 단계 202 내지 단계 205는 제2 초기 모델이 복수의 제2 샘플 이미지의 이미지 정보를 획득하기 위해 복수의 제2 샘플 이미지를 제2 초기 모델에 입력하고, 제2 초기 모델에서의 이미지 정보 및 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈에 따라 각각의 제2 샘플 이미지를 세그먼트화하는 과정이다. 제2 초기 모델은 3D 이미지들을 세그먼트화하기 위한 모듈 및 2D 이미지를 세그먼트화하기 위한 모듈 둘 다를 포함하며, 그에 의해 제2 초기 모델의 적용가능성 및 다목적성을 향상시킨다. 제2 초기 모델에 기초한 훈련을 통해 획득된 이미지 세그먼트화 모델의 적용가능성 및 다목적성이 또한 더 높아지고, 다양하고 유연한 세그먼트화 방식들이 제공되고, 그에 의해 이미지 세그먼트화의 정확도를 향상시킨다.

206. 컴퓨터 디바이스에서의 제2 초기 모델은 복수의 제2 샘플 이미지의 라벨들, 제1 세그먼트화 결과, 및 제2 세그먼트화 결과에 기초하여 제1 세그먼트화 에러 및 제2 세그먼트화 에러를 제각기 획득한다.

제1 세그먼트화 결과 및 제2 세그먼트화 결과를 획득한 후에, 제2 초기 모델은 제2 샘플 이미지의 레이블에 기초하여 제1 세그먼트화 결과 및 제2 세그먼트화 결과가 정확한지를 제각기 결정할 수 있다. 구체적으로, 세그먼트화 결과가 정확한지는 세그먼트화 에러에 따라 결정될 수 있다. 제1 세그먼트화 에러는 제1 이미지 세그먼트화 모듈에 대응하는 제1 세그먼트화 결과의 세그먼트화 에러이고, 제2 세그먼트화 에러는 제2 이미지 세그먼트화 모듈에 대응하는 제2 세그먼트화 결과의 세그먼트화 에러이다.

일부 실시예들에서, 제1 세그먼트화 결과의 세그먼트화 에러를 획득하는 과정은 제1 손실 함수를 사용함으로써 구현되는데, 즉, 제1 세그먼트화 에러를 획득하는 과정은 제1 손실 함수를 사용함으로써 구현되고, 제1 손실 함수에서의 각각의 타입의 픽셀의 가중치는 복수의 제2 샘플 이미지에서의 복수의 제2 샘플 이미지의 이미지 정보에 있는 타입의 픽셀의 비율에 기초하여 결정된다. 예를 들어, 가중치는 다음의 공식을 사용함으로써 결정될 수 있다:

w_c는 타입 c의 가중치이고, N은 제2 샘플 이미지들의 이미지 수이고, i는 제2 샘플 이미지의 식별자이고, t_c,i는 제2 샘플 이미지 i에서의 타입 c의 픽셀들의 수이고, n_i는 제2 샘플 이미지 i에서의 모든 픽셀들의 수이고, 및 ∑는 누적 함수 또는 합산 함수이다.

일부 실시예들에서, 제2 세그먼트화 결과의 세그먼트화 에러를 획득하는 과정은 제2 손실 함수를 사용함으로써 구현되고, 제2 손실 함수의 가중치는 OHEM(online hard example mining) 알고리즘에 기초하여 결정되는데, 이 알고리즘은 제2 샘플 이미지에서의 어려운 샘플들을 효과적으로 구별하고, 모델 파라미터에 대한 하드 샘플들의 영향을 감소시킬 수 있어서, 샘플 라벨들의 불균형에 의해 야기되는 역 효과들이 처리될 수 있도록 한다.

예를 들어, 제2 손실 함수는 교차 엔트로피 함수일 수 있고, 제1 손실 함수는 또한 교차 엔트로피 함수일 수 있거나, 또는 또 다른 손실 함수일 수 있다. 일부 실시예들에서, 제1 손실 함수 및 제2 손실 함수는 동일하거나 상이할 수 있다. 본 출원의 실시예들에서, 제1 손실 함수 및 제2 손실 함수 중 어느 손실 함수가 구체적으로 사용되는지 및 제1 손실 함수와 제2 손실 함수가 동일한지는 제한되지 않는다.

207. 컴퓨터 디바이스에서의 제2 초기 모델은 제1 세그먼트화 에러 및 제2 세그먼트화 에러에 기초하여 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈의 모듈 파라미터들을 제각기 조절하고, 제1 반복 횟수에 도달할 때까지 조절을 중단하여, 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 획득한다.

제2 초기 모델이 제1 세그먼트화 결과 및 제2 세그먼트화 결과가 정확한지를 알게 된 후에, 2개의 이미지 세그먼트화 모듈의 모듈 파라미터들은 조절될 수 있어서, 복수의 조정 후의 모듈 파라미터들은 제2 샘플 이미지에 대한 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈의 세그먼트화 결과들이 더 정확해질 수 있게 할 수 있다.

일부 실시예들에서, 제1 반복 횟수는 교차 검증에 의해 결정된다. 구체적으로, 제1 반복 횟수는 k-폴드 교차 검증에 의해 결정될 수 있는데, 예를 들어, 5-폴드 교차 검증에 의해 결정될 수 있다. 예로서 5-폴드 교차 검증을 사용하여, 제2 샘플 이미지는 5개의 부분으로 분할될 수 있고, 그 중 4개는 훈련 세트로서 사용되고, 다른 부분은 검증 세트로서 사용되고, 그 후 복수의 훈련 및 검증이 또 다른 조합 방식으로 수행된다. 물론, 상이한 조합 방식들을 결정한 후에, 제2 초기 모델은 동시에 상이한 조합 방식들로 훈련 및 검증될 수 있다. 따라서, 제2 초기 모델은 샘플 데이터의 복수의 조합을 훈련 및 검증함으로써 모든 샘플 데이터를 거친다. 훈련된 모델의 다목적성이 더 양호하고, 세그먼트화 결과가 더 정확하다. 교차 검증 과정은 주로 소정 수의 반복 과정들이 수행될 때마다 검증 데이터를 통해 훈련된 모델을 검증하기 위한 것이다. 세그먼트화 에러가 타겟 조건을 충족하는 경우, 교차 검증 과정이 중단될 수 있고; 그리고 세그먼트화 에러가 타겟 조건을 충족하지 않는 경우, 전술한 반복 과정이 계속될 수 있다. 이것은 본 출원의 실시예들에서 상세히 설명되지 않는다.

전술한 단계 203 내지 단계 207은 복수의 제2 샘플 이미지에 기초하여 제2 초기 모델에서 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 훈련하고, 제1 반복 횟수에 도달될 때까지 훈련을 중단하여, 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈의 모듈 파라미터들을 획득하는 과정이다. 이 과정에서, 제1 이미지 세그먼트화 모듈의 모듈 파라미터는 각각의 반복 과정에서 제1 세그먼트화 에러에 기초한 조절을 통해 획득되고, 제2 이미지 세그먼트화 모듈의 모듈 파라미터는 각각의 반복 과정에서 제2 세그먼트화 에러에 기초한 조절을 통해 획득된다. 제2 초기 모델이 전술한 단계 203 내지 단계 207을 수행하는 모든 과정은 반복 과정이다. 제2 초기 모델은 복수의 반복을 통해 2개의 이미지 세그먼트화 모듈의 모듈 파라미터들을 조절하기 위해, 즉 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 제각기 훈련하는 과정을 구현하기 위해 복수 회 전술한 과정을 수행할 수 있다.

일부 실시예들에서, 전술한 과정에서, 컴퓨터 디바이스가 2개의 이미지 세그먼트화 모듈의 모듈 파라미터들을 조절할 때, 컴퓨터 디바이스는 또한 훈련 과정 동안의 훈련을 통해 양상 병합 모듈의 모듈 파라미터를 획득하기 위해서 양상 병합 모듈의 모듈 파라미터를 조절할 수 있다.

특정 예에서, 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 둘 다는 컨볼루션 신경망 모델들일 수 있다. 전술된 각각의 반복 과정에서, 모델은 예측된 결과의 에러를 계산하고 그 에러를 컨볼루션 신경망 모델에 되돌려 전송하여, 경사 하강법 알고리즘을 이용하여 신경망 모델의 컨볼루션 템플릿 파라미터 w 및 바이어스 파라미터 b를 풀 수 있다.

208. 컴퓨터 디바이스에서의 제2 초기 모델은 훈련을 통해 획득된 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈에 기초하여 복수의 제2 샘플 이미지를 세그먼트화하여, 각각의 제2 샘플 이미지의 제1 세그먼트화 결과 및 제2 세그먼트화 결과를 획득한다.

제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈은 3D 이미지들 및 2D 이미지들을 세그먼트화하기 위해 제각기 적합하기 때문에, 제2 샘플 이미지에 대해, 제2 샘플 이미지를 세그먼트화하는 제1 이미지 세그먼트화 모듈들의 결과가 더 정확하고, 제2 이미지 세그먼트화 모듈을 사용하는 것에 의한 제2 샘플 이미지의 세그먼트화 결과가 상당히 부정확한 것이 가능하다. 이러한 방식으로, 제2 초기 모델이 2개 모듈의 종합 결과를 직접 사용하는 경우, 최종 획득된 세그먼트화 결과는 제2 이미지 세그먼트화 모듈의 세그먼트화 결과에 종속될 수 있고, 이는 최종 세그먼트화 결과의 정확도의 감소로 이어진다.

제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈이 훈련된 후에, 제2 초기 모델은 2개의 훈련된 모듈에 기초하여, 즉, 제2 샘플 이미지에 대해 2개의 모듈의 혼합 전략을 추가로 훈련하여, 2개의 모듈 중 어느 하나 또는 둘 다가 제2 샘플 이미지를 더 잘 세그먼트화할 것인지를 선택할 수 있다.

제2 초기 모델은 2개의 훈련된 모듈을 제각기 사용하여 제2 샘플 이미지를 세그먼트화하여 제1 세그먼트화 결과 및 제2 세그먼트화 결과를 획득하고, 2개의 세그먼트화 결과 및 2개의 세그먼트화 결과의 종합 세그먼트화 결과를 평가하여, 어느 모듈 선택 방법이 더 정확한 세그먼트화 결과를 획득하는지를 결정할 수 있다.

209. 컴퓨터 디바이스에서의 제2 초기 모델은 제1 세그먼트화 결과 및 제2 세그먼트화 결과에 기초하여 제5 세그먼트화 결과를 획득한다.

제5 세그먼트화 결과는 제1 세그먼트화 결과 및 제2 세그먼트화 결과의 종합 세그먼트화 결과이다. 일부 실시예들에서, 제2 초기 모델에 의해 제5 세그먼트화 결과를 획득하는 과정은 제2 초기 모델이 제1 세그먼트화 결과 및 제2 세그먼트화 결과의 평균 값을 제5 세그먼트화 결과로서 사용하는 것일 수 있는데, 즉, 각각의 픽셀이 각각의 타입에 속하는 확률에 대해, 제1 세그먼트화 결과에서의 확률들과 제2 세그먼트화 결과에서의 확률들의 평균 값이 제5 세그먼트화 결과에서의 확률로서 사용될 수 있다.

일부 실시예들에서, 제1 세그먼트화 결과 및 제2 세그먼트화 결과는 그에 따라 가중치들을 추가로 가질 수 있고, 제2 초기 모델에 의해 제5 세그먼트화 결과를 획득하는 과정은 제2 초기 모델이 제1 세그먼트화 결과와 제2 세그먼트화 결과의 가중 합을 계산하여 제5 세그먼트화 결과를 획득하는 것일 수 있다.

물론, 전술한 것은 2개의 예만을 제공하고, 제5 세그먼트화 결과를 획득하는 과정은 대안적으로 또 다른 방식으로 구현될 수 있고, 이는 본 출원의 실시예들에서 제한되지 않는다.

210. 컴퓨터 디바이스에서의 제2 초기 모델은 제2 샘플 이미지들의 라벨들, 및 각각의 제2 샘플 이미지의 제1 세그먼트화 결과, 제2 세그먼트화 결과, 및 제5 세그먼트화 결과에 기초하여 제1 세그먼트화 에러, 제2 세그먼트화 에러, 및 제3 세그먼트화 에러를 획득한다.

제3 세그먼트화 에러는 제5 세그먼트화 결과의 세그먼트화 에러이다. 제1 세그먼트화 결과, 제2 세그먼트화 결과, 및 제5 세그먼트화 결과를 획득한 후에, 제2 초기 모델은 제2 샘플 이미지들의 라벨들에 기초하여 각각의 세그먼트화 결과의 세그먼트화 에러를 결정하여 각각의 세그먼트화 결과가 정확한지를 결정할 수 있다. 각각의 세그먼트화 결과의 세그먼트화 에러는 대안적으로 전술한 제1 손실 함수 또는 제2 손실 함수를 통해 획득될 수 있으며, 이는 본 출원의 실시예들에서 상세히 설명되지 않는다.

211. 컴퓨터 디바이스에서의 제2 초기 모델은 제1 세그먼트화 에러, 제2 세그먼트화 결과의 세그먼트화 에러, 및 제3 세그먼트화 에러에 기초하여 제2 초기 모델에서의 모듈 선택 파라미터를 조절하고, 제2 반복 횟수가 도달될 때까지 조절을 중단하여, 이미지 세그먼트화 모델을 획득한다.

모듈 선택 파라미터는 제1 이미지를 세그먼트화하기 위해 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 중 적어도 하나를 선택하기로 결정하기 위해 사용된다. 이러한 방식으로, 제2 초기 모델은 각각의 세그먼트화 결과의 세그먼트화 에러에 기초하여 모듈 선택 파라미터를 조절한다. 복수의 조절 후에, 획득된 이미지 세그먼트화 모델은 제2 샘플 이미지의 세그먼트화 결과를 더 정확하게 하기 위해 모듈을 어떻게 선택할지를 자율적으로 결정할 수 있다.

전술한 단계 208 내지 단계 211은 복수의 제2 샘플 이미지 및 훈련을 통해 획득되는 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈에 기초하여 제2 초기 모델에서 모듈 선택 파라미터를 훈련하고, 제2 반복 횟수가 도달될 때까지 훈련을 중단하여, 이미지 세그먼트화 모델을 획득하는 과정이다. 모듈 선택 파라미터는 제1 이미지를 세그먼트화하기 위해 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 중 적어도 하나를 선택하기로 결정하기 위해 사용된다. 이 과정은 모듈 선택 파라미터를 훈련하는 과정이고, 모듈 선택 파라미터는 복수의 제2 샘플 이미지 및 훈련을 통해 획득되는 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈에 기초한 훈련을 통해 획득된다.

일부 실시예들에서, 제2 반복 횟수는 또한 교차 검증에 의해 결정될 수 있다. 구체적으로, 제2 반복 횟수는 대안적으로 k-폴드 교차 검증에 의해 결정될 수 있는데, 예를 들어, 5-폴드 교차 검증에 의해 결정될 수 있다. 이것은 본 출원의 실시예들에서 상세히 설명되지 않는다.

상기에 기초하여, 제2 초기 모델의 모델 파라미터는 제1 이미지 세그먼트화 모듈의 모듈 파라미터, 제2 이미지 세그먼트화 모듈의 모듈 파라미터, 및 제2 초기 모델에서의 양상 병합 모듈의 모듈 파라미터 및 모듈 선택 파라미터를 포함한다. 따라서, 전술한 단계 202 내지 단계 211은 이미지 세그먼트화 모델을 획득하기 위해 복수의 제2 샘플 이미지에 기초하여 제2 초기 모델을 훈련하는 과정이다.

일부 실시예들에서, 제2 샘플 이미지를 세그먼트화한 후에, 제2 초기 모델은 추가로 세그먼트화 결과를 후처리하여 최종 세그먼트화된 이미지를 획득할 수 있다. 즉, 제2 초기 모델은 제1 세그먼트화 결과 및 제2 세그먼트화 결과 중 적어도 하나에 기초하여 제2 샘플 이미지에 대응하는 제3 이미지를 획득하여, 제2 샘플 이미지에 대응하는 제3 이미지에 기초하여 제2 샘플 이미지에 대응하는 최종 출력된 제2 이미지를 결정할 수 있다. 제2 이미지는 제2 샘플 이미지에 대응하는 세그먼트화된 이미지이다. 구체적으로, 제2 샘플 이미지에 대응하는 제3 이미지는 제1 세그먼트화 결과에 대응하는 이미지, 또는 제2 세그먼트화 결과에 대응하는 이미지, 또는 제1 세그먼트화 결과와 제2 세그먼트화 결과의 가중 합을 평균하거나 계산한 후에 획득된 이미지일 수 있다. 후처리 과정은 단계 203에서 획득된 이미지 정보에서의 타겟 영역의 분포 정보에 기초하여 수행될 수 있다.

즉, 제2 초기 모델은 제2 샘플 이미지에 대응하는 제3 이미지에서의 복수의 타겟 영역 및 이미지 정보에 의해 표시되는 복수의 타겟 영역의 분포 정보에 기초하여 제2 샘플 이미지에 대응하는 제3 이미지를 후처리하여, 제2 샘플 이미지에 대응하는 제2 이미지를 획득할 수 있다. 타겟 영역은 제2 샘플 이미지에 대응하는 제3 이미지에서의 타겟 타입의 픽셀들이 위치되는 영역이고, 제2 샘플 이미지에 대응하는 제2 이미지에서의 복수의 타겟 영역의 분포 타입들, 수, 및 크기 범위들은 모두 복수의 타겟 영역의 분포 정보와 동일하다. 이러한 방식으로, 선험적 지식에 기초하여, 세그먼트화의 과정에서의 부정확하게 분류된 픽셀들은 후처리 과정에서 추가로 정정될 수 있어서, 세그먼트화 결과가 더 정확해지도록 한다.

구체적으로, 후처리 과정은 다음의 단계들: 제2 초기 모델은, 제2 샘플 이미지에 대응하는 제3 이미지에서의 타겟 영역들의 수 또는 크기 범위들이 이미지 정보에 의해 표시된 복수의 타겟 영역의 수 또는 크기 범위들과 상이한 경우에, 제2 샘플 이미지에 대응하는 제3 이미지로부터의 복수의 타겟 영역의 수 또는 크기 범위들을 충족하지 않는 부분을 걸러내는 단계; 또는, 제2 초기 모델은, 임의의 타겟 영역 내부에 배경 픽셀이 있는 경우, 배경 픽셀을 타겟 영역에 대응하는 타겟 타입의 픽셀로 변경하는 단계 중 임의의 하나 이상을 포함할 수 있다.

예를 들어, 도 7에 도시된 바와 같이, 제1 타겟 영역 및 제2 타겟 영역의 분포 타입이 타겟 영역의 분포 정보에 따라 완전 네스팅된 타입으로서 결정된다면, 즉 제2 타겟 영역은 제1 타겟 영역 내부에 있다. 제2 샘플 이미지에 대응하는 제3 이미지에서의 제1 타겟 영역 외부에 제2 타겟 영역이 존재하는 경우, 제1 타겟 영역 외부의 제2 타겟 영역은 걸러내어질 수 있다. 도 8에 도시된 바와 같이, 제1 타겟 영역 및 제2 타겟 영역의 분포 타입이 타겟 영역의 분포 정보에 따라 완전히 분리된 타입으로서 결정된다면, 즉 제2 타겟 영역은 제1 타겟 영역 외부에 있다. 제2 샘플 이미지에 대응하는 제3 이미지에서의 제1 타겟 영역 내부에 제2 타겟 영역이 존재하는 경우, 제1 타겟 영역 내부의 제2 타겟 영역은 제1 타겟 영역으로서 채워질 수 있다. 물론, 타겟 영역에서의 픽셀들은 전경 픽셀들이 될 것이다. 제2 샘플 이미지에 대응하는 제3 이미지에서의 타겟 영역에 배경 픽셀이 존재하는 경우, 배경 픽셀은 정정될 수 있다. 예를 들어, 인체 조직을 예로서 사용하면, 인체 조직 부분에 어떤 구멍들도 존재하지 않을 것이다. 제2 샘플 이미지에 대응하는 제3 이미지에서의 인체 조직 부분에 구멍이 존재하는 경우, 그 부분은 세그먼트화 결과를 정정하기 위해 채워질 수 있다. 물론, 본 출원의 실시예들에서 하나 하나 열거되지 않은 다른 단계들이 대안적으로 포함될 수 있다.

이 시점에서, 이미지 세그먼트화 모델 훈련이 완료된다. 훈련 과정에서, 이미지 세그먼트화 모델은 복수의 제2 샘플 이미지의 이미지 정보를 획득한다. 단계 211 후에, 컴퓨터 디바이스는 세그먼트화될 제1 이미지가 획득되는 경우에, 이미지 세그먼트화 모델을 호출하고, 이미지 정보에 따라 이미지 세그먼트화 모델을 사용함으로써 제1 이미지를 세그먼트화하여 제2 이미지를 출력할 수 있다. 구체적으로, 이미지 세그먼트화 모델이 제1 이미지를 어떻게 세그먼트화하는지에 대해, 아래의 도 10에 도시된 실시예가 참조될 수 있고, 세그먼트화 과정은 이미지 세그먼트화 모델 훈련 과정에서의 일부 단계들과 유사한 방식으로 이루어지며, 이는 본 출원의 실시예들에서 상세히 설명되지 않는다.

도 9는 본 출원의 실시예에 따른 이미지 세그먼트화 모델의 개략적인 아키텍처 도면이다. 도 9를 참조하면, 이미지 세그먼트화 모델은 3D 네트워크(Net) 및 2D Net, 즉 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 포함한다. 3D Net는 미세 예측이 거친 예측 후에 수행되는, 즉 미세 세그먼트화가 거친 세그먼트화 후에 수행되는 2-스테이지 흐름 설계를 채택할 수 있다. 입력된 샘플 데이터에 대해, 샘플 데이터는 3D Net 및 2D Net에 입력될 수 있다. 2개의 네트워크를 통해 확률 맵들이 획득된 후에, 확률 맵들을 병합하기 위해 상이한 혼합 전략들이 채택될 수 있다. 즉, 모듈 선택 파라미터는 하나의 단일 네트워크 또는 2개의 네트워크를 선택하기로 결정하도록 훈련될 수 있다. 물론, 2개의 네트워크가 세그먼트화를 수행하기 전에, 이미지 세그먼트화 모델은 먼저 샘플 데이터를 전처리할 수 있다. 2개의 네트워크가 샘플 데이터를 세그먼트화한 후에, 이미지 세그먼트화 모델은 최종 출력된 세그먼트화된 이미지를 획득하기 위해 결과들을 추가로 후처리할 수 있다.

본 출원의 실시예들에서 제공되는 이미지 세그먼트화 모델은 높은 다목적성을 가지며, 모델이 의료 이미지 세그먼트화에 적용가능할 때 의료 이미지들에 대해 시나리오 특정적이다. 즉, 모델은 인체 조직들의 이미지들에 대해 시나리오 특정적이고 모델은 자동으로 훈련될 수 있다. 사용자는 수동 파라미터 조절 없이 자동 훈련을 위해 데이터를 제공할 필요가 있을 뿐이다. 또한, 본 출원의 실시예들에서 제공된 이미지 세그먼트화 모델은 10가지의 상이한 의료 시나리오에서 검증되었고 모든 시나리오들에서 더 양호한 세그먼트화 효과들을 갖는다. 이미지 세그먼트화 모델은 다른 의료 응용 시나리오들로 자동으로 확장될 수 있고, 의료 촬영에 대한 강력한 보편성을 가질 수 있다.

본 출원의 실시예들에서, 초기 모델은 복수의 인체 조직의 이미지들을 통해 사전 훈련되고, 따라서 초기 모델은 인체 조직들에 관한 선험적 지식을 갖는다. 인체 조직의 이미지가 세그먼트화될 필요가 있을 때, 사전 훈련된 모델은 인체 조직의 이미지를 수동으로 분석하고 이어서 분석 결과에 기초하여 모델을 재설계하지 않고서 인체 조직의 이미지에 기초하여 직접 훈련될 수 있으며, 이는 이미지 세그먼트화 모델의 다목적성, 적용가능성, 및 실용성을 효과적으로 개선시킨다. 또한, 이미지 세그먼트화 모델은 3D 이미지들 및 2D 이미지들 둘 다를 정확하게 세그먼트화할 수 있는 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 포함하고, 그에 의해 이미지 세그먼트화 모델의 다목적성, 적용가능성, 및 실용성을 더 개선하고, 또한 이미지 세그먼트화 모델의 세그먼트화 정확도를 개선한다.

본 출원의 선택적 실시예는 모든 전술한 선택적 기술적 해결책들의 임의의 조합을 사용하여 형성될 수 있고, 상세 사항들은 여기서 다시 설명되지 않는다.

도 10은 본 출원의 실시예에 따른 이미지 세그먼트화 방법의 흐름도이다. 이미지 세그먼트화 방법은 컴퓨터 디바이스에 적용가능하고, 컴퓨터 디바이스는 전술한 구현 환경에서의 컴퓨터 디바이스(101)일 수 있다. 본 출원의 실시예들에서, 세그먼트화될 제1 이미지가 획득되는 경우에 이미지 세그먼트화 모델을 호출하고, 이미지 정보에 따라 이미지 세그먼트화 모델을 사용하여 제1 이미지를 세그먼트화하여, 제2 이미지를 출력하는 과정이 주로 설명된다. 본 출원의 실시예들에서 이미지 세그먼트화 모델이 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 포함하는 예를 이용하여 설명이 이루어진다. 도 10을 참조하면, 이미지 세그먼트화 방법은 다음의 단계들을 포함할 수 있다.

1001: 컴퓨터 디바이스는 세그먼트화될 제1 이미지를 획득한다.

컴퓨터 디바이스는 이미지 세그먼트화 동작을 검출하는 경우에 단계 1001을 수행하고, 사용자에 의해 임포트되어 세그먼트화될 제1 이미지를 수신할 수 있거나, 또는 또 다른 컴퓨터 디바이스에 의해 전송된 이미지 세그먼트화 요청을 수신할 수 있고, 이미지 세그먼트화 요청은 세그먼트화될 제1 이미지를 운반한다. 세그먼트화될 제1 이미지는 이미지 세그먼트화 요청으로부터 추출되거나, 또는 이미지 세그먼트화 요청은 제1 이미지의 관련 정보를 운반할 수 있고, 컴퓨터 디바이스는 관련 정보에 기초하여 단계 1001을 수행할 수 있다. 물론, 컴퓨터 디바이스는 대안적으로 촬영 원리를 통해 세그먼트화될 제1 이미지를 획득할 수 있다. 세그먼트화될 제1 이미지의 특정 획득 방식 및 획득 시간은 본 출원의 실시예들에서 제한되지 않는다.

예를 들어, 또 다른 컴퓨터 디바이스는 촬영 원리를 통해 세그먼트화될 제1 이미지를 획득하고 세그먼트화될 제1 이미지를 컴퓨터 디바이스에 전송할 수 있다. 컴퓨터 디바이스는 세그먼트화될 제1 이미지를 획득하고, 제1 이미지는 전술한 타겟 인체 조직의 이미지일 수 있다. 이러한 방식으로, 다음의 단계가 수행될 수 있는데, 즉, 제1 이미지는 타겟 인체 조직의 샘플 이미지들에 따른 훈련을 통해 획득된 이미지 세그먼트화 모델을 사용하여 세그먼트화될 수 있다.

1002: 컴퓨터 디바이스는 이미지 세그먼트화 모델을 호출한다.

이미지 세그먼트화 모델은 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 포함한다. 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈은 각각 하나의 세그먼트화 알고리즘에 대응하고, 제1 이미지 세그먼트화 모듈은 3D 이미지를 세그먼트화하도록 구성되고, 제2 이미지 세그먼트화 모듈은 2D 이미지를 세그먼트화하도록 구성된다.

이미지 세그먼트화 모델은 컴퓨터 디바이스에 미리 저장될 수 있다. 일부 실시예들에서, 컴퓨터 디바이스는 도 2에 도시된 컴퓨터 디바이스이고, 즉, 컴퓨터 디바이스에 저장된 이미지 세그먼트화 모델은 컴퓨터 디바이스상의 훈련을 통해 획득된다. 일부 실시예들에서, 컴퓨터 디바이스는 도 2에 도시된 컴퓨터 디바이스가 아닌데, 즉, 이미지 세그먼트화 모델은 또 다른 컴퓨터 디바이스상의 훈련을 통해 획득될 수 있고, 컴퓨터 디바이스는 또 다른 컴퓨터 디바이스로부터 훈련된 이미지 세그먼트화 모델을 획득할 수 있다. 물론, 이미지 세그먼트화 모델은 컴퓨터 디바이스에 저장되지 않을 수 있다. 컴퓨터 디바이스가 세그먼트화될 제1 이미지를 획득하고 제1 이미지를 세그먼트화할 필요가 있을 때, 이미지 세그먼트화 모델은 실시간으로 또 다른 컴퓨터 디바이스로부터 호출될 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다.

1003: 컴퓨터 디바이스는 제1 이미지를 이미지 세그먼트화 모델에 입력하고, 이미지 세그먼트화 모델을 사용함으로써 제1 이미지의 속성 정보를 획득한다.

전술한 단계 203에서의 내용과 유사하게, 이미지 세그먼트화 모델은 제1 이미지의 속성 정보를 획득할 수 있다. 차이는 이미지 세그먼트화 모델이 제2 초기 모델 대신에 훈련된 모델이고, 이미지 세그먼트화 모델이 사용될 때, 타겟 영역의 이미지 수 및 분포 정보를 획득하지 않고서 제1 이미지의 속성 정보가 획득될 수 있다는 것이다. 유사하게, 속성 정보는 그레이스케일 범위, 양상 수, 크기 범위 등을 포함할 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다.

1004. 컴퓨터 디바이스에서의 이미지 세그먼트화 모델은 제1 이미지의 속성 정보에 따라 제1 이미지를 전처리한다.

단계 204에서의 내용과 유사하게, 이미지 세그먼트화 모델을 사용하는 것에 의한 제1 이미지의 전처리 과정은 또한 다음 단계들 중 임의의 하나 이상을 포함할 수 있다:

단계 1. 이미지 세그먼트화 모델은, 속성 정보에 따라 제1 이미지에서 비정상 픽셀이 존재한다고 결정하는 경우에, 비정상 픽셀을 삭제한다.

단계 2: 이미지 세그먼트화 모델은 비정상 픽셀이 속성 정보에 따라 그로부터 삭제된 제1 이미지의 그레이스케일 범위가 타겟 범위보다 크다고 결정하는 경우에 제1 이미지에 대해 정규화 처리를 수행하여, 제1 이미지의 그레이스케일 범위가 타겟 범위 내에 있도록 조절한다.

단계 3: 이미지 세그먼트화 모델은, 제1 이미지의 채널 수가 속성 정보에 따라 1보다 큰 것으로 결정하는 경우에 제1 이미지의 각각의 픽셀 값으로부터 타겟 이미지 평균을 감산한다.

단계 4: 이미지 세그먼트화 모델은 제1 이미지의 양상 수가 속성 정보에 따라 1보다 크다고 결정하는 경우에 제1 이미지를 양상 병합 모듈에 입력하고, 양상 병합 모듈을 사용하여, 제1 이미지의 복수의 픽셀 값을 걸러내어, 전처리된 제1 이미지의 픽셀 값들의 타겟 수를 획득하는데, 전처리된 제1 이미지의 양상 수는 1이다.

단계 1004에서의 단계 1 내지 단계 4는 모두 전술한 단계 204에서의 단계 1 내지 단계 4와 유사한 방식이다. 이것은 본 출원의 실시예들에서 상세히 설명되지 않는다.

1005. 컴퓨터 디바이스에서의 이미지 세그먼트화 모델은 전처리된 제1 이미지를 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 중 적어도 하나에 입력하고, 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 중 적어도 하나를 사용하여, 전처리된 제1 이미지를 세그먼트화하여 제3 이미지를 획득한다.

제1 이미지를 세그먼트화하기에 적합한 모듈은 단지 제1 이미지 세그먼트화 모듈일 수 있거나, 또는 단지 제2 이미지 세그먼트화 모듈일 수 있거나, 또는 2개의 모듈 둘 다일 수 있으므로, 이미지 세그먼트화 모델은 모듈 선택 파라미터에 기초하여 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 중 적어도 하나를 선택하여 제1 이미지를 세그먼트화할 수 있다. 구체적으로, 단계 1005는 다음의 3가지 경우를 포함할 수 있다:

경우 1. 이미지 세그먼트화 모델은 제1 이미지 세그먼트화 모듈을 사용함으로써, 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 제1 이미지를 세그먼트화하여 제1 세그먼트화 결과를 획득하고, 제1 세그먼트화 결과에 기초하여 제3 이미지를 획득하고, 제1 세그먼트화 결과는 제1 이미지에서의 각각의 픽셀이 적어도 2가지 타입 각각에 속할 확률을 표시하기 위해 사용된다.

경우 2. 이미지 세그먼트화 모델은 제2 이미지 세그먼트화 모듈을 사용함으로써, 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 제1 이미지를 세그먼트화하여 제2 세그먼트화 결과를 획득하고, 제2 세그먼트화 결과에 기초하여 제3 이미지를 획득하는데, 제2 세그먼트화 결과는 제1 이미지에서의 각각의 픽셀이 적어도 2가지 타입 각각에 속할 확률을 표시하기 위해 사용된다.

경우 3. 이미지 세그먼트화 모델은 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 제각기 사용함으로써, 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 제1 이미지를 세그먼트화하여 제1 세그먼트화 결과 및 제2 세그먼트화 결과를 획득하고, 제1 세그먼트화 결과 및 제2 세그먼트화 결과에 기초하여 제3 이미지를 획득한다.

물론, 제1 세그먼트화 결과 및 제2 세그먼트화 결과에 기초하여 제3 이미지를 획득하는 과정은 또한 전술한 단계 211에서의 내용과 유사한 방식으로 이루어진다. 전술한 3개의 경우는 제3 이미지를 제각기 획득하는 3개의 과정에 대응하는데, 즉, 제3 이미지는 제1 세그먼트화 결과에 대응하는 이미지이고, 제3 이미지는 제2 세그먼트화 결과에 대응하는 이미지이고, 제3 이미지는 제1 세그먼트화 결과와 제2 세그먼트화 결과의 가중 합을 평균하거나 계산함으로써 획득되는 이미지이다. 이것은 본 출원의 실시예들에서 상세히 설명되지 않는다.

단계 205에서의 내용과 유사하게, 제1 이미지 세그먼트화 모듈을 사용하여 제1 이미지를 세그먼트화하는 과정은: 제1 이미지 세그먼트화 모듈이 제1 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제1 이미지에 대해 2개의 분류를 수행하여 제1 세그먼트화 결과를 획득하는 것일 수 있고, 2개의 분류에서의 제1 분류의 분류 대상들은 제1 이미지의 모든 픽셀들이고, 제2 분류의 분류 대상들은 제1 분류의 결과에서의 전경 픽셀들이다. 구체적으로, 다음의 단계 1 내지 단계 3이 포함될 수 있다:

단계 1. 제1 이미지 세그먼트화 모듈은 제1 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제1 이미지의 각각의 픽셀에 대해 분류를 수행하여 제3 세그먼트화 결과를 획득하고, 제3 세그먼트화 결과는 제1 이미지의 각각의 픽셀이 적어도 2개의 타입 각각에 속할 확률을 표시하기 위해 사용되고, 적어도 2개의 타입은 전경 및 배경을 포함하고, 전경은 배경 이외의 임의의 타입이다.

단계 2. 제1 이미지 세그먼트화 모듈은 제3 세그먼트화 결과 및 제1 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제3 세그먼트화 결과에서의 각각의 전경 픽셀에 대해 분류를 수행하여 제4 세그먼트화 결과를 획득하고, 제4 세그먼트화 결과는 제3 세그먼트화 결과에서의 각각의 전경 픽셀이 적어도 2개의 타입 각각에 속할 확률을 나타내기 위해 사용된다.

단계 3. 제1 이미지 세그먼트화 모듈은 제3 세그먼트화 결과 및 제4 세그먼트화 결과에 기초하여 제1 세그먼트화 결과를 획득한다.

전술한 단계 205에서의 내용과 유사하게, 제2 이미지 세그먼트화 모듈을 사용하여 제1 이미지를 세그먼트화하는 과정은 다음의 단계 1 및 단계 2를 포함할 수 있다:

단계 1. 제2 이미지 세그먼트화 모듈은 제2 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제1 이미지에 대해 특징 추출을 수행한다.

단계 2. 제2 이미지 세그먼트화 모듈은 추출된 특징에 기초하여 제1 이미지의 각각의 픽셀에 대해 분류를 수행하여 제2 세그먼트화 결과를 획득한다.

유사하게, 제1 이미지가 제1 이미지의 속성 정보에 따라 3D 이미지라고 결정되고, 제1 이미지가 제2 이미지 세그먼트화 모듈을 사용하여 세그먼트화될 필요가 있다고 결정될 때, 이미지 세그먼트화 모델은 제1 이미지를 처리하여 복수의 제1 서브이미지를 획득할 수 있고, 제1 서브이미지들은 2D 이미지들이다. 따라서, 제2 이미지 세그먼트화 모듈을 사용하여 제1 이미지를 세그먼트화하는 과정은: 제2 이미지 세그먼트화 모듈이 제2 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제1 이미지에 대응하는 복수의 제1 서브이미지를 제각기 세그먼트화하여 복수의 제2 서브세그먼트화 결과를 획득하는 것을 포함하고; 및 제2 이미지 세그먼트화 모듈은 복수의 서브세그먼트화 결과를 병합하여 제2 세그먼트화 결과를 획득한다.

1006. 컴퓨터 디바이스에서의 이미지 세그먼트화 모델은 이미지 세그먼트화 모델에서의 복수의 제2 샘플 이미지의 이미지 정보에 따라 제3 이미지를 후처리하여 제2 이미지를 출력한다.

단계 211에서의 후처리 과정과 유사하게, 이미지 세그먼트화 모델은 대안적으로 제3 이미지를 후처리할 수 있다. 유사하게, 후처리 과정은 대안적으로: 이미지 세그먼트화 모델이 제3 이미지에서의 복수의 타겟 영역 및 이미지 정보에 의해 표시되는 복수의 타겟 영역의 분포 정보에 기초하여 제3 이미지를 후처리하여 제2 이미지를 획득하는 것일 수 있다. 타겟 영역은 제3 이미지에서의 타겟 타입의 픽셀들이 위치되는 영역이고, 제2 이미지에서의 복수의 타겟 영역의 분포 타입들, 수, 및 크기 범위들은 복수의 타겟 영역의 분포 정보와 동일하다.

단계 211에서의 후처리 과정과 유사하게, 단계 1006에서, 이미지 세그먼트화 모델은 대안적으로 다음의 단계들 중 임의의 하나 이상을 수행할 수 있다: 제3 이미지에서의 타겟 영역들의 수 또는 크기 범위들이 이미지 정보에 의해 표시되는 복수의 타겟 영역의 수 또는 크기 범위들과 상이한 경우에, 이미지 세그먼트화 모델은 제3 이미지로부터 복수의 타겟 영역의 수 또는 크기 범위들을 충족시키지 않는 부분을 걸러내거나; 또는 이미지 세그먼트화 모델은, 임의의 타겟 영역 내부에 배경 픽셀이 있는 경우, 배경 픽셀을 타겟 영역에 대응하는 타겟 타입의 픽셀로 변경한다.

전술한 단계 1003 내지 단계 1006은 이미지 정보 및 이미지 세그먼트화 모델에서의 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 중 적어도 하나에 기초하여 제1 이미지를 세그먼트화하여 제2 이미지를 출력하는 과정이다. 제2 이미지를 획득한 후에, 컴퓨터 디바이스는 제2 이미지를 저장할 수 있고, 물론, 대안적으로 제1 이미지 및 제2 이미지를 대응적으로 저장할 수 있다. 컴퓨터 디바이스가 또 다른 컴퓨터 디바이스의 이미지 세그먼트화 요청에 기초하여 이미지 세그먼트화의 전술한 과정을 수행하는 경우, 제2 이미지는 대안적으로 또 다른 컴퓨터 디바이스에 전송될 수 있다.

본 출원의 실시예들에서, 이미지 세그먼트화 모델이 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 포함하는 예를 사용하여 설명이 이루어진다. 이미지 세그먼트화 모델은 대안적으로 하나 이상의 이미지 세그먼트화 모듈만을 포함할 수 있고, 이미지 세그먼트화 절차는 전술한 과정과 동일하며, 이는 본 명세서에서 상세히 설명되지 않는다.

본 출원의 실시예들에서, 초기 모델은 복수의 인체 조직의 이미지들을 통해 사전 훈련되고, 따라서 초기 모델은 인체 조직들에 관한 선험적 지식을 갖는다. 인체 조직의 이미지가 세그먼트화될 필요가 있을 때, 사전 훈련된 모델은 인체 조직의 이미지를 수동으로 분석하고 이어서 분석 결과에 기초하여 모델을 재설계하지 않고서 인체 조직의 이미지에 기초하여 직접 훈련될 수 있다. 전술한 방법에 따라 획득된 이미지 세그먼트화 모델은 인체 조직의 이미지를 정확하게 세그먼트화할 수 있고, 이는 이미지 세그먼트화 방법의 다목적성, 적용가능성, 및 실용성을 효과적으로 개선하고, 또한 이미지 세그먼트화 방법의 정확도를 효과적으로 개선한다.

본 출원의 선택적 실시예는 모든 전술한 선택적 기술적 해결책들의 임의의 조합을 사용하여 형성될 수 있고, 상세 사항들은 여기서 다시 설명되지 않는다.

본 출원의 실시예들에서의 단계들은 단계 번호들에 의해 표시된 시퀀스로 반드시 순차적으로 수행되는 것은 아니라는 점이 이해되어야 한다. 본 명세서에서 명시적으로 특정되지 않는 한, 단계들의 실행은 엄격하게 제한되지 않고, 단계들은 또 다른 순서로 수행될 수 있다. 또한, 각각의 실시예에서의 단계들 중 적어도 일부는 복수의 서브단계들 또는 복수의 스테이지를 포함할 수 있다. 이 서브단계들 또는 스테이지들은 반드시 동일한 순간에 수행되지 않고, 상이한 순간들에서 수행될 수 있다. 서브단계들 또는 스테이지들의 실행은 반드시 순차적으로 수행되는 것은 아니고, 차례로 또는 다른 단계들 또는 서브단계들 또는 다른 단계들의 스테이지들 중 적어도 일부와 교대로 수행될 수 있다.

실시예에서, 컴퓨터 디바이스가 추가로 제공된다. 컴퓨터 디바이스는 이미지 세그먼트화 장치를 포함하고, 이미지 세그먼트화 장치는 다양한 모듈들을 포함하고, 각각의 모듈은 소프트웨어, 하드웨어, 또는 이들의 조합에 의해 모두 또는 부분적으로 구현될 수 있다.

도 11은 본 출원의 실시예에 따른 이미지 세그먼트화 장치의 개략적인 구조도이다. 도 11을 참조하면, 장치는 다음을 포함한다:

복수의 제1 샘플 이미지에 기초하여 제1 초기 모델을 사전 훈련시켜 제2 초기 모델을 획득하도록 구성된 훈련 모듈(1101) - 복수의 제1 샘플 이미지는 복수의 인체 조직의 이미지들을 포함하고, 제2 초기 모델은 복수의 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 포함하고;

훈련 모듈(1101)은 이미지 세그먼트화 모델을 획득하기 위해 복수의 제2 샘플 이미지에 기초하여 제2 초기 모델을 훈련하도록 추가로 구성되고, 복수의 제2 샘플 이미지는 타겟 인체 조직의 이미지들이고, 이미지 세그먼트화 모델은 훈련 과정에서 복수의 제2 샘플 이미지의 이미지 정보를 획득하고, 복수의 제2 샘플 이미지의 이미지 정보는 타겟 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 적어도 포함함 - ; 및

세그먼트화될 제1 이미지가 획득되는 경우에 이미지 세그먼트화 모델을 호출하고, 이미지 세그먼트화 모델을 사용하여 이미지 정보에 따라 제1 이미지를 세그먼트화하여 제2 이미지를 출력하도록 구성된 세그먼트화 모듈(1102).

일부 실시예들에서, 제1 초기 모델, 제2 초기 모델, 및 이미지 세그먼트화 모델은 각각 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 포함하고, 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈은 각각 하나의 세그먼트화 알고리즘에 대응하고, 제1 이미지 세그먼트화 모듈은 3D 이미지를 세그먼트화하도록 구성되고, 제2 이미지 세그먼트화 모듈은 2D 이미지를 세그먼트화하도록 구성되고; 및

따라서, 세그먼트화 모듈(1102)은 이미지 정보 및 이미지 세그먼트화 모델에서의 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 중 적어도 하나에 기초하여 제1 이미지를 세그먼트화하여 제2 이미지를 출력하도록 구성된다.

일부 실시예들에서, 세그먼트화 모듈(1102)은:

제1 이미지의 속성 정보에 따라 제1 이미지를 전처리하고;

전처리된 제1 이미지를 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 중 적어도 하나에 입력하고, 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 중 적어도 하나를 사용하여, 전처리된 제1 이미지를 세그먼트화하여 제3 이미지를 획득하고; 및

이미지 정보에 기초하여 제3 이미지를 후처리하여 제2 이미지를 출력하도록 구성된다.

일부 실시예들에서, 세그먼트화 모듈(1102)은:

속성 정보에 따라 제1 이미지에 비정상 픽셀이 존재한다고 결정하는 경우, 비정상 픽셀을 삭제하고;

속성 정보에 따라 비정상 픽셀이 그로부터 삭제된 제1 이미지의 그레이스케일 범위가 타겟 범위보다 크다고 결정하는 경우에 제1 이미지에 대해 정규화 처리를 수행하여, 제1 이미지의 그레이스케일 범위가 타겟 범위 내에 있도록 조절하고;

속성 정보에 따라 제1 이미지의 채널 수가 1보다 큰 것으로 결정하는 경우에 제1 이미지의 각각의 픽셀 값으로부터 타겟 이미지 평균을 감산하고; 및

속성 정보에 따라 제1 이미지의 양상 수가 1보다 크다고 결정하는 경우에 제1 이미지를 양상 병합 모듈에 입력하고, 양상 병합 모듈을 이용하여 제1 이미지의 복수의 픽셀 값을 걸러내어 전처리된 제1 이미지의 픽셀 값들의 타겟 수를 획득하도록 - 전처리된 제1 이미지의 양상 수는 1임 - 구성된다.

일부 실시예들에서, 세그먼트화 모듈(1102)은 제3 이미지에서의 복수의 타겟 영역 및 이미지 정보에 의해 표시되는 복수의 타겟 영역의 분포 정보에 기초하여 제3 이미지를 후처리하여 제2 이미지를 획득하도록 구성되고, 타겟 영역은 제3 이미지에서의 타겟 타입의 픽셀들이 위치되는 영역이고, 제2 이미지에서의 복수의 타겟 영역의 분포 타입들, 수, 및 크기 범위들은 복수의 타겟 영역의 분포 정보와 모두 동일하다.

일부 실시예들에서, 세그먼트화 모듈(1102)은:

제3 이미지에서의 타겟 영역들의 수 또는 크기 범위들이 이미지 정보에 의해 표시되는 복수의 타겟 영역의 수 또는 크기 범위들과 상이한 경우에, 제3 이미지로부터 복수의 타겟 영역의 수 또는 크기 범위들을 충족시키지 못하는 부분을 걸러내거나; 또는

임의의 타겟 영역 내부에 배경 픽셀이 있는 경우, 배경 픽셀을 타겟 영역에 대응하는 타겟 타입의 픽셀로 변경하도록 구성된다.

일부 실시예들에서, 세그먼트화 모듈(1102)은:

제1 이미지 세그먼트화 모듈을 사용하여, 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 제1 이미지를 세그먼트화하여 제1 세그먼트화 결과를 획득하고, 제1 세그먼트화 결과에 기초하여 제3 이미지를 획득하거나 - 제1 세그먼트화 결과는 제1 이미지에서의 각각의 픽셀이 적어도 2가지 타입 각각에 속할 확률을 표시하기 위해 사용됨 -; 또는

제2 이미지 세그먼트화 모듈을 사용하여, 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 제1 이미지를 세그먼트화하여 제2 세그먼트화 결과를 획득하고, 제2 세그먼트화 결과에 기초하여 제3 이미지를 획득하거나 - 제2 세그먼트화 결과는 제1 이미지에서의 각각의 픽셀이 적어도 2가지 타입 각각에 속할 확률을 표시하기 위해 사용됨 -; 또는

제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 제각기 사용함으로써, 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 제1 이미지를 세그먼트화하여 제1 세그먼트화 결과 및 제2 세그먼트화 결과를 획득하고, 제1 세그먼트화 결과 및 제2 세그먼트화 결과에 기초하여 제3 이미지를 획득하도록 구성된다.

일부 실시예들에서, 세그먼트화 모듈(1102)은:

제1 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제1 이미지에 대해 2개의 분류를 수행하여 제1 세그먼트화 결과를 획득하도록 - 2개의 분류에서의 제1 분류의 분류 대상들은 제1 이미지의 모든 픽셀이고, 제2 분류의 분류 대상들은 제1 분류의 결과에서의 전경 픽셀들임- 구성된다.

일부 실시예들에서, 세그먼트화 모듈(1102)은:

제2 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 제1 이미지에 대해 특징 추출을 수행하고; 및

추출된 특징에 기초하여 제1 이미지의 각각의 픽셀에 대해 분류를 수행하여 제2 세그먼트화 결과를 획득하도록 구성된다.

일부 실시예들에서, 훈련 모듈(1101)은:

복수의 제2 샘플 이미지에 기초하여 제2 초기 모델에서 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 훈련하고, 제1 반복 횟수에 도달될 때까지 훈련을 중단하여, 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈의 모듈 파라미터들을 획득하고; 및

복수의 제2 샘플 이미지 및 훈련을 통해 획득되는 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈에 기초하여 제2 초기 모델에서 모듈 선택 파라미터를 훈련하고, 제2 반복 횟수에 도달될 때까지 훈련을 중단하여, 이미지 세그먼트화 모델을 획득하도록 - 모듈 선택 파라미터는 제1 이미지를 세그먼트화하기 위해 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈 중 적어도 하나를 선택하기로 결정하기 위해 사용됨 - 구성된다.

일부 실시예들에서, 이미지 정보는 각각의 제2 샘플 이미지의 속성 정보를 추가로 포함하고; 및

따라서, 훈련 모듈(1101)은 각각의 제2 샘플 이미지의 속성 정보에 기초하여 각각의 제2 샘플 이미지를 전처리하고, 복수의 전처리된 제2 샘플 이미지를 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈에 입력하도록 추가로 구성된다.

일부 실시예들에서, 제1 이미지 세그먼트화 모듈의 모듈 파라미터는 각각의 반복 과정에서 제1 세그먼트화 에러에 기초한 조절을 통해 획득되고, 제1 세그먼트화 에러는 제1 이미지 세그먼트화 모듈에 대응하는 제1 세그먼트화 결과의 세그먼트화 에러이다. 제1 세그먼트화 에러를 획득하는 과정은 제1 손실 함수를 사용함으로써 구현되고, 제1 손실 함수에서의 각각의 타입의 픽셀의 가중치는 복수의 제2 샘플 이미지에서 복수의 제2 샘플 이미지의 이미지 정보에 있는 타입의 픽셀의 비율에 기초하여 결정된다.

제2 이미지 세그먼트화 모듈의 모듈 파라미터는 각각의 반복 과정에서 제2 세그먼트화 에러에 기초한 조절을 통해 획득되고, 제2 세그먼트화 에러는 제2 이미지 세그먼트화 모듈에 대응하는 제2 세그먼트화 결과의 세그먼트화 에러이다. 제2 세그먼트화 에러를 획득하는 과정은 제2 손실 함수를 사용하여 구현될 수 있고, 제2 손실 함수의 가중치는 OHEM 알고리즘에 기초하여 결정된다.

제1 반복 횟수 및 제2 반복 횟수는 교차 검증에 의해 결정된다.

일부 실시예들에서, 이미지 정보는 복수의 제2 샘플 이미지의 이미지 수를 추가로 포함한다.

따라서, 훈련 모듈(1101)은 이미지 수에 기초하여, 이미지 수에 대응하는 이미지 세그먼트화 서브모듈들을 훈련을 위한 제2 이미지 세그먼트화 모듈로서 획득하도록 추가로 구성되고, 제2 이미지 세그먼트화 모듈은 적어도 하나의 이미지 세그먼트화 서브모듈, 및 상이한 깊이들을 갖는 상이한 이미지 세그먼트화 서브모듈들을 포함한다.

본 출원의 실시예들에서 제공되는 장치에 따르면, 초기 모델은 복수의 인체 조직의 이미지들을 통해 사전 훈련되고, 따라서, 초기 모델은 인체 조직들에 관한 선험적 지식을 갖는다. 인체 조직 이미지의 이미지가 세그먼트화될 필요가 있을 때, 사전 훈련된 모델은 인체 조직의 이미지를 수동으로 분석하고 이어서 분석 결과에 기초하여 모델을 재설계하지 않고서 인체 조직의 이미지에 기초하여 직접 훈련될 수 있다. 전술한 방법에 따라 획득된 이미지 세그먼트화 모델은 인체 조직의 이미지를 정확하게 세그먼트화할 수 있고, 이는 이미지 세그먼트화 방법의 다목적성, 적용가능성, 및 실용성을 효과적으로 개선하고, 또한 이미지 세그먼트화 방법의 정확도를 효과적으로 개선한다.

전술한 실시예에서 제공된 이미지 세그먼트화 장치가 이미지를 세그먼트화할 때, 이것은 각각의 기능 모듈의 분할의 예로 도시된다. 실제 응용에서, 기능 분포는 요건들에 따라 상이한 기능 모듈들에 의해 구현될 수 있는데, 즉, 컴퓨터 디바이스의 내부 구조는 상이한 기능 모듈들로 분할되어, 위에 설명된 기능들의 전부 또는 일부를 구현한다. 또한, 전술한 실시예에서 제공된 이미지 세그먼트화 장치는 이미지 세그먼트화 방법 실시예들과 동일한 개념에 속한다. 구체적인 구현 과정에 대해서는, 방법 실시예들이 참조될 수 있고, 상세 사항들은 여기서 다시 설명되지 않는다.

컴퓨터 디바이스는 도 12에 도시한 단말기로서 제공될 수 있거나, 또는 도 13에 도시한 서버로서 제공될 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다.

도 12는 본 출원의 실시예에 따른 단말기의 개략적인 구조도이다. 단말기(1200)는 스마트폰, 태블릿 컴퓨터, MP3(moving picture experts group audio layer III) 플레이어, MP4(moving picture experts group audio layer IV) 플레이어, 노트북 컴퓨터, 또는 데스크톱 컴퓨터일 수 있다. 단말기(1200)는 사용자 장비, 휴대용 단말기, 랩톱 단말기, 데스크톱 단말기, 또는 또 다른 이름으로도 지칭될 수 있다.

일반적으로, 단말기(1200)는 프로세서(1201) 및 메모리(1202)를 포함한다.

프로세서(1201)는 하나 이상의 처리 코어를 포함할 수 있고, 예를 들어, 4-코어 프로세서 또는 8-코어 프로세서일 수 있다. 프로세서(1201)는 DSP(digital signal processor), FPGA(field-programmable gate array), 및 PLA(programmable logic array)의 적어도 하나의 하드웨어 형태를 사용하여 구현될 수 있다. 프로세서(1201)는 대안적으로 메인 프로세서 및 코프로세서를 포함할 수 있다. 메인 프로세서는 어웨이크 상태(awake state)에서 데이터를 처리하도록 구성된 프로세서이고 중앙 처리 유닛(CPU)이라고도 지칭되고, 코프로세서는 유휴 상태에서 데이터를 처리하도록 구성되는 저전력 프로세서이다. 일부 실시예들에서, 프로세서(1201)는 그래픽 처리 유닛(GPU)과 통합될 수 있다. GPU는 디스플레이상에 디스플레이될 필요가 있는 콘텐츠를 렌더링하고 드로잉하도록 구성된다. 일부 실시예들에서, 프로세서(1201)는 AI(artificial intelligence) 프로세서를 추가로 포함할 수 있다. AI 프로세서는 머신 러닝에 관련된 컴퓨팅 동작을 처리하도록 구성된다.

메모리(1202)는 하나 이상의 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 비일시적일 수 있다. 메모리(1202)는 고속 랜덤 액세스 메모리 및 하나 이상의 자기 디스크 저장 디바이스 또는 플래시 저장 디바이스와 같은 비휘발성 메모리를 추가로 포함할 수 있다. 일부 실시예들에서, 메모리(1202)에서의 비일시적 컴퓨터 판독가능 저장 매체는 적어도 하나의 명령어를 저장하도록 구성되고, 적어도 하나의 명령어는 본 출원의 방법 실시예들에 따른 이미지 세그먼트화 방법 또는 이미지 세그먼트화 모델 훈련 방법을 구현하기 위해 프로세서(1201)에 의해 실행되도록 구성된다.

일부 실시예들에서, 단말기(1200)는 대안적으로: 주변기기 인터페이스(1203) 및 적어도 하나의 주변기기를 포함할 수 있다. 프로세서(1201), 메모리(1202), 및 주변기기 인터페이스(1203)는 버스 또는 신호 케이블을 통해 접속될 수 있다. 각각의 주변기기는 버스, 신호 케이블, 또는 회로 보드를 통해 주변기기 인터페이스(1203)에 접속될 수 있다. 구체적으로, 주변기기는 무선 주파수(RF) 회로(1204), 디스플레이 스크린(1205), 카메라 컴포넌트(1206), 오디오 회로(1207), 포지셔닝 컴포넌트(1208), 및 전원(1209) 중 적어도 하나를 포함한다.

주변기기 인터페이스(1203)는 입력/출력(I/O)에 관련된 적어도 하나의 주변기기를 프로세서(1201) 및 메모리(1202)에 접속하도록 구성될 수 있다. 일부 실시예들에서, 프로세서(1201), 메모리(1202), 및 주변기기 인터페이스(1203)는 동일한 칩 또는 회로 보드상에 통합된다. 일부 다른 실시예들에서, 프로세서들(1201), 메모리(1202), 및 주변기기 인터페이스(1203) 중 임의의 하나 또는 2개가 별개의 칩 또는 회로 보드상에 구현될 수 있다. 이는 이 실시예에서 제한되지 않는다.

RF 회로(1204)는 전자기 신호라고도 지칭되는 RF 신호를 수신하고 송신하도록 구성된다. RF 회로(1204)는 전자기 신호를 사용하여 통신 네트워크 및 또 다른 통신 디바이스와 통신한다. RF 회로(1204)는 송신을 위해 전기 신호를 전자기 신호로 변환하거나, 또는 수신된 전자기 신호를 전기 신호로 변환한다. 선택적으로, RF 회로(1204)는 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 발진기, 디지털 신호 프로세서, 코덱 칩 세트, 가입자 식별 모듈 카드 등을 포함한다. RF 회로(1204)는 적어도 하나의 무선 통신 프로토콜을 통해 다른 단말기들과 통신할 수 있다. 무선 통신 프로토콜은 대도시 영역 네트워크, 모바일 통신 네트워크들의 세대들(2G, 3G, 4G, 및 5G), 무선 근거리 네트워크, 및/또는 무선 충실도(Wi-Fi) 네트워크를 포함하지만 이에 한정되지는 않는다. 일부 실시예들에서, RF 회로(1204)는 또한 근접장 통신(NFC)에 관련된 회로를 포함할 수 있다. 이는 본 출원에서 제한되지 않는다.

디스플레이 스크린(1205)은 사용자 인터페이스(UI)를 디스플레이하도록 구성된다. UI는 그래프, 텍스트, 아이콘, 비디오, 및 이들의 임의의 조합을 포함할 수 있다. 디스플레이 스크린(1205)이 터치 디스플레이 스크린일 때, 디스플레이 스크린(1205)은 또한 디스플레이 스크린(1205)의 표면 상에서 또는 그 위에서 터치 신호를 수집하는 능력을 갖는다. 터치 신호는 처리를 위한 제어 신호로서 프로세서(1201)에 입력될 수 있다. 이 경우, 디스플레이 스크린(1205)은 또한 소프트 버튼 및/또는 소프트 키보드라고도 지칭되는 가상 버튼 및/또는 가상 키보드를 제공하도록 추가로 구성될 수 있다. 일부 실시예들에서, 단말기(1200)의 전면 패널 상에 배치된 하나의 디스플레이 스크린(1205)이 존재할 수 있다. 일부 다른 실시예들에서, 단말기(1200)의 상이한 표면들 상에 제각기 배치되거나 접이식 형상으로 설계된 적어도 2개의 디스플레이 스크린(1205)이 존재할 수 있다. 일부 실시예들에서, 디스플레이 스크린(1205)은 단말기(1200)의 만곡된 표면 또는 접힌 표면 상에 배치된 플렉서블 디스플레이 스크린일 수 있다. 또한, 디스플레이 스크린(1205)은 비직사각형 불규칙 그래프, 즉 특수 형상의 스크린을 갖도록 추가로 설정될 수 있다. 디스플레이 스크린(1205)은 LCD(liquid crystal display), OLED(organic light-emitting diode) 등과 같은 재료를 사용하여 제조될 수 있다.

카메라 컴포넌트(1206)는 이미지 또는 비디오를 캡처하도록 구성된다. 선택적으로, 카메라 컴포넌트(1206)는 전방 카메라 및 후방 카메라를 포함한다. 일반적으로, 전방 카메라는 단말기의 전방 패널 상에 배치되고, 후방 카메라는 단말기의 후방 표면 상에 배치된다. 일부 실시예들에서, 메인 카메라와 피사계 심도 카메라의 융합을 통한 보케(Bokeh) 기능, 메인 카메라와 광각 카메라의 융합을 통한 파노라마 사진 촬영 및 가상 현실(VR) 촬영 기능들, 또는 또 다른 융합 촬영 기능을 구현하기 위해, 각각이 메인 카메라, 피사계 심도 카메라, 광각 카메라, 및 텔레포토 카메라 중 어느 하나인 적어도 2개의 후방 카메라가 존재한다. 일부 실시예들에서, 카메라 컴포넌트(1206)는 플래시를 추가로 포함할 수 있다. 플래시는 단색 온도 플래시일 수 있거나, 또는 이중색 온도 플래시일 수 있다. 이중색 온도 플래시는 웜 라이트 플래시 및 콜드 라이트 플래시의 조합을 지칭하고, 상이한 색 온도들 하에서의 광 보상을 위해 사용될 수 있다.

오디오 회로(1207)는 마이크로폰 및 라우드스피커를 포함할 수 있다. 마이크로폰은 사용자 및 환경의 음파들을 수집하고, 음파들을 전기 신호들로 변환하고, 처리를 위해 전기 신호들을 프로세서(1201)에 입력하거나, 또는 스피치 통신을 구현하기 위해 전기 신호들을 RF 회로(1204)에 입력하도록 구성된다. 스테레오 수집 또는 노이즈 저감 목적을 위해, 단말기(1200)의 상이한 부분들에 제각기 배치된 복수의 마이크로폰이 존재할 수 있다. 마이크로폰은 추가로 어레이 마이크로폰 또는 전방향성 수집 타입 마이크로폰일 수 있다. 라우드스피커는 프로세서(1201) 또는 RF 회로(1204)로부터의 전기 신호들을 음파들로 변환하도록 구성된다. 라우드스피커는 종래의 박막 라우드스피커 또는 압전 세라믹 라우드스피커일 수 있다. 라우드스피커가 압전 세라믹 라우드스피커일 때, 전기 신호들은 인간에 의해 들을 수 있는 음파들로 변환될 수 있을 뿐만 아니라, 레인징 등을 위해 인간에 의해 들을 수 없는 음파들로 변환될 수 있다. 일부 실시예들에서, 오디오 회로(1207)는 이어폰 잭을 추가로 포함할 수 있다.

포지셔닝 컴포넌트(1208)는 내비게이션 또는 위치 기반 서비스(LBS)를 구현하기 위해 단말기(1200)의 현재 지리적 위치를 결정하도록 구성된다. 포지셔닝 컴포넌트(1208)는 미국의 GPS(global positioning system), 중국의 BDS(BeiDou Navigation Satellite System), 러시아의 GLONASS 시스템, 또는 유럽 연합의 GALILEO 시스템에 기초한 포지셔닝 컴포넌트일 수 있다.

전원(1209)은 단말기(1200) 내의 컴포넌트들에 전력을 공급하도록 구성된다. 전원(1209)은 교류, 직류, 일회용 배터리, 또는 재충전가능 배터리일 수 있다. 전원(1209)이 재충전가능 배터리를 포함할 때, 재충전가능 배터리는 유선 재충전가능 배터리 또는 무선 재충전가능 배터리일 수 있다. 재충전가능 배터리는 고속 충전 기술을 지원하도록 추가로 구성될 수 있다.

일부 실시예들에서, 단말기(1200)는 하나 이상의 센서(1210)를 추가로 포함할 수 있다. 하나 이상의 센서(1210)는 가속도 센서(1211), 자이로스코프 센서(1212), 압력 센서(1213), 지문 센서(1214), 광 센서(1215), 및 근접 센서(1216)를 포함하지만, 이들로만 제한되지는 않는다.

가속도 센서(1211)는 단말기(1200)에 의해 확립된 좌표계의 3개의 좌표 축 상의 가속도의 크기를 검출할 수 있다. 예를 들어, 가속도 센서(1211)는 3개의 좌표 축 상의 중력 가속도의 성분들을 검출하도록 구성될 수 있다. 프로세서(1201)는 가속도 센서(1211)에 의해 수집된 중력 가속도 신호에 따라, 터치 디스플레이 스크린(1205)을 제어하여 프레임 뷰(frame view) 또는 세로 보기로 사용자 인터페이스를 디스플레이할 수 있다. 가속도 센서(1211)는 게임 또는 사용자의 모션 데이터를 수집하도록 추가로 구성될 수 있다.

자이로스코프 센서(1212)는 단말기(1200)의 몸체 방향 및 회전 각도를 검출할 수 있다. 자이로스코프 센서(1212)는 가속도 센서(1211)와 협력하여 단말기(1200)에 대한 사용자에 의한 3D 액션을 수집할 수 있다. 프로세서(1201)는 자이로스코프 센서(1212)에 의해 수집된 데이터에 따라 다음의 기능들: (사용자의 틸트 조작에 따라 UI를 변경하는 것과 같은) 모션 감지, 촬영시 이미지 안정화, 게임 제어, 및 관성 내비게이션을 구현할 수 있다.

압력 센서(1213)는 단말기(1200)의 측면 프레임 및/또는 터치 디스플레이 스크린(1205)의 하부 층에 배치될 수 있다. 압력 센서(1213)가 단말기(1200)의 측면 프레임에 배치될 때, 단말기(1200)에 대한 사용자의 파지(holding) 신호가 검출될 수 있다. 프로세서(1201)는 압력 센서(1213)에 의해 수집된 파지 신호에 따라 왼손 및 오른손 인식 또는 빠른 동작을 수행한다. 압력 센서(1213)가 터치 디스플레이 스크린(1205)의 하부 층에 배치될 때, 프로세서(1201)는 터치 디스플레이 스크린(1205)상의 사용자의 압력 조작에 따라 UI상의 조작가능 제어를 제어한다. 조작가능 제어는 버튼 제어, 스크롤 바 제어, 아이콘 제어, 및 메뉴 제어 중 적어도 하나를 포함한다.

지문 센서(1214)는 사용자의 지문을 수집하도록 구성된다. 프로세서(1201)는 지문 센서(1214)에 의해 수집된 지문에 따라 사용자의 신원을 식별하거나, 또는 지문 센서(1214)는 수집된 지문에 따라 사용자의 신원을 식별한다. 사용자의 신원이 신뢰할 수 있는 신원인 것으로 식별할 때, 프로세서(1201)는 사용자로 하여금 관련된 민감한 동작들을 수행하도록 허가한다. 민감한 동작들은 스크린을 잠금 해제하는 것, 암호화된 정보를 보는 것, 소프트웨어를 다운로드하는 것, 지불하는 것, 설정을 변경하는 것 등을 포함한다. 지문 센서(1214)는 단말기(1200)의 전면, 후면, 또는 측면 상에 배치될 수 있다. 단말기(1200) 상에 물리적 버튼 또는 벤더 로고가 배치될 때, 지문(1214)은 물리적 버튼 또는 벤더 로고와 통합될 수 있다.

광 센서(1215)는 주변 광 강도를 수집하도록 구성된다. 실시예에서, 프로세서(1201)는 광 센서(1215)에 의해 수집된 주변 광 강도에 따라 터치 디스플레이 스크린(1205)의 디스플레이 휘도를 제어할 수 있다. 구체적으로, 주변 광 강도가 비교적 높을 때, 터치 디스플레이 스크린(1205)의 디스플레이 휘도가 증가된다. 주변 광 강도가 비교적 낮을 때, 터치 디스플레이 스크린(1205)의 디스플레이 휘도가 감소된다. 또 다른 실시예에서, 프로세서(1201)는 광 센서(1215)에 의해 수집된 주변 광 강도에 따라 카메라 컴포넌트(1206)의 카메라 파라미터를 추가로 동적으로 조절할 수 있다.

거리 센서라고도 지칭되는 근접 센서(1216)는 일반적으로 단말기(1200)의 전면 패널 상에 배치된다. 근접 센서(1216)는 사용자와 단말기(1200)의 전면 사이의 거리를 수집하도록 구성된다. 실시예에서, 근접 센서(1216)가 사용자와 단말기(1200)의 전면 사이의 거리가 점차적으로 더 작아지는 것을 검출하는 경우에, 터치 디스플레이 스크린(1205)은 프로세서(1201)에 의해 스크린 온 상태로부터 스크린 오프 상태로 전환하도록 제어된다. 근접 센서(1216)가 사용자와 단말기(1200)의 전면 사이의 거리가 점차적으로 더 커지는 것을 검출할 때, 터치 디스플레이 스크린(1205)은 프로세서(1201)에 의해 스크린 오프 상태로부터 스크린 온 상태로 전환하도록 제어된다.

본 기술분야의 통상의 기술자는 도 12에 도시된 구조가 단말기(1200)에 대한 제한을 구성하지 않고, 단말기가 도면에 도시된 것들보다 더 많거나 더 적은 컴포넌트들을 포함할 수 있거나, 일부 컴포넌트들이 조합될 수 있거나, 또는 상이한 컴포넌트 배치가 사용될 수 있다는 것을 이해할 수 있다. 도 13은 본 출원의 실시예에 따른 서버의 개략적인 구조도이다. 서버(1300)는 상이한 구성들 또는 성능으로 인해 크게 변할 수 있고, 하나 이상의 CPU(1301) 및 하나 이상의 메모리(1302)를 포함할 수 있다. 메모리(1302)는 적어도 하나의 명령어를 저장하고, 적어도 하나의 명령어는 전술한 방법 실시예들에서 제공되는 이미지 세그먼트화 방법 또는 이미지 세그먼트화 모델 훈련 방법을 구현하기 위해 프로세서(1301)에 의해 로딩되고 실행된다. 물론, 서버는 입력들/출력들을 용이하게 하기 위해, 유선 또는 무선 네트워크 인터페이스, 키보드, 및 입력/출력 인터페이스와 같은 컴포넌트들을 추가로 포함할 수 있다. 서버는 디바이스의 기능들을 구현하도록 구성된 또 다른 컴포넌트를 추가로 포함할 수 있고, 상세 사항들은 본 명세서에서 설명되지 않는다.

컴퓨터 디바이스는 도 14에 도시된 서버로서 제공될 수 있거나, 도 15에 도시된 단말기로서 제공될 수 있다. 이러한 것은 본 출원의 실시예들에서 제한되지 않는다.

컴퓨터 디바이스는 도 14에 도시된 서버로서 제공될 수 있다. 도 14에 도시된 바와 같이, 서버는 시스템 버스를 사용하여 접속되는 프로세서, 메모리, 네트워크 인터페이스, 및 데이터베이스를 포함한다. 컴퓨터 디바이스의 프로세서는 컴퓨팅 및 제어 능력들을 제공하도록 구성된다. 컴퓨터 디바이스의 메모리는 비휘발성 저장 매체 및 내부 메모리를 포함한다. 비휘발성 저장 매체는 운영 체제, 컴퓨터 프로그램, 및 데이터베이스를 저장한다. 내부 메모리는 비휘발성 저장 매체에서 운영 체제 및 컴퓨터 프로그램을 실행하기 위한 환경을 제공한다. 컴퓨터 디바이스의 데이터베이스는 이미지 데이터를 저장하도록 구성된다. 컴퓨터 디바이스의 네트워크 인터페이스는 네트워크 접속을 통해 외부 단말기와 통신하도록 구성된다. 컴퓨터 프로그램은 이미지 세그먼트화 방법 또는 이미지 세그먼트화 모델 훈련 방법을 구현하기 위해 프로세서에 의해 실행된다.

컴퓨터 디바이스는 도 15에 도시된 단말기로서 제공될 수 있다. 도 15에 도시된 바와 같이, 단말기는 시스템 버스를 사용하여 접속되는 프로세서, 메모리, 네트워크 인터페이스, 디스플레이 스크린, 및 입력 장치를 포함한다. 컴퓨터 디바이스의 프로세서는 컴퓨팅 및 제어 능력들을 제공하도록 구성된다. 컴퓨터 디바이스의 메모리는 비휘발성 저장 매체 및 내부 메모리를 포함한다. 비휘발성 저장 매체는 운영 체제 및 컴퓨터 프로그램을 저장한다. 내부 메모리는 비휘발성 저장 매체에서 운영 체제 및 컴퓨터 프로그램을 실행하기 위한 환경을 제공한다. 컴퓨터 디바이스의 네트워크 인터페이스는 네트워크 접속을 통해 외부 단말기와 통신하도록 구성된다. 컴퓨터 프로그램은 이미지 세그먼트화 방법 또는 이미지 세그먼트화 모델 훈련 방법을 구현하기 위해 프로세서에 의해 실행된다. 컴퓨터 디바이스의 디스플레이 스크린은 액정 디스플레이 스크린 또는 전자 잉크 디스플레이 스크린일 수 있다. 컴퓨터 디바이스의 입력 장치는 디스플레이 스크린을 커버하는 터치 층일 수 있거나, 컴퓨터 디바이스의 하우징 상에 배치되는 키, 트랙볼, 또는 터치 패드일 수 있고, 추가로 외부 키보드, 터치 패드, 마우스 등일 수 있다.

본 기술분야의 통상의 기술자는, 도 14 및 도 15에 도시된 구조들에서, 본 출원에서의 해결책에 관련된 부분 구조들의 블록도들만이 도시되며, 이 구조들이 본 출원에서의 해결책이 적용되는 서버 및 단말기에 대한 제한을 구성하지 않는다는 것을 이해할 수 있다. 구체적으로, 단말기는 도면에 도시된 것들보다 더 많은 컴포넌트 또는 더 적은 컴포넌트를 포함할 수 있거나, 일부 컴포넌트들이 조합될 수 있거나, 또는 상이한 컴포넌트 배치가 이용될 수 있다.

실시예에서, 본 출원에서 제공되는 이미지 세그먼트화 장치는 컴퓨터 판독가능 명령어의 형태로 구현될 수 있고, 컴퓨터 판독가능 명령어는 도 14에 도시된 서버상에서 실행되거나 도 15에 도시된 단말기상에서 실행될 수 있다. 서버 또는 단말기의 메모리는 훈련 모듈(1101) 및 세그먼트화 모듈(1102)과 같은, 이미지 세그먼트화 장치를 형성하는 프로그램 모듈들을 저장할 수 있다. 프로그램 모듈들에 의해 형성된 컴퓨터 판독가능 명령어는 프로세서로 하여금 본 명세서에 설명된 본 출원의 실시예들에서의 이미지 세그먼트화 방법 또는 이미지 세그먼트화 모델 훈련 방법에서의 단계들을 수행하게 야기한다.

본 출원의 실시예는 컴퓨터 판독가능 명령어를 저장하는 컴퓨터 판독가능 저장 매체를 제공하고, 컴퓨터 판독가능 명령어는 전술한 실시예들에 따른 이미지 세그먼트화 방법 또는 이미지 세그먼트화 모델 훈련 방법에서 수행되는 동작들을 수행하기 위해 프로세서에 의해 로딩되고 실행된다.

본 기술 분야의 통상의 기술자는 전술한 실시예들에서의 방법의 절차 중 전부 또는 일부가 관련 하드웨어에 지시하는 컴퓨터 프로그램에 의해 구현될 수 있다는 것을 이해할 수 있다. 프로그램은 비휘발성 컴퓨터 판독가능 저장 매체에 저장될 수 있다. 프로그램이 실행될 때, 전술한 방법 실시예들의 절차들이 수행될 수 있다. 본 출원에서 제공되는 실시예들에서 사용되는 메모리, 스토리지, 데이터베이스, 또는 다른 매체에 대한 참조들은 모두 비휘발성 또는 휘발성 메모리를 포함할 수 있다. 비휘발성 메모리는 ROM(read-only memory), PROM(programmable ROM), EPROM(electrically programmable ROM), ROM(EEPROM), 또는 플래시 메모리를 포함할 수 있다. 휘발성 메모리는 RAM(random access memory) 또는 외부 캐시를 포함할 수 있다. 제한이 아닌 설명으로서, RAM은, SRAM(static RAM), DRAM(dynamic RAM), SDRAM(synchronous DRAM), DDRSDRAM(double data rate SDRAM), ESDRAM(enhanced SDRAM), SLDRAM(synchlink DRAM), RDRAM(rambus direct RAM), DRDRAM(direct rambus dynamic RAM), 및 RDRAM(rambus dynamic RAM)과 같은 복수의 형태로 획득될 수 있다.

본 명세서를 고려하고 본 명세서에 개시된 본 출원을 실시한 후에, 본 기술분야의 통상의 기술자는 본 출원의 다른 구현들을 쉽게 인식할 것이다. 본 출원은 본 출원의 임의의 변형, 사용, 또는 적응적 변경을 커버하도록 의도된다. 이러한 변형들, 사용들, 또는 적응적 변경들은 본 출원의 일반적인 원리들을 따르며, 본 출원에 개시되지 않은 본 기술분야의 공통의 일반적인 지식 또는 공통의 기술적 수단을 포함한다. 명세서 및 실시예들은 단지 예시적인 것으로 간주되고, 본 출원의 실제 범위 및 사상은 다음의 청구항들에서 지적된다.

본 출원은 위에서 설명되고 첨부 도면들에 도시된 바로 그 정확한 구조들로만 제한되지 않고, 본 출원의 범위를 벗어나지 않고 다양한 수정들 및 변경들이 이루어질 수 있다는 점이 이해되어야 한다. 본 출원의 범위는 첨부된 청구항들에 대해서만 종속된다.

Claims (30)

1. 이미지 세그먼트화 방법으로서:
   컴퓨터 디바이스에 의해, 복수의 제1 샘플 이미지에 기초하여 제1 초기 모델을 사전 훈련시켜 제2 초기 모델을 획득하는 단계 - 상기 복수의 제1 샘플 이미지는 복수의 인체 조직의 이미지들을 포함하고, 상기 제2 초기 모델은 상기 복수의 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 포함함 -;
   상기 컴퓨터 디바이스에 의해, 복수의 제2 샘플 이미지에 기초하여 상기 제2 초기 모델을 훈련시켜 이미지 세그먼트화 모델을 획득하는 단계 - 상기 복수의 제2 샘플 이미지는 타겟 인체 조직의 이미지들이고, 상기 이미지 세그먼트화 모델은 훈련 과정에서 상기 복수의 제2 샘플 이미지의 이미지 정보를 획득하고, 상기 복수의 제2 샘플 이미지의 이미지 정보는 상기 타겟 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 적어도 포함함 -; 및
   상기 컴퓨터 디바이스에 의해, 세그먼트화될 제1 이미지가 획득되는 경우에 상기 이미지 세그먼트화 모델을 호출하고, 상기 이미지 세그먼트화 모델을 사용하여, 상기 이미지 정보에 따라 상기 제1 이미지를 세그먼트화하여 제2 이미지를 출력하는 단계를 포함하고,
   상기 제1 초기 모델, 상기 제2 초기 모델, 및 상기 이미지 세그먼트화 모델은 각각 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 포함하고, 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈은 각각 하나의 세그먼트화 알고리즘에 대응하고, 상기 제1 이미지 세그먼트화 모듈은 3차원(3D) 이미지를 세그먼트화하도록 구성되고, 상기 제2 이미지 세그먼트화 모듈은 2차원(2D) 이미지를 세그먼트화하도록 구성되고;
   따라서, 상기 이미지 세그먼트화 모델을 사용하여, 상기 이미지 정보에 따라 상기 제1 이미지를 세그먼트화하여 제2 이미지를 출력하는 단계는:
   상기 컴퓨터 디바이스에 의해, 상기 이미지 정보 및 상기 이미지 세그먼트화 모델에서의 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나에 기초하여 상기 제1 이미지를 세그먼트화하여 상기 제2 이미지를 출력하는 단계를 포함하고;
   상기 이미지 정보 및 상기 이미지 세그먼트화 모델에서의 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나에 기초하여 상기 제1 이미지를 세그먼트화하여 상기 제2 이미지를 출력하는 단계는:
   상기 컴퓨터 디바이스에 의해, 상기 제1 이미지의 속성 정보에 따라 상기 제1 이미지를 전처리하는 단계;
   상기 컴퓨터 디바이스에 의해, 상기 전처리된 제1 이미지를 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나에 입력하고, 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나를 사용하여, 상기 전처리된 제1 이미지를 세그먼트화하여 제3 이미지를 획득하는 단계; 및
   상기 컴퓨터 디바이스에 의해, 상기 이미지 정보에 기초하여 상기 제3 이미지를 후처리하여 상기 제2 이미지를 출력하는 단계를 포함하며;
   상기 컴퓨터 디바이스에 의해, 상기 제1 이미지의 속성 정보에 따라 상기 제1 이미지를 전처리하는 단계는:
   상기 컴퓨터 디바이스에 의해, 상기 속성 정보에 따라 상기 제1 이미지에 비정상 픽셀이 존재한다고 결정하는 경우에 상기 비정상 픽셀을 삭제하는 단계;
   상기 컴퓨터 디바이스에 의해, 상기 속성 정보에 따라 상기 비정상 픽셀이 그로부터 삭제된 상기 제1 이미지의 그레이스케일 범위가 타겟 범위보다 크다고 결정하는 경우에 상기 제1 이미지에 대해 정규화 처리를 수행하여, 상기 제1 이미지의 그레이스케일 범위가 상기 타겟 범위 내에 있도록 조절하는 단계;
   상기 컴퓨터 디바이스에 의해, 상기 속성 정보에 따라 상기 제1 이미지의 채널 수가 1보다 큰 것으로 결정하는 경우에 상기 제1 이미지의 각각의 픽셀 값으로부터 타겟 이미지 평균을 감산하는 단계 - 타겟 이미지 평균은 사전 훈련 동안의 복수의 제1 샘플 이미지의 이미지 평균임 - ; 및
   상기 컴퓨터 디바이스에 의해, 상기 속성 정보에 따라 상기 제1 이미지의 양상 수가 1보다 큰 것으로 결정하는 경우에 상기 제1 이미지를 양상 병합 모듈에 입력하고, 및 상기 양상 병합 모듈을 사용하여, 상기 제1 이미지의 복수의 픽셀 값을 걸러내어, 상기 전처리된 제1 이미지의 픽셀 값들의 타겟 수를 획득하는 단계 - 상기 전처리된 제1 이미지의 양상 수는 1임 - 를 포함하는 방법.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 컴퓨터 디바이스에 의해, 상기 이미지 정보에 기초하여 상기 제3 이미지를 후처리하여 상기 제2 이미지를 출력하는 단계는:
   상기 컴퓨터 디바이스에 의해, 상기 제3 이미지에서의 복수의 타겟 영역 및 상기 이미지 정보에 의해 표시되는 상기 복수의 타겟 영역의 분포 정보에 기초하여 상기 제3 이미지를 후처리하여, 상기 제2 이미지를 획득하는 단계 - 상기 타겟 영역은 상기 제3 이미지에서의 타겟 타입의 픽셀들이 위치되는 영역이고, 상기 제2 이미지에서의 복수의 타겟 영역의 분포 타입들, 수, 및 크기 범위들은 상기 복수의 타겟 영역의 분포 정보와 동일함 - 를 포함하는 방법.
6. 제5항에 있어서,
   상기 컴퓨터 디바이스에 의해, 상기 제3 이미지에서의 복수의 타겟 영역 및 상기 이미지 정보에 의해 표시되는 상기 복수의 타겟 영역의 분포 정보에 기초하여 상기 제3 이미지를 후처리하는 단계는:
   상기 컴퓨터 디바이스에 의해, 상기 제3 이미지에서의 상기 타겟 영역들의 수 또는 크기 범위들이 상기 이미지 정보에 의해 표시되는 상기 복수의 타겟 영역의 수 또는 크기 범위들과 상이한 경우에 상기 제3 이미지로부터 상기 복수의 타겟 영역의 수 또는 크기 범위들을 충족시키지 못하는 부분을 걸러내는 단계를 추가로 포함하는 방법.
7. 제5항에 있어서,
   상기 컴퓨터 디바이스에 의해, 상기 제3 이미지에서의 복수의 타겟 영역 및 상기 이미지 정보에 의해 표시되는 상기 복수의 타겟 영역의 분포 정보에 기초하여 상기 제3 이미지를 후처리하는 단계는:
   상기 컴퓨터 디바이스에 의해, 임의의 타겟 영역 내부에 배경 픽셀이 있는 경우에 상기 배경 픽셀을 상기 타겟 영역에 대응하는 상기 타겟 타입의 픽셀로 변경하는 단계를 포함하는 방법.
8. 제1항에 있어서,
   상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나에 의해, 상기 제1 이미지를 세그먼트화하여 제3 이미지를 획득하는 단계는:
   상기 컴퓨터 디바이스에 의해, 상기 제1 이미지 세그먼트화 모듈을 사용하여, 상기 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 상기 제1 이미지를 세그먼트화하여 제1 세그먼트화 결과를 획득하고, 상기 제1 세그먼트화 결과에 기초하여 상기 제3 이미지를 획득하는 단계 - 상기 제1 세그먼트화 결과는 상기 제1 이미지에서의 각각의 픽셀이 적어도 2가지 타입 각각에 속할 확률을 표시하기 위해 사용됨 - 를 포함하는 방법.
9. 제1항에 있어서,
   상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나에 의해, 상기 제1 이미지를 세그먼트화하여 제3 이미지를 획득하는 단계는:
   상기 컴퓨터 디바이스에 의해, 상기 제2 이미지 세그먼트화 모듈을 사용하여 상기 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 상기 제1 이미지를 세그먼트화하여 제2 세그먼트화 결과를 획득하고, 및 상기 제2 세그먼트화 결과에 기초하여 상기 제3 이미지를 획득하는 단계 - 상기 제2 세그먼트화 결과는 상기 제1 이미지에서의 각각의 픽셀이 적어도 2가지 타입 각각에 속할 확률을 표시하기 위해 사용됨 - 를 포함하는 방법.
10. 제1항에 있어서,
    상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나에 의해, 상기 제1 이미지를 세그먼트화하여 제3 이미지를 획득하는 단계는:
    상기 컴퓨터 디바이스에 의해, 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈을 제각기 사용하여 상기 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 상기 제1 이미지를 세그먼트화하여 제1 세그먼트화 결과 및 제2 세그먼트화 결과를 획득하고, 및 상기 제1 세그먼트화 결과 및 상기 제2 세그먼트화 결과에 기초하여 상기 제3 이미지를 획득하는 단계를 포함하는 방법.
11. 제1항에 있어서,
    상기 제1 이미지 세그먼트화 모듈을 사용하여 상기 제1 이미지를 세그먼트화하는 과정은:
    상기 컴퓨터 디바이스에 의해, 상기 제1 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 상기 제1 이미지에 대해 2개의 분류를 수행하여 제1 세그먼트화 결과를 획득하는 단계 - 상기 2개의 분류에서의 제1 분류의 분류 대상들은 상기 제1 이미지의 모든 픽셀들이고, 제2 분류의 분류 대상들은 상기 제1 분류의 결과에서의 전경 픽셀들임 - 를 포함하고,
    상기 제2 이미지 세그먼트화 모듈을 사용하여 상기 제1 이미지를 세그먼트화하는 과정은:
    상기 컴퓨터 디바이스에 의해, 상기 제2 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 상기 제1 이미지에 대해 특징 추출을 수행하는 단계; 및
    상기 컴퓨터 디바이스에 의해, 추출된 특징에 기초하여 상기 제1 이미지의 각각의 픽셀에 대해 분류를 수행하여 제2 세그먼트화 결과를 획득하는 단계를 포함하는 방법.
12. 제1항에 있어서,
    상기 컴퓨터 디바이스에 의해, 복수의 제2 샘플 이미지에 기초하여 상기 제2 초기 모델을 훈련하는 과정은:
    상기 컴퓨터 디바이스에 의해, 상기 복수의 제2 샘플 이미지에 기초하여 상기 제2 초기 모델에서 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈을 훈련하고, 및 제1 반복 횟수에 도달될 때까지 상기 훈련을 중단하여, 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈의 모듈 파라미터들을 획득하는 단계; 및
    상기 컴퓨터 디바이스에 의해, 상기 복수의 제2 샘플 이미지 및 훈련을 통해 획득되는 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈에 기초하여 상기 제2 초기 모델에서 모듈 선택 파라미터를 훈련하고, 및 제2 반복 횟수에 도달될 때까지 상기 훈련을 중단하여, 상기 이미지 세그먼트화 모델을 획득하는 단계 - 상기 모듈 선택 파라미터는 상기 제1 이미지를 세그먼트화하기 위해 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나를 선택하기로 결정하기 위해 사용됨 - 를 포함하는 방법.
13. 제1항에 있어서,
    상기 이미지 정보는 각각의 제2 샘플 이미지의 속성 정보를 추가로 포함하고;
    따라서, 상기 컴퓨터 디바이스에 의해, 복수의 제2 샘플 이미지에 기초하여 상기 제2 초기 모델을 훈련하는 과정은:
    상기 컴퓨터 디바이스에 의해, 상기 각각의 제2 샘플 이미지의 속성 정보에 기초하여 상기 각각의 제2 샘플 이미지를 전처리하고, 및 상기 복수의 전처리된 제2 샘플 이미지를 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈에 입력하는 단계를 추가로 포함하는 방법.
14. 제1항에 있어서,
    상기 이미지 정보는 상기 복수의 제2 샘플 이미지의 이미지 수를 추가로 포함하고;
    따라서, 상기 컴퓨터 디바이스에 의해, 복수의 제2 샘플 이미지에 기초하여 상기 제2 초기 모델을 훈련하는 과정은:
    상기 컴퓨터 디바이스에 의해, 상기 이미지 수에 기초하여, 상기 이미지 수에 대응하는 이미지 세그먼트화 서브모듈들을 훈련을 위한 상기 제2 이미지 세그먼트화 모듈로서 획득하는 단계 - 상기 제2 이미지 세그먼트화 모듈은 적어도 하나의 이미지 세그먼트화 서브모듈을 포함하고, 상이한 이미지 세그먼트화 서브모듈들은 상이한 깊이들을 가짐 - 를 추가로 포함하는 방법.
15. 이미지 세그먼트화 장치로서:
    복수의 제1 샘플 이미지에 기초하여 제1 초기 모델을 사전 훈련하여 제2 초기 모델을 획득하도록 구성된 훈련 모듈 - 상기 복수의 제1 샘플 이미지는 복수의 인체 조직의 이미지들을 포함하고, 상기 제2 초기 모델은 상기 복수의 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 포함하고;
    상기 훈련 모듈은 복수의 제2 샘플 이미지에 기초하여 상기 제2 초기 모델을 훈련하여 이미지 세그먼트화 모델을 획득하도록 추가로 구성되고, 상기 복수의 제2 샘플 이미지는 타겟 인체 조직의 이미지들이고, 상기 이미지 세그먼트화 모델은 훈련 과정에서 상기 복수의 제2 샘플 이미지의 이미지 정보를 획득하고, 상기 복수의 제2 샘플 이미지의 이미지 정보는 상기 타겟 인체 조직에 대응하는 복수의 타겟 영역의 분포 정보를 적어도 포함함 -; 및
    세그먼트화될 제1 이미지가 획득되는 경우에 상기 이미지 세그먼트화 모델을 호출하고, 상기 이미지 세그먼트화 모델을 사용하여 상기 이미지 정보에 따라 상기 제1 이미지를 세그먼트화하여 제2 이미지를 출력하도록 구성된 세그먼트화 모듈을 포함하고,
    상기 제1 초기 모델, 상기 제2 초기 모델, 및 상기 이미지 세그먼트화 모델은 각각 제1 이미지 세그먼트화 모듈 및 제2 이미지 세그먼트화 모듈을 포함하고, 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈은 각각 하나의 세그먼트화 알고리즘에 대응하고, 상기 제1 이미지 세그먼트화 모듈은 3차원(3D) 이미지를 세그먼트화하도록 구성되고, 상기 제2 이미지 세그먼트화 모듈은 2차원(2D) 이미지를 세그먼트화하도록 구성되고; 상기 세그먼트화 모듈은 상기 이미지 정보 및 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나에 기초하여 상기 제1 이미지를 세그먼트화하여 상기 제2 이미지를 출력하도록 추가로 구성되고;
    상기 세그먼트화 모듈은 상기 제1 이미지의 속성 정보에 따라 상기 제1 이미지를 전처리하고; 상기 전처리된 제1 이미지를 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나에 입력하고, 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나를 사용하여, 상기 전처리된 제1 이미지를 세그먼트화하여 제3 이미지를 획득하고; 상기 이미지 정보에 기초하여 상기 제3 이미지를 후처리하여 상기 제2 이미지를 출력하도록 추가로 구성되며;
    상기 세그먼트화 모듈은, 상기 속성 정보에 따라 상기 제1 이미지에 비정상 픽셀이 존재한다고 결정하는 경우에, 상기 비정상 픽셀을 삭제하고; 상기 속성 정보에 따라 상기 비정상 픽셀이 그로부터 삭제된 상기 제1 이미지의 그레이스케일 범위가 타겟 범위보다 큰 것으로 결정하는 경우에 상기 제1 이미지에 대해 정규화 처리를 수행하여, 상기 제1 이미지의 그레이스케일 범위가 상기 타겟 범위 내에 있도록 조절하고; 상기 속성 정보에 따라 상기 제1 이미지의 채널 수가 1보다 큰 것으로 결정하는 경우에 상기 제1 이미지의 각각의 픽셀 값으로부터 타겟 이미지 평균을 감산 - 타겟 이미지 평균은 사전 훈련 동안의 복수의 제1 샘플 이미지의 이미지 평균임 - 하고;
    상기 속성 정보에 따라 상기 제1 이미지의 양상 수가 1보다 큰 것으로 결정하는 경우에 상기 제1 이미지를 양상 병합 모듈에 입력하고, 및 상기 양상 병합 모듈을 이용하여, 상기 제1 이미지의 복수의 픽셀 값을 걸러내어, 상기 전처리된 제1 이미지의 픽셀 값들의 타겟 수를 획득하도록 - 상기 전처리된 제1 이미지의 양상 수는 1임 - 추가로 구성된 장치.
16. 삭제
17. 삭제
18. 삭제
19. 제15항에 있어서,
    상기 세그먼트화 모듈은 상기 제3 이미지에서의 복수의 타겟 영역 및 상기 이미지 정보에 의해 표시되는 상기 복수의 타겟 영역의 분포 정보에 기초하여 상기 제3 이미지를 후처리하여 상기 제2 이미지를 획득하도록 추가로 구성되고, 상기 타겟 영역은 상기 제3 이미지에서의 타겟 타입의 픽셀들이 위치되는 영역이고, 상기 제2 이미지에서의 복수의 타겟 영역의 분포 타입들, 수, 및 크기 범위들은 상기 복수의 타겟 영역의 분포 정보와 모두 동일한 장치.
20. 제19항에 있어서,
    상기 세그먼트화 모듈은, 상기 제3 이미지에서의 상기 타겟 영역들의 수 또는 크기 범위들이 상기 이미지 정보에 의해 표시되는 상기 복수의 타겟 영역의 수 또는 크기 범위들과 상이한 경우에, 상기 제3 이미지로부터 상기 복수의 타겟 영역의 수 또는 크기 범위들을 충족시키지 못하는 부분을 걸러내도록 추가로 구성된 장치.
21. 제19항에 있어서,
    상기 세그먼트화 모듈은, 임의의 타겟 영역 내부에 배경 픽셀이 있는 경우에, 상기 배경 픽셀을 상기 타겟 영역에 대응하는 상기 타겟 타입의 픽셀로 변경하도록 추가로 구성된 장치.
22. 제15항에 있어서,
    상기 세그먼트화 모듈은, 상기 제1 이미지 세그먼트화 모듈을 사용하여, 상기 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 상기 제1 이미지를 세그먼트화하여 제1 세그먼트화 결과를 획득하고, 및 상기 제1 세그먼트화 결과에 기초하여 상기 제3 이미지를 획득하도록 추가로 구성되고, 상기 제1 세그먼트화 결과는 상기 제1 이미지에서의 각각의 픽셀이 적어도 2가지 타입 각각에 속할 확률을 표시하기 위해 사용되는 장치.
23. 제15항에 있어서,
    상기 세그먼트화 모듈은, 상기 제2 이미지 세그먼트화 모듈을 사용하여, 상기 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 상기 제1 이미지를 세그먼트화하여 제2 세그먼트화 결과를 획득하고, 및 상기 제2 세그먼트화 결과에 기초하여 상기 제3 이미지를 획득하도록 추가로 구성되고, 상기 제2 세그먼트화 결과는 상기 제1 이미지에서의 각각의 픽셀이 적어도 2가지 타입 각각에 속할 확률을 표시하기 위해 사용되는 장치.
24. 제15항에 있어서,
    상기 세그먼트화 모듈은, 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈을 제각기 사용하여, 상기 이미지 세그먼트화 모델의 모듈 선택 파라미터에 기초하여 상기 제1 이미지를 세그먼트화하여 제1 세그먼트화 결과 및 제2 세그먼트화 결과를 획득하고, 및 상기 제1 세그먼트화 결과 및 상기 제2 세그먼트화 결과에 기초하여 상기 제3 이미지를 획득하도록 추가로 구성된 장치.
25. 제15항에 있어서,
    상기 세그먼트화 모듈은 상기 제1 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 상기 제1 이미지에 대해 2개의 분류를 수행하여 제1 세그먼트화 결과를 획득하고 - 상기 2개의 분류에서의 제1 분류의 분류 대상들은 상기 제1 이미지의 모든 픽셀들이고, 제2 분류의 분류 대상들은 상기 제1 분류의 결과에서의 전경 픽셀들임 -; 상기 제2 이미지 세그먼트화 모듈의 모듈 파라미터에 기초하여 상기 제1 이미지에 대해 특징 추출을 수행하고; 및 추출된 특징에 기초하여 상기 제1 이미지의 각각의 픽셀에 대해 분류를 수행하여 제2 세그먼트화 결과를 획득하도록 추가로 구성된 장치.
26. 제15항에 있어서,
    상기 훈련 모듈은 상기 복수의 제2 샘플 이미지에 기초하여 상기 제2 초기 모델에서 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈을 훈련하고, 제1 반복 횟수에 도달될 때까지 상기 훈련을 중단하여, 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈의 모듈 파라미터들을 획득하고; 및 상기 복수의 제2 샘플 이미지 및 훈련을 통해 획득되는 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈에 기초하여 상기 제2 초기 모델에서 모듈 선택 파라미터를 훈련하고, 제2 반복 횟수에 도달될 때까지 상기 훈련을 중단하여, 상기 이미지 세그먼트화 모델을 획득하도록 추가로 구성되고, 상기 모듈 선택 파라미터는 상기 제1 이미지를 세그먼트화하기 위해 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈 중 적어도 하나를 선택하기로 결정하기 위해 사용되는 장치.
27. 제15항에 있어서,
    상기 이미지 정보는 각각의 제2 샘플 이미지의 속성 정보를 추가로 포함하고, 상기 훈련 모듈은 상기 각각의 제2 샘플 이미지의 속성 정보에 기초하여 상기 각각의 제2 샘플 이미지를 전처리하고, 및 상기 복수의 전처리된 제2 샘플 이미지를 상기 제1 이미지 세그먼트화 모듈 및 상기 제2 이미지 세그먼트화 모듈에 입력하도록 추가로 구성된 장치.
28. 제15항에 있어서,
    상기 이미지 정보는 상기 복수의 제2 샘플 이미지의 이미지 수를 추가로 포함하고, 상기 훈련 모듈은 상기 이미지 수에 기초하여, 상기 이미지 수에 대응하는 이미지 세그먼트화 서브모듈들을 훈련을 위한 상기 제2 이미지 세그먼트화 모듈로서 획득하도록 추가로 구성되고, 상기 제2 이미지 세그먼트화 모듈은 적어도 하나의 이미지 세그먼트화 서브모듈을 포함하고, 및 상이한 이미지 세그먼트화 서브모듈들은 상이한 깊이들을 갖는 장치.
29. 프로세서 및 메모리를 포함하는 컴퓨터 디바이스로서,
    상기 메모리는 컴퓨터 판독가능 명령어들을 저장하고, 상기 컴퓨터 판독가능 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항, 제5항 내지 제14항 중 어느 한 항에 따른 방법을 수행하게 야기하는 컴퓨터 디바이스.
30. 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 제1항, 제5항 내지 제14항 중 어느 한 항에 따른 방법을 수행하게 야기하는 컴퓨터 판독가능 명령어들을 저장하는 하나 이상의 비휘발성 저장 매체.

Images