KR20220028011A

KR20220028011A - 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품

Info

Publication number: KR20220028011A
Application number: KR1020227002923A
Authority: KR
Inventors: 주오웨이 리; 칭 시아
Original assignee: 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date: 2020-07-14
Filing date: 2021-02-05
Publication date: 2022-03-08
Also published as: CN114494221A; JP2022543547A; WO2022012038A1; TW202203151A; CN111882527A; CN111882527B

Abstract

본 발명의 실시예는 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품에 관한 것이다. 상기 이미지 처리 방법은, 타깃 대상을 포함하는 타깃 이미지를 획득하는 단계; 상기 타깃 이미지를 분할하여, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용하는 단계; 및 상기 분할 결과에 따라, 상기 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정하는 단계를 포함한다.

Description

이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품

관련 출원의 상호 참조

본 발명은 출원 번호가 202010674675.X이고, 출원일이 2020년 7월 14일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하는 바, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

본 발명은 이미지 처리 기술분야에 관한 것으로서, 특히 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품에 관한 것이다.

심뇌혈관 질환은 현재 치사율이 가장 높은 질병 중 하나로서, 그 중 관상 동맥 심장 질환은 발병율이 가장 높다. 관상 동맥 심장 질환은 동맥 경화로 인해 관상동맥 내강이 좁아져 심근에 혈액 공급이 원활하지 않아 일련의 임상 증상을 유발한다.

관상 동맥 심장 질환의 분석 과정에서, 병변의 포지셔닝 및 의료 보고서에서의 설명 분석은 종종 관상 동맥 중심선의 명명에 의존해야 한다.

본 발명의 실시예는 이미지 처리 방법 및 장치, 전자 기기, 저장 매체 및 프로그램 제품을 제공한다.

본 발명의 실시예의 일 측면에 따르면, 이미지 처리 방법을 제공하고, 상기 방법은,

타깃 대상을 포함하는 타깃 이미지를 획득하는 단계; 상기 타깃 이미지를 분할하여, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용하는 단계; 및 상기 분할 결과에 따라, 상기 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정하는 단계를 포함한다.

가능한 구현 방식에 있어서, 상기 타깃 이미지를 분할하여, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용하는 단계는, 상기 타깃 이미지를 신경망에 입력하는 단계; 및 상기 신경망의 출력에 따라, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 결정하고, 상기 분할 결과로 사용하는 단계 - 상기 신경망은 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하고, 상기 훈련 이미지 중의 타깃 대상은 적어도 하나의 타깃 서브 대상의 명칭을 통해 라벨링을 진행함 - 를 포함한다. 따라서, 신경망을 통해 타깃 이미지를 분할할 수 있음으로써, 분할의 안정성, 효율성 및 정밀도를 효과적으로 향상시킴으로써, 이미지 처리의 안정성, 효율성 및 정밀도를 향상시킬 수 있다. 동시에, 신경망이 훈련 이미지에 포함된 타깃 서브 대상의 명칭의 실제 상황에 따라 구조 및 구현 방식을 유연하게 조정할 수 있기 때문에, 키 포인트 검출의 유연성을 향상시킬 수 있음으로써, 이미지 처리 방법을 구현하는 유연성을 향상시킬 수 있다.

가능한 구현 방식에 있어서, 상기 신경망이 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하는 단계는, 상기 훈련 이미지 중 타깃 대상의 라벨에 따라, 상기 훈련 이미지 중 적어도 일부 픽셀 포인트의 라벨을 결정하는 단계; 및 상기 적어도 일부 픽셀 포인트의 라벨을 포함하는 훈련 이미지를 통해, 상기 신경망을 훈련하는 단계를 포함한다. 이로써, 훈련 이미지 중 적어도 일부 픽셀 포인트의 라벨을 결정한 후, 적어도 일부 픽셀 포인트의 라벨을 포함하는 훈련 이미지에 따라 신경망을 훈련할 수 있고, 상기 과정을 통해, 라벨링된 훈련 이미지에 기반하여 효과적으로 신경망을 훈련하여, 분할 명명 기능을 가진 신경망을 얻어, 이미지 처리의 편의성을 향상시킬 수 있다.

가능한 구현 방식에 있어서, 상기 신경망이 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하는 단계는, 상기 훈련 이미지 중의 타깃 대상 내에서, 제1 타깃 픽셀 포인트와 가장 가까운 타깃 서브 대상을 결정하는 단계 - 상기 제1 타깃 픽셀 포인트는 상기 훈련 이미지 중 상기 타깃 대상을 제외한 적어도 하나의 픽셀 포인트를 가리킴 - ; 결정된 상기 타깃 서브 대상의 라벨을, 상기 제1 타깃 픽셀 포인트의 라벨로 사용하는 단계; 및 상기 제1 타깃 픽셀 포인트의 라벨 및 상기 타깃 대상의 라벨을 포함하는 훈련 이미지에 따라, 상기 신경망을 훈련하는 단계를 포함한다. 상기 과정을 통해, 타깃 대상 라벨을 포함하는 훈련 이미지에 기반하여, 밀집된 라벨 및 완전한 정보를 가진 훈련 이미지를 얻어 신경망을 훈련함으로써, 라벨링 난이도를 증가하지 않는 기초 위에, 훈련하여 얻은 신경망의 정밀도를 향상시킴으로써, 분할 결과 및 최종적으로 얻은 타깃 서브 대상의 명칭의 정확도를 향상시킨다. 이미지 처리의 정확성 및 편의성을 향상시킨다.

가능한 구현 방식에 있어서, 상기 분할 결과에 따라, 상기 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정하는 단계는, 상기 분할 결과에 따라, 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 결정하는 단계 - 상기 제2 타깃 픽셀 포인트는 상기 타깃 서브 대상에 포함된 픽셀 포인트임 - ; 및 상기 타깃 서브 대상 중 각 상기 제2 타깃 픽셀 포인트의 명칭을 통계하여, 통계 결과를 얻고, 상기 통계 결과에서 개수가 가장 많은 명칭을, 상기 타깃 서브 대상의 명칭으로 사용하는 단계를 포함한다. 상기 과정을 통해, 타깃 이미지 중 일부 픽셀 포인트의 분할 결과과 정확하지 않은 경우가 있더라도, 비율에 기반하여 비교적 정확한 타깃 서브 대상의 명칭을 얻을 수 있음으로써, 최종적으로 결정된 타깃 서브 대상의 명칭의 정확성을 높임으로써, 이미지 처리의 정확도 및 정밀도를 향상시킬 수 있다.

가능한 구현 방식에 있어서, 상기 분할 결과에 따라, 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 결정하는 단계는, 각 상기 제2 타깃 픽셀 포인트에 대응되는 분할 결과를, 각 상기 제2 타깃 픽셀 포인트의 명칭으로 사용하는 단계; 또는, 각 상기 제2 타깃 픽셀 포인트 기설정된 범위 내 적어도 하나의 픽셀 포인트의 분할 결과에 기반하여, 각 상기 제2 타깃 픽셀 포인트의 명칭을 결정하는 단계를 포함한다. 따라서, 제2 타깃 픽셀 포인트 기설정된 범위 내 적어도 하나의 픽셀 포인트의 분할 결과에 기반하여, 제2 타깃 픽셀 포인트의 명칭을 결정하는 것을 통해, 이러한 서포트 기능을 가진 픽셀 포인트의 분할 결과를 효과적으로 도입하여 제2 타깃 픽셀 포인트의 명칭을 결정할 수 있어, 결정된 제2 타깃 픽셀 포인트의 명칭의 정확성을 향상시킴으로써, 결정된 타깃 서브 대상 명칭의 정확성을 향상시킴으로써, 이미지 처리 정확도를 향상시킬 수 있다.

가능한 구현 방식에 있어서, 상기 방법은, 적어도 하나의 상기 타깃 서브 대상의 명칭에 따라, 상기 타깃 대상을 처리하여, 처리 결과를 얻는 단계를 더 포함한다. 이로써, 적어도 하나의 타깃 서브 대상의 명칭에 따라 타깃 대상을 처리하여, 처리 결과를 얻는 것을 통해, 효과적으로 타깃 서브 대상의 명칭에 따라 타깃 대상을 추가로 최적화할 수 있고, 이전에 타깃 이미지를 분할하여 얻은 분할 결과의 정확율이 낮음으로 인해, 결정된 명칭에 일정한 오차가 존재하더라도, 처리를 통해 수정하여, 더욱 정확한 처리 결과를 얻을 수 있음으로써, 이미지 처리의 정밀도 및 로버스트를 향상시킬 수도 있다.

가능한 구현 방식에 있어서, 상기 적어도 하나의 상기 타깃 서브 대상의 명칭에 따라, 상기 타깃 대상을 처리하는 단계는, 상기 타깃 대상 중 동일한 명칭을 가진 타깃 서브 대상을 추출하는 단계; 및 인접한 타깃 서브 대상의 명칭에 따라, 상기 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 수정하는 단계 중 적어도 하나를 포함한다. 이로써, 분할이 정확하지 않음으로 인해 초래된 명명 결과가 정확하지 않은 상황의 발생을 추가로 감소시켜, 최종적으로 얻은 처리 결과의 정확성을 향상시키고, 이미지 처리의 정밀도 및 로버스트를 향상시킬 수 있다.

가능한 구현 방식에 있어서, 상기 타깃 이미지는, 심장 관상 동맥 마스크 이미지를 포함하고, 또는, 심장 관상 동맥 마스크 이미지 및 심장 마스크 이미지를 포함하고; 상기 타깃 대상은 관상 동맥 중심선을 포함한다. 타깃 이미지가 동시에 심장 관상 동맥 마스크 이미지 및 심장 마스크 이미지를 포함한 경우, 마스크 이미지에 기반하여 분할할 수 있고, 직접 원본의 심장 관상 동맥 이미지를 분할하는 것과 비해, 향후 분할 과정의 입력 환경을 간소화하고, 이미지 처리 과정에서의 노이즈를 저하시키고; 또한 심장 마스크 이미지를 통해, 심장 각 방의 정보를 유지할 수 있음으로써, 관상동맥의 트리 구조 정보와 혈액 공급 위치 정보를 최대한 동시에 유지할 수 있어, 향후 분할의 난이도를 감소시키고, 분할 결과 및 최종적으로 결정된 명칭의 정확도를 향상시킨다.

본 발명의 실시예의 일 측면에 따르면, 이미지 처리 장치를 제공하고, 상기 장치는,

타깃 대상을 포함하는 타깃 이미지를 획득하도록 구성된 획득 모듈; 상기 타깃 이미지를 분할하여, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용하도록 구성된 분할 모듈; 상기 분할 결과에 따라, 상기 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정하도록 구성된 명명 모듈을 포함한다.

본 발명 실시예의 일 측면에 따르면, 전자 기기를 제공하며,

프로세서; 프로세서가 실행 가능한 명령어를 저장하도록 구성된 메모리 - 상기 프로세서는 상기 메모리에 저장된 명령어를 호출하여, 상기 이미지 처리 방법을 실행하도록 구성됨 - 를 포함한다.

본 발명의 실시예의 일 측면에 따르면, 컴퓨터 프로그램 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 경우 상기 이미지 처리 방법을 구현한다.

본 발명 실시예의 일 측면에 따르면, 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기의 프로세서는 상기 이미지 처리 방법을 실행한다.

본 발명의 실시예는, 타깃 대상을 포함하는 타깃 이미지를 획득하고, 타깃 이미지를 분할하여 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고 분할 결과로 사용하는 것을 통해, 분할 결과에 따라 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정한다. 상기 과정을 통해, 타깃 이미지 중 복수 개 타깃 서브 대상을 포함하는 타깃 대상의 명명 과정을, 픽셀 레벨의 분할 과정으로 전환하여, 명명 과정의 구현 난이도를 감소시키고 및 명명 정확도를 효과적으로 향상시킴으로써, 이미지 처리 과정의 로버스트를 향상시킬 수 있다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명의 실시예를 한정하려는 것은 아니다.

아래에 첨부 도면에 따라 예시적 실시예를 상세하게 설명하므로, 본 발명 실시예의 다른 특징 및 측면이 더욱 명확해질 것이다.

아래의 도면은 본 명세서의 일 부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명 실시예에 맞는 실시예를 예시하여, 명세서와 함께 본 발명의 실시예의 기술방안을 설명하기 위한것이다.
도 1은 본 출원의 일 실시예에 따른 이미지 처리 방법의 흐름도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 타깃 대상을 추출하는 예시도이다.
도 3는 본 발명의 실시예에 따른 일 응용 예의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 처리 장치의 블록도이다.
도 5는 본 발명의 실시예에 따른 전자 기기의 블록도이다.
도 6은 본 출원의 실시예에 따른 전자 기기의 블록도이다.

이하, 도면을 참조하여 본 발명 실시예의 다양한 예시적인 실시예, 특징 및 측면을 상세하게 설명한다. 도면에서 동일한 도면 부호는 동일하거나 유사한 기능을 갖는 요소를 표시한다. 실시예의 다양한 측면이 도면에 도시되어 있지만, 구체적으로 언급되지 않는 한, 도면은 반드시 비례대로 도시될 필요가 없다.

여기서 "예시적"이라는 특정한 단어는 "예, 실시예 또는 설명적인 것으로 사용됨"을 의미한다. 여기서 "예시적"으로 설명된 임의의 실시예는 다른 예보다 뛰어나거나 좋은 것으로 해석될 필요는 없다.

본 명세서에서 용어 “및/또는”은 다만 관련 대상의 상관 관계를 설명하기 위한 것일 뿐, 세 가지의 관계가 존재함을 나타내며, 예를 들어, A 및/또는 B는, A가 단독적으로 존재, A 및 B가 동시에 존재, B가 단독적으로 존재하는 세 가지 상황을 나타낸다. 또한, 본 문에서 용어 "적어도 하나"는 복수의 어느 하나 또는 복수의 둘 중 어느 하나의 조합을 의미하고, 예를 들어, A, B, C 중 적어도 하나를 포함하여, A, B 및 C로 구성된 조합에서 선택된 어느 하나 또는 복수 개의 요소를 나타낼 수 있다.

또한, 본 발명의 실시예를 더 잘 설명하기 위해, 아래의 실시형태에서 다수의 세부 사항을 제공한다. 본 분야의 기술자는 일부 세부 사항이 없이도, 본 발명의 실시예가 마찬가지로 실시될 수 있음을 이해해야 한다. 일부 예에 있어서, 본 분야에게 널리 알려진 방법, 수단, 구성 요소 및 회로는 본 발명의 실시예의 요지를 강조하기 위해, 상세히 설명되지 않는다.

도 1은 본 발명의 실시예에 따른 이미지 처리 방법의 흐름도이고 상기 방법은 이미지 처리 장치에 적용될 수 있고, 이미지 장치는 단말 기기, 서버, 또는 다른 처리 기기 등일 수 있다. 여기서, 단말 기기는 사용자 기기(User Equipment, UE), 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, 개인용 정보 단말기(Personal Digital Assistant, PDA), 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 웨어러블 기기 등일 수 있다.

일부 가능한 구현 방식에 있어서, 상기 이미지 처리 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다. 도 1에 도시된 바와 같이, 상기 이미지 처리 방법은 아래와 같은 단계를 포함할 수 있다.

단계 S11에 있어서, 타깃 대상을 포함하는 타깃 이미지를 획득한다.

단계 S12에 있어서, 타깃 이미지를 분할하여, 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용한다.

단계 S13에 있어서, 분할 결과에 따라, 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정한다.

여기서, 타깃 대상은 아무런 명명 요구를 가진 대상일 수 있다. 가능한 구현 방식에 있어서, 타깃 대상은 영역을 분할하거나 세그먼트를 분할하여 명명하는 대상일 수 있다. 타깃 대상이 복수 개의 명명해야 하는 세그먼트 또는 영역을 포함할 수 있기 때문에, 가능한 구현 방식에 있어서, 타깃 대상은 복수 개의 세그먼트 또는 복수 개의 영역의 명명 수요에 따라, 복수 개의 타깃 서브 대상으로 분할될 수 있다.

가능한 구현 방식에 있어서, 본 발명의 실시예에서 제기한 이미지 처리 방법은, 심장 관상 동맥 중심선의 각 세그먼트를 명명하는데 사용될 수 있다. 따라서, 일 실시예에 있어서, 타깃 대상은 심장 관상 동맥의 중심선일 수 있고, 즉 관상 동맥 중심선일 수 있고, 이러한 경우, 타깃 대상은 복수 개의 타깃 서브 대상을 포함할 수 있고, 각 타깃 서브 대상은 트리 모양 관상 동맥 중심선 구조의 하나의 가지 또는 가지 중의 세그먼트일 수 있고, 즉 관상 동맥 중심선의 세그먼트일 수 있고; 일 실시예에 있어서, 타깃 대상은 심장 관상 동맥 중 다른 명명 수요를 가진 부분이거나, 심장 관상 동맥 중심선의 부분 영역 등일 수도 있으며, 실제 상황에 따라 유연하게 선택하면 된다. 가능한 구현 방식에 있어서, 본 발명의 실시예에서 제기한 방법은 복수 개의 세그먼트 또는 복수 개의 영역을 포함하는 다른 기관 또는 조직을 명명하는데 적용될 수도 있고, 상응하게, 일부 가능한 구현 방식에 있어서, 타깃 대상은 복수 개의 영역 또는 복수 개의 세그먼트 명명 수요를 가진 기관 또는 조직일 수 있다. 향후 각 개시의 실시예는 타깃 대상을 심장 관상 동맥 중심선으로 하는 것으로 예로 들어 설명을 하고, 타깃 대상이 다른 형태인 경우, 처리 방법은 본 발명의 실시예에서 제기한 방법에 따라 유연하게 확장될 수 있고, 여기서 더 이상 예를 들어 설명하지 않는다.

타깃 이미지 중 픽셀 포인트의 명칭은, 상기 픽셀 포인트에 대응되는 타깃 서브 대상의 명칭일 수 있다. 타깃 대상의 구현 방식의 상이함에 따라, 타깃 대상 중 타깃 서브 대상의 명칭의 구현 방식은 실제 상황에 따라 유연하게 결정될 수도 있다. 가능한 구현 방식에 있어서, 타깃 대상이 관상 동맥 중심선인 경우, 타깃 서브 대상의 명칭은 관상 동맥 중심선을 복수 개의 관상 동맥 중심선 세그먼트로 분할될 수 있는 명칭일 수 있고, 예를 들어 우관상 동맥(Right Coronary Artery, RCA), 우후 하행 동맥(Right-Posterior Descending Artery, R-PDA), 좌후 하행 동맥(Left-Posterior Descending Artery, L-PDA), 우측 후방 측면 가지(Right-Posterior Lateral Branch, R-PLB), 좌측 후방 측면 가지(Left-Posterior Lateral Branch, L-PLB), 좌측 메인(Left Main, LM), 누설 동축 케이블(Leaky Coaxial Cable, LCX), 제1 및 제2 둔간 변연 가지(Obtuse Marginal 1 and 2, OM1-2), 좌전 하행 가지(Left Anterior Descending, LAD), 제1 및 제2 대각선 가지(Diagonal 1 and 2, D1-2) 또는 다른 것(Others)일 수 있다.

타깃 이미지는 타깃 대상을 포함하는 임의의 이미지일 수 있고, 가능한 구현 방식에 있어서, 타깃 이미지는 전체 타깃 대상을 포함하는 이미지일 수 있고, 가능한 구현 방식에 있어서, 타깃 이미지는 일부 타깃 대상을 포함하는 이미지일 수도 있으며, 실제 상황에 따라 유연하게 선택하면 된다. 상기 발명의 실시예로부터 알수 있다시피, 가능한 구현 방식에 있어서, 타깃 이미지는 마스크 이미지(mask)일 수 있고, 어떠한 종류의 마스크 이미지는, 실제 상황에 따라 유연하게 결정될 수 있다. 상기 각 개시의 실시예에서 전술한 바와 같이, 한 가지 가능한 경우, 타깃 대상은 관상 동맥 중심선을 포함할 수 있고, 상응하게, 타깃 이미지는 관상 동맥 중심선을 포함하는 이미지이거나 관상 동맥 중심선을 추출하는데 사용되는 이미지일 수 있다. 따라서, 가능한 구현 방식에 있어서, 타깃 이미지는 심장 관상 동맥 마스크 이미지를 포함할 수 있다. 일 실시예에 있어서, 심장 관상 동맥 마스크 이미지는 이진 이미지일 수 있고, 예를 들어 0 및 1의 두 개의 값을 통해 이미지 중의 픽셀 포인트가 심장 관상 동맥에 속하는지 아니면 심장 관상 동맥과 연관이 없는 배경인지를 구분할 수 있다.

가능한 구현 방식에 있어서, 타깃 이미지는 심장 관상 동맥 마스크 이미지 및 심장 마스크 이미지를 포함할 수 있다. 심장 관상 동맥 마스크 이미지의 형태는 상기 발명의 실시예에서 전술한 바와 같고, 여기서 반복하여 설명하지 않는다. 심장 마스크 이미지는 심장 관상 동맥이 속한 심장에 의해 구성된 마스크 이미지일 수 있고, 상이한 값을 통해 심장의 각 부위 또는 방을 분할한다. 일 실시예에 있어서, 타깃 이미지는 심장 관상 동맥 마스크 이미지 및 심장 마스크 이미지가 중첩되어 형성된 마스크 이미지일 수 있고, 중첩 과정에서, 심장 마스크 이미지 중 심장 관상 동맥에 속하지 않는 픽셀 포인트를 심장 관상 동맥 마스크 이미지 중의 배경 값으로 표기할 수 있다. 향후 각 발명의 실시예는, 모두 타깃 이미지를 심장 마스크 이미지 및 심장 관상 동맥 마스크 이미지가 중첩되어 형성된 마스크 이미지인 것으로 예로 들어 설명하고, 나머지 가능한 구현 방식은 향후 발명의 실시예를 참조하여 확장될 수 있으며, 더 이상 일일이 예로 들지 않는다.

타깃 이미지가 심장 관상 동맥 마스크 이미지 및 심장 마스크 이미지를 포함한 경우, 마스크 이미지에 기반하여 분할할 수 있고, 직접 원래의 심장 관상 동맥 이미지를 분할하는 것과 비해, 향후 분할 과정의 입력 환경을 간소화하고, 이미지 처리 과정에서의 노이즈를 저하시키고; 또한 심장 마스크 이미지를 통해, 심장 각 방의 정보를 유지할 수 있음으로써, 관상 동맥의 트리 구조 정보와 혈액 공급 위치 정보를 최대한 동시에 유지할 수 있어, 향후 분할의 난이도를 감소시키고, 분할 결과 및 최종적으로 결정된 명칭의 정확도를 향상시킨다.

타깃 대상을 포함하는 타깃 이미지를 얻은 후, 단계 S12를 통해, 타깃 대상을 포함하는 타깃 이미지를 분할하여, 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용한다. 가능한 구현 방식에 있어서, 분할은 타깃 이미지 중의 각 픽셀 포인트를 분류하는 것일 수 있음으로써, 타깃 이미지 중 각 픽셀 포인트의 카테고리를 결정하고; 가능한 구현 방식에 있어서, 분할은 타깃 이미지 중의 각 전경 픽셀 포인트(예를 들어 심장 관상 동맥 마스크 이미지 중 심장 관상 동맥에 속하는 픽셀 포인트)를 분류하는 것일 수도 있음으로써, 타깃 이미지 중 각 전경 픽셀 포인트의 카테고리 등을 결정한다. 본 발명의 실시예에 있어서, 분할의 구현 방식은 실제 상황에 따라 유연하게 결정될 수 있고, 아래에 각 개시의 실시예를 참조할 수 있고, 여기서 먼저 설명하지 않는다.

분할이 타깃 이미지 중의 픽셀 포인트를 분류할 수 있기 때문에, 또한 타깃 이미지 중 각 픽셀 포인트의 분류 결과에 따라, 타깃 이미지 중 타깃 대상의 각 타깃 서브 대상의 명칭을 결정할 수 있다. 가능한 구현 방식에 있어서, 분할 결과에 따라 타깃 대상 중 각 타깃 서브 대상의 명칭을 결정할 수 있고; 가능한 구현 방식에 있어서, 수요에 따라, 타깃 대상 중 일부 타깃 서브 대상의 명칭만 결정할 수도 있고, 결정된 타깃 서브 대상의 개수 및 어떠한 타깃 서브 대상을 선택하여 명칭을 결정하는 것은 실제 상황에 따라 유연하게 선택될 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다. 구체적으로 이러한 픽셀 포인트의 분류 결과에 따라 타깃 서브 대상의 명칭을 결정하는 방법의 구현 방식은 실제 상황에 따라 유연하게 선택하는 것일 수 있으며, 향후 발명의 실시예를 상세히 참고하고, 여기서 먼저 설명하지 않는다.

본 발명의 실시예는, 타깃 대상을 포함하는 타깃 이미지를 획득하고, 타깃 이미지를 분할하여 분할 결과를 얻는 것을 통해, 분할 결과에 따라 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정한다. 상기 과정을 통해, 타깃 이미지 중 복수 개의 타깃 서브 대상을 포함하는 타깃 대상의 명명 과정을, 마스크 분할 과정으로 전환하여, 명명 과정의 구현 난이도를 효과적으로 감소시키고 명명 정확도를 향상시킴으로써, 이미지 처리 과정의 로버스트를 향상시킬 수 있다.

가능한 구현 방식에 있어서, 타깃 이미지는 마스크 이미지를 포함할 수 있기 때문에, 분할로 하여금 마스크 이미지에 기반하여 진행되도록 함으로써, 분할의 입력 환경을 간소화하고, 이미지 처리 과정의 노이즈를 저하시킬 수 있다.

상기 각 발명의 실시예에서 전술한 바와 같이, 타깃 이미지의 구현 형태는 실제 상황에 따라 유연하게 결정될 수 있다. 따라서 타깃 대상을 포함하는 타깃 이미지를 획득하는 단계의 방식은 실제 상황에 따라 유연하게 결정될 수도 있다. 가능한 구현 방식에 있어서, 타깃 이미지를 획득하는 방식은, 심장 관상 동맥 원래 이미지를 혈관 분할하여, 심장 관상 동맥 마스크 이미지를 얻은 다음, 심장 관상 동맥 마스크 이미지를 중심선 추출하여, 관상 동맥 중심선 이미지를 얻고 타깃 대상으로 사용한 다음, 관상 동맥 중심선과 심장 관상 동맥 마스크 이미지를 중첩함으로써, 타깃 대상을 포함하는 타깃 이미지를 얻을 수 있다. 가능한 구현 방식에 있어서, 타깃 이미지를 획득하는 방식은, 심장 관상 동맥의 원래 이미지를 혈관 분할하여, 심장 관상 동맥 마스크 이미지를 얻은 다음, 심장 관상 동맥 마스크 이미지를 중심선 추출하여, 관상 동맥 중심선 이미지를 얻고 타깃 대상으로 사용하고, 동시에 심장 원래 이미지를 혈관 분할하여 심장 마스크 이미지를 얻은 다음, 관상 동맥 중심선, 심장 관상 동맥 마스크 이미지 및 심장 마스크 이미지를 중첩함으로써, 타깃 대상을 포함하는 타깃 이미지를 얻는다. 단계 S11의 나머지 구현 방식은 타깃 이미지의 실제 상황에 따라 유연하게 선택할 수 있고, 더 이상 일일이 예를 들어 설명하지 않는다.

타깃 대상을 포함하는 타깃 이미지를 얻은 후, 단계 S12를 통해, 타깃 이미지를 분할하여, 분할 결과를 얻는다. 가능한 구현 방식에 있어서, 타깃 이미지 중 픽셀 포인트와 타깃 대상의 상대적인 위치에 따라, 타깃 이미지 중 적어도 일부 픽셀 포인트와 가장 가깝거나 타깃 서브 대상에 속한 명칭을 결정하고, 분할 결과로 사용할 수 있다. 가능한 구현 방식에 있어서, 신경망을 통해 타깃 이미지의 분할 결과를 얻을 수도 있고, 이러한 경우, 단계 S12는,

타깃 이미지를 신경망에 입력하는 단계; 및 신경망의 출력에 따라, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 결정하고, 상기 분할 결과로 사용하는 단계 - 상기 신경망은 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하고, 상기 훈련 이미지 중의 타깃 대상은 적어도 하나의 타깃 서브 대상의 명칭을 통해 라벨링을 진행함 - 를 포함할 수 있다.

여기서, 신경망에 의해 출력된 픽셀 포인트의 명칭은, 타깃 이미지 중의 각 픽셀 포인트의 명칭일 수 있고, 타깃 이미지 중의 일부 픽셀 포인트의 명칭일 수도 있으며, 실제 상황에 따라 유연하게 결정하면 된다. 가능한 구현 방식에 있어서, 신경망이 출력한 것은 타깃 이미지 중 각 전경 픽셀 포인트의 명칭일 수 있고, 각 전경 픽셀 포인트의 명칭을 분할 결과로 사용한다.

훈련 이미지의 구현 형태는 상기 타깃 이미지의 구현 형태를 참고할 수 있고, 여기서 더 이상 반복하여 설명하지 않는다. 훈련 이미지의 타깃 대상을 라벨링하는 방식은 본 발명의 실시예에서 이에 대해 한정하지 않고, 신경망이 구현하는 기능에 따라 유연하게 결정될 수 있다. 가능한 구현 방식에 있어서, 훈련 이미지 중 타깃 대상 중의 각 픽셀 포인트를 각각 라벨링하거나 훈련 이미지 중의 각 픽셀 포인트를 각각 라벨링할 수도 있으며, 가능한 구현 방식에 있어서, 훈련 이미지 중의 복수 개의 타깃 서브 대상을 각각 라벨링할 수 있다. 일 실시예에 있어서, 타깃 대상을 복수 개의 타깃 서브 대상으로 분할한 다음, 그 중 일부 타깃 서브 대상 또는 각 타깃 서브 대상의 명칭을 라벨링할 수 있음으로써, 타깃 서브 대상에 의해 커버된 픽셀 포인트를 일괄적으로 라벨링할 수 있다. 어느 종류의 라벨링 방식을 선택하는지는, 실제 상황에 따라 유연하게 선택할 수 있으며, 본 발명의 실시예는 이에 대해 한정하지 않는다.

신경망의 구현 형태 및 훈련 방식은 본 발명의 실시예는 이에 대해 모두 한정하지 않으며, 실제 상황에 따라 유연하게 선택할 수 있으며, 신경망의 초기 모델은 실제 상황에 따라 임의로 선택될 수 있고, 일 실시예에 있어서, 잔여 가상 네트워크(Res-Vnet)를 신경망의 구현 형태로 사용할 수 있다. 훈련에 사용된 손실 함수는 실제 상황에 따라 유연하게 선택될 수도 있으며, 일 실시예에 있어서, 다이스 손실(dice loss)을 손실 함수로 사용하여, 신경망을 훈련할 수 있다.

상기 발명의 실시예를 통해 알 수 있다시피, 가능한 구현 방식에 있어서, 신경망을 통해 타깃 이미지를 분할할 수 있고, 타깃 이미지를 분할하는 신경망은 타깃 대상을 포함하는 훈련 이미지를 통해 훈련할 수 있기 때문에, 훈련 이미지 중의 타깃 대상은 적어도 하나의 타깃 서브 대상의 명칭을 통해 라벨링할 수 있다. 따라서, 상기 훈련 이미지에 기반하여 얻은 신경망은, 타깃 이미지 중 타깃 대상에 속한 픽셀 포인트를 분할할 수 있음으로써, 각 분할된 픽셀 포인트의 분할 결과를 얻고, 분할 결과는 타깃 이미지에 포함된 픽셀 포인트에 대응되는 타깃 서브 대상의 명칭일 수 있고, 가능한 명칭 카테고리는 상기 각 발명의 실시예를 참고할 수 있고, 여기서 더 이상 반복하여 설명하지 않는다.

타깃 서브 대상의 명칭을 라벨링하는 훈련 이미지를 통해, 신경망을 훈련함으로써, 훈련된 신경망을 이용하여 타깃 이미지의 분할을 구현하여, 분할 결과를 얻는다. 상기 과정을 통해, 효과적으로 신경망을 이용하여 타깃 이미지에 대해 픽셀 레벨의 분할을 구현하여, 보다 편리하게 분할 결과를 얻을 수 있음으로써, 이미지 처리의 난이도를 효과적으로 저하시키고, 이미지 처리의 실용성 및 일반화 능력을 향상시킨다.

신경망이 타깃 대상을 포함하는 훈련 이미지를 통해 훈련하는 방식은, 실제 상황에 따라 유연하게 결정될 수 있고, 가능한 구현 방식에 있어서, 신경망이 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하는 단계는, 훈련 이미지 중 타깃 대상의 라벨에 따라, 훈련 이미지 중 적어도 일부 픽셀 포인트의 라벨을 결정하는 단계; 및 적어도 일부 픽셀 포인트의 라벨을 포함하는 훈련 이미지를 통해, 신경망을 훈련하는 단계를 포함할 수 있다.

상기 각 발명의 실시예에서 전술한 바와 같이, 훈련 이미지 중 타깃 대상의 라벨링 형태는 실제 상황에 따라 유연하게 선택될 수 있으며, 상응하게, 라벨링 형태가 상이함에 따라, 단계 S21 중 적어도 일부 픽셀 포인트 라벨을 결정하는 방식도 이에 따라 변화가 발생할 수 있다. 가능한 구현 방식에 있어서, 훈련 이미지 중 타깃 대상의 라벨을, 타깃 이미지 중 픽셀 포인트에 대응되는 라벨로 직접 사용할 수 있다. 전술한 바와 같이, 일 실시예에 있어서, 타깃 대상을 복수 개의 세그먼트 타깃 서브 대상으로 분할하는 것을 통해, 각 세그먼트 타깃 서브 대상을 명명하는 방식에 대해 라벨링을 구현할 수 있고, 따라서 명명된 타깃 서브 대상에 의해 커버된 픽셀 포인트의 라벨을 이러한 픽셀 포인트의 라벨로 사용할 수 있다.

훈련 이미지 중 적어도 일부 픽셀 포인트의 라벨을 결정한 후, 적어도 일부 픽셀 포인트의 라벨을 포함하는 훈련 이미지에 따라 신경망을 훈련할 수 있고, 상기 과정을 통해, 라벨링된 훈련 이미지에 기반하여 효과적으로 신경망을 훈련하여, 분할 명명 기능을 가진 신경망을 얻어, 이미지 처리의 편의성을 향상시킬 수 있다.

상기 각 발명의 실시예에서 전술한 바와 같이, 가능한 구현 방식에 있어서, 타깃 대상은 관상 동맥 중심선일 수 있고, 심장 관상 동맥 마스크 이미지일 경우, 관상 동맥 중심선은 심장 관상 동맥 마스크의 일부이고, 심장 관상 동맥 마스크 이미지에는 일부 픽셀 포인트가 존재하므로, 타깃 대상에 속하지 않고 즉 관상 동맥 중심선에 속하지 않지만, 관상 동맥에 속하며, 따라서 이러한 픽셀 포인트에 대응되는 명칭은, 관상 동맥 중심선의 명칭을 결정하는데 도움이 될 수 있다. 상기 각 발명의 실시예에서 전술한 바와 같이, 훈련 이미지 중의 타깃 대상을 라벨링하는 과정에서, 훈련 이미지 중의 각 픽셀 포인트를 라벨링할 수 있고, 훈련 이미지의 타깃 대상 중의 각 픽셀 포인트를 라벨링할 수도 있다. 따라서, 이러한 관상 동맥 중심선의 명칭을 결정하는데 도움이 되는 픽셀 포인트는, 라벨을 포함하지 않을 수 있다. 가능한 구현 방식에 있어서, 훈련하여 얻은 신경망의 정밀도를 향상시키기 위해, 라벨에 따라 이러한 픽셀 포인트의 라벨을 결정하는 것을 고려할 수 있다.

따라서, 가능한 구현 방식에 있어서, 신경망이 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하는 단계는, 훈련 이미지 중의 타깃 대상 내에서, 제1 타깃 픽셀 포인트와 가장 가까운 타깃 서브 대상을 결정하는 단계 - 제1 타깃 픽셀 포인트는 훈련 이미지 중 타깃 대상을 제외한 적어도 하나의 픽셀 포인트를 가리킴 - ; 결정된 타깃 서브 대상의 라벨을, 제1 타깃 픽셀 포인트의 라벨로 사용하는 단계; 및 제1 타깃 픽셀 포인트의 라벨 및 타깃 대상의 라벨을 포함하는 훈련 이미지에 따라, 신경망을 훈련하는 단계를 포함할 수 있다.

여기서, 제1 타깃 픽셀 포인트는 훈련 이미지 중 타깃 대상에 속하지 않는 적어도 하나의 픽셀 포인트일 수 있고, 어느 픽셀 포인트를 선택하여 제1 타깃 픽셀 포인트로 사용할지는, 실제 상황에 따라 유연하게 결정될 수 있고. 가능한 구현 방식에 있어서, 훈련 이미지 중 타깃 대상 이외에 위치하지만, 타깃 대상의 명명을 보조할 수 있는 픽셀 포인트를 제1 타깃 픽셀 포인트로 사용할 수 있고, 타깃 대상이 관상 동맥 중심선인 경우를 예로 들면, 일 실시예에 있어서, 훈련 이미지 중 관상 동맥 중심선 이외에 위치하고 심장 관상 동맥에 속하는 픽셀 포인트를, 제1 타깃 픽셀 포인트로 사용할 수 있고; 훈련 이미지의 구현 형태는 타깃 이미지의 구현 형태와 동일할 수 있기 때문에, 상기 각 발명의 실시예에서 제시한 바와 같이, 타깃 이미지는 마스크 이미지일 수 있고, 따라서, 일 실시예에 있어서, 훈련 이미지 중 배경에 속하지 않고 타깃 대상에 속하지 않는 픽셀 포인트는, 제1 타깃 픽셀 포인트로 모두 사용될 수 있거나 일부 사용될 수 있다.

가능한 구현 방식에 있어서, 훈련 이미지 중 적어도 일부 픽셀 포인트의 라벨에 따라, 제1 타깃 픽셀 포인트의 라벨을 결정할 수 있고, 제1 타깃 픽셀 포인트의 결정 방식은 실제 상황에 따라 유연하게 선택될 수 있으며, 본 발명의 각 실시예에 한정되지 않는다. 상기 내용을 통해 알 수 있다시피, 가능한 구현 방식에 있어서, 훈련 이미지의 타깃 대상 중, 제1 타깃 픽셀 포인트와 가장 가까운 타깃 서브 대상의 라벨을, 제1 타깃 픽셀 포인트의 라벨로 사용할 수 있다. 일 실시예에 있어서, 제1 타깃 픽셀 포인트와 가장 가까운 타깃 서브 대상은, 타깃 대상 중 제1 타깃 픽셀 포인트와 가장 가까운 픽셀 포인트가 속하는 타깃 서브 대상일 수 있다.

제1 타깃 픽셀 포인트의 라벨을 얻은 후, 또한 상기 발명의 실시예서 전술한 방식을 통해, 훈련 이미지 중 타깃 대상의 라벨을, 타깃 이미지 중 픽셀 포인트에 대응되는 라벨로 직접 사용함으로써, 밀집된 라벨을 갖는 훈련 이미지를 얻어, 신경망을 훈련한다.

타깃 대상을 관상 동맥 중심선으로 예로 들어 상기 과정을 설명하고, 일 실시예에 있어서, 훈련 이미지 중, 먼저 관상 동맥 중심선 상의 픽셀 포인트의 라벨을 이러한 픽셀 포인트의 라벨로 사용한 다음, 배경에 속하지 않고 관상 동맥 중심선에도 속하지 않는 픽셀 포인트를, 제1 타깃 픽셀 포인트로 사용할 수 있고, 각 제1 타깃 픽셀 포인트를, 관상 동맥 중심선 상의 상기 제1 타깃 픽셀 포인트와 가장 가까운 픽셀 포인트의 라벨을, 상기 제1 타깃 픽셀 포인트의 라벨로 사용하여, 밀집된 라벨의 훈련 이미지를 얻으며, 밀집된 라벨을 포함하는 훈련 이미지를 통해 신경망을 훈련하여, 비교적 좋은 훈련 효과를 얻을 수 있다.

상기 과정을 통해, 타깃 대상 라벨을 포함하는 훈련 이미지에 기반하여, 밀집된 라벨 및 완전한 정보를 가진 훈련 이미지를 얻어 신경망을 훈련함으로써, 라벨링 난이도를 증가하지 않는 기초 위에, 훈련하여 얻은 신경망의 정밀도를 향상시킴으로써, 분할 결과 및 최종적으로 얻은 타깃 서브 대상의 명칭의 정확도를 향상시킨다. 이미지 처리의 정확성 및 편의성을 향상시킨다.

상기 임의의 발명의 실시예를 통해 타깃 이미지의 분할 결과를 얻은 후, 단계 S13를 통해, 분할 결과에 기반하여, 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정할 수 있다. 단계 S13의 구현 방식은 이에 한정되지 않으며, 가능한 구현 방식에 있어서, 타깃 서브 대상에 포함된 임의의 픽셀 포인트의 분할 결과를, 타깃 서브 대상의 명칭으로 사용할 수 있다. 가능한 구현 방식에 있어서, 단계 S13은 아래와 같은 단계를 포함할 수 있다.

단계 S131에 있어서, 분할 결과에 따라, 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 결정하고, 여기서, 제2 타깃 픽셀 포인트는 타깃 서브 대상에 포함된 픽셀 포인트이다.

단계 S132에 있어서, 타깃 서브 대상 중 제2 타깃 픽셀 포인트의 명칭을 통계하여, 통계 결과를 얻고, 통계 결과 중 개수가 가장 많은 명칭을, 타깃 서브 대상의 명칭으로 사용한다.

여기서, 제2 타깃 픽셀 포인트는 타깃 서브 대상에 포함된 픽셀 포인트일 수 있고, 즉 타깃 서브 대상에 의해 커버된 픽셀 포인트일 수 있다. 가능한 구현 방식에 있어서, 얻은 분할 결과가 완전히 정확하지 않을 수 있기 때문에, 따라서, 동일한 타깃 서브 대상일 경우, 포함하는 제2 타깃 픽셀 포인트의 분할 결과가 정확할 수 있고, 즉 대응되는 타깃 서브 대상의 명칭과 동일하고, 정확하지 않을 수도 있으며, 즉 대응되는 타깃 서브 대상의 명칭과 상이하며; 이러한 경우, 타깃 서브 대상에 포함된 어느 한 제2 타깃 픽셀 포인트의 분할 결과를 타깃 서브 대상의 명칭으로 사용하면, 정확하지 않은 명명 결과를 얻을 수 있다.

상기 원인에 기반하여, 가능한 구현 방식에 있어서, 명칭을 결정해야 하는 임의의 타깃 서브 대상은, 단계 S131을 통해, 분할 결과에 따라, 상기 서브 대상 중 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 획득할 수 있다.

단계 S131에 있어서, 타깃 서브 대상 중 제2 타깃 픽셀 포인트의 개수를 획득하는 것은, 실제 상황에 따라 유연하게 결정될 수 있다. 가능한 구현 방식에 있어서, 타깃 서브 대상에 포함된 각 제2 타깃 픽셀 포인트를 획득할 수 있고, 가능한 구현 방식에 있어서, 타깃 서브 대상에 포함된 제2 타깃 픽셀 포인트를 랜덤으로 샘플링하여, 일부 제2 타깃 픽셀 포인트를 획득할 수 있고, 샘플링 방법 및 샘플링의 개수는 실제 상황에 따라 유연하게 결정될 수 있고, 본 발명의 실시예는 이에 대해 한정하지 않는다.

획득된 것이 일부 제2 타깃 픽셀 포인트이든 전부 제2 타깃 픽셀 포인트이든, 모두 분할 결과에 따라 획득된 제2 타깃 픽셀 포인트의 명칭를 결정해야 한다. 명칭 결정의 방식은 실제 상황에 따라 유연하게 결정될 수 있고, 가능한 구현 방식에 있어서, 단계 S131 중 분할 결과에 따라, 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 결정하는 단계는,

각 제2 타깃 픽셀 포인트에 대응되는 분할 결과를, 각 제2 타깃 픽셀 포인트의 명칭으로 사용하는 단계; 또는, 각 제2 타깃 픽셀 포인트의 기설정된 범위 내의 적어도 하나의 픽셀 포인트의 분할 결과에 기반하여, 각 제2 타깃 픽셀 포인트의 명칭을 결정하는 단계를 포함할 수 있다.

상기 발명의 실시예를 통해 알 수 있다시피, 가능한 구현 방식에 있어서, 제2 타깃 픽셀 포인트의 분할 결과를 제2 타깃 픽셀 포인트의 명칭으로 직접 사용할 수 있다.

상기 발명의 실시예에서, 타깃 이미지 중 픽셀 포인트의 분할 결과가 완전히 정확하지 않을 수 있음을 제기했고, 이러한 경우, 제2 타깃 픽셀 포인트의 분할 결과를 제2 타깃 픽셀 포인트의 명칭으로 사용하면, 오차가 생길 수도 있고, 따라서, 가능한 구현 방식에 있어서, 제2 타깃 픽셀 포인트의 기설정된 범위 내의 적어도 하나의 픽셀 포인트의 분할 결과에 따라, 제2 타깃 픽셀 포인트의 명칭을 결정할 수 있다.

여기서, 제2 타깃 픽셀 포인트의 기설정된 범위는, 실제 상황에 따라 유연하게 설정될 수 있고, 예를 들어 제2 타깃 픽셀 포인트 주위의 9 개의 인접 영역, 16 개의 인접 영역일 수 있고, 본 발명의 실시예는 이에 대해 한정하지 않는다. 일반적으로, 제2 타깃 픽셀 포인트 부근의 픽셀 포인트와 제2 타깃 픽셀 포인트는 동일한 타깃 서브 대상에 속할 확률이 비교적 크고, 따라서 이러한 픽셀 포인트를 통해, 제2 타깃 픽셀 포인트의 비교적 정확한 명칭을 결정할 수 있다. 일 실시예에 있어서, 제2 타깃 픽셀 포인트의 기설정된 범위 내에 포함된 각 픽셀 포인트의 분할 결과를 획득한 다음, 이러한 획득된 분할 결과로부터, 비율이 가장 높거나 개수가 가장 많은 분할 결과를 선택하거나, 비율 또는 개수가 설정된 임계값을 초과(예를 들어 비율이 50%를 초과하는 것 등)하는 분할 결과를, 제2 타깃 픽셀 포인트의 명칭으로서 선택할 수 있고; 일 실시예에 있어서, 제2 타깃 픽셀 포인트의 기설정된 범위 내에 포함된 픽셀 포인트를 샘플링한 다음, 이러한 샘플링하여 얻은 픽셀 포인트에 대응되는 분할 결과로부터, 비율이 가장 높거나 개수가 가장 많은 분할 결과를 선택하거나, 비율 또는 개수가 설정된 임계값을 초과(예를 들어 비율이 50%를 초과하는 것 등)하는 분할 결과를, 제2 타깃 픽셀 포인트의 명칭으로서 선택할 수도 있다.

상기 각 발명의 실시예에서 전술한 바와 같이, 타깃 이미지에는 타깃 대상에는 속하지 않지만, 타깃 서브 대상의 명칭을 결정하는 것을 보조할 수 있는 일부 픽셀 포인트가 존재할 수 있으며, 따라서, 제2 타깃 픽셀 포인트의 기설정된 범위 내의 적어도 하나의 픽셀 포인트의 분할 결과에 기반하여, 제2 타깃 픽셀 포인트의 명칭을 결정하는 것을 통해, 이러한 보조 기능을 가진 픽셀 포인트의 분할 결과를 효과적으로 도입하여 제2 타깃 픽셀 포인트의 명칭을 결정할 수 있어, 결정된 제2 타깃 픽셀 포인트의 명칭의 정확성을 향상시킴으로써, 결정된 타깃 서브 대상 명칭의 정확성을 향상시킴으로써, 이미지 처리 정확도를 향상시킨다.

상기 임의의 방식을 통해 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 결정한 후, 단계 S132를 통해, 제2 타깃 픽셀 포인트 명칭의 통계 결과에 기반하여, 타깃 서브 대상의 명칭을 얻을 수 있다. 여기서, 단계 S132의 구현 방식은 실제 상황에 따라 유연하게 결정될 수 있고, 예를 들어 타깃 서브 대상 중의 각 제2 타깃 픽셀 포인트 또는 일부 제2 타깃 픽셀 포인트의 명칭을 통계한 후, 이러한 통계된 명칭 중 개수가 가장 많은 명칭을 타깃 서브 대상의 명칭으로 사용하거나, 이러한 통계된 명칭 중 나타나는 비율이 가장 높은 명칭을 타깃 서브 대상의 명칭으로 사용하거나, 이러한 통계된 명칭 중 개수가 기설정된 임계값을 초과하거나 비율이 기설정된 임계값을 초과하는 명칭을, 타깃 서브 대상의 명칭으로 사용할 수 있으며, 기설정된 임계값의 값은 본 발명의 실시예에서 한정되지 않으며, 실제 상황에 따라 유연하게 설정하면 된다.

타깃 대상이 관상 동맥 중심선인 경우를 예로 들어 상기 과정을 설명하고, 일 실시예에 있어서, 관상 동맥 중심선의 각 관상 동맥 중심선 세그먼트의 명칭을 순차적으로 결정할 수 있고, 각 관상 동맥 중심선 세그먼트의 경우, 먼저 포함된 각 픽셀 포인트 즉 제2 타깃 픽셀 포인트를 순회하여, 이러한 제2 타깃 픽셀 포인트의 명칭을 결정할 수 있고, 결정하는 방식은 직접 분할 결과에 따라 결정하는 것일 수 있고, 주위의 픽셀 포인트의 분할 결과에 따라 공동으로 결정하는 것일 수도 있으며, 상기 각 발명의 실시예를 참고하면 되고, 여기서 더 이상 반복하여 설명하지 않는다. 이러한 제2 타깃 픽셀 포인트의 명칭을 결정한 후, 상기 관상 동맥 중심선 세그먼트 중 개수가 가장 많거나 비율이 가장 높은 명칭을, 상기 관상 동맥 중심선 세그먼트의 명칭으로 사용할 수 있다.

분할 결과에 따라 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 결정하고, 결정된 제2 타깃 픽셀 포인트의 명칭을 통계함으로써, 통계 결과에 따라 타깃 서브 대상의 명칭을 얻고, 상기 과정을 통해, 타깃 이미지 중 일부 픽셀 포인트의 분할 결과가 정확하지 않은 경우가 있더라도, 비율에 기반하여 비교적 정확한 타깃 서브 대상을 얻을 수 있음으로써, 최종적으로 결정된 타깃 서브 대상의 명칭의 정확성을 높임으로써, 이미지 처리의 정확도 및 정밀도를 향상시킬 수 있다.

가능한 구현 방식에 있어서, 본 발명의 실시예에서 제기한 이미지 처리 방법은, 적어도 하나의 타깃 서브 대상의 명칭에 따라, 타깃 대상을 처리하여, 처리 결과를 얻는 단계 S14를 더 포함할 수 있다.

상기 발명의 실시예를 통해 알 수 있다시피, 타깃 이미지 중 적어도 하나의 타깃 서브 대상의 명칭을 얻은 후, 또한 결정된 명칭에 기반하여, 실제 요구에 따라 타깃 이미지 중의 타깃 대상을 추가로 처리하고 최적화하여, 최종적인 이미지 처리 결과를 얻을 수 있다. 타깃 서브 대상의 명칭에 따라 처리하여, 처리 결과를 얻는 방법은 실제 이미지 처리 요구에 따라 유연하게 결정될 수 있으며, 자세한 내용은 아래 각 발명의 실시예를 참조하고, 여기서 먼저 설명하지 않는다.

적어도 하나의 상기 타깃 서브 대상의 명칭에 따라 상기 타깃 대상을 처리하여, 처리 결과를 얻는 것을 통해, 효과적으로 타깃 서브 대상의 명칭에 따라 타깃 대상을 추가로 최적화할 수 있고, 이전에 타깃 이미지를 분할하여 얻은 분할 결과의 정확율이 낮음으로 인해, 결정된 명칭에 일정한 오차가 존재하더라도, 처리를 통해 수정하여, 더욱 정확한 처리 결과를 얻음으로써, 이미지 처리의 정밀도 및 로버스트를 향상시킬 수도 있다.

가능한 구현 방식에 있어서, 단계 S14는, 상기 타깃 대상 중 동일한 명칭을 가진 타깃 서브 대상을 추출하는 단계; 및 인접한 타깃 서브 대상의 명칭에 따라, 상기 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 수정하는 단계 중 적어도 하나를 포함할 수 있다.

여기서, 타깃 대상 중 동일한 명칭을 가진 타깃 서브 대상을 추출하는 방식에 대해 한정하지 않는다. 가능한 구현 방식에 있어서, 타깃 대상이 관상 동맥 중심선인 경우, 관상 동맥 중심선이 트리 형태 구조일 수 있기 때문에, 동일한 명칭에 속하는 관상 동맥 중심선 세그먼트는, 분할이 정확하지 않음으로 인해 상기 관상 동맥 중심선 세그먼트에 복수 개의 가지가 포함되는 것을 초래할 수 있다. 비교적 정확한 관상 동맥 중심선 세그먼트를 얻기 위해, 일 실시예에 있어서, 동일한 명칭에 복수 개의 가지를 포함하는 관상 동맥 중심선 세그먼트를 추출하여, 그중 가장 완전하거나 가장 긴 가지를 추출 결과로서 선택할 수 있다. 도 2는 본 발명의 일 실시예에 따른 타깃 대상을 추출하는 예시도이고, 도 2로부터 알 수 있다시피, 추출 전의 타깃 이미지(21)의 관상 동맥 중심선 중 각 관상 동맥 중심선 세그먼트의 명칭은 이미 결정되었고, 동일한 명칭에 복수 개의 가지를 포함하는 관상 동맥 중심선 세그먼트이며; 추출된 타깃 이미지(22)의 관상 동맥 중심선 중 동일한 명칭에 하나의 가지만 포함하는 관상 동맥 중심선 세그먼트에 있어서, 예를 들어 명칭이 R-PLB인 관상 동맥 중심선 세그먼트에는 추출 전에 두 개의 가지가 존재하고, 추출을 통해, 비교적 짧은 가지가 삭제되고, 비교적 긴 가지를 보류하여 추출 결과로 사용한다.

타깃 서브 대상의 명칭에 따라 타깃 대상을 수정하는 방식은 본 발명의 실시예에서 한정하지 않는다. 가능한 구현 방식에 있어서, 타깃 대상이 관상 동맥 중심선인 경우, 관상 동맥 중심선 중의 일부 관상 동맥 중심선 세그먼트는 아래와 같은 상황이 존재할 수 있다. 즉 상기 관상 동맥 중심선 세그먼트는 두 개의 동일한 명칭을 가진 다른 관상 동맥 중심선 세그먼트 사이에 위치할 수 있고, 상기 관상 동맥 중심선 세그먼트의 명칭과 이 두 개의 다른 관상 동맥 중심선 세그먼트의 명칭은 상이할 수 있다. 관상 동맥 중심선의 연속성 때문에, 상기 관상 동맥 중심선 세그먼트의 명칭은 정확하지 않을 수 있고, 따라서, 인접한 다른 관상 동맥 중심선 세그먼트의 명칭에 기반하여, 현재의 관상 동맥 중심선 세그먼트의 명칭을 수정하여, 관상 동맥 중심선으로 하여금 연속성을 유지하도록 할 수 있다.

단계 S14의 구현 과정에 있어서, 전술한 추출 과정 및 수정 과정을 동시에 포함할 수 있고, 실제 상황에 따라 그 중의 특정된 과정만 포함할 수도 있으며, 또는 다른 수정 과정을 포함할 수도 있으며, 이러한 과정의 실현 과정 중의 실행 순서는 실제 상황에 따라 유연하게 선택될 수 있으며, 구현 방법은 실제 상황에 따라 유연하게 결정될 수 있고, 상기 각 발명의 실시예에 한정되지 않는다.

타깃 대상 중 동일한 명칭을 가진 타깃 서브 대상을 추출하는 것 및 인접한 타깃 서브 대상의 명칭에 따라 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 수정하는 것 중 적어도 하나를 통해, 분할이 정확하지 않음으로 인해 초래된 명명 결과가 정확하지 않은 상황의 발생을 추가로 감소시켜, 최종적으로 얻은 처리 결과의 정확성을 향상시키고, 이미지 처리의 정밀도 및 로버스트를 향상시킬 수 있다.

심뇌혈관 질환은 현재 치사율이 가장 높은 질병 중 하나로서, 그 중 관상 동맥 심장 질환은 발병율이 가장 높다. 관상 동맥 심장 질환은 동맥 죽양 경화로 인해 관상 동맥 내강이 좁아져, 심근에 혈액 공급이 원활하지 않아 협심증, 심근경색증, 심근부전, 부정맥 및 급사를 포함하는 일련의 임상 증상을 유발한다. 따라서 관상동맥 협착, 플라크 검출 등 결과는 진단 및 후속 치료에 중요한 지침이 되며, 심장 관상동맥 조영술(Computed Tomography Angiography, CTA) 이미지에 기반한 관상동맥 중심선 추출은 전제가 된다. 관상 동맥 심장 질환의 분석 과정에서, 병변의 포지셔닝 및 의료 보고서에서의 설명 분석은 종종 관상 동맥 중심선의 명명에 의존해야 한다.

관련 기술 중의 명명 방법은 주로 두 가지 타입으로 나뉜다. 제1 타입은 지식 및 모델링에 기반한 것이고, 상기 타입 방법은 주로 통계된 통상적인 모델 매칭되는 타깃 혈관을 명명하는 것이며; 제2 타입은 학습에 기반한 분류 연산이며, 상기 타입은 인위적으로 설계된 특징을 추출하는 것에 따라 중심선을 분류 명명한다. 다른 한 가지 방안은 트리 형태 양방향 장단기 기억 네트워크(LSTM, Long Short Term)를 사용하여 트리 형태 구조 정보를 학습하여 분류 명명한다. 모델링 비평에 기반한 중심선 명명이든, 규칙에 기반한 트리 형태 명명이든, 이 두 가지 관련 방안에는 모두 적어도 설계가 복잡하거나, 일반화 능력이 부족한 문제가 존재한다.

혈관 명명의 주요한 과제는 객체 간의 큰 차이 및 큰 변이도에 있으나, 혈관 명명의 임상적 기초는 혈관의 혈액 공급 부위이기에, 핵심 학습 정보는 혈액 공급 부위, 즉 심장의 혈관 위치에 근거하고, 심장의 상대적 위치를 박리 또는 손실하는 모든 방법은 일정한 정보 손실이 존재함으로써 정확율이 높지 않고, 일반화 능력이 부족함을 초래한다.

본 발명의 응용 예시는 분할에 기반한 엔드 투 엔드의 명명 처리 방법을 제기한다. 대부분의 관련 기술은 먼저 혈관 분할을 수행한 다음 중심선을 추출하고 최종적으로 중심선을 명명(중심선을 분류하여 구현)하는 워크 플로우를 기반으로 한다. 본 발명의 응용 예는 다음과 같은 문제를 재구성한다. 중심선 명명의 문제를 혈관 마스크 이미지의 인스턴스 분할 문제로 재구성하고, 즉 중심선을 추출한 후 직접 중심선을 명명하는 것이 아니라, 혈관 마스크 이미지(각 픽셀 포인트는 결정된 라벨이 명명됨)를 분할하고, 분할 결과를 투표하여 중심선의 명칭을 결정하는 것이다. 픽셀 포인트의 분할 모델에 기반하여 훈련하면 더욱 밀집된 라벨 및 정보를 제공하고, 혈관의 혈액 공급 위치 정보를 저장하기 위해, 심장 각 방의 마스크 이미지를 관상 동맥 혈관의 마스크 이미지에 중첩하여 같이 입력한다. 이러한 프로세스는 모든 정보를 완전히 보류하고 원본 이미지에 비해 노이즈를 줄이므로, 수동으로 특징을 추출할 필요가 없고, 규칙적인 설계가 없어도 현재의 워크 플로우에 쉽게 삽입할 수 있다.

본 발명의 응용 예는 훈련 과정 및 예측 과정을 포함하고, 여기서 훈련 과정은 아래와 같은 단계를 포함한다. 첫 번째 단계는 입력을 준비하는 것이고, 즉 분할 모형을 통해 심장 관상 동맥 마스크 이미지 및 전체 심장 마스크 이미지를 획득하고, 두 개의 마스크 이미지를 중첩하고 처리하여 최종 입력으로 사용하고; 두 번째 단계는 모니터링 데이터를 준비하는 것이며, 즉 먼저 정확하게 명명된 관상 동맥 중심선을 획득한 다음, 관상 동맥 마스크 이미지의 각 픽셀 포인트 라벨과 상기 관상 동맥 중심선과 가장 가까운 각 세그먼트 중심선을 관련시키며; 세 번째 단계는 Res-Vnet모델 및 다이스 손실을 사용하여 복수 개의 라벨 분할 훈련을 수행하는 것이다. 예측 과정은 아래와 같은 단계를 포함하며, 첫 번째 단계는 훈련 과정의 입력을 준비하는 과정과 동일하고, 즉 최종적인 입력으로 사용되는 마스크 이미지 및 추출된 관상 동맥 중심선을 획득하고; 두 번째 단계는 훈련된 신경망을 분할하는 것이며; 세 번째 단계는 분할에 기반하여 추출된 중심선 세그먼트를 투표하여 명명하는 것이고; 네 번째 단계는 후처리를 통해 의사가 주목하는 타깃 혈관을 추출하고 가능한 오류를 수정한다.

본 발명의 응용 예는 혈관 중심선 명명 작업을 혈관 마스크 이미지 분류 작업으로 구성함으로써, 학습 난이도를 저하시키고, 중심선 명명의 로버스트를 향상시킨다. 본 발명의 응용 예는 혈관 마스크 이미지 및 심장 마스크 이미지를 같이 입력으로 사용하여, 원본 이미지를 직접 학습하는 난이도를 저하시키고, 모든 명명에 필요한 모든 정보를 보류하여, 학습에 기반한 방법으로 하여금 고유한 규칙에 기반한 트리 형태 라인 명명 연산에 비해 일반화 능력이 더욱 우수하도록 한다.

도 3은 본 발명의 일 응용 예에 따른 예시도를 도시하고, 도 3에 도시된 바와 같이, 본 발명의 실시예는 이미지 처리 방법을 제기하고, 이 처리 방법은 이미지 처리를 통해 관상 동맥 중심선의 세그먼트 명명을 구현하고, 상기 이미지 처리의 과정은 크게 4 개의 단계로 나눌 수 있다.

첫 번째 단계에 있어서, 심장 관상 동맥 마스크 이미지(31) 및 심장 마스크 이미지(32)를 각각 획득하고, 두 개의 마스크 이미지를 병합하여, 병합 마스크 이미지로 사용한다. 동시에 심장 관상 동맥 마스크 이미지에 대해 중심선 추출을 수행하여, 복수 개의 관상 동맥 중심선 세그먼트(타깃 서브 대상)으로 구성된 관상 동맥 중심선을 타깃 대상으로 사용한다. 다음 마스크 이미지와 타깃 대상을 중첩하여, 타깃 대상(관상 동맥 중심선)을 포함하는 타깃 이미지(33)를 얻는다.

두 번째 단계에 있어서, 훈련된 신경망(34)을 통해, 타깃 이미지를 분할하여, 타깃 이미지 중 각 전경 픽셀 포인트(즉 심장 관상 동맥에 속하는 픽셀 포인트를 가리킴)의 분할 결과(35)를 얻는다.

세 번째 단계에 있어서, 두 번째 단계에서 얻은 분할 결과에 따라, 투표하여 명명하는 방식을 통해, 타깃 이미지 중 관상 동맥 중심선의 각 관상 동맥 중심선 세그먼트의 명칭(36)을 결정하고, 투표하여 명명하는 과정은,

각 관상 동맥 중심선 세그먼트에 대해, 포함된 픽셀 포인트를 제2 타깃 픽셀 포인트로 사용하는 것을 결정한 다음, 이러한 제2 타깃 픽셀 포인트의 분할 결과에 대응되는 명칭을 통계하고, 그 중 개수가 가장 많은 명칭을, 상기 관상 동맥 중심선 세그먼트의 명칭으로서 선택하는 것일 수 있다.

네 번째 단계에 있어서, 각 관상 동맥 중심선 세그먼트의 명명을 완료한 후, 후처리를 통해, 복수 개의 동일한 명칭을 가진 가지를 포함하는 관상 동맥 중심선 세그먼트를, 가장 완전하거나 가장 긴 한 가지를 보류하여 최종 결과로 사용할 수 있고, 불연속적인 관상 동맥 중심선 세그먼트를 수정하여, 예를 들어 특정된 중심선 세그먼트의 상위 노드(상위 세그먼트) 및 자식 노드(자식 세그먼트)는 동일한 명칭을 가지지만, 상기 관상 동맥 중심선 세그먼트와의 명칭은 일치하지 않으므로, 상기 관상 동맥 중심선 세그먼트를 상위 노드 및 자식 노드와 일치한 명칭으로 수정할 수 있다. 상기 후처리를 통해, 최종의 처리 결과(37)를 얻는다.

일부 가능한 실시예에 있어서, 두 번째 단계에서 타깃 이미지를 분할하는데 사용되는 신경망의 훈련 과정은, 먼저 훈련 이미지를 준비하고, 훈련 이미지는 타깃 이미지의 형태와 동일할 수 있고, 즉 심장 관상 동맥 마스크 이미지, 심장 마스크 이미지와 관상 동맥 중심선을 중첩하여 얻은 이미지를, 훈련 이미지로 사용할 수 있다.

훈련 이미지가 신경망을 훈련하는데 사용되기 때문에, 모니터링 데이터(ground truth)가 더 필요하며, 즉 훈련 이미지 중의 픽셀 포인트는 라벨을 더 필요로 한다. 본 발명의 응용 예에 있어서, 모니터링 데이터의 생성 방식은 아래와 같을 수 있다. 먼저 관상 동맥 중심선을 세그먼트 명명을 통해 라벨링하고, 이로써, 각 관상 동맥 중심선 세그먼트 중 픽셀 포인트의 라벨은 대응되는 관상 동맥 중심선 세그먼트의 라벨 명칭이다.

다음 훈련 이미지 중, 전경에 속하지만 관상 동맥 중심선 세그먼트에 속하지 않는 픽셀 포인트를 각각 제1 타깃 픽셀 포인트로 사용하므로, 관상 동맥 중심선에서 제1 타깃 픽셀 포인트와 가장 가까운 픽셀 포인트의 라벨(태그일 수도 있음)을, 상기 제1 타깃 픽셀 포인트의 라벨로 사용할 수 있다.

상기 과정을 통해, 라벨을 포함하는 훈련 이미지를 얻을 수 있고, 이 라벨을 포함하는 훈련 이미지를 신경망에 입력하여 훈련하면, 훈련된 신경망을 얻을 수 있다. 일 실시예에 있어서, 신경망은 Res-Vnet신경망을 기초 모델로 사용하여, 다이스 손실을 손실 함수로 사용하는 것을 통해 복수 개의 라벨 분할 훈련을 사용함으로써, 최종 훈련 결과를 얻을 수 있다.

상기 과정을 통해, 관상 동맥 중심선 세그먼트 명명 작업을 혈관 마스크 이미지의 인스턴스 분할 작업으로 구성할 수 있고; 동시에 본 발명의 응용 예에서 제기한 이미지 처리 방법은 심장 관상 동맥 마스크 이미지 및 심장 마스크 이미지를 입력 이미지로 사용할 수 있고, 심장 관상 동맥의 원본 이미지를 입력으로 사용하는 것에 비해, 입력 환경을 간소화하고, 노이즈를 저하시키며, 모든 트리 형태의 구조 정보 및 혈액 공급 정보를 보류하고; 또한, 명명 과정에 있어서, 분할 결과에 대해 투표 메커니즘을 사용하여, 관상 동맥 중심선 세그먼트의 명명으로 하여금 상기 세그먼트 픽셀 포인트 중 가장 많이 나타나는 분할 라벨에 의존하도록 하고, 일부 픽셀 포인트의 분할 결과가 정확하지 않더라도, 정확한 분할 결과가 다수의 비율을 차지하면, 정확한 관상 동맥 중심선 명명 결과를 얻을 수 있고; 마지막으로, 분할 결과에 기반하여 명명한 후 추가로 명명 결과를 후처리하고, 분할 결과는 훈련 데이터를 의존하기 때문에, 후처리를 통해, 훈련 데이터가 비교적 적은 경우에서도 계속하여 최종 처리 결과의 로버스트를 유지할 수 있다.

본 발명의 응용 예의 이미지 처리 방법은 새로운 문제 아키텍처를 제기하고, 즉 중심선 세그먼트 명명 작업을 혈관 마스크 이미지의 인스턴스 분할 미션으로 구성하고; 동시에 새로운 입력 아이디어를 제공하며, 원본 이미지를 입력 이미지로 사용하는 것에 비해, 상기 기술은 두 가지 마스크 이미지를 입력 이미지로 사용하여, 입력 환경을 간소화하고, 노이즈를 저하시키며, 모든 트리 형태의 구조 정보 및 혈액 공급 정보를 보류하고; 분할된 결과로부터 중심선 명명으로 반환하여, 투표 매커니즘을 사용하여, 혈관 세그먼트의 명명이 상기 세그먼트 포이트의 상기 분할 레벨이 가장 많은 타입에 의존하도록 하며, 이로써 분할 결과가 좋지 않더라도 대부분이 정확하면, 중심선 명명은 정확하며; 선험 지식의 후처리에 기반하여, 학습 연산은 훈련 데이터에 의존하므로, 후처리가 훈련이 비교적 적을 경우에도 계속하여 최종 결과의 로버스트를 유지할 수 있다.

따라서, 본 발명의 응용 예의 혁신적 포인트는 적어도 관상 동맥 복수 개의 라벨에 기반하여 분할된 중심선 명명 전략; 마스크 이미지 분할로부터 중신선 명명으로 반환된 투표 전략; 및 분할 결과와 선험 지식을 기반으로 한 후처리 방법을 포함한다. 본 발명의 응용 예에서 제공한 방안은 엔드 투 엔드에 기반한 설계이며, 명확한 프로세스, 더욱 높은 정확도, 강력한 로버스트 등 장점을 가진다. 동시에 본 발명의 응용 예에서 제공한 방안은 비교적 빠른 속도를 유지하고, 각 환자는 약 3초부터 5초의 시간이 필요하다.

본 발명의 응용 예는 예는 적어도 심혈관 및 뇌혈관 질환의 보조 진단, 원격 의료 진단, 클라우드 플랫폼 보조 지능형 진단 및 의료 라벨링 플랫폼 등 측면의 심장 관상 동맥 이미지의 처리에 적용될 수 있다. 심장 전문의가 환자의 관상 동맥 조영술 데이터를 얻고 중심선을 추출한 후, 혈관 플라크 및 협착 감지 및 위치 지정을 위해 중심선 세그먼트를 명명함으로써 구조화된 보고서를 생성한다.

설명해야 할 것은, 본 발명의 실시예의 이미지 처리 방법은 상기 심장 관상 동맥 이미지의 처리에 적용하는 것에 한정되는 것이 아니라, 임의의 이미지 처리에 적용될 수 있고, 본 발명의 실시예는 이에 대해 한정하지 않는다. 예를 들어, 관상 동맥 마스크 이미지 분할 작업으로 명명된 중심선을 정의하는데 사용되거나, 전체 심장 마스크 이미지 및 심장 관상 마스크 이미지를 포함하는 것을 제품 입력으로 사용하는 등 상황은 본 발명의 실시예의 보호 범위에 속한다.

이해할 수 있는 것은, 본 발명의 실시예에서 언급된 상기 각 방법 실시예는, 원리 논리를 벗어나지 않는 조건 하에, 모두 서로 결합되어 결합 후의 실시예를 구성할 수 있고, 편폭의 제한으로, 본 발명의 실시예에서는 더이상 설명하지 않는다. 본 분야의 기술자는 실시형태의 상기 방법에서, 각 단계의 실행 순서는 그 기능 및 가능한 내부 논리에 의해 결정된다.

또한, 본 발명의 실시예는 이미지 처리 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램 제품을 더 제공하고, 상기 분배 장치, 전자 기기, 컴퓨터 판독 가능한 저장 매체, 프로그램은 모두 본 발명의 실시예에서 제공한 어느 하나의 이미지 처리 방법을 구현하는데 사용될 수 있으며, 상응하는 기술방안 및 설명 및 참조 방법 부분의 상응하는 기재는, 여기서 더이상 반복하여 설명하지 않는다.

도 4는 본 발명의 실시예에 따른 이미지 처리 장치의 블록도이다. 상기 이미지 장치는 단말 기기, 서버, 또는 다른 처리 기기 등일 수 있다. 여기서, 단말 기기는 모바일 기기, 사용자 단말, 단말, 셀룰러 폰, 무선 전화, PDA, 핸드 헬드 기기, 컴퓨팅 기기, 차량용 기기, 웨어러블 기기 등일 수 있다. 일부 가능한 구현 방식에 있어서, 상기 이미지 처리 장치는 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다. 도 4에 도시된 바와 같이, 상기 이미지 처리 장치(40)는 아래와 같은 단계를 포함할 수 있다.

타깃 이미지 획득 모듈(41)은 타깃 대상을 포함하는 타깃 이미지를 획득하도록 구성된다.

분할 모듈(42)은, 타깃 이미지를 분할하여, 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용하도록 구성된다.

명명 모듈(43)은, 분할 결과에 따라, 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정하도록 구성된다.

한 가지 가능한 구현 방식에 있어서, 분할 모듈은 타깃 이미지를 신경망에 입력하고; 신경망의 출력에 따라, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 결정하고, 상기 분할 결과로 사용 - 상기 신경망은 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하고, 상기 훈련 이미지 중의 타깃 대상은 적어도 하나의 타깃 서브 대상의 명칭을 통해 라벨링을 진행함 - 하도록 구성된다.

가능한 구현 방식에 있어서, 신경망이 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하는 것은, 훈련 이미지 중 타깃 대상의 라벨에 따라, 훈련 이미지 중 적어도 일부 픽셀 포인트의 라벨을 결정하는 것; 및 적어도 일부 픽셀 포인트의 라벨을 포함하는 훈련 이미지를 통해, 신경망을 훈련하는 것을 포함한다.

가능한 구현 방식에 있어서, 신경망이 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하는 것은, 훈련 이미지 중의 타깃 대상 내에서, 제1 타깃 픽셀 포인트와 가장 가까운 타깃 서브 대상을 결정하는 것 - 제1 타깃 픽셀 포인트는 훈련 이미지 중 타깃 대상을 제외한 적어도 하나의 픽셀 포인트를 가리킴 - ; 결정된 타깃 서브 대상의 라벨을, 제1 타깃 픽셀 포인트의 라벨로 사용하는 것; 및 제1 타깃 픽셀 포인트의 라벨 및 타깃 대상의 라벨을 포함하는 훈련 이미지에 따라, 신경망을 훈련하는 것을 포함한다.

가능한 구현 방식에 있어서, 명명 모듈은, 분할 결과에 따라, 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 결정하고 - 제2 타깃 픽셀 포인트는 타깃 서브 대상에 포함된 픽셀 포인트임 - ; 타깃 서브 대상 제2 타깃 픽셀 포인트의 명칭을 통계하여, 통계 결과를 얻고, 통계 결과에서 개수가 가장 많은 명칭을, 타깃 서브 대상의 명칭으로 사용하도록 구성된다.

한가지 가능한 구현 방식에 있어서, 명명 모듈은 또한, 제2 타깃 픽셀 포인트에 대응되는 분할 결과를, 제2 타깃 픽셀 포인트의 명칭으로 사용하고; 또는, 제2 타깃 픽셀 포인트의 기설정된 범위 내의 적어도 하나의 픽셀 포인트의 분할 결과에 기반하여, 제2 타깃 픽셀 포인트의 명칭을 결정하도록 구성된다.

가능한 구현 방식에 있어서, 이미지 처리 장치(40)는 처리 모듈을 더 포함하고, 처리 모듈은, 적어도 하나의 타깃 서브 대상의 명칭에 따라, 타깃 대상을 처리하여, 처리 결과를 얻도록 구성된다.

가능한 구현 방식에 있어서, 처리 모듈은 또한, 상기 타깃 대상 중 동일한 명칭을 가진 타깃 서브 대상을 추출하는 것; 및 인접한 타깃 서브 대상의 명칭에 따라, 상기 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 수정하는 것 중 적어도 하나를 수행하도록 구성된다.

가능한 구현 방식에 있어서, 타깃 이미지는, 심장 관상 동맥 마스크 이미지, 또는, 심장 관상 동맥 마스크 이미지 및 심장 마스크 이미지를 포함하고; 타깃 대상은 관상 동맥 중심선을 포함한다.

본 발명 실시예는 또한 컴퓨터 프로그램 명령어가 저장된 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 프로세서에 의해 실행될 때 상기 방법을 구현한다. 컴퓨터 판독 가능 저장 매체는 비휘발성 컴퓨터 판독 가능 저장 매체일 수 있다.

본 발명의 실시예는 또한 전자 기기를 제공하고, 프로세서; 및 프로세서가 실행 가능한 명령어를 저장하도록 구성된 메모리를 포함하며; 여기서, 상기 프로세서는 상기 메모리에 저장된 명령어를 호출하여, 상기 방법을 실행하도록 구성된다. 전자 기기는 단말, 서버 또는 다른 형태의 기기로 제공될 수 있다.

본 발명의 실시예는 또한 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램 제품을 제공하고, 컴퓨터 판독 가능한 코드가 기기에서 작동될 경우, 기기에서의 프로세서는 전술한 어느 한 실시예에서 제공한 이미지 처리 방법을 구현하도록 구성된 명령어를 실행한다.

본 발명의 실시예는 또한 컴퓨터 판독 가능한 명령어를 저장하기 위한 다른 컴퓨터 프로그램 제품을 제공하고, 명령어가 실행될 경우 컴퓨터가 전술한 어느 한 실시예에서 제공한 이미지 처리 방법의 동작을 실행하도록 한다.

도 5은 본 발명의 실시예에 따른 전자 기기(800)의 블록도이다. 예를 들어, 전자 기기(800)는 휴대폰, 컴퓨터, 디지털 방송 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 및 개인 휴대용 단말 등 단말일 수 있다.

도 5를 참조하면, 전자 기기(800)는 처리 컴포넌트(802), 메모리(804), 전원 컴포넌트(806), 멀티미디어 컴포넌트(808), 오디오 컴포넌트(810), 입력/출력(Input/Output, I/O) 인터페이스(812), 센서 컴포넌트(814) 및 통신 컴포넌트(816) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(802)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(800)의 전체적인 동작을 제어한다. 처리 컴포넌트(802)는 상기 방법 단계의 전부 또는 일부를 구현하기 위한 명령어를 실행하기 위한 하나 또는 복수 개의 프로세서(820)를 포함할 수 있다. 또한, 처리 컴포넌트(802)는 처리 컴포넌트(802) 및 다른 컴포넌트 사이의 인터랙션을 용이하게 하기 위한 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(802)는 멀티미디어 컴포넌트(808) 및 처리 컴포넌트(802) 사이의 교호를 용이하게 하기 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(804)는 전자 기기(800)의 동작을 지원하기 위해, 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예시는 전자 기기(800)에서 동작하도록 구성된 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 제1 내부 메모리(8021) 또는 제1 외부 메모리(804)는, 정적 랜덤 액세스 메모리(Static Random-Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(Electrical Programmable Read Only Memory, EPROM), 프로그래머블 판독 전용 메모리(Programmable Read-Only Memory, PROM), 판독 전용 메모리(Read-Only Memory, ROM), 자기 메모리, 플래쉬 메모리, 자기 디스크 또는 광 디스크와 같은 임의의 타입의 휘발성 또는 비휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전원 컴포넌트(806)는 전자 기기(800)의 다양한 컴포넌트에 전력을 공급한다. 전원 컴포넌트(806)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 전자 기기(800)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(808)는 상기 전자 기기(800) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 모니터(Liquid Crystal Display, LCD) 및 터치 패널(Touch Panel, TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자로부터 오는 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 스와이프 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 동작의 경계를 감지할 뿐만 아니라 상기 터치 또는 스와이프 동작과 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시에에 있어서, 멀티미디어 컴포넌트(808)는 하나의 전방 카메라 및 하나의 후방 카메라 중 적어도 하나를 포함한다. 전자 기기(800)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(810)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(810)는 하나의 마이크로폰(MICrophone, MIC)을 포함하며, 전자 기기(800)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(804)에 추가로 저장되거나 통신 컴포넌트(816)에 의해 송신될 수 있다. 일부 실시예에 있어서, 오디오 부재(810)는 오디오 신호를 출력하도록 구성된 하나의 스피커를 더 포함한다.

I/ O 인터페이스(812)는 처리 컴포넌트(802)와 외부 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(814)는 전자 기기(800)를 위한 다양한 측면의 상태 평가를 제공하도록 구성된 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(814)는 전자 기기(800)의 온/오프 상태, 상기 컴포넌트가 전자 기기(800)에 대한 디스플레이 및 키패드와 같은 컴포넌트의 상대적 위치를 검출할 수 있으며, 센서 컴포넌트(814)는 또한, 전자 기기(800) 또는 전자 기기(800)의 하나의 컴포넌트의 위치 변화, 사용자가 전자 기기(800)와의 접촉의 존재 또는 컴포넌트, 전자 기기(800) 방향 또는 가속/감속 및 전자 기기(800)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(814)는 어떠한 물리적 접촉도 없이 근처의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함할 수 있다. 센서 컴포넌트(814)는 상보성 금속 산화막 반도체(Complementary Metal-Oxide Semiconductor, CMOS) 또는 전하 결합 소자(Charge Coupled Device, CCD) 이미지 센서와 같은 광센서를 더 포함할 수 있고, 이미징 애플리케이션에 사용되도록 구성된다. 일부 실시예에 있어서, 상기 센서 컴포넌트(814)는 가속도 센서, 자이로 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(816)는 전자 기기(800)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 전자 기기(800)는 무선 와이파이(Wireless Fidelity, Wi-Fi), 2세대 이동통신기술(The 2nd Generation, 2G) 또는 3세대 이동통신기술(The 3nd Generation, 3G) 또는 이들과 결합한 통신표준에 기반한 무선인터넷에 접속할 수 있다. 하나의 예시적인 실시예에서, 통신 컴포넌트(816)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 일 예시적 실시예에서, 상기 통신 컴포넌트(816)는근거리 통신을 촉진하는 근거리 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역(Ultra WideBand, UWB) 기술, 블루투스(BlueTooth, BT) 기술 및 다른 기술에 기반하여 구현될 수 있다.

예시적 실시예에 있어서, 전자 기기(800)는 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 장치(Digital Signal Processor Device, DSPD), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 전자 기기(800)는 상기 이미지 클러스터링 방법을 실행하도록 구성된다.

예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(804)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(800)의 프로세서(820)에 의해 실행된다.

도 6은 본 발명의 실시예에 따른 전자 기기(1900)의 블록도이다. 예를 들어, 전자 기기(1900)는 하나의 서버로 제공될 수 있다. 도 6을 참조하면, 전자 기기(1900)는 하나 또는 복수 개의 프로세서를 포함할 수 있는 처리 컴포넌트(1922), 및 처리 컴포넌트(1922)에 의해 실행되는 명령어를 저장하도록 구성된 메모리(1932)로 대표되는 메모리 자원을 포함하고, 예를 들어 응용 프로그램을 포함할 수 있다. 메모리(1932)에 저장된 애플리케이션은 하나 또는 하나 이상의 한 세트의 명령어에 각각 대응되는 모듈을 포함할 수 있다. 또한, 처리 컴포넌트(1922)는 명령어를 실행하여, 상기 얼굴 인식 방법을 실행하도록 구성된다.

전자 기기(1900)는 전자 기기(1900)의 전원 관리를 실행하도록 구성된 하나의 전원 컴포넌트(1926), 전자 기기(1900)를 네트워크에 연결하도록 구성된 하나의 유선 또는 무선 네트워크 인터페이스(1950) 및 하나의 입력 출력(I/O, 1958)를 더 포함할 수 있다. 전자 기기(1900)는 Windows ServerTM, Mac OS XTM, UnixTM, LinuxTM, FreeBSDTM 또는 이와 유사한 시스템과 같은 메모리(1932)에 저장된 운영 체제에 기반하여 작동될 수 있다.

예시적 실시예에 있어서, 컴퓨터 프로그램 명령어를 포함하는 메모리(1932)와 같은 비휘발성 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 컴퓨터 프로그램 명령어는 상기 방법을 완료하도록 전자 기기(1900)의 처리 컴포넌트(1922)에 의해 실행된다.

본 발명은 시스템, 방법 및 컴퓨터 프로그램 제품 중 적어도 하나일 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 저장 매체를 포함할 수 있고, 컴퓨터 판독 가능한 저장 매체는 프로세서가 본 발명의 각 측면을 구현하도록 하는 컴퓨터 판독 가능한 프로그램 명령어를 포함한다.

컴퓨터 판독 가능 저장 매체는 명령어 실행 기기에 의해 실행되는 명령어를 유지 및 저장할 수 있는 타입의 기기일 수 있다. 컴퓨터 판독 가능한 저장 매체는 예를 들어 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기 또는 전술한 축전 기기, 자기 저장 기기, 광 저장 기기, 전자기 저장 기기, 반도체 저장 기기의 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터 판독 가능한 저장 매체는 휴대용 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리(Random Access Memory, RAM), 판독 전용 메모리 및 소거 가능하고 프로그램 가능한 판독 전용 메모리((Erasable Programmable Read Only Memory, EPROM) 또는 플래시 메모리), 정적 랜덤 액세스 메모리, 휴대용 컴팩트 디스크 판독 전용 메모리(Portable Compact Disk Read-Only Memory, CD-ROM), 디지털 비디오 디스크 (Digital Versatile Disk, DVD), 메모리 스틱, 플로피 디스크, 명령어가 저장된 장치와 같은 기계적 코딩 장치 홀 카드 또는 그루브에서의 볼록한 구조 및 전술한 임의의 적절한 조합을 포함한다. 여기서 사용되는 컴퓨터 판독 가능한 저장 매체는 무선 전자파 또는 다른 자유롭게 전파되는 전자기파, 도파관 또는 다른 전송 매체를 통해 전파되는 전자기파(예를 들어, 광섬유 케이블을 통한 광펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은 순간 신호 자체로 해석되지 않아야 한다.

여기서 설명된 컴퓨터 판독 가능한 프로그램 명령어는 컴퓨터 판독 가능한 저장 매체로부터 각 컴퓨팅/처리 기기로 다운 로드될 수 있거나, 인터넷, 근거리 통신망, 광역 통신망 및 무선 네트워크 중 적어도 하나와 같은 네트워크를 통해, 외부 컴퓨터 또는 외부 저장 기기로 다운 로드될 수 있다. 네트워크는 동 전송 케이블, 광섬유 전송, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및 에지 서버 중 적어도 하나를 포함 할 수 있다. 각 컴퓨팅/처리 기기의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능한 프로그램 명령어를 수신하고, 각 컴퓨팅/처리 기기에서의 컴퓨터 판독 가능한 저장 매체에 저장하기 위해, 컴퓨터 판독 가능한 프로그램 명령어를 전달한다.

본 발명 실시예의 동작을 실행하기 위한 컴퓨터 프로그램 명령어는 어셈블리 명령어, 명령어 세트 아키텍처(Instruction Set Architecture, ISA) 명령어, 머신 명령어, 머신 관련 명령어, 마이크로 코드, 펌웨어 명령어, 상태 설정 데이터, 또는 하나 또는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드일 수 있고, 상기 프로그래밍 언어에는 스몰 토크, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 언어 또는 유사한 프로그래밍 언어와 같은 기존 프로그래밍 언어가 포함된다. 컴퓨터 판독 가능한 프로그램 명령어는 사용자 컴퓨터에서 완전히 또는 부분적으로 실행될수 있고, 독립형 소프트웨어 패키지로 실행되며, 부분적으로 사용자 컴퓨터에서, 부분적으로 원격 컴퓨터에서 또는 완전히 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터와 관련된 상황에서 원격 컴퓨터는 근거리 통신망(Local Area Network, LAN) 또는 광대역 통신망(Wide Area Network, WAN)을 포함하는 모든 타입의 네트워크를 통해 사용자 컴퓨터에 연결되거나 외부 컴퓨터에 연결(예를 들어 인터넷 서비스 제공 업체를 사용하여 인터넷을 통해 연결)될 수 있다. 일부 실시예에 있어서, 프로그램 가능한 논리 회로, 필드 프로그래머블 게이트 어레이 또는 프로그램 가능한 논리 어레이와 같은 전자 회로는 컴퓨터 판독 가능 프로그램 명령어의 상태 정보를 이용하여 개인화될 수 있고, 상기 전자 회로는 컴퓨터 판독 가능 프로그램 명령어를 실행할 수 있음으로써, 본 발명의 다양한 측면을 구현한다.

여기서, 본 발명의 각 측면은 본 발명 실시예에 따른 방법, 장치(시스템) 및 컴퓨터 프로그램 제품의 흐름도 및 블록도 중 적어도 하나를 참조하여 설명된다. 이해해야 할 것은, 흐름도 및 블록도 중 적어도 하나의 각 블록; 흐름도 및 블록도 중 적어도 하나의 각 블록의 조합은, 모두 컴퓨터 판독 가능 프로그램 명령어에 의해 구현될 수 있다.

이러한 컴퓨터 판독 가능 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 다른 프로그래머블 데이터 처리 장치의 프로세서에 제공됨으로써, 기계를 생성하며, 이러한 명령어가 컴퓨터나 다른 프로그래머블 데이터 처리 장치의 프로세서를 통해 실행될 때, 흐름도 및 블록도 중 하나 또는 복수 개의 블록에서 규정한 기능/동작을 구현하기 위한 장치를 생성한다. 이러한 컴퓨터 판독 가능한 프로그램 명령어를 컴퓨터 판독 가능한 저장 매체에 저장할 수도 있으며, 이러한 명령어는 컴퓨터, 프로그램 가능한 데이터 처리 장치 및 다른 기기가 특정한 방식으로 작동될 수 있도록 함으로써, 명령어가 저장되어 있는 컴퓨터 판독 가능한 매체는 제조품을 포함하며, 상기 제조품은 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현하는 명령어를 포함한다.

컴퓨터 판독 가능한 프로그램 명령어는 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에 로딩될 수 있어, 컴퓨터로 구현되는 과정을 생성하기 위해, 일련의 동작 단계가 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 수행되도록 함으로써, 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 기기에서 실행되는 명령어는 흐름도 및 블록도 중 적어도 하나에서 하나 또는 복수 개의 블록에 지정된 기능/동작을 구현한다.

도면의 흐름도 및 블록도는 본 발명의 다양한 실시예에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 체계 아키텍처, 기능 및 동작을 디스플레이한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 모듈, 프로그램 세그먼트 또는 명령어의 일부를 나타낼 수 있고, 상기 모듈, 프로그램 세그먼트 또는 명령어의 일부는 하나 또는 복수 개의 지정된 논리적 기능을 구현하기 위한 실행 가능한 명령어를 포함한다. 일부 대안적인 구현에서, 블록에 표시된 기능은 도면에 표시된 것과 다른 순서로 발생될 수도 있다. 예를 들어, 2 개의 연속적인 블록은 실제로 기본상 병행하여 실행될 수 있거나, 이들은 때로는 역순으로 실행될 수 있으며, 이는 관련된 기능에 따라 결정된다. 또한 유의해야 할 것은, 블록도 및 흐름도 중 적어도 하나에서의 각 블록, 및 블록도 및 흐름도 중 적어도 하나에서의 블록의 조합은, 지정된 기능 또는 동작의 전용 하드웨어 기반의 시스템에 의해 구현될 수 있거나, 전용 하드웨어와 컴퓨터 명령어의 조합으로 구현될 수 있다.

상기 컴퓨터 프로그램 제품은 하드웨어, 소프트웨어 또는 이들의 조합에 의해 구현된다. 일부 실시예에서, 상기 컴퓨터 프로그램 제품은 컴퓨터 저장 매체로 구현될 수 있으며, 다른 일부 실시예에서, 상기 컴퓨터 프로그램 제품은 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.

이상 본 발명의 각 실시예를 설명하였고, 상기 설명은 예시적이고, 비철저하며, 개시된 각 실시예에 한정되지도 않는다. 설명된 각 실시예의 범위 및 사상을 벗어나지 않는 한, 많은 수정 및 변경은 본 기술분야의 기술자에게는 자명한 것이다. 본 명세서에서 사용된 용어의 선택은 각 실시예의 원리, 실제 응용 또는 시장에서의 기술에 대한 개선을 가장 잘 해석하거나, 당업자가 본 명세서에 개시된 각 실시예를 이해할 수 있도록 의도된다.

본 발명의 실시예는 타깃 대상을 포함하는 타깃 이미지를 획득하는 단계; 상기 타깃 이미지를 분할하여, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용하는 단계; 및 상기 분할 결과에 따라, 상기 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정하는 단계를 포함한다. 상기 과정을 통해, 명명 과정의 구현 난이도를 효과적으로 감소시키고 명명 정확도를 향상시킴으로써, 이미지 처리 과정의 로버스트를 향상시킬 수 있다.

Claims

이미지 처리 방법으로서,
타깃 대상을 포함하는 타깃 이미지를 획득하는 단계;
상기 타깃 이미지를 분할하여, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용하는 단계; 및
상기 분할 결과에 따라, 상기 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항에 있어서,
상기 타깃 이미지를 분할하여, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용하는 단계는,
상기 타깃 이미지를 신경망에 입력하는 단계; 및
상기 신경망의 출력에 따라, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 결정하고, 상기 분할 결과로 사용하는 단계 - 상기 신경망은 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하고, 상기 훈련 이미지 중의 타깃 대상은 적어도 하나의 타깃 서브 대상의 명칭을 통해 라벨링을 진행함 - 를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항에 있어서,
상기 신경망이 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하는 단계는,
상기 훈련 이미지 중 타깃 대상의 라벨에 따라, 상기 훈련 이미지 중 적어도 일부 픽셀 포인트의 라벨을 결정하는 단계; 및
상기 적어도 일부 픽셀 포인트의 라벨을 포함하는 훈련 이미지를 통해, 상기 신경망을 훈련하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제2항 또는 제3항에 있어서,
상기 신경망이 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하는 단계는,
상기 훈련 이미지 중의 타깃 대상 내에서, 제1 타깃 픽셀 포인트와 가장 가까운 타깃 서브 대상을 결정하는 단계 - 상기 제1 타깃 픽셀 포인트는 상기 훈련 이미지 중 상기 타깃 대상을 제외한 적어도 하나의 픽셀 포인트를 가리킴 - ;
결정된 상기 타깃 서브 대상의 라벨을, 상기 제1 타깃 픽셀 포인트의 라벨로 사용하는 단계; 및
상기 제1 타깃 픽셀 포인트의 라벨 및 상기 타깃 대상의 라벨을 포함하는 훈련 이미지에 따라, 상기 신경망을 훈련하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 분할 결과에 따라, 상기 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정하는 단계는,
상기 분할 결과에 따라, 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 결정하는 단계 - 상기 제2 타깃 픽셀 포인트는 상기 타깃 서브 대상에 포함된 픽셀 포인트임 - ; 및
상기 타깃 서브 대상 중 각 상기 제2 타깃 픽셀 포인트의 명칭을 통계하여, 통계 결과를 얻고, 상기 통계 결과에서 개수가 가장 많은 명칭을, 상기 타깃 서브 대상의 명칭으로 사용하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제5항에 있어서,
상기 분할 결과에 따라, 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 결정하는 단계는,
각 상기 제2 타깃 픽셀 포인트에 대응되는 분할 결과를, 각 상기 제2 타깃 픽셀 포인트의 명칭으로 사용하는 단계; 또는
각 상기 제2 타깃 픽셀 포인트의 기설정된 범위 내의 적어도 하나의 픽셀 포인트의 분할 결과에 기반하여, 각 상기 제2 타깃 픽셀 포인트의 명칭을 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 1항 내지 제 6항 중 어느 한 항에 있어서,
상기 이미지 처리 방법은,
적어도 하나의 상기 타깃 서브 대상의 명칭에 따라, 상기 타깃 대상을 처리하여, 처리 결과를 얻는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
제7항에 있어서,
상기 적어도 하나의 상기 타깃 서브 대상의 명칭에 따라, 상기 타깃 대상을 처리하는 단계는,
상기 타깃 대상 중 동일한 명칭을 가진 타깃 서브 대상을 추출하는 단계; 및
인접한 상기 타깃 서브 대상의 명칭에 따라, 상기 타깃 대상 중 적어도 하나의 상기 타깃 서브 대상의 명칭을 수정하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 이미지 처리 방법.
제 1항 내지 제 8항 중 어느 한 항에 있어서,
상기 타깃 이미지는, 심장 관상 동맥 마스크 이미지를 포함하고, 또는, 심장 관상 동맥 마스크 이미지 및 심장 마스크 이미지를 포함하고;
상기 타깃 대상은 관상 동맥 중심선을 포함하는 것을 특징으로 하는 이미지 처리 방법.
이미지 처리 장치로서,
타깃 대상을 포함하는 타깃 이미지를 획득하도록 구성된 타깃 이미지 획득 모듈;
상기 타깃 이미지를 분할하여, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 얻고, 분할 결과로 사용하도록 구성된 분할 모듈;
상기 분할 결과에 따라, 상기 타깃 대상 중 적어도 하나의 타깃 서브 대상의 명칭을 결정하도록 구성된 명명 모듈을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제10항에 있어서,
상기 분할 모듈은 또한,
상기 타깃 이미지를 신경망에 입력하고;
상기 신경망의 출력에 따라, 상기 타깃 이미지 중 적어도 하나의 픽셀 포인트의 명칭을 결정하고, 상기 분할 결과로 사용하도록 - 상기 신경망은 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하고, 상기 훈련 이미지 중의 타깃 대상은 적어도 하나의 타깃 서브 대상의 명칭을 통해 라벨링을 진행함 - 구성되는 것을 특징으로 하는 이미지 처리 장치.
제11항에 있어서,
상기 신경망이 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하는 것은,
상기 훈련 이미지 중 타깃 대상의 라벨에 따라, 상기 훈련 이미지 중 적어도 일부 픽셀 포인트의 라벨을 결정하는 것; 및
상기 적어도 일부 픽셀 포인트의 라벨을 포함하는 훈련 이미지를 통해, 상기 신경망을 훈련하는 것을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제10항 또는 제11항에 있어서,
상기 신경망이 상기 타깃 대상을 포함하는 훈련 이미지를 통해 훈련을 진행하는 것은,
상기 훈련 이미지 중의 타깃 대상 내에서, 제1 타깃 픽셀 포인트와 가장 가까운 타깃 서브 대상을 결정하는 것 - 상기 제1 타깃 픽셀 포인트는 상기 훈련 이미지 중 상기 타깃 대상을 제외한 적어도 하나의 픽셀 포인트를 가리킴 - ;
결정된 상기 타깃 서브 대상의 라벨을, 상기 제1 타깃 픽셀 포인트의 라벨로 사용하는 것; 및
상기 제1 타깃 픽셀 포인트의 라벨 및 상기 타깃 대상의 라벨을 포함하는 훈련 이미지에 따라, 상기 신경망을 훈련하는것을 포함하는 것을 특징으로 하는 이미지 처리 장치.
제10항 내지 제13항 중 어느 한 항에 있어서,
상기 명명 모듈은 또한,
상기 분할 결과에 따라, 적어도 하나의 제2 타깃 픽셀 포인트의 명칭을 결정하고 - 상기 제2 타깃 픽셀 포인트는 상기 타깃 서브 대상에 포함된 픽셀 포인트임 - ;
상기 타깃 서브 대상 중 각 상기 제2 타깃 픽셀 포인트의 명칭을 통계하여, 통계 결과를 얻고, 상기 통계 결과에서 개수가 가장 많은 명칭을, 상기 타깃 서브 대상의 명칭으로 사용하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
제14항에 있어서,
상기 명명 모듈은 또한,
각 상기 제2 타깃 픽셀 포인트에 대응되는 분할 결과를, 각 상기 제2 타깃 픽셀 포인트의 명칭으로 사용하고; 또는,
각 상기 제2 타깃 픽셀 포인트의 기설정된 범위 내의 적어도 하나의 픽셀 포인트의 분할 결과에 기반하여, 각 상기 제2 타깃 픽셀 포인트의 명칭을 결정하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
제10항 내지 제15항 중 어느 한 항에 있어서,
상기 이미지 처리 장치는,
적어도 하나의 상기 타깃 서브 대상의 명칭에 따라, 상기 타깃 대상을 처리하여, 처리 결과를 얻도록 구성된 처리 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
제16항에 있어서,
상기 처리 모듈은 또한,
상기 타깃 대상 중 동일한 명칭을 가진 타깃 서브 대상을 추출하는 것; 및
인접한 상기 타깃 서브 대상의 명칭에 따라, 상기 타깃 대상 중 적어도 하나의 상기 타깃 서브 대상의 명칭을 수정하는 것 중 적어도 하나를 수행하도록 구성되는 것을 특징으로 하는 이미지 처리 장치.
제10항 내지 제17항 중 어느 한 항에 있어서,
상기 타깃 이미지는 심장 관상 동맥 마스크 이미지를 포함하고, 또는, 심장 관상 동맥 마스크 이미지 및 심장 마스크 이미지를 포함하며;
타깃 대상은 관상 동맥 중심선을 포함하는 것을 특징으로 하는 이미지 처리 장치.
전자 기기로로서,
프로세서; 및
프로세서 실행 가능 명령어를 저장하도록 구성된 메모리를 포함하고,
프로세서는, 상기 메모리에 저장된 명령어를 호출하여, 제1항 내지 제9항 중 어느 한 항에 따른 방법을 실행하도록 구성된 것을 특징으로 하는 전자 기기.
컴퓨터 판독 가능한 저장 매체로서,
상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있고, 컴퓨터 프로그램 명령어가 프로세서에 의해 실행될 때 제1항 내지 제9항 중 어느 한 항에 따른 이미지 처리 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
컴퓨터 프로그램 제품으로서,
컴퓨터 판독 가능 코드를 포함하며, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 때, 상기 전자 기기에서의 프로세서는 제1항 내지 제9항 중 어느 한 항에 따른 이미지 처리 방법을 구현하기 위한 명령어를 실행하는 것을 특징으로 하는 컴퓨터 프로그램 제품.