KR20190028422A

KR20190028422A - 해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법

Info

Publication number: KR20190028422A
Application number: KR1020197000221A
Authority: KR
Inventors: 마이클 알 아벤디; 케네스 씨 쉬; 셰인 에이 더피; 도미니크 제이 판타지아; 스티브 에스 크할라지; 하스나인 솜지; 에이미 티 부이; 쉬르자드 샤흐리아리; 암바 에이 아빌라; 요스트 엘 멀더스
Original assignee: 아벤트, 인크.
Priority date: 2016-07-08
Filing date: 2017-06-29
Publication date: 2019-03-18
Also published as: AU2017292642A1; WO2018009405A1; US11151721B2; AU2017292642B2; US20190311478A1; EP3482346A1; JP6947759B2; JP2019525786A; MX2018015394A

Abstract

본 발명은 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서 적어도 하나의 해부학적 대상의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법에 관한 것이다. 이 방법은 이미징 시스템을 통해 이미지를 생성하고 해부학적 대상 및 주변 조직의 이미지를 프로세서에 제공하는 단계를 포함한다. 게다가, 이 방법은 이미지의 파라미터 공간의 해부학적 대상과 주변 조직을 자동으로 검출하기 위해 콘볼루션 신경망들을 포함하는 파라미터 공간 딥 러닝 네트워크를 전개하고 훈련시키는 단계를 포함한다. 이 방법은 이미지의 파라미터 공간의 해부학적 대상 및 주변 조직을, 추가적인 콘볼루션 신경망들을 통해, 자동으로 로케이팅하고 세그먼트화하는 단계를 또한 포함한다. 더구나, 이 방법은 이미지 상의 식별된 해부학적 대상 및 주변 조직에 자동으로 라벨표시하는 단계를 포함한다. 따라서, 이 방법은 라벨표시된 이미지를 사용자에게 실시간으로 디스플레이하는 단계를 또한 포함한다.

Description

해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법

관련 출원들에 대한 상호 참조

본 출원은 2016년 7월 8일자의 출원일을 갖는 미국 가출원 제62/359,726호와, 2016년 12월 2일자의 출원일을 갖는 미국 가출원 제62/429,157호와, 2017년 5월 3일자의 출원일을 갖는 미국 가출원 제62/500,750호를 우선권 주장한다.

발명의 분야

본 발명은 의료 이미징의 분야에서의 해부학적 대상 검출에 관한 것이고, 더 상세하게는, 딥 러닝 알고리즘들을 사용한 해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법에 관한 것이다.

해부학적 대상들의 검출 및 세그먼트화는 진단, 환자 층화(patient stratification), 치료 계획, 중재, 및/또는 후속조치에서 임상 이미징 작업흐름을 지원하는 의료 이미징에서 필수적인 태스크이다. 이와 같이, 해부학적 대상들 및 주변 조직의 검출 및 세그먼트화가 빠르고 견고하게 일어나는 것이 중요하다.

전통적인 접근법들에 기초한 다양한 시스템들이 의료 이미지들, 이를테면 컴퓨터 단층촬영(computed tomography)(CT), 자기 공명(magnetic resonance)(MR), 초음파, 및 형광투시 이미지들에서 해부학적 검출 및 추적의 문제를 해결하기 위해 존재한다. 그러나, 이러한 시스템들을 사용한 해부학적 대상 검출이, 특히, 해부학적 대상들이 해부, 형상, 및/또는 외관에서의 큰 변동들, 뿐만 아니라 의료적 이미지들에서의 노이즈 및 아티팩트들을 나타내는 일부 도전적인 검출 문제들에 대해, 항상 강건하지 않다. 예를 들어, 특정한 신경 차단 절차들에 대해, 초음파 이미징 시스템을 통해 신경 다발을 빠르고 정확하게 로케이팅하는 것은 종종 어렵다.

따라서, 본 개시내용은 현존 이미징 시스템들을 통해 구현될 수 있는 딥 러닝 알고리즘들을 사용하여, 해부학적 대상들, 이를테면 신경 블록들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법을 위한 것이다.

본 발명의 목적들 및 장점들은 다음의 설명에서 부분적으로 언급될 것이거나, 또는 상세한 설명에서 명백하게 될 수 있거나, 또는 본 발명의 실시를 통해 학습될 수 있다.

하나의 양태에서, 본 발명은 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서 적어도 하나의 해부학적 대상의 자동 검출, 국부화, 및 세그먼트화를 위한 방법에 관한 것이다. 이 방법은 해부학적 대상 및 주변 조직의 이미지를 프로세서에 제공하는 단계를 포함한다. 게다가, 이 방법은 이미지의 파라미터 공간의 해부학적 대상과 주변 조직을 자동으로 검출하기 위해 하나 이상의 딥 콘볼루션 신경망(deep convolutional neural network)을 갖는 파라미터 공간 딥 러닝 네트워크를 전개하고 훈련시키는 단계를 포함한다. 이 방법은 이미지의 파라미터 공간의 해부학적 대상 및 주변 조직을, 추가적인 딥 콘볼루션 신경망을 통해, 자동으로 로케이팅하고 세그먼트화하는 단계를 또한 포함한다. 더구나, 이 방법은 이미지 상의 해부학적 대상 및 주변 조직에 자동으로 라벨표시하는(labeling) 단계를 포함한다. 따라서, 이 방법은 라벨표시된 이미지를 사용자에게 디스플레이하는 단계를 또한 포함한다.

하나의 실시예에서, 해부학적 대상(들) 및 주변 조직은 위팔신경얼기(brachial plexus), 목갈비사이근(interscalene muscle), 목빗근(sternocleidomastoid muscle), 중간목갈비근(middle scalene muscle), 앞목갈비근(anterior scalene muscle), 빗장뼈위근, 빗장뼈아래근, 겨드랑근, 허리신경얼기, 엉덩근막, 넙다리신경, 좌골신경, 외전근관(abductor canal), 오금신경, 오금동맥, 오금근, 두렁정맥, 두렁신경, 갈비사이공간, 가로복부면(transversus abdominus plane), 가슴척추옆공간, 또는 유사물을 비제한적으로 포함하는 환자의 임의의 해부 구조체 및/또는 주변 조직을 포함할 수 있다.

다른 실시예에서, 이 방법은 기초 실측 데이터(ground truth data)를 통해 해부학적 대상 및 주변 조직을 포함하는 이미지의 파라미터 공간을 자동으로 검출하기 위해 딥 신경망을 훈련시키는 단계를 포함할 수 있다. 더 구체적으로는, 특정 실시예들에서, 이미지의 파라미터 공간의 해부학적 대상 및 주변 조직을 자동으로 검출하기 위해 딥 신경망을 전개하고 훈련시키는 단계는, 복수의 환자들로부터 해부학적 대상 및 주변 조직의 이미지들의 데이터세트를 스캔하고 수집하는 단계, 기초 실측 데이터를 생성하기 위해 사용자(예컨대, 의료 전문가) 입력에 기초하여 이미지들의 데이터세트에 주석달기하는 단계, 이미지들의 데이터세트 및 기초 실측 데이터를 훈련 데이터세트 및 검증 데이터세트로 나누는 단계, 및 딥 신경망을 훈련시키기 위해 훈련 데이터세트를 이용하는 단계를 포함할 수 있다.

추가의 실시예들에서, 딥 신경망을 훈련시키기 위해 훈련 데이터세트를 이용하는 단계는, 딥 신경망의 출력과 기초 실측 데이터 사이의 오차를 최소화하기 위해 비용 함수를 최적화하는 단계를 포함할 수 있다. 더 구체적으로는, 특정 실시예들에서, 오차를 최소화하기 위해 비용 함수를 최적화하는 단계는 기초 실측 데이터의 부분들을 반복적으로 프로세싱하고 딥 신경망의 출력과 기초 실측 데이터 사이의 오차에 기초하여 딥 신경망의 하나 이상의 파라미터를 조정하는 확률적 경사 하강(stochastic gradient descent)(SGD) 알고리즘을 이용하는 단계를 포함할 수 있다.

또 다른 실시예에서, 이 방법은, 비용 함수를 최적화한 후, 검증 데이터에 대한 예측값들을 자동으로 제공하기 위해 실시간으로 딥 신경망을 이용하는 단계와 딥 신경망이 일반화될 수 있는 것을 보장하기 위해 기초 실측 데이터와 예측값들을 비교하는 단계를 포함할 수 있다.

다른 추가의 실시예들에서, 기초 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 이미지들의 데이터세트에 주석달기하는 단계는, 데이터세트의 각각의 이미지에서 해부학적 대상 및 주변 조직을 수동으로 식별하고 주석달기하는 단계를 포함할 수 있다.

추가의 실시예들에서, 이미지의 파라미터 공간의 해부학적 대상과 주변 조직을 자동으로 로케이팅하고 세그먼트화하는 단계는, 의미론적 세그먼트화를 통해 해부학적 대상과 주변 조직을 세그먼트화하는 단계를 포함할 수 있다.

다른 실시예에서, 이 방법은 해부학적 대상과 주변 조직을 포함하는 이미징 시스템의 파라미터 공간을 자동으로 검출하기 위해 오프라인으로 딥 신경망을 초기에 훈련시키는 단계를 또한 포함한다. 또 다른 실시예에서, 이 방법은 해부학적 대상과 주변 조직을 포함하는 이미징 시스템의 파라미터 공간을 자동으로 검출하기 위해 온라인으로 딥 신경망을 지속적으로 훈련시키는 단계를 포함할 수 있다.

추가의 실시예들에서, 이미지 상의 해부학적 대상 및 주변 조직에 자동으로 라벨표시하는 단계는, 이미지 상에서 해부학적 대상과 주변 조직을 아웃라이닝하는 단계 또는 적어도 하나의 해부학적 대상과 주변 조직의 각각의 맨 위에 설명 라벨을 오버레이하는 단계 중 적어도 하나를 포함할 수 있다.

또 다른 실시예에서, 추가적인 콘볼루션 네트워크를 통해 이미지의 파라미터 공간의 해부학적 대상과 주변 조직을 자동으로 로케이팅하고 세그먼트화하는 단계는, 이미지로부터 해부학적 대상 주위의 관심 영역을 추출하는 단계를 포함한다.

또 다른 실시예에서, 해부학적 대상 및 주변 조직의 이미지는 그 이미지를 프로세서에 제공하기 전에 자동으로 크로핑된다.

다른 양태에서, 본 개시내용은 이미징 시스템을 위한 것이다. 더 구체적으로는, 특정 실시예들에서, 이미징 시스템은 초음파 이미징 시스템, 컴퓨터 단층촬영(CT) 스캐너, 자기 공명 이미징(magnetic resonance imaging)(MRI) 스캐너 또는 유사물에 해당할 수 있다. 덧붙여서, 이미징 시스템은 하나 이상의 동작을 수행하도록 구성되는 적어도 하나의 프로세서와, 사용자 디스플레이를 포함한다. 더 구체적으로는, 하나 이상의 동작은 적어도 하나의 해부학적 대상 및 주변 조직의 이미지를 수신하는 동작, 이미지의 파라미터 공간의 해부학적 대상과 주변 조직을 자동으로 검출하기 위해 파라미터 공간 딥 러닝 네트워크를 전개하고 훈련시키는 동작, 이미지의 파라미터 공간의 해부학적 대상 및 주변 조직을, 추가적인 딥 신경망을 통해, 자동으로 로케이팅하고 세그먼트화하는 동작, 및 이미지 상의 해부학적 대상 및 주변 조직에 자동으로 라벨표시하는 동작을 비제한적으로 포함한다. 게다가, 사용자 디스플레이는 라벨표시된 이미지를 사용자에게 디스플레이하도록 구성된다.

다른 실시예에서, 딥 러닝 네트워크는 하나 이상의 딥 콘볼루션 신경망, 하나 이상의 순환 신경망(recurrent neural network), 또는 임의의 다른 적합한 신경망들을 포함할 수 있다. 이미징 시스템은 본 명세서에서 설명되는 바와 같은 방법 단계들 및/또는 특징들 중 임의의 것을 구현하도록 추가로 구성될 수 있다는 것이 또한 이해되어야 한다.

또 다른 양태에서, 본 개시내용은 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서 적어도 하나의 해부학적 대상의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 방법에 관한 것이다. 이 방법은 해부학적 대상 및 주변 조직의 이미지를 프로세서에 제공하는 단계를 포함한다. 이 방법은 이미지의 파라미터 공간의 해부학적 대상과 주변 조직을 자동으로 검출하기 위해 파라미터 공간 딥 러닝 네트워크를 전개하고 훈련시키는 단계를 또한 포함한다. 게다가, 이 방법은 이미지의 파라미터 공간의 해부학적 대상과 주변 조직을, 하나 이상의 딥 러닝 알고리즘을 통해, 자동으로 로케이팅하고 의미론적으로 세그먼트화하는 단계를 포함한다. 덧붙여서, 이 방법은 이미지 상의 해부학적 대상과 주변 조직에 자동으로 라벨표시하는 단계와 라벨표시된 이미지를 사용자에게 디스플레이하는 단계를 포함한다. 이 방법은 본 명세서에서 설명되는 바와 같은 추가적인 단계들 및/또는 특징들 중 임의의 것을 추가로 포함할 수 있다는 것이 또한 이해되어야 한다.

본 발명의 이들 및 다른 특징들, 양태들 및 장점들은 다음의 설명 및 첨부의 청구항들을 참조하여 더 잘 이해될 것이다. 본 출원서에 통합되고 그것의 일부를 구성하는 첨부 도면들은, 본 발명의 실시예들을 예시하고, 그 설명과 함께, 본 발명의 원리들을 설명하는 것을 돕는다.

본 기술분야의 통상의 기술자를 향한 최적의 모드를 포함하는 본 발명의 전체 및 가능한 개시내용은, 첨부된 도면들을 참조하는 명세서에서 언급되며, 도면들 중:
도 1은 본 개시내용에 따른 이미징 시스템의 하나의 실시예의 사시도를 예시하며;
도 2는 본 개시내용에 따른 이미징 시스템의 프로세서의 하나의 실시예의 블록도를 예시하며;
도 3은 본 개시내용에 따른 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서의 적어도 하나의 해부학적 대상의 자동 검출, 국부화, 및 세그먼트화를 위한 방법의 하나의 실시예의 흐름도를 예시하며;
도 4는 본 개시내용에 따른 이미징 시스템에 의해 생성된 이미지의 파라미터 공간의 하나의 실시예의 개략도를 예시하며, 특히 주변 조직이 아웃라이닝되고 번호부여된 환자의 위팔신경얼기의 목갈비근사이 국부화를 예시하며;
도 5는 본 개시내용에 따른 이미징 시스템에 의해 생성된 이미지의 파라미터 공간의 다른 실시예의 개략도를 예시하며, 특히 주변 조직이 아웃라이닝되고 번호부여된 환자의 위팔신경얼기의 목갈비근사이 국부화를 예시하며;
도 6은 본 개시내용에 따른 이미징 시스템에 의해 생성된 이미지의 파라미터 공간의 또 다른 실시예의 개략도를 예시하며, 특히 주변 조직이 셰이딩된 환자의 위팔신경얼기의 목갈비근사이 국부화를 예시하며;
도 7은 본 개시내용에 따른 이미징 시스템에 의해 생성된 이미지의 파라미터 공간의 하나의 실시예의 개략도를 예시하며, 특히 환자의 위팔신경얼기의 목갈비근사이 국부화를 예시하며;
도 8은 본 개시내용에 따른 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서의 적어도 하나의 해부학적 대상의 자동 검출, 국부화, 및 세그먼트화를 위한 방법의 다른 실시예의 흐름도를 예시하며;
도 9는 본 개시내용에 따른 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서의 적어도 하나의 해부학적 대상의 자동 검출, 국부화, 및 세그먼트화를 위한 방법의 개략도를 예시하며, 특히 주변 조직이 라벨표시된 환자의 위팔신경얼기의 목갈비근사이 국부화를 예시하며;
도 10은 본 개시내용에 따른 사전-프로세싱 이미징 시스템에 의해 생성된 이미지를 위한 방법의 개략도를 예시하며;
도 11은 도 10의 방법에 따라 변환되지 않은 제1 초음파 머신(예컨대, 머신 A)으로부터의 이미지를 예시하며;
도 12는 도 10의 방법에 따라 변환된 제1 초음파 머신(예컨대, 머신 A)으로부터의 이미지를 예시하며;
도 13은 도 10의 방법에 따라 변환되지 않은 제1 초음파 머신(예컨대, 머신 A)으로부터의 히스토그램을 예시하며;
도 14는 도 10의 방법에 따라 변환된 제1 초음파 머신(예컨대, 머신 A)으로부터의 히스토그램을 예시하며;
도 15는 도 10의 방법에 따라 변환되지 않은 제2 초음파 머신(예컨대, 머신 B)으로부터의 이미지를 예시하며;
도 16은 도 10의 방법에 따라 변환된 제2 초음파 머신(예컨대, 머신 B)으로부터의 이미지를 예시하며;
도 17은 도 10의 방법에 따라 변환되지 않은 제2 초음파 머신(예컨대, 머신 B)으로부터의 히스토그램을 예시하며;
도 18은 도 10의 방법에 따라 변환된 제2 초음파 머신(예컨대, 머신 B)으로부터의 히스토그램을 예시하며;
도 19는 도 10의 방법에 따라 변환되지 않은 제3 초음파 머신(예컨대, 머신 C)으로부터의 이미지를 예시하며;
도 20은 도 10의 방법에 따라 변환된 제3 초음파 머신(예컨대, 머신 C)으로부터의 이미지를 예시하며;
도 21은 도 10의 방법에 따라 변환되지 않은 제3 초음파 머신(예컨대, 머신 C)으로부터의 히스토그램을 예시하며;
도 22는 도 10의 방법에 따라 변환된 제3 초음파 머신(예컨대, 머신 C)으로부터의 히스토그램을 예시하며;
도 23은 본 개시내용에 따른 낮은 컴퓨테이션 파워 디바이스들을 사용하는 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서 적어도 하나의 해부학적 대상을 자동으로 세그먼트화하기 위한 방법의 하나의 실시예의 개략도를 예시하며;
도 24는 본 개시내용에 따른 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서 적어도 하나의 해부학적 대상의 동시 자동 검출 및 세그먼트화를 위한 방법의 하나의 실시예의 개략도를 예시하며;
도 25는 본 개시내용에 따른 비디오 스트림 내에서부터의 이미지를 식별함으로써 이미지를 프로세서에 제공하기 위한 방법의 하나의 실시예의 흐름도를 예시하며;
도 26은 딥 러닝 네트워크를 훈련시키는 단계가 본 개시내용에 따른 비디오 스트림 내의 이미지의 파라미터 공간에서 적어도 하나의 해부학적 대상을 식별하고 주석달기하는 단계를 포함하는, 딥 러닝 네트워크를 훈련시킴으로써 해부학적 대상 및 주변 조직을 포함하는 이미지의 파라미터 공간을 자동으로 검출하기 위한 방법의 하나의 실시예의 흐름도를 예시하며;
도 27은 실시간 초음파 이미지로부터 위팔신경얼기(BP)와 같은 해부학적 대상 주위의 관심 영역을 자동으로 국부화하고 세그먼트화하거나 또는 추출하기 위한 방법의 하나의 실시예의 흐름도를 예시하며; 그리고
도 28은 관심 지역이 원래의 이미지에서 검출되며, 원래의 이미지의 깨끗한, 크로핑된 버전이 이미지 주석들, 딥 러닝 등과 같은 후속 단계들에서 사용되는, 자동 데이터 클리닝을 위한 방법의 하나의 실시예의 흐름도를 예시한다.

이제 본 발명의 예들인, 본 발명의 하나 이상의 실시예가 상세히 언급될 것인데, 그 예들은 도면들에서 도시된다. 각각의 예 및 실시예가 본 발명의 설명에 의해 제공되고, 본 발명의 제한들을 의미하지는 않는다. 예를 들어, 하나의 실시예의 일부로서 예시되거나 또는 설명되는 특징들은 다른 추가의 실시예를 얻기 위해 다른 실시예와 함께 사용될 수 있다. 본 발명은 본 발명의 범위 및 정신 내에서 나오는 바와 같은 이들 및 다른 수정들 및 변동들을 포함하는 것으로 의도된다.

일반적으로, 본 개시내용은 이미징 시스템, 이를테면 초음파 이미징 시스템에의해 생성된 이미지의 파라미터 공간에서 하나 이상의 해부학적 대상의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법을 위한 것이다. 더 구체적으로는, 도면들을 이제 참조하면, 도 1 및 도 2는 이미징 시스템(10)에 의해 생성된 이미지(14)의 파라미터 공간(12)에서 하나 이상의 해부학적 대상을 검출, 국부화, 및 세그먼트화하도록 구성되는 이미징 시스템(10) 및 연관된 프로세서(16)의 하나의 실시예를 예시한다. 본 명세서에서 사용되는 바와 같이, 이미징 시스템(10)은 초음파 이미징 시스템(도시된 바와 같음), 컴퓨터 단층촬영(CT) 스캐너, 자기 공명 이미징(MRI) 스캐너, 또는 본 기술로부터 이익을 얻을 수 있는 임의의 다른 적합한 이미징 시스템에 해당할 수 있다. 더 구체적으로는, 도시된 바와 같이, 이미징 시스템(10)은 (예컨대, 본 명세서에서 개시되는 바와 같이 방법들 등을 수행하고 관련 데이터를 저장하는) 다양한 컴퓨터 구현 기능들을 수행하도록 구성되는 하나 이상의 프로세서(들)(16) 및 연관된 메모리 디바이스(들)(18) 뿐만 아니라 사용자 디스플레이(20)를 일반적으로 포함한다. 덧붙여서, 이미징 시스템(10)은 이미지(14)의 파라미터 공간(12)을 생성하며 그리고/또는 조작함에 있어서 사용자를 지원하도록 구성되는 사용자 인터페이스(22), 이를테면 컴퓨터 및/또는 키보드를 포함할 수 있다.

덧붙여, 도 2에 도시된 바와 같이, 프로세서(들)(16)는 프로세서(들)(16)와 이미징 시스템(10)의 다양한 컴포넌트들, 예컨대, 도 1의 컴포넌트들 중 임의의 컴포넌트 사이의 통신을 용이하게 하는 통신 모듈(24)을 또한 포함할 수 있다. 게다가, 통신 모듈(24)은 하나 이상의 프로브(예컨대, 초음파 프로브(28))로부터 송신된 신호들이 프로세서(들)(16)에 의해 이해되고 프로세싱될 수 있는 신호들로 변환되는 것을 허용하는 센서 인터페이스(26)(예컨대, 하나 이상의 아날로그-디지털 변환기)를 포함할 수 있다. 초음파 프로브(28)는 임의의 적합한 수단을 사용하여 통신 모듈(24)에 통신가능하게 결합될 수 있다는 것이 이해되어야 한다. 예를 들어, 도 2에 도시된 바와 같이, 초음파 프로브(28)는 유선 접속을 통해 센서 인터페이스(26)에 결합될 수 있다. 그러나, 다른 실시예들에서, 초음파 프로브(28)는 무선 접속을 통해, 이를테면 본 기술분야에서 공지된 임의의 적합한 무선 통신 프로토콜을 사용함으로써 센서 인터페이스(26)에 결합될 수 있다. 이와 같이, 프로세서(들)(16)는 초음파 프로브(28)로부터 하나 이상의 신호를 수신하도록 구성될 수 있다.

본 명세서에서 사용되는 바와 같이, "프로세서"라는 용어는 컴퓨터에 포함되어 있는 것으로서 본 기술분야에서 언급되는 집적 회로들을 지칭할 뿐만 아니라, 제어기, 마이크로제어기, 마이크로컴퓨터, 프로그램가능 로직 제어기(programmable logic controller)(PLC), 주문형 집적회로, 필드-프로그램가능 게이트 어레이(field-programmable gate array)(FPGA), 및 다른 프로그램가능 회로들을 또한 지칭한다. 프로세서(들)(16)는 고급 제어 알고리즘들을 컴퓨팅하고 다양한 이더넷 또는 직렬 기반 프로토콜들(Modbus, OPC, CAN 등)로 통신하도록 또한 구성된다. 더욱이, 특정한 실시예들에서, 프로세서(들)(16)는 컴퓨테이션 시간과 로컬 디바이스에 대한 부담을 줄이기 위하여 클라우드 컴퓨팅을 위해 인터넷을 통해 서버와 통신할 수 있다. 덧붙여, 메모리 디바이스(들)(18)는 컴퓨터 판독가능 매체(예컨대, 랜덤 액세스 메모리(random access memory)(RAM)), 컴퓨터 판독가능 비휘발성 매체(예컨대, 플래시 메모리), 플로피 디스크, 콤팩트 디스크 판독 전용 메모리(compact disc-read only memory)(CD-ROM), 광자기 디스크(magneto-optical disk)(MOD), 디지털 다기능 디스크(digital versatile disc)(DVD) 및/또는 다른 적합한 메모리 엘리먼트들을 비제한적으로 포함하는 메모리 엘리먼트(들)를 일반적으로 포함할 수 있다. 이러한 메모리 디바이스(들)(18)는 프로세서(들)(16)에 의해 구현될 때, 본 명세서에서 설명되는 바와 같은 다양한 기능들을 수행하도록 프로세서(들)(16)를 구성하는 적합한 컴퓨터 판독가능 명령들을 저장하도록 일반적으로 구성될 수 있다.

도 3 내지 도 7을 이제 참조하면, 이미징 시스템(10)에 의해 생성된 이미지(14)의 파라미터 공간(12)에서 적어도 하나의 해부학적 대상(30)의 자동 검출, 국부화, 및 세그먼트화를 위한 방법(100)의 하나의 실시예의 흐름도(도 3)가 예시되며, 뿐만 아니라 이미지(14)의 파라미터 공간(12)을 예시하는 사용자 디스플레이(20)로부터의 스크린 샷들의 다양한 실시예들(도 4 내지 도 7)도 예시된다. 특정한 실시예들에서, 본 명세서에서 설명되는 바와 같은 해부학적 대상(들)(30) 및 주변 조직(32)은 환자의 임의의 해부 구조체 및/또는 그 해부 구조의 주변 조직을 포함할 수 있다. 더 구체적으로는, 도 4 내지 도 7의 예시된 실시예들에서 도시된 바와 같이, 해부학적 대상(들)(30)은 환자의 목갈비근사이 위팔신경얼기(BP)(34)를 포함할 수 있는데, 목갈비근사이 위팔신경얼기는 제1 가슴 신경과 하부의 네 개의 목신경들의 앞가지에 의해 형성되는, 척추로부터 진행하는 신경들의 망에 일반적으로 해당한다. 이와 같이, 위팔신경얼기(34)는 목에서의 목겨드랑관(cervicoaxillary canal)을 통과하여, 제1 갈비뼈 위로, 그리고 겨드랑(즉, 겨드랑이 지역) 속으로 지나가며, 겨드랑에서 상지들 및 일부 목 및 어깨 근육들에 신경이 통하게 한다. 이와 같이, 위팔신경얼기(34)의 주변 조직(32)은 목빗근(SM)(36), 중간목갈비근 (MCM)(38), 앞목갈비근(ASM)(40), 및/또는 유사물에 일반적으로 대응한다. 이러한 해부학적 구조체들의 시야 또는 파라미터 공간(12)은 의사들이 포착하기가 일반적으로 어렵다. 따라서, 본 개시내용의 시스템 및 방법은 본 명세서에서 언급되는 BP 및 주변 조직들을 포함하는 시야를 검출하며 로케이팅하며 그리고/또는 세그먼트화하는 개선된 방법을 제공한다.

그러나, 본 개시내용의 시스템 및 방법은 위팔신경얼기(34)에 관련한 것들에 더하여 임의의 해부 구조체를 수반하는 임의의 다양한 의료 절차들을 위해 추가로 사용될 수 있다는 것이 이해되어야 한다. 예를 들어, 해부학적 대상(들)(30) 및 주변 조직(32)은 상지 및 하지 뿐만 아니라 구획 블록들을 포함할 수 있다. 더 구체적으로는, 이러한 실시예들에서, 상지들의 해부학적 대상(들)(30) 및 주변 조직(32)은 위팔신경얼기(상지로의 신경들의 다발)를 상이한 로케이션들에서 모두 차단하는 목갈비사이근, 빗장뼈위근, 빗장뼈아래근, 및/또는 겨드랑근 신경 블록들을 포함할 수 있다. 게다가, 하지들의 해부학적 대상(들)(30) 및 주변 조직(32)은 허리신경얼기, 엉덩근막, 넙다리신경, 좌골신경, 외전근관, 오금, 두렁(발목), 및/또는 유사물을 포함할 수 있다. 덧붙여서, 구획 블록들의 해부학적 대상(들)(30) 및 주변 조직(32)은 갈비사이공간, 가로복부면(TAP), 및 가슴척추옆공간, 그리고/또는 유사물을 포함할 수 있다. 게다가, 도 4 및 5에 도시된 바와 같이, 이미징 시스템(10)에 의해 생성된 이미지(14)는 파라미터 공간(12) 뿐만 아니라 그것에 인접하여 위치된 옵션적 태스크 바(15)를 포함할 수 있다. 덧붙여서, 태스크 바(15)는 열기, 시작, 및 중지 버튼들과 같은 다른 적합한 제어 특징부들 뿐만 아니라 날짜 및 시간을 포함할 수 있다. 대체 실시예들에서, 도 5 및 도 6에 도시된 바와 같이, 태스크 바(15)는 생략될 수 있다. 이미지(14)는 임의의 다른 적합한 제어 및/또는 디스플레이 특징부들을 더 포함할 수 있고 사용자 인터페이스(22)를 통해 또는 터치-스크린 능력들을 통해 제어될 수 있다는 것이 또한 이해되어야 한다.

도 2를 특히 참조하면, 102에 도시된 바와 같이, 방법(100)은 이미징 시스템(10)을 통해 이미지(14)를 생성하고 해부학적 대상(30) 및/또는 주변 조직(32)의 전체 이미지(14)를 프로세서(들)(16)에 제공하는 단계를 포함한다. 게다가, 104에 도시된 바와 같이, 방법(100)은 이미지(14)의 파라미터 공간(12)의 해부학적 대상(30) 및/또는 주변 조직(32)을 자동으로 검출하기 위해 파라미터 공간 딥 러닝 네트워크를 전개하고 훈련시키는 단계를 포함한다. 더 구체적으로는, 특정 실시예들에서, 파라미터 공간 딥 러닝 네트워크는 하나 이상의 딥 콘볼루션 신경망(CNN), 하나 이상의 순환 신경망, 또는 임의의 다른 적합한 신경망 구성들을 포함할 수 있다. 기계 학습에서, 딥 콘볼루션 신경망들은, 자신의 뉴런들 사이의 연결 패턴이 개개의 뉴런들이 시야를 타일링(tiling)하는 지역들을 중첩하는 것에 응답하는 방식으로 배열되는 동물 시각 피질의 조직화에 의해 영향을 받는 피드-포워드 인공 신경망 유형을 일반적으로 지칭한다. 그 반면, 순환 신경망들(RNN들)은 유닛들 사이의 연결들이 방향성 사이클(directed cycle)을 형성하는 인공 신경망들의 클래스를 일반적으로 지칭한다. 이러한 연결들은 신경망이 동적 일시적 행동을 나타내는 것을 허용하는 신경망의 내부 상태를 생성한다. 피드-포워드 신경망들(이를테면 콘볼루션 신경망들)과는 달리, RNN들은 입력들의 임의적 시퀀스들을 프로세싱하기 위해 자신들의 내부 메모리를 사용할 수 있다. 이와 같이, RNN들은 해부학적 대상들을 실시간으로 더 잘 식별하고 추적하기 위하여 이미지 프레임들 사이의 상관을 추출할 수 있다.

특정한 실시예들에서, 프로세서(들)(16)는 딥 신경망을 훈련시키며 그리고/또는 발전시켜 해부학적 대상(30) 및/또는 주변 조직(32)을 포함하는 이미지(14)의 파라미터 공간(12)을 자동으로 검출하기 위해 기초 실측 데이터를 사용할 수 있다. 예를 들어, 특정 실시예들에서, 프로세서(들)(16)는 해부학적 대상(들)(30) 및/또는 주변 조직(32)을 포함하는 파라미터 공간(12)을 자동으로 검출하기 위해 파라미터 공간 딥 신경망을 초기에 훈련시키도록 구성될 수 있다. 더 구체적으로는, 특정 실시예들에서, 초기 훈련은 프로세서(들)(16)가 오프라인에 있는 동안 완료될 수 있다. 다른 실시예에서, 프로세서(들)(16)는, 예컨대, 초기 훈련이 완료된 후, 해부학적 대상(들)(30) 및/또는 주변 조직(32)을 포함하는 파라미터 공간(12)을 자동으로 검출하기 위해 온라인으로 딥 신경망을 지속적으로 훈련시키도록 구성될 수 있다.

더 구체적으로는, 특정 실시예들에서, 프로세서(들)(16)는 다수의 환자들로부터의 해부학적 대상(30) 및/또는 주변 조직(32)의 이미지들의 데이터세트를 스캔하고 수집함으로써 파라미터 공간(12)의 해부학적 대상(30) 및/또는 주변 조직(32)을 자동으로 검출하기 위해 현장에서 새로이 캡처된 데이터로부터 딥 신경망을 지속적으로 훈련시키는 온라인 학습을 위해 구성될 수 있다. 예를 들어, 특정 실시예들에서, 수백 및/또는 수천 개의 이미지들이 다수의 환자들로부터 스캔되고 수집되며 메모리 디바이스(들)(18)를 통해 데이터세트에 저장될 수 있다. 게다가, 저장하기 전, 이미지들의 데이터세트는 기초 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 주석달기될 수 있다. 예를 들어, 특정 실시예들에서, 의사들은 데이터세트의 각각의 이미지에서 해부학적 대상(들)(30) 및/또는 주변 조직(32)을 검출 및 식별함에 있어서 딥 러닝 네트워크를 보조하는 전문 지식에 기초하여 이미지들의 데이터세트에 주석달기하고 수동으로 식별할 수 있다. 이와 같이, 본 명세서에서 설명되는 바와 같은 기초 실측 데이터는 추론에 의해 제공된 정보와는 대조적으로 현장 전문가들의 직접 관찰에 의해 제공된 정보를 일반적으로 지칭한다. 따라서, 본 개시내용의 파라미터 공간 딥 러닝 네트워크는 동작 동안 인간 뇌를 모방하도록 구성된다.

특정 실시예들에서, 이미지들의 데이터세트는 그 다음에 복수의 그룹들로 나누어질 수 있다. 예를 들어, 하나의 실시예에서, 기초 실측 데이터는 훈련 데이터세트 및 검증 데이터세트를 포함하는 적어도 두 개의 그룹들로 나누어질 수 있다. 이와 같이, 특정 실시예들에서, 프로세서(들)(16)는 파라미터 공간 딥 신경망을 훈련시키기 위해 훈련 데이터세트를 이용하도록 구성된다. 더 구체적으로는, 특정 실시예들에서, 프로세서(들)(16)는 딥 신경망의 출력과 기초 실측 데이터 사이의 오차를 최소화하기 위해 비용 함수를 최적화하도록 구성될 수 있다. 예를 들어, 하나의 실시예에서, 에러를 최소화하기 위해 비용 함수를 최적화하는 단계는, 기초 실측 데이터의 부분들을 반복적으로 프로세싱하고 딥 신경망의 출력과 기초 실측 데이터 사이의 오차에 기초하여 딥 신경망의 하나 이상의 파라미터를 조정하는 확률적 경사 하강(SGD) 알고리즘과 같은 확률적 근사를 이용하는 단계를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 확률적 경사 하강은 미분가능 함수들의 합으로서 쓰여지는 목적 함수를 최소화하는 경사 하강 최적화 방법의 확률적 근사를 일반적으로 지칭한다. 더 구체적으로는, 하나의 실시예에서, 프로세서(들)(16)는 딥 신경망의 출력과 기초 실측 데이터 사이의 오차를 최소화하기 위해 감독식 학습을 구현하도록 구성될 수 있다. 본 명세서에서 사용되는 바와 같이, "감독식 학습"은 라벨표시된 훈련 데이터로부터 함수를 유추하는 기계 학습 태스크를 일반적으로 지칭한다.

그러나, 비용 함수는 상이한 방식들로 정의될 수 있고 다양한 방법들을 사용하여 최적화될 수 있다는 것이 이해되어야 한다. 예를 들어, 추가적인 실시예들에서, 프로세서(들)(16)는 보강 학습, 비감독식 학습, 및/또는 본 기술분야에서 지금 알려지거나 또는 나중에 개발되는 임의의 다른 기법들과 같은 추가의 딥 러닝 기법들을 구현할 수 있다. 이러한 방법들은 더 적은 훈련 데이터를 요구하고 그리고/또는 보상/처벌 기능에 의존할 수 있어서 시스템들은 라벨표시된 데이터가 명확하게 제공될 것을 필요로 하지 않는다.

다른 실시예에서, 방법(100)은, 비용 함수를 최적화한 후, 검증 데이터 뿐만 아니라 새로이 캡처된 데이터에 대한 예측값들을 자동으로 제공하기 위해 실시간으로 파라미터 공간 신경망을 이용하는 단계를 또한 포함할 수 있다. 따라서, 이러한 실시예들에서, 프로세서(들)(16)는 딥 신경망이 일반화될 수 있는 것을 보장하기 위해 기초 실측 데이터와 예측값들을 비교하도록 구성될 수 있다. 다르게 말하면, 프로세서(들)(16)는 딥 신경망이 훈련 데이터 외부에 있는 경우들에 대해 정확한 예측값들을 제공할 수 있는 것을 보장하도록 구성될 수 있다.

도 3을 여전히 참조하면, 106에 도시된 바와 같이, 방법(100)은 이미지(14)의 파라미터 공간(12)의 해부학적 대상(30) 및/또는 주변 조직(32)을, 추가적인 딥 신경망을 통해, 자동으로 로케이팅하고 세그먼트화하는 단계를 또한 포함한다. 추가적인 딥 신경망은 본 명세서에서 설명되는 바와 같은 그리고 임의의 특정 목적을 위한 적합한 방법들 중의 임의의 방법에 따라 훈련될 수 있다. 예를 들어, 딥 신경망은 해부학적 대상(30) 및/또는 주변 조직(32)을 검출하기 위해 먼저 훈련될 수 있다. 덧붙여서, 딥 신경망은 해부학적 대상(30) 및/또는 주변 조직(32)을 로케이팅하고 세그먼트화하기 위해 또한 훈련될 수 있다. 특정 실시예들에서, 해부학적 대상(30) 및/또는 주변 조직(32)을 로케이팅하기 위해 딥 신경망을 훈련시키는 것 대 해부학적 대상(30) 및/또는 주변 조직(32)을 세그먼트화하기 위해 딥 신경망을 훈련시키는 것 사이의 차이들은 훈련 및 아키텍처적 세부사항들에 대해 데이터가 라벨표시되는 방법을 포함한다. 본 명세서에서 사용되는 바와 같이, "세그먼트화"는 이미지의 여러 코히어런트 부분들로의 파티션을 일반적으로 지칭하지만, 이러한 부분들이 무엇을 나타내는지를 이해하려고 통상적으로 시도하지는 않는다. 한편 "의미론적 세그먼트화"는 이미지를 의미론적으로 의미있는 부분들로 파티셔닝하려고 그리고 각각의 부분을 미리 결정된 클래스들 중 하나의 클래스로 분류하려고 일반적으로 시도한다.

도 3을 여전히 참조하면, 108에 도시된 바와 같이, 프로세서(들)(16)는 이미지(14) 상의 해부학적 대상(들)(30) 및/또는 주변 조직(32)에 라벨표시하도록 또한 구성될 수 있다. 따라서, 110에 도시된 바와 같이, 방법(100)은 라벨표시된 이미지를 사용자에게 디스플레이하는 단계를 또한 포함한다. 더 구체적으로는, 특정 실시예들에서, 프로세서(들)(16)는 이미지(14) 상에서 해부학적 대상(들)(30) 및/또는 주변 조직(32)을 아웃라이닝하도록 구성될 수 있다. 예를 들어, 도 4 및 도 5에 도시된 바와 같이, 위팔신경얼기(34)(즉, 해부학적 대상(30))는 제1 두께 또는 패턴을 갖는 테두리(border)로 아웃라이닝된다. 덧붙여서, 도시된 바와 같이, 다양한 주변 조직들(32)은 위팔신경얼기(34)를 아웃라이닝하는데 사용되는 제1 두께 또는 패턴과는 상이한 제2 두께를 갖는 테두리로 아웃라이닝될 수 있다. 이와 같이, 사용자는 주변 조직(32)으로부터 관심있는 해부학적 대상(들)(30)을 쉽게 식별하고 구별할 수 있다.

추가의 실시예들에서, 프로세서(들)(16)는 이미지(14) 상에서 해부학적 대상(들)(30) 및/또는 주변 조직(32)의 맨 위에 설명 라벨을 오버레이하도록 구성될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 주변 조직(32)은 의사를 통한 용이한 식별을 위해 랜드마크들(42)로서 (예컨대, 이미지(14) 우측에서) 번호부여 및 라벨표시될 수 있다. 대안적으로, 도 5에 도시된 바와 같이, 주변 조직(32)은 선 유형에 의해 식별되고 구별될 수 있고 환자의 신체 내의 로케이션을 특히 예시하는 랜드마크들(42)로서 식별될 수 있다. 또 다른 실시예에서, 도 6에 도시된 바와 같이, 주변 조직(32)은 설명적 의학적 명칭을 사용하여 셰이딩되고 라벨표시될 수 있다. 추가의 실시예들에서, 도 6에 도시된 바와 같이, 해부학적 대상(들)(30)은 또한 추가로 정의되며 그리고/또는 세그먼트화될 수 있다. 이와 같이, 위팔신경얼기(34)의 경우, 사용자가 신경 차단 절차 동안 별개의 신경들 또는 신경 다발들을 쉽게 식별할 수 있다.

추가의 실시예들에서, 도 4 내지 도 7에 도시된 바와 같이, 프로세서(들)(16)는 해부학적 대상(30) 및/또는 주변 조직(32)의 신뢰 수준(44)을 결정하도록 또한 구성될 수 있다. 예를 들어, 도 4 및 도 5에 도시된 바와 같이, 위팔신경얼기의 로케이션의 신뢰 수준(44)은 이미지(14)의 태스크 바 상에 위치된다. 대안적으로, 도 6 및 도 7에 도시된 바와 같이, 위팔신경얼기의 로케이션의 신뢰 수준(44)은 이미지(14)의 파라미터 공간(12) 내에, 예컨대 해부학적 대상(30)에 인접하여, 위치될 수 있다.

도 8 및 도 9를 이제 참조하면, 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서의 적어도 하나의 해부학적 대상의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 방법(200)의 다른 실시예의 개략도 및 흐름도가 예시되어 있다. 도 8의 202에 도시된 바와 같이, 방법(200)은 해부학적 대상 및 주변 조직의 이미지를 프로세서(16)에 제공하는 단계를 포함한다. 예를 들어, 도 9에 도시된 바와 같이, 실시간 초음파 이미지(46)는 프로세서(16)에 제공될 수 있다. 도 8의 204에 도시된 바와 같이, 방법(200)은 파라미터 공간의 해부학적 대상 및 주변 조직을 자동으로 검출하기 위해 파라미터 공간 딥 신경망을 전개하고 훈련시키는 단계를 포함한다. 예를 들어, 도 9에 도시된 바와 같이, 프로세서(16)는 블록 48에서 실시간 초음파 이미지(46)를 수신하고 파라미터 공간의 해부학적 대상 및 주변 조직을 자동으로 검출하도록 구성된다. 도 8의 206에 도시된 바와 같이, 방법(200)은 파라미터 공간의 해부학적 대상과 주변 조직을, 하나 이상의 추가적인 딥 신경망을 통해, 자동으로 로케이팅하고 의미론적으로 세그먼트화하는 단계를 포함한다. 예를 들어, 도 9에 도시된 바와 같이, 프로세서(16)는 블록 50에서 의미론적 세그먼트화를 구현하도록 구성된다. 도 8의 208에 도시된 바와 같이, 방법(200)은 이미지 상의 해부학적 대상 및 주변 조직에, 프로세서를 통해, 자동으로 라벨표시하는 단계를 포함한다. 도 8의 210에 도시된 바와 같이, 방법(200)은 라벨표시된 이미지를 사용자에게 디스플레이하는 단계를 포함한다. 예를 들어, 도 9에 도시된 바와 같이, 프로세서(16)는 사용자 디스플레이(20)를 통해 라벨표시된 이미지(14)를 디스플레이하도록 구성된다.

도 10으로 이제 가면, 본 개시내용에서는, 일부 실시예들에서, 프로세서(16)에 제공되는 실시간 초음파 이미지(46)는 하나의 이미징 시스템(예컨대, 제1 초음파 머신 A)으로부터 획득될 수 있는 한편, 딥 러닝 네트워크를 전개하고 훈련시키기 위한 기초 실측 데이터를 생성하는데 사용되는 이미지들의 데이터세트는 다양한 머신들, 이를테면 제1 초음파 머신 A, 제2 초음파 머신 B, 제3 초음파 머신 C 등으로부터 수집될 수 있다는 것이 생각되었다. 따라서, 기초 실측 데이터를 생성하는데 사용되는 이미지들의 데이터세트가 상이한 이미징 시스템들로부터 캡처된 이미지들을 포함할 수 있기 때문에, 데이터세트에서의 이미지들은 이미지 사이즈, 세기, 콘트라스트, 텍스처 등을 포함한 다양한 특성들의 측면에서 상당히 변화될 수 있다. 이들 변화들은 상이한 이미징 시스템에 걸친 딥 러닝 알고리즘의 사용에 제한을 제기할 수 있다. 도 10은 하나 이상의 이미징 시스템에 의해 생성된 이미지들이, 예를 들면, 머신 A, 머신 B, 및 머신 C와 같은 다수의 초음파 이미징 시스템들 전체에 걸쳐 일관되도록 그 이미지들을 사전-프로세싱하는 방법의 개략도를 예시한다. 일반적으로, 머신들(A, B, 및 C)로부터의 데이터(52)(예컨대, 이미지들의 데이터세트)는 블록 54에서 변환될(또는 사전-프로세싱될) 수 있으며, 그 후 다양한 머신들(A, B, 및 C)에 걸쳐 이제 더욱 일관된 데이터(52)가, 다수의 초음파 이미징 시스템들로부터 이미지들의 데이터세트를 획득함에도 불구하고, 원하는 출력(58)을 성취하기 위해 블록 56에서 훈련된 알고리즘을 생성하는데 사용된다.

더 구체적으로는, 딥 러닝 네트워크를 개발함에 있어서의 전형적인 프로세스는 이미징 시스템(예컨대, 초음파 이미징 머신)으로부터 데이터를 수집하는 것, 이미지들을 클리닝하는 것, 이미지들에 주석달기하는 것, 및 그 다음에 위에서 일반적으로 설명된 바와 같은 학습 기반 알고리즘들을 전개하기 위해 이미지들 및 주석들을 사용하는 것을 포함한다. 그러나, 이러한 알고리즘들의 사용과 함께하는 주요 도전과제들 중 하나는, 캡처된 이미지들이 이미지 사이즈, 세기, 콘트라스트, 텍스처 등의 측면에서 가변할 수 있다는, 상이한 이미징 시스템들 중에서의 전술한 가변성이다. 이와 같이, 특정 이미징 시스템을 사용하여 훈련되는 딥-러닝 네트워크 또는 학습 기반 알고리즘은 다른 이미징 시스템들로부터 캡처된 원하는 출력 데이터 및 이미지들을 프로세싱 및 유추함에 있어서 어려움에 직면할 수 있다. 본 개시내용은, 다수의 상이한 머신들로부터 오는 데이터(52)에 대해 사전-프로세싱 단계를 수행하여 블록 54에서의 이미지 데이터세트를, 딥 러닝 네트워크가 블록 56에서 더 정밀하고 정확하게 훈련되어 원하는 출력(58)(예컨대, 강건한 딥 러닝 네트워킹)을 얻을 수 있도록 변환되는 일관된 데이터 세트로 변환함으로써 이 도전과제를 극복한다. 블록 54에서의 사전-프로세싱 단계 또는 변환은 데이터세트에서의 이미지들을 고정된, 일관된 사이즈로 리사이징하는 것과, 그 다음에, 히스토그램 균등화에 기초하여 원래의 이미지를 조정함으로써 등화된 이미지들의 세트가 획득되도록 하기 위해 이미지 히스토그램 균등화 및 이미지 히스토그램 매칭과 같은 이미징 정규화 기법들을 적용하여 다양한 이미지들 사이의 일관성을 개선하는 것을 포함한다. 따라서, 딥-러닝 네트워크 또는 알고리즘에 입력된 데이터세트는 상이한 이미징 시스템들 전체에 걸쳐 원하는 출력(58)을 보장할 유사한 통계적 특징들을 가질 수 있다. 변환 단계의 결과로서, 데이터세트는 딥-러닝 알고리즘을 위한 일관된 데이터세트로 변환될 수 있다.

본 명세서에서 사용되는 바와 같이, "히스토그램"이란 용어는 데이터 분포의 시각적 인상을 나타내는 그래픽 표현을 의미한다는 것이 이해되어야 한다. 이미지 히스토그램이 디지털 이미지에서의 밝기/색 분포의 그래픽 표현으로서 역할을 하는 특정 유형의 히스토그램이며, 이미지 히스토그램은 각각의 값에 대한 화소들의 수를 나타낸다. 게다가, 본 명세서에서 사용되는 바와 같이, "히스토그램 균등화"라는 용어는 이미지의 히스토그램을 사용하는 콘트라스트 조정의 이미지 프로세싱에서의 방법을 지칭한다. 이 방법은 많은 이미지들의 글로벌 콘트라스트를, 특히 이미지의 사용가능 데이터가 촘촘한(close) 콘트라스트 값들에 의해 표현될 때 보통 증가시킨다. 이 조정을 통해, 세기들은 히스토그램 상에서 더 잘 분산될 수 있다. 이는 더 낮은 국부 콘트라스트의 영역들이 더 높은 콘트라스트를 얻는 것을 허용한다. 히스토그램 균등화는 대부분의 빈번한 세기 값들을 효과적으로 분산시킴으로써 이를 완수한다. 덧붙여서, 본 명세서에서 사용되는 바와 같이, "히스토그램 매칭" 또는 "히스토그램 특정화(specification)"라는 용어는 자신의 히스토그램이 특정된 히스토그램과 일치하도록 하는 이미지의 변환을 지칭한다. 이 널리 공지된 히스토그램 균등화 방법은 특정된 히스토그램이 균일하게 분산되는 특수한 경우이다. 히스토그램 매칭은, 이를테면 두 개의 이미지들이 상이한 의료 이미징 디바이스들로 취득되었을 때, 그 이미지들을 정규화하는데 사용될 수 있다.

도 11 내지 도 22는 변환(예컨대, 정규화) 전후에 다양한 초음파 머신들(A, B, 및 C)로부터 취해진 이미지들 및 이들의 히스토그램들을 묘사한다. 구체적으로는, 도 11은 도 10의 방법에 따라 변환되지 않은 제1 초음파 머신(예컨대, 머신 A)으로부터의 이미지를 예시하며; 도 12는 도 10의 방법에 따라 변환된 제1 초음파 머신(예컨대, 머신 A)으로부터의 이미지를 예시하며; 도 13은 도 10의 방법에 따라 변환되지 않은 제1 초음파 머신(예컨대, 머신 A)으로부터의 히스토그램을 예시하며; 도 14는 도 10의 방법에 따라 변환되지 않은 제1 초음파 머신(예컨대, 머신 A)으로부터의 히스토그램을 예시하며; 도 15는 도 10의 방법에 따라 변환되지 않은 제2 초음파 머신(예컨대, 머신 B)으로부터의 이미지를 예시하며; 도 16은 도 10의 방법에 따라 변환된 제2 초음파 머신(예컨대, 머신 B)으로부터의 이미지를 예시하며; 도 17은 도 10의 방법에 따라 변환되지 않은 제2 초음파 머신(예컨대, 머신 B)으로부터의 히스토그램을 예시하며; 도 18은 도 10의 방법에 따라 변환되지 않은 제2 초음파 머신(예컨대, 머신 B)으로부터의 히스토그램을 예시하며; 도 19는 도 10의 방법에 따라 변환되지 않은 제3 초음파 머신(예컨대, 머신 C)으로부터의 이미지를 예시하며; 도 20은 도 10의 방법에 따라 변환된 제3 초음파 머신(예컨대, 머신 C)으로부터의 이미지를 예시하며; 도 21은 도 10의 방법에 따라 변환되지 않은 제3 초음파 머신(예컨대, 머신 C)으로부터의 히스토그램을 예시하며; 그리고 도 22는 도 10의 방법에 따라 변환되지 않은 제3 초음파 머신(예컨대, 머신 C)으로부터의 히스토그램을 예시한다. 도 11 내지 도 22에 도시된 바와 같이, 상이한 초음파 머신들로부터의 다양한 이미지들 및 이들의 각각의 히스토그램들은 도 10의 블록 54에서 변환 단계를 거친 후에 더욱 일관된다. 이 방식으로, 본 개시내용에 의해 생각되는 해부학적 대상의 자동 검출, 국부화, 및 세그먼트화를 위한 방법에서 이용되는 딥 러닝 네트워크는 머신 불가지론(machine agnostic)일 수 있다.

도 23으로 이제 가면, 본 개시내용에서는, 일부 실시예들에서, 적어도 하나의 해부학적 대상의 자동 검출, 국부화, 및 세그먼트화를 위한 방법에서의 다양한 단계들은 그래픽 프로세싱 유닛들(GPU들)과 같은 높은 컴퓨테이션 플랫폼들과는 대조적으로, 중앙 프로세싱 유닛(CPU) 기반 컴퓨터들, 모바일 폰들, 태블릿들 등과 같은 제한된 컴퓨테이션 파워를 갖는 플랫폼들을 사용하여 수행될 수 있다는 것이 또한 생각된다. 머신 러닝, 인공지능, 딥 러닝 네트워크들 등을 사용하여 의료 이미지들에서 해부학적 대상들의 검출/인식, 국부화, 및 세그먼트화를 위한 현존 방법들은 초음파 이미징과 같은 애플리케이션들을 위한 실시간 전개를 성취하기 위해 GPU 플랫폼들을 요구한다. 그러나, 많은 의료 이미징 시스템들, 이를테면 초음파 이미징 시스템들은, 제한된 컴퓨테이션 파워를 가지고 다수의 태스크들에 공유된 CPU들을 주로 사용한다. 게다가, 이미징 및 진단 디바이스들을 위한 산업 추세는 모바일 폰들, 태블릿들, 핸드헬드 컴퓨터들 등과 같은 모바일 및 휴대용 디바이스들을 사용하는 것으로 가고 있다. 이는 이러한 디바이스들 상에 (인공지능, 머신 러닝, 및 딥 러닝 네트워크들에 기초하여) 복잡한 학습 기반 알고리즘들을 전개함에 있어서 장벽이 된다. 이러한 알고리즘들을 전개함에 있어서의 핵심 요소는 단일 프레임을 프로세싱하는데 요구되는 계산들 및 곱셈들의 수(약 수십억 회 계산)이다. 본 개시내용에 의해 생각되는 시스템 및 방법은 성능을 유지하면서도 계산 복잡도를 감소시키는 다수의 기법들을 채용함으로써 CPU 기반 컴퓨터들, 태블릿들, 및 모바일 디바이스들과 같은 낮은 컴퓨테이션 파워를 갖는 디바이스들에서 구현 가능한 해부학적 대상들의 자동 세그먼트화를 제공한다. 그렇게 하기 위해, 해부학적 세그먼트화를 위한 낮은 복잡도 딥 러닝 아키텍처가 해부학적 대상들의 형상을 타원인 것으로서 추정함으로써 이용될 수 있다. 이 관찰은 이미지에서 모든 화소를 예측하는 것과는 대조적으로 세그먼트화 목적들을 위해 타원(68) 파라미터들(중심들(70), 장축들(72), 단축들(74), 및 회전 각도(76))을 예측할 기회를 제공한다. 이러한 아키텍처는 계산 복잡도를 감소시킬뿐만 아니라 해부학적 대상의 검출 및 세그먼트화의 정확도를 또한 증가시킨다.

계산 복잡도에서의 다른 병목현상은 네트워크의 파라미터들의 수치 정밀도에 관련된다. 모든 학습 기반 알고리즘들은 네트워크의 이른바 가중치들을 학습하고 획득하기 위해 훈련 프로세스 동안 훈련되는 것이 요구된다. 통상적으로, 32-비트 부동소수점 숫자들이 가중치들을 위해 사용된다. 그러나, 부동소수점 숫자들의 곱셈은 계산적으로 비싸다. 따라서, 본 개시내용에서는 8-비트 정수 또는 1-비트 이진수들과 같은 더 낮은 정밀도 숫자들의 사용이 가중치들을 나타내기 위해 대신 사용될 수 있다고 생각된다. 이 수정은 계산 수 뿐 아니라 메모리 요건을 상당히 감소시킨다. 도 23은 본 개시내용에 따른 낮은 컴퓨테이션 파워 디바이스들을 사용하는 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서 적어도 하나의 해부학적 대상을 자동으로 세그먼트화하기 위한 방법의 하나의 실시예의 개략도를 예시한다. 도시된 바와 같이, 입력 실시간 이미지(46)는 감소된 수의 이진 가중치들(66)(예컨대, 8-비트 정수들 또는 1-비트 이진수들)을 사용하여 네트워크에 의해 프로세싱되고, 이미지(46)에서의 각각의 해부학적 대상에 대해, 타원(68)이 관심있는 해부학적 대상에 맞도록 하는 중심(70), 장축(72), 단축(74), 및 회전 각도(76)를 가지고 타원(68)이 예측된다.

본 개시내용에서는 두 개의 별개의 단계들에서가 아니라 동시에 해부학적 대상을 자동으로 검출하고 세그먼트화할 수 있는 방법이 또한 생각된다. 도 24를 이제 참조하면, 본 개시내용에 따른 이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서의 적어도 하나의 해부학적 대상의 동시 자동 검출 및 세그먼트화를 위한 방법의 하나의 실시예의 개략도가 예시된다. 예를 들면, 이 방법은 실시간 이미지(46)를 입력하는 단계, 예를 들면 딥 콘볼루션 신경망(60)을 사용하여, 해부학적 유형(62)을 검출하는 단계, 및 알고리즘이 훈련된 후 동시에 세그먼트화 마스크(64)를 제공하는 단계를 포함한다.

본 개시내용의 방법은 딥 러닝 알고리즘들을 채용할 수 있고, 이미지 검출 및 세그먼트화 프로세스가 자동적이며, 강건하며, 정확하고, 효율적이 되도록 검출 및 세그먼트화 둘 다를 하나의 단계에서 허용한다. 이 방법의 개략도가 도 24에 도시된다. 그 알고리즘은 의료 이미지들에서의 저 레벨 화소들을 고 레벨 특징들로 자동으로 변환하고 딥 콘볼루션 신경망들을 사용하여 개념들을 추상화한다. 그것은 그 다음에 이들 추출된 특징들을 사용하여 해부학적 장면 또는 물체를 인식된 장면 또는 물체의 신뢰 수준과 함께 검출한다. 동시에, 장면 또는 물체가 인식되면, 그것은 추가의 프로세싱 및 임상의들에 의한 임상 평가를 위한 의미있는 해부학적 대상들로 세그먼트화될 것이다. 실세계 애플리케이션들에서 네트워크를 전개할 수 있기 위해, 알고리즘은 훈련 프로세스 동안 훈련될 필요가 있다. 그렇게 하기 위해, 데이터는 수집되며, 전문가들에 의해 수동으로 주석달기되고 도 24에서 해부학 유형(62)까지) 알고리즘의 좌측 반쪽을 훈련시키는데 사용되어 특정 해부학적 대상 또는 해부학 유형(62)을 생성시킨다. 그 다음에, 알고리즘의 좌측 반쪽은 변경되지 않고 유지되고 알고리즘의 나머지는 특정 해부학적 대상 또는 해부학 유형(62)을 위한 세그먼트화 마스크들(64)을 제공하도록 미세 튜닝된다. 일단 훈련 프로세스가 행해지면, 알고리즘은 사용자에게 자동으로 검출된 해부학적 대상 또는 해부학 유형과 그것의 각각의 세그먼트화 마스크를 동시에 제공할 것이다.

도 25로 이제 가면, 본 개시내용에서는, 일부 실시예들에서, 프로세서(16)에 제공되는 실시간 초음파 이미지(46)와, 딥 러닝 네트워크를 전개하고 훈련시키기 위한 기초 실측 데이터를 생성하는데 사용되는 이미지들의 데이터세트는 비디오 스트림으로부터 획득될 수 있다는 것이 생각되었다. 본 개시내용에 따른 비디오 스트림 내에서부터 이미지를 식별함으로써 이미지를 프로세서에 제공하는 방법의 하나의 실시예의 흐름도가 도 25에 도시되는데, 방법(300)은 제1 단계의 이미지 소스 취득(302)과, 뒤따르는, 하나 이상의 해부학적 구조체의 딥 신경망 분류와 성취된 해부학적 구조체들 및 신뢰 수준들에 기초한 이벤트들의 생성(304)과, 뒤따르는, 사전 이벤트 및 사후 이벤트 프레임 버퍼링(306)을 수반한다. 그 후, 이벤트는 단계 308에서 도시된 바와 같이 국부적으로 저장될 수 있거나, 또는 이벤트는 단계 310에서 도시된 바와 같이 클라우드 서비스에 송신될 수 있다.

더 구체적으로는, 방법(300)은 딥 러닝 네트워크(예컨대, 딥 신경망)를 전개하기 위해 의료 전문가들에 의해 주석달기된 기초 실측 데이터를 수집하기 위하여 의료 전문가들이 신경 차단 절차들을 수행함에 따라, 의료 전문가들로부터 관심있는 다수의 이미지들을 수집하는 확장가능 방식에 초점을 두며, 주석달기된 이미지들의 피드백 루프는 시스템의 정확도를 향상시키기 위해 시간 경과에 따라 추가적인 기초 실측 데이터로 업데이트될 수 있다. 딥 러닝 네트워크는 그 다음에, 비디오 스트림 또는 초음파 이미징 시스템으로부터 수집된 이미지들을 제공하는 임의의 다른 방식으로부터, 관심있는 적어도 하나의 해부학적 대상을 식별하는데 사용된다. 딥 러닝 네트워크는 특정 비디오 스트림으로부터 관심있는 프레임들을 원격으로 식별할 수 있으며, 프레임들은 수집되거나, 국부적으로 저장되거나 또는 클라우드 서비스로 송신된 다음, 특정한 신뢰 임계값 내에서, 관심있는 적어도 하나의 특정 해부학적 대상들을 식별하기 위해 딥 러닝 네트워크를 사용하여 분석된다. 이 방법은 해부학적 대상의 식별에 이르기까지 기록되는 비디오 프레임들과 관심있는 해부학적 대상을 식별한 직후 기록되는 비디오 프레임들이 캡처되는 것을 보장하기 위해 사전-이벤트 버퍼링 단계와 사후-이벤트 버퍼링 단계를 포함한다. 게다가, 이 방법에서는 기초 실측 데이터를 국부적으로 또는 클라우드 서비스 상에 저장하는 능력이 생각되는데, 그 기초 실측 데이터는 딥 러닝 네트워크를 개선하기 위한 주석 및/또는 추가적인 분석을 위해 역으로 송신될 수 있다.

예를 들면, 도 26에 도시된 바와 같이, 의료 전문가가 비디오 스트림에서 적어도 하나의 해부학적 대상을 식별하고 주석달기할 수 있다. 이러한 방법(400)은 이미지 소스 취득(402), 프레임간 화소 움직임들의 광학적 흐름(optical flow) 계산을 수행하는 것(404), 프레임들의 비디오 스트림 전체에 걸친 화소 움직임들을 클러스터링하기 위한 비감독식 학습(406), 및 화소 움직임들(408)의 클러스터들의 인간 라벨표시의 단계들을 수반하며, 클러스터들은 그 다음에 단계 410에서 딥 신경망 내에서 감독식 학습을 위해 사용된다. 예를 들면, 광학적 흐름을 사용하여, 화소들의 프레임 간 움직임과 뒤따르는 비감독식 학습 프로세스가 화소들의 움직임을 그룹으로 클러스터링하는데 사용될 수 있으며, 그룹들은 논리적 라벨을 제공하기 위해 프레임들의 범위 전체에 걸쳐 식별되고 사용자(예컨대, 의료 전문가)에게 제공되며, 라벨표시된 프레임들은 그 다음에 딥 신경망에 의해 감독식 러닝 프로세스에서 사용된다. 통상적으로, 광학적 흐름을 사용하는 것은 입력 이미지들의 반점이 있는 성질로 인해 초음파 이미징 시스템들로부터 획득된 이미지들로 양호한 결과들을 성취하기 어렵게 한다. 이와 같이, 비감독식 학습 환경에서의 클러스터링의 사용은 관련 없는 출력들을 제거하고 화소 움직임을 더 논리적인 그루핑들, 이를테면 공통 벡터 경로를 따라 이동하는 화소들의 그룹으로 클러스터링하는데 사용될 수 있으며, 이는 딥 신경망을 이용할 때 정확도가 개선되게 할 수 있다.

도 27을 이제 참조하면, 본 발명에서는 실시간 초음파 이미지로부터 위팔신경얼기(BP)와 같은 해부학적 대상 주위의 관심 영역을 자동으로 국부화하고 세그먼트화하거나 또는 추출하기 위한 방법 및 시스템이 또한 생각된다. 구체적으로는, 방법(500)은 실시간 초음파 이미지(46)를 획득하는 단계와, 해부학적 대상(30) 및/또는 주변 조직(32)의 자동 국부화(49)에서의 사용을 위해 실시간 초음파 이미지(46)로부터 관심 영역(80)을 자동으로 선택하는 단계를 포함한다. 실시간 초음파 이미지(46)로부터 관심 영역(80)을 추출함으로써, 결과적인 관심 영역(80)은 원래의 시야보다 사이즈가 더 작지만 해부학적 대상(30)과, 주변 조직(32)의 일부를 여전히 포함하는 크로핑된 이미지(502)로서 출력된다. 크로핑된 이미지(502)는 더 쉽게 프로세싱되고, 본 발명에 의해 생각되는 방법들 및 시스템들은 관심있는 해부학적 대상(30)(예컨대, 위팔신경얼기)의 세그먼트화(50) 동안 본 발명의 딥 러닝 네트워크들 또는 알고리즘들의 입력으로서 크로핑된 이미지(502)를 높은 정확도로 사용할 수 있다. 예를 들어, 본 발명자들은 목갈비근사이 위팔신경얼기가 주변 조직들에 비해 통상적으로 더 작기 때문에 그리고, 예를 들면 이미지 취득 조건들에 따라 달라지는, 다양한 배향들 및 형상들을 가질 수 있기 때문에, 위팔신경얼기를 높은 정확도로 세그먼트화하는 것이 어려울 수 있다는 것을 발견하였다. 그러나, 딥 러닝 네트워크 또는 알고리즘을 통해 위팔신경얼기를 자동으로 로케이팅 및 세그먼트화하기 전에 위팔신경얼기 주위의 관심 영역을 추출하는 것은 정확도를 개선시킬 수 있는데, 왜냐하면 이미지의 시야가 더 작기 때문이다.

도 28로 이제 가면, 본 발명에서는, 관심 지역이 원래의 이미지에서 검출되며, 원래의 이미지의 깨끗한, 크로핑된 버전이 이미지 주석달기들, 딥 러닝 등과 같은 후속 단계들에서 사용되는 자동 데이터 클리닝을 위한 방법이 생각되었다. 예를 들면, 방법(600)에서는 단계 602에서의 해부학적 대상 및 주변 조직의 원래의 초음파 이미지(46)를 획득하는 것, 단계 604에서의 원래의 초음파 이미지로부터 관심 지역(82)을 자동으로 추출하거나 또는 크로핑하는 것, 및 그 다음의, 주석달기, 딥 러닝, 국부화, 세그먼트화 등과 같은 추가의 분석을 위한 606에서의 크로핑된 관심 지역(82)을 출력하는 것이 생각된다. 초음파 이미지를 프로세서에 제공하기 전에 본 발명의 시스템에 의해 자동으로 수행되는 이러한 데이터 클리닝은 본 명세서에서 설명되는 딥 러닝 기반 방법들을 위한 데이터 파이프라인을 가속화하는 것을 도울 수 있다.

구체적으로는, 본 발명에 의해 생각되는 데이터 클리닝은 학습 기반 방법들에 요구되는 의료 이미지들의 분석과 함께하는 수많은 문제들을 해결할 수 있다. 데이터 클리닝은 해부학적 검출 및 세그먼트화와 같은 의료 이미지 분석에서 유용한데, 왜냐하면, 통상적으로, 다양한 의료 디바이스들로부터 취해지는 다양한 환자들의 큰 데이터세트의 의료 이미지들이 학습 기반 방법에서의 사용을 위한 데이터세트를 준비하기 위해 수집되고 데이터 파이프라인에 피드되기 때문이다. 수집된 이미지들은 검출되며, 로케이팅되고, 세그먼트화될 해부학적 대상을 포함하는 특정 관심 지역을 정의할 수 있는 환자들의 해부학적 시각화를 포함할 수 있다. 덧붙여서, 텍스트 정보(예컨대, 날짜, 시간, 세팅들, 로고들 등)는 관심 지역 주위에 존재할 수 있지만 그 정보는 본 발명의 학습 기반 방법들에 의해 요구되는 이미지 분석에 필요하지 않고, 거기다 이 정보는 데이터 저장 공간을 차지하고 프로세싱 시간들을 늦출 수 있다. 이와 같이, 관심 지역 주위의 텍스트 정보와 같은 추가적인 정보는 이미지들로부터 제거될 수 있다. 게다가, 수동 기반의 크로핑 방법들과는 대조적으로, 데이터 클리닝의 목적을 위해 본 발명에 의해 생각되는 크로핑은 자동으로 행해질 수 있으며, 이는 오차들의 양을 감소시키며, 시간을 절약하고, 수동 크로핑보다 더 확장 가능하다.

원래의 초음파 이미지들로부터 추가적인 정보를 자동으로 크로핑하기 위해, 이미지 프로세싱 알고리즘들(예컨대, 세기 임계값지정, 변형가능 모델들 등)이 관심 지역을 자동으로 발견하고 그것을 원래의 초음파 이미지들에서부터 크로핑하는데 사용될 수 있다. 결과적인 출력은 이미지 주석달기, 훈련, 국부화, 세그먼트화 등과 같은 데이터 파이프라인에서 후속 단계들을 위해 사용될 수 있는 원래의 초음파 이미지의 클린 버전이다. 그 알고리즘은 계산 복잡도가 낮고 자동적이며, 고속이고, 정확하고, 큰 데이터세트들에 대해 짧은 시간에 태스크를 수행하기 위해 일반적인 컴퓨터 상에서 실행될 수 있다. 그 알고리즘은 화소 레벨에서 원래의 이미지로부터 관심 지역을 분리하고, 화소들에서의 차이의 결정은 화소 값들의 비교가 관심 지역 주위에 경계를 그리는 것을 허용하여서 관심 지역은 원래의 이미지로부터 자동으로 크로핑되고 후속 단계들에서 사용될 수 있다.

이 기재된 명세서는 최선의 실시예를 포함하는 본 발명을 개시하기 위해, 그리고 또 본 기술분야의 통상의 기술자가 임의의 디바이스들 또는 시스템들을 제조 및 이용하는 것과 임의의 통합된 방법들을 수행하는 것을 포함하여 본 발명을 실용화하는 것을 가능하게 하기 위해 예들을 이용한다. 본 발명의 특허가능한 범위는 청구항들에 의해 정의되고, 본 기술분야의 통상의 기술자들에 대해 발생하는 다른 예들을 포함할 수 있다. 이러한 다른 예들은 그것들이 청구항들의 문언적 표현(literal language)과는 다르지 않은 구조적 엘리먼트들을 포함한다면, 또는 그것들이 청구항들의 문언적 표현들과는 대단찮은 차이들을 갖는 동등한 구조적 엘리먼트들을 포함한다면, 청구항들의 범위 내에 있도록 의도된다.

Claims

이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서 적어도 하나의 해부학적 대상의 자동 검출, 국부화, 및 세그먼트화를 위한 방법으로서,
상기 해부학적 대상 및 주변 조직의 이미지를 프로세서에 제공하는 단계;
상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 상기 주변 조직을 자동으로 검출하기 위해 하나 이상의 콘볼루션 신경망을 포함하는 파라미터 공간 딥 러닝 네트워크를 전개하고 훈련시키는 단계;
상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 상기 주변 조직을, 추가적인 콘볼루션 신경망을 통해, 자동으로 로케이팅하고 세그먼트화하는 단계;
상기 이미지 상의 상기 해부학적 대상 및 상기 주변 조직에 자동으로 라벨표시하는(labeling) 단계; 및
라벨표시된 이미지를 사용자에게 디스플레이하는 단계
를 포함하는, 방법.
제1항에 있어서, 상기 적어도 하나의 해부학적 대상 및 주변 조직은 위팔신경얼기, 목갈비사이근, 목빗근, 중간목갈비근, 앞목갈비근, 빗장뼈위근, 빗장뼈아래근, 겨드랑근, 허리신경얼기, 엉덩근막, 넙다리신경, 좌골신경, 외전근관, 오금신경, 오금동맥, 오금근, 두렁정맥, 두렁신경, 갈비사이공간, 가로복부면, 또는 가슴척추옆공간 중 적어도 하나를 포함하는, 방법.
제1항에 있어서, 상기 이미지는 정규화된 이미지인, 방법.
제3항에 있어서, 상기 정규화된 이미지는 사이즈, 세기, 콘트라스트, 텍스처, 또는 이들의 조합을 조정하기 위해 사전-프로세싱되는, 방법.
제1항에 있어서, 상기 이미지는 비디오 스트림에서의 프레임으로부터 제공되는, 방법.
제5항에 있어서, 상기 프레임은 국부적으로 또는 클라우드 서비스 상에 저장되는, 방법.
제1항에 있어서, 상기 해부학적 대상을 자동으로 검출하는 단계와 상기 해부학적 대상을 자동으로 로케이팅하고 세그먼트화하는 단계는 단일 단계로 동시에 일어나는, 방법.
제1항에 있어서, 상기 해부학적 대상을 자동으로 검출하는 단계와 상기 해부학적 대상을 자동으로 로케이팅하고 세그먼트화하는 단계는 중앙 프로세싱 유닛(CPU) 기반 컴퓨터, 태블릿, 또는 모바일 디바이스를 이용하는, 방법.
제1항에 있어서, 상기 해부학적 대상을 자동으로 로케이팅하고 세그먼트화하는 단계는 상기 해부학적 대상의 형상을 타원으로서 추정하는 단계를 수반하는, 방법.
제1항에 있어서, 상기 하나 이상의 콘볼루션 신경망, 상기 추가적인 콘볼루션 신경망, 또는 양쪽 모두는 8-비트 정수 또는 1-비트 이진수 가중치들을 이용하는, 방법.
제1항에 있어서, 기초 실측 데이터(ground truth data)를 통해 상기 해부학적 대상 및 주변 조직을 포함하는 상기 이미지의 상기 파라미터 공간을 자동으로 검출하기 위해 상기 딥 러닝 네트워크를 훈련시키는 단계를 더 포함하는, 방법.
제11항에 있어서, 상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 주변 조직을 자동으로 검출하기 위해 상기 딥 러닝 네트워크를 전개하고 훈련시키는 단계는,
복수의 환자들로부터 상기 해부학적 대상 및 주변 조직의 이미지들의 데이터세트를 스캔하고 수집하는 단계,
상기 기초 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 상기 이미지들의 데이터세트에 주석달기하는(annotating) 단계,
상기 이미지들의 데이터세트 및 상기 기초 실측 데이터를 훈련 데이터세트 및 검증 데이터세트로 나누는 단계, 및
상기 딥 러닝 네트워크를 훈련시키기 위해 상기 훈련 데이터세트를 이용하는 단계
를 더 포함하는, 방법.
제12항에 있어서, 사이즈, 세기, 콘트라스트, 텍스처, 또는 이들의 조합을 조정하기 위해 상기 이미지들의 데이터세트를 사전-프로세싱함으로써 상기 이미지들의 데이터세트를 정규화하는 단계를 더 포함하는, 방법.
제12항에 있어서, 상기 이미지들의 데이터세트는 다수의 데이터 이미징 시스템들로부터 수집되는, 방법.
제12항에 있어서, 상기 이미지들의 데이터세트는 적어도 하나의 비디오 스트림으로부터 수집된 프레임들을 포함하는, 방법.
제15항에 있어서, 상기 프레임들은 국부적으로 또는 클라우드 서비스 상에 저장되는, 방법.
제15항에 있어서, 상기 기초 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 상기 이미지들의 데이터세트에 주석달기하는 단계는,
프레임간 화소 움직임들의 광학적 흐름 계산을 수행하는 단계,
비감독식 학습(unsupervised learning)이 상기 적어도 하나의 비디오 스트림 전체에 걸친 상기 프레임간 화소 움직임들을 그룹들로 클러스터링하는 것을 용이하게 하는 단계, 및
프레임들의 범위 전체에 걸친 식별 및 라벨표시를 위해 화소 움직임 그룹들을 사용자에게 제공하는 단계
를 포함하는, 방법.
제12항에 있어서, 상기 딥 러닝 네트워크를 훈련시키기 위해 상기 훈련 데이터세트를 이용하는 단계는 상기 딥 러닝 네트워크의 출력과 상기 기초 실측 데이터 사이의 오차를 최소화하기 위해 비용 함수를 최적화하는 단계를 더 포함하는, 방법.
제18항에 있어서, 상기 오차를 최소화하기 위해 상기 비용 함수를 최적화하는 단계는, 상기 기초 실측 데이터의 부분들을 반복적으로 프로세싱하고 상기 딥 러닝 네트워크의 상기 출력과 상기 기초 실측 데이터 사이의 상기 오차에 기초하여 상기 딥 러닝 네트워크의 하나 이상의 파라미터를 조정하는 확률적 경사 하강(stochastic gradient descent)(SGD) 알고리즘을 이용하는 단계를 더 포함하는, 방법.
제19항에 있어서, 상기 비용 함수를 최적화한 후, 상기 검증 데이터에 대한 예측값들을 자동으로 제공하기 위해 실시간으로 상기 딥 러닝 네트워크를 이용하는 단계와 상기 예측값들과 상기 기초 실측 데이터를 비교하는 단계를 더 포함하는, 방법.
제12항에 있어서, 상기 기초 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 상기 이미지들의 데이터세트에 주석달기하는 단계는, 상기 데이터세트의 각각의 이미지에서 상기 해부학적 대상 및 주변 조직을 수동으로 식별하고 주석달기하는 단계를 더 포함하는, 방법.
제1항에 있어서, 상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 상기 주변 조직을 자동으로 로케이팅하고 세그먼트화하는 단계는, 의미론적 세그먼트화(semantic segmentation)를 통해 상기 해부학적 대상 및 상기 주변 조직을 세그먼트화하는 단계를 더 포함하는, 방법.
제1항에 있어서, 상기 해부학적 대상 및 상기 주변 조직을 포함하는 상기 이미징 시스템의 상기 파라미터 공간을 자동으로 검출하기 위해 오프라인으로 상기 딥 러닝 네트워크를 초기에 훈련시키는 단계를 더 포함하는, 방법.
제23항에 있어서, 상기 해부학적 대상 및 상기 주변 조직을 포함하는 상기 이미징 시스템의 상기 파라미터 공간을 자동으로 검출하기 위해 온라인으로 상기 딥 러닝 네트워크를 지속적으로 훈련시키는 단계를 더 포함하는, 방법.
제1항에 있어서, 상기 이미지 상의 상기 해부학적 대상 및 상기 주변 조직에 라벨표시하는 단계는, 상기 이미지 상에서 상기 해부학적 대상 및 상기 주변 조직 중 적어도 하나를 아웃라이닝(outlining) 또는 셰이딩(shading)하는 단계 또는 상기 적어도 하나의 해부학적 대상 및 상기 주변 조직의 각각의 맨 위에 설명 라벨을 오버레이하는 단계 중 적어도 하나의 단계를 더 포함하는, 방법.
제1항에 있어서, 추가적인 콘볼루션 네트워크를 통해 상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 상기 주변 조직을 자동으로 로케이팅하고 세그먼트화하는 단계는, 상기 이미지로부터 상기 해부학적 대상 주위의 관심 영역을 추출하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 해부학적 대상 및 주변 조직의 상기 이미지는 상기 이미지를 상기 프로세서에 제공하기 전에 자동으로 크로핑되는, 방법.
이미징 시스템으로서,
하나 이상의 동작을 수행하도록 구성되는 적어도 하나의 프로세서 - 상기 하나 이상의 동작은,
적어도 하나의 해부학적 대상 및 주변 조직의 이미지를 수신하는 동작,
상기 이미지의 파라미터 공간의 해부학적 대상 및 주변 조직을 자동으로 검출하기 위해 하나 이상의 콘볼루션 신경망을 갖는 파라미터 공간 딥 러닝 네트워크를 전개하고 훈련시키는 동작,
상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 상기 주변 조직을, 추가적인 딥 러닝 네트워크를 통해, 자동으로 로케이팅하고 세그먼트화하는 동작, 및
상기 이미지 상의 상기 해부학적 대상 및 상기 주변 조직에 자동으로 라벨표시하는 동작
을 포함함 -; 및
라벨표시된 이미지를 사용자에게 디스플레이하도록 구성되는 사용자 디스플레이
를 포함하는, 이미징 시스템.
제28항에 있어서, 상기 이미징 시스템은 초음파 이미징 시스템, 컴퓨터 단층촬영(CT) 스캐너, 또는 자기 공명 이미징(MRI) 스캐너 중 적어도 하나를 포함하는, 이미징 시스템.
제28항에 있어서, 상기 이미지는 정규화된 이미지인, 이미징 시스템.
제30항에 있어서, 상기 정규화된 이미지는 사이즈, 세기, 콘트라스트, 텍스처, 또는 이들의 조합을 조정하기 위해 사전-프로세싱되는, 이미징 시스템.
제28항에 있어서, 상기 이미지는 비디오 스트림에서의 프레임으로부터 제공되는, 이미징 시스템.
제32항에 있어서, 상기 프레임은 국부적으로 또는 클라우드 서비스 상에 저장되는, 이미징 시스템.
제28항에 있어서, 상기 해부학적 대상을 자동으로 검출하는 동작과 상기 해부학적 대상을 자동으로 로케이팅하고 세그먼트화하는 동작은 단일 단계로 동시에 일어나는, 이미징 시스템.
제28항에 있어서, 상기 해부학적 대상을 자동으로 검출하는 동작과 상기 해부학적 대상을 자동으로 로케이팅하고 세그먼트화하는 동작은 중앙 프로세싱 유닛(CPU) 기반 컴퓨터, 태블릿, 또는 모바일 디바이스를 이용하는, 이미징 시스템.
제28항에 있어서, 상기 해부학적 대상을 자동으로 로케이팅하고 세그먼트화하는 동작은 상기 해부학적 대상의 형상을 타원으로서 추정하는 동작을 수반하는, 이미징 시스템.
제28항에 있어서, 상기 파라미터 공간 딥 러닝 네트워크, 상기 추가적인 딥 러닝 네트워크, 또는 양쪽 모두는 8-비트 정수 또는 1-비트 이진수 가중치들을 이용하는, 이미징 시스템.
제28항에 있어서, 상기 추가적인 딥 러닝 네트워크를 통해 상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 상기 주변 조직을 상기 자동으로 로케이팅하고 세그먼트화하는 동작은, 상기 이미지로부터 상기 해부학적 대상 주위의 관심 영역을 추출하는 동작을 포함하는, 이미징 시스템.
제28항에 있어서, 상기 시스템은 상기 이미지가 상기 적어도 하나의 프로세서에 의해 수신되기 전에 상기 적어도 하나의 해부학적 대상 및 주변 조직의 상기 이미지를 자동으로 크로핑하도록 구성되는, 이미징 시스템.
이미징 시스템에 의해 생성된 이미지의 파라미터 공간에서 적어도 하나의 해부학적 대상의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 방법으로서,
상기 해부학적 대상 및 주변 조직의 이미지를 프로세서에 제공하는 단계;
상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 상기 주변 조직을 자동으로 검출하기 위해 파라미터 공간 딥 러닝 네트워크를 전개하고 훈련시키는 단계;
상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 상기 주변 조직을, 하나 이상의 딥 러닝 알고리즘을 통해, 자동으로 로케이팅하고 의미론적으로 세그먼트화하는 단계;
상기 이미지 상의 상기 해부학적 대상 및 상기 주변 조직에 자동으로 라벨표시하는 단계; 및
라벨표시된 이미지를 사용자에게 디스플레이하는 단계
를 포함하는, 방법.
제40항에 있어서, 상기 파라미터 공간 딥 러닝 네트워크는 하나 이상의 콘볼루션 신경망 또는 하나 이상의 순환 신경망 중 적어도 하나를 포함하는, 방법.
제40항에 있어서, 상기 적어도 하나의 해부학적 대상 및 주변 조직은 위팔신경얼기, 목갈비사이근, 목빗근, 중간목갈비근, 앞목갈비근, 빗장뼈위근, 빗장뼈아래근, 겨드랑근, 허리신경얼기, 엉덩근막, 넙다리신경, 좌골신경, 외전근관, 오금신경, 오금동맥, 오금근, 두렁정맥, 두렁신경, 갈비사이공간, 가로복부면, 또는 가슴척추옆공간 중 적어도 하나를 포함하는, 방법.
제40항에 있어서, 상기 이미지는 정규화된 이미지인, 방법.
제43항에 있어서, 상기 정규화된 이미지는 사이즈, 세기, 콘트라스트, 텍스처, 또는 이들의 조합을 조정하기 위해 사전-프로세싱되는, 방법.
제40항에 있어서, 상기 이미지는 비디오 스트림에서의 프레임으로부터 제공되는, 방법.
제45항에 있어서, 상기 프레임은 국부적으로 또는 클라우드 서비스 상에 저장되는, 방법.
제40항에 있어서, 상기 해부학적 대상을 자동으로 검출하는 단계와 상기 해부학적 대상을 자동으로 로케이팅 및 세그먼트화하는 단계는 단일 단계로 동시에 일어나는, 방법.
제40항에 있어서, 상기 해부학적 대상을 자동으로 검출하는 단계와 상기 해부학적 대상을 자동으로 로케이팅 및 세그먼트화하는 단계는 중앙 프로세싱 유닛(CPU) 기반 컴퓨터, 태블릿, 또는 모바일 디바이스를 이용하는, 방법.
제40항에 있어서, 상기 해부학적 대상을 자동으로 로케이팅하고 세그먼트화하는 단계는 상기 해부학적 대상의 형상을 타원으로서 추정하는 단계를 수반하는, 방법.
제36항에 있어서, 상기 파라미터 공간 딥 러닝 네트워크, 상기 하나 이상의 딥 러닝 알고리즘, 또는 양쪽 모두는 8-비트 정수 또는 1-비트 이진수 가중치들을 이용하는, 방법.
제40항에 있어서, 기초 실측 데이터를 통해 상기 해부학적 대상 및 주변 조직을 포함하는 상기 이미지의 상기 파라미터 공간을 자동으로 검출하기 위해 상기 파라미터 공간 딥 러닝 네트워크를 훈련시키는 단계를 더 포함하는, 방법.
제51항에 있어서, 상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 주변 조직을 자동으로 검출하기 위해 상기 파라미터 공간 딥 러닝 네트워크를 전개하고 훈련시키는 단계는,
복수의 환자들로부터 상기 해부학적 대상 및 주변 조직의 이미지들의 데이터세트를 스캔하고 수집하는 단계,
상기 기초 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 상기 이미지들의 데이터세트에 주석달기하는 단계,
상기 이미지들의 데이터세트 및 상기 기초 실측 데이터를 훈련 데이터세트 및 검증 데이터세트로 나누는 단계, 및
상기 하나 이상의 딥 러닝 알고리즘을 훈련시키기 위해 상기 훈련 데이터세트를 이용하는 단계
를 더 포함하는, 방법.
제52항에 있어서, 사이즈, 세기, 콘트라스트, 텍스처, 또는 이들의 조합을 조정하기 위해 상기 이미지들의 데이터세트를 사전-프로세싱함으로써 상기 이미지들의 데이터세트를 정규화하는 단계를 더 포함하는, 방법.
제52항에 있어서, 상기 이미지들의 데이터세트는 다수의 데이터 이미징 시스템들로부터 수집되는, 방법.
제52항에 있어서, 상기 이미지들의 데이터세트는 적어도 하나의 비디오 스트림으로부터 수집된 프레임들을 포함하는, 방법.
제55항에 있어서, 상기 프레임들은 국부적으로 또는 클라우드 서비스 상에 저장되는, 방법.
제55항에 있어서, 상기 기초 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 상기 이미지들의 데이터세트에 주석달기하는 단계는,
프레임간 화소 움직임들의 광학적 흐름 계산을 수행하는 단계,
비감독식 학습이 상기 적어도 하나의 비디오 스트림 전체에 걸친 상기 프레임간 화소 움직임들을 그룹들로 클러스터링하는 것을 용이하게 하는 단계, 및
프레임들의 범위 전체에 걸친 식별 및 라벨표시를 위해 화소 움직임 그룹들을 사용자에게 제공하는 단계
를 포함하는, 방법.
제52항에 있어서, 상기 파라미터 공간 딥 러닝 네트워크를 훈련시키기 위해 상기 훈련 데이터세트를 이용하는 단계는, 상기 하나 이상의 딥 러닝 알고리즘의 출력과 상기 기초 실측 데이터 사이의 오차를 최소화하기 위해 비용 함수를 최적화하는 단계를 더 포함하는, 방법.
제40항에 있어서, 하나 이상의 딥 러닝 알고리즘을 통해 상기 이미지의 상기 파라미터 공간의 상기 해부학적 대상 및 상기 주변 조직을 자동으로 로케이팅하고 세그먼트화하는 단계는, 상기 이미지로부터 상기 해부학적 대상 주위의 관심 영역을 추출하는 단계를 포함하는, 방법.
제40항에 있어서, 상기 해부학적 대상 및 주변 조직의 상기 이미지는 상기 이미지를 상기 프로세서에 제공하기 전에 자동으로 크로핑되는, 방법.