KR20220159402A

KR20220159402A - 다중 이미징 방식에서의 관심 영역의 연계를 위한 시스템 및 방법

Info

Publication number: KR20220159402A
Application number: KR1020227036012A
Authority: KR
Inventors: 션 에스티. 피에르; 크리스토프 프라쉬니
Original assignee: 홀로직, 인크.; 수퍼소닉 이매진
Priority date: 2020-03-27
Filing date: 2021-03-25
Publication date: 2022-12-02
Also published as: US20230103969A1; EP4125601A1; AU2021242290A1; WO2021195370A1; CN115334973A; JP2023519878A

Abstract

유방 조직에서 관심 영역을 식별하기 위한 방법 및 시스템은 제1 이미징 방식(예를 들어, x선 이미징)을 사용하여 유방 조직을 이미징하는 동안 식별된 타겟 병변이 제2 이미징 방식(예를 들어, 초음파 이미징)을 사용하여 식별되는 것을 확인하기 위해 인공 지능을 활용한다. 병변 매칭 엔진을 운영하는 컴퓨팅 시스템은 추가 분석을 위해 병변이 식별된 x선 이미지 및 해당 초음파 이미지의 경우에 대해 훈련된 머신 러닝 분류기 알고리즘을 활용한다. 병변 매칭 엔진은 타겟 병변이 잠재적 병변과 동일할 가능성을 결정하기 위해 x선 이미징으로 식별된 타겟 병변과 초음파 이미징으로 식별된 잠재적 병변을 분석한다. 병변 매치에 대한 신뢰 수준 표시자는 헬스케어 제공자가 유방 조직의 병변을 찾는 데 도움이 되도록 컴퓨팅 장치의 디스플레이에 제시된다.

Description

다중 이미징 방식에서의 관심 영역의 연계를 위한 시스템 및 방법

본 출원은 다중 이미징 방식에서의 관심 영역의 연계를 위한 시스템 및 방법에 관한 것이다.

본 출원은 2021년 3월 24일에 출원된 PCT 국제특허출원으로서, 2020년 3월 27일에 출원된, 미국 가특허 출원 일련 번호 63/000,707에 대한 우선권의 이익을 주장하고, 그 전체 개시 내용은 그 전체가 참고로 포함된다.

의료 이미징(medical imaging)은 환자의 내부 구조를 시각화하는 비침습적 방법(non-invasive method)을 제공한다. 시각화 방법을 사용하여 환자의 암을 선별하고 진단할 수 있다. 예를 들어, 조기 검진은 암이 될 수 있는 유방(breast) 내 병변(lesion)을 발견하여 질병의 초기 단계에서 치료가 이루어질 수 있도록 한다.

맘모그라피(Mammography) 및 단층 합성(tomosynthesis)은 유방 조직을 시각화하기 위해 x선 방사선을 사용한다. 이러한 기술은 잠재적인 암 병변(cancerous lesion)에 대해 환자를 선별하는 데 종종 사용된다. 전통적인 맘모그람(mammogram)은 다양한 각도에서 유방의 2차원 이미지를 획득하는 것을 포함한다. 단층 합성은 유방의 전체 두께를 통해 유방의 개별 층(discrete layer) 또는 슬라이스(slice) 각각인 복수의 x선 이미지를 생산한다. 단층 합성은 유방의 3차원 시각화를 결합한다. 맘모그라피와 단층 합성은 일반적으로 환자가 서 있고 환자의 유방 조직이 압박을 받고 있는 동안 수행된다.

병변이 발견되면, 진단 초음파(diagnostic ultrasound)는 환자에게 종양(tumor)이 있는지 여부를 결정하는 다음 단계가 될 수 있다. 초음파는 일반적으로 압전 변환기(piezoelectric transducer)에 의해 생산되는 음파(sound wave)를 사용하여 환자의 조직을 이미지화한다. 초음파 이미징은 고형 덩어리(solid mass)를 더 쉽게 식별할 수 있는 조직의 다른 보기를 제공한다. 초음파 프로브(ultrasound probe)는 신체로 이동하고 환자의 다른 조직 사이의 층에서 부분적으로 반사되는 호 모양(arc-shaped)의 음파를 생산하여 음파의 초점을 맞춘다. 반사된 음파는 변환기(transducer)에 의해 검출되고 조직의 초음파 이미지를 형성하기 위해 초음파 스캐너에 의해 처리될 수 있는 전기 신호로 변환된다. 초음파는 일반적으로 환자가 바로누운 자세(supine position)로 있고 환자의 유방 조직이 압박을 받고 있지 않은 상태에서 수행된다.

진단 초음파 이미징 절차 동안 기술자와 방사선 전문의는 종종 x선 이미징 중에 이전에 식별된 병변을 탐색하고 찾는 데 어려움을 겪는다. 전자는 환자가 똑바로 서서 유방 조직을 압박하고 후자는 환자가 누운 상태에서 유방 조직이 압박 중이 하니기 때문에 x선 이미징에서 병변의 위치를 초음파 이미징과 연관시키는 것은 어렵다. 또한, 초음파 이미징은 대비 수준이 다르고 x선 이미징과 모양이 상이하다. 기술이 발전함에 따라 x선 이미징 촬영 절차에서 발견되는 병변이 점점 작아지고 있어서, 초음파 이미지에서 작은 병변을 찾기가 더 어렵게 만들고 있다.

본 개시는 이러한 배경에 대하여 이루어진다. 기술 및 개선 사항이 여기에 제공된다.

본 개시의 예는 유방 내에서 관심 영역을 찾는 방법에 관한 것이다. 유방 내의 타겟 병변(target lesion)의 위치의 표시는 컴퓨팅 장치(computing device)에서 수신된다. 타겟 병변은 제1 이미징 방식(first imaging modality)을 사용하여 유방 이미징 동안 식별되었다. 제2 이미징 방식(second imaging modality)으로 유방 이미지를 얻고 이미지에서 잠재적 병변(potential lesion)을 식별한다. 타겟 병변을 포함하는 제1 이미지는 인공 지능을 사용하여 잠재적 병변을 포함하는 제2 이미지와 비교하기 위해 컴퓨팅 시스템(computing system)에서 동작하는 병변 매칭 엔진(lesion matching engine)으로 분석된다. 잠재적 병변이 타겟 병변에 해당할 확률이 결정되고 신뢰도 수준의 표시자(indicator)가 그래픽 사용자 인터페이스(graphical user interface)에 디스플레이되도록 출력된다.

다른 측면에서, 병변 식별 시스템(lesion identification system)은 처리 장치(processing device) 및 처리 장치에 의해 실행될 때 작업의 수행을 용이하게 하는 명령(instruction)을 저장하는 메모리(memory)를 포함한다. 동작은: 유방의 x선 이미지에 액세스하는 단계 - x선 이미지는 시각적 마커(visual marker)로 표시된 식별된 병변(lesion)을 포함함 -; 유방의 초음파 이미지를 수신하는 단계 - 초음파 이미지는 잠재적 병변의 표시를 포함함 -; 인공지능 병변 분류기(artificial intelligence lesion classifier)를 사용하여 잠재적 병변 및 식별된 병변을 분석하는 단계; 초음파 이미지의 잠재적 병변이 x선 이미지의 식별된 병변과 매치할 가능성을 나타내는 신뢰도 점수(confidence score)를 생성하는 단계; 및 그래픽 사용자 인터페이스(graphical user interface) 상에 신뢰도 점수와 연관된 출력을 디스플레이하는 단계를 포함한다.

또 다른 측면에서, 비일시적 기계 판독 가능 저장 매체(non-transitory machine-readable storage medium)는 프로세서에 의해 실행될 때 동작의 수행을 용이하게 하는 실행 가능한 명령(executable instruction)을 저장한다. 동작은: 데이터 저장소로부터 타겟 병변에 대한 데이터를 획득하는 단계 - 여기서 데이터는 x선 이미징으로 획득되었고 적어도 타겟 병변의 이미지 및 유방 내 타겟 병변의 위치에 대한 좌표를 포함함 -; 초음파 이미징에 의해 획득된 유방의 이미지를 기록하는 단계; 타겟 병변의 좌표에 기초하여 초음파에 의해 획득된 유방의 기록된 이미지에서 일반적인 관심 영역을 식별하는 단계; 일반적인 관심 영역에서 잠재적 병변을 식별하는 단계; 인공지능 병변 분류기를 사용하여, 상기 잠재적 병변을 상기 타겟 병변과 비교하고, 상기 잠재적 병변이 타겟 병변에 대응한다는 신뢰도를 결정하기 위해 잠재적 병변을 분석하는 단계; 및 그래픽 사용자 인터페이스 상에 신뢰도의 수준의 표시자를 출력하는 단계를 포함한다.

다른 측면에서, 병변 식별 시스템은 적어도 하나의 광학 카메라, 프로젝터, 처리 장치, 및 처리 장치에 의해 실행될 때 작업의 수행을 용이하게 하는 명령을 저장하는 메모리를 포함한다. 동작은 적어도 하나의 광학 카메라를 사용하여 환자의 유방의 적어도 하나의 광학 이미지를 캡처하는 단계; 유방의 적어도 하나의 단층 합성 이미지(tomosynthesis image)에 액세스하는 단계; 적어도 하나의 단층 합성 이미지에서 타겟 병변의 표시를 수신하는 단계; 영역 매칭(region matching)을 위한 인공 지능 알고리즘(artificial intelligence algorithm) 및 비강성 변형 모델(non-rigid deformable model)을 분석하여 적어도 하나의 광학 이미지와 유방의 적어도 하나의 단층 합성 이미지를 공동 등록하는 단계; 공동 등록 및 타겟 병변의 표시에 기초하여 확률 맵(probability map)을 생성하는 단계 - 여기서 맵은 타겟 병변이 유방 상의 복수의 지점 각각에 위치될 가능성을 표시함 -; 및 프로젝터를 사용하여 확률 맵을 유방에 투영하는 단계를 포함한다.

하나 이상의 기술의 세부 사항은 첨부 도면 및 아래의 설명에 설명되어 있다. 이러한 기술의 다른 특징, 목적 및 이점은 설명, 도면 및 청구범위에서 명백할 것이다.

도 1은 유방 내의 관심 영역을 위치시키기 위한 예시적인 시스템을 도시한다.
도 2는 이미징 데이터(imaging data)를 포함하는 헬스케어 데이터를 관리하기 위한 예시적인 시스템의 개략도를 도시한다.
도 3은 예시적인 x선 이미징 시스템의 개략도이다.
도 4는 도 3의 x선 이미징 시스템의 사시도이다.
도 5는 좌내외사위(left mediaolateral oblique)(LMLO) 이미징 배향을 위한 유방 위치 설정 상태의 x선 이미징 시스템을 도시한다.
도 6은 예시적인 초음파 이미징 시스템을 도시한다.
도 7은 환자의 유방과 함께 사용되는 도 6의 초음파 이미징 시스템의 예를 도시한다.
도 8은 본 개시의 하나 이상의 측면를 구현하는데 사용가능한 예시적인 컴퓨팅 시스템의 개략도이다.
도 9는 유방 내의 관심 영역을 식별하는 예시적인 방법을 예시하는 흐름도이다.
도 10은 도 1의 그래픽 사용자 인터페이스의 예시적인 디스플레이를 도시한다.
도 11은 상이한 방식으로부터 획득된 이미지의 병변을 상관시키기 위한 예시적인 시스템의 개략도를 도시한다.
도 12는 병변을 상관시키는 예시적인 방법을 예시하는 흐름도이다.

본 개시내용은 이미징 장치를 사용하여 유방 조직 내의 병변을 찾기 위한 시스템 및 방법에 관한 것이다. 특히, 컴퓨팅 시스템은 머신 러닝(machine learning)을 활용하여 잠재적 병변을 탐색하고 유방에서 초음파 이미징으로 식별된 병변과 x선 이미징으로 식별된 병변 사이의 상관관계에 대한 신뢰 수준 표시자(confidence level indicator)를 제공한다.

유방 건강을 평가하는 중요한 단계는 스크리닝 x선 이미징 절차(예를 들어, 맘모그라피 또는 단층 합성)이다. 약 10-15%의 경우에서, 병변이 잠재적으로 암인지 확인하기 위해 추가 이미징 촬영을 위해 환자를 재검사하는 x선 이미지에서 병변이 식별된다. 그런 다음 진단 이미징이 수행되고 일반적으로 초음파 기술을 사용한다. 초음파 이미징은 낭종(cysts)을 고형 덩어리와 더 정확하게 구별할 수 있으며 초음파는 생검이 필요한 경우 선호되는 이미징 방식(imaging modality)이다.

초음파의 이점에도 불구하고 임상의는 초음파 이미징을 수행하는 동안 x선 이미징 중에 식별된 동일한 병변을 찾기 어려울 수 있다. 이는 세 가지 주요 요인 때문이다. 첫 번째는 x선 이미징 촬영(예를 들어, 맘모그라피나 단층촬영술)과 비교하여 초음파 시술에서 유방의 위치가 다르다는 것이다. 전형적으로 환자는 x선 이미징 동안 압박하에 유방과 직립 위치에 있는 반면, 초음파 동안 환자는 전형적으로 바로누운 자세(supine position)에 있고 유방은 압박을 받고 있지 않다. 이러한 위치 이동으로 인해 x선 이미지에서 발견된 병변을 초음파로 생산된 이미지와 연관시키는 것이 어려울 수 있다.

두 번째 이유는 초음파 이미징 방식이 대비가 다른 x선 이미징과 다르게 보이기 때문이다. 초음파에서 식별된 병변이 이전에 x선 이미징으로 식별된 병변과 동일하다고 확신하기 어려울 수 있다.

셋째, 기술이 계속 발전함에 따라 x선 촬영으로 검출할 수 있는 병변이 점점 작아지고 있다. 이것은 헬스케어 종사자가 초음파 이미지에서 병변을 찾는 것을 더 어렵게 만든다.

여기에 설명된 컴퓨팅 시스템은 초음파로 식별된 병변과 x선 이미징으로 식별된 병변 사이의 상관관계의 신뢰 수준 표시자를 제공하도록 동작한다. 컴퓨팅 시스템은 디지털 유방 단층 합성(DBT) 사례 및 해당 방사선 전문의 관련 진단 초음파 사례 라이브러리에서 훈련된 인공 지능(AI) 모델을 사용한다. AI 모델은 새로운 DBT 및 초음파 이미지를 분석하여 한 병변이 다른 병변과 관련이 있는지 확인한다. 또한, AI 모델은 사용자가 동일한 병변을 발견했는지 여부를 판단하는 데 도움이 되도록 신뢰 수준 표시자를 사용자에게 제공할 수 있다. 어떤 경우에는 AI 모델을 전자기 또는 광학 추적 입력과 함께 사용하여 초음파 중에 타겟 영역으로의 탐색 속도를 높이고 분석할 이미징 세트를 줄일 수 있다. 일부 예에서, AI 모델은 폼 팩터를 활용하여 신뢰 수준을 계산한다. 폼 팩터에는 유방의 특정 영역을 식별하는 데 사용할 수 있는 유방 조직의 형태학적 특징이 포함된다. 일부 예에서, 폼 팩터는 점, 주근깨 및 문신과 같은 유방 표면의 시각적 특징이다.

도 1은 유방 내의 관심 영역을 찾기 위한 예시적인 병변 식별 시스템(lesion identification system)(100)을 도시한다. 시스템(system)(100)은 컴퓨팅 시스템(computing system)(102), x선 이미징 시스템(x-ray imaging system)(104), 및 초음파 이미징 시스템(ultrasound imaging system)(106)을 포함한다. 일부 예에서, 병변 식별 시스템(100)은 관심 위치가 처음으로 식별된 x선 이미징 절차 동안 수집된 데이터에 기초하여 초음파 이미징 동안 유방의 관심 위치로 헬스케어 종사자(healthcare practitioner)를 안내하도록 동작한다. 일부 예에서, 병변 식별 시스템(100)은 헬스케어 종사자가 초음파 이미지에서 볼 수 있는 병변이 x선 이미지에서 이전에 식별된 동일한 병변임을 확인하는 데 도움을 주기 위해 디스플레이 상의 헬스케어 종사자에게 신뢰 수준 표시자를 제공한다.

컴퓨팅 시스템(102)은 x선 이미징 시스템(104) 및 초음파 이미징 시스템(106)으로부터 수신된 정보를 처리하고 저장하도록 동작한다. 도 1의 예에서, 컴퓨팅 시스템(102)은 병변 매칭 엔진(lesion matching engine)(110) 및 데이터 저장소(data store)(112)를 포함한다. 일부 예에서, 병변 매칭 엔진(110) 및 데이터 저장소(112)는 컴퓨팅 시스템(102)의 메모리 내에 수용된다. 일부 예에서, 컴퓨팅 시스템(102)은 클라우드 컴퓨팅 환경과 같은 원격 서버로부터 병변 매칭 엔진(110) 및 데이터 저장소(112)에 액세스한다. 도 1은 컴퓨팅 시스템(computing system)(102)이 시스템(100)의 다른 컴포넌트로부터 독립된 것으로 도시되어 있지만, 그것은 또한 x선 컴퓨팅 장치(x-ray computing device)(116), 초음파 컴퓨팅 장치(ultrasound computing device)(118), 또는 환자 치료에 사용되는 다른 컴퓨팅 장치에 통합될 수 있다. 일부 예에서, 컴퓨팅 시스템(102)은 2개 이상의 컴퓨팅 장치를 포함한다.

병변 매칭 엔진(110)은 잠재적 병변이 타겟 병변(target lesion)과 동일한지 여부를 결정하기 위해 타겟 병변의 x선 이미지 및 잠재적 병변의 초음파 이미지를 분석하도록 동작한다. 도 1의 예에서, DBT 훈련 데이터(training data)(122)의 데이터 저장소는 인공 지능 유닛(artificial intelligence unit)(124)을 훈련하는데 이용된다. DBT 훈련 데이터 저장소(training data store)(122)는 대응하는 초음파 이미지 및 x선 이미지와 함께 식별된 병변의 다수의 예시적인 경우를 저장한다. 예시 사례는 헬스케어 전문가가 확인한 매치 항목이다. 인공 지능 유닛(124)은 머신 러닝 알고리즘(machine learning algorithm)을 사용하여 초음파 이미지를 x선 이미지와 매치시키는 데 사용할 수 있는 특징을 식별하기 위해 이러한 예시적인 경우를 분석한다. 이러한 기능은 이미지 분류기(image classifier)를 생성하는 데 사용된다.

다양한 머신 러닝 기술(machine learning technique)을 활용하여 병변 분류기(lesion classifier)를 생성할 수 있다. 일부 예에서, 머신 러닝 알고리즘(machine learning algorithm)은 지도 머신 러닝 알고리즘(supervised machine learning algorithm)이다. 다른 예에서, 머신 러닝 알고리즘은 비지도 머신 러닝 알고리즘(unsupervised machine learning algorithm)이다. 일부 예에서, 머신 러닝 알고리즘은 인공 신경망(artificial neural network)을 기반으로 한다. 일부 예들에서, 신경망은 심층 신경망(deep neural network)(DNN)이다. 일부 예에서 머신 러닝 알고리즘은 컨볼루션 심층 신경망(convolutional deep neural network)(CNN)이다. 일부 예에서, 둘 이상의 네트워크의 조합은 분류기(classifier)를 생성하기 위해 활용된다. 일부 예들에서, 2개 이상의 알고리즘이 예시적인 케이스 데이터로부터 특징들을 생성하기 위해 활용된다.

결과적인 훈련된 머신 러닝 분류기는 이미지 분석기(image analyzer)(126)에 의해 사용되어 x선 이미지와 초음파 이미지의 세트를 비교한다. 유방 내의 모양, 색상, 가장자리, 배향, 질감, 패턴, 밀도, 강성, 크기 및 깊이를 포함한 다양한 표시자를 사용하여 병변을 비교한다. 일부 예에서 표시자는 숫자 값이다. 신뢰도 평가기(confidence evaluator)(128)는 초음파 이미징으로 식별된 잠재적 병변이 x선 이미징으로 식별된 병변과 동일하다는 신뢰 수준을 결정하기 위해 이미지 분석기(image analyzer)(126)와 함께 동작한다. 일부 예에서, 신뢰 점수는 신뢰도 평가기(128)에 의해 생성된다. 일부 예에서 신뢰 수준은 "높음", "중간" 또는 "낮음"과 같은 신뢰 범주를 나타낼 수 있다. 대안적인 예에서, 신뢰 수준은 "99%", "75%" 또는 "44%"와 같은 백분율로 제공된다. 마지막으로, 그래픽 사용자 인터페이스(GUI)(130)는 컴퓨팅 장치의 디스플레이에 정보를 디스플레이하도록 동작한다. 일부 예에서, GUI(130)는 분석되는 조직의 하나 이상의 이미지 위에 신뢰 수준 표시자를 디스플레이한다.

일부 예에서, 병변 매칭 엔진(110)은 2개의 상이한 유형의 이미지에 대해 영역 매칭을 수행하도록 동작한다. 일부 예에서, 인공 지능 알고리즘을 사용하여 영역 매칭이 수행되어 2개의 상이한 이미징 방식 사이에서 유방의 영역을 매칭하기 위해 유방 조직의 폼 팩터 및 기타 특징을 사용한다. 일부 예에서, 분석은 공동 등록 기술(co-registration technique)을 사용하여 유방에서 병변이 위치될 것으로 예상되는 위치에 대한 확률적 값을 제공한다. 일부 예에서, 인공 지능 모델은 비강성 변형 가능 모델과 함께 동작하여 타겟 병변과 잠재적 병변이 동일할 가능성을 결정한다.

데이터 저장소(112)는 x선 이미징 시스템(104), 초음파 이미징 시스템(106), 및 병변 매칭 엔진(110)으로부터 수신된 정보를 저장하도록 동작한다. 일부 예에서, 데이터 저장소(112)는 실제로 둘 이상의 개별 데이터 저장소이다. 예를 들어, 하나의 데이터 저장소는 x선 이미징 시스템의 이미지를 저장하는 원격 데이터 저장소일 수 있다. 다른 데이터 저장소는 컴퓨팅 시스템(102) 내에 국부적으로 수용될 수 있다. 일부 예에서, 데이터 저장소(112)는 전자 의료 기록(electronic medical record)(EMR) 시스템의 일부일 수 있다.

x선 이미징 시스템(104)은 x선 방사선을 사용하여 유방 조직의 이미지를 촬영하도록 동작한다. x선 이미징 시스템(104)은 x선 이미징 장치(x-ray imaging device)(114) 및 x선 이미징 장치(114)와 통신하는 x선 컴퓨팅 장치(x-ray computing device)(116)를 포함한다. 일부 예에서, x선 이미징 시스템(104)은 디지털 유방 단층 합성(digital breast tomosynthesis)(DBT)을 수행한다. x선 이미징 장치(114)는 도 3 내지 5와 관련하여 더 상세히 설명된다. x선 컴퓨팅 장치(116)는 x선 이미징 장치(114)를 동작하고 x선 이미징 장치(114)로부터 수신된 이미지를 보기 위해 헬스케어 제공자(H)로부터 입력을 수신하도록 동작한다.

초음파 이미징 시스템(106)은 초음파 음파를 사용하여 유방 조직의 이미지를 촬영하도록 동작한다. 초음파 이미징 시스템(106)은 도 6 및 7과 관련하여 더 상세히 설명된다. 초음파 이미징 시스템(106)은 초음파 컴퓨팅 장치(118) 및 초음파 이미징 장치(ultrasound imaging device)(120)를 포함한다. 초음파 컴퓨팅 장치(118)는 헬스케어 제공자(H)로부터 입력을 수신하여 초음파 이미징 장치(120)를 동작시키고 초음파 이미징 장치(120)로부터 수신된 이미지를 볼 수 있도록 동작한다.

도 1은 x선 이미징 시스템(104)으로부터 획득된 정보가 초음파 이미징 시스템(106)에 의해 이용될 수 있는 방법을 예시한다. 헬스케어 제공자(H)는 x선 이미징 장치(114)를 사용하여 환자(P)의 유방의 x선 이미지를 캡처하기 위해 x선 컴퓨팅 장치(116)를 동작한다. x선 이미지는 일상적인 건강 검진의 일부로 촬영될 수 있다. 스크리닝 동안, 헬스케어 제공자(H)는 관심 영역 내의 병변이 잠재적으로 암성이며 생검이 필요한지 여부를 결정하기 위해 추가 분석이 필요한 환자 P의 유방에서 하나 이상의 관심 영역을 식별한다.

일부 예에서, 관심 영역에 대한 좌표는 x선 컴퓨팅 장치(116)에서 기록될 수 있고 컴퓨팅 시스템(102)에 통신될 수 있다. x선 컴퓨팅 장치(116)에 의해 기록된 좌표는 전체가 참조로 포함되는 변호사 문서 번호 04576.0112USP1을 갖는 동시 계류 중인 미국 특허 출원에 설명된 바와 같이 조직 변형 모델을 사용하여 분석된다.

일부 예에서, 제1 좌표 세트(first set of coordinate)는 유방이 압박을 받는 동안 식별된 병변의 위치를 식별한다. 제1 좌표 세트는 유방이 압박을 받고 있지 않은 동안 식별된 병변의 예측된 위치를 식별하는 제2 좌표 세트(second set of coordinate)로 전환된다. 제2 좌표 세트에 대응하는 초음파 이미지의 관심 영역이 식별된다. 이를 통해 헬스케어 종사자는 초음파 이미지에서 잠재적 병변을 식별할 수 있다.

분석의 출력은 이미징 절차가 수행된 위치와 다른 위치에 있을 수 있는 나중의 이미징 검사에서 사용하기 위해 초음파 컴퓨팅 장치(118)에 전달될 수 있는 예측된 좌표 세트이다. 초음파 컴퓨팅 장치(118)를 운용하는 헬스케어 제공자(H)는 예측된 좌표를 사용하여 초음파 이미징 장치(120)를 사용하여 환자(P)의 유방 상의 관심 영역을 탐색한다.

일부 예들에서, x선 이미지들은 초음파 이미징 장치(120)로부터 수신된 초음파 이미지들과 함께 초음파 컴퓨팅 장치(118)의 사용자 인터페이스 상에 디스플레이된다. 관심 영역의 예측된 좌표 및 환자의 유방 이미지 상의 바이오마커의 표시와 같은 추가 정보가 초음파 컴퓨팅 장치(118)에 표시될 수 있다. 일부 예에서, 타겟 병변의 위치를 나타내는 시각적 마커(visual marker)가 이미지에 디스플레이된다. 일부 예에서, 타겟 병변이 위치될 가능성이 가장 높은 위치를 나타내는 확률 매핑이 이미지에 표시될 수 있다.

초음파 컴퓨팅 장치(118)를 작동하는 헬스케어 제공자(H)는 동일한 환자 P에 대한 엑스레이 이미지에서 이전에 식별된 병변과 잠재적으로 일치하는 잠재적 병변을 초음파 이미지에서 찾는다. 초음파 이미지 및 잠재적 병변의 표시는 분석을 위해 컴퓨팅 시스템(102)에 전달된다. 일부 예에서, 맘모그라피 이미지, 관심 타겟 영역 및 B 모드 이미징이 동일한 GUI에 디스플레이된다. GUI(130)는 초음파 시스템의 조작자를 관심 영역으로 시각적으로 안내하는 동시에 초음파 프로브의 위치, 방향 및 주석의 문서화를 자동화하는 데 도움이 된다.

일부 예에서, 식별된 병변을 포함하는 x선 이미지 및 잠재적 병변을 포함하는 초음파 이미지는 컴퓨팅 시스템(102)의 병변 매칭 엔진(110)에 의해 분석된다. 병변 매칭 엔진(110)은 잠재적 병변에 대한 신뢰 수준 표시자(confidence level indicator)를 출력하고 그 신뢰 수준 표시자를 초음파 컴퓨팅 장치(118)에 전달한다. 신뢰 수준 표시자는 초음파 컴퓨팅 장치(118)의 GUI에 디스플레이되는 숫자 값, 색상 또는 범주일 수 있다. 예시적인 GUI가 도 10에 설명되어 있다.

일부 예에서, 도 11 내지 12에 설명된 바와 같이, 병변 매칭 엔진(110)은 확률 매핑(probability mapping)을 생성하도록 동작한다. 일부 예에서 광학 카메라는 초음파로 검사되는 유방의 이미지를 캡처한다. 이전에 획득한 유방 x선 이미지를 공동 등록 기술과 인공 지능 영역 매칭을 사용하여 액세스하고 분석한다. 분석에서 생성된 확률 매핑은 유방에 시각적으로 투영되어 헬스케어 종사자 H가 타겟 병변을 찾는 데 도움이 된다. 확률 매핑을 포함하는 예시적인 GUI(130)가 도 11에 도시된다.

도 2는 이미징 데이터를 포함하는 헬스케어 데이터를 관리하기 위한 예시적인 시스템(150)의 개략도를 도시한다. 시스템(150)은 통신 네트워크(communication network)(152)를 통해 서로 통신하는 다수의 컴퓨팅 컴포넌트(computing component)를 포함한다. 컴퓨팅 컴포넌트는 추적 시스템(tracking system)(154), 내비게이션 시스템(navigation system)(156), EMR 시스템(158), 및 디스플레이 시스템(160) 외에 도 1에서 설명된 컴퓨팅 시스템(102), x선 이미징 시스템(104), 및 초음파 이미징 시스템을 포함할 수 있다.

'시스템'이 도 1에 기능 블록으로 도시되어 있지만, 서로 다른 시스템이 공통 장치에 통합될 수 있고, 통신 링크가 모든 시스템보다 적은 수 사이에 결합될 수 있고; 예를 들어, 추적 시스템(154), 내비게이션 시스템(156) 및 디스플레이 시스템(160)은 방사선 장비에서 이미지의 획득을 제어할 수 있는 획득 워크 스테이션(acquisition work station) 또는 기술자 워크 스테이션(technologist work station)에 포함될 수 있다. 대안적으로, 네비게이션 시스템(156) 및 추적 시스템(154)은 초음파 이미징 시스템(106)에 통합될 수 있거나, 디스플레이(160), x선 이미징 시스템(104) 및 초음파 이미징 시스템(ultrasound imaging system)(106)에 대한 별도의 통신 링크를 갖는 독립형 모듈로서 제공될 수 있다. 유사하게, 당업자는 통신 네트워크(152)가 근거리 네트워크, 광역 네트워크, 무선 네트워크, 인터넷, 인트라넷, 또는 다른 유사한 통신 네트워크일 수 있음을 추가로 이해할 것이다.

일 예에서, x선 이미징 시스템(104)은 x선 튜브가 유방 위의 경로를 가로질러 스캔할 때 환자의 유방의 투영 이미지(projection image) 세트를 캡처하는 단층 합성 획득 시스템(tomosynthesis acquisition system)이다. 투영 이미지 세트는 이후에 임의의 평면을 따라 에스랩(slap) 또는 슬라이스로 볼 수 있는 3차원 볼륨(three-dimensional volume)으로 재구성된다. 3차원 볼륨은 x선 이미징 시스템(104)(x선 이미징 장치(114) 또는 x선 컴퓨팅 장치(116)) 또는 통신 네트워크(152)를 통해 x선 이미징 시스템(104)과 통신하는 데이터 저장소(112)와 같은 데이터 저장소에 국부적으로 저장될 수 있다. 일부 예에서, 3차원 체적은 전자 의료 기록(EMR) 시스템(158) 내의 환자 파일에 저장될 수 있다. 예시적인 x선 이미징 시스템에 대한 추가 세부사항은 도 3 내지 5를 참조하여 설명된다.

x선 이미징 시스템(104)은 3차원 x선 이미지 볼륨을 통신 네트워크(152)를 통해 내비게이션 시스템(156)에 전송할 수 있으며, 여기서 이러한 x선 이미지는 저장되고 볼 수 있다. 네비게이션 시스템(156)은 x선 이미징 시스템에 의해 획득된 x선 이미지를 디스플레이한다. 네비게이션 시스템(156)에 디스플레이하기 위해 재구성되면 x선 이미지는 임의의 평면 및 임의의 슬라이스 위치 또는 방향에서 이미지를 보기 위해 재형식화되고 재배치될 수 있다. 일부 예들에서, 네비게이션 시스템(156)은 x선-이미지 슬라이스의 대안적인 위치들 또는 배향을 보여주는 동일한 스크린 상에 다수의 프레임들 또는 윈도우들을 디스플레이한다.

숙련된 사람은 x선 이미징 시스템(104)에 의해 획득된 x선 이미지 볼륨이 임의의 시점에서 내비게이션 시스템(156)으로 전송될 수 있고 x선 이미지 볼륨을 획득한 직후에 반드시 전송될 필요는 없지만 대신 내비게이션 시스템(156)의 요청에 따라 전송된다는 것을 이해할 것이다. 대안적인 예에서, x선 이미지 볼륨은 플래시 드라이브, CD-ROM, 디스켓, 또는 다른 그러한 이동 가능한 미디어 장치와 같은 이동 가능한 미디어 장치에 의해 내비게이션 시스템(156)으로 전송된다.

초음파 이미징 시스템(106)은 일반적으로 초음파 프로브의 시야 내에서 환자의 조직의 일부를 이미지화 하는 데 사용되는 초음파 프로브를 사용하여 환자 조직의 초음파 이미지를 획득한다. 예를 들어, 초음파 이미징 시스템(106)은 유방을 이미지화 하는데 사용될 수 있다. 초음파 이미징 시스템(106)은 초음파 프로브의 시야 내에서 환자의 해부학적 구조의 초음파 이미지를 획득 및 디스플레이하고 일반적으로 환자가 이미지화 될 때 실시간으로 이미지를 디스플레이한다. 일부 예에서, 초음파 이미지는 나중에 재구성 또는 재생을 위해 하드 드라이브, CD-ROM, 플래시 드라이브 또는 디스켓과 같은 저장 매체에 추가로 저장될 수 있다. 초음파 이미징 시스템에 대한 추가 세부 사항은 도 6 및 7을 참조하여 설명한다.

일부 예에서, 내비게이션 시스템(156)은 초음파 이미지에 액세스할 수 있고, 이러한 예에서 초음파 이미징 시스템(106)은 통신 네트워크(152)에 추가로 연결되고 초음파 이미징 시스템(106)에 의해 획득된 초음파 이미지의 사본은 통신 네트워크(152)를 통한 내비게이션 시스템(156)에 전송될 수 있다. 다른 예에서, 내비게이션 시스템(156)은 통신 네트워크(152)를 통해 원격으로 초음파 이미지에 액세스하고 복사할 수 있다. 대안적인 예에서, 초음파 이미지의 사본은 통신 네트워크(152)를 통해 내비게이션 시스템(156)과 통신하고 내비게이션 시스템(156)에 의해 원격으로 액세스되는 데이터 저장소(112) 또는 EMR 시스템(158)에 저장될 수 있다.

추적 시스템(154)은 통신 네트워크(152)를 통해 내비게이션 시스템(156)과 통신하고 초음파 이미징 시스템(106)이 환자의 조직을 이미징하는 물리적 위치를 추적할 수 있다. 일부 예에서, 추적 시스템(154)은 직접 통신 링크 또는 무선 통신 링크를 통해 내비게이션 시스템(156)에 직접 연결될 수 있다. 추적 시스템(154)은 초음파 이미징 시스템(106)에 연결된 송신기의 위치를 추적하고 추적기 좌표 공간(tracker coordinate space)에서 그들의 좌표를 나타내는 데이터를 내비게이션 시스템(156)에 제공한다. 일부 예에서, 추적 시스템(154)은 광학 카메라(optical camera) 및 광학 송신기(optical transmitter)를 포함하는 광학 추적 시스템일 수 있지만, 당업자는 공간에서 물체의 위치를 추적할 수 있는 임의의 장치 또는 시스템이 사용될 수 있음을 이해할 것이다. 예를 들어, 당업자는 일부 예에서 RF 수신기 및 RF 송신기를 포함하는 무선 주파수(RF) 추적 시스템이 사용될 수 있음을 이해할 것이다.

초음파 이미징 시스템(106)은 추적 시스템(154)을 사용하는 캘리브레이션 프로세스(calibration process)에 의해 내비게이션 시스템(156)과 함께 사용하도록 구성될 수 있다. 초음파 이미징 시스템(106)의 초음파 프로브에 연결된 송신기는 추적기 좌표 공간의 추적 시스템(154)에 자신의 위치를 전송할 수 있으며, 추적 시스템은 이 정보를 내비게이션 시스템(156)에 차례로 제공한다. 예를 들어, 송신기는 추적 시스템(154)이 초음파 프로브의 위치 및 배향을 모니터링하고 이 정보를 추적기 좌표 공간에서 내비게이션 시스템(156)에 제공할 수 있도록 초음파 이미징 시스템(106)의 프로브 상에 위치될 수 있다. 내비게이션 시스템(156)은 송신기의 추적된 위치에 대한 초음파 프로브의 위치 및 배향을 결정하기 위해 이 추적된 위치를 사용할 수 있다. 일부 예에서, 내비게이션 시스템(156) 및 추적 시스템(154)은 환자 P의 초음파 이미징을 수행하는 헬스케어 종사자 H에게 실시간 안내를 제공하도록 동작한다.

일부 예에서, 구성은 구성 툴(configuration tool)을 사용하여 발생한다. 그러한 예에서, 구성 툴의 위치 및 방향은 추적 시스템(154)에 의해 추가로 추적될 수 있다. 구성 동안 구성 툴은 초음파 이미징 시스템(106)의 초음파 프로브의 변환기 면(transducer face)과 접촉하고 추적 시스템(154)은 추적기 좌표 공간에서 구성 툴의 위치 및 방향을 나타내는 정보를 내비게이션 시스템(156)에 전송한다. 네비게이션 시스템(156)은 초음파 프로브에 연결된 송신기들의 추적된 위치에 기초하여, 추적기 좌표 공간에서 초음파 프로브의 시야의 위치 및 배향을 결정하는데 사용될 수 있는 구성 행렬을 결정할 수 있다. 대안적인 예에서, 다양한 초음파 프로브의 복수의 브랜드 또는 모델의 구성 데이터를 갖는 데이터베이스는 구성 동안 시야 구성(view configuration)을 내비게이션 시스템(156)에 미리 로드하기 위해 사용될 수 있다.

초음파 이미징 시스템(106)이 내비게이션 시스템(156)으로 구성되면, 환자의 조직은 초음파 이미징 시스템(106)으로 이미지화 될 수 있다. 초음파 이미징 동안, 추적 시스템(154)은 초음파 이미징 시스템(106)의 초음파 프로브의 위치 및 배향을 모니터링하고 추적기 좌표 공간에서 이 정보를 내비게이션 시스템(156)에 제공한다. 초음파 이미징 시스템(106)이 네비게이션 시스템(156)과 함께 사용하도록 구성되었기 때문에, 네비게이션 시스템(156)은 초음파 이미징 시스템(106)의 초음파 프로브의 시야의 위치 및 배향을 결정할 수 있다.

내비게이션 시스템(156)은 초음파 이미지를 x선 이미지와 공동 등록(co-register)하도록 구성될 수 있다. 일부 예에서, 내비게이션 시스템(156)은 초음파 프로브의 시야의 위치 및 방향을 추적기 좌표 공간에서 x선 이미지의 위치 및 방향, 예를 들어 x선 시스템 좌표로 변환하도록 구성될 수 있다. 이것은 초음파 프로브의 위치 및 배향을 추적하고 추적기 좌표 공간의 이 위치 정보를 내비게이션 시스템(156)으로 전송하고 이 위치 정보를 x선 좌표 시스템과 관련시킴으로써 달성될 수 있다. 일부 예에서, 공동 등록된 이미지(co-registered image)는 GUI(130)에 디스플레이된다.

예를 들어, 사용자는 x선 이미지 내에서 해부학적 평면(anatomical plane)을 선택할 수 있고, 사용자는 초음파 프로브의 시야를 선택된 해부학적 평면과 정렬하기 위하여 추적된 초음파 프로브의 위치 및 방향을 조작할 수 있다. 정렬이 완료되면, 초음파 이미지의 연관된 추적기 공간 좌표를 캡처할 수 있다. x선 이미지와 추적기 좌표 공간 사이의 해부학적 축(상-하(SI), 좌-우(LR), 전후(AP))의 등록(registtration)은 당업자에게 공지된 기술을 사용하여 추적된 초음파 시야 배향 및 선택된 해부학적 평면 사이의 상대적인 회전 차이로부터 결정될 수 있다.

이 구성은 예를 들어 사용자가 해부학적 타겟을 선택할 수 있도록 하는 인터페이스를 사용하여, x선 이미지 내의 랜드마크(landmark)의 선택을 더 포함할 수 있다. 일부 예에서, 랜드마크는 정맥 또는 동맥과 같은 내부 조직 랜드마크일 수 있고, 다른 예에서 랜드마크는 기준 피부 마커(fiducial skin marker)와 같은 외부 랜드마크 또는 유두와 같은 외부 랜드마크일 수 있다. x선 이미지에서 선택된 동일한 랜드마크는 초음파 프로브로 위치를 찾을 수 있으며, 위치에 따라 추적기 좌표 공간에서 타겟의 표현의 좌표를 캡처하기 위한 메커니즘이 제공될 수 있다. x선 이미지의 타겟 좌표와 추적기 좌표 공간의 타겟 좌표 사이의 상대적인 차이는 두 좌표 공간을 정렬하는 데 필요한 전환 파라미터(translational parameter)를 결정하는 데 사용된다. 이전에 획득한 평면 방향 정보는 두 좌표 공간을 공동 등록할 수 있는 완전한 4x4 변환 행렬(transformation matrix)을 제공하기 위해 전환 파라미터(translation parameter)와 결합될 수 있다.

그런 다음, 내비게이션 시스템(156)은 디스플레이되고 있는 조직의 슬라이스가 초음파 이미징 시스템(106)의 초음파 프로브의 시야와 동일한 평면 및 동일한 배향에 있도록 디스플레이되는 x선 이미지를 재포맷하기 위해 변환 행렬을 사용할 수 있다. 그런 다음, 매치하는 초음파 및 x선 이미지가 나란히 디스플레이되거나 단일 이미지 보기 프레임(single image viewing frame)에 직접 오버레이될 수 있다. 일부 예들에서, 네비게이션 시스템(156)은 디스플레이 스크린 상의 개별 프레임들 또는 위치들에서 추가적인 x선 이미지들을 디스플레이할 수 있다. 예를 들어, x선 이미지는 초음파 이미징 시스템(106)의 시야의 그래픽 표현과 함께 디스플레이될 수 있고, 여기서 시야의 그래픽 표현은 x선 이미지의 3D 표현을 통해 슬라이싱되는 것으로 도시된다. 다른 예에서 주석이 추가로 디스플레이될 수 있으며, 이러한 주석은 예를 들어 생검 바늘(biopsy needle), 안내 와이어(guidance wire), 이미징 프로브(imaging probe) 또는 기타 유사한 장치와 같은 초음파 이미징 시스템(106)에 의해 이미지화 되는 기기의 위치를 나타낸다.

다른 예들에서, 초음파 이미징 시스템(106)에 의해 디스플레이되는 초음파 이미지는 사용자가 x선 및 초음파 이미지 둘 다를 동시에 볼 수 있도록, 동일한 디스플레이에 오버레이되도록, 네비게이션 시스템(156)에 의해 디스플레이되는 x선 이미지의 슬라이스에 중첩될 수 있다. 일부 예에서, 내비게이션 시스템(156)은 중첩된 초음파 또는 x선 이미지의 특정 측면를 향상시켜 결과적으로 결합된 이미지의 품질을 증가시킬 수 있다.

도 1에 설명된 바와 같이, 병변 매칭 엔진(110)을 동작시키는 컴퓨팅 시스템(102)은 초음파 이미지에서 식별된 병변이 x선 이미지에서 식별된 병변과 동일한 것이라는 신뢰 수준을 결정하기 위해 x선 이미지 및 초음파 이미지의 세트를 분석한다. 신뢰 수준 표시자는 x선 이미지에서 이전에 식별된 병변이 대응하는 초음파 이미지에서 발견되었는지 여부를 결정할 때 초음파 이미징 시스템(106)을 동작하는 사용자를 돕기 위해 컴퓨팅 장치에 표시될 수 있다.

전자 의료 기록 시스템( electronic medical record system)(158)은 복수의 전자 의료 기록(electronic medical record)(EMR)을 저장한다. 각 EMR은 환자의 의료 및 치료 이력을 포함한다. 전자 의료 기록 시스템(158)의 예는 에픽 시스템 회사(Epic Systems Corporation), 세너 회사(Cerner Corporation), 올스크립트 및 메디컬 정보 기술 주식회사(Allscripts and Medical Information Technology, Inc)(Meditech)에서 개발 및 관리하는 시스템을 포함한다.

도 3은 예시적인 x선 이미징 시스템(104)의 개략도이다. 도 4는 x선 이미징 시스템(104)의 사시도이다. 도 3 및 도 4를 동시에 참조하면, x선 이미징 시스템(104)은 정적 유방 지지 플랫폼(static breast support platform)(206) 및 이동 가능한 압박 패들(208)을 포함하는 유방 압박 고정기 유닛(breast compression immobilizer unit)(204)을 통해 x선 이미징(맘모그라피 및 단층 합성 하나 또는 둘 다)을 위해 환자의 유방(202)을 고정화한다. 유방 지지 플랫폼(breast support platform)(206) 및 압박 패들(compression paddle)(208) 각각은 유방(202)을 압박하고 고정시키기 위해 서로를 향해 이동하는 압박 표면(compression surface)(210, 212)을 각각 갖는다. 공지된 시스템에서, 압박 표면(210, 212)은 유방(202)과 직접 접촉하도록 노출된다. 플랫폼(206)은 또한 이미지 수용기(image receptor)(216), 선택적으로 틸팅 메커니즘(tilting mechanism)(218), 및 선택적으로 산란 방지 그리드(anti-scatter grid)를 수용한다. 고정기 유닛(immobilizer unit)(204)은 빔(220)이 이미지 수용기(216)에 충돌하도록 x선 소스(222)로부터 나오는 이미징 빔(imaging beam)(220)의 경로에 있다.

고정기 유닛(204)은 제1 지지 암(first support arm)(224)에 지지되고 x선 소스(222)는 제2 지지 암(second support arm)(226)에 지지된다. 맘모그람(mammography)의 경우, 지지 암(224, 226)은 CC 및 MLO와 같은 상이한 이미징 방향 사이에서 축(228)을 중심으로 한 유닛으로서 회전할 수 있어, 시스템(104)은 각 방향에서 맘모그람 투영 이미지(mammogram projection image)를 취할 수 있다. 동작 시, 이미지 수용기(216)는 이미지가 촬영되는 동안 플랫폼(platform)(206)에 대해 제자리에 유지된다. 고정기 유닛(204)은 암(224, 226)을 다른 이미징 방향으로 이동시키기 위해 유방(202)을 기기로부터 분리한다. 단층 합성을 위해, 지지 암(224)은 유방(202)이 고정되고 제자리에 남아 있는 동안 제자리에 유지되는 반면, 적어도 제2 지지 암(226)은 축(228)을 중심으로 고정기 유닛(204) 및 압박된 유방(202)에 대해 x선 소스(222)를 회전시킨다. 시스템(104)은 유방(202)에 대한 빔(220)의 각 각도에서 유방(202)의 복수의 단층 합성 투영 이미지를 취한다.

동시에 그리고 선택적으로, 이미지 수용기(216)는 제2 지지 암(226)의 회전과 동기화되어 유방 지지 플랫폼(206)에 대해 틸팅될 수 있다. 틸팅은 x선 소스(222)의 회전과 동일한 각도를 통할 수 있지만, 빔(220)이 복수의 이미지 각각에 대해 이미지 수용기(216) 상의 동일한 위치에 실질적으로 유지되도록 선택된 다른 각도를 통해서일 수도 있다. 틸팅은 축(230)을 중심으로 할 수 있으며, 이는 이미지 수용기(216)의 이미지 평면에 있을 수 있지만 반드시 그럴 필요는 없다. 이미지 수용기(216)에 결합된 틸팅 메커니즘(218)은 틸팅 모션으로 이미지 수용기(216)를 구동할 수 있다.

단층 합성 이미징 및/또는 CT 이미징의 경우, 유방 지지 플랫폼(206)은 수평일 수 있거나 수평에 대해 각도로, 예를 들어 맘모그라피에서 통상적인 MLO 이미징에 대한 것과 유사한 배향일 수 있다. x선 이미징 시스템(104)은 단독으로 맘모그라피 시스템, CT 시스템, 또는 단독으로 단층 합성 시스템, 또는 여러 형태의 이미징을 수행할 수 있는 "콤보" 시스템일 수 있다. 이러한 콤보 시스템의 예는 셀레니아 디멘젼(Selenia Dimensions)이라는 상표명으로 양수인에 의해 제공되었다. 일부 예에서, 초기 이미징은 자기 공명 이미징(magnetic resonance imaging)(MRI)으로 수행된다.

시스템이 동작될 때, 이미지 수용기(216)는 이미징 빔(220)에 의한 조명에 응답하여 이미징 정보를 생산하고, 유방 x선 이미지를 처리 및 생산하기 위해 이미지 프로세서(image processor)(232)에 공급한다. 소프트웨어를 포함하는 시스템 제어 및 워크 스테이션 유닛(238)은 시스템의 동작을 제어하고 명령을 수신하고 처리된 광선 이미지를 포함하는 정보를 전달하기 위해 오퍼레이터와 상호작용 한다.

도 5는 좌내외사위(left mediaolateral oblique)(LMLO)을 위한 유방 위치 설정 상태의 예시적인 x선 이미징 시스템(104)을 도시한다. 시스템(104)의 튜브 헤드(tube head)(258)는 시스템(104)의 갠트리(gantry)(256)에 일반적으로 평행하거나 그렇지 않으면 유방이 배치되는 지지 암(260)의 평평한 부분에 수직이 아닌 방향으로 설정된다. 이 위치에서, 기술자는 튜브 헤드(258) 아래로 몸을 굽히거나 웅크리지 않고도 유방을 보다 쉽게 위치시킬 수 있다.

x선 이미징 시스템(104)은 바닥에 x선 이미징 시스템(104)을 지지하기 위한 바닥 마운트 또는 베이스(base)(254)를 포함한다. 갠트리(256)는 플로어 마운트(252)로부터 위쪽으로 연장되고 튜브 헤드(258)와 지지 암(260) 모두를 회전 가능하게 지지한다. 튜브 헤드(258) 및 지지 암(260)은 서로 이산적으로 회전하도록 구성되며 또한 상이한 키의 환자를 수용하기 위해 갠트리의 면(262)을 따라 상승 및 하강될 수 있다. 본 명세서의 다른 곳에서 설명되고 여기에는 도시되지 않은 x선 소스는 튜브 헤드(258) 내에 배치된다. 지지 암(260)은 내부에 x선 수용기 및 다른 컴포넌트(도시되지 않음)를 포함하는 지지 플랫폼(264)을 포함한다. 압박 암(compression arm)(266)은 지지 암(260)으로부터 연장되고 이미징 절차 동안 환자 유방의 압박을 위해 압박 패들(268)을 선형으로(지지 암(260)에 대해) 상승 및 하강시키도록 구성된다. 함께, 튜브 헤드(258) 및 지지 암(260)은 C-암으로 지칭될 수 있다.

다수의 인터페이스 및 디스플레이 스크린이 x선 이미징 시스템(104) 상에 배치된다. 여기에는 발 디스플레이 화면(foot display screen)(270), 갠트리 인터페이스(gantry interface)(272), 지지 암 인터페이스(support arm interface)(274) 및 압박 암 인터페이스(compression arm interface)(276)가 포함된다. 일반적으로 다양한 인터페이스(272, 274, 276)는 사용자 상호작용 및 x선 이미징 시스템의 제어를 가능하게 하기 위해 그래픽 사용자 인터페이스(GUI)가 있는 정전식 터치 스크린을 포함하는 하나 이상의 촉각 버튼, 노브, 스위치 및 하나 이상의 디스플레이 스크린을 포함할 수 있다. 예에서, 인터페이스(272, 274, 276)는 도 1의 x선 컴퓨팅 장치(116)와 같은 시스템 제어 및 워크 스테이션에서 또한 이용가능할 수 있는 제어 기능을 포함할 수 있다. 임의의 개별 인터페이스(272, 274, 276)는 미리 결정된 설정, 사용자 선호도 또는 동작 요구사항에 적어도 부분적으로 기초하여 연속적으로 또는 선택적으로 다른 인터페이스(272, 274, 276)에서 사용 가능한 기능을 포함할 수 있다. 일반적으로, 그리고 후술하는 바와 같이, 발 디스플레이 스크린(270)은 주로 디스플레이 스크린이지만, 필요하거나 원하는 경우 정전식 터치 스크린이 이용될 수 있다.

예에서, 갠트리 인터페이스(272)는 이미징 방향의 선택, 환자 정보의 디스플레이, 지지 암 높이 또는 지지 암 각도(틸팅 또는 회전)의 조정, 안전 특징 등과 같은 기능을 가능하게 할 수 있다. 예에서, 지지 암 인터페이스(274)는 지지 암 상승 또는 지지 암 각도(틸팅 또는 회전)의 조정, 압박 암 상승의 조정, 안전 특징 등과 같은 기능을 가능하게 할 수 있다. 예에서, 압박 암 인터페이스(276)는 압박 암 높이, 안전 특징 등의 조정과 같은 기능을 가능하게 할 수 있다. 또한, 압박 암 인터페이스(276)와 연관된 하나 이상의 디스플레이는 적용된 압박 암 힘, 선택된 이미징 방향, 환자 정보, 지지 암 높이 또는 각도 설정 등과 같은 보다 상세한 정보를 디스플레이할 수 있다. 발 디스플레이 스크린(270)은 또한 특정 애플리케이션에 대해 요구되거나 요구되는 바와 같이 압박 암 인터페이스(276)의 디스플레이(들)에 의해 디스플레이되는 것과 같은 정보, 또는 추가 또는 상이한 정보를 디스플레이할 수 있다.

도 6은 초음파 이미징 시스템(106)의 예를 도시한다. 초음파 이미징 시스템(ultrasound imaging system)(106)은 초음파 변환기(ultrasonic transducer)(304)를 포함하는 초음파 프로브(ultrasound probe)(302)를 포함한다. 초음파 변환기(304)는 초음파 음파(ultrasonic sound wave)(306)의 어레이를 방출하도록 구성된다. 초음파 변환기(304)는 전기 신호를 초음파 음파(ultrasonic sound wave)(306)로 변환한다. 초음파 변환기(304)는 또한 유방 내의 병변과 같은 환자의 내부 부분으로부터 반사된 초음파 음파와 같은 초음파 음파를 검출하도록 구성될 수 있다. 일부 예에서, 초음파 변환기(304)는 용량성 변환기 및/또는 압전 변환기, 뿐만 아니라 다른 적절한 변환 기술을 통합할 수 있다.

초음파 변환기(304)는 또한 디스플레이(310)에 동작 가능하게(예를 들어, 유선 또는 무선으로) 연결된다. 디스플레이(310)는 초음파 이미지를 생산 및 분석하도록 구성된 프로세서 및 메모리를 포함하는 도 2의 초음파 컴퓨팅 장치(118)와 같은 컴퓨팅 시스템의 일부일 수 있다. 디스플레이(310)는 환자의 초음파 이미징에 기초한 초음파 이미지를 디스플레이하도록 구성된다.

초음파 이미징 시스템(106)에서 수행되는 초음파 이미징은 주로 B 모드 이미징이며, 이는 환자 내부의 일부의 단면의 2차원 초음파 이미지를 생성한다. 결과 이미지에서 픽셀의 밝기는 일반적으로 반사된 초음파의 진폭 또는 강도에 대응한다.

다른 초음파 이미징 모드도 사용할 수 있다. 예를 들어, 초음파 프로브는 유방에 대한 복수의 각도로부터 초음파 이미지 데이터를 획득하여 유방의 3차원 모델을 구축하는 3차원 초음파 모드로 동작할 수 있다.

일부 예에서 초음파 이미지는 획득 프로세스 동안 디스플레이되지 않을 수 있다. 대신, B 모드 이미지가 디스플레이되지 않고 초음파 데이터가 획득되고 유방의 3D 모델이 생성된다.

초음파 프로브(302)는 또한 프로브 위치 파악 트랜시버(probe localization transceiver)(308)를 포함할 수 있다. 프로브 위치 파악 트랜시버(308)는 초음파 프로브(302)에 대한 위치 정보를 제공하는 신호를 방출하는 트랜시버이다. 프로브 위치 파악 트랜시버(308)는 정보를 송수신하기 위한 무선 주파수 식별(RFID) 칩 또는 장치는 물론, 가속도계, 자이로스코프 장치, 또는 방향 정보를 제공할 수 있는 다른 센서를 포함할 수 있다. 예를 들어, 프로브 위치 파악 트랜시버(308)에 의해 방출된 신호는 초음파 프로브(302)의 배향 또는 위치를 결정하도록 처리될 수 있다. 초음파 프로브(302)의 배향 및 위치는 직교 좌표 또는 구면 좌표와 같은 3차원 컴포넌트로 결정되거나 제공될 수 있다. 초음파 프로브(302)의 배향 및 위치는 또한 절개 기기(incision instrument), 마커, 자기 방향(magnetic direction), 중력에 대한 법선 등과 같은 다른 항목에 대해 결정되거나 제공될 수 있다. 초음파 프로브(302)의 배향 및 위치로, 추가 정보가 생성되어 외과의를 환자 내의 병변으로 안내하는 것을 돕기 위해 외과의사에게 제공될 수 있으며, 이는 아래에서 더 설명된다. 트랜시버라는 용어가 본 명세서에서 사용되지만, 그 용어는 송신기, 수신기 및 트랜시버 모두와 이들의 임의의 조합을 포함하도록 의도된다.

도 7은 환자의 유방(312)과 함께 사용되는 초음파 이미징 시스템(106)의 예를 도시한다. 초음파 프로브(302)는 유방(312)의 일부와 접촉하고 있다. 도 7에 도시된 위치에서, 초음파 프로브(302)는 유방(312)의 병변(314)을 이미지화하는데 사용된다. 병변(314)을 이미지화하기 위해, 초음파 변환기(304)는 유방(312)의 내부로 초음파 음파(306)의 어레이를 방출한다. 초음파 음파(306)의 일부는 병변이 시야에 있을 때 병변(314)과 같은 유방의 내부 컴포넌트에서 반사되고 반사된 초음파 음파(316)로서 초음파 프로브(302)로 되돌아갑니다. 반사된 초음파 음파(316)는 초음파 변환기(304)에 의해 검출될 수 있다. 예를 들어, 초음파 변환기(304)는 반사된 초음파 음파(316)를 수신하고 반사된 초음파 음파(316)를 디스플레이(310) 상에 초음파 이미지 데이터를 생성하기 위해 처리 및 분석될 수 있는 전기 신호로 변환한다.

병변(314) 또는 이미징 평면의 다른 물체의 깊이는 초음파 프로브(302)로부터 방출되는 초음파 펄스(306)와 초음파 프로브(302)에 의해 검출되는 반사된 초음파(316) 사이의 시간으로부터 결정될 수 있다. 예를 들어, 음속은 잘 알려져 있으며 연조직에 기초하여 한 음속의 영향도 결정할 수 있다. 따라서, 초음파(306)의 비행 시간(보다 구체적으로, 비행 시간의 절반)에 기초하여, 초음파 이미지 내의 물체의 깊이가 결정될 수 있다. 조직을 통한 파동의 굴절 및 변형 속도를 보상하는 것과 같은 물체 깊이를 결정하기 위한 다른 보정 또는 방법이 또한 구현될 수 있다. 당업자는 의료 초음파 이미징 기술에서 깊이 측정의 추가 세부사항을 이해할 것이다. 이러한 깊이 측정 및 결정은 유방(312)의 3D 모델을 구축하는 데 사용될 수 있다.

또한, 초음파 기술의 다중 주파수 또는 모드가 활용될 수 있다. 예를 들어, 이미징 주파수 및 캡처 주파수뿐만 아니라 국부화 주파수의 실시간 및 동시 송수신 다중화가 구현될 수 있다. 이러한 기능의 활용은 디스플레이(310)에서 병변 및 기타 의료 이미지의 시각화를 허용하기 위해 초음파 기술로부터의 다중 데이터 세트를 공동 등록하거나 융합하기 위한 정보를 제공한다. 이미징 주파수 및 캡처 시퀀스는 다른 이미징 모드 및 기술 중에서 B 모드 이미징(복합 포함 또는 제외), 도플러 모드(예를 들어, 컬러, 듀플렉스(duplex)), 고조파 모드, 전단파 및 기타 탄성조영 모드, 대비 강화 초음파를 포함할 수 있다.

도 8은 컴퓨팅 장치(400)의 물리적 컴포넌트들의 예를 예시하는 블록도이다. 컴퓨팅 장치(400)는 컴퓨팅 시스템(102), x선 컴퓨팅 장치(116), 및 초음파 컴퓨팅 장치(118)와 같은 이미징 데이터를 관리하기 위한 병변 식별 시스템(100) 또는 시스템(150)과 함께 사용되는 임의의 컴퓨팅 장치일 수 있다.

도 8에 도시된 예에서, 컴퓨팅 장치(400)는 적어도 하나의 중앙 처리 장치("CPU")(402), 시스템 메모리(408), 및 시스템 메모리(408)를 CPU(402)에 연결하는 시스템 버스(422)를 포함한다. 시스템 메모리(408)는 랜덤 액세스 메모리("RAM")(410) 및 읽기 전용 메모리("ROM")(412)를 포함한다. 시동 동안과 같이 컴퓨팅 장치(400) 내의 요소들 사이의 정보 전송을 돕는 기본 루틴을 포함하는 기본 입력/출력 시스템은 ROM(412)에 저장된다. 컴퓨팅 시스템(400)은 대용량 저장 장치(414)를 더 포함한다. 대용량 저장 장치(414)는 소프트웨어 명령 및 데이터를 저장할 수 있다.

대용량 저장 장치(414)는 시스템 버스(422)에 연결된 대용량 저장 제어기(미도시)를 통해 CPU(402)에 연결된다. 대용량 저장 장치(414) 및 그와 관련된 컴퓨터 판독 가능 저장 매체는 컴퓨팅 장치(400)를 위한 비휘발성, 비일시적 데이터 저장 장치를 제공한다. 여기에 포함된 컴퓨터 판독 가능 저장 매체(computer-readable data storage media)에 대한 설명은 하드 디스크 또는 솔리드 스테이트 디스크와 같은 대용량 저장 장치를 언급하지만, 컴퓨터 판독 가능 데이터 저장 매체는 CPU(402)가 데이터 및/또는 명령을 판독할 수 있는 임의의 이용 가능한 유형의 물리적 장치 또는 제조 물품을 포함할 수 있다는 것이 당업자에 의해 이해되어야 한다. 특정 예들에서, 컴퓨터 판독 가능 저장 매체(computer-readable storage media)는 전적으로 비일시적 매체(non-transitory media)를 포함한다.

컴퓨터 판독 가능 저장 매체는 컴퓨터 판독 가능 소프트웨어 명령, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 판독 가능 데이터 저장 매체의 예시적인 유형은 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 기타 솔리드 스테이트 메모리 기술, CD-ROM, 디지털 다목적 디스크("DVD"), 기타 광학 저장 매체, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨팅 장치(400)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하나, 이에 제한되지 않는다.

일부 예에 따르면, 컴퓨팅 장치(400)는 무선 네트워크, 인터넷, 또는 다른 유형의 네트워크와 같은 네트워크(152)를 통해 원격 네트워크 장치에 대한 논리적 연결을 사용하여 네트워크 환경에서 동작할 수 있다. 컴퓨팅 장치(400)는 시스템 버스(422)에 연결된 네트워크 인터페이스 유닛(404)을 통해 네트워크(152)에 연결할 수 있다. 네트워크 인터페이스 유닛(404)은 또한 다른 유형의 네트워크 및 원격 컴퓨팅 시스템에 연결하기 위해 사용될 수 있음을 이해해야 한다. 컴퓨팅 장치(400)는 또한 터치 사용자 인터페이스 디스플레이 스크린 또는 다른 유형의 입력 장치를 포함하는 다수의 다른 장치로부터 입력을 수신 및 처리하기 위한 입력/출력 제어기(input/output controller)(406)를 포함한다. 유사하게, 입/출력 제어기(406)는 터치 사용자 인터페이스 디스플레이 스크린 또는 다른 유형의 출력 장치에 출력을 제공할 수 있다.

위에서 간략하게 언급한 바와 같이, 컴퓨팅 장치(400)의 대용량 저장 장치(mass storage device)(414) 및 RAM(410)은 소프트웨어 명령 및 데이터를 저장할 수 있다. 소프트웨어 명령은 컴퓨팅 장치(400)의 동작을 제어하기에 적합한 운영 체제(operating system)(418)를 포함한다. 대용량 저장 장치(414) 및/또는 RAM(410)은 또한 CPU(402)에 의해 실행될 때 컴퓨팅 장치(400)가 이 문서에서 논의된 기능을 제공하게 하는 소프트웨어 명령(software instruction)을 저장한다.

이제 도 9를 참조하면, 유방 내의 관심 영역을 위치시키는 예시적인 방법(500)이 설명된다. 일부 예에서, 도 1 내지 8에 설명된 시스템 및 장치는 방법(500)을 구현하는 데 사용할 수 있다. 특히, 도 1 내지 2의 컴퓨팅 시스템(102)은 헬스케어 제공자가 이미징 절차 동안 유방 내의 관심 영역을 찾는 것을 돕기 위해 방법(500)의 단계를 구현하도록 동작한다.

동작(502)에서, x선 이미징 방식에 의해 획득된 제1 이미지가 수신된다. 일부 예에서, 도 1 내지 2의 x선 이미징 시스템(104)의 x선 이미징 장치(114)는 x선 컴퓨팅 장치(116)에서 헬스케어 제공자 H에 의해 제공된 입력의 결과로서 x선 이미지를 기록하도록 동작한다. 일부 예에서, x선 이미지는 디지털 유방 단층 합성(digital breast tomosynthesis)을 사용하여 획득된다. 일부 예에서 x선 이미지는 원격 데이터 저장소(remote data store)에서 획득될 수 있다. 그러한 예에서, x선 이미지는 다른 시간과 장소에서 기록된 다음 EMR 또는 다른 데이터 저장소에 저장되었을 수 있다. 일부 예에서, 제1 이미지는 컴퓨팅 시스템(102)에서 수신된다.

동작(504)에서, x선 이미지 상의 타겟 병변의 표시가 수신된다. 일부 예들에서, 표시는 x선 컴퓨팅 장치(116)에서 헬스케어 제공자 H로부터 수신된다. 컴퓨팅 장치(116)는 x선 컴퓨팅 장치(116)와 통신하는, 마우스, 터치스크린, 스타일러스와 같은, 입력 장치에 제공된 입력에 의해 타겟 병변을 강조하기 위해 헬스케어 제공자 H가 x선 이미지와 쉽게 상호작용할 수 있게 하는 사용자 인터페이스를 디스플레이하도록 동작할 수 있다. 일부 예에서 타겟 병변은 시각적 마커로 표시될 수 있다. 타겟 병변은 헬스케어 제공자 H에 의해 추가 분석이 필요한 것으로 식별된다. 일부 예에서, 타겟 병변은 x선 이미지가 촬영된 후 임상의가 나중에 식별한다. 일부 예에서 타겟 병변은 인공 지능 시스템을 사용하여 x선 이미지가 기록될 때 실시간으로 식별될 수 있다.

동작(506)에서, 타겟 병변의 위치 좌표가 기록된다. 타겟 병변의 좌표는 x선 이미징 시스템(104)을 사용하여 x선 이미징 과정 동안 기록된다. 일부 예에서 좌표는 직각 좌표(Cartesian coordinate) 또는 극좌표(polar coordinate)일 수 있다. 일부 예에서, 관심 영역은 단층 합성 이미지 스택(z 좌표) 내의 특정 슬라이스 내에서 식별될 수 있고, 그 위치는 해당 이미지 슬라이스 내 x 및 y 좌표에 의해 추가로 식별될 수 있다.

동작(508)에서, 유방 조직의 제2 이미지는 초음파 이미징에 의해 획득된다. 초음파 이미지는 타겟 병변의 위치 좌표에 대응하는 유방 조직의 영역을 포함한다. 일부 예들에서, 도 1 내지 2의 초음파 이미징 시스템(106)의 초음파 이미징 장치(120)는 초음파 컴퓨팅 장치(118)에서 헬스케어 제공자 H에 의해 제공된 입력들의 결과로서 초음파 이미지를 기록하도록 동작한다. 일부 예들에서, 초음파 이미지는 원격 데이터 저장소로부터 획득될 수 있다. 그러한 예에서, 초음파 이미지는 다른 시간과 장소에서 기록된 다음 EMR 또는 다른 데이터 저장소에 저장될 수 있다. 일부 예에서, 제2 이미지는 제1 이미지로 처리하기 위해 컴퓨팅 시스템(102)에서 수신된다.

동작(510)에서, 타겟 병변의 위치 좌표에 대응하는 유방 조직의 영역 내에서 잠재적 병변이 식별된다. 일부 예에서, 영역은 x선 이미징 동안 타겟 병변에 대해 저장된 좌표로부터 초음파를 위해 변환된 좌표에 기초하여 식별된다. 일부 예에서, 좌표는 유두에 대한 시각 위치(clock position), 유방 표면으로부터의 깊이, 및 유두로부터의 거리를 포함한다. 일부 예에서, 잠재적 병변은 초음파 컴퓨팅 장치(118)에서 헬스케어 제공자(H)에 의해 강조될 수 있다. 컴퓨팅 장치(118)는 헬스케어 제공자(H)가 마우스와 같은 초음파 컴퓨팅 장치(118)와 통신하는, 터치 스크린 또는 스타일러스와 같은, 입력 장치에 제공된 입력에 의해 잠재적 병변을 강조하기 위해 초음파 이미지와 쉽게 상호작용할 수 있게 하는 사용자 인터페이스를 디스플레이하도록 동작할 수 있다. 일부 실시예에서, GUI(130)는 DBT 이미지와 초음파 이미지를 나란히 디스플레이한다. 이 GUI(130)의 예가 도 10에 도시되어 있다. 잠재적 병변은 헬스케어 제공자 H에 의해 x선 이미지에서 식별된 타겟 병변과 잠재적으로 동일한 것으로 식별된다. 일부 예에서 실시간 인공 지능 시스템은 잠재적 병변을 식별하기 위해 기록되는 DBT 이미지를 분석할 수 있다. 이러한 시스템의 한 예는 "물리적 생검 마커 탐지를 위한 실시간 AI(Real-time AI for Physical Biopsy Marker Detection)"라는 제목의 동시 계류 중인 출원(문제 번호 04576.0110USP1에 대한 정보 삽입)에 설명되어 있으며, 이는 전체 내용이 참조로 통합된다.

동작(512)에서, 인공 지능을 사용하여 잠재적 병변을 분석하여 제2 이미지의 잠재적 병변이 제1 이미지의 타겟 병변에 대응하는 신뢰도 수준을 결정한다. 일부 예에서, 병변 매칭 엔진(110)은 잠재적 병변 및 타겟 병변을 분석하여 2개의 병변이 매치하는지를 결정하도록 동작한다. 앞서 설명한 바와 같이 머신 러닝 병변 분류기(machine learning lesion classifier)는 병변의 초음파 이미지와 x선 이미지를 매치하기 위해 병변의 크기, 모양, 질감 등 다양한 측면을 분석한다. 일부 예에서, 강성과 밀도는 또한 매치를 결정하기 위해 비교될 수 있다.

동작(514)에서, 신뢰도의 표시자가 출력된다. 일부 예에서, 신뢰 수준 표시자는 GUI(130)에서 생성된다. 일부 예에서, GUI(130)는 신뢰 수준 표시자와 함께 초음파 이미지 및 x선 이미지를 포함한다. 일부 예에서 표시자는 텍스트, 그래픽, 색상 또는 기호로 표시될 수 있다. GUI(130)의 예에 관한 더 많은 세부사항은 도 10에 제공된다.

도 10은 도 1의 GUI(130)의 일 예를 나타낸다. 일부 예들에서, GUI(130)는 도 1의 초음파 컴퓨팅 장치(118)와 같은 컴퓨팅 장치 상에 디스플레이된다. 도 10의 예에서, GUI(130)는 유방(breast)(202)의 x선 이미지(602) 및 초음파 이미지(604)를 나란히 디스플레이한다. x선 이미징 동안 이전에 식별된 타겟 병변(target lesion)(606)은 시각적 마커로 x선 이미지(602)에 표시된다. 유방(202)의 대응하는 초음파 이미지(604)는 잠재적 병변(potential lesion)(608)의 표시를 나타낸다. 타겟 병변(606)과 잠재적 병변(potential lesion)(608)이 매치할 가능성을 백분율로 제공하는 신뢰 수준 표시자(confidence level indicator)(610)가 디스플레이된다. 이 예에서, 99.9% 매치가 있다.

일부 예에서, 잠재적 병변(potential lesion)(608) 주위에 색이 있는 원과 같은 신뢰 수준의 다른 표시자가 제공될 수 있다. 다른 색상은 다른 수준의 신뢰도를 나타낼 수 있다. 예를 들어, 높은 수준의 신뢰도는 녹색 원으로 표시될 수 있다. 중간 수준의 신뢰는 노란색 원으로 표시될 수 있다. 낮은 수준의 신뢰도는 빨간색 원으로 표시할 수 있다. 일부 예들에서, 초음파 이미지(604) 상의 시각적 표시자 및 텍스트 신뢰 수준 표시자(610) 둘 모두가 사용될 수 있다.

GUI(130)는 또한 초음파 이미지(ultrasound image)(604)가 촬영되고 있는 유방(202) 상의 위치를 나타내는 다이어그램(612) 뿐만 아니라 타겟 병변(606)의 위치를 나타내는 화살표를 포함한다. 또한, 좌표(614)가 디스플레이된다. 이 예에서, 좌표(614)는 유두에서 2cm 떨어진 11:00시 위치에서 오른쪽 유방의 잠재적 병변의 위치를 나타낸다. 다이어그램(diagram)(612)은 잠재적 병변(608)의 해당 시각적 표현을 보여줍니다.

도 11은 병변 식별 시스템(lesion identification system)(700)의 다른 실시예를 도시한다. 병변 상관기(lesion correlator)(701)는 도 1의 병변 매칭 엔진(110)과 유사한 기능으로 컴퓨팅 장치(102)에서 동작한다. 그러나, 이 예에서, 병변은 확률 매핑을 사용하여 상관된다. 실시간 초음파 이미징 안내는 적어도 2개의 광학 카메라( optical camera)(702)와 프로젝터(projector)(402)를 사용하여 제공된다. 광학 카메라(702)는 환자의 몸통(torso)의 다중 이미지를 캡처하도록 동작한다. 다중 입체 광학 이미지(stereotactic optical image)는 컴퓨팅 장치(102)에서 이전에 획득된 x선 이미지와 조합하여 분석된다.

이 예에서 인공 지능 이미지 분석기(artificial intelligence image analyzer)(724)는 2개의 상이한 이미징 방식 사이에서 유방의 영역을 매치시키도록 구성된다. 일부 예에서, 딥 러닝 모델은 한 유형의 이미지에서 식별된 타겟 병변이 다른 유형의 이미지에서 임의의 주어진 위치에 위치될 확률을 생성하는 데 활용된다. 예를 들어, 단층 합성 뷰(tomosynthesis view)(710)에 표시된 타겟 병변(712)은 초음파 이미지(708) 상의 위치의 확률을 결정하기 위해 분석된다.

일부 예에서 확률 매퍼(probability mapper)(728)는 잠재적 병변(714)이 다른 유형의 이미지에서 가장 가능성이 높은 위치를 나타내는 유방에 대한 확률 매핑을 생성한다. 일부 예에서, 이것은 광학 카메라(702)에 의해 획득된 광학 이미지일 수 있다. 잠재적 병변(714)은 색상 구배를 사용하여 초음파 이미지에 표시되며, 중심은 타겟 병변이 위치될 가능성이 가장 높은 것을 나타낸다. 일부 예들에서, 확률 맵핑은 시각적 맵이고 도 11의 GUI(730)에 도시된 바와 같이 초음파 이미지 또는 단층 합성 이미지 위에 놓이게 된다. 다른 예에서, 확률 매핑은 프로젝터(704)를 사용하여 초음파 검사 동안 환자의 실제 유방에 투영된 시각적 맵이다. 잠재적 병변(714)은 확률 맵의 컬러 영역으로 표시된다. 이 시각적 확률 맵은 헬스케어 종사자 H가 초음파 프로브(302)를 사용하여 초음파 이미지를 획득하도록 안내하는 데 사용된다.

일부 예에서, 추적 시스템(154) 및 내비게이션 시스템(156)은 병변 상관기(701)와 함께 동작하여 초음파 이미징 세션 동안 헬스케어 종사자 H를 안내한다. 초음파 프로브(302)의 현재 위치는 컴퓨팅 장치(102)에 전달되고 프로브의 현재 위치는 실시간으로 GUI(730)에 제공된 이미지 상에 시각적으로 표시된다.

이제 도 12를 참조하면, 유방 내의 관심 영역을 매핑하는 예시적인 방법(800)이 설명된다. 일부 예에서, 도 11의 시스템은 이 방법(800)을 수행하도록 동작한다.

동작(802)에서, 적어도 하나의 유방의 일련의 입체 광학 이미지가 캡처된다. 이것은 일반적으로 환자가 이미징 테이블이나 기타 지지대에 엎드려 있을 때 수행된다. 이미지는 환자 위에 위치된 2개 이상의 광학 카메라(702)로 캡처된다.

동작(804)에서, 유방의 적어도 하나의 단층 합성 이미지가 액세스된다. 일부 실시예에서, 단층 합성 이미지(들)는 사용자로부터 입력을 수신하는 것에 응답하여 컴퓨팅 장치(102)에서 액세스된다. 일부 예에서, 단층 합성 이미지(들)는 이미지화되는 환자와 관련된 전자 의료 기록으로부터 액세스된다. 일부 실시예에서, 단층 합성 이미지(들)는 컴퓨팅 장치(102)의 디스플레이 상에 제시된다.

동작(806)에서, 단층 합성 이미지 상의 타겟 병변의 표시가 수신된다. 일부 예들에서, 표시는 도 1의 x선 컴퓨팅 장치에서 헬스케어 제공자 H로부터 수신된다. 타겟 병변(712)의 표시의 예는 도 11의 GUI(130)에 도시되어 있다. 도 9와 관련하여 위에서 설명된 바와 같이, 타겟 병변이 표시될 수 있는 다른 방법이 있다.

동작(808)에서, 광학 이미지와 단층 합성 이미지의 공동 등록 이미지 분석이 수행된다. 일부 실시예에서, 영역 매칭을 위한 인공 지능 알고리즘은 광학 이미지와 단층 합성 이미지가 함께 등록될 수 있는 가상의 변형 가능한 유방을 생성하는 데 사용된다. 일부 예에서, 인공 지능 알고리즘은 딥 러닝 기반 영역 매칭 방법이다.

동작(810)에서, 이미지 분석에 기초하여 확률 매핑이 생성된다. 확률 매핑은 표시된 병변이 유방의 특정 지점에 위치될 가능성을 나타낸다.

도 11에 도시된 예에서, 시각적 확률 맵은 유방의 다양한 위치에서 더 높거나 더 낮은 확률을 나타내기 위해 색상 표시자를 사용한다. 예를 들어 빨간색은 가장 높은 확률을 나타내고 파란색은 가장 낮은 확률을 나타낼 수 있다. 다른 예들에서, 검정은 가장 높은 확률을 나타내고 흰색은 가장 낮은 확률을 나타내는 회색조가 사용된다. 도 11에서 볼 수 있는 바와 같이, 확률 맵의 결과 시각적 개체는 병변이 있을 가능성이 가장 높은 위치를 나타내는 가장 높은 확률의 영역을 포함할 가능성이 높다. 이 영역은 바깥쪽으로 확장되는 확률이 감소하는 영역으로 둘러싸여 있다. 예를 들어 영역이 빨간색이고 주변 색상이 주황색에서 노란색, 녹색에서 파란색으로 확장될 수 있다. 다른 예에서, 시각적 확률 맵은 다른 유형의 해싱 또는 음영으로 디스플레이된다. 일부 예에서, 확률 매핑은 다양한 확률에 대해 다른 수치 값을 제공한다. 일부 예에서 단일 타겟은 가장 높은 확률의 지점에 투영된다.

동작(812)에서, 확률 맵은 환자 P에 투영된다. 일부 예에서, 맵은 하나의 유방에만 투영된다. 일부 예에서, 맵은 환자의 양쪽 유방에 걸쳐 투영된다. 이는 초음파 이미징을 수행하는 헬스케어 제공자 H에게 타겟 병변이 위치될 가능성이 가장 높은 위치에 대한 시각적 가이드를 제공한다.

일부 예에서, 초음파 프로브(302)가 타겟 병변의 위치에 가까워지고 있음을 나타내기 위해 추가 피드백이 헬스케어 제공자 H에게 제공될 수 있다. 일부 경우에, 초음파 프로브(302)는 환자에 대한 확률 맵의 투영 경로를 차단하여 그림자를 생성한다. 시각적 안내에 대한 이러한 간섭을 보상하기 위해, 햅틱 피드백 또는 오디오 피드백과 같은 피드백을 사용하여 헬스케어 종사자 H가 초음파 프로브(302)가 타겟 병변과 정렬되는 시기를 결정할 수 있다.

일부 예에서, 실시간 탐색 지원의 형태로 헬스케어 종사자에게 추가 안내가 제공된다. 초음파 프로브의 실시간 위치는 이미징 중에 추적되고 위치에 대한 정보는 헬스케어 종사자를 위한 디스플레이에 제공된다. 일부 예들에서, 디스플레이는 환자의 유방의 이미지와 관련하여 초음파 프로브의 현재 위치 및 배향의 표시를 보여준다.

여기에 설명된 방법 및 시스템은 헬스케어 전문가가 초음파에서 맘모그라피 병변을 빠르고 정확하게 찾는 데 도움이 되는 탐색 및 병변 매치 기술을 제공한다. 이 시스템을 통해 헬스케어 전문가는 맘모그라피 중에 관심 영역을 식별할 수 있다. 서브시퀀스 초음파 검사 동안, 맘모그람, 타겟 관심 영역 및 b 모드 이미징이 동시에 디스플레이된다. 이것은 전문가를 관심 영역으로 안내하는 동시에 프로브의 위치, 방향 및 주석에 대한 문서화를 자동화한다. 전문가가 관심 영역으로 이동하면, 시스템이 자동으로 이미지를 분석하고 병변을 매치시키며 시각적 신뢰도 표시자를 제공한다.

여기에 제공된 시스템 및 방법을 통해 헬스케어 전문가는 초음파를 사용하여 타겟 병변의 1cm 내에서 탐색할 수 있다. 수천 건의 확인된 사례를 기반으로 인공 지능 기반 시스템이 구축된다. 헬스케어 전문가가 스스로 달성할 수 있는 것보다 더 정확하게 병변을 매치시킬 수 있다. 또한 원래 x선 이미징을 사용하여 식별된 병변을 초음파를 사용하여 더 빠르고 쉽게 찾을 수 있다.

다양한 실시예 및 예가 여기에 설명되어 있지만, 당업자는 본 개시의 범위 내에서 이에 대해 많은 수정이 이루어질 수 있음을 이해할 것이다. 따라서, 본 개시의 범위가 제공된 예에 의해 어떤 식으로든 제한되는 것으로 의도되지 않는다.

Claims

유방 내의 병변의 위치를 찾는 방법에 있어서,
컴퓨팅 시스템에서, 제1 이미징 방식에 의해 획득된 상기 유방의 제1 이미지 상의 유방 내의 타겟 병변의 위치의 표시를 수신하는 단계;
상기 컴퓨팅 시스템에서, 제2 이미징 방식에 의해 획득된 상기 유방의 제2 이미지를 수신하는 단계;
상기 컴퓨팅 시스템에서 동작하는 병변 매칭 엔진으로 인공 지능을 사용하여 제1 이미지와 제2 이미지를 상관시키기 위해 상기 타겟 병변을 포함하는 상기 제1 이미지 및 잠재적 병변을 포함하는 상기 제2 이미지를 분석하는 단계;
상기 잠재적 병변이 상기 타겟 병변에 대응할 확률을 결정하는 단계; 및
그래픽 사용자 인터페이스에 표시할 확률 표시자를 출력하는 단계를 포함하는
방법.
제1항에 있어서,
상기 제1 이미지에 표시된 상기 타겟 병변의 위치 좌표 및 상기 잠재적 병변의 위치 좌표를 기록하는 단계를 더 포함하고, 상기 제1 이미지 및 상기 제2 이미지를 분석하는 단계는 타겟 병변의 위치 좌표와 잠재적 병변의 위치 좌표를 비교하는 단계를 포함하는
방법.
제2항에 있어서,
상기 잠재적 병변의 위치 좌표는 상기 유방의 유두에 대한 시각 위치, 상기 유방의 표면으로부터의 깊이, 및 상기 유두로 부터의 거리를 포함하는
방법.
제1항에 있어서,
상기 타겟 병변 및 상기 잠재적 병변은 상기 컴퓨팅 장치의 디스플레이 상에 제시된 상기 유방의 이미지에 대한 선택을 수신함으로써 디스플레이되는
방법.
제1항에 있어서,
상기 제1 이미징 방식은 디지털 유방 단층 합성인
방법.
제1항에 있어서,
상기 제1 이미징 방식은 자기 공명 이미징(MRI)인
방법.
제1항에 있어서,
상기 제2 이미징 방식은 초음파인
방법.
제1항에 있어서,
상기 제1 이미지 및 상기 제2 이미지를 분석하는 단계는 디지털 유방 단층 합성 케이스 및 대응하는 진단 초음파 케이스의 라이브러리를 사용하여 훈련된 인공 지능 시스템을 사용하여 수행되는
방법.
제1항에 있어서,
상기 제1 이미지 및 상기 제2 이미지를 분석하는 단계는 영역 매칭을 사용하여 상기 이미지를 공동 등록하는 인공 지능 시스템을 사용하여 수행되는
방법.
제1항에 있어서,
상기 잠재적 병변을 분석하는 단계는 상기 타겟 병변과 상기 잠재적 병변을 둘러싸는 유방 조직의 폼 팩터를 비교하는 단계를 포함하는
방법.
제1항에 있어서,
상기 표시자는 상기 수신된 이미지 상의 형태, 색상, 수치 및 기준 중 적어도 하나를 디스플레이하는 단계를 포함하는
방법.
제10항에 있어서,
상기 표시자는 상기 타겟 병변에 대응하는 상기 유방 상의 각 위치의 확률의 시각적 표시를 포함하는 확률 맵을 포함하는
방법.
병변 식별 시스템에 있어서,
처리 장치; 및
명령을 저장하는 메모리를 포함하고, 상기 처리 장치에 의해 실행될 때, 동작의 수행을 용이하게 하는 상기 명령은:
유방의 x선 이미지에 액세스하는 단계 - 상기 x선 이미지는 시각적 마커로 표시된 식별된 병변을 포함함 -;
상기 유방의 초음파 이미지를 수신하는 단계 - 상기 초음파 이미지는 잠재적 병변의 표시를 포함함 -;
인공지능 병변 분류기를 사용하여 상기 잠재적 병변 및 상기 식별된 병변을 분석하는 단계;
상기 초음파 이미지의 상기 잠재적 병변이 상기 x선 이미지의 상기 식별된 병변과 매치할 가능성을 나타내는 신뢰도 점수를 생성하는 단계; 및
그래픽 사용자 인터페이스 상에 상기 신뢰도 점수와 연관된 출력을 디스플레이하는 단계를 포함하는
시스템
제13항에 있어서,
상기 동작은 상기 유방이 압박을 받고 있는 동안 식별된 병변의 위치를 식별하는 제1 좌표 세트에 액세스하는 단계를 더 포함하고; 상기 유방이 압박을 받고 있지 않은 동안 상기 제1 좌표 세트를 식별된 병변의 예측된 위치를 식별하는 제2 좌표 세트로 전환하는 단계; 제2 좌표 세트에 대응하는 초음파 이미지에서 관심 영역을 식별하는 단계; 및 초음파 이미지에서 잠재적 병변을 식별하는 단계를 포함하는
시스템.
제14항에 있어서,
상기 동작은 그 위치를 나타내는 초음파 프로브로부터의 송신을 수신함으로써 제2 좌표 세트로 네비게이팅하는 단계를 더 포함하는
시스템.
제14항에 있어서,
상기 동작은 신뢰도 점수를 생성하기 위해 상기 식별된 병변 및 상기 잠재적 병변을 둘러싸는 상기 유방 조직의 폼 팩터를 분석하는 단계를 더 포함하는
시스템.
제13항에 있어서,
상기 잠재적 병변은 인공 지능 병변 분류기를 사용하여 분석되고, 상기 인공 지능 병변 분류기는 디지털 유방 단층 이미지 및 대응하는 초음파 이미지에 대해 학습되는
시스템.
제16항에 있어서,
상기 인공 지능 병변 분류기는 상기 유방 내의 밀도, 강성, 모양, 가장자리, 배향, 질감, 패턴, 크기 및 깊이 중 하나 이상의 상관관계에 대해 병변을 분석하는
시스템.
제13항에 있어서,
상기 초음파 이미지는 초음파 시스템으로부터 수신되고, 상기 신뢰도 점수는 상기 초음파 시스템과 통신하는 디스플레이에 전달되고, 상기 신뢰도 점수의 시각적 표시는 상기 초음파 이미지의 시각적 표시자로서 상기 초음파 시스템과 통신하는 디스플레이에 표시되는
시스템.
프로세서에 의해 실행될 때, 동작의 수행을 용이하게 하는 실행 가능한 명령을 포함하는 비일시적 기계 판독 가능 저장 매체에 있어서,
상기 명령은:
데이터 저장소로부터 타겟 병변에 대한 데이터를 획득하는 단계 - 상기 데이터는 x선 이미징으로 획득되었고 적어도 타겟 병변의 이미지 및 유방 내 타겟 병변의 위치에 대한 좌표를 포함함 -;
초음파 이미징에 의해 획득된 유방의 이미지를 기록하는 단계;
상기 타겟 병변의 좌표에 기초하여 초음파에 의해 획득된 상기 유방의 기록된 이미지에서 일반적인 관심 영역을 식별하는 단계;
상기 일반적인 관심 영역에서 잠재적 병변을 식별하는 단계;
인공지능 병변 분류기를 사용하여, 상기 잠재적 병변을 상기 타겟 병변과 비교하고, 상기 잠재적 병변이 타겟 병변에 대응한다는 신뢰도를 결정하기 위해 잠재적 병변을 분석하는 단계; 및
그래픽 사용자 인터페이스 상에 신뢰도의 수준의 표시자를 출력하는 단계를 포함하는
비일시적 기계 판독 가능 저장 매체.
제19항에 있어서,
상기 동작은:
디지털 유방 단층 합성을 사용하여 유방 조직의 이미지를 기록하는 단계;
상기 유방 내의 타겟 병변의 이미지에 대한 표시를 수신하는 단계;
상기 타겟 병변의 위치에 대한 좌표를 결정하는 단계; 및
데이터 저장소에 상기 타겟 병변의 표시 및 좌표를 저장하는
비일시적 기계 판독 가능 저장 매체.
병변 식별 시스템에 있어서,
적어도 하나의 광학 카메라;
프로젝터;
처리 장치; 및
명령을 저장하는 메모리를 포함하고, 상기 처리 장치에 의해 실행될 때, 동작의 수행을 용이하게 하는 상기 명령은:
적어도 하나의 광학 카메라를 사용하여 환자의 유방의 적어도 하나의 광학 이미지를 캡처하는 단계;
상기 유방의 적어도 하나의 단층 합성 이미지에 액세스하는 단계;
상기 적어도 하나의 단층 합성 이미지 상에 타겟 병변의 표시를 수신하는 단계;
영역 매칭을 위한 인공 지능 알고리즘 및 비강성 변형 모델을 분석하여 상기 적어도 하나의 광학 이미지와 상기 유방의 적어도 하나의 단층 합성 이미지를 공동 등록하는 단계;
상기 공동 등록 및 상기 타겟 병변의 표시에 기초하여 확률 맵을 생성하는 단계 - 상기 맵은 상기 타겟 병변이 상기 유방 상의 복수의 지점 각각에 위치될 가능성을 표시함 -; 및
상기 프로젝터를 사용하여 상기 확률 맵을 상기 유방에 투영하는 단계를 포함하는
시스템.