KR20230168230A - 의료진단영상에서 생검 바늘의 위치를 파악하는 방법 및 장치 - Google Patents

의료진단영상에서 생검 바늘의 위치를 파악하는 방법 및 장치 Download PDF

Info

Publication number
KR20230168230A
KR20230168230A KR1020220068187A KR20220068187A KR20230168230A KR 20230168230 A KR20230168230 A KR 20230168230A KR 1020220068187 A KR1020220068187 A KR 1020220068187A KR 20220068187 A KR20220068187 A KR 20220068187A KR 20230168230 A KR20230168230 A KR 20230168230A
Authority
KR
South Korea
Prior art keywords
biopsy needle
image
needle
biopsy
medical diagnostic
Prior art date
Application number
KR1020220068187A
Other languages
English (en)
Inventor
박수형
김창성
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020220068187A priority Critical patent/KR20230168230A/ko
Publication of KR20230168230A publication Critical patent/KR20230168230A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/0233—Pointed or sharp biopsy instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 컴퓨터에 의해 수행되는 의료진단영상에서 생검 바늘의 위치를 파악하는 방법을 제공한다. 상기 방법은 생검 대상 조직 및 생검 바늘을 포함하는 시계열 의료진단영상을 획득하는 단계, 상기 시계열 의료진단영상으로부터 상기 생검 대상 조직 및 상기 생검 바늘의 동적 패턴을 기반으로 상기 생검 바늘에 대한 영상을 분리하는 단계, 상기 분리된 생검 바늘에 대한 영상을 시간 방향으로 투영하여 상기 생검 바늘에 대한 단일 투영 영상을 생성하는 단계 및 상기 생검 바늘에 대한 단일 투영 영상을 실제 생검 바늘과의 패턴 매칭을 통하여 최종 생검 바늘 영상을 생성하는 단계를 포함한다.

Description

의료진단영상에서 생검 바늘의 위치를 파악하는 방법 및 장치{METHOD AND APPARATUS FOR DETECTING POSITION OF BIOPSY NEEDLE IN MEDICAL DIAGNOSTIC IMAGE}
본 개시는 니들 가이던스를 위한 영상 기법에 관한 것이다. 보다 상세하게는, 본 개시는 의료진단영상에서 생검 바늘의 위치를 파악하기 위한 방법 및 장치에 관한 것이다.
일반적으로 초음파 유도 영상으로 생검을 시행한다. 이 경우, 초음파를 이용하여 조직검사를 할 때 영상이 잘 보이지 않으면 조직검사용 생검 바늘의 위치를 파악하기 어렵기 때문에, 적절한 조직이 얻어지지 않거나 출혈, 혈뇨 등의 합병증 발생 위험이 증가할 수 있다.
최근에는 초음파 장치의 성능을 개선시키거나 바늘 끝에 표지자를 부착하여 바늘의 위치를 보다 정확하게 파악하려는 시도가 있으나, 이는 장치 추가에 따른 비용이 증가하는 단점이 있다. 특히, 바늘은 일회 사용 후 버려지기 때문에 추가 비용이 많이 들어가는 단점이 있다.
또한, 기존의 동적 및 정적 영상의 차이를 이용한 연구는 상당한 허상이 발생한다는 문제가 있었고, 초음파처럼 5cm 이상의 깊은 생검 시에는 시도된 적이 없다. 초음파는 인체 깊이 투과되고 공기와 뼈 등의 장애물이 존재하면 영상의 해상도가 급격히 감소하기 때문에 어려움이 있을 수 있다.
따라서, 초음파와 같은 기존 장비를 통해 얻은 영상을 분석하여 실시간으로 생검 바늘의 위치를 파악하고, 또한 이를 통해 생검 바늘의 영상을 강조하여 더욱 정확한 위치를 식별할 수 있도록 하는 방안이 필요하다. 이에 따르면, 기존 장비를 활용하므로 비용을 절감할 수 있으며, 또한 신장뿐만 아니라 다른 장기의 생검이나 시술 시에도 다양하게 활용 가능할 수 있다. 즉, 영상 분리 기법 및 인공지능 알고리즘을 이용하여 생검 바늘 강조 영상 기법을 제공할 필요가 있다.
한국공개특허 제20200069846호
본 개시에 개시된 실시예는 모델 기반 니들 가이던스를 위한 영상 처리 방법을 제공하는데 그 목적이 있다.
본 개시에 개시된 실시예는 의료진단영상에서 생검 바늘의 위치를 파악하는 방법 및 장치를 제공하는데 그 목적이 있다.
본 개시에 개시된 실시예는 동적 영상의 움직임 패턴에 따라서 전체 영상의 신호를 분리하고 니들 딕셔너리를 통해 생검 바늘 영상을 생성함으로써 새로운 생검 바늘 강조 영상을 제공하는 니들 가이던스 방법을 제공하는데 그 목적이 있다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 달성하기 위한 본 개시에 일 측면에 따른 컴퓨터에 의해 수행되는 의료진단영상에서 생검 바늘의 위치를 파악하는 방법은, 생검 대상 조직 및 생검 바늘을 포함하는 시계열 의료진단영상을 획득하는 단계, 상기 시계열 의료진단영상으로부터 상기 생검 대상 조직 및 상기 생검 바늘의 동적 패턴을 기반으로 상기 생검 바늘에 대한 영상을 분리하는 단계, 상기 분리된 생검 바늘에 대한 영상을 시간 방향으로 투영하여 상기 생검 바늘에 대한 단일 투영 영상을 생성하는 단계 및 상기 생검 바늘에 대한 단일 투영 영상을 실제 생검 바늘과의 패턴 매칭을 통하여 최종 생검 바늘 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 생검 바늘에 대한 영상을 분리하는 단계는, 상기 시계열 의료진단영상으로부터 상기 생검 대상 조직 및 상기 생검 바늘의 동적 패턴을 기반으로 천천히 변화하는 배경(background) 조직 신호 및 국소적으로 변화하는 국소(local) 조직 신호를 분리하고, 상기 분리후 남은 레지듀얼(residual) 신호로부터 상기 생검 바늘에 대한 영상을 복원할 수 있다.
또한, 상기 배경 조직 신호는 큰 움직임(bulk motion) 패턴을 기반으로 낮은 순위(low rank)를 이용하여 분리하고, 상기 국소 조직 신호는 작은 움직임(small motion) 패턴을 기반으로 시간 기반(temporal basis)을 이용하여 분리할 수 있다.
또한, 상기 생검 바늘에 대한 단일 투영 영상을 생성하는 단계는, 상기 분리된 생검 바늘에 대한 영상으로부터 상기 시간 방향을 따라 존재하는 상기 생검 바늘에 대한 정보를 추출하는 단계 및 상기 생검 바늘에 대한 정보를 상기 시간 방향으로 최대 강도 투영(MIP; maximum intensity projection)을 사용하여 상기 생검 바늘에 대한 단일 투영 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 최종 생검 바늘 영상을 생성하는 단계는, 상기 실제 생검 바늘을 기반으로 생검 바늘 사전(dictionary)을 생성하는 단계 및 상기 생검 바늘에 대한 단일 투영 영상을 상기 생검 바늘 사전과의 패턴 매칭을 통하여 상기 최종 생검 바늘 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 생검 바늘 사전은, 상기 실제 생검 바늘을 기반으로 생성된 템플릿 바늘 모델을 포함하되, 상기 최종 생검 바늘 영상을 생성하는 단계는, 상기 생검 바늘 사전에서 패턴 매칭을 통해 상기 생검 바늘에 대한 단일 투영 영상과 가장 일치하는 템플릿 바늘 모델을 검출하고, 상기 검출된 템플릿 바늘 모델을 기반으로 픽셀 단위로 매핑하여 상기 최종 생검 바늘 영상을 생성할 수 있다.
또한, 상기 생검 바늘 사전과의 패턴 매칭은, 정규화된 교차 상관(NCC; normalized cross correlation)을 기반으로 상기 단일 투영 영상 내의 생검 바늘과 상기 생검 바늘 사전 내의 템플릿 바늘 모델 간의 상관 관계를 측정하여 수행될 수 있다.
또한, 상기 시계열 의료진단영상에 상기 최종 생검 바늘 영상을 오버레이하여 표시하는 단계 및 상기 오버레이된 최종 생검 바늘 영상 및 시계열 의료진단영상으로부터 상기 생검 바늘의 위치를 파악하는 단계를 더 포함할 수 있다.
또한, 상기 시계열 의료진단영상은 초음파 영상, 자기공명 영상, 또는 CT 영상 중 적어도 하나를 포함하고, 상기 생검 대상 조직은 신장, 간, 폐, 근육, 또는 림프선 중 적어도 하나를 포함할 수 있다.
또한, 본 개시의 다른 측면에 따른 의료진단영상에서 생검 바늘의 위치를 파악하는 방법을 수행하는 장치는, 생검 대상 조직 및 생검 바늘을 포함하는 시계열 의료진단영상을 획득하고, 상기 시계열 의료진단영상으로부터 상기 생검 대상 조직 및 상기 생검 바늘의 동적 패턴을 기반으로 상기 생검 바늘에 대한 영상을 분리하는 영상 분리부, 상기 분리된 생검 바늘에 대한 영상을 시간 방향으로 투영하여 상기 생검 바늘에 대한 단일 투영 영상을 생성하는 영상 투영부 및 상기 생검 바늘에 대한 단일 투영 영상을 실제 생검 바늘과의 패턴 매칭을 통하여 최종 생검 바늘 영상을 생성하는 영상 매칭부를 포함할 수 있다.
이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.
이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.
본 개시의 전술한 과제 해결 수단에 의하면, 시술자가 조직검사 시에 동적 의료진단영상으로부터 생성되는 생검 바늘의 동적 패턴을 보고 생검 바늘의 정확한 위치 및 각도 등을 파악할 수 있으므로, 이를 통하여 정확한 검체 획득을 용이하게 하고 불필요한 추가 생검을 줄임으로써 환자 출혈 등의 부작용을 예방할 수 있다.
또한, 본 개시의 전술한 과제 해결 수단에 의하면, 자기공명, 초음파, CT 등의 다양한 장치에서 활용가능하며, 생검 부위 또한 신장, 간, 폐, 근육, 림프선 등으로 확장 적용할 수 있다. 또한, 마취 시술 시에 바늘의 정확성 확보를 위하여 활용될 수 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 의료진단영상에서 생검 바늘의 위치를 파악하는 방법을 수행하는 장치를 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 의료진단영상에서의 생검 바늘의 위치를 파악하는 방법을 개략적으로 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 의료진단영상에서의 생검 바늘의 위치를 파악하는 방법의 구체적인 일예를 나타내는 순서도이다.
도 4는 본 발명의 일 실시예에 따른 템플릿 바늘 모델을 포함하는 생검 바늘 사전을 생성하는 방법을 설명하기 위한 도면이다.
도 5는 도 2 및 도 3에 도시된 본 발명의 일 실시예에 따른 의료진단영상에서의 생검 바늘의 위치를 파악하는 방법의 각 단계별 결과물을 도시한 도면이다.
도 6 및 도 7은 생검 바늘의 가시성 정도에 따라 나타나는 결과를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.
인체의 장기에 조직검사를 시술할 때, 생검 바늘의 각도가 높아질수록, 깊이가 깊어질수록 신호의 민감도가 감소하고, 영상의 피직스(physics)로부터 발생하는 쉐도잉(shadowing) 및 모션과 같은 인공물로 인해 생검 바늘의 위치를 파악하는데 어려움이 있다. 이와 같이 생검을 시행하는 환자에서 생검 바늘의 위치가 정확하지 않으면 생검 관련 합병증이 증가할 수 있다.
따라서, 이를 해결하기 위해서 본 발명에서는 의료진단영상에서 생검 바늘의 정확한 위치를 파악하기 위한 영상 처리 방안을 제공한다. 즉, 본 발명에서는 의료진단영상에서의 움직임 패턴에 따라서 생검 바늘 신호를 분리하고 실제 바늘 모양과의 사전(dictionary) 매칭을 통해 생검 바늘의 구조를 복구함으로써 의료진단영상에서 생검 바늘의 위치를 정확하게 파악할 수 있는 방안을 제공하고자 한다.
도 1은 본 발명의 일 실시예에 따른 의료진단영상에서 생검 바늘의 위치를 파악하는 방법을 수행하는 장치를 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 의료진단영상에서 생검 바늘의 위치를 파악하는 방법을 수행하는 장치(100)는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 발명의 일 실시예에 따른 의료진단영상에서 생검 바늘의 위치를 파악하는 방법을 수행하는 장치(100)는 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
여기에서, 상기 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.
상기 서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.
상기 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.
일 실시예로, 본 발명에 따른 의료진단영상에서 생검 바늘의 위치를 파악하는 방법을 수행하는 장치(100)는 영상 분리부(110), 영상 투영부(120), 영상 매칭부(130)를 포함할 수 있다. 도 1에 도시된 구성요소들은 본 개시에 따른 상기 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 상기 장치(100)는 도 1에 도시된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
영상 분리부(110)는 생검 대상 조직 및 생검 바늘을 포함하는 시계열 의료진단영상을 획득하고, 시계열 의료진단영상으로부터 생검 대상 조직 및 생검 바늘의 동적 패턴을 기반으로 생검 바늘에 대한 영상을 분리할 수 있다.
여기서, 생검 대상 조직은 생검을 시행하고자 하는 인체의 장기(즉, 조직)을 지칭하는 것으로, 신장, 간, 폐, 근육, 또는 림프선 등 인체 장기 중 어느 하나일 수 있다.
의료진단영상은 초음파, 자기공명, CT 등의 장치로부터 획득되는 초음파 영상, 자기공명 영상, 또는 CT 영상 등을 지칭할 수 있다. 또한, 의료진단영상은 상기 생검 대상 조직(예: 신장, 간, 폐, 근육, 또는 림프선 등)을 포함하여 생검 대상 조직을 검출하기 위한 생검 바늘을 포함할 수 있다.
또한, 시계열 의료진단영상은 시간의 경과에 따라 연속적으로 또는 순서적으로 획득된 영상(즉, 프레임)의 집합을 지칭할 수 있다.
구체적으로, 영상 분리부(110)는 시계열 의료진단영상으로부터 생검 대상 조직 및 생검 바늘의 동적 패턴을 기반으로 천천히 변화하는 배경(background) 조직 신호 및 국소적으로 변화하는 국소(local) 조직 신호를 분리하고, 분리 후 남은 레지듀얼(residual) 신호로부터 생검 바늘에 대한 영상을 복원하여, 생검 바늘 영상을 획득할 수 있다.
이때, 배경 조직 신호는 시계열 의료진단영상으로부터 큰 움직임(bulk motion) 패턴을 기반으로 낮은 순위(low rank)를 이용하여 분리될 수 있다. 국소 조직 신호는 시계열 의료진단영상으로부터 작은 움직임(small motion) 패턴을 기반으로 시간 기반(temporal basis)을 이용하여 분리될 수 있다.
영상 투영부(120)는 분리된 생검 바늘에 대한 영상을 시간 방향으로 투영하여 생검 바늘에 대한 단일 투영 영상을 생성할 수 있다.
구체적으로, 영상 투영부(120)는 분리된 생검 바늘에 대한 영상으로부터 시간 방향을 따라 존재하는 생검 바늘에 대한 정보를 추출하고, 추출된 생검 바늘에 대한 정보를 시간 방향으로 최대 강도 투영(MIP; maximum intensity projection)을 사용하여 생검 바늘에 대한 단일 투영 영상을 생성할 수 있다.
영상 매칭부(130)는 생검 바늘에 대한 단일 투영 영상을 실제 생검 바늘과의 패턴 매칭을 통하여 최종 생검 바늘 영상을 생성할 수 있다.
구체적으로, 영상 매칭부(130)는 실제 생검 바늘을 기반으로 생검 바늘 사전(dictionary)을 생성하고, 생검 바늘에 대한 단일 투영 영상을 생검 바늘 사전과의 패턴 매칭을 통하여 최종 생검 바늘 영상을 생성할 수 있다.
여기서, 생검 바늘 사전은 실제 생검 바늘을 기반으로 생성된 템플릿 바늘 모델을 포함할 수 있다.
즉, 영상 매칭부(130)는 생검 바늘 사전에서 패턴 매칭을 통해 생검 바늘에 대한 단일 투영 영상과 가장 일치하는 템플릿 바늘 모델을 검출하고, 상기 검출된 템플릿 바늘 모델을 기반으로 픽셀 단위로 매핑하여 최종 생검 바늘 영상을 생성할 수 있다.
또한, 생검 바늘 사전과의 패턴 매칭을 수행함에 있어서, 영상 매칭부(130)는 정규화된 교차 상관(NCC; normalized cross correlation)을 기반으로 단일 투영 영상 내의 생검 바늘과 생검 바늘 사전 내의 템플릿 바늘 모델 간의 상관 관계를 측정하여, 가장 높은 상관 관계 값을 갖는 생검 바늘 사전 내의 템플릿 바늘 모델을 검출할 수 있다.
또한, 본 발명의 일 실시예에 따른 상기 장치(100)는 시계열 의료진단영상에 최종 생검 바늘 영상을 오버레이하여 표시하고, 상기 최종 생검 바늘 영상이 오버레이된 시계열 의료진단영상으로부터 생검 바늘의 위치를 파악하는 위치 파악부(미도시)를 더 포함할 수 있다.
또한, 실시예에 따라, 상기 장치(100)는 도 1에 도시되지는 않았으나 메모리부 및 제어부 등을 더 포함할 수도 있다.
메모리부는 본 장치의 다양한 기능을 지원하는 데이터와, 제어부의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 음악 파일, 정지영상, 동영상 등)을 저장할 있고, 본 장치에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 본 장치의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다.
이러한, 메모리부는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 메모리부는 본 장치와는 분리되어 있으나, 유선 또는 무선으로 연결된 데이터베이스가 될 수도 있다.
제어부는 본 장치 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리, 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.
또한, 제어부는 이하의 도 2 내지 도 7에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 장치 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
도 1에 도시된 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.
이하에서는, 상술한 본 발명의 일 실시예에 따른 상기 장치(100)에서 수행되는 의료진단영상에서의 생검 바늘의 위치를 파악하는 방법에 관해 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 의료진단영상에서의 생검 바늘의 위치를 파악하는 방법을 개략적으로 나타내는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 의료진단영상에서의 생검 바늘의 위치를 파악하는 방법의 구체적인 일예를 나타내는 순서도이다.
도 2 내지 도 3의 동작들은 도 1에 개시된 장치(100)에 의해 수행될 수 있다. 여기서, 도 1에 개시된 장치(100)는 컴퓨터 장치일 수 있으며, 이 경우 도 2 내지 도 3의 동작들은 컴퓨터에 의해 수행될 수 있다.
도 2 및 도 3을 참조하면, 영상 분리부(110)는 생검 대상 조직 및 생검 바늘을 포함하는 시계열 의료진단영상을 획득할 수 있다(S200).
여기서, 생검 대상 조직은 생검을 시행하고자 하는 인체의 장기(즉, 조직)을 지칭하는 것으로, 신장, 간, 폐, 근육, 또는 림프선 등 인체 장기 중 어느 하나일 수 있다.
의료진단영상은 초음파, 자기공명, CT 등의 장치로부터 획득되는 초음파 영상, 자기공명 영상, 또는 CT 영상 등을 지칭할 수 있다. 또한, 의료진단영상은 상기 생검 대상 조직(예: 신장, 간, 폐, 근육, 또는 림프선 등)을 포함하여 생검 대상 조직을 검출하기 위한 생검 바늘을 포함할 수 있다.
또한, 시계열 의료진단영상은 시간의 경과에 따라 연속적으로 또는 순서적으로 획득된 영상(즉, 프레임)의 집합을 지칭할 수 있다. 즉, 시계열 의료진단영상은 시간 경과에 따른 복수개의 의료진단영상(즉, 영상 프레임)을 포함할 수 있다.
영상 분리부(110)는 시계열 의료진단영상으로부터 생검 대상 조직 및 생검 바늘의 동적 패턴을 기반으로 생검 바늘에 대한 영상을 분리할 수 있다(S210).
일 실시예로, 영상 분리부(110)는 시계열 의료진단영상으로부터 생검 대상 조직 및 생검 바늘의 동적 패턴을 기반으로 천천히 변화하는 배경(background) 조직 신호 및 국소적으로 변화하는 국소(local) 조직 신호를 분리하고, 상기 분리 후 남은 레지듀얼(residual) 신호로부터 생검 바늘에 대한 영상을 복원할 수 있다.
여기서, 배경 조직 신호는 시계열 의료진단영상으로부터 큰 움직임(bulk motion) 패턴을 기반으로 낮은 순위(low rank)를 이용하여 분리되고, 국소 조직 신호는 시계열 의료진단영상으로부터 작은 움직임(small motion) 패턴을 기반으로 시간 기반(temporal basis)을 이용하여 분리될 수 있다.
즉, 시계열 의료진단영상은 천천히 변화하는 큰 움직임 패턴을 가지는 배경 신호, 국부적으로 변화하는 움직임 패턴을 가지는 조직 신호 및 생검 바늘에 대한 신호를 포함할 수 있다. 여기서, 조직 신호는 전체 시계열 의료진단영상에 걸쳐 발생하고 적절한 저차원 하위 공간에 있다고 생각할 수 있고, 반면 생검 바늘 신호는 특정 부분에서의 희소한 이상값(sparse outliers)으로 나타나는 것으로 고려해 볼 수 있다. 이러한 점을 고려해 볼 때, 배경 조직 신호는 기저 벡터의 유한 집합을 낮은 순위 프라이어(low-rank prior)와 선형적으로 결합하는 것으로 나타낼 수 있다. 국소 조직 신호는 동적 조직 고유의 시간 신호 패턴을 사용하여 부분공간 제약된 선형 역 문제를 해결하여 추정될 수 있다. 반면, 생검 바늘 신호는 시간과 상관관계가 있는 조직 신호가 없는 경우 스파스 프라이어(sparse prior)로 나타낼 수 있다.
다시 말해, 시계열 의료진단영상에서 신호 강도는 일반적으로 다중 신호 구성요소의 동적 속성에 따라 다를 수 있다. 생검 바늘을 삽입하기 전의 시계열 의료진단영상은 높은 시공간적 상관 관계를 나타내는 배경 성분과, 호흡, 심장박동, 연동운동과 같은 생리적 움직임에 의해 상대적으로 빠른 움직임을 보이는 동적 성분의 중첩으로 나타낼 수 있다. 생검 바늘이 통과하는 동안에는, 긴 직선 형상이 빠르게 변화하는 신호 강도로 동적으로 나타날 수 있다.
이러한 신호의 동적 속성을 고려할 때, 도 3에 도시된 것처럼, 영상 분리부(110)는 시계열 의료진단영상 신호(X)로부터 배경 조직 신호(L), 국소 조직 신호(UVr H), 생검 바늘 신호(SN)를 분리할 수 있다.
영상 투영부(120)는 분리된 생검 바늘에 대한 영상을 시간 방향으로 투영하여 생검 바늘에 대한 단일 투영 영상을 생성할 수 있다(S220).
일 실시예로, 영상 투영부(120)는 분리된 생검 바늘에 대한 영상으로부터 시간 방향을 따라 존재하는 생검 바늘에 대한 정보를 추출하고, 상기 추출된 생검 바늘에 대한 정보를 시간 방향으로 최대 강도 투영(MIP; maximum intensity projection)을 사용하여 생검 바늘에 대한 단일 투영 영상을 생성할 수 있다.
이때, 시계열 의료진단영상으로부터 분리된 생검 바늘에 대한 영상은 복수개의 영상 프레임일 수 있으며, 시간 분해된(time-resolved) 영상 프레임일 수 있다. 일 예로, 도 3에 도시된 것처럼, 시계열 의료진단영상으로부터 분리된 복수개의 생검 바늘 영상(SN P)은 시간 방향으로 MIP를 사용하여 투영되어 단일 생검 바늘 영상(SN MIP)으로 결합될 수 있다.
영상 매칭부(130)는 생검 바늘에 대한 단일 투영 영상을 실제 생검 바늘과의 패턴 매칭을 통하여 최종 생검 바늘 영상을 생성할 수 있다(S230).
즉, 영상 매칭부(130)는 생검 바늘의 구조(즉, 위치, 방향, 각도 등)를 공간적으로 정제하기 위해서 생검 바늘 사전(dictionary)의 구축 및 패턴 매칭으로 이루어지는 사전 매칭을 수행할 수 있다.
일 실시예로, 영상 매칭부(130)는 먼저 실제 생검 바늘(예: 직선형 모양 등)을 기반으로 생검 바늘 사전(dictionary)을 생성하고, 이후 생검 바늘에 대한 단일 투영 영상을 생검 바늘 사전과의 패턴 매칭을 통하여 최종 생검 바늘 영상을 생성할 수 있다.
이때, 생검 바늘 사전은 실제 생검 바늘을 기반으로 생성된 템플릿 바늘 모델을 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 템플릿 바늘 모델을 포함하는 생검 바늘 사전을 생성하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 영상 매칭부(130)는 직선형 구조를 갖는 실제 생검 바늘을 기반으로 적어도 하나 이상의 템플릿 바늘 모델을 생성할 수 있다. 예를 들어, 소정의 위치 및 방향에 있는 템플릿 바늘로부터 일정 간격만큼 이동 및 회전을 통하여 적어도 하나 이상의 템플릿 바늘 모델을 생성하여 생검 바늘 사전을 구축할 수 있다. 일예로, 도 4에 도시된 것처럼, 템플릿 바늘은 3°씩 증가하여 25° ~ 70°까지 회전될 수 있고, 또한 템플릿 바늘은 8방향으로 3 픽셀씩 증가하여 -80 픽셀 ~ +80 픽셀까지 이동될 수 있다. 즉, 실제 생검 바늘에 대해 일정 간격만큼 이동 및 회전을 통하여 적어도 하나 이상의 템플릿 바늘 모델을 생성하고, 이를 생검 바늘 사전으로 구축할 수 있다. 그런 다음, 영상 매칭부(130)는 생검 바늘 사전 내의 모든 템플릿 모델을 합한 다음 픽셀 단위로 엔트리 수를 나누어 생검 바늘 사전의 분포 패턴을 나타내는 확률 맵을 생성할 수 있다.
즉, 영상 매칭부(130)는 상술한 도 4에서와 같이 생성된 생검 바늘 사전과의 패턴 매칭을 통해 단일 투영 영상 내의 생검 바늘을 실제 생검 바늘 구조와 일치될 수 있도록 복구할 수 있다.
일 실시예로, 영상 매칭부(130)는 생검 바늘 사전과의 패턴 매칭을 통해, 생검 바늘 사전으로부터 생검 바늘에 대한 단일 투영 영상과 가장 일치하는 템플릿 바늘 모델을 검출하고, 상기 검출된 템플릿 바늘 모델을 기반으로 픽셀 단위로 생검 바늘을 매핑하여 상기 최종 생검 바늘 영상을 생성할 수 있다.
이때, 생검 바늘 사전과의 패턴 매칭을 수행함에 있어서, 영상 매칭부(130)는 정규화된 교차 상관(NCC; normalized cross correlation)을 기반으로 단일 투영 영상 내의 생검 바늘과 생검 바늘 사전 내의 템플릿 바늘 모델 간의 상관 관계를 측정하고, 가장 높은 상관 관계(NCC) 값을 갖는 생검 바늘 사전 내의 템플릿 바늘 모델을 검출할 수 있다.
즉, NCC 값이 높을수록 단일 투영 영상 내 생검 바늘과 템플릿 바늘 간의 상관 관계가 높기 때문에, 실제 생검 바늘이 존재할 확률이 높은 것을 의미할 수 있다. 따라서, 영상 매칭부(130)는 NCC를 기반으로 검출된 생검 바늘 사전 내의 템플릿 바늘 모델을 이용하여 생검 바늘을 복구함으로써, 최종 생검 바늘 영상을 생성할 수 있다.
또한, 실시예에 따라, 본 발명에 따른 장치(100)의 위치 파악부는 시계열 의료진단영상에 최종 생검 바늘 영상을 오버레이하여 표시하고, 상기 최종 생검 바늘 영상이 오버레이된 시계열 의료진단영상으로부터 생검 바늘의 위치를 파악할 수 있다.
즉, 최종 생검 바늘 영상은 원래 시계열 의료진단영상과 오버레이되어 출력될 수 있고, 이 경우 오버레이된 영상은 생검 대상 조직에 대한 생검 바늘의 위치를 보다 정확히 표시해 줄 수 있다.
도 5는 도 2 및 도 3에 도시된 본 발명의 일 실시예에 따른 의료진단영상에서의 생검 바늘의 위치를 파악하는 방법의 각 단계별 결과물을 도시한 도면이다.
도 5의 A는 시계열 의료진단영상 신호(X)로부터 배경 조직 신호(L), 국소 조직 신호(UVr H), 생검 바늘 신호(SN)가 분해되는 것을 나타낸 것이다.
이때, 낮은 순위의 프라이어는 프레임 간에 상관된 배경 조직을 적절하게 나타낼 수 있고, 훈련된 시간적 기반은 시계열 의료진단영상의 아래쪽 부분에서 국소적으로 생검 대상 조직을 캡처할 수 있다(흰색 화살표로 표시). 스파스 프라이어(sparse prior)는 프레임 92-104에서 밝게 표시되지만 프레임 108-116에서 페이드 아웃되기 시작하는 생검 바늘의 움직임을 포함한다. 그러나 프레임 88에서 아티팩트(혜성 꼬리 형태)도 나타내고 있다(빨간색 화살표). 또한, 배경 조직 신호(L) 및 국소 조직 신호(UVr H)는 모든 프레임에 걸쳐 지속적으로 변화되는 반면, 생검 바늘 신호(SN)는 변환 도메인 내에서 시간적으로 압축 가능한 제한된 지원 영역으로 좁은 범위의 시간 프레임에 나타난다.
즉, 시계열 의료진단영상은 생검 대상 조직 및 생검 바늘의 동적 속성(즉, 동적 패턴)을 기반으로 배경 조직, 국소 조직, 생검 바늘 영상으로 분리될 수 있다.
도 5의 B는 시간적 투영 및 사전 매칭 과정을 통해 향상된 생검 바늘의 가시성을 나타낸 것이다. 생검 바늘의 삽입 중 생검 바늘 샤프트는 프레임 92의 피하 지방층 내에서 비교적 잘 시각화되지만 중간 프레임 100 및 104에서 사라진다(노란색 화살표).
그러나, 도 5의 B에 도시된 것처럼, 시간 방향으로 생검 바늘 프레임 92-108을 투영하여 생성된 투영된 생검 바늘 정보(510)는 빨간색 박스(도 5의 A에 도시된 빨간색 박스의 프레임)에서 분리된 생검 바늘 영상(500)과 비교하여 바늘 샤프트와 팁 모두를 잘 나타내고 있다.
또한, 최종 투영은 NCC를 기반으로 하는 패턴 매칭을 위해 휴리스틱하게(heuristic) 설계된 사전으로 캐스팅되어 사전에서 가장 일치하는 항목(템플릿 바늘 모델)을 식별하여 최종 생검 바늘 영상을 생성할 수 있다. 최종 생검 바늘 영상(520)은 원래 의료진단영상과 오버레이되어 바늘 끝이 피부를 통해 신장으로 약간 삽입되었음을 나타내고 있다. 염색된 신장 생검 표본(530)은 상당한 피질과 수질을 포함하여 상술한 본 발명의 실시예에 따른 방식으로 구현된 바늘 위치가 실제 신장 생검 코어와 잘 일치함을 입증했다.
도 6 및 도 7은 생검 바늘의 가시성 정도에 따라 나타나는 결과를 도시한 도면이다.
도 6은 중간 정도의 생검 바늘 가시성을 가진 경우의 결과를 나타낸 것이고, 도 7은 생검 바늘의 가시성이 좋지 않은 경우의 결과를 나타낸 것이다. 또한, 도 6 및 도 7에서는 다양한 시간 간격으로 생검 바늘의 삽입 전후 영상 간의 빼기 기반(subtraction-based) 방법과, 초음파 신장 생검에서 생검 바늘의 삽입 깊이 및 각도에 따른 바늘 가시성에 대한 본 발명의 실시예에 따른 방법을 비교하기 위한 결과를 도시하고 있다.
도 6을 참조하면, 생검 바늘의 적당한 깊이와 얕은 각도에 따른 영상 프레임 T96에서 T106까지를 도시하고 있다. 여기서, 도 6의 A는 시간 프레임 T96에서 T106까지의 초음파 신장 생검 영상(X)에서 배경 조직 신호(L), 국소 조직 신호(UVr H), 생검 바늘 신호(SN)를 분리한 각 영상 프레임을 나타내고 있다. 도 6의 B는 본 발명의 실시예에 따른 방법(620, 630)과 기존의 빼기 기반 방법(600, 610)으로 도출된 결과 영상을 비교한 것이다.
도 6의 실시예에 따르면, 먼저 빼기 기반 방법에 따라서, 짧은 시간 간격을 가진 빼기 기반 방법을 사용하여 생성된 영상(600)과 긴 시간 간격을 가진 빼기 기반 방법을 사용하여 생성된 영상(610)을 도시하고 있다. 이때, 시간 간격이 짧은 빼기 기반 방법으로 생성된 영상(600)에서 생검 바늘은 배경에 대한 대비가 낮지만 움직임 아티팩트를 효과적으로 억제한다. 긴 시간 간격에 따른 빼기 기반 방법으로 생성된 영상(610)에서 생검 바늘은 선명하지만 움직임이 있는 경우 배경 아티팩트가 증가되는 것을 알 수 있다.
이와 비교하여, 본 발명의 실시예에 따른 방법에 따라서, 즉 생검 바늘 영상에 대한 시간적 투영 및 사전 매칭을 통해서 생성된 영상(620)과 상기 영상(620)을 원래 초음파 신장 생검 영상과 오버레이한 영상(630)을 도시하고 있다. 이때, 본 발명의 실시예에 따른 방법에 의해 생성된 상기 영상(620, 630)은 향상된 생검 바늘 시각화를 통해서 강력한 배경 억제를 나타낸다. 또한, 생검 샘플은 예상대로 바늘 강조 영상(630)에 적절하게 포함되어 있음을 알 수 있다.
도 7을 참조하면, 생검 바늘의 적당한 깊이와 가파른 각도에 따른 영상 프레임 T76에서 T96까지를 도시하고 있다. 여기서, 도 7의 A는 시간 프레임 T76에서 T96까지의 초음파 신장 생검 영상(X)에서 배경 조직 신호(L), 국소 조직 신호(UVr H), 생검 바늘 신호(SN)를 분리한 각 영상 프레임을 나타내고 있다. 도 7의 B는 본 발명의 실시예에 따른 방법(720, 730)과 기존의 빼기 기반 방법(700, 710)으로 도출된 결과 영상을 비교한 것이다.
도 7의 실시예에 따르면, 먼저 빼기 기반 방법에 따라서, 짧은 시간 간격을 가진 빼기 기반 방법을 사용하여 생성된 영상(700)과 긴 시간 간격을 가진 빼기 기반 방법을 사용하여 생성된 영상(710)을 도시하고 있다. 이때, 빼기 기반 방법에 따르면 제한된 수의 동적 프레임으로 인해 생검 바늘의 움직임을 감지하는데 실패할 가능성이 높음을 파악할 수 있었다.
이와 비교하여, 본 발명의 실시예에 따른 방법에 따라서, 즉 생검 바늘 영상에 대한 시간적 투영 및 사전 매칭을 통해서 생성된 영상(720)과 상기 영상(720)을 원래 초음파 신장 생검 영상과 오버레이한 영상(730)을 도시하고 있다. 이때, 본 발명의 실시예에 따른 방법에 의하면 모든 동적 프레임을 사용하여 생검 바늘 정보를 검출하는데 효과적이며, 또한 길고 직선 구조를 검출하는데 효과적임을 알 수 있다.
상술한 본 발명에 따르면, 초음파, 자기공명, CT 등의 장치를 통해서 획득된 의료진단영상에 대해 신호 분석, 시간적 투영, 및 사전과의 패턴 매칭을 수행함으로써 상기 의료진단영상으로부터 생검 바늘을 명확히 식별할 수 있는 효과를 제공한다. 또한, 생검 바늘의 가시성이 좋지 않은 경우에도 의료진단영상으로부터 생검 대상 조직과 생검 바늘을 정확히 식별하여 생검 바늘의 위치를 파악하기 용이하게 한다. 또한, 생검 바늘의 위치를 명확히 파악함으로써 생검 대상 조직의 샘플을 획득하는데 유리한 효과를 제공한다.
또한, 상술한 본 발명에 따르면, 의료진단영상의 신호의 동적 속성을 기반으로 배경 조직, 국소 조직 및 생검 바늘 신호를 분리하고, 분리된 생검 바늘 신호 영상에 대해 시간적 투영을 통해 고도로 정제된 희소 표현을 제공하고, 공간 영역에서 생검 바늘 구조를 템플릿 바늘과 매칭시켜 원하지 않는 신호 간섭을 제거하는 효과를 제공한다. 즉, 본 발명에 따르면 생검 바늘 검출을 위해 생검 바늘 움직임의 공간적, 시간적 신호 특성을 최대한 활용할 수 있다.
또한, 상술한 본 발명에 따르면, 영상 내 정확한 생검 바늘 정보(위치, 방향, 구조 등)를 제공하므로 생검 조직의 적절한 획득을 가능하게 하고, 이를 통하여 생검 관련 합병증을 줄일 수 있는 효과가 있다.
이상에서 전술한 본 발명에 따른 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims (19)

  1. 컴퓨터에 의해 수행되는, 의료진단영상에서 생검 바늘의 위치를 파악하는 방법에 있어서,
    생검 대상 조직 및 생검 바늘을 포함하는 시계열 의료진단영상을 획득하는 단계;
    상기 시계열 의료진단영상으로부터 상기 생검 대상 조직 및 상기 생검 바늘의 동적 패턴을 기반으로 상기 생검 바늘에 대한 영상을 분리하는 단계;
    상기 분리된 생검 바늘에 대한 영상을 시간 방향으로 투영하여 상기 생검 바늘에 대한 단일 투영 영상을 생성하는 단계; 및
    상기 생검 바늘에 대한 단일 투영 영상을 실제 생검 바늘과의 패턴 매칭을 통하여 최종 생검 바늘 영상을 생성하는 단계;를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 생검 바늘에 대한 영상을 분리하는 단계는,
    상기 시계열 의료진단영상으로부터 상기 생검 대상 조직 및 상기 생검 바늘의 동적 패턴을 기반으로 천천히 변화하는 배경(background) 조직 신호 및 국소적으로 변화하는 국소(local) 조직 신호를 분리하고, 상기 분리후 남은 레지듀얼(residual) 신호로부터 상기 생검 바늘에 대한 영상을 복원하는, 방법.
  3. 제2항에 있어서,
    상기 배경 조직 신호는 큰 움직임(bulk motion) 패턴을 기반으로 낮은 순위(low rank)를 이용하여 분리하고,
    상기 국소 조직 신호는 작은 움직임(small motion) 패턴을 기반으로 시간 기반(temporal basis)을 이용하여 분리하는, 방법.
  4. 제1항에 있어서,
    상기 생검 바늘에 대한 단일 투영 영상을 생성하는 단계는,
    상기 분리된 생검 바늘에 대한 영상으로부터 상기 시간 방향을 따라 존재하는 상기 생검 바늘에 대한 정보를 추출하는 단계; 및
    상기 생검 바늘에 대한 정보를 상기 시간 방향으로 최대 강도 투영(MIP; maximum intensity projection)을 사용하여 상기 생검 바늘에 대한 단일 투영 영상을 생성하는 단계;를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 최종 생검 바늘 영상을 생성하는 단계는,
    상기 실제 생검 바늘을 기반으로 생검 바늘 사전(dictionary)을 생성하는 단계; 및
    상기 생검 바늘에 대한 단일 투영 영상을 상기 생검 바늘 사전과의 패턴 매칭을 통하여 상기 최종 생검 바늘 영상을 생성하는 단계;를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 생검 바늘 사전은, 상기 실제 생검 바늘을 기반으로 생성된 템플릿 바늘 모델을 포함하되,
    상기 최종 생검 바늘 영상을 생성하는 단계는,
    상기 생검 바늘 사전에서 패턴 매칭을 통해 상기 생검 바늘에 대한 단일 투영 영상과 가장 일치하는 템플릿 바늘 모델을 검출하고, 상기 검출된 템플릿 바늘 모델을 기반으로 픽셀 단위로 매핑하여 상기 최종 생검 바늘 영상을 생성하는, 방법.
  7. 제6항에 있어서,
    상기 생검 바늘 사전과의 패턴 매칭은,
    정규화된 교차 상관(NCC; normalized cross correlation)을 기반으로 상기 단일 투영 영상 내의 생검 바늘과 상기 생검 바늘 사전 내의 템플릿 바늘 모델 간의 상관 관계를 측정하여 수행되는 것인, 방법.
  8. 제1항에 있어서,
    상기 시계열 의료진단영상에 상기 최종 생검 바늘 영상을 오버레이하여 표시하는 단계; 및
    상기 오버레이된 최종 생검 바늘 영상 및 시계열 의료진단영상으로부터 상기 생검 바늘의 위치를 파악하는 단계;를 더 포함하는, 방법.
  9. 제1항에 있어서,
    상기 시계열 의료진단영상은 초음파 영상, 자기공명 영상, 또는 CT 영상 중 적어도 하나를 포함하고,
    상기 생검 대상 조직은 신장, 간, 폐, 근육, 또는 림프선 중 적어도 하나를 포함하는 것인, 방법.
  10. 의료진단영상에서 생검 바늘의 위치를 파악하는 방법을 수행하는 장치에 있어서,
    생검 대상 조직 및 생검 바늘을 포함하는 시계열 의료진단영상을 획득하고, 상기 시계열 의료진단영상으로부터 상기 생검 대상 조직 및 상기 생검 바늘의 동적 패턴을 기반으로 상기 생검 바늘에 대한 영상을 분리하는 영상 분리부;
    상기 분리된 생검 바늘에 대한 영상을 시간 방향으로 투영하여 상기 생검 바늘에 대한 단일 투영 영상을 생성하는 영상 투영부; 및
    상기 생검 바늘에 대한 단일 투영 영상을 실제 생검 바늘과의 패턴 매칭을 통하여 최종 생검 바늘 영상을 생성하는 영상 매칭부;를 포함하는, 장치.
  11. 제10항에 있어서,
    상기 영상 분리부는,
    상기 시계열 의료진단영상으로부터 상기 생검 대상 조직 및 상기 생검 바늘의 동적 패턴을 기반으로 천천히 변화하는 배경(background) 조직 신호 및 국소적으로 변화하는 국소(local) 조직 신호를 분리하고, 상기 분리후 남은 레지듀얼(residual) 신호로부터 상기 생검 바늘에 대한 영상을 복원하는, 장치.
  12. 제11항에 있어서,
    상기 배경 조직 신호는 큰 움직임(bulk motion) 패턴을 기반으로 낮은 순위(low rank)를 이용하여 분리하고,
    상기 국소 조직 신호는 작은 움직임(small motion) 패턴을 기반으로 시간 기반(temporal basis)을 이용하여 분리하는, 장치.
  13. 제10항에 있어서,
    상기 영상 투영부는,
    상기 분리된 생검 바늘에 대한 영상으로부터 상기 시간 방향을 따라 존재하는 상기 생검 바늘에 대한 정보를 추출하고, 상기 생검 바늘에 대한 정보를 상기 시간 방향으로 최대 강도 투영(MIP; maximum intensity projection)을 사용하여 상기 생검 바늘에 대한 단일 투영 영상을 생성하는, 장치.
  14. 제10항에 있어서,
    상기 영상 매칭부는,
    상기 실제 생검 바늘을 기반으로 생검 바늘 사전(dictionary)을 생성하고, 상기 생검 바늘에 대한 단일 투영 영상을 상기 생검 바늘 사전과의 패턴 매칭을 통하여 상기 최종 생검 바늘 영상을 생성하는, 장치.
  15. 제14항에 있어서,
    상기 생검 바늘 사전은, 상기 실제 생검 바늘을 기반으로 생성된 템플릿 바늘 모델을 포함하되,
    상기 영상 매칭부는,
    상기 생검 바늘 사전에서 패턴 매칭을 통해 상기 생검 바늘에 대한 단일 투영 영상과 가장 일치하는 템플릿 바늘 모델을 검출하고, 상기 검출된 템플릿 바늘 모델을 기반으로 픽셀 단위로 매핑하여 상기 최종 생검 바늘 영상을 생성하는, 장치.
  16. 제15항에 있어서,
    상기 생검 바늘 사전과의 패턴 매칭은,
    정규화된 교차 상관(NCC; normalized cross correlation)을 기반으로 상기 단일 투영 영상 내의 생검 바늘과 상기 생검 바늘 사전 내의 템플릿 바늘 모델 간의 상관 관계를 측정하여 수행되는 것인, 장치.
  17. 제10항에 있어서,
    상기 시계열 의료진단영상에 상기 최종 생검 바늘 영상을 오버레이하여 표시하고, 상기 오버레이된 최종 생검 바늘 영상 및 시계열 의료진단영상으로부터 상기 생검 바늘의 위치를 파악하는 위치 파악부;를 더 포함하는, 장치.
  18. 제10항에 있어서,
    상기 시계열 의료진단영상은 초음파 영상, 자기공명 영상, 또는 CT 영상 중 적어도 하나를 포함하고,
    상기 생검 대상 조직은 신장, 간, 폐, 근육, 또는 림프선 중 적어도 하나를 포함하는 것인, 장치.
  19. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제9항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.
KR1020220068187A 2022-06-03 2022-06-03 의료진단영상에서 생검 바늘의 위치를 파악하는 방법 및 장치 KR20230168230A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220068187A KR20230168230A (ko) 2022-06-03 2022-06-03 의료진단영상에서 생검 바늘의 위치를 파악하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220068187A KR20230168230A (ko) 2022-06-03 2022-06-03 의료진단영상에서 생검 바늘의 위치를 파악하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230168230A true KR20230168230A (ko) 2023-12-13

Family

ID=89157685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220068187A KR20230168230A (ko) 2022-06-03 2022-06-03 의료진단영상에서 생검 바늘의 위치를 파악하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230168230A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069846A (ko) 2018-12-07 2020-06-17 한국 한의학 연구원 마커를 이용하는 니들 시술 가이드 기능을 가진 초음파 영상 기기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069846A (ko) 2018-12-07 2020-06-17 한국 한의학 연구원 마커를 이용하는 니들 시술 가이드 기능을 가진 초음파 영상 기기

Similar Documents

Publication Publication Date Title
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
CN110490851B (zh) 基于人工智能的乳腺图像分割方法、装置及系统
KR102154733B1 (ko) 의료 영상을 이용하여 대상체에 악성 종양이 존재하는지 여부를 예측하는 장치 및 방법
CN109949254B (zh) 穿刺针超声图像增强方法及装置
US8064673B2 (en) Combined segmentation and registration framework for parametric shapes
CN113705586A (zh) 血管内图像中的多模态分割
CN112561908B (zh) 乳腺图像病灶匹配方法、装置及存储介质
Cai et al. Spatio-temporal visual attention modelling of standard biometry plane-finding navigation
US10083278B2 (en) Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures
US11426142B2 (en) Computer vision systems and methods for real-time localization of needles in ultrasound images
KR102433473B1 (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
CN110738643A (zh) 脑出血的分析方法、计算机设备和存储介质
CN107111881B (zh) 对应性概率图驱动的可视化
CN117218133A (zh) 肺图像处理方法及装置、电子设备和存储介质
Liang et al. Semi 3D-TENet: Semi 3D network based on temporal information extraction for coronary artery segmentation from angiography video
KR20230168230A (ko) 의료진단영상에서 생검 바늘의 위치를 파악하는 방법 및 장치
KZ Tehrani et al. Physically inspired constraint for unsupervised regularized ultrasound elastography
JP7265805B2 (ja) 画像解析方法、画像解析装置、画像解析システム、制御プログラム、記録媒体
Wu et al. Fast and robust extraction of surrogate respiratory signal from intra-operative liver ultrasound images
CN114974567A (zh) 基于对抗生成网络的肝脏肿瘤介入反应后评估方法及系统
KR102536568B1 (ko) 의료영상으로부터 생체 조직검사 바늘의 위치를 검출하는 실시간 니들 가이던스 방법 및 장치
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
CN112885435A (zh) 图像目标区域的确定方法、装置和系统
Zhang et al. Unpaired Translation from Semantic Label Maps to Images by Leveraging Domain-Specific Simulations
Xu et al. Extremely weakly-supervised blood vessel segmentation with physiologically based synthesis and domain adaptation