KR102536568B1

KR102536568B1 - 의료영상으로부터 생체 조직검사 바늘의 위치를 검출하는 실시간 니들 가이던스 방법 및 장치

Info

Publication number: KR102536568B1
Application number: KR1020220173905A
Authority: KR
Inventors: 박수형; 김창성
Original assignee: 전남대학교산학협력단
Priority date: 2022-12-13
Filing date: 2022-12-13
Publication date: 2023-05-30

Abstract

본 개시의 예시적인 실시예에 따르면, 의료영상에서 생체조직검사바늘의 경로를 예측하고 실시간 위치를 파악하기 위한, 장치에 의해 수행되는 실시간 니들 가이던스 방법은 제1 의료영상으로부터 슬라이딩 윈도우 및 널스페이스(Nullspace)에 기반해 프레임 변화에 따른 동적 특징을 추출하는 단계, 추출된 동적 특징으로부터 생체조직검사바늘의 변화를 감지함으로써 생체조직검사바늘의 궤적 및 위치를 판정하는 단계, 라인 피팅 알고리즘에 기반하여 판정된 위치에 따른 궤적을 보간(Interpolation)하는 단계, 및 보간 결과에 따라 생체조직검사바늘의 최종 위치를 재판정하는 단계를 포함하는 니들 가이던스 방법을 포함한다.

Description

의료영상으로부터 생체 조직검사 바늘의 위치를 검출하는 실시간 니들 가이던스 방법 및 장치{REAL-TIME NEEDLE GUIDANCE METHOD FOR DETECTING BIOSY NEEDLE POSITION FROM MEDICAL IMAGES, AND DEVICE THEREOF}

본 발명은 자기공명영상, 초음파, X-ray, CT 등의 의료영상으로부터 조직의 생체 조직검사 바늘의 위치를 검출하는 니들 가이던스 장치에 관한 것으로서, 보다 구체적으로 조직검사용 생검 바늘의 현재 위치 및 미래 경로를 정확하게 모니터링하고 예측함으로서, 적절한 검체 획득과 생검 부작용을 최소화하고, 이로부터 정확한 병리학적 진단 및 예후 평가를 가능케 하는 의료영상 기반 실시간 니들 가이던스 방법 및 장치에 관한 것이다.

조직 생검 기술분야에서는 크게 초음파에 외부 장치를 추가하는 방식과 알고리즘을 이용해 영상을 처리하는 방법이 사용되고 있다. 외부 장치를 이용한 시도는 음영바늘장치(echogenic needle device) 또는 자기바늘장치(magnetic needle device)를 이용해 바늘 자체가 초음파에 민감하게 작용하여 바늘 끝의 위치를 강조하는 기법이 사용된다. 이 외에도, 조사 방향 변경(beem steering), 광학 추적 시스템(optical tracking system)을 통해 바늘이 피부에 들어가는 위치를 보다 정확하게 유도하는 기법이 연구되었다.

외부 장치를 이용한 방식은 장치 추가에 비용이 소요되고 바늘이 일회성이기 때문에 비용 문제를 극복하기 어렵다. 또한 동적 및 정적 영상 차이에 기반한 연구는 신장 초음파와 같이 5센티미터(츠) 이상의 깊은 조직 생검에서는 활용되기 어려운 한계가 있다. 따라서, 실시간 조직 검사 바늘의 경로 및 위치 검출을 수행하기 위한 신규한 방법론이 요구되는 실정이다.

등록특허공보 10-1770406(2017.08.16.)

본 개시에 개시된 실시예는 실시간 조직 검사 바늘의 경로 및 위치 검출 을 수행하기 위해 의료영상으로부터 생체 조직검사 바늘의 위치를 검출하는 실시간 니들 가이던스 방법 및 장치를 제공하는데 그 목적이 있다.

본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 기술적 과제를 달성하기 위한 본 개시의 예시적인 실시예에 따른 의료영상에서 생체조직검사바늘의 경로를 예측하고 실시간 위치를 파악하기 위한, 장치에 의해 수행되는 실시간 니들 가이던스 방법은, 제1 의료영상으로부터 슬라이딩 윈도우 및 널스페이스(Nullspace)에 기반해 프레임 변화에 따른 동적 특징을 추출하는 단계, 추출된 동적 특징으로부터 생체조직검사바늘의 변화를 감지함으로써 생체조직검사바늘의 궤적 및 위치를 판정하는 단계, 라인 피팅 알고리즘에 기반하여 판정된 위치에 따른 궤적을 보간(Interpolation)하는 단계, 및 보간 결과에 따라 생체조직검사바늘의 최종 위치를 재판정하는 단계를 포함한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 동적 특징을 추출하는 단계로서 특정 크기 혹은 가변 크기의 프레임을 가지는 윈도우를 이용해 제1 의료영상을 시간 단위로 분할(segmentation)하는 단계를 포함하는 것을 특징으로 한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 동적 특징을 추출하는 단계로서 각각의 분할 윈도우에서 갱신된 널스페이스(Null Space)에 대해 슬라이딩 윈도우를 적용함으로써 동적 특징을 추출하는 단계를 포함하는 것을 특징으로 한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 추출된 동적 특징을 가지며 인공물이 존재하는 제2 의료영상에 대해, 제1 및 제2 피팅을 수행함으로써 생체조직검사바늘의 궤적 및 위치를 예측하는 단계를 더 포함하는 것을 특징으로 한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 생체조직검사바늘의 궤적 및 위치를 예측하는 단계로서 생체조직검사바늘의 가시성을 향상시키는 단계를 포함하는 것을 특징으로 한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 인체에 여기펄스 또는 초음파를 조사한 결과로서 획득되는 의료영상을 인코딩하는 단계, 획득된 의료영상을 시간 단위로 분할하는 단계, 학습데이터로서 생체조직검사바늘에 상응하는 바늘이미지를 포함하는 의료영상으로부터 주성분분석(Principle Compoent Analysis)을 통해 서브스페이스(subspace) 및 널스페이스(Nullspace)을 분리하는 단계, 이웃 윈도우의 데이터를 서브스페이스에 투영함으로써 의료영상의 동적 특징을 추출하는 단계, 분할 윈도우 내의 동적 특징을 널스페이스에 투영함으로써 이웃 윈도우간의 상이 특징을 추출하는 단계, 현재 구간에 상응하는 제1 분할 윈도우의 데이터를 바탕으로 널스페이스를 갱신하는 단계, 및 추출된 동적 특징을 가지는 의료영상에 기반해 생체조직검사바늘의 궤적 및 위치를 예측하는 단계를 포함한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 여기펄스를 조사한 결과로서 획득된 의료영상은 자기공명영상(MRI)인 것을 특징으로 한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 획득된 의료영상을 시간 단위로 분할하는 단계로서 일정한 크기 또는 가변 크기의 윈도우 중 어느 하나를 선택하는 단계를 포함하는 것을 특징으로 한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 의료영상의 동적 특징을 추출하는 단계로서 각각의 분할 윈도우에서 이전 윈도우에서의 Nullspace를 다음 단계의 윈도우에 적용하는 슬라이딩 방식의 Nullspace 투영방식을 이용함으로써 동적 특징을 추출하는 단계를 포함하는 것을 특징으로 한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 새로운 동적 특징을 가지는 제2 분할 윈도우의 데이터가 입력되면, 슬라이딩 윈도우 방식을 적용해 상이 특징의 추출 및 널스페이스의 갱신을 각각 반복하는 단계를 더 포함하는 것을 특징으로 한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 추출된 동적 특징을 가지는 의료영상에 기반해 임계치 기준으로 의료영상을 이진화함으로써 이진화 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법은, 이진화 영상에 대해 적어도 두번의 피팅을 수행함으로써 생체조직검사바늘의 궤적 및 위치를 예측하는 단계를 더 포함하는 것을 특징으로 한다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 장치는 하나 이상의 코어를 포함하는 프로세서, 및 메모리를 포함하고, 프로세서는,

제1 의료영상으로부터 슬라이딩 윈도우 및 널스페이스(Nullspace)에 기반해 프레임 변화에 따른 동적 특징을 추출하고, 추출된 동적 특징으로부터 생체조직검사바늘의 변화를 감지함으로써 생체조직검사바늘의 궤적 및 위치를 판정하고, 라인 피팅 알고리즘에 기반하여 판정된 위치에 따른 궤적을 보간(Interpolation)하고, 보간 결과에 따라 생체조직검사바늘의 최종 위치를 재판정하는 것을 특징으로 한다.

이 외에도, 본 개시를 구현하기 위한 실행하기 위한 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램이 더 제공될 수 있다.

이 외에도, 본 개시를 구현하기 위한 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

본 개시의 예시적인 실시예에 따른 실시간 니들 가이던스 방법 및 장치는 조직검사용 생검 바늘의 현재 위치 및 미래 경로를 정확하게 모니터링하고 예측함으로서, 적절한 검체 획득과 생검 부작용을 최소화하고, 이로부터 정확한 병리학적 진단 및 예후 평가를 가능케 할 수 있다.

또한, 실시간 니들 가이던스 방법을 범용초음파 기기뿐만 아니라 자기공명영상(MRI)장치, 단층촬영(CT)장치 등 다양한 의료영상촬영기기에 탑재하여 조직검사나 시술등에 임상적으로 활용할 수 있고 따라서 의료영상촬영기기의 가치를 증대시킬 수 있다.

나아가, 본 개시의 예시적 실시예에 따른 실시간 니들 가이던스 방법은 다양한 부위를 촬상하는 다양한 의료영상촬영기기를 활용한 조직 검사에 활용될수 있으므로, 보다 적절한 검체 획득을 가능하게 함으로써 정확한 병리학적 판독을 가능케 하한다. 더 나아가, 본 개시의 예시적 실시예에 따른 실시간 니들 가이던스 방법은 기존의 대규모 영상의 데이터를 분석하여 인공지능 학습을 통한 의료영상의 판독진료 및 신종 감염병의 예후 예측에 적용하여 병원 내 의료장비의 국산화 및 고도화로 국가방역체계의 역량을 꾀할 수 있다.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 예시적 실시예에 따른 실시간 니들 가이던스 장치를 도시하는 도면이다.
도 2는 본 개시의 예시적 실시예에 따른 실시간 니들 가이던스 방법을 도시하는 도면이다.
도 3은 본 개시의 예시적 실시예에 따른 실시간 니들 가이던스를 위한 주성분분석 및 동적 특징을 추출하는 과정을 설명하는 도면이다.
도 4는 본 개시의 예시적 실시예에 따른 실시간 니들 가이던스 방법을 도시하는 흐름도이다.
도 5a는 본 개시의 예시적 실시예에 따른 의료영상의 동적 특징을 시간에 따라 분할하는 과정을 나타내는 도면이고, 도 5b는 본 개시의 예시적 실시예에 따른 시간 분할된 데이터에 슬라이딩 방식의 널스페이스 투영 방식을 설명하는 도면이다.
도 6a 내지 도 6b는 본 개시의 예시적 실시예에 따른 바늘의 가시성에 따른 결과를 도시하는 도면이다.
도 7a 내지 도 7b는 바늘의 가시성에 따른 비교 방법론의 결과를 도시하는 도면이다.

본 개시 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 개시가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 개시가 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우 뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.

또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.

단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.

각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.

이하 첨부된 도면들을 참고하여 본 개시의 작용 원리 및 실시예들에 대해 설명한다.

본 명세서에서 실시간 니들 가이던스 장치는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 실시간 니들 가이던스 장치는, 컴퓨터, 서버 장치 및 휴대용 단말기를 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.

여기에서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등을 포함할 수 있다.

서버 장치는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 애플리케이션 서버, 컴퓨팅 서버, 데이터베이스 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버 및 웹 서버 등을 포함할 수 있다.

휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등과 같은 웨어러블 장치를 포함할 수 있다.

도 1은 본 개시의 예시적 실시예에 따른 실시간 니들 가이던스 장치(10)를 도시하는 도면이다.

도 1을 참고하면 실시간 니들 가이던스 장치(10)는 입/출력부(110), 통신부(120), 식별부(130), 데이터베이스(140) 및 프로세서(150)를 포함할 수 있다. 이하에서는, 실시간 니들 가이던스 장치(10)는 실시간 니들 가이던스 방법을 구현하는 전자적 장치이며, 실시간 니들 가이던스 방법은 실시간 니들 가이던스 장치(10)를 통해 구현되는 것으로 가정된다.

입/출력부(110)는 사용자 입력을 받거나 또는 사용자에게 정보를 출력하는 각종 인터페이스나 연결 포트 등일 수 있다. 입/출력부(110)는 입력 모듈과 출력 모듈로 구분될 수 있다.

입력 모듈은 사용자로부터 사용자 입력을 수신한다. 입력 모듈은 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 적어도 하나의 카메라, 적어도 하나의 마이크로폰 및 사용자 입력부 중 적어도 하나를 포함할 수 있다. 입력부에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.

사용자 입력은 키 입력, 터치 입력, 음성 입력을 비롯한 다양한 형태로 이루어질 수 있다. 이러한 사용자 입력을 받을 수 있는 입력 모듈의 예로는 전통적인 형태의 키패드나 키보드, 마우스는 물론, 사용자의 터치를 감지하는 터치 센서, 음성 신호를 입력 받는 마이크, 영상 인식을 통해 제스처 등을 인식하는 카메라, 사용자 접근을 감지하는 조도 센서나 적외선 센서 등으로 구성되는 근접 센서, 가속도 센서나 자이로 센서 등을 통해 사용자 동작을 인식하는 모션 센서 및 그 외의 다양한 형태의 사용자 입력을 감지하거나 입력 받는 다양한 형태의 입력 수단을 모두 포함하는 포괄적인 개념이다.

여기서, 터치 센서는 디스플레이 패널에 부착되는 터치 패널이나 터치 필름을 통해 터치를 감지하는 압전식 또는 정전식 터치 센서, 광학적인 방식에 의해 터치를 감지하는 광학식 터치 센서 등으로 구현될 수 있다. 이외에도 입력 모듈은 자체적으로 사용자 입력을 감지하는 장치 대신 사용자 입력을 입력 받는 외부의 입력 장치를 연결시키는 입력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다.

출력 모듈은 각종 정보를 출력해 사용자에게 이를 제공할 수 있다. 출력 모듈은 영상을 출력하는 디스플레이, 소리를 출력하는 스피커(및/또는 이와 연결된 증폭기(amplifier)), 진동을 발생시키는 햅틱 장치 및 그 외의 다양한 형태의 출력 수단을 모두 포함하는 포괄적인 개념이다. 이외에도 출력 모듈은 상술한 개별 출력 수단을 연결시키는 포트 타입의 출력 인터페이스의 형태로 구현될 수도 있다.

일 예로, 디스플레이 형태의 출력 모듈은 텍스트, 정지 영상, 동영상을 디스플레이 할 수 있다. 디스플레이는 액정 디스플레이(LCD: Liquid Crystal Display), 발광 다이오드(LED: light emitting diode) 디스플레이, 유기 발광 다이오드(OLED: Organic Light Emitting Diode) 디스플레이, 평판 디스플레이(FPD: Flat Panel Display), 투명 디스플레이(transparent display), 곡면 디스플레이(Curved Display), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(1D display), 홀로그래픽 디스플레이(holographic display), 프로젝터 및 그 외의 영상 출력 기능을 수행할 수 있는 다양한 형태의 장치를 모두 포함하는 광의의 영상 표시 장치를 의미하는 개념이다. 이러한 디스플레이는 입력 모듈의 터치 센서와 일체로 구성된 터치 디스플레이의 형태일 수도 있다.

통신부(120)는 외부 기기와 통신할 수 있다. 따라서, 장치(디바이스)는 통신부를 통해 외부 기기와 정보를 송수신할 수 있다. 예를 들어, 장치는 통신부를 이용해 불법 주·정차 경고 시스템에 저장 및 생성된 정보들이 공유되도록 외부 기기와 통신을 수행할 수 있다. 통신부(120)는 예를 들어, 유선통신 모듈, 무선통신 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.

여기서, 통신, 즉 데이터의 송수신은 유선 또는 무선으로 이루어질 수 있다. 이를 위해 통신부는 LAN(Local Area Network)를 통해 인터넷 등에 접속하는 유선 통신 모듈, 이동 통신 기지국을 거쳐 이동 통신 네트워크에 접속하여 데이터를 송수신하는 이동 통신 모듈, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식이나 블루투스(Bluetooth), 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식을 이용하는 근거리 통신 모듈, GPS(Global Positioning System)과 같은 GNSS(Global Navigation Satellite System)을 이용하는 위성 통신 모듈 또는 이들의 조합으로 구성될 수 있다. 통신에 사용되는 무선 통신 기술은 저전력 통신을 위한 NB-IoT(Narrowband Internet of Things) 를 포함할 수 있다. 이때, 예를 들어 NB-IoT 기술은 LPWAN(Low Power Wide Area Network) 기술의 일례일 수 있고, LTE Cat(category) NB1 및/또는 LTE Cat NB2 등의 규격으로 구현될 수 있으며, 상술한 명칭에 한정되는 것은 아니다. 추가적으로 또는 대체적으로, 다양한 실시예들에 따른 무선 기기에서 구현되는 무선 통신 기술은 LTE-M 기술을 기반으로 통신을 수행할 수 있다. 이때, 일 예로, LTE-M 기술은 LPWAN 기술의 일례일 수 있고, eMTC(enhanced Machine Type Communication) 등의 다양한 명칭으로 불릴 수 있다. 예를 들어, LTE-M 기술은 1) LTE CAT 0, 2) LTE Cat M1, 3) LTE Cat M2, 4) LTE non-BL(non-Bandwidth Limited), 5) LTE-MTC, 6) LTE Machine Type Communication, 및/또는 7) LTE M 등의 다양한 규격 중 적어도 어느 하나로 구현될 수 있으며 상술한 명칭에 한정되는 것은 아니다. 추가적으로 또는 대체적으로, 다양한 실시예들에 따른 무선 기기에서 구현되는 무선 통신 기술은 저전력 통신을 고려한 지그비(ZigBee), 블루투스(Bluetooth) 및 저전력 광역 통신망(Low Power Wide Area Network, LPWAN) 중 적어도 어느 하나를 포함할 수 있으며, 상술한 명칭에 한정되는 것은 아니다. 일 예로 ZigBee 기술은 IEEE 802.15.4 등의 다양한 규격을 기반으로 소형/저-파워 디지털 통신에 관련된 PAN(personal area networks)을 생성할 수 있으며, 다양한 명칭으로 불릴 수 있다.

유선 통신 모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.

무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G, 5G, 6G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.

무선 통신 모듈은 신호를 송신하는 안테나 및 송신기(Transmitter)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 제어부의 제어에 따라 무선 통신 인터페이스를 통해 제어부로부터 출력된 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하는 신호 변환 모듈을 더 포함할 수 있다.

무선 통신 모듈은 신호를 수신하는 안테나 및 수신기(Receiver)를 포함하는 무선 통신 인터페이스를 포함할 수 있다. 또한, 무선 통신 모듈은 무선 통신 인터페이스를 통하여 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 신호 변환 모듈을 더 포함할 수 있다.

근거리 통신 모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.

위치정보 모듈은 본 개시에 따른 실시간 니들 가이던스 장치의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 본 실시간 니들 가이던스 장치의 위치를 획득할 수 있다. 다른 예로서, Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 본 장치의 위치를 획득할 수 있다. 필요에 따라서, 위치정보모듈은 치환 또는 부가적으로 본 장치의 위치에 관한 데이터를 얻기 위해 통신부의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈은 본 장치의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 본 장치의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.

식별부(130)는 영상 인식을 통해 오브젝트 등을 인식하는 카메라, 오브젝트 접근을 감지하는 감지 센서, 사용자의 입력에 따른 터치 센서 및 그 외의 다양한 형태의 외부 입력을 감지하거나 입력 받는 다양한 형태의 식별/센싱 수단을 모두 포함하는 포괄적인 개념일 수 있다.

카메라는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(또는 본 개시의 실시간 니들 가이던스 장치의 화면)에 표시되거나 메모리에 저장될 수 있다.

한편, 상기 카메라가 복수개일 경우, 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라들을 통해 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있고, 또한 상기 카메라들은 3차원의 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수도 있다.

식별부는 입/출력부(110) 내의 입력 모듈과 동일한 것으로 이해될 수 있거나 및/또는 입력 모듈과는 별도의 것으로 이해될 수도 있다. 식별부(130)는 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 온/습도 센서, 적외선 센서, 자이로스코프 센서, 위치 센서(예컨대, GPS), 기압 센서, 근접 센서, RGB 센서(illuminance sensor), 라이다(radar) 센서, 조도 센서, 및 전류 센서 중 하나 이상을 더 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

데이터베이스(140)는 각종 정보를 저장할 수 있다. 데이터베이스는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 예를 들어, 데이터베이스에는 제1 디바이스 및/또는 제2 디바이스를 구동하기 위한 운용 프로그램(OS: Operating System), 웹 사이트를 호스팅하기 위한 데이터나 점자 생성을 위한 프로그램 내지는 어플리케이션(예를 들어, 웹 어플리케이션)에 관한 데이터 등이 저장될 수 있다. 또, 데이터베이스는 상술한 바와 같이 모듈들을 컴퓨터 코드 형태로 저장할 수 있다.

데이터베이스(140)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 이러한 데이터베이스는 내장 타입 또는 탈부착 가능한 타입으로 제공될 수 있다.

프로세서(150)는 투약량 산출 장치(10)의 전반적인 동작을 제어한다. 이를 위해 프로세서(150)는 각종 정보의 연산 및 처리를 수행하고 제1 디바이스 및/또는 제2 디바이스의 구성요소들의 동작을 제어할 수 있다. 예를 들어, 프로세서(150)는 실시간 니들 가이던스 방법을 위한 프로그램 내지 어플리케이션을 실행시킬 수 있을 것이다.

프로세서(150)는 하드웨어 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 프로세서(150)는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적인 프로세서를 구동시키는 프로그램 형태로 제공될 수 있다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 제1 디바이스 및/또는 제2 디바이스의 동작은 프로세서(150)의 제어에 의해 수행되는 것으로 해석될 수 있다. 즉, 실시간 니들 가이던스 방법을 위한 프로그램 내지 어플리케이션으로 구현되는 모듈들이 실행되는 경우, 모듈들은 프로세서(150)가 제1 디바이스 및/또는 제2 디바이스를 이하의 동작들을 수행하도록 제어하는 것으로 해석될 수 있다.

프로세서(150)는 본 장치 내의 구성요소들의 동작을 제어하기 위한 알고리즘 또는 알고리즘을 재현한 프로그램에 대한 데이터를 저장하는 메모리, 및 메모리에 저장된 데이터를 이용하여 전술한 동작을 수행하는 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 이때, 메모리와 프로세서는 각각 별개의 칩으로 구현될 수 있다. 또는, 메모리와 프로세서는 단일 칩으로 구현될 수도 있다.

또한, 프로세서(150)는 이하의 도 2 내지 도 7에서 설명되는 본 개시에 따른 다양한 실시 예들을 본 장치 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.

예시적인 실시예에서, 실시간 니들 가이던스 장치(10)는 하나 이상의 코어를 포함하는 프로세서 및 메모리를 포함하고, 프로세서는, 제1 의료영상으로부터 슬라이딩 윈도우, 널스페이스(nullspace)및 서브스페이스(subspace)에 기반해 프레임 변화에 따른 동적 특징을 추출하고, 추출된 동적 특징으로부터 생체조직검사바늘의 변화를 감지함으로써 생체조직검사바늘의 궤적 및 위치를 판정하고, 라인 피팅 알고리즘에 기반하여 판정된 위치에 따른 궤적을 보간(Interpolation)하고, 보간 결과에 따라 생체조직검사바늘의 최종 위치를 재판정하는 것을 특징으로 할 수 있다.

한편, 도 1에서 도시된 각각의 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미한다.

요약하면, 본 발명은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명에 따른 방법은 이하에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 상기 프로세서 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

도 2는 본 개시의 예시적 실시예에 따른 실시간 니들 가이던스 방법을 도시하는 도면이다.

본 개시에서 실시간 니들 가이던스 방법이란 의료영상에서 생체조직검사바늘의 경로를 예측하고 실시간 위치를 파악하기 위한, 장치에 의해 수행되는 기술적 방법론으로 이해될 수 있다.

건강검진이 일상화되어 감에 따라 기존에 발견되지 않았던 단백뇨, 혈뇨의 진단이 늘어나고 있는 추세이다. 단백뇨 또는 혈뇨가 보이는 환자는 신장질환이 의심되는 경우가 많으므로 적극적으로 신장 생체조직검사(이하, 생검)을 수행하여 정확한 진단을 할 필요가 있다.

최근에는 조직검사를 시행하는 병의원이 늘어감에 따라 신장 조직 검사의 횟수가 늘어나고 있고, 조직검사 시 주로 초음파를 비롯한 의료영상기기를 통하여 생체조직검사바늘(이하, 바늘(니들과 혼용됨))의 위치를 파악하는 것이 더욱 중요해졌다. 따라서, 바늘의 위치를 강조하기 위해 조직 검사 시에 초음파에 외부 장치를 추가하여 바늘의 위치를 추정하는 방법과 영상 처리 알고리즘을 이용하여 바늘의 추정 경로 및 위치를 예측하는 방법이 사용되고 있다.

예를 들어, 외부 장치를 이용한 시도로서 음영바늘장치(echogenic needle device)나 자기바늘장치(magnetic needle device)를 이용하여 바늘 자체가 초음파에 민감하게 작용하여 바늘 끝의 위치를 강조하는 기법이 소개되었다. 이 외에도, 조사 방향 변경(beem steering) 이나 광학추적시스템 (optical tracking system)을 통해 바늘이 피부에 들어가는 위치를 보다 정확하게 유도하는 기법이 연구되었다. 다른 방법으로서, 종래에 사용되던 영상처리 기법을 이용한 시도는 시공간 차이에 따른 바늘 검출 및 가버 필터(gabor filter) 및 선 탐지(line detection)과 같은 필터의 설계를 통하여 바늘을 검출하는 경우도 존재한다.

그러나, 외부 장치를 이용한 연구는 장치 추가에 따른 비용이 필연적이고, 특히, 생검에 사용되는 바늘은 일 회 사용 후 버려지기 때문에 비용 문제는 여전히 남아있다. 또한, 기존의 동적/정적 영상을 이용한 영상처리 기반의 연구는 상당한 크기의 허상이 해결되지 않았으며, 신장 초음파와 같은 경우에는 5센티미터(cm) 이상의 깊은 환부까지 접근하는 생검은 시도된 바가 없다.

다양한 의료영상촬영기기를 통해 얻고자 하는 병변을 시각적으로 확인하고 생체조직검사바늘의 위치를 파악하려는 시도는 많지만 환자의 특징이나 자세에 따라 영상의 허상이 발생하여 바늘의 실질적 위치를 파악하기 힘들어 적절한 조직이 얻어지지 않거나 출혈을 유발해 혈뇨 등 합병증이 발병 할 확률이 증가하기도 한다. 또한, 초음파 영상의 경우 조직이 깊어질수록 영상의 허상이 바늘의 시인성을 심각하게 저해하고, 공기, 뼈, 그리고 지방 등의 장애물이 존재하면 영상의 해상도가 급격히 감소되기도 한다.

따라서, 본 개시는 의료영상촬영기기를 이용한 조직 검사를 위하여, 슬라이딩 윈도우 기반 실시간 생체조직검사바늘 검출 알고리즘을 통하여 바늘의 동적 신호의 특징을 추출(feature extraction)하고, 추출된 신호로부터 선형 보간(line interpolation)을 통하여 바늘의 궤도(angle trajectory)와 위치(tip position)을 추정하는 방법을 제안한다.

본 개시에서 영상처리 방식은 동적 자기공명영상(MRI), 초음파 뿐만 아니라 단층촬영(CT) 등에도 활용가능하다. 본 개시의 의료영상은 MRI 이미지, 초음파 이미지, CT 이미지 등을 모두 포함한다. 또한, 대상 신체부위는 신장, 간, 폐, 근육, 림프선 등을 포함한다. 본 개시에서 마취 시술 시에 바늘의 정확성 확보를 위하여 활용될 수 있다.

단계 S110에서, 실시간 니들 가이던스 장치(도 1, 10)는 제1 의료영상으로부터 슬라이딩 윈도우, 서브스페이스(subspace), 및 널스페이스에 기반해 프레임 변화에 따른 동적 특징을 추출할 수 있다. 본 개시에서 사용되는 용어인 특징(feature)은 특성으로 대체적으로 설명될 수 있다.

예시적인 실시예에서, 윈도우(window)는 특정한 크기를 가지는 프레임, 및 가변적인 크기를 가지는 프레임(frame)을 포함할 수 있다.

단계 S120에서, 실시간 니들 가이던스 장치(10)는 추출된 상기 동적 특징으로부터 상기 생체조직검사바늘의 변화를 감지함으로써 상기 생체조직검사바늘의 궤적 및 위치를 판정할 수 있다.

단계 S130에서 실시간 니들 가이던스 장치(10)는 라인 피팅 알고리즘에 기반하여 판정된 상기 위치에 따른 상기 궤적을 보간(Interpolation)할 수 있다. 예를 들어, 라인 피팅으로서 임의의 N차(Nth-order) 피팅이 적용될 수 있다. N차 피팅은 N차원(N은 정수) 방정식으로 해석될 수 있는 대상 데이터를 근사시키기 위한 방법론이다.

단계 S140에서 실시간 니들 가이던스 장치(10)는 보간 결과에 따라 상기 생체조직검사바늘의 최종 위치를 재판정할 수 있다.

S110 내지 S140의 동작들은 이하의 도 3 내지 도 7에서 보다 상세히 설명될 것이다.

도 3은 본 개시의 예시적 실시예에 따른 실시간 니들 가이던스를 위한 주성분분석 및 동적 특징을 추출하는 과정을 설명하는 도면이다.

도 3을 참조하면, 학습데이터로부터 주성분분석(Principal Component Analysis; PCA)를 통하여 서브스페이스(Subspace)과 널스페이스(null Space; 빈공간)를 추출하는 방법, 및 이웃 윈도우 데이터를 각각의 서브스페이스에 투영함으로써 의료영상의 동적 특징 및 바늘의 영상을 분리하는 과정이 설명된다.

바늘 축과 팁 위치를 명확하게 시각화하기 위해 생검 바늘 식별 방법은 일반적으로 외부 장치와 이미지 처리라는 두 가지 일반 범주로 구분될 수 있다. 첫째로, 외부 장치로는 진동 바늘을 이용한 파워 도플러 이미징, 외부 자기장 발생기를 이용한 전자기 센서, 카메라 녹화를 통한 광학 추적 등이 있다. 이러한 외부 장치는 표적 정확도 향상에도 불구하고 하드웨어 장비에 대한 추가 비용과 의료진을 위한 장치 작동 추가 교육 시간이 필요하다.

대안으로 이미지 처리 방법은 생검 바늘이 바늘 삽입 및 후퇴 중에 빠르게 변화하면서 배경보다 강도가 높은 선형 구조로 나타난다는 가정하에 배경 조직 신호에서 바늘 끝과 각도를 식별하기 위해 시공간 신호 특성을 이용한다. 이를 위해 일반적으로 이미지 분석과 라인 피팅의 두 단계가 수행된다.

첫째로, 이미지 분석 단계에서 바늘 후보는 생검 바늘 발사 전후의 짧은 시간 프레임으로 미국 이미지에 임시 또는 가버 기반 필터를 적용하여 추출된다.

둘째로, 라인 피팅 단계에서 필터링된 이미지는 Hough 변환 및 RANSAC(RANdom SAmple Consensus)와 같은 다양한 라인 피팅 알고리즘을 사용하여 후보 바늘 끝과 각도에 맞춰질 수 있다. 그러나 라인 피팅의 정확도는 필터링되고 이진화된 이미지 품질에 크게 좌우되며, 이상치 픽셀은 잠재적으로 가능한 바늘 경로를 오도하는 경향이 있다. 따라서, 본 개시는 정확한 바늘 위치를 탐색하기 위해 이미지 처리 종속 전략을 따른다.

바늘 감지를 위해 몇 개의 프레임만 사용하는 기존의 방법과 달리, 본 개시는 배경 조직 신호가 특정 시간 범위 동안 거의 일정하다고 가정한 다음 생검 절차 중에 배경 널스페이스(null) 개념으로 동적 바늘 개념을 설명하며, 배경 부분 공간 추정을 위한 최적화 문제에 넓은 시간 프레임을 통합한다.

또한, 본 개시는 슬라이딩 윈도우 방식을 도입하여 실시간 영상화(이미징)을 위해 계산 부담을 줄이기 위해 시간 범위를 등거리로 분할한다. 여기서 현재 윈도우에서 학습된 배경 전용 서브스페이스(subspace)은 다음 윈도우에서 얻은 배경 니들 혼합 신호에 적용된다.

주변 조직과 바늘 움직임을 구별하기 위해 매번 동적 이미징 모델

를 배경 조직 이미지

위에 전경 바늘 이미지

의 오버레이로 사용 가능하다. 여기서

는 구조화되지 않은 작은 노이즈이다.

여기서

는 모든 프레임에 대해

의 낮은 순위 행렬을 기반으로 점진적으로 변화하는 저차원 부분 공간으로 나타낼 수 있으며,

는 짧은 시간 동안 발생하는 희소 이상값을 구성한다. 현재 이미지 벡터

에서 바늘 객체

의 가장 가까운 표현을 찾는 것이 이 작업의 역 문제이다.

배경 정보를 제거하여 움직이는 물체를 감지하기 위해 배경 서브스페이스에서 일련의 벡터를 추정할 수 있다. 여기서 배경 널스페이스 투영은 획득된 의료영상이 배경 조직 신호에 대해서만 노이즈 서브스페이스를 생성하고 움직이는 관심 객체는 투사된 이미지에 유지된다. 널스페이스 개념은 배경 및 전경 레이어의 신호 부분 공간이 서로 비간섭적이라는 가정하에 바늘 위치 파악의 적용으로 확장될 수 있다. 배경 서브스페이스 학습 문제와 유사하게, 경피 시술은 본질적으로 시간에 따라 천천히 변화하는 배경 성분과 시간에 따라 빠르게 변화하는 동적 성분의 중첩으로 표현될 수 있다. 배경 구성 요소는 기본 조직 매니폴드의 평활도(smoothenss)를 이용하여 설명될 수 있다. 따라서

는 배경 부분 공간에서 유한한 벡터 집합을 사용하여 효율적으로 표현될 수 있다.

여기에서,

는 단일 SVD(singular value decomposition)에서 계산된

의 열 공간에 걸쳐 있는 단일 행렬이고

은 부분 공간의 표현 계수다. 또한 동적 구성 요소는 각 프레임에 도입된 관심의 혁신을 포착하며, 이는 관심 바늘이 시야에서 소수의 픽셀로 제한되기 때문에 희박하거나 압축 가능하다고 가정할 수 있다.

의 주성분분석(PCA)은 U를 열 공간에 걸쳐 있는

와 널스페이스에 걸쳐 있는

로 분리할 수 있다. 배경 조직 및 전경 바늘 신호의 각 구성 요소는 다음의 수학식 3 및 4와 같은 두 가지 제약 조건을 충족해야 한다.

첫 번째는 직교 조건으로 인해 대부분의 배경 조직 구성 요소를 무효화하고 두 번째는 비일관성 조건으로 동적 바늘 구성 요소를 계속 추적한다. 행 공간 제약 조건 집합을 최소 제곱으로 해석하면 수학식 5와 같은 정규 방정식이 생성된다.

위의 고려 사항이 주어지면 수학식 1의 동적 신호 모델은 다음의 수학식 6으로 재구성될 수 있다.

수학식 1의 제안된 신호 모델을 다시 작성하고 수학식 3 및 수학식 4의 두 제약 조건을 병합하면 수학식 7 및 수학식 8이 생성된다.

여기에서,

와

는 각각

에 의해 확장된 서브스페이스에 대한

와

의 투영이고

는 투영된 노이즈이다. 널스페이스 투영은 배경과 동적 구성 요소 사이의 비일관성 조건으로 인해 관심 있는 바늘을 보존하면서 직교 속성으로 인해

의 기여를 대부분 억제한다. 실질적으로 영공간 투영은 수학식 9를 만족하는

의 정규직교 보수를 사용하여 계산할 수 있다.

본 개시에서, 관심 있는 바늘은 제한된 기본 픽셀로 희소하므로 정규화 항

로

를 복구할 수 있다.

여기서

은 데이터 일관성과 선험적 패널티 사이의 균형을 맞추는 매개변수다. L1-norm은 수학식 11에서 희소성(웨이블릿) 변환 PSI와 함께 사용할 수 있다.

실시간을 위한 시간 지연 슬라이딩 윈도우 바늘 식별 전략으로서, 제안된 바늘 식별에서 모든 데이터 프레임까지 기다려야 하는 배치 기반 방법은 실시간 바늘 식별의 사용을 제한하여 계산 집약적인 반면 프레임 별 접근법은 바늘 움직임에 근접하기 때문에 바늘 가시성을 희생시키면서 상당한 배경 억제를 생성한다. 이러한 문제를 해결하기 위해 배경 서브스페이스를 학습한 다음 바늘 식별을 위한 시퀀스의 후반부에서 시간 프레임의 일부에 적용하여 시간 지연 슬라이딩 윈도우(TD-SW)를 적용할 수 있다.

서브스페이스 접근법은 실시간 바늘 식별 기능을 입증하는

에 대한 합리적인 추정이 필요하다. 이를 위해 수학식 12를 참조하면 투영 행렬

는 매 프레임마다

의 SVD를 계산하여 추정되며, 세미 배치 방식으로 다음 창에 적용되어 바늘을 감지하는 희소 복구 문제를 해결하여 대부분의 배경 기여도를 무효화한다.

바늘 강도의 지원 크기가 배경 신호에 비해 작다고 가정하고 수학식 10에서 희소화 변환으로 시간적 푸리에 변환이 사용되었다.

도 4는 본 개시의 예시적 실시예에 따른 실시간 니들 가이던스 방법을 도시하는 흐름도이다.

단계 S210에서, 실시간 니들 가이던스 장치(도 1, 10)는 인체에 여기펄스 또는 초음파를 조사한 결과로서 획득된 의료영상을 인코딩할 수 있다. 예시적인 실시예에서, 여기펄스를 통한 의료영상은 자기공명영상(MRI)일 수 있고, 초음파를 통한 의료영상은 초음파영상일 수 있다.

단계 S220에서, 실시간 니들 가이던스 장치(10)는 일정 혹은 가변적인 크기의 윈도우(window)를 이용해, 획득된 의료영상을 시간 단위로 분할(segmentation)할 수 있다. 예시적인 실시예에서, 실시간 니들 가이던스 장치(10)는 일정한 크기 또는 가변 크기의 윈도우 중 어느 하나를 선택하여, 의료영상을 분할할 수 있다.

단계 S230에서, 실시간 니들 가이던스 장치(10)는 의료영상의 학습 데이터로부터 배경 영상의 널스페이스(Null Space)을 계산할 수 있다.

예시적인 실시예에서, 실시간 니들 가이던스 장치(10)는 학습데이터로서 생체조직검사바늘에 상응하는 바늘이미지를 포함하는 상기 의료영상으로부터 주성분분석(Principle Compoent Analysis)을 통해 서브스페이스(subspace) 및 널스페이스(Nullspace)을 분리할 수 있다.

예시적인 실시예에서, 실시간 니들 가이던스 장치(10)는 이웃 윈도우의 데이터를 상기 서브스페이스에 투영함으로써 상기 의료영상의 동적 특징을 추출할 수 있다. 예시적인 실시예에서, 실시간 니들 가이던스 장치(10)는 각각의 분할 윈도우에서 상기 널스페이스에 대해 슬라이딩 윈도우를 적용함으로써 상기 동적 특징을 추출할 수 있다.

단계 S240에서, 실시간 니들 가이던스 장치(10)는 분할 윈도우 내의 동적 특징을 널스페이스에 투영함으로써 이웃 윈도우간 다른 특성(상이 특징)을 추출할 수 있다.

예시적인 실시예 따르면, 각각의 분할 윈도우 마다, 이전 원도우의 널스페이스가 다음 단계의 윈도우에 적용될 수 있다. 본 개시에서는 이와 같은 방식을 슬라이딩 윈도우(Silding-Window) 방법, 또는 슬라이딩 방법이라고 지칭된다.

단계 S250에서, 실시간 니들 가이던스 장치(10)는 현재 구간에 상응하는 제1 분할 윈도우의 데이터를 바탕으로 널스페이스를 갱신할 수 있다.

단계 S260에서, 실시간 니들 가이던스 장치(10)는 새로운 동적 특성을 가지는 제2 분할 윈도우의 데이터가 입력되면 , 슬라이딩 윈도우 방식을 적용해 윈도우 간 다른 특성(상이 특성)에 대한 갱신 및 널스페이스 갱신을 반복할 수 있다.

단계 S270에서, 실시간 니들 가이던스 장치(10)는 추출된 동적 특성을 가지는 의료영상에 기반해 임계치 기준으로 의료영상을 이진화할 수 있다. 예시적인 실시예에서, 실시간 니들 가이던스 장치(10)는 추출된 동적 특징을 가지는 의료영상에 기반해 임계치 기준으로 상기 의료영상을 이진화함으로써 이진화 이미지를 생성할 수 있다.

단계 S280에서, 실시간 니들 가이던스 장치(10)는 이진화영상에 대해 제1 및 제2 피팅을 수행함으로써 생체조직검사바늘의 궤적 및 위치를 예측할 수 있다. 본 개시에서, 실시간 니들 가이던스 장치(10)는 적어도 두번의 라인 피팅을 수행함으로써 정확도를 보다 개선할 수 있다.

도 5a는 본 개시의 예시적 실시예에 따른 의료영상의 동적 특징을 시간에 따라 분할하는 과정을 나타내는 도면이다.

도 5a 내지 도 5b는 예시적 실시예에 따라 동적 특성을 가지는 의료영상을 시간 순서로 학습(training), 생검 전 바늘 진입(pre-shot), 및 생검 후 바늘 회수(post-shot)의 시퀀스가 분리됨이 설명된다.

도 5b는 본 개시의 예시적 실시예에 따른 시간 분할된 데이터에 동적 특징의 널스페이스 투영 방식을 설명하는 도면이다. 도 5b를 통해, 시간 분할된 의료 영상의 동적 특성이 널스페이스에 투영되는 방식이 설명된다.

실시간 니들 가이던스 장치(10)는 10개의 몬테카를로 테스트에 대해 4프레임에서 12프레임까지 다양한 크기의 슬라이딩 블록으로 구현된 제안된 슬라이딩 윈도우 전략에서 얻은 계산 시간과 배경 구성 요소를 제거하는 해당 정성 바늘 이미지를 비교할 수 있다. 각 슬라이스의 유효 계산 시간은 평균화 시간을 슬라이딩 윈도우 크기로 나누어 구할 수 있다.

윈도우 크기가 4일 경우 실질 계산 시간은 상당한 배경 제거가 있는 각 프레임에 대해 29ms가 소요된다. 작은 프레임 수는 많은 수의 슬라이딩 창에 비해 바늘 눈에 잘 띄지 않는 결과를 이끈다.

윈도우 크기를 8로 늘리면 바늘 가시성이 향상되면서 단일 프레임에 대한 실행 시간이 65ms로 증가하지만 창 크기가 커질수록 이미지 하단에 원치 않는 국소 조직 움직임이 발생할 수 있다.

슬라이딩 윈도우 크기가 10 프레임 이상으로 설정될 경우 바늘 식별을 실시간으로 구현하기 어려울 수 있으며, 바늘을 식별하기 위한 트레이드오프로서 심각한 조직 움직임과 혜성 꼬리 아티팩트가 발생할 수 있다.

이하의 도 6a-6b 내지 도 7a-7b를 참고하여, 생체조직검사바늘의 가시성 정도에 따라서 비교 실시예(기존의 방법)과 대비되는 본 개시에 따른 실시간 니들 가이던스 방법의 결과가 설명될 것이다.

도 6a-6b 내지 도 7a-7b는 두 가지 서로 다른 바늘 가시성에서 T(Temporal)NL 및 G(Gabor)NL 알고리즘과 비교하여 바늘 정보를 식별하는 제안된 SW((Sliding Window)NL의 성능이 도시된다.

도 6a 내지 도 6b는 본 개시의 예시적 실시예에 따른 바늘의 가시성에 따른 결과를 도시하는 도면이다.

도 6a 및 도 6b는 T(Temporal)NL 및 G(Gabor)NL 알고리즘과 비교하여 바늘 정보를 식별하는 제안된 SW((Sliding Window)NL의 성능을 설명한다.

도 6a를 참조하면 의료영상에서 바늘이 생검되기 전(pre-shot) 및 생검을 위해 바늘이 삽입된 후(post-shot)의 이미지데이터가 표시되었다.

도 6b은 비교적으로 충분한 바늘 가시성을 가리며, 세 가지 방법(TNL, GNL, SWNL)에서 얻은 필터링된 이미지는 바늘 역학을 상당히 잘 촬상하고 해당 이진화 이미지는 정확한 바늘 궤적과 참조에 가까운 팁 위치를 표시할 수 있다.

도 7a 내지 도 7b는 바늘의 가시성에 따른 비교 방법론의 결과를 도시하는 도면이다. 도 7a 및 도 7b 역시 T(Temporal)NL 및 G(Gabor)NL 알고리즘과 비교하여 바늘 정보를 식별하는 제안된 SW((Sliding Window)NL의 성능을 설명한다.

도 7a는 도 6a와 비교적 유사하게 의료영상에서 바늘이 생검되기 전(pre-shot) 및 생검을 위해 바늘이 삽입된 후(post-shot)의 이미지데이터를 표시한다.

도 7b는 도 6b와 대조적으로, 제안된 SWNL은 TNL과 GNL이 바늘 가시성이 좋지 않은 이진 이미지의 잡음과 같은 아티팩트로 인해 편차가 있는 경향이 있지만 기준과 매우 일치한다고 해석될 수 있다. 바늘 끝 위치와 궤적 각도는 제안된 SWNL이 일정한 경향이 있다고 해석될수 있다. 도 7b의 문제를 해결하기 위해 본 개시의 예시적 실시예와 같이, 이진화 단계에서 이상값을 제거하는 것이 필요함이 확인된다.

한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 개시가 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

Claims

의료영상에서 생체조직검사바늘의 경로를 예측하고 실시간 위치를 파악하기 위한, 장치에 의해 수행되는 실시간 니들 가이던스 방법으로서,
제1 의료영상으로부터 슬라이딩 윈도우 및 널스페이스(Null space)에 기반해 프레임 변화에 따른 동적 특징을 추출하는 단계;
추출된 상기 동적 특징으로부터 상기 생체조직검사바늘의 변화를 감지함으로써 상기 생체조직검사바늘의 궤적 및 위치를 판정하는 단계;
라인 피팅 알고리즘에 기반하여 판정된 상기 위치에 따른 상기 궤적을 보간(Interpolation)하는 단계; 및
보간 결과에 따라 상기 생체조직검사바늘의 최종 위치를 재판정하는 단계를 포함하는, 실시간 니들 가이던스 방법.
제1항에 있어서,
상기 동적 특징을 추출하는 단계는,
특정 크기 또는 가변 크기의 프레임을 포함하는 윈도우를 이용하여 상기 제1 의료영상을 시간 단위로 분할(segmentation)하는 단계를 포함하는 것을 특징으로 하는, 실시간 니들 가이던스 방법.
제2항에 있어서,
상기 동적 특징을 추출하는 단계는,
각각의 분할 윈도우에서 갱신된 널스페이스(Null Space)에 대해 슬라이딩 방식으로 다음 윈도우에 적용함으로써 상기 동적 특징을 추출하는 단계를 포함하는 것을 특징으로 하는, 실시간 니들 가이던스 방법.
제1항에 있어서,
추출된 상기 동적 특징을 가지며 인공물이 존재하는 제2 의료영상에 대해, N차(Nth-order) 피팅을 수행함으로써 상기 생체조직검사바늘의 궤적 및 위치를 예측하는 단계를 더 포함하는 것을 특징으로 하는, 실시간 니들 가이던스 방법.
제1항에 있어서,
상기 생체조직검사바늘의 궤적 및 위치를 예측하는 단계는,
상기 생체조직검사바늘의 가시성을 향상시키는 단계를 포함하는 것을 특징으로 하는, 실시간 니들 가이던스 방법.
의료영상에서 생체조직검사바늘의 경로를 예측하고 실시간 위치를 파악하기 위한, 장치에 의해 수행되는 실시간 니들 가이던스 방법으로서,
인체에 여기펄스 또는 초음파를 조사한 결과로서 획득된 의료영상을 인코딩하는 단계;
상기 획득된 의료영상을 시간 단위로 분할하는 단계;
학습데이터로서 상기 생체조직검사바늘에 상응하는 바늘이미지를 포함하는 상기 의료영상으로부터 주성분분석(Principal Component Analysis)을 통해 서브스페이스(subspace) 및 널스페이스(Nullspace)을 분리하는 단계;
이웃 윈도우의 데이터를 상기 서브스페이스(subspace)에 투영함으로써 상기 의료영상의 동적 특징을 추출하는 단계;
이웃 윈도우의 데이터를 상기 널스페이스(Nullspace)에 투영함으로써 이웃 윈도우간의 상이 특징을 추출하는 단계;
현재 구간에 상응하는 제1 분할 윈도우의 데이터를 바탕으로 상기 널스페이스를 갱신하는 단계; 및
상기 추출된 동적 특징을 가지는 의료영상에 기반해 상기 생체조직검사바늘의 궤적 및 위치를 예측하는 단계를 포함하는, 실시간 니들 가이던스 방법.
제6항에 있어서,
상기 여기펄스를 조사한 결과로서 획득된 의료영상은 자기공명영상(MRI)인 것을 특징으로 하는, 실시간 니들 가이던스 방법.
제6항에 있어서,
상기 획득된 의료영상을 시간 단위로 분할하는 단계는,
일정한 크기 또는 가변 크기의 윈도우 중 어느 하나를 선택하는 단계를 포함하는 것을 특징으로 하는, 실시간 니들 가이던스 방법.
제6항에 있어서,
상기 의료영상의 동적 특징을 추출하는 단계는,
각각의 분할 윈도우에서 상기 널스페이스에 대해 슬라이딩 윈도우를 적용함으로써 다음 윈도우에 적용해 상기 동적 특징을 추출하는 단계를 포함하는 것을 특징으로 하는, 실시간 니들 가이던스 방법.
제6항에 있어서,
새로운 동적 특징을 가지는 제2 분할 윈도우의 데이터가 입력되면, 슬라이딩 윈도우 방식을 적용해 상기 상이 특징의 추출 및 상기 널스페이스의 갱신을 각각 반복하는 단계를 더 포함하는 것을 특징으로 하는, 실시간 니들 가이던스 방법.
제10항에 있어서,
상기 추출된 동적 특징을 가지는 의료영상에 기반해 임계치 기준으로 상기 의료영상을 이진화함으로써 이진화 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는, 실시간 니들 가이던스 방법.
제11항에 있어서,
상기 이진화 영상에 대해 적어도 두번의 피팅을 수행함으로써 상기 생체조직검사바늘의 궤적 및 위치를 예측하는 단계를 더 포함하는 것을 특징으로 하는, 실시간 니들 가이던스 방법.
컴퓨터와 결합되어, 제1항 내지 제12항 중 어느 한 항의 의료영상에서 생체조직검사바늘의 경로를 예측하고 실시간 위치를 파악하기 위한 장치에 의해 수행되는 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 프로그램.
실시간 니들 가이던스 장치로서,
하나 이상의 코어를 포함하는 프로세서; 및
메모리를 포함하고,
상기 프로세서는,
제1 의료영상으로부터 슬라이딩 윈도우 및 널스페이스(Nullspace)에 기반해 프레임 변화에 따른 동적 특징을 추출하고, 추출된 상기 동적 특징으로부터 상기 니들의 변화를 감지함으로써 상기 니들의 궤적 및 위치를 판정하고, 라인 피팅 알고리즘에 기반하여 판정된 상기 위치에 따른 상기 궤적을 보간(Interpolation)하고, 보간 결과에 따라 상기 니들의 최종 위치를 재판정하는 것을 특징으로 하는, 실시간 니들 가이던스 장치.