KR102680085B1 - Vessel position tracking device and operating method thereof - Google Patents

Vessel position tracking device and operating method thereof Download PDF

Info

Publication number
KR102680085B1
KR102680085B1 KR1020190068611A KR20190068611A KR102680085B1 KR 102680085 B1 KR102680085 B1 KR 102680085B1 KR 1020190068611 A KR1020190068611 A KR 1020190068611A KR 20190068611 A KR20190068611 A KR 20190068611A KR 102680085 B1 KR102680085 B1 KR 102680085B1
Authority
KR
South Korea
Prior art keywords
tracking
location
unit
neural network
feature data
Prior art date
Application number
KR1020190068611A
Other languages
Korean (ko)
Other versions
KR20200141730A (en
Inventor
송태경
이정윤
정의석
Original Assignee
서강대학교산학협력단
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020190068611A priority Critical patent/KR102680085B1/en
Publication of KR20200141730A publication Critical patent/KR20200141730A/en
Application granted granted Critical
Publication of KR102680085B1 publication Critical patent/KR102680085B1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device

Abstract

본 발명의 실시예에 따른 위치 추적장치는 뉴럴 네트워크부 및 위치추적부를 포함할 수 있다. 뉴럴 네트워크부는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부는 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 뉴럴 네트워크부가 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 제1 특징 데이터 및 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다.
본 발명에 따른 위치 추적장치에서는 뉴럴 네트워크부가 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 위치추적부가 제1 특징 데이터 및 입력 윈도우에 기초하여 제2 추적위치를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.The location tracking device according to an embodiment of the present invention may include a neural network unit and a location tracking unit. The neural network unit may provide a first tracking position by tracking a specific part of the input window based on a region-based convolutional neural network (RCNN). The position tracking unit extracts the first feature data for a central window of a certain size centered on the first tracking position, and if the neural network unit fails to provide the first tracking position for a specific part, the first feature data and the input window are Based on this, a second tracking location may be provided.
In the position tracking device according to the present invention, if the neural network unit fails to provide the first tracking position for a specific part, the position tracking unit provides the second tracking position based on the first characteristic data and the input window to determine the exact location of the blood vessel. It can be figured out.

Description

혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법{VESSEL POSITION TRACKING DEVICE AND OPERATING METHOD THEREOF}Blood vessel position tracking device and operation method of the blood vessel position tracking device {VESSEL POSITION TRACKING DEVICE AND OPERATING METHOD THEREOF}

본 발명은 혈관 위치 트래킹 장치 및 혈관 위치 트래킹 장치의 동작방법에 관한 것이다. The present invention relates to a blood vessel location tracking device and a method of operating the blood vessel location tracking device.

인체 내부의 장기에 존재하는 종양을 제거하기 위하여 치료 초음파가 이용될 수 있다. 치료 초음파를 이용하여 종양을 제거하는 경우, 인체 내부의 정상 조직을 손상시키지 않기 위해 호흡을 비롯한 다양한 원인에 의한 장기의 움직임을 정확하게 파악하여야 하는 것이 중요하다. 현재, 이를 위해 혈관과 같은 해부학적 지표를 추적하는 다양한 연구들이 진행되고 있다. Therapeutic ultrasound can be used to remove tumors present in organs within the human body. When removing a tumor using therapeutic ultrasound, it is important to accurately identify the movement of organs due to various causes, including breathing, in order to avoid damaging normal tissues inside the human body. Currently, various studies are being conducted to track anatomical landmarks such as blood vessels for this purpose.

(특허공개문헌) KR 제10-2016-0047516호 (공개일자, 2016.05.02)(Patent Publication Document) KR No. 10-2016-0047516 (Publication Date, 2016.05.02)

본 발명이 이루고자 하는 기술적 과제는 인체 내부의 혈관의 위치를 정확하게 파악할 수 있는 혈관 위치 트래킹 장치를 제공하는 것이다. The technical problem to be achieved by the present invention is to provide a blood vessel location tracking device that can accurately determine the location of blood vessels inside the human body.

본 발명이 이루고자 하는 기술적 과제는 인체 내부의 혈관의 위치를 정확하게 파악할 수 있는 혈관 위치 트래킹 장치의 동작방법을 제공하는 것이다.The technical problem to be achieved by the present invention is to provide a method of operating a blood vessel location tracking device that can accurately determine the location of blood vessels inside the human body.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적장치는 뉴럴 네트워크부 및 위치추적부를 포함할 수 있다. 뉴럴 네트워크부는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부는 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 상기 제2 추적위치를 제공할 수 있다. In order to solve this problem, the location tracking device according to an embodiment of the present invention may include a neural network unit and a location tracking unit. The neural network unit may provide a first tracking position by tracking a specific part of the input window based on a region-based convolutional neural network (RCNN). The location tracking unit extracts first feature data for a central window of a certain size centered on the first tracking position, and when the neural network unit fails to provide the first tracking location for the specific part, the first feature The second tracking location may be provided based on data and the input window.

일 실시예에 있어서, 상기 위치추적부는 필터제공부 및 추적위치 제공부를 포함할 수 있다. 필터제공부는 상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공할 수 있다. 추적위치 제공부는 상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공할 수 있다. In one embodiment, the location tracking unit may include a filter providing unit and a tracking location providing unit. The filter provider may provide a correlation filter corresponding to the filter coefficient generated based on the first feature data and the reference function. The tracking location provider may provide the second tracking location based on the input window and the correlation filter.

일 실시예에 있어서, 상기 필터제공부는 제1 특징추출부 및 상관관계 필터부를 포함할 수 있다. 제1 특징추출부는 상기 중심 윈도우에 대한 상기 제1 특징 데이터 제공할 수 있다. 상관관계 필터부는 상기 제1 특징 데이터 및 상기 기준함수에 기초하여 생성되는 상기 필터계수에 상응하는 상관관계 필터를 제공할 수 있다. In one embodiment, the filter providing unit may include a first feature extraction unit and a correlation filter unit. The first feature extraction unit may provide the first feature data for the central window. The correlation filter unit may provide a correlation filter corresponding to the filter coefficient generated based on the first feature data and the reference function.

일 실시예에 있어서, 상기 추적위치 제공부는 제2 특징추출부 및 스코어 맵을 포함할 수 있다. 제2 특징추출부는 상기 입력 윈도우에 상응하는 제2 특징 데이터를 제공할 수 있다. 스코어 맵은 상기 제2 특징 데이터를 상기 상관관계 필터 사이의 상관관계 값을 저장할 수 있다. In one embodiment, the tracking location providing unit may include a second feature extracting unit and a score map. The second feature extraction unit may provide second feature data corresponding to the input window. The score map may store a correlation value between the second feature data and the correlation filter.

일 실시예에 있어서, 상기 스코어 맵은 상기 상관관계 값이 가장 큰 값에 상응하는 위치를 상기 제2 추적위치로 제공할 수 있다. In one embodiment, the score map may provide a location corresponding to the largest correlation value as the second tracking location.

일 실시예에 있어서, 상기 특정부분은 인체내부에 포함되는 혈관일 수 있다. In one embodiment, the specific part may be a blood vessel contained within the human body.

일 실시예에 있어서, 상기 기준함수는 가우시안 분포를 갖는 함수일 수 있다. In one embodiment, the reference function may be a function with a Gaussian distribution.

일 실시예에 있어서, 상기 뉴럴 네트워크부가 상기 제1 추적위치를 제공하는 경우, 상기 위치추적부는 상기 제2 추적위치를 제공하지 않을 수 있다. In one embodiment, when the neural network unit provides the first tracking location, the location tracking unit may not provide the second tracking location.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적장치의 동작방법에서는, 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출할 수 있다. 상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다. In order to solve this problem, in the method of operating a location tracking device according to an embodiment of the present invention, the neural network unit tracks a specific part in the input window based on a region-based convolutional neural network (RCNN). A first tracking location may be provided. The position tracking unit may extract first feature data for a central window of a certain size centered on the first tracking position. If the neural network unit fails to provide the first tracking location for the specific part, the location tracking unit may provide a second tracking location based on the first characteristic data and the input window.

일 실시예에 있어서, 상기 위치 추적장치의 동작방법에서는 상기 뉴럴 네트워크부가 학습 입력 윈도우에 기초하여 특정부분의 위치를 학습하는 단계를 더 포함할 수 있다. In one embodiment, the method of operating the location tracking device may further include the step of the neural network unit learning the location of a specific part based on a learning input window.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적시스템은 뉴럴 네트워크부, 위치추적부 및 디스플레이부를 포함할 수 있다. 뉴럴 네트워크부는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부는 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다. 디스플레이부는 상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타낼 수 있다. In order to solve this problem, the location tracking system according to an embodiment of the present invention may include a neural network unit, a location tracking unit, and a display unit. The neural network unit may provide a first tracking position by tracking a specific part of the input window based on a region-based convolutional neural network (RCNN). The location tracking unit extracts first feature data for a central window of a certain size centered on the first tracking position, and when the neural network unit fails to provide the first tracking location for the specific part, the first feature data And a second tracking position may be provided based on the input window. The display unit may display the location of the specific portion as an image based on the first tracking position and the second tracking position.

일 실시예에 있어서, 상기 위치추적부는 필터제공부 및 추적위치 제공부를 포함할 수 있다. 필터제공부는 상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공할 수 있다. 추적위치 제공부는 상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공할 수 있다. In one embodiment, the location tracking unit may include a filter providing unit and a tracking location providing unit. The filter provider may provide a correlation filter corresponding to the filter coefficient generated based on the first feature data and the reference function. The tracking location provider may provide the second tracking location based on the input window and the correlation filter.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 위치 추적시스템의 동작방법에서는, 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공할 수 있다. 위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출할 수 있다. 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공할 수 있다. 디스플레이부가 상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타낼 수 있다. In order to solve this problem, in the method of operating the location tracking system according to the embodiment of the present invention, the neural network unit tracks a specific part in the input window based on a region-based convolutional neural network (RCNN) A first tracking location may be provided. The position tracking unit may extract first feature data for a central window of a certain size centered on the first tracking position. If the neural network unit fails to provide a first tracking location for the specific part, the location tracking unit may provide a second tracking location based on the first feature data and the input window. The display unit may display the location of the specific portion as an image based on the first tracking position and the second tracking position.

일 실시예에 있어서, 상기 특정부분은 인체내부에 포함되는 혈관이고, 상기 기준함수는 가우시안 분포를 갖는 함수일 수 있다. In one embodiment, the specific part is a blood vessel included inside the human body, and the reference function may be a function having a Gaussian distribution.

일 실시예에 있어서, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 중심 윈도우는 상기 제2 추적위치에 기초하여 생성될 수 있다. In one embodiment, when the neural network unit fails to provide the first tracking position for the specific part, the center window may be created based on the second tracking position.

위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.In addition to the technical problems of the present invention mentioned above, other features and advantages of the present invention are described below, or can be clearly understood by those skilled in the art from such description and description.

이상과 같은 본 발명에 따르면 다음과 같은 효과가 있다.According to the present invention as described above, the following effects are achieved.

본 발명에 따른 위치 추적장치에서는 뉴럴 네트워크부가 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 위치추적부가 제1 특징 데이터 및 입력 윈도우에 기초하여 제2 추적위치를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다. In the position tracking device according to the present invention, if the neural network unit fails to provide the first tracking position for a specific part, the position tracking unit provides the second tracking position based on the first characteristic data and the input window to determine the exact location of the blood vessel. It can be figured out.

본 발명에 따른 위치 추적장치의 동작방법에서는 뉴럴 네트워크부가 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 위치추적부가 제1 특징 데이터 및 입력 윈도우에 기초하여 제2 추적위치를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.In the method of operating the position tracking device according to the present invention, when the neural network unit fails to provide the first tracking position for a specific part, the position tracking unit provides the second tracking position based on the first characteristic data and the input window to accurately detect the blood vessel. The location can be determined.

이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.In addition, other features and advantages of the present invention may be newly understood through embodiments of the present invention.

도 1은 본 발명의 실시예들에 따른 위치 추적장치를 나타내는 도면이다.
도 2는 도 1의 위치 추적장치에 포함되는 위치추적부의 일 예를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 4는 도 2의 위치추적부에 포함되는 필터제공부의 일 예를 나타내는 도면이다.
도 5는 도 2의 위치추적부에 포함되는 추적위치 제공부의 일 예를 나타내는 도면이다.
도 6은 도 5의 추적위치 제공부의 동작을 설명하기 위한 도면이다.
도 7은 도 5의 추적위치 제공부에 포함되는 스코어 맵을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예들에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 9는 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.
도 10은 본 발명의 실시예들에 따른 위치 추적시스템을 나타내는 도면이다.
도 11은 본 발명의 실시예들에 따른 위치 추적시스템의 동작방법을 나타내는 순서도이다.1 is a diagram showing a location tracking device according to embodiments of the present invention.
FIG. 2 is a diagram showing an example of a location tracking unit included in the location tracking device of FIG. 1.
Figure 3 is a flowchart showing a method of operating a location tracking device according to an embodiment of the present invention.
FIG. 4 is a diagram showing an example of a filter providing unit included in the location tracking unit of FIG. 2.
FIG. 5 is a diagram showing an example of a tracking location providing unit included in the location tracking unit of FIG. 2.
FIG. 6 is a diagram for explaining the operation of the tracking location providing unit of FIG. 5.
FIG. 7 is a diagram for explaining the score map included in the tracking location providing unit of FIG. 5.
Figure 8 is a flowchart showing a method of operating a location tracking device according to embodiments of the present invention.
Figure 9 is a flowchart showing a method of operating a location tracking device according to an embodiment of the present invention.
Figure 10 is a diagram showing a location tracking system according to embodiments of the present invention.
Figure 11 is a flowchart showing a method of operating a location tracking system according to embodiments of the present invention.

본 명세서에서 각 도면의 구성 요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.In this specification, it should be noted that when adding reference numbers to the components of each drawing, the same components are given the same number as much as possible even if they are shown in different drawings.

한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Meanwhile, the meaning of the terms described in this specification should be understood as follows.

단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한, 복수의 표현을 포함하는 것으로 이해되어야 하는 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.Unless the context clearly defines otherwise, singular expressions should be understood to include plural expressions, and the scope of rights should not be limited by these terms.

"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms such as “include” or “have” should be understood as not precluding the presence or addition of one or more other features, numbers, steps, operations, components, parts, or combinations thereof.

이하, 첨부되는 도면을 참고하여 상기 문제점을 해결하기 위해 고안된 본 발명의 바람직한 실시예들에 대해 상세히 설명한다.Hereinafter, preferred embodiments of the present invention designed to solve the above problems will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예들에 따른 위치 추적장치를 나타내는 도면이고, 도 2는 도 1의 위치 추적장치에 포함되는 위치추적부의 일 예를 나타내는 도면이고, 도 3은 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.FIG. 1 is a diagram showing a location tracking device according to embodiments of the present invention, FIG. 2 is a diagram showing an example of a location tracking unit included in the location tracking device of FIG. 1, and FIG. 3 is an embodiment of the present invention. This is a flowchart showing the operation method of the location tracking device.

도 1 내지 3을 참조하면, 본 발명의 실시예에 따른 위치 추적장치(10)는 뉴럴 네트워크부(100) 및 위치추적부(200)를 포함할 수 있다. 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network, RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다. 예를 들어, 특정부분은 인체 내부의 혈관일 수 있다. 리전 기반 컨볼루션 뉴럴 네트워크는 뉴럴 네트워크부(100)가 동작하기 이전에 다수의 초음파 영상들에 기초하여 초음파 영상에서 혈관의 위치를 학습할 수 있다. 뉴럴 네트워크부(100)가 사전에 다수의 초음파 영상들에 기초하여 초음파 영상에서 혈관의 위치를 학습하는 경우, 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network, RCNN)에 기초하여 입력 윈도우(I_W)에서 혈관의 위치를 추적할 수 있고, 혈관의 위치에 상응하는 제1 추적위치(P_T1)를 제공할 수 있다.Referring to Figures 1 to 3, the location tracking device 10 according to an embodiment of the present invention may include a neural network unit 100 and a location tracking unit 200. The neural network unit 100 may provide a first tracking position (P_T1) by tracking a specific portion of the input window (I_W) based on a region-based convolutional neural network (RCNN). For example, a specific part may be a blood vessel inside the human body. The region-based convolutional neural network can learn the location of blood vessels in an ultrasound image based on a plurality of ultrasound images before the neural network unit 100 operates. When the neural network unit 100 learns the location of a blood vessel in an ultrasound image based on a plurality of ultrasound images in advance, the neural network unit 100 uses a region-based convolutional neural network (RCNN). Based on this, the position of the blood vessel can be tracked in the input window (I_W), and the first tracking position (P_T1) corresponding to the position of the blood vessel can be provided.

위치추적부(200)는 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출할 수 있다. 위치추적부(200)는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. 예를 들어, 뉴럴 네트워크부(100)가 혈관의 위치에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 이전 프레임에서 생성된 혈관의 위치에 상응하는 제1 특징 데이터(F_D1)가 사용될 수 있다. 뉴럴 네트워크부(100)가 혈관의 위치에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 현재 프레임에서 혈관의 위치에 상응하는 제2 추적위치(P_T2)를 제공할 수 있다. The position tracking unit 200 may extract first feature data (F_D1) for a central window of a certain size centered on the first tracking position (P_T1). If the neural network unit 100 fails to provide the first tracking position (P_T1) for a specific part, the location tracking unit 200 provides second tracking based on the first feature data (F_D1) and the input window (I_W). The location (P_T2) can be provided. For example, if the neural network unit 100 fails to provide the first tracking position (P_T1) for the position of a blood vessel, first feature data (F_D1) corresponding to the position of the blood vessel generated in the previous frame may be used. there is. If the neural network unit 100 fails to provide the first tracking position (P_T1) for the position of the blood vessel, a new tracking position corresponding to the position of the blood vessel in the current frame is provided based on the first feature data (F_D1) and the input window (I_W). A second tracking location (P_T2) may be provided.

일 실시예에 있어서, 위치추적부(200)는 필터제공부(210) 및 추적위치 제공부(230)를 포함할 수 있다. 필터제공부(210)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. 예를 들어, 제1 특징 데이터(F_D1)는 제1 추적위치(P_T1) 또는 제2 추적위치(P_T2)로부터 생성될 수 있다. 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network, RCNN)에 기초하여 입력 윈도우(I_W)에서 혈관의 위치를 추적하여 제1 추적위치(P_T1)를 제공하는 경우, 제1 특징 데이터(F_D1)는 제1 추적위치(P_T1)로부터 생성될 수 있다. 또한, 뉴럴 네트워크부(100)가 혈관의 위치에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1)는 제2 추적위치(P_T2)로부터 생성될 수 있다. 예를 들어, 필터제공부(210)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. 여기서, 예를 들어, 기준함수는 가우시안 함수일 수 있다. In one embodiment, the location tracking unit 200 may include a filter providing unit 210 and a tracking location providing unit 230. The filter provider 210 may provide a correlation filter (CO_F) corresponding to a filter coefficient generated based on the first feature data (F_D1) and the reference function. For example, the first feature data (F_D1) may be generated from the first tracking location (P_T1) or the second tracking location (P_T2). When the neural network unit 100 provides a first tracking position (P_T1) by tracking the position of a blood vessel in the input window (I_W) based on a region-based convolutional neural network (RCNN), 1 Feature data (F_D1) may be generated from the first tracking position (P_T1). Additionally, if the neural network unit 100 fails to provide the first tracking location (P_T1) for the location of the blood vessel, the first feature data (F_D1) may be generated from the second tracking location (P_T2). For example, the filter provider 210 may provide a correlation filter (CO_F) corresponding to a filter coefficient generated based on the first feature data (F_D1) and a reference function. Here, for example, the reference function may be a Gaussian function.

추적위치 제공부(230)는 입력 윈도우(I_W) 및 상관관계 필터(CO_F)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. 예를 들어, 입력 윈도우(I_W)는 추적위치 제공부(230)에 제공될 수 있다. 입력 윈도우(I_W)가 추적위치 제공부(230)에 제공되는 경우, 추적위치 제공부(230)는 입력 윈도우(I_W) 및 필터제공부(210)로부터 제공되는 상관관계 필터(CO_F)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. The tracking location provider 230 may provide the second tracking location (P_T2) based on the input window (I_W) and the correlation filter (CO_F). For example, the input window (I_W) may be provided to the tracking location provider 230. When the input window (I_W) is provided to the tracking location providing unit 230, the tracking location providing unit 230 based on the input window (I_W) and the correlation filter (CO_F) provided from the filter providing unit 210. A second tracking location (P_T2) may be provided.

본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.In the location tracking device 10 according to the present invention, if the neural network unit 100 fails to provide the first tracking location (P_T1) for a specific part, the location tracking unit 200 provides the first characteristic data (F_D1) and By providing the second tracking position (P_T2) based on the input window (I_W), the exact location of the blood vessel can be identified.

도 4는 도 2의 위치추적부에 포함되는 필터제공부의 일 예를 나타내는 도면이고, 도 5는 도 2의 위치추적부에 포함되는 추적위치 제공부의 일 예를 나타내는 도면이고, 도 6은 도 5의 추적위치 제공부의 동작을 설명하기 위한 도면이다. FIG. 4 is a diagram showing an example of a filter providing unit included in the location tracking unit of FIG. 2, FIG. 5 is a drawing showing an example of a tracking location providing unit included in the location tracking unit of FIG. 2, and FIG. 6 is a diagram showing an example of a filter providing unit included in the location tracking unit of FIG. 2. This is a diagram to explain the operation of the tracking location providing unit.

도 4, 5 및 6을 참조하면, 필터제공부(210)는 제1 특징추출부(211) 및 상관관계 필터부(213)를 포함할 수 있다. 제1 특징추출부(211)는 중심 윈도우에 대한 제1 특징 데이터(F_D1) 제공할 수 있다. 상관관계 필터부(213)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. Referring to FIGS. 4, 5, and 6, the filter providing unit 210 may include a first feature extraction unit 211 and a correlation filter unit 213. The first feature extraction unit 211 may provide first feature data (F_D1) for the center window. The correlation filter unit 213 may provide a correlation filter (CO_F) corresponding to a filter coefficient generated based on the first feature data (F_D1) and the reference function.

일 실시예에 있어서, 추적위치 제공부(230)는 제2 특징추출부(231) 및 스코어 맵(233)을 포함할 수 있다. 제2 특징추출부(231)는 입력 윈도우(I_W)에 상응하는 제2 특징 데이터(F_D2)를 제공할 수 있다. 스코어 맵(233)은 제2 특징 데이터(F_D2) 및 상관관계 필터 사이의 상관관계 값(CV)을 저장할 수 있다. 예를 들어, 제2 특징추출부(231)로부터 제공되는 입력 윈도우(I_W)에 상응하는 제2 특징 데이터(F_D2) 및 상관관계 필터(CO_F) 사이의 상관관계 값(CV)은 스코어 맵(233)에 저장될 수 있다. 상관관계 필터(CO_F)는 제1 방향(D1)을 따라 이동하면서 제2 특징데이터와 사이의 상관관계 값(CV)을 계산할 수 있다. 또한, 상관관계 필터(CO_F)는 제2 방향(D2)을 따라 이동하면서 제2 특징데이터와 사이의 상관관계 값(CV)을 계산할 수 있다. In one embodiment, the tracking location providing unit 230 may include a second feature extracting unit 231 and a score map 233. The second feature extraction unit 231 may provide second feature data (F_D2) corresponding to the input window (I_W). The score map 233 may store a correlation value (CV) between the second feature data (F_D2) and the correlation filter. For example, the correlation value (CV) between the second feature data (F_D2) and the correlation filter (CO_F) corresponding to the input window (I_W) provided from the second feature extraction unit 231 is the score map 233 ) can be stored in . The correlation filter CO_F may calculate a correlation value (CV) between the second feature data and the second feature data while moving along the first direction D1. Additionally, the correlation filter CO_F may calculate a correlation value (CV) between the second feature data and the second feature data while moving along the second direction D2.

본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.In the location tracking device 10 according to the present invention, if the neural network unit 100 fails to provide the first tracking location (P_T1) for a specific part, the location tracking unit 200 provides the first characteristic data (F_D1) and By providing the second tracking position (P_T2) based on the input window (I_W), the exact location of the blood vessel can be identified.

도 7은 도 5의 추적위치 제공부에 포함되는 스코어 맵을 설명하기 위한 도면이다.FIG. 7 is a diagram for explaining the score map included in the tracking location providing unit of FIG. 5.

도 7을 참조하면, 스코어 맵(233)은 상관관계 값(CV)이 가장 큰 값에 상응하는 위치를 제2 추적위치(P_T2)로 제공할 수 있다. 스코어 맵(233)은 제2 특징 데이터(F_D2) 및 상관관계 필터(CO_F) 사이의 상관관계 값(CV)을 저장할 수 있다. Referring to FIG. 7, the score map 233 may provide the location corresponding to the largest correlation value (CV) as the second tracking location (P_T2). The score map 233 may store a correlation value (CV) between the second feature data (F_D2) and the correlation filter (CO_F).

예를 들어, 상관관계 필터(CO_F)는 제1 방향(D1)을 따라 이동하면서 제2 특징데이터와 사이의 상관관계 값(CV)을 계산하기 위하여 사용될 수 있다. 제2 방향(D2)의 제1 위치(P1)를 기준으로 제1 방향(D1)의 제1 위치(S1)의 상관관계 값(CV)은 1일 수 있고, 상관관계 값(CV) 1은 스코어 맵(233)의 제1_1 위치(P1_S1)에 저장될 수 있다. 또한, 제2 방향(D2)의 제1 위치(P1)를 기준으로 제1 방향(D1)의 제2 위치(S2)의 상관관계 값(CV)은 3일 수 있고, 상관관계 값(CV) 3은 스코어 맵(233)의 제1_2 위치(P1_S2)에 저장될 수 있다. 동일한 방식으로, 제2 방향(D2)의 제1 위치(P1)를 기준으로 제1 방향(D1)의 제10 위치(S10)의 상관관계 값(CV)은 7일 수 있고, 상관관계 값(CV) 7은 스코어 맵(233)의 제1_10 위치(P1_S10)에 저장될 수 있다.For example, the correlation filter CO_F may be used to calculate a correlation value (CV) between the second feature data and the second feature data while moving along the first direction D1. The correlation value (CV) of the first position (S1) in the first direction (D1) based on the first position (P1) in the second direction (D2) may be 1, and the correlation value (CV) of 1 is 1. It may be stored in the 1_1 position (P1_S1) of the score map 233. In addition, the correlation value (CV) of the second position (S2) in the first direction (D1) based on the first position (P1) in the second direction (D2) may be 3, and the correlation value (CV) 3 may be stored in the 1_2 position (P1_S2) of the score map 233. In the same way, the correlation value (CV) of the tenth position (S10) in the first direction (D1) based on the first position (P1) in the second direction (D2) may be 7, and the correlation value ( CV) 7 may be stored in the 1_10th position (P1_S10) of the score map 233.

또한, 제2 방향(D2)의 제4 위치(P4)를 기준으로 제1 방향(D1)의 제1 위치(S1)의 상관관계 값(CV)은 4일 수 있고, 상관관계 값(CV) 4은 스코어 맵(233)의 제4_1 위치(P4_S1)에 저장될 수 있다. 또한, 제2 방향(D2)의 제4 위치(P4)를 기준으로 제1 방향(D1)의 제6 위치(S6)의 상관관계 값(CV)은 22일 수 있고, 상관관계 값(CV) 22은 스코어 맵(233)의 제4_6 위치(P4_S6)에 저장될 수 있다. 동일한 방식으로, 제2 방향(D2)의 제4 위치(P4)를 기준으로 제1 방향(D1)의 제10 위치(S10)의 상관관계 값(CV)은 8일 수 있고, 상관관계 값(CV) 8은 스코어 맵(233)의 제4_10 위치(P4_S10)에 저장될 수 있다. In addition, the correlation value (CV) of the first position (S1) in the first direction (D1) based on the fourth position (P4) in the second direction (D2) may be 4, and the correlation value (CV) 4 may be stored in the 4_1 position (P4_S1) of the score map 233. In addition, the correlation value (CV) of the sixth position (S6) in the first direction (D1) based on the fourth position (P4) in the second direction (D2) may be 22, and the correlation value (CV) 22 may be stored in the 4_6th position (P4_S6) of the score map 233. In the same way, the correlation value (CV) of the tenth position (S10) in the first direction (D1) based on the fourth position (P4) in the second direction (D2) may be 8, and the correlation value ( CV) 8 may be stored in the 4_10th position (P4_S10) of the score map 233.

스코어 맵(233)은 상관관계 값(CV)이 가장 큰 값에 상응하는 위치를 제2 추적위치(P_T2)로 제공할 수 있다. 예를 들어, 상관관계 값(CV)이 가장 큰 값은 22일 수 있다. 상관관계 값(CV)이 가장 큰 값인 22에 상응하는 스코어 맵(233)의 위치는 제4_6 위치(P4_S6)일 수 있다. 상관관계 값(CV)이 가장 큰 값인 22에 상응하는 스코어 맵(233)의 위치가 제4_6 위치(P4_S6)인 경우, 스코어 맵(233)은 제4_6 위치(P4_S6)를 제2 추적위치(P_T2)로 제공할 수 있다.The score map 233 may provide the location corresponding to the value with the largest correlation value (CV) as the second tracking location (P_T2). For example, the largest correlation value (CV) may be 22. The location of the score map 233 corresponding to 22, which has the largest correlation value (CV), may be the 4_6th location (P4_S6). If the position of the score map 233 corresponding to 22, which has the largest correlation value (CV), is the 4_6th position (P4_S6), the score map 233 connects the 4_6th position (P4_S6) to the second tracking position (P_T2) ) can be provided.

일 실시예에 있어서, 특정부분은 인체내부에 포함되는 혈관일 수 있고, 기준함수는 가우시안 분포를 갖는 함수일 수 있다. 또한, 일 실시예에 있어서, 뉴럴 네트워크부(100)가 제1 추적위치(P_T1)를 제공하는 경우, 위치추적부(200)는 제2 추적위치(P_T2)를 제공하지 않을 수 있다. In one embodiment, the specific part may be a blood vessel included inside the human body, and the reference function may be a function with a Gaussian distribution. Additionally, in one embodiment, when the neural network unit 100 provides the first tracking location (P_T1), the location tracking unit 200 may not provide the second tracking location (P_T2).

도 8은 본 발명의 실시예들에 따른 위치 추적장치의 동작방법을 나타내는 순서도이고, 도 9는 본 발명의 일 실시예에 따른 위치 추적장치의 동작방법을 나타내는 순서도이다.FIG. 8 is a flowchart showing a method of operating a location tracking device according to embodiments of the present invention, and FIG. 9 is a flowchart showing a method of operating a location tracking device according to an embodiment of the present invention.

도 8 및 9를 참조하면, 위치 추적장치(10)의 동작방법에서는, 뉴럴 네트워크부(100)가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다(S200). 위치추적부(200)가 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출할 수 있다(S210). 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다(S220). Referring to FIGS. 8 and 9, in the operating method of the location tracking device 10, the neural network unit 100 operates in the input window (I_W) based on a region-based convolutional neural network (RCNN). The first tracking position (P_T1) can be provided by tracking a specific part (S200). The position tracking unit 200 may extract first feature data (F_D1) for a central window of a certain size centered on the first tracking position (P_T1) (S210). If the neural network unit 100 fails to provide the first tracking position (P_T1) for a specific part, the position tracking unit 200 performs second tracking based on the first feature data (F_D1) and the input window (I_W). The location (P_T2) can be provided (S220).

일 실시예에 있어서, 위치 추적장치(10)의 동작방법에서는 뉴럴 네트워크부(100)가 학습 입력 윈도우(I_W)에 기초하여 특정부분의 위치를 학습하는 단계(S190)를 더 포함할 수 있다. In one embodiment, the method of operating the location tracking device 10 may further include a step (S190) in which the neural network unit 100 learns the location of a specific part based on the learning input window (I_W).

본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.In the location tracking device 10 according to the present invention, if the neural network unit 100 fails to provide the first tracking location (P_T1) for a specific part, the location tracking unit 200 provides the first characteristic data (F_D1) and By providing the second tracking position (P_T2) based on the input window (I_W), the exact location of the blood vessel can be identified.

도 10은 본 발명의 실시예들에 따른 위치 추적시스템을 나타내는 도면이다.Figure 10 is a diagram showing a location tracking system according to embodiments of the present invention.

도10을 참조하면, 위치 추적시스템은 뉴럴 네트워크부(100), 위치추적부(200) 및 디스플레이부(300)를 포함할 수 있다. 뉴럴 네트워크부(100)는 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다. 위치추적부(200)는 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출하고, 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. 디스플레이부(300)는 제1 추적위치(P_T1) 및 제2 추적위치(P_T2)에 기초하여 특정부분의 위치를 영상(IM)으로 나타낼 수 있다. Referring to Figure 10, the location tracking system may include a neural network unit 100, a location tracking unit 200, and a display unit 300. The neural network unit 100 may provide a first tracking position (P_T1) by tracking a specific portion of the input window (I_W) based on a region-based convolutional neural network (RCNN). The position tracking unit 200 extracts the first feature data (F_D1) for a central window of a certain size centered on the first tracking position (P_T1), and the neural network unit 100 extracts the first tracking position for a specific part. If (P_T1) fails to be provided, the second tracking location (P_T2) may be provided based on the first feature data (F_D1) and the input window (I_W). The display unit 300 may display the location of a specific part as an image IM based on the first tracking position (P_T1) and the second tracking position (P_T2).

일 실시예에 있어서, 위치추적부(200)는 필터제공부(210) 및 추적위치 제공부(230)를 포함할 수 있다. 필터제공부(210)는 제1 특징 데이터(F_D1) 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터(CO_F)를 제공할 수 있다. 추적위치 제공부(230)는 입력 윈도우(I_W) 및 상관관계 필터(CO_F)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다. In one embodiment, the location tracking unit 200 may include a filter providing unit 210 and a tracking location providing unit 230. The filter provider 210 may provide a correlation filter (CO_F) corresponding to a filter coefficient generated based on the first feature data (F_D1) and the reference function. The tracking location provider 230 may provide the second tracking location (P_T2) based on the input window (I_W) and the correlation filter (CO_F).

도 11은 본 발명의 실시예들에 따른 위치 추적시스템의 동작방법을 나타내는 순서도이다.Figure 11 is a flowchart showing a method of operating a location tracking system according to embodiments of the present invention.

도 11을 참조하면, 위치 추적시스템의 동작방법에서는, 뉴럴 네트워크부(100)가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우(I_W)에서 특정부분을 추적하여 제1 추적위치(P_T1)를 제공할 수 있다(S200). 위치추적부(200)가 제1 추적위치(P_T1)를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터(F_D1)를 추출할 수 있다(S210). 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공할 수 있다(S220). 디스플레이부(300)가 제1 추적위치(P_T1) 및 제2 추적위치(P_T2)에 기초하여 특정부분의 위치를 영상(IM)으로 나타낼 수 있다(S230). Referring to FIG. 11, in the operating method of the location tracking system, the neural network unit 100 tracks a specific part in the input window (I_W) based on a region-based convolutional neural network (RCNN). The first tracking position (P_T1) can be provided (S200). The position tracking unit 200 may extract first feature data (F_D1) for a central window of a certain size centered on the first tracking position (P_T1) (S210). If the neural network unit 100 fails to provide the first tracking position (P_T1) for a specific part, the position tracking unit 200 performs second tracking based on the first feature data (F_D1) and the input window (I_W). The location (P_T2) can be provided (S220). The display unit 300 may display the location of a specific part as an image (IM) based on the first tracking position (P_T1) and the second tracking position (P_T2) (S230).

일 실시예에 있어서, 특정부분은 인체내부에 포함되는 혈관이고, 기준함수는 가우시안 분포를 갖는 함수일 수 있다. 또한, 일 실시예에 있어서, 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 중심 윈도우는 제2 추적위치(P_T2)에 기초하여 생성될 수 있다.In one embodiment, the specific part is a blood vessel included inside the human body, and the reference function may be a function with a Gaussian distribution. Additionally, in one embodiment, if the neural network unit 100 fails to provide the first tracking position (P_T1) for a specific part, the center window may be created based on the second tracking position (P_T2).

본 발명에 따른 위치 추적장치(10)에서는 뉴럴 네트워크부(100)가 특정부분에 대한 제1 추적위치(P_T1) 제공에 실패하는 경우, 위치추적부(200)가 제1 특징 데이터(F_D1) 및 입력 윈도우(I_W)에 기초하여 제2 추적위치(P_T2)를 제공함으로써 정확한 혈관의 위치를 파악할 수 있다.In the location tracking device 10 according to the present invention, if the neural network unit 100 fails to provide the first tracking location (P_T1) for a specific part, the location tracking unit 200 provides the first characteristic data (F_D1) and By providing the second tracking position (P_T2) based on the input window (I_W), the exact location of the blood vessel can be identified.

10: 위치 추적장치 100: 뉴럴 네트워크부
200: 위치추적부 210: 필터 제공부
211: 제1 특징추출부 213: 상관관계 필터부
230: 추적위치 제공부 231: 제2 특징추출부
233: 스코어 맵 300: 디스플레이부10: Location tracking device 100: Neural network unit
200: Location tracking unit 210: Filter provision unit
211: first feature extraction unit 213: correlation filter unit
230: Tracking location providing unit 231: Second feature extraction unit
233: score map 300: display unit

Claims (15)

리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 뉴럴 네트워크부;
상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공하는 위치추적부를 포함하는 위치 추적장치. A neural network unit that tracks a specific part of the input window based on a region-based convolutional neural network (RCNN) and provides a first tracking position;
The first feature data for a central window of a certain size is extracted centering on the first tracking position, and when the neural network unit fails to provide the first tracking position for the specific part, the first feature data and the A location tracking device including a location tracking unit that provides a second tracking location based on the input window. 제1항에 있어서,
상기 위치추적부는,
상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공하는 필터제공부; 및
상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공하는 추적위치 제공부를 포함하는 것을 특징으로 하는 위치 추적장치. According to paragraph 1,
The location tracking unit,
a filter providing unit providing a correlation filter corresponding to a filter coefficient generated based on the first feature data and a reference function; and
A location tracking device comprising a tracking location providing unit that provides the second tracking location based on the input window and the correlation filter. 제2항에 있어서,
상기 필터제공부는,
상기 중심 윈도우에 대한 상기 제1 특징 데이터 제공하는 제1 특징추출부; 및
상기 제1 특징 데이터 및 상기 기준함수에 기초하여 생성되는 상기 필터계수에 상응하는 상관관계 필터를 제공하는 상관관계 필터부를 포함하는 것을 특징으로 하는 위치 추적장치.According to paragraph 2,
The filter providing unit,
a first feature extraction unit providing the first feature data for the central window; and
A location tracking device comprising a correlation filter unit that provides a correlation filter corresponding to the filter coefficient generated based on the first feature data and the reference function. 제3항에 있어서,
상기 추적위치 제공부는,
상기 입력 윈도우에 상응하는 제2 특징 데이터를 제공하는 제2 특징추출부; 및
상기 제2 특징 데이터를 상기 상관관계 필터 사이의 상관관계 값을 저장하는 스코어 맵을 포함하는 것을 특징으로 하는 위치 추적장치. According to paragraph 3,
The tracking location providing unit,
a second feature extraction unit providing second feature data corresponding to the input window; and
A location tracking device comprising a score map that stores a correlation value between the second feature data and the correlation filter. 제4항에 있어서,
상기 스코어 맵은 상기 상관관계 값이 가장 큰 값에 상응하는 위치를 상기 제2 추적위치로 제공하는 것을 특징으로 하는 위치 추적장치. According to clause 4,
The score map is a location tracking device characterized in that it provides a location corresponding to the largest correlation value as the second tracking location. 제5항에 있어서,
상기 특정부분은 인체내부에 포함되는 혈관인 것을 특징으로 하는 위치 추적장치. According to clause 5,
A location tracking device, wherein the specific part is a blood vessel contained within the human body. 제6항에 있어서,
상기 기준함수는 가우시안 분포를 갖는 함수인 것을 특징으로 하는 위치 추적장치.According to clause 6,
A position tracking device, characterized in that the reference function is a function having a Gaussian distribution. 제5항에 있어서,
상기 뉴럴 네트워크부가 상기 제1 추적위치를 제공하는 경우,
상기 위치추적부는 상기 제2 추적위치를 제공하지 않는 것을 특징으로 하는 위치 추적장치.According to clause 5,
When the neural network unit provides the first tracking location,
A location tracking device, wherein the location tracking unit does not provide the second tracking location. 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 단계;
위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하는 단계; 및
상기 뉴럴 네트워크부가 상기 특정부분에 대한 상기 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공하는 단계를 포함하는 위치 추적장치의 동작방법. A neural network unit providing a first tracking position by tracking a specific part of the input window based on a region-based convolutional neural network (RCNN);
A position tracking unit extracting first feature data for a central window of a certain size centered on the first tracking position; and
When the neural network unit fails to provide the first tracking location for the specific part, the location tracking unit provides a second tracking location based on the first characteristic data and the input window. How to operate. 제9항에 있어서,
상기 위치 추적장치의 동작방법은,
상기 뉴럴 네트워크부가 학습 입력 윈도우에 기초하여 특정부분의 위치를 학습하는 단계를 더 포함하는 것을 특징으로 하는 위치 추적장치의 동작방법. According to clause 9,
The operation method of the location tracking device is,
A method of operating a location tracking device, further comprising the step of the neural network unit learning the location of a specific part based on the learning input window. 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 뉴럴 네트워크부;
상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하고, 상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공하는 위치추적부; 및
상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타내는 디스플레이부를 포함하는 위치 추적시스템. A neural network unit that tracks a specific part of the input window based on a region-based convolutional neural network (RCNN) and provides a first tracking position;
First feature data for a central window of a certain size is extracted centered on the first tracking position, and when the neural network unit fails to provide the first tracking position for the specific part, the first feature data and the input a location tracking unit providing a second tracking location based on the window; and
A position tracking system including a display unit that displays the location of the specific part as an image based on the first tracking position and the second tracking position. 제11항에 있어서,
상기 위치추적부는,
상기 제1 특징 데이터 및 기준함수에 기초하여 생성되는 필터계수에 상응하는 상관관계 필터를 제공하는 필터제공부; 및
상기 입력 윈도우 및 상기 상관관계 필터에 기초하여 상기 제2 추적위치를 제공하는 추적위치 제공부를 포함하는 것을 특징으로 하는 위치 추적시스템.According to clause 11,
The location tracking unit,
a filter providing unit providing a correlation filter corresponding to a filter coefficient generated based on the first feature data and a reference function; and
A location tracking system comprising a tracking location providing unit that provides the second tracking location based on the input window and the correlation filter. 뉴럴 네트워크부가 리전 기반 컨볼루션 뉴럴 네트워크(Region based Convolutional Neural Network,RCNN)에 기초하여 입력 윈도우에서 특정부분을 추적하여 제1 추적위치를 제공하는 단계;
위치추적부가 상기 제1 추적위치를 중심으로 일정한 크기의 중심 윈도우에 대한 제1 특징 데이터를 추출하는 단계;
상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우, 상기 위치추적부가 상기 제1 특징 데이터 및 상기 입력 윈도우에 기초하여 제2 추적위치를 제공하는 단계; 및
디스플레이부가 상기 제1 추적위치 및 상기 제2 추적위치에 기초하여 상기 특정부분의 위치를 영상으로 나타내는 단계를 포함하는 위치 추적시스템의 동작방법. A neural network unit providing a first tracking position by tracking a specific part of the input window based on a region-based convolutional neural network (RCNN);
A position tracking unit extracting first feature data for a central window of a certain size centered on the first tracking position;
When the neural network unit fails to provide a first tracking location for the specific part, the location tracking unit providing a second tracking location based on the first feature data and the input window; and
A method of operating a position tracking system including a display unit displaying the position of the specific portion as an image based on the first tracking position and the second tracking position. 삭제delete 제13항에 있어서,
상기 뉴럴 네트워크부가 상기 특정부분에 대한 제1 추적위치 제공에 실패하는 경우,
상기 중심 윈도우는 상기 제2 추적위치에 기초하여 생성되는 것을 특징으로 하는 위치 추적시스템의 동작방법.According to clause 13,
If the neural network unit fails to provide the first tracking location for the specific part,
A method of operating a position tracking system, characterized in that the center window is created based on the second tracking position.
KR1020190068611A 2019-06-11 Vessel position tracking device and operating method thereof KR102680085B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190068611A KR102680085B1 (en) 2019-06-11 Vessel position tracking device and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190068611A KR102680085B1 (en) 2019-06-11 Vessel position tracking device and operating method thereof

Publications (2)

Publication Number Publication Date
KR20200141730A KR20200141730A (en) 2020-12-21
KR102680085B1 true KR102680085B1 (en) 2024-06-28

Family

ID=

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3378941B2 (en) 2000-06-29 2003-02-17 徳島県 Position automatic tracking type ultrasonic blood flow measurement device
JP2008539932A (en) 2005-05-10 2008-11-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Cannula insertion system
JP4831281B2 (en) 2000-02-25 2011-12-07 ゼネラル・エレクトリック・カンパニイ Method and apparatus for automatic blood vessel tracking in ultrasound imaging
JP5715064B2 (en) 2008-12-10 2015-05-07 コーニンクレッカ フィリップス エヌ ヴェ Blood vessel analysis
KR101553958B1 (en) 2007-10-09 2015-09-17 가부시키가이샤 유넥스 Blood-vessel ultrasonographing method
JP2016010560A (en) 2014-06-30 2016-01-21 セイコーエプソン株式会社 Blood vessel searching device, ultrasonic measurement device and blood vessel searching method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4831281B2 (en) 2000-02-25 2011-12-07 ゼネラル・エレクトリック・カンパニイ Method and apparatus for automatic blood vessel tracking in ultrasound imaging
JP3378941B2 (en) 2000-06-29 2003-02-17 徳島県 Position automatic tracking type ultrasonic blood flow measurement device
JP2008539932A (en) 2005-05-10 2008-11-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Cannula insertion system
KR101553958B1 (en) 2007-10-09 2015-09-17 가부시키가이샤 유넥스 Blood-vessel ultrasonographing method
JP5715064B2 (en) 2008-12-10 2015-05-07 コーニンクレッカ フィリップス エヌ ヴェ Blood vessel analysis
JP2016010560A (en) 2014-06-30 2016-01-21 セイコーエプソン株式会社 Blood vessel searching device, ultrasonic measurement device and blood vessel searching method

Similar Documents

Publication Publication Date Title
US11681952B2 (en) System for augmenting image data of medically invasive devices using optical imaging
US10679417B2 (en) Method and system for surgical planning in a mixed reality environment
JP6636678B2 (en) Learning to annotate objects in images
US9084531B2 (en) Providing real-time marker detection for a stent in medical imaging
CN110675407B (en) Image instance segmentation method and device, electronic equipment and storage medium
US20080275335A1 (en) Methods and apparatus for virtual coronary mapping
CN112734776B (en) Minimally invasive surgical instrument positioning method and system
US9082158B2 (en) Method and system for real time stent enhancement on live 2D fluoroscopic scene
CN101732061A (en) Image processing apparatus and image processing method
JP5748636B2 (en) Image processing apparatus and method, and program
JP2022543643A (en) Longitudinal display of coronary artery calcium load
CN108108349A (en) Long text error correction method, device and computer-readable medium based on artificial intelligence
US9058664B2 (en) 2D-2D fusion for interventional guidance in trans-catheter aortic valve implantation
CN109784330B (en) Signboard content identification method, device and equipment
CN117373070A (en) Method and device for labeling blood vessel segments, electronic equipment and storage medium
CN116205928A (en) Image segmentation processing method, device and equipment for laparoscopic surgery video and medium
CN113971728B (en) Image recognition method, training method, device, equipment and medium for model
KR102680085B1 (en) Vessel position tracking device and operating method thereof
KR20210050202A (en) Automatic sentence correction device using correction database built on text with correction code inserted and operating method thereof
Jang et al. Geodesic distance algorithm for extracting the ascending aorta from 3D CT images
KR20200141730A (en) Vessel position tracking device and operating method thereof
Kim et al. Cerebral microbleeds detection using a 3d feature fused region proposal network with hard sample prototype learning
CN112101034B (en) Method and device for judging attribute of medical entity and related product
CN114445391A (en) Blood vessel segmentation method and device, electronic device and computer readable storage medium
Guan et al. [Retracted] Bayes Clustering and Structural Support Vector Machines for Segmentation of Carotid Artery Plaques in Multicontrast MRI