KR102215392B1 - Apparatus and Method for Detecting Malposition of Implanted leads of Pacemaker - Google Patents

Apparatus and Method for Detecting Malposition of Implanted leads of Pacemaker Download PDF

Info

Publication number
KR102215392B1
KR102215392B1 KR1020190093152A KR20190093152A KR102215392B1 KR 102215392 B1 KR102215392 B1 KR 102215392B1 KR 1020190093152 A KR1020190093152 A KR 1020190093152A KR 20190093152 A KR20190093152 A KR 20190093152A KR 102215392 B1 KR102215392 B1 KR 102215392B1
Authority
KR
South Korea
Prior art keywords
electrode
image
heart
instruction set
region
Prior art date
Application number
KR1020190093152A
Other languages
Korean (ko)
Inventor
윤일동
왈리드
Original Assignee
한국외국어대학교 연구산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국외국어대학교 연구산학협력단 filed Critical 한국외국어대학교 연구산학협력단
Priority to KR1020190093152A priority Critical patent/KR102215392B1/en
Application granted granted Critical
Publication of KR102215392B1 publication Critical patent/KR102215392B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/362—Heart stimulators
    • A61N1/37—Monitoring; Protecting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4851—Prosthesis assessment or monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/02—Details
    • A61N1/04—Electrodes
    • A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/056—Transvascular endocardial electrode systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/372—Arrangements in connection with the implantation of stimulators
    • A61N1/37211—Means for communicating with stimulators
    • A61N1/37252—Details of algorithms or data aspects of communication system, e.g. handshaking, transmitting specific data or segmenting data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart

Abstract

Provided is an automated method of assisting in confirming the implant status of electrodes on pacemaker images. A malposition is detected using a statistical distribution of electrode spacing values which are spacing between a plurality of electrode regions in an input image. The detection of cardiac regions or electrode regions is processed by regression which includes an object to be detected in the image and obtains the coordinates of spatially separated bounding boxes and their class probabilities.

Description

심장 박동기 임플란트 전극 위치의 비정상 검출 방법 및 그 장치{Apparatus and Method for Detecting Malposition of Implanted leads of Pacemaker}Apparatus and Method for Detecting Malposition of Implanted leads of Pacemaker

정보 처리 기술, 특히 의료 영상의 처리 기술이 개시된다. Information processing technology, particularly medical image processing technology, is disclosed.

심장 박동기는 심장에 임플란트된 전극들을 통해 전기적인 신호를 심장에 인가하여 그 박동을 도와준다. 심장 박동기가 삽입될 때 전극들은 심장의 적절한 위치에 임플란트된다. 심장이 지속적으로 움직이므로 전극들이 임플란트된 위치에서 이탈하는 경우가 있고 이는 환자에게 심각한 위험을 초래한다. 심장 박동기를 삽입한 환자들은 주기적으로 병원을 방문하여 흉부 X선을 촬영하여 정상 상태를 확인하곤 한다. 거의 대부분의 환자에 있어서 임플란트된 전극들은 정상 위치를 유지하지만, 극히 일부의 환자에서 정상 위치를 이탈한 경우가 발견되므로 의사들은 모든 흉부 X선 영상을 검토해야 한다. 흉부 X선 영상에서 전극들을 발견하는 것도 생각보다 쉽지 않고 그 위치가 정상인지를 판단하는 것도 쉽지 않다. The pacemaker applies electrical signals to the heart through electrodes implanted in the heart to help the heart beat. When the pacemaker is inserted, the electrodes are implanted at the appropriate location in the heart. Since the heart is constantly moving, the electrodes sometimes deviate from the implanted position, which poses a serious risk to the patient. Patients with cardiac pacemakers often visit hospitals regularly to take chest X-rays to check their normal condition. In almost all patients, the implanted electrodes remain in their normal position, but doctors should review all chest X-ray images, as only a few cases have deviated from the normal position. Finding the electrodes on a chest X-ray image is not easier than expected, and it is not easy to judge whether the position is normal.

의사들이 위험하고 단조로운 심장 박동기 영상의 확인 작업을 도와주는 자동화된 방법이 제시된다. 또 속도가 빠르고 신뢰성 있는 심장 박동기 전극의 정상 위치 이탈을 검출하는 방법이 제시된다. An automated method is presented to help doctors identify dangerous and monotonous pacemaker images. In addition, a fast and reliable method of detecting the deviation of the normal position of the pacemaker electrode is presented.

일 양상에 따르면, 입력 영상에서 복수의 전극 영역들 간의 간격인 전극 간격값의 통계적인 분포를 이용하여 비정상 위치(malposition)가 검출된다.According to an aspect, a malposition is detected in an input image using a statistical distribution of electrode spacing values, which are spacings between a plurality of electrode regions.

추가적인 양상에 따르면, 심장 영역 검출은 영상에서 심장 부분을 포함하고 공간적으로 분리된 바운딩 박스들(spatially separated bounding boxes)의 좌표와 그 분류 확률(class probabilities)을 구하는 회귀분석(regression)에 의해 처리 될 수 있다.According to an additional aspect, the detection of the heart region may be processed by regression to obtain the coordinates of the spatially separated bounding boxes and the class probabilities that include the heart part in the image. I can.

추가적인 양상에 따르면, 전극 영역 검출은 영상에서 검출할 객체 부분을 포함하고 공간적으로 분리된 바운딩 박스들(spatially separated bounding boxes)의 좌표와 그 분류 확률(class probabilities)을 구하는 회귀분석(regression)에 의해 처리될 수 있다. According to an additional aspect, the electrode region detection is performed by regression that includes the object part to be detected in the image and obtains the coordinates of spatially separated bounding boxes and their class probabilities. Can be processed.

추가적인 양상에 따르면, 전극이 3개 이상인 경우 구해진 전극 간격값들 중 비정상이 하나라도 있으면 전극 임플란트 상태가 비정상인 것으로 판단할 수 있다.According to an additional aspect, when there are three or more electrodes, if there is at least one abnormality among the obtained electrode gap values, it may be determined that the electrode implant state is abnormal.

제안된 발명에 따라 단조로우면서도 까다로운 심장 박동기 영상의 확인 작업이 신뢰성 있게 자동화될 수 있다. 정상 여부는 정량적으로 표현될 수 있고 의사들은 자동화된 툴의 도움을 받아 수치가 기준을 벗어난 경우, 즉 임플란트가 비정상 위치일 확률이 높은 경우에만 집중하여 영상을 확인함으로써 작업 효율을 높일 수 있다. According to the proposed invention, a monotonous and difficult cardiac pacemaker image verification task can be reliably automated. Whether it is normal or not can be expressed quantitatively, and doctors can improve work efficiency by checking the image only when the numerical value deviates from the standard with the help of an automated tool, that is, when there is a high probability that the implant is in an abnormal position.

도 1은 제안된 발명에 따른 심장 박동기 임플란트 전극 위치의 비정상 검출 방법을 처리하는 컴퓨팅 장치의 예시적인 구성을 도시한 블록도이다.
도 2는 일 실시예에 따른 심장 박동기 임플란트 전극 위치의 비정상 검출 방법의 구성을 도시한 흐름도이다.
도 3은 도 2에서 영상 전처리 단계의 일 실시예의 구성을 도시한 흐름도이다.
도 4는 또 다른 실시예에 따른 심장 박동기 임플란트 전극 위치의 비정상 검출 방법의 구성을 도시한 흐름도이다.
도 5는 제안된 발명의 예시적인 입력 영상을 도시한다.
도 6은 도 5의 입력 영상에서 제안된 발명의 일 실시예를 적용하여 추출한 심장 영역 관심 영상을 도시한다.
도 7은 도 6에 도시된 심장 영역 관심 영상에서 제안된 발명의 일 실시예를 적용하여 검출된 전극 영역들을 도시한다. 1 is a block diagram showing an exemplary configuration of a computing device processing a method for detecting abnormalities in a pacemaker implant electrode position according to the proposed invention.
2 is a flowchart illustrating a configuration of a method for detecting abnormalities in a pacemaker implant electrode position according to an exemplary embodiment.
3 is a flow chart showing the configuration of an embodiment of an image preprocessing step in FIG. 2.
4 is a flowchart illustrating a configuration of a method for detecting abnormalities in a pacemaker implant electrode position according to another exemplary embodiment.
5 shows an exemplary input image of the proposed invention.
6 shows an image of interest in a heart region extracted from the input image of FIG. 5 by applying an embodiment of the present invention.
7 shows electrode regions detected by applying an embodiment of the proposed invention in the image of interest in the heart region shown in FIG. 6.

전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시예들을 통해 구체화된다. 각 실시예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 다양한 조합이 가능한 것으로 이해된다. 이하에서는 이러한 양상들을 첨부된 도면을 참조하여 설명하는 실시예들을 통하여 상세히 설명한다. The above and additional aspects are embodied through embodiments described with reference to the accompanying drawings. It is understood that the constituent elements of each exemplary embodiment may be in various combinations unless otherwise stated or contradictory to each other. Hereinafter, these aspects will be described in detail through embodiments described with reference to the accompanying drawings.

도 1은 제안된 발명에 따른 심장 박동기 임플란트 전극 위치의 비정상 검출 방법을 처리하는 컴퓨팅 장치의 예시적인 구성을 도시한 블록도이다. 제안된 발명의 일 실시예에 따른 방법은 의료 영상을 입력 받아 처리하는 컴퓨팅 장치에서 실행되는 프로그램 명령어들로 적어도 일부가 구현될 수 있다. 이러한 컴퓨팅 장치는 영상 신호를 처리하는 마이크로프로세서, 혹은 디지털 신호 처리 프로세서로 구현될 수 있다. 또 다른 예로, 이러한 컴퓨팅 장치는 영상 신호를 처리하는 마이크로프로세서, 혹은 디지털 신호 처리 프로세서와, 고속으로 하나 혹은 복수의 특정한 알고리즘을 수행하는 전용 하드웨어를 포함하여 설계될 수 있다. 도 1에 도시된 시스템에 있어서, 마이크로프로세서(110)는 메모리(120)에 저장된 프로그램을 실행하여 제안된 발명에 따른 심장 박동기 임플란트 전극 위치의 비정상 검출 방법을 수행한다. 예를 들어 방법을 구성하는 일부의 단계들이 전용의 신경망회로들(170,190)에 의해 처리될 수 있다. 추가적으로 영상 신호 처리를 위한 디지털 신호 처리 프로세서를 더 포함할 수도 있다. 1 is a block diagram showing an exemplary configuration of a computing device processing a method for detecting abnormalities in a pacemaker implant electrode position according to the proposed invention. The method according to an embodiment of the proposed invention may be implemented at least in part by program commands executed in a computing device that receives and processes a medical image. Such a computing device may be implemented as a microprocessor that processes an image signal or a digital signal processing processor. As another example, such a computing device may be designed to include a microprocessor or a digital signal processing processor that processes an image signal, and dedicated hardware that performs one or more specific algorithms at high speed. In the system shown in FIG. 1, the microprocessor 110 executes a program stored in the memory 120 to perform a method for detecting abnormalities in the position of a pacemaker implant electrode according to the proposed invention. For example, some of the steps constituting the method may be processed by dedicated neural network circuits 170 and 190. Additionally, a digital signal processing processor for processing an image signal may be further included.

마이크로프로세서(110)는 통신부(150)를 통해 외부로부터 검토할 의료 영상을 수신할 수 있다. 통신부(150)는 예를 들면 이더넷 카드일 수 있다. 마이크로프로세서는 사용자 인터페이스(130)를 통해 사용자의 지시를 입력 받고, 처리 상태를 표시하며, 처리 결과를 제공한다. 사용자 인터페이스(130)는 키보드나 마우스와 같은 입력 장치들과, 디스플레이를 포함할 수 있다. 메모리(120)는 반도체 메모리 및/또는 하드디스크와 같은 디지털 저장 장치로 구성되며, 프로그램 코드와, 임시 데이터 및 데이터베이스나 통계적인 모델 등이 저장될 수 있다. The microprocessor 110 may receive a medical image to be reviewed from the outside through the communication unit 150. The communication unit 150 may be, for example, an Ethernet card. The microprocessor receives a user's instruction through the user interface 130, displays a processing status, and provides a processing result. The user interface 130 may include input devices such as a keyboard or a mouse, and a display. The memory 120 is composed of a semiconductor memory and/or a digital storage device such as a hard disk, and may store program codes, temporary data, and databases or statistical models.

본 명세서에서 이와 같이 제안된 발명에 따른 심장 박동기 임플란트 전극 위치의 비정상 검출 방법을 실행하는 위의 예시적인 시스템과 같은 정보 처리 장치는 '프로세서'로 지칭된다. An information processing device such as the above exemplary system that executes the method for detecting abnormalities in the position of a pacemaker implant electrode according to the invention thus proposed herein is referred to as a'processor'.

도 2는 일 실시예에 따른 심장 박동기 임플란트 전극 위치의 비정상 검출 방법의 구성을 도시한 흐름도이다. 도시된 바와 같이, 일 실시예에 따른 심장 박동기 임플란트 전극 위치의 비정상 검출 방법은 영상 전처리 단계(210)와, 전극 영역 검출 단계(230)와, 전극 간격값 산출단계(250)와, 그리고 전극 상태 판단 단계(270)를 포함한다. 2 is a flowchart illustrating a configuration of a method for detecting abnormalities in a pacemaker implant electrode position according to an exemplary embodiment. As shown, the abnormal detection method of the position of the pacemaker implant electrode according to an embodiment includes an image preprocessing step 210, an electrode region detection step 230, an electrode gap value calculation step 250, and an electrode state. A decision step 270 is included.

영상 전처리 단계(210)에서 프로세서는 입력 영상을 심장의 크기를 기준으로 정규화한다. 일 실시예에서, 입력 영상에서 심장의 경계 부분에 흔히 관찰되는 특징점들이 검출되고, 이 특징점들을 기준으로 영상에서 심장 영역의 크기를 측정하여 기준 크기가 되도록 입력 영상이 확대되거나 축소될 수 있다. In the image preprocessing step 210, the processor normalizes the input image based on the size of the heart. In an embodiment, feature points commonly observed at the boundary of the heart in the input image are detected, and the input image may be enlarged or reduced to become a reference size by measuring the size of the heart region in the image based on the feature points.

도 3은 도 2에서 영상 전처리 단계의 일 실시예의 구성을 도시한 흐름도이다. 도시된 바와 같이, 일 실시예에 따른 영상 전처리 단계는 심장 영역 검출 단계(211)와, 관심 영상 추출(cropping) 단계(213)와, 그리고 스케일링 단계(215)를 포함할 수 있다. 3 is a flow chart showing the configuration of an embodiment of an image preprocessing step in FIG. 2. As shown, the image pre-processing step according to an embodiment may include a heart region detection step 211, an image of interest extraction step 213, and a scaling step 215.

심장 영역 검출 단계(211)에서 프로세서는 입력 영상에서 심장 영역을 검출한다. 예를 들어 고전적인 영상 인식 알고리즘을 이용하여 심장 영역을 검출할 수도 있다. 추가적인 양상에 따르면, 심장 영역 검출 단계(211)는 신경망 회로(Neural Network Circuit)로 처리될 수 있다. In the heart region detection step 211, the processor detects the heart region from the input image. For example, it is possible to detect the heart region using a classic image recognition algorithm. According to an additional aspect, the heart region detection step 211 may be processed with a neural network circuit.

J. Redmon, S. Divvala, R. Girshick and A. Farhadi : "You Only Look Once: Unified, Real-Time Object Detection," 2016 IEEE Conference on Computer Vision and Pattern Recognition , Las Vegas, NV, 2016, pp. 779-788 (2016) 는 YOLO(You Only Look Once) 로 알려진 신경망 회로 기술을 개시하고 있다. 영상에서 객체(object)를 검출(detection)하는 이 기술은 영상에서 객체를 포함하고 공간적으로 분리된 바운딩 박스들(spatially separated bounding boxes)의 좌표와 그 분류 확률(class probabilities)을 구하는 회귀분석(regression) 처리를 단일의 길쌈 네트워크(single convolution network)으로 처리하여 한번에 객체를 검출한다. 다른 규칙기반 알고리즘(Rule-based Algorithm)이나 R-CNN(Regions with Convolutional Neural Network)과 같은 영상 처리를 위한 인공지능 알고리즘들에 비해 탐지 속도가 빠르고 높은 평균정확도(Mean Accuracy Precision)을 보여준다. J. Redmon, S. Divvala, R. Girshick and A. Farhadi: "You Only Look Once: Unified, Real-Time Object Detection," 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, 2016, pp. 779-788 (2016) discloses a neural network circuit technology known as You Only Look Once (YOLO). This technology, which detects an object in an image, is a regression analysis that calculates the coordinates of spatially separated bounding boxes and their class probabilities that contain the object in the image. ) Processing is performed as a single convolution network to detect objects at once. Compared to other rule-based algorithms or artificial intelligence algorithms for image processing such as R-CNN (Regions with Convolutional Neural Network), the detection speed is faster and shows high mean accuracy precision.

일 실시예에 있어서, 심장 영역 검출 단계(211)는 이러한 YOLO 알고리즘을 채택하여 심장 영역을 검출한다. 발명자가 시도한 구현에서 심장 영역 검출을 위한 YOLO 회로는 200장의 흉부 X선 영상으로 학습되었다. YOLO 회로는 일정한 크기의 영상을 받아들이므로 입력 영상의 스케일링이 필요할 수 있다. 일 실시예에서, 심장 영역 검출 단계(211)는 신경망 회로 계산 단계와 영역 선택 단계를 포함할 수 있다. 신경망 회로 계산 단계에서 YOLO 회로는 영상에서 심장 부분을 포함하고 공간적으로 분리된 바운딩 박스들(spatially separated bounding boxes)의 좌표와 그 분류 확률(class probabilities)을 구하는 회귀분석(regression) 처리를 수행한다. 영역 선택 단계에서, YOLO 회로 혹은 프로세서는 각 바운딩 박스의 분류 확률로부터 바운딩 박스를 선택하여 검출된 심장 영역으로 출력한다. 예를 들어 가장 분류 확률이 높은 바운딩 박스가 심장 영역으로 선택되어 출력될 수 있다. In one embodiment, the heart region detection step 211 employs this YOLO algorithm to detect the heart region. In the implementation attempted by the inventor, the YOLO circuit for heart region detection was trained with 200 chest X-ray images. The YOLO circuit accepts an image of a certain size, so scaling of the input image may be required. In one embodiment, the heart region detection step 211 may include a neural network circuit calculation step and a region selection step. In the step of calculating the neural network circuit, the YOLO circuit performs regression processing to obtain the coordinates of spatially separated bounding boxes and their class probabilities including the heart part in the image. In the region selection step, the YOLO circuit or processor selects a bounding box from the classification probability of each bounding box and outputs it to the detected heart region. For example, the bounding box with the highest classification probability may be selected as the heart region and output.

관심 영상 추출(cropping) 단계(213)에서 프로세서는 심장 영역을 포함하는 기준 크기의 영상인 심장 영역 관심 영상을 추출한다. 전극이 심장에서 좀 떨어진 위치에 있을 수 있으므로, 심장 영역을 포함하면서 확장된 영역이 추출된다. 이후에 스케일링 단계(215)에서 프로세서는 검출된 심장 영역의 크기에 따라 결정된 배율로 추출된 영상을 확대 혹은 축소한다. 이에 따라 심장 영역 관심 영상은 이후의 처리에 적합한 해상도 내지 크기로 변환될 수 있다. In the cropping step 213 of the image of interest, the processor extracts the image of interest of the heart region, which is an image of a reference size including the heart region. Since the electrode may be located a little further from the heart, an expanded area including the heart area is extracted. Thereafter, in the scaling step 215, the processor enlarges or reduces the extracted image at a magnification determined according to the size of the detected heart region. Accordingly, the image of interest in the heart region may be converted to a resolution or size suitable for subsequent processing.

도 5는 입력 영상을 예시한다. 기판처럼 보이는 심장 박동기와, 그 심장 박동기에서 흰색으로 보이는 선으로 연결된 전극들과, 그리고 좌측 갈비뼈 아래쪽에 심장을 확인할 수 있다. 도 6은 도 5의 입력 영상에서 제안된 발명의 일 실시예를 적용하여 추출한 심장 영역 관심 영상을 도시한다. 5 illustrates an input image. You can see a pacemaker that looks like a board, electrodes connected with a white line on the pacemaker, and a heart under the left rib. 6 shows an image of interest in a heart region extracted from the input image of FIG. 5 by applying an embodiment of the present invention.

다시 도 2로 돌아가서, 전극 영역 검출 단계(230)에서 프로세서는 심장에 부착된 심장 박동기의 복수의 전극을 검출한다. 예를 들어 고전적인 영상 인식 알고리즘을 이용하여 심장 영역을 검출할 수도 있다. 추가적인 양상에 따르면, 전극 영역 검출 단계(230)는 신경망 회로(Neural Network Circuit)로 처리될 수 있다. 일 실시예에 있어서, 전극 영역 검출 단계(230)는 전술한 YOLO 알고리즘을 채택하여 심장 영역을 검출한다. 발명자가 시도한 구현에서 심장 영역 검출을 위한 YOLO 회로는 2개의 전극들이 적절히 노출된 486장의 흉부 X선 영상으로 학습되었다. YOLO 회로는 일정한 크기의 영상을 받아들이므로 입력 영상의 스케일링이 필요할 수 있다. Returning to FIG. 2, in the electrode region detection step 230, the processor detects a plurality of electrodes of the pacemaker attached to the heart. For example, it is possible to detect the heart region using a classic image recognition algorithm. According to an additional aspect, the electrode region detection step 230 may be processed with a neural network circuit. In one embodiment, the electrode region detection step 230 employs the above-described YOLO algorithm to detect the heart region. In the implementation attempted by the inventor, the YOLO circuit for heart region detection was trained with 486 chest X-ray images in which two electrodes were properly exposed. The YOLO circuit accepts an image of a certain size, so scaling of the input image may be required.

일 실시예에서, 전극 영역 검출 단계(230)는 신경망 회로 계산 단계와 영역 선택 단계를 포함할 수 있다. 신경망 회로 계산 단계에서 YOLO 회로는 영상에서 검출할 전극 부분을 포함하고 공간적으로 분리된 바운딩 박스들(spatially separated bounding boxes)의 좌표와 그 분류 확률(class probabilities)을 구하는 회귀분석(regression) 처리를 수행한다. 영역 선택 단계에서, YOLO 회로 혹은 프로세서는 각 바운딩 박스의 분류 확률로부터 바운딩 박스를 선택하여 검출된 전극 영역들로 출력한다. 예를 들어 가장 분류 확률이 높은 2개의 바운딩 박스가 전극 영역들로 선택되어 출력될 수 있다. 도 7은 도 6에 도시된 심장 영역 관심 영상에서 제안된 발명의 일 실시예를 적용하여 검출된 전극 영역들을 도시한다. In an embodiment, the electrode region detection step 230 may include a neural network circuit calculation step and a region selection step. In the neural network circuit calculation step, the YOLO circuit performs regression processing to obtain the coordinates of spatially separated bounding boxes and their class probabilities including the electrode part to be detected in the image. do. In the region selection step, the YOLO circuit or processor selects a bounding box from the classification probability of each bounding box and outputs the detected electrode regions. For example, two bounding boxes having the highest classification probability may be selected as electrode regions and output. 7 shows electrode regions detected by applying an embodiment of the proposed invention in the image of interest in the heart region shown in FIG. 6.

다시 도 2로 돌아가서, 전극 간격값 산출단계(250)에서 프로세서는 복수의 전극 영역들 간의 간격인 전극 간격값을 구한다. 일 실시예에서 전극 간격값은 단순히 두 전극간의 거리일 수 있다. Returning to FIG. 2, in the electrode spacing value calculation step 250, the processor obtains an electrode spacing value, which is the spacing between the plurality of electrode regions. In one embodiment, the electrode gap value may simply be a distance between two electrodes.

전극 상태 판단 단계(270)에서 프로세서는 사전에 준비된 정상 배치 전극 쌍의 전극 간격값의 통계적인 분포를 기초로 전극 간격값의 정상/비정상을 판단한다. 추가적인 양상에 따르면, 상기 전극 상태 판단 단계(270)에서 프로세서는 전극 간격값의 통계적인 분포에서, 구해진 전극 간격값이 평균을 벗어난 정도를 기준값과 비교하여 전극 간격값의 정상/비정상을 판단할 수 있다. 출원인은 DICOM(Digital Imaging and Communications in Medicine) 포맷의 486장의 흉부 X선 영상에서 픽실간의 피치를 0.14mm 로 환산하여 측정한 결과 전극 간격값의 평균이 89.38mm, 표준편차 12.34mm 인 정규 분포에 가까운 분포임을 확인하였다. 임플란트 상태의 정상/비정상 판단의 기준값으로 3σ 를 선택하였고, 이에 따라 3장의 전극 사진에서 비정상을 검출하였다. In the electrode state determination step 270, the processor determines the normal/abnormal of the electrode spacing values based on the statistical distribution of the electrode spacing values of the normally arranged electrode pairs prepared in advance. According to an additional aspect, in the electrode state determination step 270, the processor may determine the normal/abnormality of the electrode spacing value by comparing the degree to which the obtained electrode spacing value deviates from the average from the statistical distribution of the electrode spacing value. have. Applicants measured 486 chest X-ray images in DICOM (Digital Imaging and Communications in Medicine) format by converting the pitch between the pixils to 0.14mm, and as a result, the average of electrode spacing values was 89.38mm and standard deviation 12.34mm, which is close to the normal distribution. It was confirmed that it was a distribution. 3σ was selected as a reference value for determining the normal/abnormal state of the implant, and accordingly, abnormalities were detected in the three electrode photographs.

도 4는 또 다른 실시예에 따른 심장 박동기 임플란트 전극 위치의 비정상 검출 방법의 구성을 도시한 흐름도이다. 도 2와 대응되는 유사한 단계는 동일한 도면 부호로 참조된다. 도시된 실시예는 3개 이상의 전극을 가진 심장 박동기에 적용될 수 있다. 영상 전처리 단계(210)는 도 2의 실시예의 대응되는 단계와 유사하다. 전극 영역 검출 단계(230)는 검출되는 전극 영역이 3개 이상이라는 점을 제외하고는 도 2의 실시예의 대응되는 단계와 유사하다. 전극 간격값 산출 단계(250)는 산출되는 전극 간격값이 복수개라는 점을 제외하고는 도 2의 실시예의 대응되는 단계와 유사하다. 전극 영역이 n 개라면, 전극 간격값은 nC2 개가 된다. 전극 상태 판단 단계(270)도 판단해야할 전극 간격값이 복수개라는 점을 제외하고는 도 2의 실시예의 대응되는 단계와 유사하다. 이들은 도 2의 실시예의 대응되는 단계와 유사하므로 상세한 설명은 생략한다. 임플란트 상태 판단 단계(290)에서 프로세서는 전극 간격값들 중 비정상이 하나라도 있으면 전극 임플란트 상태를 비정상으로 판단한다. 4 is a flowchart illustrating a configuration of a method for detecting abnormalities in a pacemaker implant electrode position according to another exemplary embodiment. Similar steps corresponding to FIG. 2 are referred to by the same reference numerals. The illustrated embodiment can be applied to a pacemaker having three or more electrodes. The image preprocessing step 210 is similar to the corresponding step in the embodiment of FIG. 2. The electrode region detection step 230 is similar to the corresponding step of the embodiment of FIG. 2 except that three or more electrode regions are detected. The electrode spacing value calculating step 250 is similar to the corresponding step of the embodiment of FIG. 2 except that a plurality of calculated electrode spacing values are used. If there are n electrode regions, the electrode spacing value is n C 2 . The electrode state determination step 270 is also similar to the corresponding step of the embodiment of FIG. 2 except that there are a plurality of electrode spacing values to be determined. These are similar to the corresponding steps in the embodiment of FIG. 2, so detailed descriptions are omitted. In step 290 of determining the implant state, the processor determines the electrode implant state as abnormal if any of the electrode gap values are abnormal.

이상에서 본 발명을 첨부된 도면을 참조하는 실시예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형예들을 포괄하도록 의도되었다. In the above, the present invention has been described through embodiments with reference to the accompanying drawings, but the present invention is not limited thereto, and it should be interpreted to cover various modifications that can be apparently derived from those skilled in the art. The claims are intended to cover these variations.

110 : 마이크로프로세서 120 : 메모리
130 : 사용자 인터페이스 150 : 통신부
170, 190 : 신경망회로 110: microprocessor 120: memory
130: user interface 150: communication unit
170, 190: neural network circuit

Claims (12)

의료 영상을 입력 받아 처리하는 컴퓨팅 장치에서 실행되는 프로그램 명령어들로 적어도 일부가 구현되는 심장 박동기 임플란트 전극 위치의 비정상 검출 방법에 있어서,
입력 영상을 심장의 크기를 기준으로 정규화하는 영상 전처리 단계;
심장에 부착된 심장 박동기의 복수의 전극의 영역을 검출하는 전극 영역 검출 단계;
복수의 전극 영역들 간의 간격을 구하는 전극 간격값 산출단계;
사전에 준비된 정상 배치 전극 쌍의 전극 간격값의 통계적인 분포를 기초로 전극 간격값의 정상/비정상을 판단하는 전극 상태 판단 단계;
를 포함하는 심장 박동기 임플란트 전극 위치의 비정상 검출 방법. In the method for detecting abnormalities of a pacemaker implant electrode position, at least partially implemented as program instructions executed in a computing device that receives and processes a medical image,
An image preprocessing step of normalizing the input image based on the size of the heart;
An electrode region detection step of detecting regions of a plurality of electrodes of a pacemaker attached to the heart;
An electrode spacing value calculating step of obtaining a spacing between a plurality of electrode regions;
An electrode state determination step of determining a normal/abnormal electrode spacing value based on a statistical distribution of the electrode spacing values of the normally arranged electrode pairs prepared in advance;
Abnormal detection method of a pacemaker implant electrode position comprising a. 청구항 1에 있어서, 상기 영상 전처리 단계는 :
입력 영상에서 심장 영역을 검출하는 심장 영역 검출 단계;
심장 영역을 포함하는 기준 크기의 영상인 심장 영역 관심 영상을 추출하는 관심 영상 추출(cropping) 단계;
검출된 심장 영역의 크기에 따라 결정된 배율로 추출된 영상을 확대 혹은 축소하는 스케일링(scaling) 단계;
를 포함하는 심장 박동기 임플란트 전극 위치의 비정상 검출 방법.The method according to claim 1, wherein the image pre-processing step:
A heart region detection step of detecting a heart region from the input image;
A cropping step of extracting an image of interest in a heart region, which is an image of a reference size including a heart region;
A scaling step of expanding or reducing the extracted image at a magnification determined according to the size of the detected heart region;
Abnormal detection method of a pacemaker implant electrode position comprising a. 청구항 2에 있어서, 심장 영역 검출 단계는
영상에서 심장 부분을 포함하고 공간적으로 분리된 바운딩 박스들(spatially separated bounding boxes)의 좌표와 그 분류 확률(class probabilities)을 구하는 회귀분석(regression) 처리를 신경망 회로(Neural Network Circuit)로 계산하는 신경망 회로 계산 단계와;
각 바운딩 박스의 분류 확률로부터 바운딩 박스를 선택하여 검출된 심장 영역으로 출력하는 영역 선택 단계;
를 포함하는 심장 박동기 임플란트 전극 위치의 비정상 검출 방법.The method of claim 2, wherein the step of detecting the heart region
A neural network that calculates the coordinates of the spatially separated bounding boxes and the class probabilities of the image containing the heart part with a neural network circuit. A circuit calculation step;
A region selection step of selecting a bounding box from the classification probability of each bounding box and outputting it as a detected heart region;
Abnormal detection method of a pacemaker implant electrode position comprising a. 청구항 1에 있어서, 전극 영역 검출 단계는 :
영상에서 검출할 전극 부분을 포함하고 공간적으로 분리된 바운딩 박스들(spatially separated bounding boxes)의 좌표와 그 분류 확률(class probabilities)을 구하는 회귀분석(regression) 처리를 신경망 회로(Neural Network Circuit)로 계산하는 신경망 회로 계산 단계와;
각 바운딩 박스의 분류 확률로부터 바운딩 박스를 선택하여 검출된 전극 영역들로 출력하는 영역 선택 단계;
를 포함하는 심장 박동기 임플란트 전극 위치의 비정상 검출 방법.The method according to claim 1, wherein the electrode region detection step:
Computes the coordinates of spatially separated bounding boxes including the electrode part to be detected in the image and the regression processing to obtain the class probabilities with a neural network circuit Calculating a neural network circuit;
A region selection step of selecting a bounding box from the classification probability of each bounding box and outputting the detected electrode regions;
Abnormal detection method of a pacemaker implant electrode position comprising a. 청구항 1에 있어서, 상기 전극 상태 판단 단계가 :
전극 간격값의 통계적인 분포에서, 구해진 전극 간격값이 평균을 벗어난 정도를 기준값과 비교하여 전극 간격값의 정상/비정상을 판단하는 심장 박동기 임플란트 전극 위치의 비정상 검출 방법.The method according to claim 1, wherein the electrode state determination step:
In the statistical distribution of electrode spacing values, a method for detecting abnormalities in the position of a pacemaker implant electrode by comparing the degree to which the obtained electrode spacing value deviates from the average with a reference value to determine the normal/abnormal electrode spacing value. 청구항 1에 있어서, 전극이 3개이상이고, 상기 방법이 :
전극 간격값들 중 비정상이 하나라도 있으면 전극 임플란트 상태를 비정상으로 판단하는 임플란트 상태 판단 단계;
를 더 포함하는 심장 박동기 임플란트 전극 위치의 비정상 검출 방법.The method according to claim 1, wherein there are three or more electrodes, and the method comprises:
An implant state determination step of determining an electrode implant state as abnormal if at least one of the electrode gap values is abnormal;
An abnormal detection method of a pacemaker implant electrode position further comprising a. 프로그램이 저장된 메모리와;
사용자 인터페이스 장치와;
사용자 인터페이스 장치로부터의 조작에 응답하여, 입력되는 의료 영상을 상기 프로그램을 실행하여 처리하여 심장 박동기 임플란트 전극 위치의 비정상 여부를 판별하고 그 결과를 사용자 인터페이스 장치로 출력하는 컴퓨팅 장치에 있어서, 상기 프로그램이 :
입력 영상을 심장의 크기를 기준으로 정규화하는 영상 전처리 명령어 세트;
심장에 부착된 심장 박동기의 복수의 전극의 영역을 검출하는 전극 영역 검출 명령어 세트;
복수의 전극 영역들 간의 간격을 구하는 전극 간격값 산출 명령어 세트;
사전에 준비된 정상 배치 전극 쌍의 전극 간격값의 통계적인 분포를 기초로 전극 간격값의 정상/비정상을 판단하는 전극 상태 판단 명령어 세트;
를 포함하는 컴퓨팅 장치. A memory in which a program is stored;
A user interface device;
In response to an operation from a user interface device, an input medical image is processed by executing the program to determine whether a pacemaker implant electrode position is abnormal, and output the result to a user interface device, wherein the program is :
An image preprocessing instruction set for normalizing the input image based on the size of the heart;
An electrode region detection instruction set for detecting regions of a plurality of electrodes of a pacemaker attached to the heart;
An electrode spacing value calculation instruction set for obtaining a spacing between a plurality of electrode regions;
An electrode state determination instruction set for determining a normal/abnormal electrode spacing value based on a statistical distribution of electrode spacing values of a previously prepared normal arrangement electrode pair;
Computing device comprising a. 청구항 7에 있어서, 상기 영상 전처리 명령어 세트는 :
입력 영상에서 심장 영역을 검출하는 심장 영역 검출 명령어 세트;
심장 영역을 포함하는 기준 크기의 영상인 심장 영역 관심 영상을 추출하는 관심 영상 추출(cropping) 명령어 세트;
검출된 심장 영역의 크기에 따라 결정된 배율로 추출된 영상을 확대 혹은 축소하는 스케일링(scaling) 명령어 세트;
를 포함하는 컴퓨팅 장치.The method of claim 7, wherein the image pre-processing instruction set:
A cardiac region detection instruction set for detecting a cardiac region in the input image;
A cropping instruction set for extracting an image of interest in a heart region, which is an image of a reference size including a heart region;
A scaling instruction set for expanding or reducing the extracted image at a magnification determined according to the size of the detected heart region;
Computing device comprising a. 청구항 8에 있어서, 심장 영역 검출 명령어 세트는
영상에서 심장 부분을 포함하고 공간적으로 분리된 바운딩 박스들(spatially separated bounding boxes)의 좌표와 그 분류 확률(class probabilities)을 구하는 회귀분석(regression) 처리를 신경망 회로(Neural Network Circuit)로 계산하는 신경망 회로 계산 명령어 세트와;
각 바운딩 박스의 분류 확률로부터 바운딩 박스를 선택하여 검출된 심장 영역으로 출력하는 영역 선택 명령어 세트;
를 포함하는 컴퓨팅 장치.The method of claim 8, wherein the cardiac region detection instruction set
A neural network that calculates the coordinates of the spatially separated bounding boxes and the class probabilities of the image including the heart part with a neural network circuit. A circuit calculation instruction set;
A region selection instruction set for selecting a bounding box from the classification probability of each bounding box and outputting it to the detected heart region;
Computing device comprising a. 청구항 7에 있어서, 전극 영역 검출 명령어 세트는 :
영상에서 검출할 전극 부분을 포함하고 공간적으로 분리된 바운딩 박스들(spatially separated bounding boxes)의 좌표와 그 분류 확률(class probabilities)을 구하는 회귀분석(regression) 처리를 신경망 회로(Neural Network Circuit)로 계산하는 신경망 회로 계산 명령어 세트와;
각 바운딩 박스의 분류 확률로부터 바운딩 박스를 선택하여 검출된 전극 영역들로 출력하는 영역 선택 명령어 세트;
를 포함하는 컴퓨팅 장치.The method of claim 7, wherein the electrode region detection instruction set:
Computes the coordinates of spatially separated bounding boxes including the electrode part to be detected in the image and the regression processing to obtain the class probabilities with a neural network circuit A neural network circuit calculation instruction set;
A region selection instruction set for selecting a bounding box from the classification probability of each bounding box and outputting the detected electrode regions;
Computing device comprising a. 청구항 7에 있어서, 상기 전극 상태 판단 명령어 세트가 :
전극 간격값의 통계적인 분포에서, 구해진 전극 간격값이 평균을 벗어난 정도를 기준값과 비교하여 전극 간격값의 정상/비정상을 판단하는 컴퓨팅 장치.The method of claim 7, wherein the electrode state determination instruction set:
A computing device for determining a normal/abnormal electrode spacing value by comparing a degree of the obtained electrode spacing value out of an average from a statistical distribution of electrode spacing values with a reference value. 청구항 7에 있어서, 전극이 3개이상이고, 상기 장치가 :
전극 간격값들 중 비정상이 하나라도 있으면 전극 임플란트 상태를 비정상으로 판단하는 임플란트 상태 판단 명령어 세트;
를 더 포함하는 컴퓨팅 장치.

The method of claim 7, wherein there are three or more electrodes, and the device comprises:
An implant state determination instruction set for determining an electrode implant state as abnormal if at least one of the electrode gap values is abnormal;
Computing device further comprising.
KR1020190093152A 2019-07-31 2019-07-31 Apparatus and Method for Detecting Malposition of Implanted leads of Pacemaker KR102215392B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190093152A KR102215392B1 (en) 2019-07-31 2019-07-31 Apparatus and Method for Detecting Malposition of Implanted leads of Pacemaker

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190093152A KR102215392B1 (en) 2019-07-31 2019-07-31 Apparatus and Method for Detecting Malposition of Implanted leads of Pacemaker

Publications (1)

Publication Number Publication Date
KR102215392B1 true KR102215392B1 (en) 2021-02-10

Family

ID=74560748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190093152A KR102215392B1 (en) 2019-07-31 2019-07-31 Apparatus and Method for Detecting Malposition of Implanted leads of Pacemaker

Country Status (1)

Country Link
KR (1) KR102215392B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1094529A (en) * 1996-09-12 1998-04-14 Siemens Elema Ab Medical system
US20020087089A1 (en) * 1996-01-08 2002-07-04 Shlomo Ben-Haim Method of pacing a heart using implantable device
JP2006511249A (en) * 2002-06-19 2006-04-06 メディノヴァ エスエフ Intubation monitoring device and method
JP2008515493A (en) * 2004-10-05 2008-05-15 クオーレテック プロプライエタリー リミテッド Method and apparatus for cardiac analysis
JP2016508767A (en) * 2013-01-22 2016-03-24 デューク ユニバーシティ System and method for optimizing cardiac resynchronization therapy (CRT)

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087089A1 (en) * 1996-01-08 2002-07-04 Shlomo Ben-Haim Method of pacing a heart using implantable device
JPH1094529A (en) * 1996-09-12 1998-04-14 Siemens Elema Ab Medical system
JP2006511249A (en) * 2002-06-19 2006-04-06 メディノヴァ エスエフ Intubation monitoring device and method
JP2008515493A (en) * 2004-10-05 2008-05-15 クオーレテック プロプライエタリー リミテッド Method and apparatus for cardiac analysis
JP2016508767A (en) * 2013-01-22 2016-03-24 デューク ユニバーシティ System and method for optimizing cardiac resynchronization therapy (CRT)

Similar Documents

Publication Publication Date Title
CN111083922B (en) Dental image analysis method for correction diagnosis and apparatus using the same
US11151721B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
US9480439B2 (en) Segmentation and fracture detection in CT images
JP2021536057A (en) Lesion detection and positioning methods, devices, devices, and storage media for medical images
CN109124662B (en) Rib center line detection device and method
JP6607364B2 (en) Prediction system
US20200334801A1 (en) Learning device, inspection system, learning method, inspection method, and program
WO2004008964A1 (en) Method, code, and system for assaying joint deformity
US20190392552A1 (en) Spine image registration method
WO2020067005A1 (en) Automatic recognition method for measurement point in cephalo image
US11475568B2 (en) Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus
US20230377149A1 (en) Learning apparatus, learning method, trained model, and program
KR102215392B1 (en) Apparatus and Method for Detecting Malposition of Implanted leads of Pacemaker
CN105551042A (en) Determination method and apparatus for mark point positions of scanning bed
WO2011065414A1 (en) Image processing method, image processing apparatus and program
JP2013015891A (en) Image processing apparatus, image processing method, and program
KR101991452B1 (en) Method for detecting nipple location, method for displaying breast image and apparatus for detecting nipple location
KR102545906B1 (en) Data processing method using a learning model
JP2005198887A (en) Method, apparatus and program for detecting anatomical structure, structure removal picture generation apparatus, and abnormal shadow detector
JP2001094829A (en) Image processor, system and method for processing image and storage medium
King et al. Automatic cephalometric landmark detection on X-ray images using object detection
CN113160199A (en) Image recognition method and device, computer equipment and storage medium
JP5734249B2 (en) Image processing apparatus, X-ray imaging apparatus, image processing system, image processing method, and storage medium
Torres-Robles et al. A robust neuro-fuzzy classifier for the detection of cardiomegaly in digital chest radiographies
US20230245442A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant