KR102605501B1 - Spondylolisthesis diagnosis apparatus based on artificial neural network and information providing method therefor - Google Patents

Spondylolisthesis diagnosis apparatus based on artificial neural network and information providing method therefor Download PDF

Info

Publication number
KR102605501B1
KR102605501B1 KR1020220158557A KR20220158557A KR102605501B1 KR 102605501 B1 KR102605501 B1 KR 102605501B1 KR 1020220158557 A KR1020220158557 A KR 1020220158557A KR 20220158557 A KR20220158557 A KR 20220158557A KR 102605501 B1 KR102605501 B1 KR 102605501B1
Authority
KR
South Korea
Prior art keywords
spondylolisthesis
feature point
vertebral body
information
neural network
Prior art date
Application number
KR1020220158557A
Other languages
Korean (ko)
Inventor
이유림
양동모
김범채
김호
장일태
Original Assignee
주식회사 바스젠바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 바스젠바이오 filed Critical 주식회사 바스젠바이오
Priority to KR1020220158557A priority Critical patent/KR102605501B1/en
Application granted granted Critical
Publication of KR102605501B1 publication Critical patent/KR102605501B1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 X-ray 이미지를 분석하여 척추체를 추출하며, 추출된 척추체를 식별하여 생성한 추체 구조 정보를 인공 신경망 기반의 척추 전방전위증 진단 모델에 입력하여 각 추체 구조에 따른 타겟 거리를 측정하고, 타겟 거리를 이용하여 척추 전방전위증 여부를 판단하는 인공신경망 기반의 척추 전방위증 진단 기술에 대한 것으로, 인공 신경망 기반의 척추 전방전위증 진단 기술에 의하면 측정 수치를 자동화하고 이를 시각화 함으로써 의료진의 영상 판독에 대한 부담을 줄이고 신속한 진단 프로세스를 지원함으로 써 의료진의 업무 효율을 향상시킬 수 있는 효과를 제공할 수 있다.The present invention extracts vertebral bodies by analyzing This is about an artificial neural network-based spondylolisthesis diagnosis technology that determines spondylolisthesis using the target distance. According to the artificial neural network-based spondylolisthesis diagnosis technology, the measurement values are automated and visualized to improve image interpretation by medical staff. By reducing the burden and supporting a rapid diagnosis process, it can provide the effect of improving the work efficiency of medical staff.

Description

인공신경망 기반의 척추 전방위증 진단 장치 및 그 정보 제공 방법{ Spondylolisthesis diagnosis apparatus based on artificial neural network and information providing method therefor}Spondylolisthesis diagnosis apparatus based on artificial neural network and information providing method therefor}

본 발명은 인공신경망 기반의 척추 전방위증 진단 기술에 대한 것으로, 더욱 자세하게는 X-ray 이미지를 분석하여 척추체를 추출하며, 추출된 척추체를 식별하여 생성한 추체 구조 정보를 인공 신경망 기반의 척추 전방전위증 진단 모델에 입력하여 각 추체 구조에 따른 타겟 거리를 측정하고, 타겟 거리를 이용하여 척추 전방전위증 여부를 판단하는 인공신경망 기반의 척추 전방위증 진단 장치 및 그 정보 제공 방법을 제공하는데 그 목적이 있다.The present invention relates to an artificial neural network-based spondylolisthesis diagnosis technology. More specifically, the vertebral body is extracted by analyzing an The purpose is to provide a spondylolisthesis diagnosis device based on an artificial neural network that measures the target distance according to each vertebral body structure by inputting it into a diagnostic model and determines whether or not spondylolisthesis is present using the target distance, and a method of providing the information.

현재 병원에서 저비용 고효율로 진단이 가능한 것은 일명 X-ray라 불리우는 일반 방사성 촬영에 의해서이다.Currently, low-cost and highly efficient diagnosis in hospitals is possible through general radiography, also called X-ray.

MRI나 CT 등과 같이 고비용의 영상 검사 없이 x-ray상에서 확인할 수 있는 질병 중 하나가 척추 전방전위증이며, 이러한 척추 전방위증은 점차 고령화사회에 진입하는 상황에 있어 그 진단수가 점점 늘어나고 있다.One of the diseases that can be confirmed on x-ray without expensive imaging tests such as MRI or CT is spondylolisthesis, and the number of spondylolisthesis diagnoses is increasing as we enter an aging society.

그러나 척추 전방전위증을 판단하기 위해 종래에는 내원하는 환자를 촬영한 X-ray이미지를 활용하며, 각 의사가 임상적으로 재량 것 판단해 왔으나 의사 개개인에 따라 다양한 임상적 지표를 복합적으로 고려하여야 하므로 경험이 많은 척추 전문의만이 판단을 할 수 있으나 그 수는 절대적으로 부족한 한계가 존재하였다.However, in order to determine spondylolisthesis, conventionally, Only these many spine specialists could make the decision, but there was a limit to the number, which was absolutely insufficient.

또한 척추 전방전위증의 경우 고령층 대상의 퇴행성 증상임에도 불구하고 진단 및 수치를 자동으로 측정하는 인공지능 소프트웨어가 거의 존재하지 아니하는 문제점이 존재한다.In addition, in the case of spondylolisthesis, although it is a degenerative symptom for the elderly, there is a problem in that there is almost no artificial intelligence software that automatically diagnoses and measures values.

본 발명을 통해 척추 전문의가 아닌 사용자도 환자의 X-ray 이미지 만으로 척추 전방전위증에 대한 상태를 판단할 수 있는 인공 신경망 기반의 척추 전방전위증 진단 기술을 제공하는데 그 목적이 있다.The purpose of the present invention is to provide an artificial neural network-based spondylolisthesis diagnosis technology that allows users who are not spine specialists to determine the status of spondylolisthesis using only the patient's X-ray image.

본 발명의 일 실시예에 따르면 인공신경망 기반의 척추 전방위증 진단 장치 는 X-ray 이미지를 특징점 추출모델에 입력하여 관심 영역을 포함한 특징점 맵을 출력 받고, 상기 관심 영역을 포함한 특징점 맵을 구조물 검출 모델에 입력하여 척추체를 추출 및 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링한 추체 구조 정보를 생성하는 추체 구조 식별부; 및 상기 추체 구조 정보를 척추 전방전위증 진단 모델에 입력하여 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 측정하고, 측정한 거리에 따라 등급을 판정해 척추 전방전위증 여부를 진단하는 전방전위증 진단부를 포함할 수 있다.According to one embodiment of the present invention, an artificial neural network-based spondylolisthesis diagnosis device inputs an a vertebral body structure identification unit that extracts the vertebral body by inputting it into the vertebral body, identifies the extracted vertebral body, and generates vertebral body structure information by labeling the generated identification information on a feature point map; And the vertebral body structure information is input into the spondylolisthesis diagnostic model to measure the distance between the basal surface of the lower lumbar vertebra or first sacral vertebra and the posterosuperior edge of the upper vertebral body, and a grade is determined according to the measured distance to determine whether spondylolisthesis is present. It may include a diagnostic unit for diagnosing anteversion.

본 발명의 일 실시예에 따르면 추체 구조 식별부는, 상기 특징점 추출모델이 특징점 맵 생성 모듈, 관심 영역 설정 모듈을 포함할 수 있다.According to one embodiment of the present invention, the vertebrate structure identification unit may include the feature point extraction model including a feature point map generation module and a region-of-interest setting module.

본 발명의 일 실시예에 따르면 추체 구조 식별부는, 상기 구조물 검출 모델이 척추체 추출 모듈, 척추체 식별 모듈을 포함할 수 있다.According to one embodiment of the present invention, the structure detection model may include a vertebral body extraction module and a vertebral body identification module.

본 발명의 일 실시예에 따르면 추체 구조 식별부는, 상기 X-ray 이미지를 상기 특징점 맵 생성 모듈에 입력하여 복수의 특징점 및 특징점 맵을 출력 받고, 출력된 상기 특징점 맵을 관심 영역 설정 모듈에 입력하여 상기 특징점 맵 중 객체가 존재할 확률이 높고 중복이 제거된 관심 영역을 출력 받는 특징점 추출부를 더 포함할 수 있다.According to one embodiment of the present invention, the vertebral body structure identification unit inputs the It may further include a feature point extraction unit that outputs a region of interest from the feature point map in which there is a high probability that an object exists and from which duplicates have been removed.

본 발명의 일 실시예에 따르면 추체 구조 식별부는, 상기 척추체 추출 모듈이 관심 영역을 포함한 특징점 맵을 입력 받아 관심영역의 픽셀마다 바이너리 마스크 여부를 판단하기 위해 마스킹을 수행하여 분할된 복수의 특징점 맵을 출력하는 구조물 검출부를 더 포함할 수 있다.According to one embodiment of the present invention, the vertebral body structure identification unit receives a feature point map including the region of interest from the vertebral body extraction module, performs masking to determine whether each pixel of the region of interest is a binary mask, and generates a plurality of segmented feature point maps. It may further include a structure detection unit that outputs output.

본 발명의 일 실시예에 따르면 구조물 검출부는, 상기 척추체 식별 모듈이 분할된 복수의 특징점 맵을 각각 입력 받아 각 특징점 맵에 포함된 척추체를 식별한 척추체 식별정보를 출력하고, 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링하여 추체 구조 정보를 생성할 수 있다.According to one embodiment of the present invention, the structure detection unit receives a plurality of feature point maps into which the vertebral body identification module is divided, outputs vertebral body identification information identifying the vertebral body included in each feature point map, and identifies the extracted vertebral body. Cone structure information can be generated by labeling the generated identification information on the feature point map.

본 발명의 일 실시예에 따르면 구조물 검출부는, 상기 척추체 추출 모듈은 관심 영역을 포함한 특징점 맵을 입력 받아 개로 분할된 특징점 맵을 출력할 수 있다.According to one embodiment of the present invention, the structure detection unit, the vertebral body extraction module receives a feature point map including a region of interest and A feature point map divided into two can be output.

본 발명의 일 실시예에 따르면 구조물 검출부는, 추출된 척추체를 식별하여 복수의 특징점 맵에 라벨링하기 위하여 완전 연결층을 이용하여 가중치를 적용하고, 상기 라벨링의 정확도 상승을 위하여 소프트맥스 분류자(softmax classifier)를 사용할 수 있다.According to one embodiment of the present invention, the structure detection unit applies weights using a fully connected layer to identify the extracted vertebral body and label it in a plurality of feature point maps, and uses a softmax classifier (softmax) to increase the accuracy of the labeling. classifier) can be used.

본 발명의 일 실시예에 따르면 구조물 검출부는, 상기 완전 연결층을 이용하여 시각 정보가 포함된 상기 복수의 특징점 맵을 일렬로 정렬하여 각 특징점 맵에 라벨링 될 객체가 속할 확률을 벡터 형태로 출력한 결과, 가장 높은 확률로 출력된 객체를 각 특징점 맵에 포함된 객체로 분류하고, 분류된 상기 객체와 상기 척추체 식별 모듈의 출력 정보의 차이가 최소화되도록 척추체 식별 모듈의 가중치를 수정하여 학습할 수 있다.According to one embodiment of the present invention, the structure detection unit aligns the plurality of feature point maps containing visual information using the fully connected layer, and outputs the probability that an object to be labeled belongs to each feature point map in the form of a vector. As a result, the object output with the highest probability is classified as an object included in each feature point map, and the weight of the vertebral body identification module can be modified and learned so that the difference between the classified object and the output information of the vertebral body identification module is minimized. .

본 발명의 일 실시예에 따르면 상기 전방전위증 진단부는, 상기 척추 전방전위증 진단 모델이 타겟 거리 측정 모듈, 등급 판정 모듈을 포함할 수 있다.According to one embodiment of the present invention, the spondylolisthesis diagnosis model in the spondylolisthesis diagnosis unit may include a target distance measurement module and a grade determination module.

본 발명의 일 실시예에 따르면 상기 전방전위증 진단부는, 상기 추체 구조 정보를 타겟 거리 측정 모듈에 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 타겟 거리로 하여 측정하는 타겟 거리 측정부; 및 측정된 상기 타겟 거리를 등급 판정 모듈에 입력하여 제1~5등급 사이로 산정된 등급 정보를 출력 받고 출력 받은 등급 정보에 따라 척추 전방전위증 여부를 진단하는 등급 판정부를 더 포함할 수 있다.According to one embodiment of the present invention, the anteversion diagnosis unit measures the vertebral body structure information using the target distance between the basal surface of the lower lumbar vertebrae or the first sacral vertebra and the posterior upper corner of the upper vertebral body as the target distance. Distance measuring unit; And it may further include a grade determination unit that inputs the measured target distance into the grade determination module, outputs grade information calculated as grades 1 to 5, and diagnoses spondylolisthesis according to the output grade information.

본 발명의 일 실시예에 따르면 상기 등급 판정부는, 상기 타겟 거리를 이용하여 하부 요추 또는 제1 천추의 기저면을 4분할한 지점을 선정하고, 상부 척추체의 후상방 모서리가 4분할된 구역 중 어디에 포함되느냐에 따라 등급을 판정할 수 있다.According to one embodiment of the present invention, the grade determination unit selects a point where the basal surface of the lower lumbar vertebra or first sacral vertebra is divided into four using the target distance, and which of the four divided areas contains the posterosuperior edge of the upper vertebral body The grade can be determined depending on whether or not it is successful.

본 발명의 일 실시예에 따르면 상기 등급 판정부는, 타겟 거리의 기준이 되는 4분할 지점에 따라 제1~5등급 사이로 등급을 산정하고, 제2 등급 이상이면 척추 전방전위증으로 진단할 수 있다.According to one embodiment of the present invention, the grade determination unit calculates the grade between grades 1 and 5 according to the four division points that serve as the standard for the target distance, and if it is grade 2 or higher, spondylolisthesis can be diagnosed.

본 발명의 일 실시예에 따르면 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법은 X-ray 이미지를 특징점 추출모델에 입력하여 관심 영역을 포함한 특징점 맵을 출력 받고, 상기 관심 영역을 포함한 특징점 맵을 구조물 검출 모델에 입력하여 척추체를 추출 및 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링한 추체 구조 정보를 생성하는 단계; 및 상기 추체 구조 정보를 척추 전방전위증 진단 모델에 입력하여 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 측정하고, 측정한 거리에 따라 등급을 판정해 척추 전방전위증 여부를 진단하는 단계를 포함할 수 있다.According to an embodiment of the present invention, the method of providing information for diagnosing spondylolisthesis based on an artificial neural network inputs an X-ray image into a feature point extraction model, outputs a feature point map including a region of interest, and outputs a feature point map including the region of interest. Entering a structure detection model to extract a vertebral body, identifying the extracted vertebral body, and generating vertebral structure information by labeling the generated identification information on a feature point map; And the vertebral body structure information is input into the spondylolisthesis diagnostic model to measure the distance between the basal surface of the lower lumbar vertebra or first sacral vertebra and the posterosuperior edge of the upper vertebral body, and a grade is determined according to the measured distance to determine whether spondylolisthesis is present. It may include a diagnosis step.

본 발명의 일 실시예에 따르면 상기 추체 구조 정보를 생성하는 단계는, 상기 특징점 추출모델이 특징점 맵 생성 모듈, 관심 영역 설정 모듈을 포함할 수 있다.According to an embodiment of the present invention, in the step of generating the vertebral body structure information, the feature point extraction model may include a feature point map generation module and a region-of-interest setting module.

본 발명의 일 실시예에 따르면 상기 추체 구조 정보를 생성하는 단계는, 상기 구조물 검출 모델이 척추체 추출 모듈, 척추체 식별 모듈을 포함할 수 있다.According to one embodiment of the present invention, in the step of generating the vertebral body structure information, the structure detection model may include a vertebral body extraction module and a vertebral body identification module.

본 발명의 일 실시예에 따르면 상기 추체 구조 정보를 생성하는 단계는, 상기 X-ray 이미지를 상기 특징점 맵 생성 모듈에 입력하여 복수의 특징점 및 특징점 맵을 출력 받고, 출력된 상기 특징점 맵을 관심 영역 설정 모듈에 입력하여 상기 특징점 맵 중 객체가 존재할 확률이 높고 중복이 제거된 관심 영역을 출력 받는 특징점 추출부를 더 포함할 수 있다.According to one embodiment of the present invention, the step of generating the vertebral body structure information includes inputting the It may further include a feature point extraction unit that inputs the input to the setting module and outputs a region of interest in which there is a high probability that an object exists among the feature point maps and duplicates have been removed.

본 발명의 일 실시예에 따르면 상기 추체 구조 정보를 생성하는 단계는, 상기 척추체 추출 모듈이 관심 영역을 포함한 특징점 맵을 입력 받아 관심영역의 픽셀마다 바이너리 마스크 여부를 판단하기 위해 마스킹을 수행하여 분할된 복수의 특징점 맵을 출력하는 단계를 더 포함할 수 있다.According to one embodiment of the present invention, in the step of generating the vertebral body structure information, the vertebral body extraction module receives a feature point map including a region of interest and performs masking to determine whether each pixel of the region of interest is a binary mask, thereby dividing the The step of outputting a plurality of feature point maps may be further included.

본 발명의 일 실시예에 따르면 상기 복수의 특징점 맵을 출력하는 단계는, 상기 척추체 식별 모듈이 분할된 복수의 특징점 맵을 각각 입력 받아 각 특징점 맵에 포함된 척추체를 식별한 척추체 식별정보를 출력하고, 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링하여 추체 구조 정보를 생성할 수 있다.According to one embodiment of the present invention, the step of outputting the plurality of feature point maps includes the vertebral body identification module receiving a plurality of divided feature point maps and outputting vertebral body identification information identifying the vertebral body included in each feature point map. , vertebral body structure information can be generated by labeling the identification information generated by identifying the extracted vertebral bodies on a feature point map.

본 발명의 일 실시예에 따르면 상기 복수의 특징점 맵을 출력하는 단계는, 상기 척추체 추출 모듈은 관심 영역을 포함한 특징점 맵을 입력 받아 개로 분할된 특징점 맵을 출력할 수 있다.According to one embodiment of the present invention, the step of outputting the plurality of feature point maps includes the vertebral body extraction module receiving a feature point map including a region of interest. A feature point map divided into two can be output.

본 발명의 일 실시예에 따르면 상기 복수의 특징점 맵을 출력하는 단계는, 추출된 척추체를 식별하여 복수의 특징점 맵에 라벨링하기 위하여 완전 연결층을 이용하여 가중치를 적용하고, 상기 라벨링의 정확도 상승을 위하여 소프트맥스 분류자(softmax classifier)를 사용할 수 있다.According to one embodiment of the present invention, the step of outputting the plurality of feature point maps includes applying weights using a fully connected layer to identify the extracted vertebral body and label the plurality of feature point maps, and increasing the accuracy of the labeling. For this purpose, a softmax classifier can be used.

본 발명의 일 실시예에 따르면 상기 복수의 특징점 맵을 출력하는 단계는, 상기 완전 연결층을 이용하여 시각 정보가 포함된 상기 복수의 특징점 맵을 일렬로 정렬하여 각 특징점 맵에 라벨링 될 객체가 속할 확률을 벡터 형태로 출력한 결과, 가장 높은 확률로 출력된 객체를 각 특징점 맵에 포함된 객체로 분류하고, 분류된 상기 객체와 상기 척추체 식별 모듈의 출력 정보의 차이가 최소화되도록 척추체 식별 모듈의 가중치를 수정하여 학습할 수 있다.According to an embodiment of the present invention, the step of outputting the plurality of feature point maps includes aligning the plurality of feature point maps containing visual information using the fully connected layer to determine which objects to be labeled in each feature point map belong to. As a result of outputting the probability in vector form, the object output with the highest probability is classified as an object included in each feature point map, and the weight of the vertebral body identification module is such that the difference between the classified object and the output information of the vertebral body identification module is minimized. You can learn by modifying .

본 발명의 일 실시예에 따르면 상기 척추 전방전위증 여부를 진단하는 단계는, 상기 척추 전방전위증 진단 모델이 타겟 거리 측정 모듈, 등급 판정 모듈을 포함할 수 있다.According to one embodiment of the present invention, in the step of diagnosing spondylolisthesis, the spondylolisthesis diagnostic model may include a target distance measurement module and a grade determination module.

본 발명의 일 실시예에 따르면 상기 척추 전방전위증 여부를 진단하는 단계는, 상기 추체 구조 정보를 타겟 거리 측정 모듈에 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 타겟 거리로 하여 측정하는 단계; 및 측정된 상기 타겟 거리를 등급 판정 모듈에 입력하여 제1~5등급 사이로 산정된 등급 정보를 출력 받고 출력 받은 등급 정보에 따라 척추 전방전위증 여부를 진단하는 단계를 더 포함할 수 있다.According to one embodiment of the present invention, the step of diagnosing spondylolisthesis includes calculating the distance between the basal surface of the lower lumbar vertebra or first sacral vertebra and the posterosuperior edge of the upper vertebral body by applying the vertebral body structure information to the target distance measurement module as the target distance. A step of measuring; And it may further include the step of inputting the measured target distance into a grade determination module to output grade information calculated as grades 1 to 5, and diagnosing spondylolisthesis according to the output grade information.

본 발명의 일 실시예에 따르면 상기 척추 전방전위증 여부를 진단하는 단계는, 상기 타겟 거리를 이용하여 하부 요추 또는 제1 천추의 기저면을 4분할한 지점을 선정하고, 상부 척추체의 후상방 모서리가 4분할된 구역 중 어디에 포함되느냐에 따라 등급을 판정할 수 있다.According to one embodiment of the present invention, the step of diagnosing spondylolisthesis includes selecting a point where the basal surface of the lower lumbar vertebra or first sacral vertebra is divided into four using the target distance, and the posterosuperior edge of the upper vertebral body is divided into four. The grade can be determined depending on which of the divided areas is included.

본 발명의 일 실시예에 따르면 상기 척추 전방전위증 여부를 진단하는 단계는, 타겟 거리의 기준이 되는 4분할 지점에 따라 제1~5등급 사이로 등급을 산정하고, 제2 등급 이상이면 척추 전방전위증으로 진단할 수 있다.According to one embodiment of the present invention, in the step of diagnosing spondylolisthesis, the grade is calculated between grades 1 and 5 according to the four division points that are the standard for the target distance, and if it is grade 2 or higher, it is classified as spondylolisthesis. It can be diagnosed.

본 발명의 일 실시예에 따른 인공 신경망 기반의 척추 전방전위증 진단 기술에 의하면 측정 수치를 자동화하고 이를 시각화 함으로써 의료진의 영상 판독에 대한 부담을 줄이고 신속한 진단 프로세스를 지원함으로 써 의료진의 업무 효율을 향상시킬 수 있는 효과를 제공할 수 있다.According to the artificial neural network-based spondylolisthesis diagnosis technology according to an embodiment of the present invention, the burden of image interpretation on medical staff is reduced by automating and visualizing measurement values, and the work efficiency of medical staff is improved by supporting a rapid diagnosis process. It can provide possible effects.

도 1은 본 발명의 일 실시예에 따른 인공 신경망 기반의 척추 전방전위증 진단 장치의 구성도이다.
도 2는 도 1에 도시된 추체 구조 식별부에 포함된 특징점 추출 모델을 나타낸 도면이다.
도 3은 도 1에 도시된 추체 구조 식별부에 포함된 구조물 검출 모델을 나타낸 도면이다.
도 4는 도 1에 도시된 추체 구조 식별부의 세부 구성도이다.
도 5는 도 1에 도시된 전방전위증 진단부에 포함된 척추 전방전위증 진단 모델을 나타낸 도면이다.
도 6은 도 1에 도시된 전방전위증 진단부의 세부 구성도이다.
도 7은 본 발명의 일 실시예에 따라 타겟 거리에 따라 판정된 등급을 나타낸 도면이다.
도 8은 인공 신경망 기반의 척추 골반 균형도 측정 방법의 흐름도이다.Figure 1 is a configuration diagram of an artificial neural network-based spondylolisthesis diagnosis device according to an embodiment of the present invention.
FIG. 2 is a diagram showing a feature point extraction model included in the vertebrate structure identification unit shown in FIG. 1.
FIG. 3 is a diagram showing a structure detection model included in the vertebral body structure identification unit shown in FIG. 1.
Figure 4 is a detailed configuration diagram of the vertebral structure identification unit shown in Figure 1.
FIG. 5 is a diagram showing a spondylolisthesis diagnosis model included in the spondylolisthesis diagnosis unit shown in FIG. 1.
Figure 6 is a detailed configuration diagram of the anteversion diagnosis unit shown in Figure 1.
Figure 7 is a diagram showing the grade determined according to the target distance according to an embodiment of the present invention.
Figure 8 is a flowchart of an artificial neural network-based spinal pelvic balance measurement method.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.Below, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. However, the present invention may be implemented in many different forms and is not limited to the embodiments described herein.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.

본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present invention, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person of ordinary skill in the technical field to which the present invention pertains.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless clearly defined in the present invention, should not be interpreted in an idealized or excessively formal sense. No.

또한 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. It will also be understood that each block of the drawings and the combinations of the flowchart drawings can be performed by computer program instructions, and these computer program instructions can be mounted on a processor of a general-purpose computer, a special-purpose computer, or other programmable data processing equipment. Therefore, the instructions executed through a processor of a computer or other programmable data processing equipment create a means of performing the functions described in the flowchart block(s).

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.These computer program instructions may also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular manner, so that the computer-usable or computer-readable memory It is also possible to produce manufactured items containing instruction means that perform the functions described in the flowchart block(s).

컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a process that is executed by the computer, thereby generating a process that is executed by the computer or other programmable data processing equipment. Instructions that perform processing equipment may also provide steps for executing the functions described in the flow diagram block(s).

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. Additionally, each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s).

그리고 몇 가지 대체 실시예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.It should also be noted that in some alternative embodiments it is possible for the functions mentioned in the blocks to occur out of order. For example, it is possible for two blocks shown in succession to be performed substantially at the same time, or it is possible for the blocks to be performed in reverse order depending on the corresponding function.

이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. At this time, the term '~unit' used in this embodiment refers to software or hardware components such as FPGA (field-programmable gate array) or ASIC (Application Specific Integrated Circuit), and '~unit' refers to what role perform them.

그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.However, '~part' is not limited to software or hardware. The '~ part' may be configured to reside in an addressable storage medium and may be configured to reproduce on one or more processors.

따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.Therefore, as an example, '~ part' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. The functions provided within the components and 'parts' may be combined into a smaller number of components and 'parts' or may be further separated into additional components and 'parts'. Additionally, components and 'parts' may be implemented to regenerate one or more CPUs within a device or a secure multimedia card.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.In describing the embodiments of the present invention in detail, the main focus will be on the example of a specific system, but the main point claimed in this specification is that the scope disclosed in this specification is applicable to other communication systems and services with similar technical background. It can be applied within a range that does not deviate significantly, and this can be done at the discretion of a person with skilled technical knowledge in the relevant technical field.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 인공 신경망 기반의 척추 전방전위증 진단 장치 및 그 방법에 대하여 설명한다.Hereinafter, an artificial neural network-based spondylolisthesis diagnosis device and method according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 인공 신경망 기반의 척추 전방전위증 진단 장치의 구성도이다.Figure 1 is a configuration diagram of an artificial neural network-based spondylolisthesis diagnosis device according to an embodiment of the present invention.

도 1을 참조하면 본 발명의 일 실시예에 따른 인공 신경망 기반의 척추 전방전위증 진단 장치(1000)는 추체 구조 식별부(100), 전방전위증 진단부(200)를 포함할 수 있다.Referring to FIG. 1 , the artificial neural network-based spondylolisthesis diagnosis device 1000 according to an embodiment of the present invention may include a vertebral body structure identification unit 100 and a spondylolisthesis diagnosis unit 200.

추체 구조 식별부(100)는 X-ray 이미지를 특징점 추출모델에 입력하여 관심 영역을 포함한 특징점 맵을 출력 받고, 관심 영역을 포함한 특징점 맵을 구조물 검출 모델에 입력하여 척추체를 추출하며, 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링한 추체 구조 정보를 생성할 수 있다.The vertebral body structure identification unit 100 inputs the Cone structure information can be generated by labeling the identification information generated by identifying the feature point map.

본 발명의 일 실시예에 따르면 X-ray 이미지는 진단의 대상이 되는 환자의 척추 및 골반을 방사선 촬영한 2차원 이미지를 의미할 수 있다.According to one embodiment of the present invention, an X-ray image may mean a two-dimensional image obtained by radiographing the spine and pelvis of a patient who is the subject of diagnosis.

본 발명의 일 실시예에 따른 특징점 추출 모델은 인공신경망 기반의 모델일 수 있으며, X-ray 이미지를 입력 받아 관심 영역을 포함한 특징점 맵을 출력할 수 있도록 학습된 모델을 의미할 수 있다.The feature point extraction model according to an embodiment of the present invention may be an artificial neural network-based model, and may refer to a model learned to receive an X-ray image as input and output a feature point map including a region of interest.

특징점 추출 모델에 대해서는 도 2를 참조하며 더 자세히 설명하도록 한다.The feature point extraction model will be described in more detail with reference to FIG. 2.

본 발명의 일 실시예에 따르면 추체 구조 식별부(100)는 관심 영역을 포함한 특징점 맵을 구조물 검출 모델에 입력하여 척추체를 추출할 수 있다.According to one embodiment of the present invention, the vertebral body structure identification unit 100 may extract a vertebral body by inputting a feature point map including a region of interest into a structure detection model.

본 발명의 일 실시예에 따른 구조물 검출 모델은 인공신경망 기반의 모델일 수 있으며, 관심 영역을 포함한 특징점 맵을 입력 받아 척추체를 추출할 수 있도록 학습된 모델을 의미할 수 있다.The structure detection model according to an embodiment of the present invention may be an artificial neural network-based model, and may refer to a model learned to extract a vertebral body by receiving a feature point map including a region of interest.

구조물 검출 모델에 대해서는 도 3을 참조하며 더 자세히 설명하도록 한다.The structure detection model will be described in more detail with reference to FIG. 3.

본 발명의 일 실시예에 따르면 추체 구조 식별부(100)는 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링하여 추체 구조 정보를 생성할 수 있다.According to one embodiment of the present invention, the vertebral body structure identification unit 100 may generate vertebral body structure information by labeling the identification information generated by identifying the extracted vertebral bodies on a feature point map.

본 발명의 일 실시예에 따르면 추체 구조 식별부(100)는 추출된 척추체를 식별하여 특징점 맵에 라벨링하기 위하여 완전 연결층(fully connected layer)을 이용하여 가중치를 적용할 수 있다.According to one embodiment of the present invention, the vertebral body structure identification unit 100 may apply weights using a fully connected layer to identify the extracted vertebral body and label it in the feature point map.

여기서 완전 연결층은 복수의 합성곱 레이어가 연결되어 형성된 연결층을 의미하며 완전 연결층으로 완전 연결 네트워크를 형성할 수 있다.Here, the fully connected layer refers to a connected layer formed by connecting a plurality of convolutional layers, and a fully connected network can be formed with the fully connected layer.

상기 일 실시예에 따르면 라벨링의 정확도 상승을 위하여 소프트맥스 분류자(softmax classifier)를 사용할 수 있다.According to the above embodiment, a softmax classifier can be used to increase labeling accuracy.

본 발명의 일 실시예에 따르면 완전 연결층 형성된 완전 연결 네트워크를 이용하여 추출된 척추체를 식별하여 특징점 맵에 라벨링할 수 있으며, 완전 연결 네트워크의 출력 값과 실제 식별 결과를 대비하여 오차값을 학습시키는 방법으로 가중치를 업데이트 할 수 있다.According to one embodiment of the present invention, the extracted vertebral body can be identified using a fully connected network formed with a fully connected layer and labeled in the feature point map, and the error value is learned by comparing the output value of the fully connected network with the actual identification result. You can update the weights using this method.

본 발명의 일 실시예에 따르면 추체 구조 식별부(100)는 추출된 척추체를 식별하여 특징점 맵에 라벨링하기 위하여 관심 영역에서 분할된 특징점 맵의 경계 박스를 찾아내기 위하여 bbox regressor를 사용할 수 있다.According to one embodiment of the present invention, the vertebral body structure identification unit 100 may use a bbox regressor to identify the extracted vertebral bodies and find the bounding box of the feature point map divided in the region of interest to label the feature point map.

본 발명의 일 실시예에 따르면 bbox regressor는 예측된 박스와 실제 박스 사이의 오차를 줄여줄 수 있는 경계 박스를 선형 회귀 분석 모델을 이용하여 추출하는 방법을 의미할 수 있다.According to one embodiment of the present invention, bbox regressor may refer to a method of extracting a bounding box that can reduce the error between the predicted box and the actual box using a linear regression analysis model.

전방전위증 진단부(200)는 추체 구조 정보를 척추 전방전위증 진단 모델에 입력하여 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 측정하고, 측정한 거리에 따라 등급을 판정해 척추 전방전위증 여부를 진단할 수 있다.The spondylolisthesis diagnosis unit 200 inputs the vertebral body structure information into the spondylolisthesis diagnosis model, measures the distance between the basal surface of the lower lumbar vertebra or first sacral vertebra and the posterosuperior edge of the upper vertebral body, and determines the grade according to the measured distance. It is possible to diagnose spondylolisthesis.

본 발명의 일 실시예에 따르면 척추 전방전위증 진단 모델은 추체 구조 정보를 입력 받아 등급을 판정해 척추 전방전위증 여부를 진단 정보를 출력할 수 있도록 학습된 모델을 의미할 수 있다.According to one embodiment of the present invention, the spondylolisthesis diagnosis model may refer to a model learned to receive information on the structure of the vertebral body, determine the grade, and output diagnostic information on whether spondylolisthesis is present.

척추 전방전위증 진단 모델에 대해서는 도 5를 참조하며 더 자세하게 설명하도록 한다.The spondylolisthesis diagnostic model will be described in more detail with reference to FIG. 5.

본 발명의 일 실시예에 따르면 추체 구조 정보를 타겟 거리 측정 모듈에 입력하여 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 타겟 거리로 하여 측정할 수 있다.According to one embodiment of the present invention, the vertebral body structure information can be input to the target distance measurement module to measure the distance between the basal surface of the lower lumbar vertebra or first sacral vertebra and the postero-superior edge of the upper vertebral body as the target distance.

본 발명의 일 실시예에 따르면 측정된 타겟 거리를 등급 판정 모듈에 입력하여 제1~5등급 사이로 산정된 등급 정보를 출력 받고 출력 받은 등급 정보에 따라 척추 전방전위증 여부를 진단할 수 있다.According to one embodiment of the present invention, the measured target distance is input to the grade determination module, grade information calculated as grades 1 to 5 is output, and spondylolisthesis can be diagnosed according to the output grade information.

본 발명의 일 실시예에 따르면 등급 판정 모듈은 타겟거리를 이용하여 하부 요추 또는 제1 천추의 기저면을 4분할한 지점을 선정하고, 상부 척추체의 후상방 모서리가 4분할된 구역 중 어디에 포함되느냐에 따라 등급을 판정할 수 있다.According to one embodiment of the present invention, the grade determination module uses the target distance to select a point where the basal surface of the lower lumbar vertebra or first sacral vertebra is divided into four, and determines which of the four divided areas includes the posterosuperior edge of the upper vertebral body. The grade can be determined accordingly.

본 발명의 일 실시예에 따르면 등급 판정 모듈은 타겟 거리의 기준이 되는 4분할 지점에 따라 제1~5등급 사이로 등급을 산정하고, 제2 등급 이상이면 척추 전방전위증으로 진단할 수 있다.According to one embodiment of the present invention, the grade determination module calculates the grade between grades 1 and 5 according to the four division points that serve as the standard for the target distance, and if it is grade 2 or higher, spondylolisthesis can be diagnosed.

여기세 대한 자세한 사항은 도 7을 참조하며 더 자세하게 설명하도록 한다.For details about this tax, refer to FIG. 7 and it will be explained in more detail.

도 2는 도 1에 도시된 추체 구조 식별부에 포함된 특징점 추출 모델을 나타낸 도면이다.FIG. 2 is a diagram showing a feature point extraction model included in the vertebrate structure identification unit shown in FIG. 1.

도 2를 참조하면 본 발명의 일 실시예에 따른 추체 구조 식별부에 포함된 특징점 추출 모델은 특징점 맵 생성 모듈, 관심 영역 설정 모듈을 포함할 수 있다.Referring to FIG. 2, the feature point extraction model included in the vertebrate structure identification unit according to an embodiment of the present invention may include a feature point map generation module and a region-of-interest setting module.

본 발명의 일 실시예에 따르면 특징점 추출 모델은 인공신경망 기반의 합성곱 연산 모델일 수 있으며, 복수의 합성곱 연산 레이어가 연결되어 완전 연결층 및 완전 연결 네트워크를 형성할 수 있다.According to an embodiment of the present invention, the feature point extraction model may be an artificial neural network-based convolution operation model, and a plurality of convolution operation layers may be connected to form a fully connected layer and a fully connected network.

본 발명의 일 실시예에 따르면 특징점 추출 모델은 복수의 합성곱 연산 레이어로 형성되어 특정 정보를 입력 받아 데이터는 분석 및 가공하는 기능을 수행하는 복수의 모듈을 포함할 수 있으며, 더욱 자세하게는 특징점 맵 생성 모듈, 관심 영역 설정 모듈을 포함할 수 있다.According to an embodiment of the present invention, the feature point extraction model is formed of a plurality of convolution operation layers and may include a plurality of modules that receive specific information and perform the function of analyzing and processing the data. More specifically, a feature point map It may include a creation module and a region-of-interest setting module.

본 발명의 일 실시예에 따르면 특징점 맵 생성 모듈은 X-ray 이미지를 받아 복수의 합성곱 레이어를 거치며 연산을 수행함으로써 복수의 특징점을 추출하고, 추출한 복수의 특징점을 이용하여 특징점 맵을 생성하여 출력할 수 있다.According to an embodiment of the present invention, the feature point map generation module receives an can do.

본 발명의 일 실시예에 따르면 특징점 맵 생성 모듈 합성곱 신경망을 통하여 X-ray 이미지의 특징점 맵을 생성함에 있어 최종 특징점 맵만을 사용하는 것이 아니라 이전에 생성된 중간 특징점 맵을 활용함으로써 이전의 정보까지 함께 활용하게 되어 객체가 존재할 확률이 높고 중복이 제거된 관심영역을 출력할 수 있는 신뢰도 높은 특징점 맵을 출력 받을 수 있다.According to an embodiment of the present invention, in generating a feature point map of an By using them together, you can output a highly reliable feature point map that has a high probability of object existence and can output a region of interest with duplicates removed.

본 발명의 일 실시예에 따르면 관심 영역 설정 모듈은 특징점 맵을 입력 받아 복수의 합성곱 레이어를 거치며 연산을 수행함으로써 관심 영역을 출력할 수 있다.According to one embodiment of the present invention, the region-of-interest setting module can output the region of interest by receiving a feature point map and performing an operation through a plurality of convolution layers.

본 발명의 일 실시예에 따르면 관심 영역 설정 모듈은 특징점 맵을 분석하여 이미지를 분할하고 각 분할된 이미지에 포함된 특징점들을 이용하여 관심영역에 대한 정보를 출력할 수 있다.According to one embodiment of the present invention, the region-of-interest setting module may analyze the feature point map to segment the image and output information about the region of interest using feature points included in each segmented image.

도 3은 도 1에 도시된 추체 구조 식별부에 포함된 구조물 검출 모델을 나타낸 도면이다.FIG. 3 is a diagram showing a structure detection model included in the vertebral body structure identification unit shown in FIG. 1.

도 3을 참조하면 본 발명의 일 실시예에 따른 추체 구조 식별부에 포함된 구조물 검출 모델은 모델이 척추체 추출 모듈, 척추체 식별 모듈을 포함할 수 있다.Referring to FIG. 3, the structure detection model included in the vertebral body structure identification unit according to an embodiment of the present invention may include a vertebral body extraction module and a vertebral body identification module.

본 발명의 일 실시예에 따르면 구조물 검출 모델은 인공신경망 기반의 합성곱 연산 모델일 수 있으며, 복수의 합성곱 연산 레이어가 연결되어 완전 연결층 및 완전 연결 네트워크를 형성할 수 있다.According to one embodiment of the present invention, the structure detection model may be an artificial neural network-based convolution operation model, and a plurality of convolution operation layers may be connected to form a fully connected layer and a fully connected network.

본 발명의 일 실시예에 따르면 구조물 검출 모델은 복수의 합성곱 연산 레이어로 형성되어 특정 정보를 입력 받아 데이터는 분석 및 가공하는 기능을 수행하는 복수의 모듈을 포함할 수 있으며, 더욱 자세하게는 척추체 추출 모듈, 척추체 식별 모듈을 포함할 수 있다.According to one embodiment of the present invention, the structure detection model is formed of a plurality of convolution calculation layers and may include a plurality of modules that receive specific information and perform the function of analyzing and processing the data, and more specifically, vertebral body extraction. module, and may include a vertebral body identification module.

본 발명의 일 실시예에 따르면 척추체 추출 모듈은 관심 영역을 포함한 분할된 복수의 특징점 맵을 입력 받아 관심영역의 픽셀마다 바이너리 마스크 여부를 판단하기 위해 마스킹을 수행하여 분할된 복수의 특징점 맵을 출력할 수 있다.According to one embodiment of the present invention, the vertebral body extraction module receives a plurality of segmented feature point maps including a region of interest, performs masking to determine whether each pixel of the region of interest is a binary mask, and outputs a plurality of segmented feature point maps. You can.

본 발명의 일 실시예에 따르면 척추체 추출 모듈은 관심 영역을 포함한 분할된 복수의 특징점 맵을 입력 받아 관심영역의 픽셀마다 바이너리 마스크 (binary mask)인지 아닌지를 구분할 수 있는 마스크로 마스킹을 수행하여 각 분할된 복수의 특징점 맵에 특정 객체가 포함되어 있을 확률 값에 대한 정보를 포함한 척추제 추출 정보를 생성할 수 있다.According to an embodiment of the present invention, the vertebral body extraction module receives a plurality of segmented feature point maps including a region of interest, performs masking for each pixel in the region of interest with a mask that can distinguish whether it is a binary mask or not, and performs each segmentation. It is possible to generate spine extraction information including information about the probability value that a specific object is included in the plurality of feature point maps.

본 발명의 일 실시예에 따르면 척추체 식별 모듈이 분할된 복수의 특징점 맵 및 척추체 추출 정보를 각각 입력 받아 관심영역에 포함되어 있는 확률이 가장 큰 객체를 식별된 객체로 선정하여 척추체 식별정보로 출력할 수 있다.According to one embodiment of the present invention, the vertebral body identification module receives a plurality of segmented feature point maps and vertebral body extraction information, selects the object with the highest probability of being included in the region of interest as the identified object, and outputs it as vertebral body identification information. You can.

본 발명의 일 실시 예에 따르면 척추체 추출 모듈은 관심 영역을 포함한 특징점 맵을 입력 받아 개로 분할된 특징점 맵을 생성할 수 있다.According to an embodiment of the present invention, the vertebral body extraction module may receive a feature point map including a region of interest and generate a feature point map divided into pieces.

여기서 K는 하나의 픽셀에 대 한 클래스의 개수, 즉 척추제 종류의 수를 의미할 수 있으며, m은 특 징점 맵의 크기를 의미할 수 있다.Here, K may mean the number of classes for one pixel, that is, the number of spine types, and m may mean the size of the feature map.

본 발명의 일 실시예에 따르면 척추체 식별 모듈은 식별의 정확도를 높이기 위하여 완전 연결층을 통해 연산을 수행할 수 있으며, 완전 연결층을 통해 시각 정보를 보존한 복수의 특징점 맵을 일렬로 늘린 후 벡터 형태로 출력함으로써 특정 입력 이미지 내의 객체가 해당 척 추체(라벨)에 속할 확률을 나타낼 수 있다.According to one embodiment of the present invention, the vertebral body identification module can perform calculations through a fully connected layer to increase the accuracy of identification, and after stretching a plurality of feature point maps that preserve visual information in a row through the fully connected layer, the vector By outputting in the form, the probability that an object in a specific input image belongs to the corresponding spinal body (label) can be expressed.

본 발명의 일 실시예에 다르면 각 마스크의 위치, 형태 내에 포함된 객체가 특정 척추체일 확률을 추출하고, 이 확률을 입 력으로 받아서 복수의 특징점 맵의 각 라벨을 최종적으로 분류할 수 있다.According to one embodiment of the present invention, the probability that an object included in the position and shape of each mask is a specific vertebral body can be extracted, and this probability can be received as input to finally classify each label of the plurality of feature point maps.

예를 들어, [L1,L2,L3,L4,L5]에 속할 확률이 각각 [0.1, 0.15, 0.3, 0.78, 0.4]라면, 이 추체는 L4로 분류될 수 있으며, 본 발명의 일 실시예에 따르면 척추 체 식별 모듈의 출력값과 기댓값(ground truth, GT)의 차이가 최소가 되도록 척추 체 식별 모듈의 가중치를 수정하도록 학습할 수 있다. For example, if the probability of belonging to [L1, L2, L3, L4, L5] is [0.1, 0.15, 0.3, 0.78, 0.4], this cone may be classified as L4, and in one embodiment of the present invention Accordingly, it is possible to learn to modify the weights of the vertebral body identification module so that the difference between the output value of the vertebral body identification module and the expected value (ground truth, GT) is minimized.

도 4는 도 1에 도시된 추체 구조 식별부의 세부 구성도이다.Figure 4 is a detailed configuration diagram of the vertebral structure identification unit shown in Figure 1.

도 4를 참조하면 본 발명 의 일 실시예에 따른 추체 구조 식별부(100)는 특징점 추출부(110), 구조물 검출부(120)를 포함할 수 있다.Referring to FIG. 4, the vertebral body structure identification unit 100 according to an embodiment of the present invention may include a feature point extraction unit 110 and a structure detection unit 120.

특징점 추출부(110)는 X-ray 이미지를 상기 특징점 맵 생성 모듈 에 입력하여 복수의 특징점 및 특징점 맵을 출력 받고, 출력된 상기 특징점 맵을 관심 영역 설정 모듈에 입력하여 상기 특징점 맵 중 객 체가 존재할 확률이 높고 중복이 제거된 관심 영역을 출력 받을 수 있다.The feature point extraction unit 110 inputs the You can output areas of interest with high probability and with duplicates removed.

구조물 검출부(120)는 척추체 추출 모듈이 관심 영역을 포함한 분할된 복수 의 특징점 맵을 입력 받아 관심영역의 픽셀마다 바이너리 마스크 여부를 판단하기 위해 마스킹을 수행하여 특정 객체가 포함되어 있을 확률 값에 대한 정보를 포함한 척추체 추출 정보를 생성할 수 있다.The structure detection unit 120 receives a plurality of segmented feature point maps including the region of interest from the vertebral body extraction module, performs masking to determine whether each pixel of the region of interest is a binary mask, and provides information about the probability value that a specific object is included. It is possible to generate vertebral body extraction information including.

구조물 검출부(120)는 척추체 추출 모듈이 관심 영역을 포함한 특 징점 맵을 입력 받아 관심영역의 픽셀마다 바이너리 마스크 여부를 판단하기 위해 마스킹을 수행하여 분할된 복수의 특징점 맵을 출력할 수 있다.The structure detection unit 120 may receive a feature point map including a region of interest from the vertebral body extraction module, perform masking to determine whether each pixel of the region of interest is a binary mask, and output a plurality of segmented feature point maps.

본 발명의 일 실시 예에 따르면 구조물 검출부(120)에 포함된 척추체 식별 모듈은 분할된 복수의 특징점 맵을 각각 입력 받아 각 특징점 맵에 포함된 척추체 를 식별한 척추체 식별정보를 출력할 수 있다.According to one embodiment of the present invention, the vertebral body identification module included in the structure detection unit 120 may receive a plurality of segmented feature point maps and output vertebral body identification information that identifies the vertebral body included in each feature point map.

본 발명의 일 실시예에 따르면 구조물 검출부(120)는 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링하여 추체 구조 정보를 생성할 수 있다.According to one embodiment of the present invention, the structure detection unit 120 may generate vertebral body structure information by labeling the identification information generated by identifying the extracted vertebral body on a feature point map.

본 발명의 일 실시예에 따르면 구조물 검출부(120)는 척추체 추출 모듈이 관심 영역을 포함한 특징점 맵을 입력 받아 개로 분할된 특징점 맵을 출력할 수 있다.According to one embodiment of the present invention, the structure detection unit 120 receives a feature point map including a region of interest from the vertebral body extraction module. A feature point map divided into two can be output.

여기서 K는 하나의 픽셀에 대한 클래스의 개수, 즉 척추제 종류의 수를 의미할 수 있으며, m은 특징점 맵의 크기를 의미할 수 있다.Here, K may mean the number of classes for one pixel, that is, the number of spine types, and m may mean the size of the feature point map.

본 발명의 일 실시예에 따르면 구조물 검출부(120)는 추출된 척추체를 식별하여 특징점 맵에 라벨링하기 위하여 완전 연결층을 이용하여 가중치를 적용하고, 라벨링의 정확도 상승을 위하여 소프트맥스 분류자(softmax classifier)를 사용할 수 있다.According to one embodiment of the present invention, the structure detection unit 120 applies weights using a fully connected layer to identify the extracted vertebral body and label it in the feature point map, and uses a softmax classifier to increase labeling accuracy. ) can be used.

본 발명의 일 실시예에 따르면 구조물 검출부(120)는 추출된 척추체를 식별하여 특징점 맵에 라벨링하기 위하여 상기 관심 영역 에서 분할된 특징점 맵의 경계 박스를 찾아내기 위하여 bbox regressor를 사용할 수 있다.According to one embodiment of the present invention, the structure detection unit 120 may use a bbox regressor to find the bounding box of the feature point map divided in the region of interest in order to identify the extracted vertebral body and label it in the feature point map.

본 발명의 일 실시예에 따르면 구조물 검출부(120)는 완전 연결층을 이용하여 시각 정보가 포함된 상기 복수의 특징점 맵을 일렬로 정렬하여 각 특징점 맵에 라벨링 될 객체가 속할 확률을 벡터 형태로 출력한 결과, 가장 높은 확률로 출력된 객체를 각 특징점 맵에 포함된 객체로 분류하고, 분류된 상기 객체와척추체 식별 모듈의 출력 정보의 차이가 최소화되도록 척추체 식별 모듈의 가중치를 수정하여 학습할 수 있다.According to one embodiment of the present invention, the structure detection unit 120 aligns the plurality of feature point maps containing visual information using a fully connected layer, and outputs the probability that an object to be labeled belongs to each feature point map in the form of a vector. As a result, the object output with the highest probability is classified as an object included in each feature point map, and the weight of the vertebrate identification module can be modified and learned so that the difference between the classified object and the output information of the vertebrate body identification module is minimized. .

도 5는 도 1에 도시된 전방전위증 진단부에 포함된 척추 전방전위증 진단 모델을 나타낸 도면이다.FIG. 5 is a diagram showing a spondylolisthesis diagnosis model included in the spondylolisthesis diagnosis unit shown in FIG. 1.

도 5를 참조하면 전방전위증 진단부(200)에 포함된 척추 전방전위증 진단 모델이 나타나 있으며, 본 발명의 일 실시예에 따르면 척추 전방전위증 진단 모델은 타겟 거리 측정 모듈, 등급 판정 모듈을 포함할 수 있다.Referring to Figure 5, a spondylolisthesis diagnosis model included in the spondylolisthesis diagnosis unit 200 is shown. According to one embodiment of the present invention, the spondylolisthesis diagnosis model may include a target distance measurement module and a grade determination module. there is.

본 발명의 일 실시예에 따르면 척추 전방전위증 진단 모델은 인공신경망 기반의 합성곱 연산 모델일 수 있으며, 복수의 합성곱 연산 레이어가 연결되어 완전 연결층 및 완전 연결 네트워크를 형성할 수 있다. According to an embodiment of the present invention, the spondylolisthesis diagnosis model may be an artificial neural network-based convolution operation model, and a plurality of convolution operation layers may be connected to form a fully connected layer and a fully connected network.

본 발명의 일 실시예에 따르면 척추 전방전위증 진단 모델은 복수의 합성곱 연산 레이어로 형성되어 특정 정보를 입력 받아 데이터는 분석 및 가공하는 기능을 수행하는 복수의 모듈을 포함할 수 있으며, 더욱 자세하게는 타겟 거리 측정 모듈, 등급 판정 모듈을 포함할 수 있다.According to one embodiment of the present invention, the spondylolisthesis diagnostic model is formed of a plurality of convolution operation layers and may include a plurality of modules that receive specific information and perform the function of analyzing and processing the data. In more detail, It may include a target distance measurement module and a grade determination module.

본 발명의 일 실시예에 따르면 타겟 거리 측정 모듈은 추체 구조 정보를 입력 받아 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 타겟 거리로 하여 측정한 값을 출력하도록 학습될 수 있다.According to one embodiment of the present invention, the target distance measurement module is trained to receive information on the structure of the vertebral body and output a measured value using the distance between the basal surface of the lower lumbar vertebrae or the first sacral vertebra and the posterosuperior edge of the upper vertebral body as the target distance. You can.

본 발명의 일 실시예에 따르면 하부 요추 또는 제1 천추의 기저면의 윤각선과 상부 척추체의 후상방 모서리의 위치 정보를 산출하고 각 윤각선을 이루는 복수의 각 점 별 상부 척추체의 후상방 모서리와의 거리를 타겟 거리로 할 수 있다.According to one embodiment of the present invention, the position information of the contour line of the basal surface of the lower lumbar vertebra or the first sacral vertebra and the posterosuperior edge of the upper vertebral body are calculated, and the distance from the posterosuperior edge of the upper vertebral body for each of the plurality of points forming each contour line is calculated. You can do this with target distance.

본 발명의 일 실시예에 따르면 타겟 거리 측정 모듈은 하부 요추 또는 제1 천추의 기저면의 윤각선을 4등분하여 4분할 할 수 있으며, 4개의 구역으로 4분할 윤각선의 각 점을 제1, 2, 3, 4, 5점으로 정의할 수 있으며, 제1, 2, 3, 4, 5점 사이의 구역을 제1, 2, 3, 4 구역으로 정의 할 수 있다.According to one embodiment of the present invention, the target distance measurement module can divide the contour line of the basal surface of the lower lumbar vertebrae or the first sacral vertebrae into four equal parts, and divide each point of the contour line into four sections into 1st, 2nd, and 3rd sections. , 4, and 5 points, and the area between points 1, 2, 3, 4, and 5 can be defined as the 1st, 2, 3, and 4 zones.

상기 일 실시예에 따르면 타겟 거리 측정 모듈은 제1, 2, 3, 4, 5점과 상부 척추체의 후상방 모서리사이의 각 거리를 타겟 거리로 측정할 수 있다.According to the above embodiment, the target distance measurement module may measure each distance between the first, second, third, fourth, and fifth points and the posterior upper edge of the upper vertebral body as the target distance.

본 발명의 일 실시예에 따르면 등급 판정 모듈은 측정된 타겟 거리를 입력받아 제1~5등급 사이로 산정된 등급 정보를 출력 받고 출력 받은 등급 정보에 따라 척추 전방전위증 여부를 진단할 수 있도록 학습될 수 있다.According to one embodiment of the present invention, the grade determination module can be trained to receive the measured target distance, output grade information calculated between grades 1 and 5, and diagnose spondylolisthesis according to the output grade information. there is.

본 발명의 일 실시 예에 따르면 등급 판정 모듈은 타겟거리를 입력받아 상부 척추체의 후상방 모서리가 하부 요추 또는 제1 천추의 기저면을 4분할하여 생성된 제1, 2, 3, 4 구역 중 어디에 포함되느냐에 따라 등급을 판정할 수 있다.According to one embodiment of the present invention, the grade determination module receives the target distance and determines which of the 1st, 2nd, 3rd, and 4th zones created by dividing the basal surface of the lower lumbar vertebrae or the first sacral vertebra into 4, where the posterior superior edge of the upper vertebral body is included. The grade can be determined depending on whether or not it is successful.

예를 들어 상부 척추체의 후상방 모서리가 타겟 거리에 따라 제1 점, 제2 점 사이의 제1 구역에 위치하는 것으로 나타나면 제1 등급으로 판정할 수 있으며, 제2 점, 제3 점 사이의 제2 구역에 위치하는 것으로 나타나면 제2 등급으로 판정할 수 있다.For example, if the posterosuperior edge of the upper vertebral body appears to be located in the first zone between the first and second points according to the target distance, it can be judged as grade 1, and the second grade between the second and third points can be determined. If it appears to be located in zone 2, it can be judged as level 2.

본 발명의 일 실시예에 따르면 등급 판정 모듈은 타겟 거리의 기준이 되는 4분할 지점에 따라 제1~5등급 사이로 등급을 산정하고, 제2 등급 이상이면 척추 전방전위증으로 진단할 수 있다.According to one embodiment of the present invention, the grade determination module calculates the grade between grades 1 and 5 according to the four division points that serve as the standard for the target distance, and if it is grade 2 or higher, spondylolisthesis can be diagnosed.

본 발명의 일 실시예에 따르면 전방전위증 진단부(200)는 타겟 거리 측정 모듈이 추체 구조 정보를 입력받아 상부 척추체의 후상방 모서리와의 제1, 2, 3, 4, 5점의 각 거리를 타겟 거리로 산출할 수 있고, 산출된 타겟 거리를 이용하여 제1점에 가까울수록 0, 제5점에 가까울 수록 100에 가까운것으로 하여 0~100사이의 전방전위율을 산출할 수 있다.According to one embodiment of the present invention, the anteversion diagnosis unit 200 uses a target distance measurement module to receive information on the structure of the vertebral body and determine the respective distances of the first, second, third, fourth, and fifth points from the posterosuperior edge of the upper vertebral body. It can be calculated using the target distance, and using the calculated target distance, the closer to the first point is 0, and the closer to the fifth point is, the closer to 100. The forward translocation rate can be calculated between 0 and 100.

본 발명의 일 실싱예에 따르면 전방전위증 진단부(200)는 척추 전방전위증 진단 모델이 추체 구조 정보를 입력받아 등급 및 전방 전위율을 출력할 수 있으며, 이에 따라 환자의 척추 전방전위증 여부를 판단할 수 있다.According to an exemplary embodiment of the present invention, the spondylolisthesis diagnosis unit 200 can receive spondylolisthesis diagnostic model information on the vertebral body structure and output the grade and rate of spondylolisthesis, thereby determining whether the patient has spondylolisthesis. You can.

도 6은 도 1에 도시된 전방전위증 진단부(200)의 세부 구성도이다.Figure 6 is a detailed configuration diagram of the anteversion diagnosis unit 200 shown in Figure 1.

도 6을 참조하면 본 발명의 일 일시예에 따르면 전방전위증 진단부(200)는 척추 전방전위증 진단 모델이 타겟 거리 측정 모듈, 등급 판정 모듈을 포함할 수 있다.Referring to FIG. 6, according to one embodiment of the present invention, the spondylolisthesis diagnosis unit 200 may include a spondylolisthesis diagnosis model, a target distance measurement module, and a grade determination module.

본 발명의 일 실싱예에 따르면 전방전위증 진단부(200)는 타겟 거리 측정부(210), 등급 판정부(220)를 포함할 수 있다.According to one embodiment of the present invention, the anteversion diagnosis unit 200 may include a target distance measurement unit 210 and a grade determination unit 220.

타겟 거리 측정부(210)는 추체 구조 정보를 타겟 거리 측정 모듈에 입력하여 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 타겟 거리로 하여 측정할 수 있다.The target distance measurement unit 210 may input vertebral body structure information into the target distance measurement module and measure the distance between the basal surface of the lower lumbar vertebrae or the first sacral vertebra and the posterosuperior edge of the upper vertebral body as the target distance.

본 발명의 일 실시예에 따르면 타겟 거리 측정부(210)는 타겟 거리 측정 모듈에 추체 구조 정보를 입력받아 하부 요추 또는 제1 천추의 기저면의 윤각선을 4등분하여 4분할 할 수 있으며, 4개의 구역으로 4분할 윤각선의 각 점을 제1, 2, 3, 4, 5점으로 정의할 수 있으며, 제1, 2, 3, 4, 5점 사이의 구역을 제1, 2, 3, 4 구역으로 정의 할 수 있다.According to one embodiment of the present invention, the target distance measurement unit 210 receives vertebral body structure information from the target distance measurement module and divides the contour line of the basal surface of the lower lumbar vertebrae or the first sacral vertebrae into four equal parts, and divides them into four zones. Each point of the quadrant contour line can be defined as points 1, 2, 3, 4, and 5, and the area between points 1, 2, 3, 4, and 5 is defined as areas 1, 2, 3, and 4. It can be defined.

상기 일 실시예에 따르면 타겟 거리 측정 모듈은 제1, 2, 3, 4, 5점과 상부 척추체의 후상방 모서리사이의 각 거리를 타겟 거리로 측정할 수 있다.According to the above embodiment, the target distance measurement module may measure each distance between the first, second, third, fourth, and fifth points and the posterior upper edge of the upper vertebral body as the target distance.

본 발명의 일 실시예에 따르면 타겟 거리 측정부(210)는 타겟 거리 측정 모듈을 통해 상부 척추체의 후상방 모서리와의 제1, 2, 3, 4, 5점의 각 거리를 타겟 거리로 산출할 수 있고, 산출된 타겟 거리를 이용하여 제1점에 가까울수록 0, 제5점에 가까울 수록 100에 가까운것으로 하여 0~100사이의 전방전위율을 산출할 수 있다.According to one embodiment of the present invention, the target distance measurement unit 210 calculates each distance of the first, second, third, fourth, and fifth points with the posterosuperior edge of the upper vertebral body as the target distance through the target distance measurement module. Using the calculated target distance, the forward translocation rate between 0 and 100 can be calculated, with the closer to the first point being 0 and the closer to the fifth point being closer to 100.

등급 판정부(220)는 측정된 타겟 거리를 등급 판정 모듈에 입력하여 제1~5 등급 사이로 산정된 등급 정보를 출력 받고 출력 받은 등급 정보에 따라 척추 전방전위증 여부를 진단할 수 있다.The grade determination unit 220 inputs the measured target distance into the grade determination module, outputs grade information calculated to be between grades 1 and 5, and can diagnose spondylolisthesis according to the output grade information.

본 발명의 일 실시예에 따르면 등급 판정부(220)는 등급 판정 모듈에 측정된 타겟 거리를 입력받아 제1~5등급 사이로 산정된 등급 정보를 출력 받고 출력 받은 등급 정보에 따라 척추 전방전위증 여부를 진단할 수 있도록 학습될 수 있다.According to one embodiment of the present invention, the grade determination unit 220 receives the target distance measured in the grade determination module, outputs grade information calculated as between grades 1 and 5, and determines whether spondylolisthesis is present according to the output grade information. It can be learned to diagnose.

본 발명의 일 실시 예에 따르면 등급 판정부(220)는 등급 판정 모듈을 통해 타겟거리를 입력받아 상부 척추체의 후상방 모서리가 하부 요추 또는 제1 천추의 기저면을 4분할하여 생성된 제1, 2, 3, 4 구역 중 어디에 포함되느냐에 따라 등급을 판정할 수 있다.According to one embodiment of the present invention, the grade determination unit 220 receives the target distance through the grade determination module, and the posterosuperior edge of the upper vertebral body divides the basal surface of the lower lumbar vertebrae or the first sacral vertebra into four, creating the first and second vertebrae. The grade can be determined depending on whether it is included in zones 3 or 4.

본 발명의 일 실시예에 따르면 등급 판정부(220)는 타겟 거리에 따라 제1~5등급 사이로 등급을 산정하고, 제2 등급 이상이면 척추 전방전위증으로 진단할 수 있다.According to one embodiment of the present invention, the grade determination unit 220 calculates a grade between grades 1 and 5 according to the target distance, and if it is grade 2 or higher, spondylolisthesis can be diagnosed.

도 7은 본 발명의 일 실시예에 따라 타겟 거리를 기준으로 판정된 등급을 나타낸 도면이다.Figure 7 is a diagram showing the grade determined based on the target distance according to an embodiment of the present invention.

도 7을 참조하면 본 발명의 일 실시예에 따라 타겟 거리를 기준으로 등급을 판정하는 것이 나타나 있다.Referring to Figure 7, it is shown that the grade is determined based on the target distance according to an embodiment of the present invention.

본 발명의 일 실시예에 따르면 타겟 거리에 따라 상부 척추체의 후상방 모서리가 하부 요추 또는 제1 천추의 기저면을 4분할하여 생성된 제1, 2, 3, 4 구역 중 어디에 포함되느냐에 따라 등급을 판정할 수 있다.According to one embodiment of the present invention, depending on the target distance, the posterosuperior edge of the upper vertebral body is graded according to whether it is included in zones 1, 2, 3, or 4 created by dividing the basal surface of the lower lumbar vertebrae or the first sacral vertebra into four. can be judged.

본 발명의 일 실시예에 따르면 타겟 거리에 따라 상부 척추체의 후상방 모서리가 제1 점, 제2 점 사이의 제1 구역에 위치하는 것으로 나타나면 제1 등급으로 판정할 수 있으며 이 때 전방전위율은 0~25%일 수 있다.According to one embodiment of the present invention, if the posterosuperior edge of the upper vertebral body appears to be located in the first zone between the first point and the second point according to the target distance, it can be determined as grade 1, and at this time, the anterior translation rate is It can be 0-25%.

또한 타겟 거리에 따라 상부 척추체의 후상방 모서리가 제2 점, 제3 점 사이의 제2 구역에 위치하는 것으로 나타나면 제2 등급으로 판정할 수 있으며이 때 전방전위율은 25~50%일 수 있다.Also, depending on the target distance, if the posterosuperior edge of the upper vertebral body appears to be located in the second zone between the second and third points, it can be judged as grade 2, and the anterior displacement rate at this time may be 25 to 50%.

본 발명의 일 실시예에 따르면 타겟 거리에 따라 상부 척추체의 후상방 모서리가 제3 점, 제4 점 사이의 제3 구역에 위치하는 것으로 나타나면 제3 등급으로 판정할 수 있으며이 때 전방전위율은 50~75%일 수 있다.According to one embodiment of the present invention, if the posterosuperior edge of the upper vertebral body appears to be located in the third zone between the third and fourth points according to the target distance, it can be determined as grade 3, and at this time, the anterior translation rate is 50. It could be ~75%.

또한 타겟 거리에 따라 상부 척추체의 후상방 모서리가 제4 점, 제5 점 사이의 제4 구역에 위치하는 것으로 나타나면 제4 등급으로 판정할 수 있으며이 때 전방전위율은 75~100%일 수 있다.Also, depending on the target distance, if the posterosuperior edge of the upper vertebral body appears to be located in the fourth zone between the fourth and fifth points, it can be judged as grade 4, and the anterior displacement rate at this time can be 75 to 100%.

도 8은 인공 신경망 기반의 척추 골반 균형도 측정 방법의 흐름도이다.Figure 8 is a flowchart of an artificial neural network-based spinal pelvic balance measurement method.

X-ray 이미지를 특징점 추출모델에 입력하여 관심 영역을 포함한 특징점 맵을 출력한다(S10).The X-ray image is input into the feature point extraction model and a feature point map including the region of interest is output (S10).

본 발명의 일 실시예에따르면 X-ray 이미지를 특징점 추출모델에 입력하여 관심 영역을 포함한 특징점 맵을 출력할 수 있으며, 본 발명의 일 실시예에 따른 특징점 추출 모델은 인공신경망 기반의 모델일 수 있으며, X-ray 이미지를 입력 받아 관심 영역을 포함한 특징점 맵을 출력할 수 있도록 학습된 모델을 의미할 수 있다.According to an embodiment of the present invention, an X-ray image can be input into a feature point extraction model to output a feature point map including a region of interest, and the feature point extraction model according to an embodiment of the present invention may be an artificial neural network-based model. It may refer to a model learned to receive an X-ray image as input and output a feature point map including the region of interest.

관심 영역을 포함한 특징점 맵을 구조물 검출 모델에 입력하여 척추체를 추출한다(S20).The vertebral body is extracted by inputting the feature point map including the region of interest into the structure detection model (S20).

본 발명의 일 실시예에 따르면 관심 영역을 포함한 특징점 맵을 구조물 검출 모델에 입력하여 척추체를 추출할 수 있으며, 본 발명의 일 실시예에 따른 구조물 검출 모델은 인공신경망 기반의 모델일 수 있으며, 관심 영역을 포함한 특징점 맵을 입력 받아 척추체를 추출할 수 있도록 학습된 모델을 의미할 수 있다.According to an embodiment of the present invention, the vertebral body can be extracted by inputting a feature point map including a region of interest into a structure detection model, and the structure detection model according to an embodiment of the present invention may be an artificial neural network-based model, and the interest It may refer to a model learned to extract a vertebral body by receiving a feature point map including a region.

추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링한 추체 구조 정보를 생성한다(S30).Vertebral body structure information is generated by identifying the extracted vertebral body and labeling the generated identification information on a feature point map (S30).

본 발명의 일 실시 예에 따르면 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링한 추체 구조 정보를 생성할 수 있으며, 출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링하여 추체 구조 정보를 생성할 수 있다.According to one embodiment of the present invention, vertebral body structure information can be generated by labeling the identification information generated by identifying the extracted vertebral body on a feature point map, and the identification information generated by identifying the extracted vertebral body is labeled on the feature point map to create the vertebral body structure. Information can be generated.

본 발명의 일 실시예에 따르면 추체 구조 식별부(100)는 추출된 척추체를 식별하여 특징점 맵에 라벨링하기 위하여 완전 연결층(fully connected layer)을 이용하여 가중치를 적용할 수 있다.According to one embodiment of the present invention, the vertebral body structure identification unit 100 may apply weights using a fully connected layer to identify the extracted vertebral body and label it in the feature point map.

여기서 완전 연결층은 복수의 합성곱 레이어가 연결되어 형성된 연결층을 의미하며 완전 연결층으로 완전 연결 네트워크를 형성할 수 있다.Here, the fully connected layer refers to a connected layer formed by connecting a plurality of convolutional layers, and a fully connected network can be formed with the fully connected layer.

상기 일 실시예에 따르면 라벨링의 정확도 상승을 위하여 소프트맥스 분류자(softmax classifier)를 사용할 수 있다.According to the above embodiment, a softmax classifier can be used to increase labeling accuracy.

본 발명의 일 실시예에 따르면 완전 연결층 형성된 완전 연결 네트워크를 이용하여 추출된 척추체를 식별하여 특징점 맵에 라벨링할 수 있으며, 완전 연결 네트워크의 출력 값과 실제 식별 결과를 대비하여 오차값을 학습시키는 방법으로 가중치를 업데이트 할 수 있다.According to one embodiment of the present invention, the extracted vertebral body can be identified using a fully connected network formed with a fully connected layer and labeled in the feature point map, and the error value is learned by comparing the output value of the fully connected network with the actual identification result. You can update the weights using this method.

본 발명의 일 실시예에 따르면 추출된 척추체를 식별하여 특징점 맵에 라벨링하기 위하여 관심 영역에서 분할된 특징점 맵의 경계 박스를 찾아내기 위하여 bbox regressor를 사용할 수 있다.According to one embodiment of the present invention, a bbox regressor can be used to find the bounding box of the feature point map divided in the region of interest in order to identify the extracted vertebral body and label it in the feature point map.

본 발명의 일 실시예에 따르면 bbox regressor는 예측된 박스와 실제 박스 사이의 오차를 줄여줄 수 있는 경계 박스를 선형 회귀 분석 모델을 이용하여 추출하는 방법을 의미할 수 있다.According to one embodiment of the present invention, bbox regressor may refer to a method of extracting a bounding box that can reduce the error between the predicted box and the actual box using a linear regression analysis model.

추체 구조 정보를 척추 전방전위증 진단 모델에 입력하여 하부 요추 또는 제1 천추의 기저면과 척추체의 후상방 모서리와의 타겟 거리 측정한다(S40).The vertebral body structure information is input into the spondylolisthesis diagnostic model to measure the target distance between the basal surface of the lower lumbar vertebrae or the first sacral vertebra and the posterosuperior edge of the vertebral body (S40).

본 발명의 일 실시 예에 따르면 추체 구조 정보를 척추 전방전위증 진단 모델에 입력하여 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 측정할 수 있으며 본 발명의 일 실시예에 따르면 척추 전방전위증 진단 모델은 추체 구조 정보를 입력 받아 등급을 판정해 척추 전방전위증 여부를 진단 정보를 출력할 수 있도록 학습된 모델을 의미할 수 있다.According to one embodiment of the present invention, the distance between the basal surface of the lower lumbar vertebrae or the first sacral vertebra and the posterosuperior edge of the upper vertebral body can be measured by inputting the vertebral body structural information into the spondylolisthesis diagnostic model. According to the spondylolisthesis diagnosis model, it may refer to a model learned to receive information on the structure of the vertebral body, determine the grade, and output diagnostic information on whether or not spondylolisthesis is present.

타겟 거리에 따라 등급을 판정해 척추 전방전위증 여부를 진단한다(S50).Spondylolisthesis is diagnosed by determining the grade according to the target distance (S50).

본 발명의 일 실시예에 따르면 측정한 거리에 따라 등급을 판정해 척추 전방전위증 여부를 진단할 수 있으며, 척추 전방전위증 진단 모델은 추체 구조 정보를 입력 받아 등급을 판정해 척추 전방전위증 여부를 진단 정보를 출력할 수 있도록 학습된 모델을 의미할 수 있다.According to one embodiment of the present invention, spondylolisthesis can be diagnosed by determining the grade according to the measured distance, and the spondylolisthesis diagnostic model receives vertebral body structure information and determines the grade to determine whether spondylolisthesis is present. It may refer to a model learned to output .

본 발명의 일 실시예에 따르면 추체 구조 정보를 타겟 거리 측정 모듈에 입력하여 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 타겟 거리로 하여 측정할 수 있다.According to one embodiment of the present invention, the vertebral body structure information can be input to the target distance measurement module to measure the distance between the basal surface of the lower lumbar vertebra or first sacral vertebra and the postero-superior edge of the upper vertebral body as the target distance.

본 발명의 일 실시예에 따르면 측정된 타겟 거리를 등급 판정 모듈에 입력하여 제1~5등급 사이로 산정된 등급 정보를 출력 받고 출력 받은 등급 정보에 따라 척추 전방전위증 여부를 진단할 수 있다.According to one embodiment of the present invention, the measured target distance is input to the grade determination module, grade information calculated as grades 1 to 5 is output, and spondylolisthesis can be diagnosed according to the output grade information.

본 발명의 일 실시예에 따르면 등급 판정 모듈은 타겟거리를 이용하여 하부 요추 또는 제1 천추의 기저면을 4분할한 지점을 선정하고, 상부 척추체의 후상방 모서리가 4분할된 구역 중 어디에 포함되느냐에 따라 등급을 판정할 수 있다.According to one embodiment of the present invention, the grade determination module uses the target distance to select a point where the basal surface of the lower lumbar vertebra or first sacral vertebra is divided into four, and determines which of the four divided areas includes the posterosuperior edge of the upper vertebral body. The grade can be determined accordingly.

본 발명의 일 실시예에 따르면 등급 판정 모듈은 타겟 거리의 기준이 되는 4분할 지점에 따라 제1~5등급 사이로 등급을 산정하고, 제2 등급 이상이면 척추 전방전위증으로 진단할 수 있다.According to one embodiment of the present invention, the grade determination module calculates the grade between grades 1 and 5 according to the four division points that serve as the standard for the target distance, and if it is grade 2 or higher, spondylolisthesis can be diagnosed.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.The embodiments of the present invention are not implemented only through the apparatus and/or method described above. Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto and is subject to the following claims. Various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in also fall within the scope of the present invention.

Claims (26)

X-ray 이미지를 특징점 추출모델에 입력하여 관심 영역을 포함한 특징점 맵을 출력 받고, 상기 관심 영역을 포함한 특징점 맵을 구조물 검출 모델에 입력하여 척추체를 추출 및 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링한 추체 구조 정보를 생성하는 추체 구조 식별부; 및
상기 추체 구조 정보를 척추 전방전위증 진단 모델에 입력하여 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 측정하고, 측정한 거리에 따라 등급을 판정해 척추 전방전위증 여부를 진단하는 전방전위증 진단부를 포함하고,
상기 추체 구조 식별부는,
상기 구조물 검출 모델이 척추체 추출 모듈, 척추체 식별 모듈을 포함하고,
상기 척추체 추출 모듈이 관심 영역을 포함한 특징점 맵을 입력 받아 관심영역의 픽셀마다 바이너리 마스크 여부를 판단하기 위해 마스킹을 수행하여 분할된 복수의 특징점 맵을 출력하는 구조물 검출부를 더 포함하고,
상기 구조물 검출부는,
상기 척추체 식별 모듈이 분할된 복수의 특징점 맵을 각각 입력 받아 각 특징점 맵에 포함된 척추체를 식별한 척추체 식별정보를 출력하고, 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링하여 추체 구조 정보를 생성하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단 장치.Input the a cone structure identification unit that generates cone structure information labeled on a feature point map; and
The vertebral body structure information is input into the spondylolisthesis diagnostic model to measure the distance between the basal surface of the lower lumbar or first sacral vertebra and the posterosuperior edge of the upper vertebral body, and a grade is determined according to the measured distance to diagnose spondylolisthesis. It includes a anteversion diagnosis unit,
The vertebrate structure identification unit,
The structure detection model includes a vertebral body extraction module and a vertebral body identification module,
The vertebral body extraction module further includes a structure detection unit that receives a feature point map including a region of interest, performs masking to determine whether each pixel of the region of interest is a binary mask, and outputs a plurality of segmented feature point maps,
The structure detection unit,
The vertebral body identification module receives a plurality of divided feature point maps, outputs vertebral body identification information identifying the vertebral bodies included in each feature point map, and labels the identification information generated by identifying the extracted vertebral bodies on the feature point map to structure the vertebral body. An artificial neural network-based spondylolisthesis diagnostic device characterized by generating information . 제 1 항에 있어서 추체 구조 식별부는,
상기 특징점 추출모델이 특징점 맵 생성 모듈, 관심 영역 설정 모듈을 포함하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단 장치.The vertebrate structure identification unit of claim 1,
An artificial neural network-based spondylolisthesis diagnosis device, wherein the feature point extraction model includes a feature point map generation module and a region-of-interest setting module. 삭제delete 제 2 항에 있어서 추체 구조 식별부는,
상기 특징점 추출모델을 이용하여,
상기 X-ray 이미지를 상기 상기 특징점 추출모델 중 특징점 맵 생성 모듈에 입력하여 복수의 특징점 및 특징점 맵을 출력 받고,
출력된 상기 특징점 맵을 관심 영역 설정 모듈에 입력하여 상기 특징점 맵 중 객체가 존재할 확률이 높고 중복이 제거된 관심 영역을 출력 받는 특징점 추출부를 더 포함하는 인공신경망 기반의 척추 전방위증 진단 장치.The vertebrate structure identification unit of claim 2,
Using the feature point extraction model,
Input the X-ray image into the feature point map generation module of the feature point extraction model to output a plurality of feature points and feature point maps,
An artificial neural network-based spondylolisthesis diagnosis device further comprising a feature point extraction unit that inputs the outputted feature point map to a region-of-interest setting module and outputs a region of interest with a high probability of an object being present among the feature point maps and from which duplicates have been removed. 삭제delete 삭제delete 제 1 항에 있어서 구조물 검출부는,
상기 척추체 추출 모듈이 관심 영역을 포함한 특징점 맵을 입력 받아 개로 분할된 특징점 맵을 출력하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단 장치.The structure detection unit of claim 1,
The vertebral body extraction module receives a feature point map including the region of interest and An artificial neural network-based spondylolisthesis diagnosis device characterized by outputting a map of feature points divided into individual points. 제 1 항에 있어서 구조물 검출부는,
추출된 척추체를 식별하여 복수의 특징점 맵에 라벨링하기 위하여 완전 연결층을 이용하여 가중치를 적용하고, 상기 라벨링의 정확도 상승을 위하여 소프트맥스 분류자(softmax classifier)를 사용하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단 장치.The structure detection unit of claim 1,
An artificial neural network-based method that applies weights using a fully connected layer to identify the extracted vertebral body and label it in a plurality of feature maps, and uses a softmax classifier to increase the accuracy of the labeling. Spondylolisthesis diagnostic device. 제 1 항에 있어서 구조물 검출부는,
완전 연결층을 이용하여 시각 정보가 포함된 상기 복수의 특징점 맵을 일렬로 정렬하여 각 특징점 맵에 라벨링 될 객체가 속할 확률을 벡터 형태로 출력한 결과, 가장 높은 확률로 출력된 객체를 각 특징점 맵에 포함된 객체로 분류하고, 분류된 상기 객체와 상기 척추체 식별 모듈의 출력 정보의 차이가 최소화되도록 척추체 식별 모듈의 가중치를 수정하여 학습하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단 장치. The structure detection unit of claim 1,
Using a fully connected layer, the plurality of feature point maps containing visual information are aligned in a row and the probability that an object to be labeled in each feature point map belongs is output in vector form. As a result, the object output with the highest probability is mapped to each feature point map. An artificial neural network-based spondylolisthesis diagnostic device that classifies objects included in and learns by modifying the weight of the vertebral body identification module to minimize the difference between the classified object and the output information of the vertebral body identification module. 제 1 항에 있어서 상기 전방전위증 진단부는,
상기 척추 전방전위증 진단 모델이 타겟 거리 측정 모듈, 등급 판정 모듈을 포함하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단 장치.The method of claim 1, wherein the anteversion diagnosis unit,
An artificial neural network-based spondylolisthesis diagnosis device, wherein the spondylolisthesis diagnosis model includes a target distance measurement module and a grade determination module. 제 10 항에 있어서 상기 전방전위증 진단부는,
상기 척추 전방전위증 진단 모델을 이용하여,
상기 추체 구조 정보를 상기 척추 전방전위증 진단 모델 중 타겟 거리 측정 모듈에 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 타겟 거리로 하여 측정하는 타겟 거리 측정부; 및
측정된 상기 타겟 거리를 상기 척추 전방전위증 진단 모델 중 등급 판정 모듈에 입력하여 제1~5등급 사이로 산정된 등급 정보를 출력 받고 출력 받은 등급 정보에 따라 척추 전방전위증 여부를 진단하는 등급 판정부를 더 포함하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단 장치.The method of claim 10, wherein the anteversion diagnosis unit,
Using the spondylolisthesis diagnostic model,
a target distance measurement unit that measures the vertebral body structure information using a target distance measurement module in the spondylolisthesis diagnostic model using the distance between the basal surface of the lower lumbar vertebra or first sacral vertebra and the posterosuperior edge of the upper vertebral body as the target distance; and
It further includes a grade determination unit that inputs the measured target distance into the grade determination module of the spondylolisthesis diagnosis model, outputs grade information calculated as grades 1 to 5, and diagnoses spondylolisthesis according to the output grade information. An artificial neural network-based spondylolisthesis diagnostic device. 제 11 항에 있어서 상기 등급 판정부는,
상기 타겟거리를 이용하여 하부 요추 또는 제1 천추의 기저면을 4분할한 지점을 선정하고, 상부 척추체의 후상방 모서리가 4분할된 구역 중 어디에 포함되느냐에 따라 등급을 판정하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단 장치.The method of claim 11, wherein the rating determination unit,
An artificial neural network characterized in that the point where the basal surface of the lower lumbar or first sacral vertebra is divided into four is selected using the target distance, and the grade is determined depending on which of the four divided areas contains the posterosuperior edge of the upper vertebral body. Based spondylolisthesis diagnostic device. 제 12 항에 있어서 상기 등급 판정부는,
타겟 거리의 기준이 되는 4분할 지점에 따라 제1~5등급 사이로 등급을 산정하고, 제2 등급 이상이면 척추 전방전위증으로 진단하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단 장치.The method of claim 12, wherein the rating determination unit,
An artificial neural network-based spondylolisthesis diagnostic device characterized by calculating a grade between grades 1 and 5 according to the four division points that serve as the standard for the target distance, and diagnosing spondylolisthesis if grade 2 or higher. X-ray 이미지를 특징점 추출모델에 입력하여 관심 영역을 포함한 특징점 맵을 출력 받고, 상기 관심 영역을 포함한 특징점 맵을 구조물 검출 모델에 입력하여 척추체를 추출 및 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링한 추체 구조 정보를 생성하는 단계; 및
상기 추체 구조 정보를 척추 전방전위증 진단 모델에 입력하여 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 측정하고, 측정한 거리에 따라 등급을 판정해 척추 전방전위증 여부를 진단하는 단계를 포함하고,
상기 추체 구조 정보를 생성하는 단계는,
상기 구조물 검출 모델이 척추체 추출 모듈, 척추체 식별 모듈을 포함하며,
상기 척추체 추출 모듈이 관심 영역을 포함한 특징점 맵을 입력 받아 관심영역의 픽셀마다 바이너리 마스크 여부를 판단하기 위해 마스킹을 수행하여 분할된 복수의 특징점 맵을 출력하는 단계를 더 포함하고,
상기 복수의 특징점 맵을 출력하는 단계는,
상기 척추체 식별 모듈이 분할된 복수의 특징점 맵을 각각 입력 받아 각 특징점 맵에 포함된 척추체를 식별한 척추체 식별정보를 출력하고, 추출된 척추체를 식별하여 생성한 식별 정보를 특징점 맵에 라벨링하여 추체 구조 정보를 생성하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법.Input the Generating cone structure information labeled in a feature point map; and
The vertebral body structure information is input into the spondylolisthesis diagnostic model to measure the distance between the basal surface of the lower lumbar or first sacral vertebra and the posterosuperior edge of the upper vertebral body, and a grade is determined according to the measured distance to diagnose spondylolisthesis. Including the steps of:
The step of generating the vertebrate structure information is,
The structure detection model includes a vertebral body extraction module and a vertebral body identification module,
The step of the vertebral body extraction module receiving a feature point map including a region of interest, performing masking to determine whether each pixel of the region of interest is a binary mask, and outputting a plurality of segmented feature point maps,
The step of outputting the plurality of feature point maps includes:
The vertebral body identification module receives a plurality of divided feature point maps, outputs vertebral body identification information identifying the vertebral bodies included in each feature point map, and labels the identification information generated by identifying the extracted vertebral bodies on the feature point map to structure the vertebral body. A method of providing information for diagnosing spondylolisthesis based on an artificial neural network, characterized by generating information. 제 14 항에 있어서 상기 추체 구조 정보를 생성하는 단계는,
상기 특징점 추출모델이 특징점 맵 생성 모듈, 관심 영역 설정 모듈을 포함하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법.The method of claim 14, wherein generating the vertebral body structure information comprises:
A method of providing information for diagnosing spondylolisthesis based on an artificial neural network, wherein the feature point extraction model includes a feature point map generation module and a region-of-interest setting module. 삭제delete 제 15 항에 있어서 상기 추체 구조 정보를 생성하는 단계는,
상기 특징점 추출모델을 이용하여,
상기 X-ray 이미지를 상기 특징점 추출모델 중 특징점 맵 생성 모듈에 입력하여 복수의 특징점 및 특징점 맵을 출력 받고,
출력된 상기 특징점 맵을 관심 영역 설정 모듈에 입력하여 상기 특징점 맵 중 객체가 존재할 확률이 높고 중복이 제거된 관심 영역을 출력 받는 특징점 추출부를 더 포함하는 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법.The method of claim 15, wherein the step of generating the vertebrate structure information includes:
Using the feature point extraction model,
Input the X-ray image into the feature point map generation module of the feature point extraction model to output a plurality of feature points and feature point maps,
Providing information for diagnosing spondylolisthesis based on an artificial neural network, further comprising a feature point extraction unit that inputs the outputted feature point map into a region-of-interest setting module to output a region of interest with a high probability of an object being present among the feature point maps and from which duplicates have been removed. method. 삭제delete 삭제delete 제 14 항에 있어서 상기 복수의 특징점 맵을 출력하는 단계는,
상기 척추체 추출 모듈은 관심 영역을 포함한 특징점 맵을 입력 받아 개로 분할된 특징점 맵을 출력하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법.The method of claim 14, wherein outputting the plurality of feature point maps includes:
The vertebral body extraction module receives a feature point map including the region of interest and A method of providing information for diagnosing spondylolisthesis based on an artificial neural network, characterized by outputting a map of feature points divided into individual points. 제 14 항에 있어서 상기 복수의 특징점 맵을 출력하는 단계는,
추출된 척추체를 식별하여 복수의 특징점 맵에 라벨링하기 위하여 완전 연결층을 이용하여 가중치를 적용하고, 상기 라벨링의 정확도 상승을 위하여 소프트맥스 분류자(softmax classifier)를 사용하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법.The method of claim 14, wherein outputting the plurality of feature point maps includes:
An artificial neural network-based method that applies weights using a fully connected layer to identify the extracted vertebral body and label it in a plurality of feature maps, and uses a softmax classifier to increase the accuracy of the labeling. How to provide information for diagnosing spondylolisthesis. 제 14 항에 있어서 상기 복수의 특징점 맵을 출력하는 단계는,
완전 연결층을 이용하여 시각 정보가 포함된 상기 복수의 특징점 맵을 일렬로 정렬하여 각 특징점 맵에 라벨링 될 객체가 속할 확률을 벡터 형태로 출력한 결과, 가장 높은 확률로 출력된 객체를 각 특징점 맵에 포함된 객체로 분류하고, 분류된 상기 객체와 상기 척추체 식별 모듈의 출력 정보의 차이가 최소화되도록 척추체 식별 모듈의 가중치를 수정하여 학습하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법. The method of claim 14, wherein outputting the plurality of feature point maps includes:
Using a fully connected layer, the plurality of feature point maps containing visual information are aligned in a row and the probability that an object to be labeled in each feature point map belongs is output in vector form. As a result, the object output with the highest probability is mapped to each feature point map. Information for diagnosing spondylolisthesis based on an artificial neural network, characterized in that it is classified as an object included in the object and learned by modifying the weight of the vertebral body identification module to minimize the difference between the classified object and the output information of the vertebral body identification module. How to provide. 제 14 항에 있어서 상기 척추 전방전위증 여부를 진단하는 단계는,
상기 척추 전방전위증 진단 모델이 타겟 거리 측정 모듈, 등급 판정 모듈을 포함하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법.The method of claim 14, wherein the step of diagnosing spondylolisthesis is:
An artificial neural network-based information providing method for diagnosing spondylolisthesis, wherein the spondylolisthesis diagnosis model includes a target distance measurement module and a grade determination module. 제 23 항에 있어서 상기 척추 전방전위증 여부를 진단하는 단계는,
상기 상기 척추 전방전위증 진단 모델을 이용하여,
상기 척추 전방전위증 진단 모델 중 추체 구조 정보를 타겟 거리 측정 모듈에 하부 요추 또는 제1 천추의 기저면과 상부 척추체의 후상방 모서리와의 거리를 타겟 거리로 하여 측정하는 단계; 및
측정된 상기 타겟 거리를 상기 척추 전방전위증 진단 모델 중 등급 판정 모듈에 입력하여 제1~5등급 사이로 산정된 등급 정보를 출력 받고 출력 받은 등급 정보에 따라 척추 전방전위증 여부를 진단하는 단계를 더 포함하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법.The method of claim 23, wherein the step of diagnosing spondylolisthesis is:
Using the spondylolisthesis diagnostic model,
Measuring the vertebral body structure information in the spondylolisthesis diagnostic model using the target distance as the distance between the basal surface of the lower lumbar vertebra or first sacral vertebra and the posterosuperior edge of the upper vertebral body; and
Inputting the measured target distance into a grade determination module of the spondylolisthesis diagnosis model to output grade information calculated as grades 1 to 5, and diagnosing spondylolisthesis according to the output grade information, further comprising: A method of providing information for diagnosing spondylolisthesis based on an artificial neural network, characterized in that: 제 23 항에 있어서 상기 척추 전방전위증 여부를 진단하는 단계는,
상기 타겟거리를 이용하여 하부 요추 또는 제1 천추의 기저면을 4분할한 지점을 선정하고, 상부 척추체의 후상방 모서리가 4분할된 구역 중 어디에 포함되느냐에 따라 등급을 판정하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법.The method of claim 23, wherein the step of diagnosing spondylolisthesis is:
An artificial neural network characterized in that the point where the basal surface of the lower lumbar or first sacral vertebra is divided into four is selected using the target distance, and the grade is determined depending on which of the four divided areas contains the posterosuperior edge of the upper vertebral body. Informational methods for diagnosing spondylolisthesis based on. 제 25 항에 있어서 상기 척추 전방전위증 여부를 진단하는 단계는,
타겟 거리의 기준이 되는 4분할 지점에 따라 제1~5등급 사이로 등급을 산정하고, 제2 등급 이상이면 척추 전방전위증으로 진단하는 것을 특징으로 하는 인공신경망 기반의 척추 전방위증 진단을 위한 정보 제공 방법.The method of claim 25, wherein the step of diagnosing spondylolisthesis is,
An artificial neural network-based information provision method for diagnosing spondylolisthesis, characterized in that the grade is calculated between grades 1 and 5 according to the four division points that serve as the standard for the target distance, and if it is grade 2 or higher, it is diagnosed as spondylolisthesis. .
KR1020220158557A 2022-11-23 2022-11-23 Spondylolisthesis diagnosis apparatus based on artificial neural network and information providing method therefor KR102605501B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220158557A KR102605501B1 (en) 2022-11-23 2022-11-23 Spondylolisthesis diagnosis apparatus based on artificial neural network and information providing method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220158557A KR102605501B1 (en) 2022-11-23 2022-11-23 Spondylolisthesis diagnosis apparatus based on artificial neural network and information providing method therefor

Publications (1)

Publication Number Publication Date
KR102605501B1 true KR102605501B1 (en) 2023-11-24

Family

ID=88972233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220158557A KR102605501B1 (en) 2022-11-23 2022-11-23 Spondylolisthesis diagnosis apparatus based on artificial neural network and information providing method therefor

Country Status (1)

Country Link
KR (1) KR102605501B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670845A (en) * 2023-12-08 2024-03-08 北京长木谷医疗科技股份有限公司 Spinal column slippage identification and assessment method and device based on X-ray medical image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095504A (en) * 2017-12-01 2020-08-10 유씨비 바이오파마 에스알엘 3D medical image analysis method and system for identifying vertebral fractures
KR20210034134A (en) * 2019-09-18 2021-03-30 원광대학교산학협력단 Apparatus and method for extracting interesting medical image based on spine position
KR20210140985A (en) * 2020-05-14 2021-11-23 가천대학교 산학협력단 The method and the system for measuring Cobb's angle and the computer program thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095504A (en) * 2017-12-01 2020-08-10 유씨비 바이오파마 에스알엘 3D medical image analysis method and system for identifying vertebral fractures
KR20210034134A (en) * 2019-09-18 2021-03-30 원광대학교산학협력단 Apparatus and method for extracting interesting medical image based on spine position
KR20210140985A (en) * 2020-05-14 2021-11-23 가천대학교 산학협력단 The method and the system for measuring Cobb's angle and the computer program thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Trinh GM. 외, Detection of Lumbar Spondylolisthesis from X-ray Images Using Deep Learning Network. J Clin Med. 2022. 2022년 9월 16일 공개. 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670845A (en) * 2023-12-08 2024-03-08 北京长木谷医疗科技股份有限公司 Spinal column slippage identification and assessment method and device based on X-ray medical image

Similar Documents

Publication Publication Date Title
KR101740464B1 (en) Method and system for diagnosis and prognosis of stroke and systme therefor
US10997466B2 (en) Method and system for image segmentation and identification
US10902587B2 (en) Methods and systems for labeling whole spine image using deep neural network
CN111931811B (en) Calculation method based on super-pixel image similarity
KR20200095504A (en) 3D medical image analysis method and system for identifying vertebral fractures
CN111369528B (en) Coronary artery angiography image stenosis region marking method based on deep convolutional network
EP3657433B1 (en) Medical image data
Han et al. Automated pathogenesis-based diagnosis of lumbar neural foraminal stenosis via deep multiscale multitask learning
Zhao et al. Automatic spondylolisthesis grading from MRIs across modalities using faster adversarial recognition network
WO2021183765A1 (en) Automated detection of tumors based on image processing
CN109919254B (en) Breast density classification method, system, readable storage medium and computer device
CN110264444A (en) Damage detecting method and device based on weak segmentation
CN110033438A (en) Hip joint tagging system and its labeling method
KR102605501B1 (en) Spondylolisthesis diagnosis apparatus based on artificial neural network and information providing method therefor
CN113763340A (en) Automatic grading method based on multitask deep learning ankylosing spondylitis
Tran et al. MBNet: A multi-task deep neural network for semantic segmentation and lumbar vertebra inspection on X-ray images
CN115115841A (en) Shadow spot image processing and analyzing method and system
KR102570004B1 (en) spine diagnosis system based on artificial neural network and information providing method therefor
Vania et al. Automatic spine segmentation using convolutional neural network via redundant generation of class labels for 3D spine modeling
AU2020223750B2 (en) Method and System for Image Annotation
US11842492B2 (en) Cerebral hematoma volume analysis
CN110533637B (en) Method and device for detecting object
Wijerathna et al. Brain Tumor Detection Using Image Processing
KR102567497B1 (en) spinal pelvic balance measurement apparatus based on artificial neural network and method therefor
KR102683718B1 (en) Apparatus and method for reading femoral dislocation using veterinary image processing

Legal Events

Date Code Title Description
GRNT Written decision to grant