KR102342990B1

KR102342990B1 - Apparatus and method for quantifying body size from medical image and providing thereof

Info

Publication number: KR102342990B1
Application number: KR1020200013233A
Authority: KR
Inventors: 이병일; 변시섭; 진재선
Original assignee: (주)헬스허브
Priority date: 2020-02-04
Filing date: 2020-02-04
Publication date: 2021-12-24
Also published as: KR20210099408A

Abstract

본 발명은 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 장치 및 그 방법에 관한 것으로, 신체부위별로 적어도 하나 이상 지정한 특징점과 상기 특징점을 레이블링한 각종 의료영상을 학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 통해 사용자가 제공한 입력 의료영상과 매칭되는 특징점 정보에 대한 측정정보를 추출하고, 상기 추출한 측정정보를 통해 사용자가 원하는 신체부위에 대한 사이즈를 수치화하여 제공함으로써, 의료영상을 통해 신체 사이즈를 정확하게 측정하고, 이를 사용자가 필요로 하는 맞춤형 제품에 반영하여 만족도를 높일 수 있도록 하는 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for numerically providing a body size from a medical image, and to generate a learning model by learning at least one specified feature point for each body part and various medical images labeled with the feature point, and the generated By extracting measurement information on feature point information that matches the input medical image provided by the user through the learning model, and quantifying the size of the body part desired by the user through the extracted measurement information, the body size through the medical image It relates to an apparatus and method for accurately measuring and reflecting the customized products required by users to increase satisfaction.

Description

Apparatus and method for numerically providing body size from medical images

본 발명은 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 신체부위별로 적어도 하나 이상 지정한 특징점과 상기 특징점을 레이블링한 각종 의료영상을 학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 통해 사용자가 제공한 입력 의료영상과 매칭되는 특징점 정보에 대한 측정정보를 추출하고, 상기 추출한 측정정보를 통해 사용자가 원하는 신체부위에 대한 사이즈를 수치화하여 제공함으로써, 의료영상을 통해 신체 사이즈를 정확하게 측정하고, 이를 사용자가 필요로 하는 맞춤형 제품에 반영하여 만족도를 높일 수 있도록 하는 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for numerically providing a body size from a medical image, and more particularly, generating a learning model by learning at least one specified feature point for each body part and various medical images labeled with the feature point, By extracting measurement information about the feature point information matching the input medical image provided by the user through the created learning model, and quantifying the size of the body part desired by the user through the extracted measurement information, the medical image is obtained It relates to an apparatus and method for accurately measuring body size through a user-friendly method and reflecting it in a customized product required by a user to increase satisfaction.

컴퓨터 단층촬영(CT, Computed Tomography), 자기공명영상(MRI, Magnetic Resonance Imaging) 등의 정밀의료영상을 촬영하는 이유는 일반적으로 병증의 유무를 확인하고, 해당 병증의 크기와 위치 등을 판독하여 병증의 진행정도를 판단하기 위함이다.The reason for taking precision medical images such as computed tomography (CT) and magnetic resonance imaging (MRI) is to check the presence or absence of a condition and read the size and location of the condition. to judge the progress of

이처럼 정밀의료영상에서 병증의 위치 및 크기를 판독하고자 하는 많은 시도가 있었지만, 사람의 신체에 대한 각 부분의 사이즈를 측정하는 것에 대한 연구는 없었다. 더욱이, 사람의 신체 각 부분에 대한 사이즈를 측정하여도 해당 신체 사이즈가 신체의 어느 부분을 지칭하는지 객관적으로 정의하기 어려운 문제가 있다.As such, there have been many attempts to read the location and size of the disease in the precision medical image, but there has been no study on measuring the size of each part of the human body. Moreover, even when the size of each part of the human body is measured, there is a problem in that it is difficult to objectively define which part of the body the corresponding body size refers to.

본 발명은 인공지능을 통해서 정밀의료영상으로부터 특징점을 추출하고, 상기 추출한 특징점으로부터 신체 사이즈를 측정하는 것이 가능하다는 점에 착안하였다. 종래에는 정밀의료영상에서 특징점을 추출하고, 상기 특징점을 통해서 병증을 찾아내거나 병증의 유무에 대해 구분하였지만, 의료영상으로부터 아무런 보조 정보 없이 무조건 특징점을 찾아서 유용한 정보로 활용하는 것은 단순하지 않다.The present invention was focused on the fact that it is possible to extract a feature point from a precision medical image through artificial intelligence and measure the body size from the extracted feature point. Conventionally, a key point is extracted from a precision medical image, and the condition is found or the presence or absence of a condition is determined through the key point. However, it is not simple to find the key point unconditionally without any auxiliary information from the medical image and use it as useful information.

본 발명에서는 적어도 하나 이상의 특징점과 해당 특징점에 대한 레이블링을 수행한 각 신체부위별 의료영상을 학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 통해 사용자가 제공한 입력 의료영상과 매칭되는 특징점 정보에 대한 측정정보(즉 특징점의 좌표, 레이블 및 상기 좌표의 데이터값 등)를 추출하고, 상기 추출한 측정정보를 통해 입력 의료영상에 포함된 특정 신체부위에 대한 사이즈를 수치화하여 제공함으로써, 의료영상으로부터 사용자가 원하는 신체부위의 정확한 사이즈를 얻을 수 있고, 특정 신체부위에 대한 사이즈 정보를 통해 사용자가 필요로 하는 제품을 맞춤형으로 제작하여 사용자의 만족도를 높일 수 있는 방안을 제시하고자 한다.In the present invention, a learning model is generated by learning at least one or more characteristic points and a medical image for each body part on which labeling has been performed on the characteristic point, and characteristic point information that matches the input medical image provided by the user through the created learning model By extracting measurement information (that is, the coordinates of feature points, labels, and data values of the coordinates, etc.) for It is intended to suggest a method that enables users to obtain the exact size of body parts they want, and can increase user satisfaction by customizing products that users need through size information on specific body parts.

특히 본 발명은 사용자가 제공하는 의료영상 뿐만 아니라, 사용자가 사용할 제품의 특성 및 사용자의 요구사항을 반영하여 특정 신체부위의 신체 사이즈를 수치화하여 제공함으로써, 정확도 높은 신체 사이즈 측정과 그 결과를 제공할 수 있도록 한다.In particular, the present invention provides not only the medical image provided by the user, but also the quantified body size of a specific body part by reflecting the characteristics of the product to be used by the user and the user's requirements, thereby providing high-accuracy body size measurement and the result. make it possible

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, the prior art existing in the technical field of the present invention will be briefly described, and then the technical matters that the present invention intends to achieve differently from the prior art will be described.

먼저 G. Harih, et al.(Customized Product Design based on Medical Imaging, 12th International Design Conference, May 21-24, 2012)은 자기공명영상 촬영, 분할(segmentation) 및 3D 재구성(reconstruction)을 통해 최적의 파워 그립 자세를 정의하고, 맞춤형 크로스컨트리 스키 폴 핸들을 결정하는 방법을 제시한 바 있다.First, G. Harih, et al. (Customized Product Design based on Medical Imaging, 12th International Design Conference, May 21-24, 2012) showed optimal power through magnetic resonance imaging, segmentation, and 3D reconstruction. We have presented how to define grip posture and determine a custom cross-country ski pole handle.

G. Harih 등은 특정 제품과 인터랙션이 있는 신체부분에 대한 의료영상을 촬영하여 역공학(reverse engineering)을 통해 3D로 재구성하고, 개인화된 핸들을 제작하는 방법을 제시하고 있지만, 이는 의료영상에서 추출한 측정정보를 통해 특정 신체부위에 대한 사이즈를 제공하는 기술이 아니므로 본 발명과 그 착상이나 구성에 있어 차이점이 있다.G. Harih et al. take a medical image of a body part that interacts with a specific product, reconstruct it in 3D through reverse engineering, and propose a method of manufacturing a personalized handle. Since it is not a technology that provides a size for a specific body part through measurement information, there is a difference between the present invention and its conception or configuration.

또한 박용희(맞춤형 추천모듈을 위한 전신 신체사이즈 추출, 한국산학기술학회논문지(2010년 12월))는 Haar-like 특징들(features)과 AdaBoost 알고리즘을 이용하여 빠른 속도와 높은 정확도로 영상 콘텐츠 내에서 신체 영역을 검출하고, 이후 AAM(Active Appearance Model)을 이용하여 특징점을 검출하고 도출된 측정치에 최적화된 상품을 추천하는 지능형 모듈 시스템을 구현하고 성능평가를 제시하며, 카메라로부터 얻어진 2차원 영상을 이용하여 특정 장비 없이 개개인의 신체 특징을 자동으로 추출할 수 있는 방법론을 제시하였다.In addition, Park Yong-hee (body size extraction for customized recommendation module, Journal of the Korean Society of Industry-Academic Technology (December 2010)) uses Haar-like features and the AdaBoost algorithm to create high-speed and high-accuracy images within video content. It detects body regions, then uses AAM (Active Appearance Model) to detect feature points, implements an intelligent module system that recommends products optimized for the derived measurements, presents performance evaluation, and uses the 2D image obtained from the camera Therefore, a methodology that can automatically extract individual body features without specific equipment was presented.

박용희 등은 일반 광학 사진으로부터 신체인식 알고리즘을 이용하여 신체사이즈를 자동으로 추출하고, 의류추천 및 자전거 피팅 사이즈 서비스 등에 활용하는 가능성을 제시하였지만, 이는 광학 사진으로부터 신체사이즈를 추출하는 기술이므로, 의료영상을 이용하여 특정 신체부위에 대한 사이즈 정보를 제공하는 본 발명의 구성과 그 착상이나 구성에 있어 차이점이 있다.Yonghee Park et al. suggested the possibility of automatically extracting body size from general optical photos using a body recognition algorithm and using it for clothing recommendation and bicycle fitting size service. There is a difference between the configuration of the present invention, which provides size information for a specific body part using

이상에서 선행기술들을 검토한 결과, 상기 선행기술들은 자기공명영상, 분할 및 3D 재구성을 통해 맞춤형 크로스컨트리 스키 폴 핸들을 결정하는 구성, 사진으로부터 신체인식 알고리즘을 이용하여 신체사이즈를 자동으로 추출하는 구성 등을 제시하고 있다. 그러나 본 발명은 각 신체부위에 대하여 적어도 하나 이상의 특징점과 해당 특징점에 대해 레이블링된 의료영상을 학습하여 학습모델을 생성하고, 사용자가 입력하는 의료영상을 상기 생성한 학습모델에 적용하여 원하는 신체부위에 대한 사이즈를 수치화하여 제공하는 기술적 특징을 제시하는 것으로서, 이와 관련된 구성에 대해서는 상기 선행기술에 아무런 기재나 그 어떠한 암시도 없기 때문에 상기 선행기술과 본 발명은 기술적 차이점이 분명한 것이다.As a result of examining the prior art above, the prior art consists of determining a custom cross-country ski pole handle through magnetic resonance imaging, segmentation and 3D reconstruction, and automatically extracting body size from a photograph using a body recognition algorithm etc. are presented. However, the present invention generates a learning model by learning at least one feature point for each body part and a medical image labeled for the feature point, and applies the medical image input by the user to the created learning model to obtain a desired body part. As to present the technical characteristics provided by numerically quantifying the size of the metric, the technical difference between the prior art and the present invention is clear because there is no description or any suggestion in the prior art for the related configuration.

또한 의료영상을 통해 확인한 사용자의 특정 신체부위에 대한 사이즈 정보를 통해 사용자가 필요로 하는 맞춤형 제품을 제작하여, 사용자의 만족도를 높일 수 있는 구성은 선행기술에서 전혀 제시되지 않은 본 발명만의 특징적인 기술적 구성이다.In addition, a configuration that can increase user satisfaction by manufacturing a customized product needed by a user through size information on a specific body part of the user confirmed through a medical image is a characteristic characteristic of the present invention, which is not presented at all in the prior art. It is a technical construct.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 의료영상으로부터 사용자가 원하는 신체부위의 사이즈를 얻을 수 있는 장치 및 그 방법을 제공하는 것을 목적으로 한다.The present invention was created to solve the above problems, and an object of the present invention is to provide an apparatus and method for obtaining the size of a body part desired by a user from a medical image.

또한 본 발명은 사용자가 제공하는 입력 의료영상과 매칭되는 특징점 정보에 대한 측정정보를 추출하여 원하는 신체부위에 대한 사이즈를 수치화하여 제공하는 장치 및 그 방법을 제공하는 것을 다른 목적으로 한다.Another object of the present invention is to provide an apparatus and method for extracting measurement information on feature point information matched with an input medical image provided by a user and quantifying the size of a desired body part and providing the same.

또한 본 발명은 적어도 하나 이상의 특징점과 해당 특징점에 대한 레이블링을 수행한 각 신체부위별 의료영상을 학습하여 인공지능 학습모델을 생성하고, 상기 생성한 학습모델을 통해 사용자가 제공하는 입력 의료영상과 매칭되는 특징점 정보에 대한 측정정보를 추출하여 원하는 신체부위에 대한 사이즈를 수치화하여 제공하는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention generates an artificial intelligence learning model by learning at least one feature point and a medical image for each body part on which labeling is performed on the feature point, and matching with an input medical image provided by a user through the created learning model Another object of the present invention is to provide an apparatus and method for extracting measurement information for characteristic point information to be digitized and providing the size of a desired body part.

또한 본 발명은 의료영상을 통해서 영상의 사이즈에 대한 별도의 레퍼런스(reference)없이도 실제 사이즈를 측정하는 것을 또 다른 목적으로 한다.Another object of the present invention is to measure the actual size through a medical image without a separate reference for the size of the image.

또한 본 발명은 의료영상을 통해 확인한 사용자의 특정 신체부위에 대한 사이즈 정보를 통해 사용자가 필요로 하는 제품을 맞춤형으로 제작함으로써, 사용자의 만족도를 높일 수 있는 장치 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.Another object of the present invention is to provide an apparatus and method capable of increasing user satisfaction by customizing the product required by the user through size information on a specific body part of the user confirmed through a medical image, and a method thereof. do it with

본 발명의 일 실시예에 따른 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 장치는, 입력 의료영상과 매칭되는 특징점 정보를 추출하는 의료영상 매칭부; 상기 추출한 특징점 정보에 대한 측정정보를 추출하는 측정정보 추출부; 및 상기 추출한 측정정보를 토대로 상기 입력 의료영상에 포함된 특정 신체부위의 신체 사이즈를 수치화하여 출력하는 신체 사이즈 수치화부;를 포함하는 것을 특징으로 한다.According to an embodiment of the present invention, there is provided an apparatus for numerically providing a body size from a medical image, comprising: a medical image matching unit for extracting feature point information matching an input medical image; a measurement information extraction unit for extracting measurement information for the extracted feature point information; and a body size quantifier for digitizing and outputting the body size of a specific body part included in the input medical image based on the extracted measurement information.

또한 상기 장치는, 상기 입력 의료영상에 따라 적어도 하나 이상의 학습모델을 선정하는 학습모델 선정부;를 더 포함하며, 상기 의료영상 매칭부는, 상기 선정한 학습모델에 상기 입력 의료영상을 적용하여, 상기 입력 의료영상과 매칭되는 특징점 정보를 추출하는 것을 특징으로 한다.The apparatus further includes a learning model selector configured to select at least one learning model according to the input medical image, wherein the medical image matching unit applies the input medical image to the selected learning model, It is characterized in that the feature point information matching the medical image is extracted.

또한 상기 장치는, 신체부위별로 적어도 하나 이상의 특징점과 상기 특징점을 레이블링한 복수의 의료영상을 학습하여 학습모델을 생성하는 학습모델 생성부;를 더 포함하는 것을 특징으로 한다.In addition, the apparatus may further include a learning model generator configured to generate a learning model by learning at least one feature point for each body part and a plurality of medical images labeled with the feature point.

또한 상기 학습모델 생성부는, 상기 의료영상에서 적어도 하나 이상의 특징점을 결정하는 특징점 결정부; 상기 결정한 특징점을 레이블링하는 레이블링부; 및 상기 레이블링한 의료영상을 학습하여, 상기 신체부위별로 학습모델을 생성하는 학습부;를 포함하는 것을 특징으로 한다.In addition, the learning model generator may include: a feature point determiner configured to determine at least one feature point in the medical image; a labeling unit for labeling the determined feature point; and a learning unit that learns the labeled medical image and generates a learning model for each body part.

또한 상기 학습모델 생성부는, 상기 특정 신체부위에 지정된 각 특징점을 대상으로 학습을 수행하거나, 또는 상기 특정 신체부위의 일부나 전부에 대해 지정된 특징점 그룹을 대상으로 학습을 수행하는 것을 포함하는 것을 특징으로 한다.In addition, the learning model generating unit comprises performing learning for each feature point designated for the specific body part, or performing learning on a feature point group designated for some or all of the specific body part. do.

또한 상기 장치는, 상기 의료영상을 상기 생성한 학습모델에 입력하여 출력한 결과와 상기 신체부위별로 적어도 하나 이상의 특징점과 상기 특징점을 레이블링한 결과를 비교하여 상기 생성한 학습모델을 검증하고, 상기 검증한 결과를 토대로 오차를 최소화하는 방향으로 가중치를 조정하여 상기 학습모델을 최적화하는 학습모델 최적화부;를 더 포함하는 것을 특징으로 한다.In addition, the apparatus verifies the generated learning model by comparing an output result of inputting the medical image into the generated learning model with a result of labeling the feature point with at least one feature point for each body part, and verifying the It characterized in that it further comprises; a learning model optimization unit for optimizing the learning model by adjusting the weight in a direction to minimize the error based on the result.

또한 상기 신체 사이즈 수치화부는, 상기 추출한 측정정보의 각 특징점을 서로 연결하고, 상기 서로 연결한 특징점간의 거리를 측정하여 결합함으로써, 상기 신체 사이즈를 수치화하여 출력하는 것을 특징으로 한다.In addition, the body size digitization unit is characterized in that each feature point of the extracted measurement information is connected to each other, and the distance between the connected feature points is measured and combined, thereby digitizing and outputting the body size.

또한 상기 학습모델 선정부는, 신체부위별로 입력 의료영상을 입력할 수 있는 사용자 인터페이스를 통해 상기 입력 의료영상이 어느 부분에 입력되었는지에 따라 상기 입력 의료영상이 어느 신체부위인지를 확인하거나, 상기 입력 의료영상을 제공한 사용자가 직접 입력하는 신체부위 정보에 따라 상기 입력 의료영상이 어느 신체부위인지를 확인하거나, 상기 입력 의료영상을 제공한 사용자가 기 설정된 신체부위에 대한 리스트 중에서 적어도 하나 이상 선택하는 신체부위 정보에 따라 상기 입력 의료영상이 어느 신체부위인지를 확인하거나, 또는 상기 입력 의료영상을 기 설정된 신체부위 확인용 학습모델에 적용하여 상기 입력 의료영상이 어느 신체부위인지를 확인하는 것을 포함하는 것을 특징으로 한다.In addition, the learning model selector may check which body part the input medical image is based on which part is inputted through a user interface capable of inputting the input medical image for each body part, or Body in which the input medical image is identified according to body part information directly input by the user who provided the image, or at least one body part selected by the user who provided the input medical image from a list of preset body parts Checking which body part the input medical image is according to the part information, or applying the input medical image to a preset body part identification learning model to identify which body part the input medical image is characterized.

아울러, 본 발명의 일 실시예에 따른 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 그 방법은, 신체 사이즈를 수치화하여 제공하는 장치에서, 입력 의료영상과 매칭되는 특징점 정보를 추출하는 의료영상 매칭 단계; 상기 추출한 특징점 정보에 대한 측정정보를 추출하는 측정정보 추출 단계; 및 상기 추출한 측정정보를 토대로 상기 입력 의료영상에 포함된 특정 신체부위의 신체 사이즈를 수치화하여 출력하는 신체 사이즈 수치화 단계;를 포함하는 것을 특징으로 한다.In addition, according to an embodiment of the present invention, there is provided a method for quantifying and providing a body size from a medical image, comprising: a medical image matching step of extracting feature point information matching an input medical image in an apparatus for quantifying and providing the body size; a measurement information extraction step of extracting measurement information for the extracted feature point information; and a body size digitization step of digitizing and outputting the body size of a specific body part included in the input medical image based on the extracted measurement information.

또한 상기 방법은, 상기 입력 의료영상에 따라 적어도 하나 이상의 학습모델을 선정하는 학습모델 선정 단계;를 더 포함하며, 상기 의료영상 매칭 단계는, 상기 선정한 학습모델에 상기 입력 의료영상을 적용하여, 상기 입력 의료영상과 매칭되는 특징점 정보를 추출하는 것을 특징으로 한다.In addition, the method further includes a learning model selection step of selecting at least one learning model according to the input medical image, wherein the medical image matching step is performed by applying the input medical image to the selected learning model, It is characterized in that the feature point information matching the input medical image is extracted.

또한 상기 방법은, 신체부위별로 적어도 하나 이상의 특징점과 상기 특징점을 레이블링한 복수의 의료영상을 학습하여 학습모델을 생성하는 학습모델 생성 단계;를 더 포함하는 것을 특징으로 한다.In addition, the method may further include a learning model generating step of generating a learning model by learning at least one feature point for each body part and a plurality of medical images labeled with the feature point.

또한 상기 학습모델 생성 단계는, 상기 의료영상에서 적어도 하나 이상의 특징점을 결정하는 특징점 결정 단계; 상기 결정한 특징점을 레이블링하는 레이블링 단계; 및 상기 레이블링한 의료영상을 학습하여, 상기 신체부위별로 학습모델을 생성하는 학습 단계;를 포함하는 것을 특징으로 한다.In addition, the generating of the learning model may include a feature point determining step of determining at least one feature point in the medical image; a labeling step of labeling the determined feature point; and a learning step of learning the labeled medical image and generating a learning model for each body part.

또한 상기 학습은, 상기 특정 신체부위에 지정된 각 특징점을 대상으로 학습을 수행하거나, 또는 상기 특정 신체부위의 일부나 전부에 대해 지정된 특징점 그룹을 대상으로 학습을 수행하는 것을 포함하는 것을 특징으로 한다.In addition, the learning is characterized in that it includes performing learning for each feature point designated for the specific body part, or performing learning on a feature point group designated for some or all of the specific body part.

또한 상기 방법은, 상기 의료영상을 상기 생성한 학습모델에 입력하여 출력한 결과와 상기 신체부위별로 적어도 하나 이상의 특징점과 상기 특징점을 레이블링한 결과를 비교하여 상기 생성한 학습모델을 검증하고, 상기 검증한 결과를 토대로 오차를 최소화하는 방향으로 가중치를 조정하여 상기 학습모델을 최적화하는 학습모델 최적화 단계;를 더 포함하는 것을 특징으로 한다.Also, in the method, the generated learning model is verified by comparing an output result of inputting the medical image to the generated learning model with a result of labeling the characteristic point with at least one feature point for each body part, and the verification It characterized in that it further comprises; learning model optimization step of optimizing the learning model by adjusting the weights in a direction to minimize the error based on the result.

또한 상기 신체 사이즈를 수치화하여 출력하는 것은, 상기 추출한 특징 정보의 각 특징점을 서로 연결하고, 상기 서로 연결한 특징점간의 거리를 측정하여 결합함으로써, 수행되는 것을 특징으로 한다.In addition, the numerical output of the body size is characterized in that it is performed by connecting each of the feature points of the extracted feature information, measuring the distance between the connected feature points, and combining them.

또한 상기 학습모델 선정 단계는, 신체부위별로 입력 의료영상을 입력할 수 있는 사용자 인터페이스를 통해 상기 입력 의료영상이 어느 부분에 입력되었는지에 따라 상기 입력 의료영상이 어느 신체부위인지를 확인하거나, 상기 입력 의료영상을 제공한 사용자가 직접 입력하는 신체부위 정보에 따라 상기 입력 의료영상이 어느 신체부위인지를 확인하거나, 상기 입력 의료영상을 제공한 사용자가 기 설정된 신체부위에 대한 리스트 중에서 적어도 하나 이상 선택하는 신체부위 정보에 따라 상기 입력 의료영상이 어느 신체부위인지를 확인하거나, 또는 상기 입력 의료영상을 기 설정된 신체부위 확인용 학습모델에 적용하여 상기 입력 의료영상이 어느 신체부위인지를 확인하는 것을 포함하는 것을 특징으로 한다.In addition, the step of selecting the learning model may include checking which body part the input medical image is according to which part the input medical image is inputted through a user interface capable of inputting the input medical image for each body part, or Confirming which body part the input medical image is based on body part information directly input by the user who provided the medical image, or selecting at least one or more from a list of preset body parts by the user who provided the input medical image Confirming which body part the input medical image is according to body part information, or applying the input medical image to a preset body part identification learning model to confirm which body part the input medical image is characterized in that

이상에서와 같이 본 발명의 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 장치 및 그 방법에 따르면, 적어도 하나 이상의 특징점과 해당 특징점에 대한 레이블링을 수행한 각 신체부위별 의료영상을 학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 통해 사용자가 제공하는 입력 의료영상과 매칭되는 특징점 정보에 대한 측정정보를 추출하여 원하는 신체부위에 대한 사이즈를 수치화하여 제공함으로써, 각 사용자들은 자신의 의료영상으로부터 원하는 신체부위의 정확한 사이즈를 얻을 수 있으며, 각 제조업체에서는 의료영상을 통해 확인한 특정 신체부위에 대한 사이즈 정보를 통해 사용자가 필요로 하는 제품을 제작할 수 있으므로 사용자의 만족도를 크게 높일 수 있는 효과가 있다.As described above, according to the apparatus and method for numerically providing body size from a medical image of the present invention, a learning model is generated by learning at least one or more characteristic points and a medical image for each body part labeled with the characteristic points. And, by extracting measurement information about the feature point information matching the input medical image provided by the user through the created learning model and quantifying the size of the desired body part and providing it, each user can obtain the desired body from his or her medical image. The exact size of the part can be obtained, and each manufacturer can manufacture the product needed by the user through the size information for a specific body part confirmed through the medical image, thereby greatly increasing user satisfaction.

도 1은 본 발명의 일 실시예에 따른 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 장치의 전체 블록도이다.
도 2는 본 발명의 일 실시예에 따른 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 과정을 설명하기 위한 도면이다.
도 3은 본 발명에 적용되는 학습모델 생성 과정과 학습 네트워크 구조를 상세하게 설명하기 위한 도면이다.
도 4는 본 발명에 적용되는 각 신체부위별 학습모델에 입력 의료영상을 입력하여 특징점 정보를 추출하는 과정을 상세하게 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 신체 사이즈 수치화 제공 장치의 구성을 상세하게 나타낸 블록도이다.
도 6과 도 7은 본 발명에 적용되는 특징점 및 레이블링 결정의 일 예를 각각 설명하기 위한 도면이다.
도 8은 본 발명에 적용되는 신체부위별로 생성되는 학습모델의 최적화를 설명하기 위한 도면이다.
도 9는 본 발명에 적용되는 특징점간의 연결을 통한 수치화의 일 예를 설명하기 위한 도면이다.
도 10은 본 발명에 적용되는 사용자가 제공하는 입력 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 과정을 상세하게 나타낸 순서도이다.
도 11은 본 발명에 적용되는 의료영상을 이용한 학습모델을 생성하는 과정을 상세하게 나타낸 순서도이다.
도 12는 본 발명의 일 실시예에 따른 신체 사이즈 수치화 제공 장치(100)의 하드웨어 구조를 나타낸 도면이다.1 is an overall block diagram of an apparatus for numerically providing a body size from a medical image according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a process of quantifying and providing a body size from a medical image according to an embodiment of the present invention.
3 is a diagram for explaining in detail a learning model creation process and a learning network structure applied to the present invention.
4 is a diagram for explaining in detail a process of extracting feature point information by inputting an input medical image to a learning model for each body part applied to the present invention.
5 is a block diagram illustrating in detail the configuration of an apparatus for providing quantification of body size according to an embodiment of the present invention.
6 and 7 are diagrams each for explaining an example of a feature point and a labeling decision applied to the present invention.
8 is a diagram for explaining optimization of a learning model generated for each body part applied to the present invention.
9 is a view for explaining an example of digitization through connection between feature points applied to the present invention.
10 is a flowchart illustrating in detail a process of quantifying and providing a body size from an input medical image provided by a user applied to the present invention.
11 is a flowchart illustrating in detail a process of generating a learning model using a medical image applied to the present invention.
12 is a diagram illustrating a hardware structure of an apparatus 100 for providing quantification of body size according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 장치 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Hereinafter, with reference to the accompanying drawings, a preferred embodiment of an apparatus and method for providing numerically a body size from a medical image of the present invention will be described in detail. Like reference numerals in each figure indicate like elements. In addition, specific structural or functional descriptions of the embodiments of the present invention are only exemplified for the purpose of describing the embodiments according to the present invention, and unless otherwise defined, all terms used herein, including technical or scientific terms They have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention pertains. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. It is preferable not to

도 1은 본 발명의 일 실시예에 따른 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 장치의 전체 블록도이다.1 is an overall block diagram of an apparatus for numerically providing a body size from a medical image according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명은 신체 사이즈를 수치화하여 제공하는 장치(100)(이하, 신체 사이즈 수치화 제공 장치라 칭함), 데이터베이스(200), 학습용 의료영상 제공 단말(300), 사용자 단말(400) 등을 포함하여 구성된다.As shown in FIG. 1 , the present invention provides an apparatus 100 (hereinafter referred to as an apparatus for providing numerical body size), a database 200, a terminal 300 for providing medical images for learning, and a user terminal for providing numerically a body size. (400) and the like.

상기 신체 사이즈 수치화 제공 장치(100)는 네트워크를 통해 상기 학습용 의료영상 제공 단말(300)로부터 각종 학습용 의료영상을 일정한 주기에 따라 수집하거나 실시간으로 수집하고, 상기 수집한 학습용 의료영상을 학습하여 신체부위별 학습모델을 생성하고, 상기 생성한 신체부위별 학습모델을 상기 데이터베이스(200)에 저장한다.The body size quantification providing apparatus 100 collects various medical images for learning from the medical image providing terminal 300 for learning through a network at regular intervals or collects them in real time, and learns the collected medical images for learning to learn body parts A specific learning model is generated, and the generated learning model for each body part is stored in the database 200 .

즉 상기 신체 사이즈 수치화 제공 장치(100)는 의사나 영상판독 전문가 등이 상기 수집한 각종 학습용 의료영상을 보고 결정한 적어도 하나 이상의 특징점과 해당 특징점에 대한 레이블링을 토대로 학습을 수행하여 신체부위별 학습모델을 생성하는 것이다.That is, the body size quantification providing apparatus 100 performs learning based on at least one characteristic point determined by a doctor or an image reading expert after viewing the collected various medical images for learning and the labeling for the characteristic point to obtain a learning model for each body part. it will create

이때 상기 학습용 의료영상은 개인정보 활용에 동의한 사용자들의 의료영상으로서, 개인정보의 노출 우려가 없고, 2차원의 엑스레이 영상, 3차원의 CT나 MRI 등의 모든 의료영상을 포함한다. 이러한 의료영상은 2차원 혹은 3차원 좌표와 각 좌표에서 의료영상의 밝기값과 컬러값을 나타내는 픽셀(pixel) 혹은 복셀(voxel)로 구성된다.At this time, the medical image for learning is a medical image of users who agree to use personal information, there is no risk of personal information exposure, and includes all medical images such as two-dimensional X-ray images and three-dimensional CT or MRI. Such a medical image is composed of two-dimensional or three-dimensional coordinates and pixels or voxels indicating the brightness and color values of the medical image at each coordinate.

또한 상기 학습용 의료영상 제공 단말(300)로부터 수집한 각종 학습용 의료영상을 신체부위별로 학습할 때, 본 발명에서는 지도학습, 비지도학습, 강화학습 등의 다양한 학습방법을 사용할 수 있다.In addition, when various learning medical images collected from the learning medical image providing terminal 300 are learned for each body part, various learning methods such as supervised learning, unsupervised learning, and reinforcement learning can be used in the present invention.

또한 상기 학습용 의료영상 제공 단말(300)로부터 수집한 각종 학습용 의료영상을 신체부위별로 학습하여 학습모델을 생성할 때, 본 발명에서는 성, 연령, 인종 등에 따라 세분화하여 학습모델을 생성함으로써, 신체부위별 학습모델의 신뢰도를 크게 향상시킬 수 있으며, 신체 사이즈의 측정 정확도를 높일 수 있다.In addition, when generating a learning model by learning various medical images for learning collected from the learning medical image providing terminal 300 for each body part, in the present invention, by generating a learning model by subdividing according to gender, age, race, etc., the body part The reliability of the star learning model can be greatly improved, and the accuracy of body size measurement can be increased.

한편, 상기 신체 사이즈 수치화 제공 장치(100)는 신체부위별 학습모델을 생성한 이후, 상기 사용자 단말(400)로부터 사용자가 원하는 특정 신체부위에 대한 사이즈를 확인하기 위한 입력 의료영상이 제공되면, 상기 입력 의료영상이 어느 신체부위인지를 확인하고, 상기 확인한 신체부위에 대한 복수의 학습모델을 상기 데이터베이스(200)로부터 로딩하고, 상기 입력 의료영상을 상기 로딩한 특정 신체부위에 대한 복수의 학습모델에 입력하여, 상기 입력 의료영상과 매칭되는 특징점 정보를 추출한다. 이때 상기 입력 의료영상은 사용자가 사이즈 측정을 원하는 부분을 지정한 임의의 특징점 정보를 포함한다.On the other hand, after the apparatus 100 for providing quantification of body size generates a learning model for each body part, when an input medical image for confirming the size of a specific body part desired by the user is provided from the user terminal 400, the Check which body part the input medical image is, load a plurality of learning models for the identified body part from the database 200, and load the input medical image to a plurality of learning models for the loaded specific body part input, and extracts feature point information matching the input medical image. In this case, the input medical image includes information on arbitrary feature points in which the user designates a portion for which size measurement is desired.

즉 사용자가 제공한 상기 입력 의료영상의 특정 신체부위와 가장 유사한 형태의 특징점 정보를 찾아내는 것이다. 예를 들어, 상기 입력 의료영상이 2차원 영상이면 픽셀(pixel) 정보를 이용하여 상기 입력 의료영상과 매칭되는 특징점 정보를 추출하며, 상기 입력 의료영상이 3차원 영상이면 복셀(voxel) 정보를 이용하여 상기 입력 의료영상과 매칭되는 특징점 정보를 추출한다.That is, it is to find feature point information in the form most similar to a specific body part of the input medical image provided by the user. For example, if the input medical image is a 2D image, information on feature points matching the input medical image is extracted using pixel information, and if the input medical image is a 3D image, voxel information is used Thus, feature point information matching the input medical image is extracted.

이때 상기 신체 사이즈 수치화 제공 장치(100)는 사용자가 제공하는 상기 입력 의료영상이 어느 신체부위인지를 즉시 판단하는 것이 필요한데, 이를 위해서, 본 발명에서는 여러 가지 방식을 적용할 수 있다. 예를 들어, 상기 신체 사이즈 수치화 제공 장치(100)는 사용자가 상기 사용자 단말(400)에 표시되는 신체부위별로 나뉜 사용자 인터페이스를 통해 입력 의료영상을 드래그 앤 드랍(drag & drop) 형태로 해당 신체부위에 끌어다 입력하거나, 사용자가 직접 어느 신체부위에 대한 입력 의료영상인지를 텍스트 형태로 입력하거나, 사용자가 상기 신체 사이즈 수치화 제공 장치(100)에서 제공하는 신체부위에 대한 리스트 중 적어도 하나 이상의 리스트를 선택하는 것을 통해서 상기 입력 의료영상이 어느 신체부위인지를 즉각적으로 판단한다. 그 이외에, 상기 신체 사이즈 수치화 제공 장치(100)는 상기 입력 의료영상을 기 설정된 신체부위 확인용 학습모델에 적용하여, 상기 입력 의료영상이 어느 신체부위인지를 확인할 수도 있다.At this time, it is necessary for the apparatus 100 to provide quantification of body size to immediately determine which body part the input medical image provided by the user is. To this end, various methods can be applied in the present invention. For example, the body size quantification providing apparatus 100 allows a user to drag and drop a medical image input through a user interface divided for each body part displayed on the user terminal 400 in the form of a corresponding body part The user selects at least one list from among the list of body parts provided by the apparatus 100 for providing quantification of body size, input by dragging and inputting the medical image of which body part the user directly inputs in text form. By doing so, it is immediately determined which body part the input medical image is. In addition, the apparatus 100 for providing quantification of body size may apply the input medical image to a preset learning model for body part confirmation to determine which body part the input medical image is.

또한, 상기 신체 사이즈 수치화 제공 장치(100)는 신체부위별 학습모델을 통해서 사용자가 제공한 상기 입력 의료영상과 매칭되는 특징점 정보가 추출되면, 상기 추출된 특징점 정보로부터 특징점, 상기 특징점의 좌표, 레이블 등을 포함한 측정정보를 추출하고, 상기 추출한 측정정보를 통해 사용자가 원하는 신체부위에 대한 사이즈를 수치화하여 사용자에게 제공한다.In addition, the body size quantification providing apparatus 100 extracts the key point information matching the input medical image provided by the user through the learning model for each body part, the key point, the coordinates of the key point, and the label from the extracted key point information The measurement information including the etc. is extracted, and the size of the body part desired by the user is digitized through the extracted measurement information and provided to the user.

즉 상기 추출한 측정정보를 토대로 각 특징점간을 상기 데이터베이스(200)에 기 설정된 특징점 연결정보를 참조하여 서로 연결하여 결합함으로써, 2차원 또는 3차원 모델링을 수행하고, 상기 2차원 또는 3차원 모델을 통해 특정 신체부위에 대한 정확한 신체 사이즈를 측정하여 제공할 수 있는 것이다.That is, two-dimensional or three-dimensional modeling is performed by connecting and combining each feature point based on the extracted measurement information with reference to feature point connection information set in the database 200, and through the two-dimensional or three-dimensional model It is possible to measure and provide an accurate body size for a specific body part.

이때 상기 신체 사이즈 수치화 제공 장치(100)는 상기 특징점 연결정보를 이용한 신체 사이즈 수치화 방식 이외에, 특정 신체의 둘레 정보를 요청하는 사용자에게 상기 입력 의료영상에서 신체의 둘레 부분에 더 많은 임의의 특징점을 선택하도록 요구하고, 사용자가 선택하는 임의의 특징점을 토대로 가장 유사하게 매칭되는 특징점을 추출하고, 상기 추출한 특징점간을 서로 연결하여 특정 신체 부위의 둘레 부분을 더욱 정밀하게 수치화하여 제공할 수 있다.In this case, the apparatus 100 for providing quantified body size selects more arbitrary feature points on the perimeter of the body in the input medical image to the user who requests specific body perimeter information, in addition to the body size digitization method using the feature point connection information. , extracting the most similarly matching feature points based on arbitrary feature points selected by the user, and connecting the extracted feature points with each other to more precisely quantify and provide the perimeter of a specific body part.

이에 따라 사용자는 의료영상을 통해 자신이 원하는 특정 신체부위의 정확한 사이즈를 얻을 수 있고, 특정 신체부위에 대한 사이즈 정보를 통해 필요로 하는 제품을 맞춤형으로 제작하여 만족도를 높일 수 있게 된다.Accordingly, the user can obtain the exact size of a specific body part that he or she wants through the medical image, and can increase satisfaction by customizing the required product through size information on the specific body part.

한편, 상기 신체 사이즈 수치화 제공 장치(100)는 상기에서와 같이 학습모델을 이용하지 않고, 네트워크를 통해 수집한 복수의 의료영상에서 특징점 정보를 추출, 분류하여 상기 데이터베이스(200)에 저장한 상태에서, 사용자가 제공하는 입력 의료영상과 가장 근접하게 매칭되는 특징점 정보를 추출하는 방식을 사용할 수 있다.On the other hand, the body size quantification providing apparatus 100 does not use a learning model as described above, but extracts and classifies feature point information from a plurality of medical images collected through a network and stores it in the database 200 . , a method of extracting feature point information that most closely matches the input medical image provided by the user may be used.

또한, 상기 신체 사이즈 수치화 제공 장치(100)는 사용자가 제공하는 입력 의료영상 이외에, 사용자가 사용할 제품의 특성이나 요구사항을 제공하면, 이를 참조하여 상기 입력 의료영상에 포함된 특정 신체부위에 대한 신체 사이즈를 특정하여 제공해 줄 수 있다. 예를 들어, 사용자가 모자를 자신의 머리 사이즈에 타이트하게 맞추어 쓸 수 있도록 하기 위한 요구사항을 입력하면, 폭이 가장 넓거나 좁은 거리 및 위치를 확인하기 위한 특징점을 특정한 다음, 상기 특정한 해당 특징점간의 신체 사이즈를 수치화하여 최종 결과로 제공하는 것이다.In addition, when the device 100 for providing quantification of body size provides characteristics or requirements of a product to be used by the user in addition to the input medical image provided by the user, referring to this, the body size for a specific body part included in the input medical image is provided. You can specify the size and provide it. For example, if a user inputs a requirement to fit a hat to fit his or her head size, a feature point for checking the widest or narrowest distance and location is specified, and then, the distance between the specific feature point is specified. It is to provide the final result by quantifying the body size.

또한, 본 발명의 신체 사이즈 수치화 제공 서비스의 가장 일반적인 사용형태는 사용자가 상기 사용자 단말(400)에 설치된 애플리케이션 프로그램을 통해 의료영상을 입력하면, 상기 사용자 단말(400)에서 네트워크를 통해 상기 신체 사이즈 수치화 제공 장치(100)로 의료영상을 제공하고, 상기 신체 사이즈 수치화 제공 장치(100)에서 상기 의료영상을 사전에 구축해 놓은 신체부위별 학습모델에 적용하여 사용자가 원하는 특정 신체부위의 신체 사이즈를 측정 및 수치화하여 제공하는 방식이다.In addition, the most common usage form of the body size quantification providing service of the present invention is when a user inputs a medical image through an application program installed in the user terminal 400 , the user terminal 400 quantifies the body size through a network A medical image is provided to the providing device 100, and the medical image is applied to a pre-established learning model for each body part in the body size quantification providing device 100 to measure the body size of a specific body part desired by the user and It is a method of providing numerical value.

즉 상기 신체 사이즈 수치화 제공 장치(100)는 도 1에서와 같이 독립적인 플랫폼 형태로 구성되는 것이 바람직하다. 하지만, 본 발명은 이에 한정되지 않고, 컴퓨팅 파워 및 환경이 개선되는 경우 상기 신체 사이즈 수치화 제공 장치(100)의 기능을 신체 사이즈 수치화 제공 서비스를 원하는 사용자 단말(400)에 직접 구현할 수도 있을 것이다.That is, it is preferable that the apparatus 100 for providing quantification of body size is configured in the form of an independent platform as shown in FIG. 1 . However, the present invention is not limited thereto, and when computing power and environment are improved, the function of the apparatus 100 for providing numerical body size may be directly implemented in the user terminal 400 that desires a service for providing numerical body size.

상기 데이터베이스(200)는 상기 신체 사이즈 수치화 제공 장치(100)에서 상기 학습용 의료영상 제공 단말(300)로부터 수집한 각종 학습용 의료영상과, 상기 학습용 의료영상을 학습하여 생성한 신체부위별 학습모델을 학습모델 DB(210)에 저장하여 관리하고, 상기 신체 사이즈 수치화 제공 장치(100)의 요청에 따라 상기 학습모델 DB(210)에 저장하여 관리하고 있는 신체부위별 학습모델을 상기 신체 사이즈 수치화 제공 장치(100)로 제공한다. 여기서 상기 데이터베이스(200)는 개별적인 DB에 데이터를 저장하고 관리하는 역할을 하는 데이터베이스 관리 시스템(DBMS)으로 취급하고 설명한다.The database 200 learns various types of medical images for learning collected from the medical image providing terminal 300 for learning by the apparatus 100 for providing quantification of body size, and a learning model for each body part generated by learning the medical image for learning. The body size quantification providing device ( 100) is provided. Here, the database 200 is treated and described as a database management system (DBMS) that serves to store and manage data in individual DBs.

상기 데이터베이스(200)는 상기 신체 사이즈 수치화 제공 장치(100)에서 상기 입력 의료영상에 포함된 특정 신체부위의 신체 사이즈를 수치화하기 위해서 각 특징점간을 서로 연결하여 거리를 측정할 때, 2차원 또는 3차원 모델링을 수행할 수 있는 각 특징점의 연결정보를 특징점 연결정보 DB(220)에 저장하여 관리한다.The database 200 connects each feature point to each other in order to quantify the body size of a specific body part included in the input medical image in the body size quantification providing apparatus 100, when measuring a distance in two or three dimensions. Connection information of each feature point capable of performing dimensional modeling is stored and managed in the feature point connection information DB 220 .

또한 상기 데이터베이스(200)는 상기 신체 사이즈 수치화 제공 장치(100)에서 수행하는 학습용 의료영상을 이용한 신체부위별 학습모델의 생성, 상기 신체부위별 학습모델을 통해서 사용자가 제공한 입력 의료영상과 매칭되는 특징점 정보의 추출, 상기 추출한 특징점 정보에 대한 측정정보의 추출 및 사용자가 원하는 신체부위에 대한 사이즈의 수치화를 위한 각종 동작프로그램의 저장과 업데이트 관리를 수행한다.In addition, the database 200 is matched with the input medical image provided by the user through the generation of a learning model for each body part using the medical image for learning performed by the apparatus 100 for providing quantification of body size, and the learning model for each body part. It performs storage and update management of various operation programs for extracting key point information, extracting measurement information for the extracted key point information, and digitizing the size of a body part desired by the user.

상기 학습용 의료영상 제공 단말(300)은 의료기관이나 의료기관 종사자가 운영하거나 소지한 통신 단말, 의료영상을 관리하는 데이터 센터에서 운영하는 통신 단말, 개인 사용자들이 보유한 통신 단말 등을 포함하는 것으로서, 각종 학습용 의료영상을 상기 신체 사이즈 수치화 제공 장치(100)로 제공한다.The medical image providing terminal 300 for learning includes a communication terminal operated or possessed by a medical institution or medical institution worker, a communication terminal operated in a data center that manages medical images, and a communication terminal owned by individual users. An image is provided to the apparatus 100 for providing quantification of body size.

이때 상기 학습용 의료영상은 머리, 흉부, 팔, 다리 등의 각 신체부위별로 촬영한 영상으로서, 상기 신체 사이즈 수치화 제공 장치(100)의 요청에 따라 일정 기간 동안 모아둔 것을 소정의 주기 또는 실시간으로 제공할 수 있다.In this case, the medical image for learning is an image taken for each body part, such as the head, chest, arm, and leg, and collected for a certain period according to the request of the apparatus 100 for providing quantification of body size is provided at a predetermined period or in real time can do.

상기 사용자 단말(400)은 의료영상을 보유하고 있는 일반 사용자들이 사용하는 스마트폰, PC, 태블릿 등의 유무선 통신 단말로서, 기 설치된 애플리케이션 프로그램을 이용하여 의료영상을 이용한 신체 사이즈 수치화 제공 서비스를 수행하는 상기 신체 사이즈 수치화 제공 장치(100)로 입력 의료영상을 제공하는 것만으로 사용자가 원하는 특정 신체부위에 대한 사이즈를 정확하게 확인할 수 있다.The user terminal 400 is a wired/wireless communication terminal such as a smart phone, PC, tablet, etc. used by general users who have medical images, and performs a body size quantification service using a medical image using a pre-installed application program. The size of a specific body part desired by the user can be accurately confirmed only by providing the input medical image to the apparatus 100 for providing quantification of body size.

즉 일반적인 줄자 등의 측정도구를 통해 수동으로 측정하거나, 신장측정기 등의 자동기기를 사용하여 일부 신체 사이즈를 측정하는 종래의 방식과 달리, 특정 신체부위의 신체 사이즈를 본인의 의료영상을 통해서 정확하게 측정하여 확인할 수 있는 것이다.In other words, unlike the conventional method of measuring a part of the body manually with a measuring tool such as a general tape measure or using an automatic device such as a height measuring instrument, the body size of a specific body part is accurately measured through the patient's medical image. that can be checked.

이에 따라 각 사용자는 자신의 광학 영상이나 아바타 등을 통해 의류 등을 피팅하던 전통적인 방식을 벗어나, 자신의 특정 신체부위의 신체 사이즈를 정확하게 확인할 수 있으며, 이를 토대로 다양한 제품의 제작이나 주문에 활용할 수 있어 제품 만족도를 크게 높일 수 있게 된다.As a result, each user can accurately check the body size of his or her specific body part, breaking away from the traditional method of fitting clothing through his or her optical image or avatar, and based on this, can be used to manufacture or order various products. Product satisfaction can be greatly increased.

한편 이러한 신체 사이즈를 수치화하여 제공하는 과정을 도 2를 참조하여 상세하게 설명하면 다음과 같다.On the other hand, the process of providing such a body size numerically will be described in detail with reference to FIG. 2 as follows.

도 2는 본 발명의 일 실시예에 따른 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 과정을 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining a process of quantifying and providing a body size from a medical image according to an embodiment of the present invention.

먼저 상기 신체 사이즈 수치화 제공 장치(100)는 네트워크를 통해 상기 학습용 의료영상 제공 단말(300)로부터 머리, 흉부, 손, 발 등의 다양한 신체부위의 학습용 의료영상을 주기적으로 또는 실시간으로 수집한다(①).First, the apparatus 100 for providing quantification of body size periodically or in real time collects medical images for learning of various body parts, such as the head, chest, hands, and feet, from the medical image providing terminal 300 for learning through a network (①) (① ).

이처럼 다양한 신체부위에 대한 학습용 의료영상이 수집되면, 상기 신체 사이즈 수치화 제공 장치(100)는 의사나 영상판독 전문가를 통해서 각 학습용 의료영상에서 적어도 하나 이상의 특징점을 결정하고, 상기 결정한 적어도 하나 이상의 특징점에 대한 레이블링을 수행한다(②). 즉 다양한 신체부위별 의료영상마다 어느 부분이 특징점이고, 그 특징점의 레이블이 무엇인지를 결정하는 것이다.As such, when medical images for learning for various body parts are collected, the apparatus 100 for providing quantification of body size determines at least one feature point in each medical image for learning through a doctor or an image reading expert, and at least one or more feature points determined above. labeling is performed (②). In other words, it is to determine which part is a characteristic point for each medical image for each body part and what is the label of the characteristic point.

이처럼 각 신체부위별 의료영상마다 특징점 결정 및 레이블링을 수행한 다음, 상기 신체 사이즈 수치화 제공 장치(100)는 원본 학습용 의료영상과 특징점 결정 및 레이블링된 학습용 의료영상을 토대로 학습을 수행하여 신체부위별 학습모델을 생성하고, 상기 생성한 신체부위별 학습모델을 상기 데이터베이스(200)에 저장하여 관리한다(③).In this way, after determining and labeling a characteristic point for each medical image for each body part, the body size quantification providing apparatus 100 performs learning based on the original medical image for learning and the characteristic point determination and labeled medical image for learning by body part A model is created, and the created learning model for each body part is stored and managed in the database 200 (③).

이때 상기 신체부위별 학습모델의 생성을 도 3을 참조하여 상세하게 설명하면 다음과 같다.In this case, the generation of the learning model for each body part will be described in detail with reference to FIG. 3 as follows.

도 3은 본 발명에 적용되는 학습모델 생성 과정과 학습 네트워크 구조를 설명하기 위한 도면이다.3 is a diagram for explaining a learning model generation process and a learning network structure applied to the present invention.

도 3의 (a)에 나타낸 바와 같이, 상기 신체 사이즈 수치화 제공 장치(100)는 특징점 좌표, 픽셀값 또는 복셀값을 포함하고 있는 상기 학습용 의료영상을 입력으로 학습을 수행하여 각 신체부위의 특징점별로 학습모델을 생성하고, 상기 생성한 학습모델을 상기 학습모델 데이터베이스(220)에 저장하여 관리한다.As shown in (a) of FIG. 3 , the apparatus 100 for providing quantification of body size performs learning by inputting the medical image for learning including key point coordinates, pixel values, or voxel values as an input to each key point of each body part. A learning model is created, and the created learning model is stored and managed in the learning model database 220 .

이때 학습을 진행하는 네트워크 구조는 도 3의 (b)에 나타낸 바와 같이, CNN(convolution neural network)을 사용할 수 있으며, CNN은 학습용 의료영상이 입력되는 입력 레이어, 컨볼루션(convolution) 레이어, 풀링(pooling) 레이어 및 완전연관(fully connected) 레이어로 구성된다.At this time, as shown in FIG. 3 (b), the network structure for learning may use a convolution neural network (CNN), which includes an input layer to which a medical image for training is input, a convolution layer, and a pooling ( It consists of a pooling layer and a fully connected layer.

상기 입력 레이어에 입력되는 상기 학습용 의료영상은 풀 컬러(full color) 기반의 의료영상을 사용하는 것이 바람직하지만, 이에 한정되는 것은 아니며, 상기 학습용 의료영상을 그레이 스케일로 변환하여 사용하거나, 관심영역 부분(즉 특징점이 위치한 영역)을 양자화(quantization)하여 사용하거나, 2진화(binary)하여 사용할 수 있다.The medical image for learning input to the input layer preferably uses a full color-based medical image, but is not limited thereto. The medical image for learning is converted into gray scale and used, or a region of interest is used. (that is, the region in which the feature point is located) may be quantized and used, or it may be used after being binary.

또한 상기 컨볼루션 레이어는 특정 가중치를 가지는 커널을 미리 설정한 스트라이드(즉 상기 커널의 이동단위를 의미함)에 따라 상기 학습데이터에 대한 이미지 데이터의 특정 부분과 상기 커널의 가중치를 컨볼루션하여, 상기 이미지 데이터의 특정 부분에 대한 특징 맵을 생성하여 출력한다.In addition, the convolution layer convolves a specific part of the image data for the training data and the weight of the kernel according to a preset stride (that is, the movement unit of the kernel) in which a kernel having a specific weight is set. It generates and outputs a feature map for a specific part of image data.

또한 풀링 레이어는 상기 커널과 스트라이드의 크기에 따라 상기 컨볼루션 레이어로부터 출력되는 특정 맵을 풀링함으로써, 상기 특징 맵을 적어도 하나 이상의 서브 이미지 데이터로 서브 샘플링한다.In addition, the pooling layer subsamples the feature map into at least one or more sub-image data by pooling a specific map output from the convolutional layer according to the sizes of the kernel and the stride.

또한 상기 컨볼루션 레이어와 상기 풀링 레이어가 하나의 쌍으로 구성되어 적어도 하나 이상으로 구현될 수 있다.In addition, the convolution layer and the pooling layer may be configured as a pair and implemented as at least one.

또한 완전연관 레이어는 상기 생성한 적어도 하나 이상의 특징 맵을 연결시켜 학습용 의료영상에 대한 특징점 정보를 출력할 수 있도록 한다. 이때, 출력되는 상기 특징점 정보는 0 ~ 1 사이의 확률 값을 가진다.In addition, the fully associative layer connects at least one or more of the generated feature maps to output feature point information on a medical image for training. In this case, the outputted feature point information has a probability value between 0 and 1.

다시 도 2를 참조하면, 다양한 학습용 의료영상에 대해서 각 신체부위별 학습모델을 생성한 이후, 상기 신체 사이즈 수치화 제공 장치(100)는 신체 사이즈 수치화 제공 서비스를 이용하기 위한 상기 사용자 단말(400)로부터 특정 신체부위에 대한 입력 의료영상이 제공되는지를 확인한다.Referring back to FIG. 2 , after generating a learning model for each body part with respect to various medical images for learning, the apparatus 100 for providing quantification of body size is provided from the user terminal 400 for using a service for providing quantification of body size. Check whether input medical images for specific body parts are provided.

상기 확인한 결과 상기 사용자 단말(400)로부터 특정 신체부위에 대한 입력 의료영상이 제공되면, 상기 신체 사이즈 수치화 제공 장치(100)는 상기 입력 의료영상이 어느 신체부위인지를 확인하고, 상기 확인한 신체부위에 해당하는 복수의 학습모델을 상기 데이터베이스(200)로부터 로딩한다.As a result of the check, when an input medical image for a specific body part is provided from the user terminal 400, the apparatus 100 for providing quantification of body size determines which body part the input medical image is, and displays the identified body part. A plurality of corresponding learning models are loaded from the database 200 .

이후, 상기 신체 사이즈 수치화 제공 장치(100)는 상기 입력 의료영상을 상기 데이터베이스(200)로부터 로딩한 신체부위별 학습모델에 적용하여, 상기 입력 의료영상과 가장 유사하게 매칭되는 특징점 정보를 추출하는 의료영상 매칭을 수행한다(④).Thereafter, the apparatus 100 for providing quantification of body size applies the input medical image to a learning model for each body part loaded from the database 200 to extract feature point information most similar to the input medical image. Perform image matching (④).

이때 상기 신체부위별 학습모델을 이용하여 상기 입력 의료영상과 가장 유사하게 매칭되는 특징점 정보를 추출하는 과정을 도 4를 참조하여 상세하게 설명하면 다음과 같다.At this time, the process of extracting feature point information most similar to the input medical image using the learning model for each body part will be described in detail with reference to FIG. 4 .

도 4는 본 발명에 적용되는 각 신체부위별 학습모델에 입력 의료영상을 입력하여 특징점 정보를 추출하는 과정을 상세하게 설명하기 위한 도면이다.4 is a diagram for explaining in detail a process of extracting feature point information by inputting an input medical image to a learning model for each body part applied to the present invention.

상기 신체 사이즈 수치화 제공 장치(100)는 상기 입력 의료영상을 각 학습모델에 적용하여 특징점 정보를 추출할 때, 도 4의 (a)에서와 같이 상기 입력 의료영상을 각각의 학습모델에 순차적으로 입력하여 특징점 정보를 추출하거나, 도 4의 (b)에서와 같이 상기 입력 의료영상을 모든 학습모델에 병렬적으로 입력하여 특징점 정보를 추출할 수 있다. 이때 상기 입력 의료영상은 사용자에 의해 개별 특징점(예를 들어, A 내지 D 중 하나)이 임의로 선택된 것이며, 상기 학습모델 A 내지 D는 상기 개별 특징점에 대하여 미리 학습하여 생성된 것이다. 또한 상기 학습모델 A 내지 D는 상기 입력 의료영상에 대한 특징점 A 내지 D일 확률을 각각 출력하며, 상기 신체 사이즈 수치화 제공 장치(100)는 상기 특징점 A 내지 D일 확률 중 제일 높은 값을 선택하여 상기 입력 의료영상에 대한 특징점 정보를 추출한다.When the body size quantification providing apparatus 100 extracts feature point information by applying the input medical image to each learning model, the input medical image is sequentially input to each learning model as shown in FIG. to extract key point information, or by inputting the input medical image to all learning models in parallel as shown in FIG. 4(b) to extract key point information. In this case, as for the input medical image, individual feature points (eg, one of A to D) are arbitrarily selected by the user, and the learning models A to D are generated by pre-learning the individual feature points. In addition, the learning models A to D output probabilities of feature points A to D for the input medical image, respectively, and the apparatus 100 for providing quantification of body size selects the highest value among the probabilities of the feature points A to D, Extracts feature point information about the input medical image.

한편, 상기 신체 사이즈 수치화 제공 장치(100)는 도 4의 (c)에서와 같이, 신체부위별로 모든 특징점을 학습하여 생성한 복합 학습모델을 이용하여, 사용자에 의해 복합 특징점(즉 복수의 특징점)이 임의로 선택된 입력 의료영상으로부터 특징점 정보를 추출한다. 이때 상기 복합 학습모델은 모든 특징점이 매칭되는 확률을 출력하며, 상기 신체 사이즈 수치화 제공 장치(100)는 상기 모든 특징점이 매칭되는 확률이 기 설정된 임계값을 초과하는 경우 선택함으로써, 상기 입력 의료영상에 대한 특징점 정보를 추출한다.On the other hand, the body size quantification providing apparatus 100 uses a complex learning model generated by learning all the feature points for each body part, as shown in FIG. Feature point information is extracted from this randomly selected input medical image. At this time, the composite learning model outputs the matching probability of all feature points, and the apparatus 100 for providing quantification of body size selects when the matching probability of all the feature points exceeds a preset threshold value, so that the input medical image Extract feature point information for

다시 도 2를 참조하면, 상기 의료영상 매칭에 따라 상기 입력 의료영상과 매칭되는 특징점 정보가 추출되면, 상기 신체 사이즈 수치화 제공 장치(100)는 상기 추출한 특징점 정보에 대한 측정정보, 즉 신체부위에 대한 의료영상의 특정 지점을 나타내는 특징점의 좌표, 레이블 및 상기 좌표의 데이터값 등을 추출한다(⑤).Referring back to FIG. 2 , when key point information matching the input medical image is extracted according to the medical image matching, the apparatus 100 for providing quantification of body size provides measurement information for the extracted key point information, that is, for body parts. Coordinates, labels, and data values of the coordinates of feature points indicating specific points of the medical image are extracted (⑤).

또한 상기 신체 사이즈 수치화 제공 장치(100)는 상기 추출한 측정정보를 토대로 상기 입력 의료영상에 포함된 특정 신체부위의 신체 사이즈를 수치화하고, 상기 수치화한 신체 사이즈를 상기 사용자 단말(400)로 제공한다(⑥). 즉 상기 특징점 정보에서 추출한 측정정보의 각 특징점을 상기 특징점 연결정보 DB(220)에 저장된 특징점 연결정보를 토대로 2차원 또는 3차원 모델링을 수행하여 서로 연결하고, 상기 서로 연결한 특징점간의 거리를 측정하여 결합하는 방식으로 특정 신체부위의 신체 사이즈를 수치화하고, 이를 사용자에게 제공함으로써, 각 사용자가 의료영상을 통해서 자신이 원하는 신체부위의 정확한 신체 사이즈를 확인할 수 있도록 하는 것이다.In addition, the body size quantification providing apparatus 100 digitizes the body size of a specific body part included in the input medical image based on the extracted measurement information, and provides the digitized body size to the user terminal 400 ( ⑥). That is, each feature point of the measurement information extracted from the feature point information is connected to each other by performing two-dimensional or three-dimensional modeling based on the feature point connection information stored in the feature point connection information DB 220, and the distance between the connected feature points is measured. By digitizing the body size of a specific body part in a combination method and providing it to a user, each user can check the exact body size of a desired body part through a medical image.

도 5는 본 발명의 일 실시예에 따른 신체 사이즈 수치화 제공 장치의 구성을 상세하게 나타낸 블록도이다.5 is a block diagram illustrating in detail the configuration of an apparatus for providing quantification of body size according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 상기 신체 사이즈 수치화 제공 장치(100)는 의료영상 수집부(110), 학습모델 생성부(120), 학습모델 최적화부(130), 입력 의료영상 처리부(140), 학습모델 선정부(150), 의료영상 매칭부(160), 측정정보 추출부(170), 신체 사이즈 수치화부(180), 출력부(190) 등을 포함하여 구성된다.As shown in FIG. 5 , the apparatus 100 for providing numerical body size includes a medical image collecting unit 110 , a learning model generating unit 120 , a learning model optimization unit 130 , an input medical image processing unit 140 , It is configured to include a learning model selection unit 150 , a medical image matching unit 160 , a measurement information extraction unit 170 , a body size digitization unit 180 , an output unit 190 , and the like.

또한 상기 신체 사이즈 수치화 제공 장치(100)는 도면에 도시하지는 않았지만, 각 구성 부분에 동작전원을 공급하는 전원부, 각종 기능에 대한 데이터 입력을 위한 입력부, 각종 동작프로그램을 저장하는 메모리, 각종 동작프로그램의 업데이트를 관리하는 업데이트 관리부, 상기 신체 사이즈 수치화 제공 장치(100)의 각 구성 부분을 총괄적으로 제어하는 제어부, 데이터베이스 등의 외부 장치와 데이터 송수신을 위한 인터페이스부 등을 추가로 포함할 수 있다.In addition, although not shown in the drawing, the apparatus 100 for providing numerical value of body size includes a power supply for supplying operating power to each component, an input unit for data input for various functions, a memory for storing various operation programs, and various operation programs. It may further include an update management unit for managing updates, a control unit for collectively controlling each component of the apparatus 100 for providing digitized body size, and an interface unit for transmitting and receiving data with an external device such as a database.

상기 의료영상 수집부(110)는 네트워크를 통해 상기 학습용 의료영상 제공 단말(300)로부터 기 설정되어 있는 소정 주기 또는 실시간으로 각 신체부위별 학습용 의료영상을 수집하고, 상기 수집한 각 신체부위별 학습용 의료영상을 상기 학습모델 생성부(120)로 출력한다.The medical image collection unit 110 collects medical images for learning for each body part in a preset period or real time from the medical image providing terminal 300 for learning through a network, and collects the collected medical images for each body part learning. A medical image is output to the learning model generating unit 120 .

상기 학습모델 생성부(120)는 상기 수집부(110)로부터 입력받은 복수의 학습용 의료영상을 신체부위별로 구분하고, 상기 구분한 신체부위별로 적어도 하나 이상의 특징점과 상기 특징점을 레이블링한 복수의 학습용 의료영상을 학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 상기 데이터베이스(200)로 출력하여 저장, 관리되도록 한다.The learning model generating unit 120 divides the plurality of learning medical images received from the collecting unit 110 by body part, and at least one feature point for each divided body part and a plurality of learning medical images by labeling the feature point. A learning model is generated by learning an image, and the generated learning model is output to the database 200 to be stored and managed.

이때 상기 학습모델 생성부(120)는 특징점 결정부(121), 레이블링부(122), 학습부(123)로 구성된다.In this case, the learning model generating unit 120 includes a feature point determining unit 121 , a labeling unit 122 , and a learning unit 123 .

상기 특징점 결정부(121)는 상기 복수의 학습용 의료영상에서 적어도 하나 이상의 특징점을 결정하는 기능을 담당하는 구성 부분이다.The feature point determining unit 121 is a component in charge of determining at least one feature point in the plurality of learning medical images.

상기 레이블링부(122)는 상기 특징점 결정부(121)에서 결정한 적어도 하나 이상의 특징점에 대한 레이블링을 수행하는 기능을 담당하는 구성 부분이다.The labeling unit 122 is a component in charge of a function of labeling at least one characteristic point determined by the characteristic point determining unit 121 .

이때 상기 특징점 결정부(121) 및 레이블링부(122)에서 수행되는 특징점 및 상기 특징점에 대한 레이블링 결정을 도 6과 도 7을 참조하여 설명하면 다음과 같다.At this time, the feature points performed by the feature point determining unit 121 and the labeling unit 122 and the labeling determination for the feature points will be described with reference to FIGS. 6 and 7 .

도 6과 도 7은 본 발명에 적용되는 특징점 및 레이블링 결정의 일 예를 각각 설명하기 위한 도면이다.6 and 7 are diagrams each for explaining an example of a feature point and a labeling decision applied to the present invention.

도 6 및 도 7에 도시된 바와 같이, 의사나 영상판독 전문가 등은 상기 의료영상 수집부(110)를 통해 수집한 학습용 의료영상을 일일이 눈으로 확인하면서 마우스, 키보드 등의 입력수단을 통해 신체부위의 경계나 외곽 부분 등에 특징점과 상기 특징점에 대한 레이블을 결정한다. 이때 상기 특징점은 해부학적으로 위치 및 레이블이 결정되어 있는 부분으로 결정하는 것이 바람직하다.As shown in FIGS. 6 and 7 , a doctor or an image reading expert checks the medical images for learning collected through the medical image collecting unit 110 with each eye, and through input means such as a mouse and keyboard, body parts A feature point and a label for the feature point are determined at a boundary or an outer part of . In this case, it is preferable to determine the feature point as an anatomically determined position and label.

예를 들어, 도 6의 신체 부위에서, 목 부위에서 왼쪽 부분을 레이블 'NL'이라 결정하고, 목 부위에서 오른쪽 부분을 레이블 'NR'이라 결정하는 것이다. 마찬가지로, 왼쪽 어깨 부분을 레이블 'SL', 오른쪽 어깨 부분을 레이블 'SR'이라 결정하고, 왼쪽 팔의 접힘 부분을 레이블 'AL', 오른쪽 팔의 접힘 부분을 레이블 'AR'이라 결정할 수 있다.For example, in the body part of FIG. 6 , the label 'NL' is determined for the left part of the neck part, and the label 'NR' is determined for the right part part from the neck part. Similarly, the left shoulder portion may be determined as the label 'SL' and the right shoulder portion as the label 'SR', the folded portion of the left arm may be determined as the label 'AL', and the folded portion of the right arm may be determined as the label 'AR'.

또한 도 7의 손에 대한 엑스레이 의료영상에서도 특징점 및 레이블을 결정할 수 있다. 예를 들어, 엄지의 가장 끝 지점을 레이블 'A1', 엄지와 검지 사이를 레이블 'A2', 중지와 약지 사이를 레이블 'A6', 약지의 가장 끝 지점을 레이블 'A7', 약지와 소지 사이를 레이블 'A8', 소지의 가장 끝 지점을 레이블 'A9' 등으로 결정하는 것이다.Also, it is possible to determine the feature point and the label in the X-ray medical image of the hand of FIG. 7 . For example, label 'A1' for the most tip of the thumb, label 'A2' between the thumb and index finger, label 'A6' between the middle finger and ring finger, label 'A7' the most tip of the ring finger, and between the ring and little finger is to determine the label 'A8', the most end point of the possession as the label 'A9', etc.

다시 도 5를 참조하면, 상기 학습부(123)는 상기 특징점 결정부(121)에서 결정한 특징점 및 상기 레이블링부(122)에서 결정한 상기 특징점에 대하여 레이블링한 복수의 학습용 의료영상을 토대로 학습을 수행하고, 상기 수행한 학습 결과를 토대로 신체부위별 학습모델을 생성하며, 상기 생성한 신체부위별 학습모델을 상기 데이터베이스(200)에 출력하여 저장되도록 한다.Referring back to FIG. 5, the learning unit 123 performs learning based on a plurality of medical images for learning labeled with respect to the characteristic point determined by the characteristic point determination unit 121 and the characteristic point determined by the labeling unit 122, and , generates a learning model for each body part based on the learning result, and outputs the created learning model for each body part to the database 200 to be stored.

이때 상기 학습부(123)는 상기 학습용 의료영상을 학습할 때, 상기 특징점 결정부(121)를 통해 상기 특정 신체부위에 지정된 각 특징점을 대상으로 학습을 수행하는 것이 가장 바람직하지만, 이에 한정되지 않고 상기 특정 신체부위의 일부나 전부에 대해 지정된 특징점 그룹을 대상으로 학습을 수행할 수도 있다.At this time, when the learning unit 123 learns the medical image for learning, it is most preferable to perform learning for each characteristic point designated for the specific body part through the characteristic point determination unit 121, but is not limited thereto. Learning may be performed for a specific feature point group with respect to some or all of the specific body part.

상기 학습모델 최적화부(130)는 검증부(131) 및 가중치 조정부(132)로 구성되며, 상기 학습모델 생성부(120)에서 생성한 학습모델의 오차를 검증하고, 상기 검증한 결과를 토대로 오차를 최소화하기 위해서 학습 파라미터를 조정하여 상기 학습모델을 최적화한다.The learning model optimization unit 130 includes a verification unit 131 and a weight adjustment unit 132 , and verifies the error of the learning model generated by the learning model generation unit 120 , and an error based on the verified result. The learning model is optimized by adjusting the learning parameters to minimize .

이때 상기 학습모델 최적화부(130)에서 수행하는 학습모델의 최적화를 도 8을 참조하여 상세하게 설명하면 다음과 같다.At this time, the optimization of the learning model performed by the learning model optimization unit 130 will be described in detail with reference to FIG. 8 .

도 8은 본 발명에 적용되는 신체부위별로 생성되는 학습모델의 최적화를 설명하기 위한 도면이다.8 is a diagram for explaining optimization of a learning model generated for each body part applied to the present invention.

도 8에 도시된 바와 같이, 상기 신체 사이즈 수치화 제공 장치(100)는 상기 학습모델 생성부(120)를 통해 순방향 학습에 의해서 특징점 및 레이블이 결정된 학습 데이터세트를 학습하여, 특정 학습용 의료영상에 대한 신체부위별 학습모델을 생성한다(①).As shown in FIG. 8 , the apparatus 100 for providing quantification of body size learns a learning dataset in which feature points and labels are determined by forward learning through the learning model generation unit 120, Create a learning model for each body part (①).

또한 상기 신체 사이즈 수치화 제공 장치(100)는 상기 학습모델 생성부(120)에서 생성한 신체부위별 학습모델에 해당 학습모델을 생성할 때 사용한 학습용 의료영상을 입력하고(②), 그에 따른 학습결과를 상기 검증부(131)로 제공한다(③). 이때 상기 학습결과는 상기 생성한 신체부위별 학습모델을 통해 추정한 답이다.In addition, the body size numerical value providing apparatus 100 inputs the learning medical image used when generating the corresponding learning model to the learning model for each body part generated by the learning model generating unit 120 (②), and the learning result accordingly is provided to the verification unit 131 (③). In this case, the learning result is an answer estimated through the generated learning model for each body part.

또한 상기 신체 사이즈 수치화 제공 장치(100)는 상기 학습모델 생성부(120)에서 학습모델을 생성할 때 사용한 적어도 하나 이상의 특징점과 상기 특징점을 레이블링한 결과(즉 정확한 답)를 상기 검증부(131)로 제공하여(④), 상기 검증부(131)에서 상기 생성한 학습모델이 최적화되어 있는지를 검증하도록 한다.In addition, the body size quantification providing apparatus 100 uses at least one feature point used when generating the learning model by the learning model generator 120 and the result of labeling the feature point (that is, the correct answer) to the verification unit 131 . By providing (④), the verification unit 131 verifies whether the generated learning model is optimized.

즉 상기 검증부(131)는 상기 정확한 답과 상기 추정한 답인 학습결과를 비교하고, 상기 비교한 결과 상기 추정된 답과 정확한 답의 오차가 기 설정된 임계 범위 이내이면 최적화된 것으로 판단하고, 만일 임계 범위를 초과하면 상기 가중치 조정부(132)로 오차를 최소화하기 위한 검증 결과를 출력한다(⑤).That is, the verification unit 131 compares the correct answer with the learning result that is the estimated answer, and as a result of the comparison, if the error between the estimated answer and the correct answer is within a preset threshold range, it is determined that it is optimized, and if the threshold If the range is exceeded, a verification result for minimizing an error is output to the weight adjustment unit 132 (⑤).

그러면 상기 가중치 조정부(132)는 상기 검증부(131)로부터 제공받은 검증 결과를 토대로 오차를 최소화하는 방향(즉 직선이나 곡선으로 표현되는 학습결과에서 그래디언트(기울기)를 최적의 결과를 나타내는 값으로 조정하는 것을 의미)으로 뉴럴 네트워크를 구성하는 각 레이어에 설정되는 가중치를 조정하여(⑥), 상기 학습모델을 최적화하도록 한다(⑦).Then, the weight adjustment unit 132 adjusts the gradient (slope) in the direction that minimizes the error (that is, in the learning result expressed as a straight line or curve) to a value representing the optimum result based on the verification result provided from the verification unit 131 . By adjusting the weights set in each layer constituting the neural network (⑥), the learning model is optimized (⑦).

다시 도 5를 참조하면, 상기 입력 의료영상 처리부(140)는 네트워크를 통해 상기 사용자 단말(400)로부터 사용자가 원하는 특정 신체부위에 대한 사이즈를 확인하기 위한 입력 의료영상이 제공되는지를 확인하고, 상기 확인한 결과 입력 의료영상이 제공되면 해당 입력 의료영상을 상기 학습모델 선정부(150)로 출력한다.Referring back to FIG. 5 , the input medical image processing unit 140 checks whether an input medical image for confirming the size of a specific body part desired by the user is provided from the user terminal 400 through the network, and the As a result of checking, when an input medical image is provided, the input medical image is output to the learning model selector 150 .

상기 학습모델 선정부(150)는 상기 입력 의료영상 처리부(140)에서 확인한 입력 의료영상의 신체부위를 확인하고, 상기 확인한 신체부위에 따라 상기 데이터베이스(200)에 저장하고 있는 적어도 하나 이상의 학습모델을 선정하고, 상기 선정한 학습모델에 대한 정보를 상기 의료영상 매칭부(160)로 출력한다.The learning model selection unit 150 checks the body part of the input medical image confirmed by the input medical image processing unit 140, and selects at least one or more learning models stored in the database 200 according to the confirmed body part. is selected, and information on the selected learning model is output to the medical image matching unit 160 .

이때 상기 학습모델 선정부(150)는 다음과 같이 크게 4가지 방식으로 사용자가 제공하는 입력 의료영상의 신체부위를 확인할 수 있다. 물론, 신체부위를 확인하는 방식은 다음의 방식 이외에 다른 방식을 적용할 수 있음을 밝혀둔다.At this time, the learning model selector 150 may check the body part of the input medical image provided by the user in four main ways as follows. Of course, it is pointed out that other methods other than the following method can be applied to the method of checking body parts.

첫 번째, 상기 학습모델 선정부(150)는 머리, 흉부, 팔, 다리 등의 각 신체부위를 나타내는 사용자 인터페이스를 상기 사용자 단말(400)로 제공하고, 이를 확인한 사용자가 특정 부분에 의료영상을 입력하는 것을 통해 상기 입력 의료영상의 신체부위를 확인할 수 있다.First, the learning model selector 150 provides a user interface representing each body part, such as the head, chest, arm, and leg, to the user terminal 400, and the user who confirms this inputs a medical image to a specific part Through this, the body part of the input medical image can be identified.

두 번째, 상기 학습모델 선정부(150)는 상기 입력 의료영상을 제공한 사용자가 직접 텍스트 형식으로 입력하는 신체부위 정보를 통해 상기 입력 의료영상의 신체부위를 확인할 수 있다.Second, the learning model selector 150 may identify a body part of the input medical image through body part information directly input by the user who provided the input medical image in text format.

세 번째, 상기 학습모델 선정부(150)는 신체부위 리스트를 상기 사용자 단말(400)로 제공하고, 이를 확인한 사용자가 상기 신체부위 리스트 중 적어도 하나 이상의 신체부위를 선택하는 것을 통해 상기 입력 의료영상의 신체부위를 확인할 수 있다.Third, the learning model selection unit 150 provides a list of body parts to the user terminal 400, and the user who has confirmed this selects at least one or more body parts from the list of body parts. body parts can be identified.

네 번째, 상기 학습모델 선정부(150)는 사용자가 제공한 상기 입력 의료영상을 기 설정된 신체부위 확인용 학습모델에 적용하여 상기 입력 의료영상이 어느 신체부위인지를 자동으로 확인할 수 있다.Fourth, the learning model selector 150 may automatically determine which body part the input medical image is by applying the input medical image provided by the user to a preset learning model for body part confirmation.

상기 의료영상 매칭부(160)는 상기 학습모델 선정부(150)로부터 제공받은 신체부위에 따라 선정된 적어도 하나 이상의 학습모델에 대한 정보를 토대로 해당 학습모델을 상기 데이터베이스(200)로부터 로딩하고, 상기 로딩한 학습모델에 상기 입력 의료영상을 적용하여 상기 입력 의료영상과 매칭되는 특징점 정보를 추출하며, 상기 추출한 특징점 정보를 상기 측정정보 추출부(170)로 출력한다.The medical image matching unit 160 loads the corresponding learning model from the database 200 based on information on at least one or more learning models selected according to body parts provided from the learning model selector 150, and By applying the input medical image to the loaded learning model, key point information matching the input medical image is extracted, and the extracted key point information is output to the measurement information extraction unit 170 .

또한, 상기 의료영상 매칭부(160)는 상기 설명과 달리 학습모델을 이용하지 않고, 상기 데이터베이스(200)에 저장해둔 복수의 의료영상에 대한 특징점 정보와 상기 입력 의료영상을 매칭하여 특징점 정보를 추출할 수도 있다. 즉 상기 데이터베이스(200)에 저장된 복수의 의료영상에서 특징점 정보를 추출하여 분류한 특징점 정보를 토대로 사용자가 제공하는 상기 입력 의료영상과 가장 근접하게 매칭되는 특징점 정보를 추출하고, 상기 추출한 특징점 정보를 상기 측정정보 추출부(170)로 출력한다.In addition, the medical image matching unit 160 does not use a learning model, unlike the above description, but extracts key point information by matching the input medical image with key point information for a plurality of medical images stored in the database 200 . You may. That is, the key point information that most closely matches the input medical image provided by the user is extracted based on the key point information extracted and classified from a plurality of medical images stored in the database 200, and the extracted key point information is used in the It is output to the measurement information extraction unit 170 .

특징점 정보를 매칭함에 있어서, 상기 데이터베이스(200)에 저장된 의료영상이 많지 않은 경우, 그 매칭을 고속으로 효율적으로 수행할 수도 있으나, 실제 의료영상이 빅데이터로 구축되어 있는 경우, 고속으로 매칭하는 것이 매우 어려울 수 있다. 따라서 본 발명에서는 경우에 따라, 직접 특징점 정보를 신체부위를 포함한 분류에 따라 매칭하는 것을 배제하지 않으며, 빅데이터의 경우 인공지능 기법으로 매칭하는 것이 더 바람직하다.In matching feature point information, when there are not many medical images stored in the database 200, the matching can be performed quickly and efficiently. It can be very difficult. Therefore, the present invention does not exclude direct feature point information according to classification including body parts in some cases, and in the case of big data, it is more preferable to match with artificial intelligence techniques.

상기 측정정보 추출부(170)는 상기 의료영상 매칭부(160)에서 추출한 특징점 정보를 토대로 특징점, 특징점 좌표, 레이블 등을 포함하는 측정정보를 추출하고, 상기 추출한 측정정보를 상기 신체 사이즈 수치화부(180)로 출력한다.The measurement information extraction unit 170 extracts measurement information including a characteristic point, a characteristic point coordinate, a label, etc. based on the characteristic point information extracted from the medical image matching unit 160, and converts the extracted measurement information into the body size digitization unit ( 180) is output.

상기 신체 사이즈 수치화부(180)는 상기 측정정보 추출부(170)에서 추출한 측정정보를 토대로 상기 입력 의료영상에 포함된 특정 신체부위의 신체 사이즈를 수치화하고, 상기 수치화한 특정 신체부위의 신체 사이즈를 상기 출력부(190)로 제공한다.The body size quantification unit 180 digitizes the body size of a specific body part included in the input medical image based on the measurement information extracted from the measurement information extraction unit 170, and calculates the digitized body size of the specific body part. It is provided to the output unit 190 .

이때 상기 신체 사이즈 수치화부(180)에서 수행되는 특정 신체부위의 신체 사이즈 수치화를 도 9를 참조하여 설명하면 다음과 같다.At this time, the digitization of the body size of a specific body part performed by the body size quantification unit 180 will be described with reference to FIG. 9 .

도 9는 본 발명에 적용되는 특징점간의 연결을 통한 수치화의 일 예를 설명하기 위한 도면이다.9 is a view for explaining an example of digitization through connection between feature points applied to the present invention.

도 9에 도시된 바와 같이, 머리 둘레를 측정하는 것을 예로 하여 설명하면, 상기 신체 사이즈 수치화부(180)는 머리의 좌우 및 전후에서 추출한 특징점을 직선으로 연결하면 정확한 머리 둘레를 수치화할 수 없다.As shown in FIG. 9 , taking the measurement of the head circumference as an example, the body size quantification unit 180 cannot accurately quantify the head circumference when the feature points extracted from the left and right and front and back sides of the head are connected with a straight line.

그러므로 상기 신체 사이즈 수치화부(180)는 상기 특징점 연결정보 DB(220)에 저장되어 있는 특징점 연결정보를 참조하여 각 특징점을 2차원 또는 3차원 모델링을 통해 서로 연결하고, 상기 서로 연결한 특징점간의 거리를 측정하여 결합함으로써, 상기 신체 사이즈를 수치화한다.Therefore, the body size quantification unit 180 connects each feature point with each other through two-dimensional or three-dimensional modeling with reference to the feature point connection information stored in the feature point connection information DB 220, and the distance between the connected feature points By measuring and combining, the body size is quantified.

한편, 상기 신체 사이즈 수치화부(180)는 상기 특징점 연결정보를 이용한 신체 사이즈 수치화 방식 이외에, 상기 입력 의료영상을 제공하는 사용자가 신체의 둘레 부분에 더 많이 선택한 임의의 특징점을 토대로 추출한 특징점을 토대로 각 특징점간을 서로 연결함으로써, 신체 사이즈를 수치화하여 제공할 수 있다.On the other hand, the body size quantification unit 180, in addition to the body size digitization method using the feature point connection information, based on the feature points extracted based on the arbitrary feature points selected more on the circumference of the body by the user providing the input medical image, each By connecting the feature points to each other, the body size can be digitized and provided.

다시 도 5를 참조하면, 상기 출력부(190)는 상기 신체 사이즈 수치화부(180)에서 수치화한 특정 신체부위의 신체 사이즈를 상기 사용자 단말(400)로 제공하여, 사용자가 확인할 수 있도록 한다.Referring back to FIG. 5 , the output unit 190 provides the body size of a specific body part quantified by the body size quantification unit 180 to the user terminal 400 so that the user can check it.

다음에는, 이와 같이 구성된 본 발명에 따른 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 방법의 일 실시예를 도 10과 도 11을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.Next, an embodiment of a method of providing numerically a body size from a medical image according to the present invention configured as described above will be described in detail with reference to FIGS. 10 and 11 . In this case, the order of each step according to the method of the present invention may be changed by the environment of use or by a person skilled in the art.

도 10은 본 발명에 적용되는 사용자가 제공하는 입력 의료영상으로부터 신체 사이즈를 수치화하여 제공하는 과정을 상세하게 나타낸 순서도이다.10 is a flowchart illustrating in detail a process of quantifying and providing a body size from an input medical image provided by a user applied to the present invention.

먼저 신체 사이즈 수치화 제공 장치(100)는 사용자가 제공하는 입력 의료영상에 따라 적어도 하나 이상의 학습모델을 선정하는 학습모델 선정 단계를 수행한다.First, the apparatus 100 for providing quantification of body size performs a learning model selection step of selecting at least one learning model according to an input medical image provided by a user.

즉 상기 신체 사이즈 수치화 제공 장치(100)는 네트워크를 통해 사용자 단말(400)로부터 입력 의료영상이 입력되는지를 판단하고(S110), 상기 사용자 단말(400)로부터 입력 의료영상이 입력되면, 상기 입력 의료영상이 어느 신체부위인지를 확인하고, 상기 확인한 신체부위에 해당하는 복수의 학습모델을 선정한다(S120).That is, the apparatus 100 for providing quantified body size determines whether an input medical image is input from the user terminal 400 through the network (S110), and when the input medical image is input from the user terminal 400, the input medical image It is checked which body part the image is, and a plurality of learning models corresponding to the checked body part are selected (S120).

이때 상기 S120 단계의 학습모델 선정을 위한 신체부위의 확인은, 신체부위별로 입력 의료영상을 입력할 수 있는 사용자 인터페이스를 통해 상기 입력 의료영상이 어느 부분에 입력되었는지에 따라 상기 입력 의료영상이 어느 신체부위인지를 확인하거나, 상기 입력 의료영상을 제공한 사용자가 직접 입력하는 신체부위 정보에 따라 상기 입력 의료영상이 어느 신체부위인지를 확인하거나, 상기 입력 의료영상을 제공한 사용자가 기 설정된 신체부위에 대한 리스트 중에서 적어도 하나 이상 선택하는 신체부위 정보에 따라 상기 입력 의료영상이 어느 신체부위인지를 확인하거나, 또는 사용자가 제공한 상기 입력 의료영상을 기 설정된 신체부위 확인용 학습모델에 적용하여 상기 입력 의료영상이 어느 신체부위인지를 확인하는 것을 통해서 수행된다.In this case, the identification of the body part for selecting the learning model in step S120 is determined according to which part of the input medical image is inputted through a user interface capable of inputting the input medical image for each body part. The body part is checked, the body part of the input medical image is checked according to body part information directly input by the user who provided the input medical image, or the user who provided the input medical image is located on a preset body part. Check which body part the input medical image is according to body part information selected from the list of at least one or more, or apply the input medical image provided by the user to a preset learning model for body part confirmation to determine the input medical care It is performed by checking which body part the image is.

상기 S120 단계를 통해 신체부위에 따른 학습모델이 선정되면, 상기 신체 사이즈 수치화 제공 장치(100)는 상기 선정한 학습모델에 상기 입력 의료영상을 적용하여, 상기 입력 의료영상과 매칭되는 특징점 정보를 추출하는 의료영상 매칭 단계를 수행한다(S130).When the learning model according to the body part is selected through the step S120, the body size quantification providing apparatus 100 applies the input medical image to the selected learning model to extract feature point information that matches the input medical image A medical image matching step is performed (S130).

또한 상기 신체 사이즈 수치화 제공 장치(100)는 상기 S130 단계에서 추출한 특징점 정보에 대한 측정정보를 추출하는 측정정보 추출 단계를 수행한다(S140).In addition, the apparatus 100 for providing digitized body size performs a measurement information extraction step of extracting measurement information for the feature point information extracted in step S130 (S140).

또한 상기 신체 사이즈 수치화 제공 장치(100)는 상기 S140 단계를 통해 추출한 측정정보를 토대로 상기 입력 의료영상에 포함된 특정 신체부위의 신체 사이즈를 수치화하여 출력하는 신체 사이즈 수치화 단계를 수행한다(S150).In addition, the body size quantification providing apparatus 100 performs a body size quantification step of digitizing and outputting the body size of a specific body part included in the input medical image based on the measurement information extracted through the step S140 (S150).

즉 상기 추출한 측정정보의 각 특징점을 서로 연결하고, 상기 서로 연결한 특징점간의 거리를 측정하여 결합함으로써, 상기 신체 사이즈를 수치화하여 출력하는 것이다.That is, each feature point of the extracted measurement information is connected to each other, and the distance between the connected feature points is measured and combined, thereby digitizing and outputting the body size.

한편, 상기 신체 사이즈 수치화 제공 장치(100)는 사용자가 제공하는 의료영상으로부터 신체 사이즈를 수치화하여 제공할 때 사용하는 학습모델을 미리 생성하여 데이터베이스(200)로 저장하여 관리하여야 하는데, 이를 도 11을 참조하여 상세하게 설명하면 다음과 같다.On the other hand, the body size quantification providing apparatus 100 should create in advance a learning model used when quantifying the body size from a medical image provided by a user and store it in the database 200 for management, which is shown in FIG. 11 . It will be described in detail with reference to the following.

도 11은 본 발명에 적용되는 의료영상을 이용한 학습모델을 생성하는 과정을 상세하게 나타낸 순서도이다.11 is a flowchart illustrating in detail a process of generating a learning model using a medical image applied to the present invention.

각 신체부위별 학습용 의료영상에 대해서 학습모델을 생성하기 위해서, 상기 신체 사이즈 수치화 제공 장치(100)는 의료기관, 데이터 센터, 사용자 등을 포함한 학습용 의료영상 제공 단말(300)로부터 다양한 신체부위별 학습용 의료영상을 수집한다(S210).In order to create a learning model for each body part-specific learning medical image, the body size quantification providing apparatus 100 is provided by the medical image providing terminal 300 for learning, including a medical institution, a data center, and a user, for each body part-specific learning medical care. An image is collected (S210).

S210 단계를 통해 학습용 의료영상을 수집한 이후, 상기 신체 사이즈 수치화 제공 장치(100)는 신체부위별로 적어도 하나 이상의 특징점과 상기 특징점을 레이블링한 복수의 의료영상을 학습하여 학습모델을 생성하는 학습모델 생성 단계를 수행한다.After collecting medical images for learning through step S210, the apparatus 100 for providing quantification of body size generates a learning model by learning at least one feature point for each body part and a plurality of medical images labeled with the feature point Follow the steps.

즉 상기 신체 사이즈 수치화 제공 장치(100)는 의사나 영상판독 전문가를 통해 상기 수집한 학습용 의료영상에서 적어도 하나 이상의 특징점을 결정하는 특징점 결정 단계를 수행하고, 이어서 상기 결정한 특징점을 레이블링하는 레이블링 단계를 수행한다(S220).That is, the apparatus 100 for providing quantification of body size performs a feature point determination step of determining at least one feature point in the collected medical image for learning through a doctor or an image reading expert, followed by a labeling step of labeling the determined feature point do (S220).

또한 상기 신체 사이즈 수치화 제공 장치(100)는 상기 특징점 결정 및 레이블링된 학습용 의료영상을 학습하여, 상기 신체부위별로 학습모델을 생성하는 학습 단계를 수행한다(S230).In addition, the apparatus 100 for providing quantification of body size performs a learning step of determining the characteristic point and learning the labeled learning medical image, and generating a learning model for each body part (S230).

이때 상기 신체 사이즈 수치화 제공 장치(100)는 상기 특정 신체부위에 지정된 각 특징점을 대상으로 학습을 수행하거나, 또는 상기 특정 신체부위의 일부나 전부에 대해 지정된 특징점 그룹을 대상으로 학습을 수행할 수 있다.In this case, the apparatus 100 for providing quantification of body size may perform learning for each feature point designated for the specific body part, or may perform learning for a feature point group designated for some or all of the specific body part. .

또한 상기 신체 사이즈 수치화 제공 장치(100)는 상기 S230 단계를 통해 신체부위별 학습모듈을 생성한 이후, 상기 학습용 의료영상을 상기 생성한 학습모델에 입력하여 출력한 결과와 상기 신체부위별로 적어도 하나 이상의 특징점과 상기 특징점을 레이블링한 결과를 비교하여 상기 생성한 학습모델을 검증하고, 상기 검증한 결과를 토대로 오차를 최소화하는 방향으로 가중치를 조정하여 상기 학습모델을 최적화하는 학습모델 최적화 단계를 수행한다(S240).In addition, after generating the learning module for each body part in step S230, the apparatus 100 for providing quantification of body size inputs and outputs the medical image for learning into the created learning model and at least one or more for each body part. A learning model optimization step of optimizing the learning model is performed by comparing the characteristic point with the result of labeling the characteristic point, verifying the generated learning model, and adjusting the weight in a direction to minimize the error based on the verified result ( S240).

또한 상기 신체 사이즈 수치화 제공 장치(100)는 상기 S230 및 S240 단계에서 생성 및 최적화한 신체부위별 학습모델을 상기 데이터베이스(200)로 출력하여 저장, 관리하도록 한다(S250).In addition, the body size numerical value providing apparatus 100 outputs the learning model for each body part generated and optimized in steps S230 and S240 to the database 200 to store and manage it (S250).

한편, 상기 신체 사이즈 수치화 제공 장치(100)는 도 11에 나타낸 것처럼 학습모델을 생성하는 방식 이외에, 네트워크를 통해 수집한 복수의 의료영상에서 특징점 정보를 추출, 분류하고, 이를 상기 데이터베이스(200)에 저장하여 관리하는 방식을 적용할 수 있다.On the other hand, the body size quantification providing apparatus 100 extracts and classifies feature point information from a plurality of medical images collected through a network, in addition to the method of generating a learning model as shown in FIG. 11 , and stores it in the database 200 . The storage and management method can be applied.

도 12는 본 발명의 일 실시예에 따른 신체 사이즈 수치화 제공 장치(100)의 하드웨어 구조를 나타낸 도면이다.12 is a diagram illustrating a hardware structure of an apparatus 100 for providing quantification of body size according to an embodiment of the present invention.

도 12에 도시한 것과 같이, 상기 신체 사이즈 수치화 제공 장치(100)의 하드웨어 구조는, 중앙처리장치(1000), 메모리(2000), 사용자 인터페이스(3000), 데이터베이스 인터페이스(4000), 네트워크 인터페이스(5000), 웹서버(6000) 등을 포함하여 구성된다.As shown in FIG. 12 , the hardware structure of the apparatus 100 for providing quantified body size includes a central processing unit 1000 , a memory 2000 , a user interface 3000 , a database interface 4000 , and a network interface 5000 . ), a web server 6000, and the like.

상기 사용자 인터페이스(3000)는 그래픽 사용자 인터페이스(GUI, graphical user interface)를 사용함으로써, 사용자에게 입력과 출력 인터페이스를 제공한다.The user interface 3000 provides input and output interfaces to the user by using a graphical user interface (GUI).

상기 데이터베이스 인터페이스(4000)는 데이터베이스와 하드웨어 구조 사이의 인터페이스를 제공한다.The database interface 4000 provides an interface between a database and a hardware structure.

상기 네트워크 인터페이스(5000)는 사용자가 보유한 장치 간의 네트워크 연결을 제공한다.The network interface 5000 provides a network connection between devices owned by a user.

상기 웹 서버(6000)는 사용자가 네트워크를 통해 하드웨어 구조로 액세스하기 위한 수단을 제공한다. 대부분의 사용자들은 원격에서 웹 서버로 접속하여 상기 신체 사이즈 수치화 제공 장치(100)를 사용할 수 있다.The web server 6000 provides a means for a user to access the hardware structure via a network. Most users can remotely access the web server and use the body size quantification providing apparatus 100 .

상술한 구성 또는 방법의 각 단계는, 컴퓨터 판독 가능한 기록매체 상의 컴퓨터 판독 가능 코드로 구현되거나 전송 매체를 통해 전송될 수 있다. 컴퓨터 판독 가능한 기록매체는, 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터를 저장할 수 있는 데이터 저장 디바이스이다.Each step of the above-described configuration or method may be implemented as computer-readable code on a computer-readable recording medium or transmitted through a transmission medium. The computer-readable recording medium is a data storage device capable of storing data that can be read by a computer system.

컴퓨터 판독 가능한 기록매체의 예로는 데이터베이스, ROM, RAM, CD-ROM, DVD, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 디바이스가 있으나 이에 한정되는 것은 아니다. 전송매체는 인터넷 또는 다양한 유형의 통신 채널을 통해 전송되는 반송파를 포함할 수 있다.Examples of computer-readable recording media include, but are not limited to, databases, ROMs, RAMs, CD-ROMs, DVDs, magnetic tapes, floppy disks, and optical data storage devices. The transmission medium may include a carrier wave transmitted through the Internet or various types of communication channels.

또한 컴퓨터 판독 가능한 기록매체는, 컴퓨터 판독 가능 코드가 분산 방식으로 저장되고, 실행되도록 네트워크 결합 컴퓨터 시스템을 통해 분배될 수 있다.In addition, the computer readable recording medium may be distributed through a network coupled computer system so that the computer readable code is stored and executed in a distributed manner.

또한 본 발명에 적용된 적어도 하나 이상의 구성요소는, 각각의 기능을 수행하는 중앙처리장치(CPU), 마이크로프로세서 등과 같은 프로세서를 포함하거나 이에 의해 구현될 수 있으며, 상기 구성요소 중 둘 이상은 하나의 단일 구성요소로 결합되어 결합된 둘 이상의 구성요소에 대한 모든 동작 또는 기능을 수행할 수 있다.In addition, at least one or more components applied to the present invention may include or be implemented by a processor such as a central processing unit (CPU), a microprocessor, etc. that perform each function, and two or more of the components are one single It may be combined as a component to perform any operation or function for two or more combined components.

또한 본 발명에 적용된 적어도 하나 이상의 구성요소의 일부는, 이들 구성요소 중 다른 구성요소에 의해 수행될 수 있다. 또한 상기 구성요소들 간의 통신은 버스(미도시)를 통해 수행될 수 있다.In addition, a part of at least one or more components applied to the present invention may be performed by other components among these components. In addition, communication between the components may be performed through a bus (not shown).

이처럼, 본 발명은 적어도 하나 이상의 특징점과 해당 특징점에 대한 레이블링을 수행한 각 신체부위별 의료영상을 학습하여 학습모델을 생성하고, 상기 생성한 학습모델을 통해 사용자가 제공한 입력 의료영상과 매칭되는 특징점 정보에 대한 측정정보를 추출하여 원하는 신체부위에 대한 사이즈를 수치화하여 제공하기 때문에, 의료영상으로부터 사용자가 원하는 신체부위의 정확한 사이즈를 얻을 수 있고, 특정 신체부위에 대한 사이즈 정보를 통해 사용자가 필요로 하는 제품을 제작하여 사용자의 만족도를 크게 높일 수 있다.As such, the present invention generates a learning model by learning at least one feature point and a medical image for each body part on which labeling is performed on the feature point, and matches the input medical image provided by the user through the created learning model. Because the measurement information for the feature point information is extracted and the size of the desired body part is digitized and provided, the user can obtain the exact size of the desired body part from the medical image, and the user needs through the size information on the specific body part You can greatly increase the satisfaction of users by making products that do this.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, which are merely exemplary, and those of ordinary skill in the art can make various modifications and equivalent other embodiments therefrom. You will understand that it is possible. Therefore, the technical protection scope of the present invention should be judged by the following claims.

100 : 신체 사이즈를 수치화하여 제공하는 장치
110 : 의료영상 수집부 120 : 학습모델 생성부
121 : 특징점 결정부 122 : 레이블링부
123 : 학습부 130 : 학습모델 최적화부
131 : 검증부 132 : 가중치 조정부
140 : 입력 의료영상 처리부 150 : 학습모델 선정부
160 : 의료영상 매칭부 170 : 측정정보 추출부
180 : 신체 사이즈 수치화부 190 : 출력부
200 : 데이터베이스 210 : 학습모델 DB
220 : 특징점 연결정보 DB 300 : 학습용 의료영상 제공 단말
400 : 사용자 단말100: A device that provides numerical values for body size
110: medical image collection unit 120: learning model generation unit
121: feature point determination unit 122: labeling unit
123: learning unit 130: learning model optimization unit
131: verification unit 132: weight adjustment unit
140: input medical image processing unit 150: learning model selection unit
160: medical image matching unit 170: measurement information extraction unit
180: body size digitization unit 190: output unit
200: database 210: learning model DB
220: feature point connection information DB 300: medical image providing terminal for learning
400: user terminal

Claims

a learning model selector for selecting at least one previously set learning model according to a body part of the input medical image;
a medical image matching unit that applies the input medical image to the at least one selected learning model and extracts feature point information that matches the input medical image;
a measurement information extraction unit for extracting measurement information for the extracted feature point information; and
a body size digitizer for digitizing and outputting the body size of a specific body part included in the input medical image based on the extracted measurement information;
The input medical image includes arbitrary feature point information for which a user desires to measure a size,
The measurement information includes the coordinates of the feature point, the label, and the data value of the coordinates,
An apparatus for digitizing and providing a body size from a medical image, characterized in that the size of a specific body part desired by a user can be measured from the input medical image through the measurement information.

delete

The method according to claim 1,
The device is
The apparatus for quantifying body size from a medical image, characterized in that it further comprises a; at least one feature point and a learning model generator for learning a plurality of medical images labeled with the feature point to generate a learning model for each body part.

4. The method according to claim 3,
The learning model generation unit,
a feature point determining unit that determines at least one feature point for each of the plurality of medical images;
a labeling unit for labeling the determined at least one feature point; and
and a learning unit that learns the labeled medical image and generates a learning model for each body part.

4. The method according to claim 3,
The learning model generation unit,
Learning is performed for each characteristic point specified in the specific body part, or
The apparatus for providing numerically a body size from a medical image, characterized in that it further comprises performing learning for a group of key points designated for some or all of the specific body part.

4. The method according to claim 3,
The device is
By comparing the result of inputting and outputting the medical image into the learning model for each body part generated above with the result of labeling the feature point with at least one feature point used to generate the learning model for each body part, the generated body part A learning model optimization unit that verifies the learning model and optimizes the learning model for each body part by adjusting the weights in a direction to minimize the error based on the verified result; A device that provides numerical values.

The method according to claim 1,
The body size digitization unit,
Connecting each feature point of the extracted measurement information to each other through two-dimensional or three-dimensional modeling, measuring and combining the distance between the connected feature points, further comprising digitizing and outputting the body size A device that digitizes and provides body size from an image.

The method according to claim 1,
The learning model selection unit,
Through a user interface capable of inputting medical images for each body part, check which body part the input medical image is according to which part is inputted, or
Check which body part the input medical image is according to body part information directly input by the user who provided the input medical image,
Confirming which body part the input medical image is according to body part information that the user who has provided the input medical image selects at least one from a preset list of body parts, or
The apparatus for providing numerically a body size from a medical image, characterized in that it further comprises confirming which body part the input medical image is by applying the input medical image to a preset learning model for body part confirmation.

A learning model selection step of selecting at least one previously set learning model according to a body part of an input medical image in an apparatus for providing a numerical value of a body size;
a medical image matching step of applying the input medical image to the selected at least one or more learning models to extract feature point information that matches the input medical image;
a measurement information extraction step of extracting measurement information for the extracted feature point information; and
a body size digitization step of digitizing and outputting the body size of a specific body part included in the input medical image based on the extracted measurement information;
The input medical image includes arbitrary feature point information for which a user desires to measure a size,
The measurement information includes the coordinates of the feature point, the label, and the data value of the coordinates,
A method of providing a numerical value of body size from a medical image, characterized in that the size of a specific body part desired by a user can be measured from the input medical image through the measurement information.

delete

10. The method of claim 9,
The method is
A method of quantifying body size from a medical image, characterized in that it further comprises; a learning model generating step of generating a learning model for each body part by learning at least one or more feature points and a plurality of medical images labeled with the feature points.

12. The method of claim 11,
The learning model creation step is,
a feature point determining step of determining at least one feature point for each of the plurality of medical images;
a labeling step of labeling the determined at least one or more feature points; and
and a learning step of learning the labeled medical image and generating a learning model for each body part.

12. The method of claim 11,
The learning is
Learning is performed for each characteristic point specified in the specific body part, or
The method of providing numerically a body size from a medical image, characterized in that it further comprises performing learning for a group of feature points designated for some or all of the specific body part.

12. The method of claim 11,
The method is
By comparing the result of inputting and outputting the medical image into the learning model for each body part generated above with the result of labeling the feature point with at least one feature point used to generate the learning model for each body part, the generated body part The learning model optimization step of verifying the learning model and optimizing the learning model for each body part by adjusting the weights in a direction to minimize the error based on the verified result; How to quantify and provide.

10. The method of claim 9,
The body size quantification step is,
Connecting each feature point of the extracted measurement information to each other through two-dimensional or three-dimensional modeling, measuring and combining the distance between the connected feature points, further comprising digitizing and outputting the body size A method of providing a numerical value of body size from an image.

10. The method of claim 9,
The learning model selection step is,
Check which body part the input medical image is according to which part the input medical image is input through through a user interface that can input the medical image for each body part;
Check which body part the input medical image is according to body part information directly input by the user who provided the input medical image,
Checking which body part the input medical image is according to body part information that the user who has provided the input medical image selects at least one or more from a preset list of body parts, or
The method of providing numerically a body size from a medical image, further comprising: confirming which body part the input medical image is by applying the input medical image to a preset learning model for body part confirmation.