KR20210090498A - The method for analyzing 3D body type based on 2D image, the system and the program thereof - Google Patents
The method for analyzing 3D body type based on 2D image, the system and the program thereof Download PDFInfo
- Publication number
- KR20210090498A KR20210090498A KR1020200003863A KR20200003863A KR20210090498A KR 20210090498 A KR20210090498 A KR 20210090498A KR 1020200003863 A KR1020200003863 A KR 1020200003863A KR 20200003863 A KR20200003863 A KR 20200003863A KR 20210090498 A KR20210090498 A KR 20210090498A
- Authority
- KR
- South Korea
- Prior art keywords
- body shape
- data
- model
- present
- image data
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1077—Measuring of profiles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Rheumatology (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 체형 분석 방법 및 체형 분석 방법을 실행하기 위한 시스템 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to a body shape analysis method and a system and computer program for executing the body shape analysis method.
“체형 분석”은 정면, 측면, 후면 등 다각도로 대상자에 대하여 관찰하여 키, 몸무게, 허리 둘레, 척추 휨 정도, 좌우 균형도를 포함하는 신체 불균형 정보 등을 나타낸다. “Body analysis” indicates body imbalance information including height, weight, waist circumference, spinal curvature, and left-right balance by observing the subject from multiple angles, such as front, side, and rear.
기존의 체형 분석 장치는 깊이 카메라 또는 적외선 카메라 등 특수 카메라를 지정된 장소에서 사용하여야 하는 한계가 있다. 또한 사진 촬영을 할 때 벽에 격자무늬를 세워놓고 촬영하거나 사용자의 주관적인 판단 하에 촬영 이미지에 구획을 나누는 가이드 선을 사용하기 때문에 측정자의 경험에 의존하는 한계가 있다. 따라서 기존의 체형 분석 장치는 반복 신뢰도가 높지 않는 문제점이 있다.Existing body shape analysis devices have a limitation in that a special camera such as a depth camera or an infrared camera must be used in a designated place. In addition, there is a limit to relying on the experience of the measurer because when taking a picture, a grid pattern is placed on the wall or a guide line is used to divide the shot image under the subjective judgment of the user. Therefore, the existing body shape analysis apparatus has a problem in that the repeatability is not high.
한편, 3차원 모션캡쳐 장비가 개발되어 이 장비를 통해 피측정자의 관절 각도, 속도 등 다양한 생체 지표를 획득할 수 있기 때문에 체형 분석 장치로도 활용할 수 있다. 그러나, 이 장비는 상당히 고가이며 측정에 많은 시간이 소요될 뿐만 아니라 장비를 설치할 수 있는 넓은 공간 확보가 필수적이고 이 장비를 사용할 수 있는 전문인력이 필요한 단점이 있다.Meanwhile, a three-dimensional motion capture device has been developed and can be used as a body shape analysis device because various biometric indicators such as joint angle and speed of the subject can be acquired through this device. However, this equipment is quite expensive, takes a lot of time for measurement, and it is necessary to secure a large space to install the equipment, and there are disadvantages that professional personnel who can use this equipment are required.
최근 인체의 관절을 추정하는 인공지능 기술이 개발되고 있으나, 정확한 체형 분석을 위해서는 360도 회전하는 3차원 스캐너(scanner)가 추가적으로 필요한 실정이다. 상기 3차원 스캐너는 상당히 고가일 뿐만 아니라 공간적인 제약이 있으며 연산 시간도 긴 단점이 있다.Recently, artificial intelligence technology for estimating the joints of the human body has been developed, but a 3D scanner that rotates 360 degrees is additionally required for accurate body shape analysis. The three-dimensional scanner has disadvantages in that it is not only very expensive, but also has spatial limitations and a long computation time.
본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 기존의 복잡한 고가의 장비보다 더 간편하게 체형을 분석할 수 있도록, 일반 2D 영상 데이터로부터 피측정자의 체형 정보를 획득하고 분석할 수 있는 방법, 시스템 및 그 컴퓨터 프로그램을 제공하는 것을 목적으로 한다. The present invention has been devised to solve the above problems, and in order to analyze the body shape more easily than the existing complex and expensive equipment, a method, system and It aims to provide the computer program.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.
본 발명의 일 실시예에 따른 2D 영상 기반의 3차원 체형 분석 방법은 컴퓨터의 프로세서가 신체가 촬영된 2D 영상 데이터를 수신하는 단계; 상기 프로세서가 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 3차원의 가상 신체 모델을 생성하는 단계; 및 상기 프로세서가 상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 단계;를 포함할 수 있다.A method for analyzing a 3D body shape based on a 2D image according to an embodiment of the present invention includes: receiving, by a computer processor, 2D image data of a body photographed; generating, by the processor, body shape data based on a neural network using 2D image data, and generating a three-dimensional virtual body model based on the generated body shape data; and analyzing, by the processor, a body type with respect to the generated virtual body model.
본 발명의 일 실시예에 따른 3차원 체형 분석 방법의 상기 가상 신체 모델을 생성하는 단계는, 촬영 모듈의 제어 데이터를 생성하고 상기 생성된 촬영 모듈의 제어 데이터와 상기 체형 데이터를 이용하여 상기 가상 신체 모델을 생성하는 것을 특징으로 할 수 있다.The generating of the virtual body model of the 3D body shape analysis method according to an embodiment of the present invention includes generating control data of an imaging module and using the generated control data of the imaging module and the body shape data to obtain the virtual body. It may be characterized in that the model is created.
본 발명의 일 실시예에 따른 3차원 체형 분석 방법의 상기 가상 신체 모델을 생성하는 단계는, 상기 2D 영상 데이터로부터 골격 정보를 추출하여 상기 골격 정보에 기초하여 상기 가상 신체 모델을 생성하는 것을 특징으로 할 수 있다.The generating of the virtual body model of the 3D body shape analysis method according to an embodiment of the present invention comprises extracting skeletal information from the 2D image data and generating the virtual body model based on the skeletal information. can do.
본 발명의 일 실시예에 따른 신경 네트워크는 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것을 특징으로 할 수 있다.The neural network according to an embodiment of the present invention may be characterized as a generative adversarial network (GAN).
본 발명의 일 실시예에 따른 2D 영상 기반의 3차원 체형 분석 시스템은 신체가 촬영된 2D 영상 데이터를 수신하는 영상 데이터 수신부; 상기 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 가상 신체 모델을 생성하는 모델 생성부; 및 상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 체형 분석부;를 포함할 수 있다.According to an embodiment of the present invention, a system for analyzing a 3D body shape based on a 2D image includes an image data receiver configured to receive 2D image data of a body photographed; a model generator for generating body shape data based on a neural network using the 2D image data, and generating a virtual body model based on the generated body shape data; and a body shape analysis unit that analyzes a body shape with respect to the generated virtual body model.
본 발명의 일 실시예에 따른 3차원 체형 분석 시스템의 상기 모델 생성부는 촬영 모듈의 제어 데이터를 생성하고 상기 생성된 촬영 모듈의 제어 데이터와 상기 체형 데이터를 이용하여 상기 가상 신체 모델을 생성하는 것을 특징으로 할 수 있다.The model generating unit of the three-dimensional body shape analysis system according to an embodiment of the present invention generates control data of an imaging module and generates the virtual body model by using the generated control data of the imaging module and the body shape data can be done with
본 발명의 일 실시예에 따른 3차원 체형 분석 시스템의 상기 모델 생성부는 2D 영상 데이터로부터 골격 정보를 추출하여 상기 골격 정보에 기초하여 상기 가상 신체 모델을 생성하는 것을 특징으로 할 수 있다.The model generating unit of the 3D body shape analysis system according to an embodiment of the present invention may extract skeletal information from 2D image data and generate the virtual body model based on the skeletal information.
본 발명의 일 실시예에 따른 2D 영상 기반의 3차원 체형 분석 프로그램은 A 3D body shape analysis program based on a 2D image according to an embodiment of the present invention
컴퓨터의 프로세서가 신체가 촬영된 2D 영상 데이터를 수신하는 단계; 기 프로세서가 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 가상 신체 모델을 생성하는 단계; 및 상기 프로세서가 상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 단계;를 실행시키는 것을 포함할 수 있다.receiving, by the processor of the computer, 2D image data of the body; generating, by the processor, body shape data based on a neural network using 2D image data, and generating a virtual body model based on the generated body shape data; and analyzing, by the processor, a body type with respect to the generated virtual body model.
본 발명의 일 실시예에 따른 3차원 체형 분석 방법, 그 시스템 및 컴퓨터 프로그램은 일반 카메라 모듈로 간편하게 촬영된 2D 사진만으로도 피측정자의 체형 정보를 정밀하게 분석할 수 있다.The three-dimensional body shape analysis method, the system, and the computer program according to an embodiment of the present invention can precisely analyze body shape information of a subject with only a 2D picture easily taken with a general camera module.
따라서 본 발명에 따른 체형 분석 방법을 통해 고가의 체형 분석 장치를 대체할 수 있는 이점이 있다. Therefore, there is an advantage that an expensive body shape analysis device can be replaced through the body shape analysis method according to the present invention.
또한, 본 발명에 따른 체형 분석 방법은 2D 영상 데이터를 사용하기 때문에 종래의 고가의 체형 분석 장치의 연산 시간보다 짧은 시간 안에 연산할 수 있는 장점도 있다. In addition, since the body shape analysis method according to the present invention uses 2D image data, there is an advantage in that it can be calculated within a shorter time than that of a conventional expensive body shape analysis device.
따라서, 본 발명에 따른 체형 분석 방법은 규모가 큰 체형 분석 장치를 필요로 하지 않기 때문에 공간적 제약이 없으므로, 일반인들도 자신의 휴대 단말기 또는 스마트폰을 이용하여 자신의 체형 분석을 간편하게 수행할 수 있다.Therefore, since the body shape analysis method according to the present invention does not require a large-scale body shape analysis device, there is no spatial limitation, so that ordinary people can easily perform their body shape analysis using their mobile terminal or smart phone. .
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 실시예에 따른 체형 분석 시스템의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 체형 분석 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 따른 체형 분석 시스템의 모델 데이터 생성부의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 모델 데이터 생성부의 학습 프로세스를 나타낸다.
도 5는 본 발명의 다른 실시예에 따른 체형 분석 방법의 순서도이다.
도 6은 본 발명의 또다른 실시예에 따른 체형 분석 방법의 순서도이다.
도 7은 본 발명의 일 실시예에 따라 체형 분석을 수행한 결과를 나타낸다.1 is a conceptual diagram of a body shape analysis system according to an embodiment of the present invention.
2 is a flowchart of a body shape analysis method according to an embodiment of the present invention.
3 is a block diagram of a model data generator of a body shape analysis system according to an embodiment of the present invention.
4 shows a learning process of a model data generator according to an embodiment of the present invention.
5 is a flowchart of a body shape analysis method according to another embodiment of the present invention.
6 is a flowchart of a body shape analysis method according to another embodiment of the present invention.
7 shows a result of performing body shape analysis according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can have various changes and can have various embodiments, specific embodiments will be described in detail with reference to the drawings. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing each figure, like reference numerals have been used for like elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. and/or includes a combination of a plurality of related description items or any of a plurality of related description items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급될 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being “connected” or “connected” to another component, it may be directly connected or connected to the other component, but it should be understood that other components may exist in between. something to do. On the other hand, when it is mentioned that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present application, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features It should be understood that this does not preclude the existence or addition of numbers, steps, operations, components, parts, or combinations thereof.
또한, "제 1"및 "제 2"라는 용어는 본 명세서에서 구별 목적으로만 사용되며, 어떠한 방식으로도 서열 또는 우선 순위를 나타내거나 예상하는 것을 의미하지 않는 것으로 이해되어야 한다.It should also be understood that the terms "first" and "second" are used herein for distinguishing purposes only, and are not meant to indicate or anticipate sequences or priorities in any way.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present application. does not
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다. Throughout the specification and claims, when a part includes a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇몇 용어들에 대하여 명확하게 하기로 한다.Prior to the description of the present specification, some terms used in the present specification will be clarified.
본 명세서에서, 신경망(neural network)이란, 신경 구조를 모방하여 고안된 모든 종류의 기계학습 모델을 포괄하는 용어이다. 가령, 상기 신경망은 인공 신경망(artificial neural network; ANN), 컨볼루션 신경망(convolutional neural network; CNN) 등과 같이 모든 종류의 신경망 기반 모델을 포함할 수 있다.As used herein, a neural network is a term encompassing all kinds of machine learning models designed to imitate a neural structure. For example, the neural network may include all kinds of neural network-based models such as an artificial neural network (ANN), a convolutional neural network (CNN), and the like.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 체형 분석 시스템의 개념도이다. 본 발명의 일 실시예에 따른 체형 분석 시스템(1000)은 영상 데이터 수신부(100), 모델 생성부(200) 및 체형 분석부(300)를 포함할 수 있다. 1 is a conceptual diagram of a body shape analysis system according to an embodiment of the present invention. The body
본 발명의 일 실시예에 따른 영상 데이터 수신부(100)는 촬영 대상인 신체의 전신부가 나타난 한 장 이상의 2D 영상 데이터를 수신할 수 있고, 모델 생성부(200)는 상기 2D 영상 데이터를 인공지능 알고리즘에 적용하여 윤곽선 정보 및 골격 정보를 추출하고, 체형 데이터를 생성함으로써 가상 신체 모델을 생성할 수 있다. 체형 분석부(300)는 생기 생성된 가상 신체 모델을 이용하여 촬영된 대상 신체의 키, 예측 나이, 추정 무게, BMI, 정면 기준 좌우 균형도 등과 같은 체형정보를 분석할 수 있다. The image
한편, 본 발명의 일 실시예에 따른 체형 분석 시스템(1000)은 분석된 체형 데이터에 기초하여 개인 맞춤형 운동이나 음식 정보를 제공하는 표시부(미도시)를 더 포함할 수 있다. 한편, 표시부는 상기 생성된 가상 신체 모델의 체형이 반영된 2D 또는 3D 아바타 형태로 표시할 수 있다.Meanwhile, the body
개인 맞춤형 운동 제공 방식은 분석된 체형에 맞게 유산소 운동 또는 무산소 운동 등 운동 종류가 처방될 수 있고, 분석된 체형에 맞는 음식 정보가 추천될 수 있다. In the personalized exercise provision method, an exercise type such as aerobic exercise or anaerobic exercise may be prescribed according to the analyzed body type, and food information suitable for the analyzed body type may be recommended.
도 1을 참조하여, 본 발명의 일 실시예에 따른 모델 생성부(200)를 보다 상세히 설명한다. Referring to FIG. 1 , the
본 발명의 일 실시예에 따른 모델 생성부(200)는 모델 데이터 생성부(210), 모델 기반 학습 데이터부(220), 실제 영상 기반 학습 데이터부(230), 판별부(240), 판별부-학습부(250), 모델 데이터 생성부-학습부(260)를 포함할 수 있으며, 생성적 적대 신경망 (Generative Adversarial Network, GAN)인 신경 네트워크가 적용될 수 있다. The
생성적 적대 신경망(GAN)은 원본 데이터 분포와 유사한 이미지를 생성하기 위한 머신 러닝(machine learning) 알고리즘으로, 진짜 같은 가짜를 쉽고 빠르게 만들 수 있는 기술로 활용되고 있다. 생성적 적대 신경망(GAN)은 생성기(Generator)와 판별기(Discriminator)의 두 신경망 모델의 상호경쟁을 통해 신경 네트워크의 변수를 변형 학습하고 결과물을 도출해 낸다. A generative adversarial neural network (GAN) is a machine learning algorithm for generating images similar to the original data distribution, and is being used as a technology that can quickly and easily create fakes that look like real ones. A generative adversarial neural network (GAN) transforms and learns the variables of a neural network through mutual competition between two neural network models, a generator and a discriminator, and derives results.
생성기는 실제에 가까운 데이터를 생성하는 것을 목적으로 실제 데이터를 학습하고 이를 바탕으로 데이터를 생성하고, 판별기는 생성기가 생성한 데이터를 실제인지, 거짓인지 판별하도록 학습한다.The generator learns real data for the purpose of generating data close to reality and generates data based on it, and the discriminator learns to determine whether the data generated by the generator is real or false.
본 발명의 일 실시예에 따른 모델 생성부(200)는 1개의 생성기와 1개의 판별기로 이루어진 생성적 적대 신경망(GAN)이 적용될 수 있는데, 본 발명의 일 실시예에 따른 모델 데이터 생성부(210)가 GAN 알고리즘의 생성기에 대응될 수 있고, 본 발명의 일 실시예에 따른 판별부(240)가 GAN 알고리즘의 판별기에 대응될 수 있다. A generative adversarial neural network (GAN) composed of one generator and one discriminator may be applied to the
따라서, 본 발명의 일 실시예에 따른 모델 데이터 생성부(210)는 2D 영상 데이터를 입력 받아 시뮬레이터 기반으로 가상의 신체 모델을 생성할 수 있다. 가상 신체 모델을 구성하는 데이터는 실제 영상 데이터의 신체 형태와 유사하도록 학습될 수 있다. Accordingly, the
보다 구체적으로, 모델 데이터 생성부(210)는 2D 영상 데이터로부터 가상 신체 모델을 구성하기 위한 체형 데이터를 계산하여 생성한다. 이에 대한 보다 자세한 내용은 도 3 및 도 4를 참조하여 후술한다. More specifically, the
본 발명의 일 실시예에 따른 실제 영상 기반 학습 데이터부(230)는 실제 영상 데이터로부터 사람의 신체 형상을 인식하고 사람의 형상 외 다른 배경의 픽셀 데이터는 제거함으로써 신체 형상에 관한 데이터를 생성한다. The actual image-based
또한, 실제 영상 기반 학습 데이터부(230)는 상기 생성된 신체 형상에 관한 데이터와 영상 데이터 DB(10)에 저장된 영상 데이터를 함께 사용하여 영상 데이터를 가공하여, 판별부(240)에서 읽을 수 있는 데이터 형태로 변환할 수 있다.In addition, the actual image-based
본 발명의 일 실시예에 따른 모델 기반 학습 데이터부(220)는 모델 데이터 생성부(210)에서 새로 생성된 모델 데이터를 판별부(240)에서 읽을 수 있는 데이터 형태로 변환할 수 있다.The model-based
본 발명의 일 실시예에 따른 판별부(240)는 실제 영상 데이터에 기초한 학습 데이터를 실제 영상 기반 학습 데이터부(230)로부터 수신하고 새로 생성된 모델에 기초한 학습 데이터를 모델 기반 학습 데이터부(220)로부터 수신하는데, 실제 영상 데이터에 기초한 학습 데이터와 생성된 모델에 기초한 학습데이터는 판별부(240)에 임의의 순서로 수신된다.The determining
본 발명의 일 실시예에 따른 판별부(240)는 가상으로 생성된 데이터와 실제 영상 기반의 데이터를 분류하고 분류 결과를 확인한다. 즉, 본 발명의 일 실시예에 따른 판별부(240)는 실제 영상 데이터인지 가상 모델에 대한 데이터인지 잘 분류하는 것을 목적으로 하고, 학습이 반복되면 실제 영상 데이터와 가상 모델에 대한 데이터를 더 잘 분류할 수 있다. The determining
본 발명의 일 실시예에 따른 판별부-학습부(250)는 상기 판별부(240)가 분류한 결과를 수신하여 이 결과값을 이용하여 상기 판별부(240)의 학습 네트워크를 조정할 수 있다. The discriminator-learning
본 발명의 일 실시예에 따른 모델 데이터 생성부-학습부(260)는 상기 판별부(240)가 분류한 결과를 수신하여 이 결과값을 이용하여 상기 모델 데이터 생성부(210)의 학습 네트워크를 조정할 수 있다. The model data generation unit-learning
한편, 본 발명의 일 실시예에 따른 판별부-학습부(250) 및 모델 데이터 생성부-학습부(260)는 기계 학습 알고리즘을 이용하여 학습 네트워크를 조정할 수 있다. Meanwhile, the determining unit-learning
도 2는 본 발명의 일 실시예에 따른 체형 분석 방법의 순서도이다. 2 is a flowchart of a body shape analysis method according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 체형 분석 방법은 도 1에 따른 체형 분석 시스템(1000)을 이용하여 수행될 수 있으며, 프로세서가 촬영된 2D 영상 데이터를 수신하는 단계(S110), 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하는 단계(S120), 체형 데이터에 기초하여 가상 신체 모델을 생성하는 단계(S130). 생성된 가상 신체 모델에 대하여 체형을 분석하는 단계(S140) 및 분석된 체형 데이터 및 개인 맞춤형 운동 또는 음식 정보를 제공하는 단계(S150)를 포함할 수 있다. The body shape analysis method according to an embodiment of the present invention may be performed using the body
본 발명은 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하는 단계(S120) 및 체형 데이터에 기초하여 가상 신체 모델을 생성하는 단계(S130)에 기술적 특징이 있는데, 도 3 및 도 4를 참조하여 보다 구체적으로 설명한다. The present invention has technical characteristics in the step of generating body shape data based on the neural network using 2D image data (S120) and the step of generating a virtual body model based on the body shape data (S130), as shown in FIGS. 3 and 4 It will be described in more detail with reference to .
도 3은 본 발명의 일 실시예에 따른 체형 분석 시스템의 모델 데이터 생성부(210)의 블록도이고, 도 4는 본 발명의 일 실시예에 따른 모델 데이터 생성부의 학습 프로세스를 나타낸다. 3 is a block diagram of the model
도 3을 참조하면, 본 발명의 일 실시예에 따른 모델 데이터 생성부(210)는 골격 정보 추출부(1210), 신체 모델 정보 생성부(2210), 신체 시뮬레이터(3210), 영상 데이터 변환부(4210)를 포함할 수 있다. Referring to FIG. 3 , the model
본 발명의 일 실시예에 따른 골격 정보 추출부(1210)는 영상 데이터 DB(10)로부터 영상 데이터를 수신하여 골격 정보를 추출하고 골격 정보의 데이터를 계산할 수 있는데, 골격 정보는 골격 축의 위치 및 골격 간의 각도 값 등을 포함할 수 있다. 한편, 영상 데이터 DB(10)는 체형 분석 시스템(1000)의 내부에 내장되거나 외부 서버에 연결된 것일 수 있다. The skeleton
본 발명의 일 실시예에 따른 신체 모델 정보 생성부(2210)는 신체 모델의 체형을 결정하는 데이터와 촬영 모듈의 제어 데이터를 생성할 수 있는데, 데이터 종류에 대응되는 변수와 각 변수의 값을 생성할 수 있다. The body model
상기 신체 모델의 체형을 결정하는 데이터는 팔 굵기, 다리 굵기, 팔 길이, 다리 길이, 몸통 면적 등이 될 수 있으며, 명세서 전체에서 체형 데이터로 지칭될 수 있다. Data for determining the body type of the body model may be arm thickness, leg thickness, arm length, leg length, torso area, etc., and may be referred to as body shape data throughout the specification.
본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)는 상기 골격 정보 및 체형 데이터를 수신한 다음, 골격 정보의 데이터를 고정한 상태에서 체형 데이터의 값을 변경하면서 3차원 신체 모델을 생성할 수 있다. 한편, 체형 데이터의 값은 촬영 모듈의 위치와 방향에 따라 달라질 수 있으므로, 본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)는 촬영 모듈의 제어 데이터도 변경하면서 3차원의 신체 모델을 생성할 수 있다. The
본 발명의 일 실시예에 따른 촬영 모듈은 카메라 등을 포함할 수 있고, 제어 데이터는 카메라의 위치와 방향을 나타내는 데이터를 포함할 수 있다. The photographing module according to an embodiment of the present invention may include a camera and the like, and the control data may include data indicating the position and direction of the camera.
즉, 본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)는 카메라의 위치와 방향을 고려하여 가상 신체 모델을 생성할 수 있다. That is, the
본 발명의 일 실시예에 따른 영상 데이터 변환부(4210)는 상기 신체 시뮬레이터(3210)에서 생성한 3D 신체 모델을 구성하는 데이터를 2D 기반의 영상 데이터로 변환하고 모델 기반 학습 데이터부(220)로 2D 기반의 영상 데이터를 보낸다. The image
본 발명의 일 실시예에 따른 모델 기반 학습 데이터부(220)는 상기 생성된 가상 신체 모델에 대한 영상 데이터를 판별부(240)에서 읽을 수 있는 데이터 형태로 변환하는데, 상기 가상 신체 모델에 대한 영상 데이터와 영상 데이터 DB(10)로부터 수신한 영상 데이터를 함께 이용하여 판별부(240)에서 읽을 수 있는 데이터로 재생성 할 수 있다.The model-based
도 4를 참조하여, 모델 데이터 생성부(210)에 적용되는 신경 네트워크의 구성을 설명한다. A configuration of a neural network applied to the
본 발명의 일 실시예에 따른 골격 정보 추출부(1210) 및 신체 모델 정보 생성부(2210)는 신경 네트워크의 프레임 워크로 구성되는데, 골격 정보 추출부(1210)는 골격 감지 네트워크(Skeleton Detect Network)로 학습된 학습 프레임 워크로 구성될 수 있고, 신체 모델 정보 생성부(2210)는 컨볼루션 계층의 역할을 수행하는 CNN (Convolutional Neural Network) 네트워크 프레임 및 완전 연결 계층의 역할을 수행하는 FFNN(Feed-Forward Neural Network) 네트워크 프레임으로 구성될 수 있다. The skeleton
한편, 골격 정보 추출부(1210)에 적용되는 학습 프레임 워크는 영상 데이터 DB(10)에서 제공되는 2D 영상 데이터 외에 다른 종류의 영상 데이터를 이용하여 학습된 네트워크 변수를 사용할 수 있다. Meanwhile, the learning framework applied to the
그리고 신체 모델 정보 생성부(2210)에 적용되는 프레임 워크는 본 발명의 일 실시예에 따라 생성되는 3D 체형 정보가 반영된 가상 모델 데이터를 학습하는 것일 수 있다. In addition, the framework applied to the body model
도 4를 참조하여, 본 발명의 일 실시예에 따라 생성되는 가상 모델 데이터가 학습되는 프로세스를 설명한다.A process in which virtual model data generated according to an embodiment of the present invention is learned will be described with reference to FIG. 4 .
2D 영상 데이터(60)가 모델 데이터 생성부(210)의 골격 정보 추출부(1210) 및 신체 모델 정보 생성부(2210)에 입력된다. The
2D 영상 데이터(60)를 수신한 골격 정보 추출부(1210)는 골격 정보 벡터(1211)를 추출하여 신체 시뮬레이터(3210)에 전송한다. 본 발명의 일 실시예에 따른 골격 정보 벡터(1211)는 골격 축의 위치 및 골격 간의 각도 값 등을 포함할 수 있다.The
2D 영상 데이터(60)를 수신한 신체 모델 정보 생성부(2210)의 CNN 네트워크(2212)는 영상에 존재하는 신체 모델 구성에 필요한 정보를 변수로 추출하고 벡터로 출력한다. CNN 네트워크(2212)에서 출력된 벡터는 2개의 FFNN 네트워크(2214, 2216)에 각각 입력된다. 제1 FFNN 네트워크(2214)는 신체의 체형 정보에 대한 벡터(2218, 체형 데이터)를 추출하고, 제2 FFNN 네트워크(2216)는 시뮬레이터의 촬영 모듈의 정보에 대한 벡터(2220, 촬영 모듈 제어 데이터)를 추출한다. The
본 발명의 일 실시예에 따른 체형 정보는 팔 굵기, 다리 굵기, 팔 길이, 다리 길이, 몸통 면적 등이 될 수 있으며, 촬영 모듈의 정보는 카메라의 위치와 방향을 나타내는 데이터 등이 될 수 있다. The body shape information according to an embodiment of the present invention may be arm thickness, leg thickness, arm length, leg length, torso area, etc., and the information of the photographing module may be data indicating the position and direction of the camera.
본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)는 골격 정보 추출부(1210)로부터 수신한 골격 정보 벡터(1211) 및 신체 모델 정보 생성부(2210)로부터 수신한 체형 정보 벡터(2218) 및 촬영 모듈 정보 벡터(2220)를 이용하여 가상 신체 모델(62)을 생성한다. The
보다 구체적으로, 신체 시뮬레이터(3210)는 골격 정보 데이터는 고정한 상태에서 체형 데이터 값 및 촬영 모듈의 제어 데이터 값을 변경하면서 가상 신체 모델(62)을 생성하고 학습할 수 있다. 본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)는 또한 골격 정보 데이터를 변경하여 가상 신체 모델의 움직임을 변경하여 새로운 가상 신체 모델(62)을 생성하고 학습할 수도 있다. More specifically, the
본 발명의 일 실시예에 따른 신체 시뮬레이터(3210)의 촬영 모듈(3212)은 가상 신체 모델(62)에 대한 상을 촬영하고, 가상 신체 모델(62)에 대한 상은 영상 데이터 변환부(4210)를 통해 2D 가상 영상 데이터(64)로 변환되고 영상 데이터 변환부(4210)에 저장된다.The photographing
도 5는 본 발명의 다른 실시예에 따른 체형 분석 방법의 순서도이다. 도 6은 본 발명의 또다른 실시예에 따른 체형 분석 방법의 순서도이다. 5 is a flowchart of a body shape analysis method according to another embodiment of the present invention. 6 is a flowchart of a body shape analysis method according to another embodiment of the present invention.
도 5 및 도 6을 참조하면, 본 발명의 다른 실시예에 따른 체형 분석 방법은 도 4를 통해 서술한 바와 같이 골격 정보, 체형 데이터, 신체 시뮬레이터의 촬영 모듈의 제어 데이터를 이용하여 가상 신체 모델을 생성할 수 있다.5 and 6 , the body shape analysis method according to another embodiment of the present invention generates a virtual body model using skeletal information, body shape data, and control data of an imaging module of a body simulator as described with reference to FIG. 4 . can create
도 5 및 도 6에 따른 체형 분석 방법은 도 2에 따른 체형 분석 방법과 2D 영상 데이터를 수신하는 단계(S210, S310), 생성된 가상 신체 모델에 대하여 체형 분석하는 단계(S240, S340) 및 분석된 체형 데이터 및 개인 맞춤형 운동/음식 정보를 제공하는 단계(S250, S350)는 동일할 수 있다. The body shape analysis method according to FIGS. 5 and 6 includes the body shape analysis method according to FIG. 2, the steps of receiving 2D image data (S210, S310), and the steps of analyzing the body shape with respect to the generated virtual body model (S240, S340) and analysis Steps (S250, S350) of providing the body shape data and personalized exercise/food information may be the same.
도 5에 따른 체형 분석 방법은 신경 네트워크를 기반으로 체형 데이터 및 촬영 모듈의 제어 데이터를 생성(S220)하고 체형 데이터 및 촬영 모듈의 제어 데이터에 기초하여 가상 신체 모델을 생성할 수 있다(S230).The body shape analysis method according to FIG. 5 may generate body shape data and control data of the imaging module based on the neural network (S220), and may generate a virtual body model based on the body shape data and control data of the imaging module (S230).
도 6에 따른 체형 분석 방법은 골격 정보를 추출하고, 신경 네트워크를 기반으로 체형 데이터 및 촬영 모듈의 제어 데이터를 생성(S320)하고, 골격 정보, 체형 데이터 및 촬영 모듈의 제어 데이터에 기초하여 가상 신체 모델을 생성할 수 있다(S340).The body shape analysis method according to FIG. 6 extracts skeletal information, generates body shape data and control data of the imaging module based on a neural network (S320), and virtual body based on skeletal information, body shape data, and control data of the imaging module A model may be generated (S340).
도 7은 본 발명의 일 실시예에 따라 체형 분석을 수행한 결과를 나타낸다.7 shows a result of performing body shape analysis according to an embodiment of the present invention.
즉, 도 7은 본 발명의 일 실시예에 따른 3차원 체형 분석 프로그램을 이용하여 촬영한 신체에 대한 가상 모델을 생성함으로써, 본 발명에 따른 체형 분석 프로그램은 촬영한 대상자의 예측 나이, 키, 몸무게, 좌우 균형도, 허리 둘레나 허벅지 둘레 등을 표시하고, 일자목이나 거북목 여부, 골반이나 다리의 좌우 틀어짐 여부 등을 안내할 뿐만 아니라, 개인의 체형에 맞춤형 운동 종류 및 추천 음식 정보를 제공할 수 있다.That is, FIG. 7 shows a virtual model of a photographed body using a three-dimensional body shape analysis program according to an embodiment of the present invention, so that the body shape analysis program according to the present invention predicts the age, height, and weight of the photographed subject. , left-right balance, waist circumference or thigh circumference, etc., as well as providing information on whether a straight neck or a turtle neck, and whether the pelvis or legs are left or right, as well as information on exercise types and recommended foods tailored to an individual's body type. can
이상에서 설명된 시스템은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The system described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, systems and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA), It may be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and carry out program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and a person of ordinary skill in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
10 : 영상 데이터 DB
100 : 영상 데이터 수신부
200 : 모델 생성부
210 : 모델 데이터 생성부
1210 : 골격 정보 추출부
2210 : 신체 모델 정보 생성부
3210 ; 신체 시뮬레이터
4210 : 영상 데이터 변환부
220 : 모델 기반 학습 데이터부
230 : 실제 영상 기반 학습 데이터부
240 : 판별부
250 : 판별부-학습부
260 : 모델 데이터 생성부-학습부
300 : 체형 분석부
1000 : 본 발명에 따른 체형 분석 시스템10: image data DB
100: image data receiving unit
200: model generation unit
210: model data generation unit
1210: skeletal information extraction unit
2210: body model information generating unit
3210; body simulator
4210: image data conversion unit
220: model-based learning data unit
230: actual image-based learning data unit
240: determination unit
250: discrimination unit-learning unit
260: model data generation unit-learning unit
300: body shape analysis unit
1000: body type analysis system according to the present invention
Claims (9)
상기 프로세서가 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 3차원의 가상 신체 모델을 생성하는 단계; 및
상기 프로세서가 상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 단계;를 포함하는 2D 영상 기반의 3차원 체형 분석 방법.receiving, by the processor of the computer, 2D image data of the body;
generating, by the processor, body shape data based on a neural network using 2D image data, and generating a three-dimensional virtual body model based on the generated body shape data; and
and analyzing, by the processor, a body shape with respect to the generated virtual body model.
상기 가상 신체 모델을 생성하는 단계는,
촬영 모듈의 제어 데이터를 생성하고 상기 생성된 촬영 모듈의 제어 데이터와 상기 체형 데이터를 이용하여 상기 가상 신체 모델을 생성하는 것을 특징으로 하는
2D 영상 기반의 3차원 체형 분석 방법.According to claim 1,
The step of generating the virtual body model comprises:
Generating control data of an imaging module and generating the virtual body model using the generated control data of the imaging module and the body shape data
A 3D body shape analysis method based on 2D images.
상기 가상 신체 모델을 생성하는 단계는,
상기 2D 영상 데이터로부터 골격 정보를 추출하여 상기 골격 정보에 기초하여 상기 가상 신체 모델을 생성하는 것을 특징으로 하는
2D 영상 기반의 3차원 체형 분석 방법.According to claim 1,
The step of generating the virtual body model comprises:
extracting skeletal information from the 2D image data and generating the virtual body model based on the skeletal information
3D body shape analysis method based on 2D image.
상기 신경 네트워크는 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것을 특징으로 하는 2D 영상 기반의 3차원 체형 분석 방법.According to claim 1,
The 3D body shape analysis method based on a 2D image, characterized in that the neural network is a generative adversarial network (GAN).
상기 2D 영상 데이터를 이용하여 신경 네트워크를 기반으로 체형 데이터를 생성하고, 상기 생성된 체형 데이터에 기초하여 3차원의 가상 신체 모델을 생성하는 모델 생성부; 및
상기 생성된 가상 신체 모델에 대하여 체형을 분석하는 체형 분석부;를 포함하는 2D 영상 기반의 3차원 체형 분석 시스템.an image data receiving unit for receiving 2D image data of a body photographed;
a model generator that generates body shape data based on a neural network using the 2D image data and generates a three-dimensional virtual body model based on the generated body shape data; and
2D image-based three-dimensional body shape analysis system comprising a; a body shape analyzer that analyzes a body shape with respect to the generated virtual body model.
상기 모델 생성부는 촬영 모듈의 제어 데이터를 생성하고 상기 생성된 촬영 모듈의 제어 데이터와 상기 체형 데이터를 이용하여 상기 가상 신체 모델을 생성하는 것을 특징으로 하는 2D 영상 기반의 3차원 체형 분석 시스템.6. The method of claim 5,
The model generator generates control data of the imaging module and generates the virtual body model using the generated control data of the imaging module and the body shape data.
상기 모델 생성부는 상기 2D 영상 데이터로부터 골격 정보를 추출하여 상기 골격 정보에 기초하여 상기 가상 신체 모델을 생성하는 것을 특징으로 하는 2D 영상 기반의 3차원 체형 분석 시스템.6. The method of claim 5,
The model generator extracts skeletal information from the 2D image data and generates the virtual body model based on the skeletal information.
상기 신경 네트워크는 생성적 적대 신경망(Generative Adversarial Network, GAN)인 것을 특징으로 하는 2D 영상 기반의 3차원 체형 분석 시스템.6. The method of claim 5,
The 3D body shape analysis system based on 2D image, characterized in that the neural network is a generative adversarial network (GAN).
상기 제1항 내지 제4항 중 어느 한 항의 방법을 실행시키키는 것을 특징으로 하는, 2D 영상 기반의 3차원 체형 분석 프로그램.
In the computer program stored in a computer-readable recording medium combined with the processor of the computer,
A 3D body shape analysis program based on a 2D image, characterized in that the method of any one of claims 1 to 4 is executed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200003863A KR102387711B1 (en) | 2020-01-10 | 2020-01-10 | The method for analyzing 3D body type based on 2D image, the system and the program thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200003863A KR102387711B1 (en) | 2020-01-10 | 2020-01-10 | The method for analyzing 3D body type based on 2D image, the system and the program thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210090498A true KR20210090498A (en) | 2021-07-20 |
KR102387711B1 KR102387711B1 (en) | 2022-04-18 |
Family
ID=77127372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200003863A KR102387711B1 (en) | 2020-01-10 | 2020-01-10 | The method for analyzing 3D body type based on 2D image, the system and the program thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102387711B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023090601A1 (en) * | 2021-11-18 | 2023-05-25 | 동국대학교 산학협력단 | User terminal and method for providing body shape information for each body part of user |
KR102557953B1 (en) * | 2023-03-16 | 2023-07-20 | 주식회사 케이에이씨미디어그룹 | Choreography Analysis System |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150079585A (en) * | 2012-09-05 | 2015-07-08 | 바디 패스 리미티드 | System and method for deriving accurate body size measures from a sequence of 2d images |
KR20160070498A (en) | 2014-12-10 | 2016-06-20 | 한국표준과학연구원 | Method and Apparatus of analyzing body type dased on the body data |
KR101938361B1 (en) | 2017-09-29 | 2019-01-14 | 재단법인 아산사회복지재단 | Method and program for predicting skeleton state by the body ouline in x-ray image |
KR20190140765A (en) | 2018-06-12 | 2019-12-20 | 구자곤 | System and method for analyzing and correcting body shape through gait analysis |
-
2020
- 2020-01-10 KR KR1020200003863A patent/KR102387711B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150079585A (en) * | 2012-09-05 | 2015-07-08 | 바디 패스 리미티드 | System and method for deriving accurate body size measures from a sequence of 2d images |
KR20160070498A (en) | 2014-12-10 | 2016-06-20 | 한국표준과학연구원 | Method and Apparatus of analyzing body type dased on the body data |
KR101938361B1 (en) | 2017-09-29 | 2019-01-14 | 재단법인 아산사회복지재단 | Method and program for predicting skeleton state by the body ouline in x-ray image |
KR20190140765A (en) | 2018-06-12 | 2019-12-20 | 구자곤 | System and method for analyzing and correcting body shape through gait analysis |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023090601A1 (en) * | 2021-11-18 | 2023-05-25 | 동국대학교 산학협력단 | User terminal and method for providing body shape information for each body part of user |
KR20230073381A (en) * | 2021-11-18 | 2023-05-26 | 동국대학교 산학협력단 | User terminal and method for providing shape information for each body part of the user |
KR102557953B1 (en) * | 2023-03-16 | 2023-07-20 | 주식회사 케이에이씨미디어그룹 | Choreography Analysis System |
Also Published As
Publication number | Publication date |
---|---|
KR102387711B1 (en) | 2022-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | Ghum & ghuml: Generative 3d human shape and articulated pose models | |
Zanfir et al. | Monocular 3d pose and shape estimation of multiple people in natural scenes-the importance of multiple scene constraints | |
Lassner et al. | A generative model of people in clothing | |
CN111414797B (en) | System and method for estimating pose and pose information of an object | |
Popa et al. | Deep multitask architecture for integrated 2d and 3d human sensing | |
Tekin et al. | Learning to fuse 2d and 3d image cues for monocular body pose estimation | |
CN105930767B (en) | A kind of action identification method based on human skeleton | |
US20200272806A1 (en) | Real-Time Tracking of Facial Features in Unconstrained Video | |
KR20180057096A (en) | Device and method to perform recognizing and training face expression | |
EP3593276A1 (en) | Image analysis using neural networks for pose and action identification | |
CN110599395A (en) | Target image generation method, device, server and storage medium | |
Bashirov et al. | Real-time rgbd-based extended body pose estimation | |
KR102387711B1 (en) | The method for analyzing 3D body type based on 2D image, the system and the program thereof | |
CN111914676A (en) | Human body tumbling detection method and device, electronic equipment and storage medium | |
Ma et al. | Human motion gesture recognition based on computer vision | |
CN112419419A (en) | System and method for human body pose and shape estimation | |
Shah et al. | Computer Vision & Deep Learning based realtime and pre-recorded human pose estimation | |
Martínez-González et al. | Investigating depth domain adaptation for efficient human pose estimation | |
Du | The computer vision simulation of athlete’s wrong actions recognition model based on artificial intelligence | |
Jiang et al. | Observation-oriented silhouette-aware fast full body tracking with Kinect | |
Nie et al. | A child caring robot for the dangerous behavior detection based on the object recognition and human action recognition | |
CN115546408A (en) | Model simplifying method and device, storage medium, electronic equipment and product | |
Dai | Modeling and simulation of athlete’s error motion recognition based on computer vision | |
Biswas et al. | Physically plausible 3D human-scene reconstruction from monocular RGB image using an adversarial learning approach | |
CN116266408A (en) | Body type estimating method, body type estimating device, storage medium and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |