KR102536425B1 - Health care device, system and method - Google Patents
Health care device, system and method Download PDFInfo
- Publication number
- KR102536425B1 KR102536425B1 KR1020200038649A KR20200038649A KR102536425B1 KR 102536425 B1 KR102536425 B1 KR 102536425B1 KR 1020200038649 A KR1020200038649 A KR 1020200038649A KR 20200038649 A KR20200038649 A KR 20200038649A KR 102536425 B1 KR102536425 B1 KR 102536425B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- image
- information
- growth rate
- unit
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/27—Individual registration on entry or exit involving the use of a pass with central registration
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Physical Education & Sports Medicine (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Nutrition Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
헬스 케어 장치를 개시한다. 본 발명에 따른 헬스 케어 장치는 사용자의 모든 관절을 인식하여 신체 부위 별 길이 및 비율을 산출할 수 있다. 또한, 본 발명에 따른 헬스 케어 장치는 인공 지능(Artificial Intelligence) 모듈, 로봇, 증강 현실(Augmented Reality, AR) 장치, 가상 현실(virtual reality, VR) 장치, 5G 서비스와 관련된 장치 등과 연계될 수 있다.A health care device is disclosed. The health care device according to the present invention can recognize all joints of the user and calculate the length and ratio for each body part. In addition, the health care device according to the present invention may be linked to an artificial intelligence module, a robot, an augmented reality (AR) device, a virtual reality (VR) device, a device related to a 5G service, and the like. .
Description
본 발명은 어린 아이들의 신체에 대한 데이터를 수집하여 개인 별로 최적화된 헬스 케어 서비스를 제공할 수 있는 장치, 시스템 및 방법에 관한 것이다.The present invention relates to an apparatus, system, and method capable of providing health care services optimized for each individual by collecting body data of young children.
최근, 유소년을 대상으로 제공되는 스포츠 교육 및 건강 관리와 관련된 서비스에 대한 수요가 급증하고 있다.Recently, demand for services related to sports education and health care provided to youth is rapidly increasing.
이러한 수요에 발맞춰 착용자의 운동량을 확인할 수 있는 웨어러블 디바이스(wearable device)로서 스마트 밴드(Smart Band) 및/또는 스마트 폰과 같이 모바일 디바이스가 등장하였으며, 이러한 디바이스들은 IoT(Internet of Things) 기술이 접목되어 상호 연동되도록 하였다.In line with this demand, mobile devices such as smart bands and/or smart phones have emerged as wearable devices that can check the amount of exercise of the wearer, and these devices are grafted with IoT (Internet of Things) technology. and made them interoperable.
특히, 스마트 밴드는 손목 시계 형태와 유사하게 제공되어 사용자가 손목에 차고 활동할 수 있도록 하였으며, 예를 들어, 어린 아이가 스마트 밴드를 착용하고 운동을 할 경우, 스마트 밴드를 통해 운동량에 관한 정보를 확인할 수 있었다.In particular, the smart band is provided in a similar form to a wrist watch so that users can wear it on their wrist and carry out activities. could
그러나, 종래에 유소년의 스포츠 교육 및 건강 관리를 돕기 위해 제공되던 디바이스들은 칼로리 소모량, 운동 시간과 같은 운동량에 대한 데이터만 수집할 수 있었으며, 디바이스를 착용하고 활동하는 사용자의 신체 조건을 고려하여 데이터를 수집할 수 없었다. 또한, 이러한 디바이스들은 사용자로부터 수집한 운동량에 대한 데이터만으로는 사용자가 현재 즐기고 있는 스포츠 종목이 무엇인지를 정확하게 구분할 수도 없었다. However, conventional devices provided to help young people's sports education and health management could only collect data on exercise amounts such as calorie consumption and exercise time, and the data was collected in consideration of the physical condition of the user wearing the device and being active. could not be collected. In addition, these devices cannot accurately distinguish what sports event the user is currently enjoying only with the data on the amount of exercise collected from the user.
더욱이, 종래에 유소년의 스포츠 교육 및 건강 관리를 돕기 위해 제공되던 디바이스들은 디바이스 사용자에게 자세 교정과 같은 기능을 제공할 수 없었으며, 모두 획일적인 교육 커리큘럼 및 콘텐츠 만을 제공한다는 문제점이 있었다.Moreover, conventional devices provided to help youth sports education and health management could not provide functions such as posture correction to device users, and all of them had a problem of providing only uniform educational curriculum and contents.
본 발명은 전술한 문제점들을 해결하는 것을 목적으로 한다.The present invention aims to solve the above problems.
본 발명에 따른 헬스 케어 장치, 시스템 및 방법은 어린 아이들의 체형과 신체부위 별 비율을 수집하고 기계 학습(Machine Learning)하여 개인 별 미래 성장도에 대한 예측 데이터를 제공하는 것을 목적으로 한다.The purpose of the health care apparatus, system, and method according to the present invention is to provide predictive data on the future growth of each individual by collecting the body shape and ratio of each body part of young children and performing machine learning.
본 발명에 따른 헬스 케어를 위한 장치, 시스템 및 방법은 어린 아이들로부터 수집된 체형과 신체부위 별 비율을 기계 학습하여, 개인 별로 맞춤형 헬스 케어 서비스를 제공하는 것을 목적으로 한다.An apparatus, system, and method for health care according to the present invention aim to provide customized health care services for each individual through machine learning of body shapes and ratios for each body part collected from young children.
본 발명에 따른 헬스 케어 장치, 시스템 및 방법은 어린 아이들의 현재 위치를 측정하여 다른 사용자 단말로 전송함으로써, 어린 아이들의 위치 데이터를 관계자들에게 제공하는 것을 목적으로 한다.The purpose of the health care apparatus, system, and method according to the present invention is to provide location data of young children to related parties by measuring and transmitting the current location of young children to another user terminal.
본 발명의 일 실시 예에 따른 헬스 케어 장치는, 사용자를 촬영하여 상기 사용자에 대한 제1 영상을 생성할 수 있는 촬영부, 상기 제1 영상을 다른 영상들과 합성할 수 있는 영상 처리부, 상기 제1 영상을 분석하여 상기 사용자의 신체 부위 별 비율 및 현재 성장도를 산출하고, 상기 사용자의 미래 성장률을 예측할 수 있는 건강 상태 분석부, 상기 사용자에 대한 정보를 저장하고 관리하는 사용자 관리부, 상기 신체 부위 별 비율, 현재 성장도 및 상기 사용자에 대한 정보를 기계 학습하는 기계 학습부 및 상기 건강 상태 분석부로부터 상기 신체 부위 별 비율, 상기 현재 성장도 및 상기 미래 성장률을 제공받아 표시하는 디스플레이부를 포함하며, 상기 사용자에 대한 정보는, 상기 사용자의 얼굴, 지문, 홍채, 음성과 같은 생체 인식 정보와 연령, 성별과 같은 개인 정보, 저장된 상기 사용자의 아이디나 패스워드 같은 계정 정보, 상기 사용자의 웹이나 소셜 네트워크 검색 이력, 상기 제1 영상 및 상기 사용자의 현재 위치 정보를 포함한다.A health care device according to an embodiment of the present invention includes a photographing unit capable of capturing a user and generating a first image of the user, an image processing unit capable of synthesizing the first image with other images, and the first image. 1 A health condition analysis unit that analyzes an image to calculate the ratio and current growth rate of each body part of the user and predicts the user's future growth rate, a user management unit that stores and manages information about the user, and the body part A machine learning unit that machine-learns the star ratio, current growth rate, and information about the user, and a display unit that receives and displays the ratio, current growth rate, and future growth rate for each body part from the health condition analysis unit, The information about the user includes biometric information such as the user's face, fingerprint, iris, and voice, personal information such as age and gender, stored account information such as the user's ID and password, and web or social network search of the user. history, the first image, and current location information of the user.
상기 촬영부는, 상기 사용자로부터 반사되는 빛을 센싱하는 적어도 하나 이상의 RGB 뎁스 센서(RGB-D sensor), 상기 사용자에게 픽셀 단위의 복수의 적외선들을 방출하는 적외선 방출기(IR Emitter) 및 상기 복수의 적외선들 중 상기 사용자에 의해 반사되는 적외선을 인식하는 적외선 뎁스 센서(IR Depth sensor)를 더 포함하고, 상기 사용자를 촬영하여 상기 RGB 뎁스 센서로부터 생성된 컬러 정보, 상기 적외선 뎁스 센서로부터 생성된 깊이 정보 및 상기 사용자와 그 주변에 대하여 생성된 다수의 레이어들을 가지는 3차원 백그라운드 모델을 입체적으로 렌더링하여 상기 제1 영상을 생성할 수 있다.The photographing unit may include at least one RGB depth sensor for sensing light reflected from the user, an IR emitter for emitting a plurality of infrared rays in pixel units to the user, and the plurality of infrared rays Further comprising an IR depth sensor for recognizing infrared rays reflected by the user, color information generated from the RGB depth sensor by photographing the user, depth information generated from the infrared depth sensor, and the The first image may be generated by stereoscopically rendering a 3D background model having a plurality of layers created for the user and its surroundings.
상기 건강 상태 분석부는 상기 제1 영상을 분석하여 상기 사용자의 체형, 각 신체 부위 및 관절을 인식하는 체형 분석부, 상기 제1 영상을 분석하여 상기 사용자가 현재 플레이 중인 운동 종목 및 자세를 인식하고, 상기 사용자가 운동에 소요한 시간 및 칼로리를 산출하는 운동 데이터 분석부, 미리 저장된 소아청소년성장테이블, 상기 신체 부위 별 비율 및 상기 제1 사용자에 대한 정보를 함께 분석하여 상기 사용자의 현재 성장도를 산출하고 상기 사용자의 미래 성장률을 예측하는 성장 예측부를 더 포함하며, 상기 체형 분석부는 상기 관절의 위치 및 산출된 상기 신체 부위 별 비율에 대한 데이터를 바탕으로 상기 사용자의 체형을 판단하여, 판단 결과에 따라 체형 교정 가이드를 산출하고, 상기 운동 데이터 분석부는, 상기 사용자에 대한 정보를 분석하여 상기 사용자가 선호하는 운동 종목과 해당 종목에서 선호하는 선수를 인식할 수 있다.The health state analyzer analyzes the first image to recognize the user's body shape, each body part and joints, and analyzes the first image to recognize the user's currently playing sport and posture; The user's current growth rate is calculated by analyzing the exercise data analyzer for calculating the time and calories the user spent on exercise, the pre-stored child/adolescent growth table, the ratio for each body part, and information on the first user. and a growth predictor for predicting the future growth rate of the user, wherein the body shape analysis unit determines the user's body type based on the location of the joint and the calculated data on the ratio for each body part, and according to the determination result A body shape correction guide may be calculated, and the exercise data analyzer may analyze information about the user to recognize the user's preferred sport event and the preferred player in the corresponding event.
상기 운동 데이터 분석부는 상기 신체 부위 별 비율이 일정 값보다 미만인 경우, 키 성장을 유도하는 가이드를 포함하는 제1 운동 가이드를 생성하고, 상기 신체 부위 별 비율이 일정 값을 초과하는 경우, 근력 운동들에 대한 가이드를 포함하는 제2 운동 가이드를 생성할 수 있다.The exercise data analyzer generates a first exercise guide including a guide for inducing height growth when the ratio for each body part is less than a predetermined value, and when the ratio for each body part exceeds a predetermined value, strength exercises A second motion guide including a guide for may be created.
상기 운동 데이터 분석부는, 상기 사용자가 현재 플레이 중인 운동 종목 및 자세를 분석하여 자세 교정 가이드를 상기 디스플레이부를 통해 출력할 수 있다.The exercise data analyzer may analyze an exercise event and posture currently being played by the user and output a posture correction guide through the display unit.
상기 건강 상태 분석부는, 상기 사용자에 대한 정보를 분석하여 상기 사용자가 섭취한 음식의 종류 및 칼로리를 산출할 수 있는 식단 분석부 및 상기 사용자에 대한 정보를 분석하여 상기 사용자가 수면한 시간 및 수면 패턴을 산출하는 수면 패턴 분석부를 더 포함하며, 상기 사용자에 대한 정보는 상기 사용자 또는 상기 사용자 외 다른 사용자로부터 상기 사용자 관리부로 입력된 상기 사용자가 섭취한 음식 및 상기 사용자의 수면 시간에 대한 정보를 포함할 수 있다.The health state analyzer includes a diet analyzer capable of calculating the type of food and calories consumed by the user by analyzing information about the user, and the time and sleep pattern of the user by analyzing the information about the user. It further includes a sleep pattern analyzer that calculates, and the information about the user may include information about food eaten by the user and sleep time of the user input from the user or another user other than the user to the user management unit. can
상기 영상 처리부는 생성된 상기 제1 영상에 합성될 가상의 그래픽 이미지를 생성하는 가상 영상 처리부 및 상기 가상 영상 처리부에서 생성된 상기 그래픽 이미지를 상기 제1 영상에 합성하는 복합 영상 처리부를 더 포함하며, 상기 복합 영상 처리부는 상기 그래픽 이미지 또는 상기 제1 영상을 네트워크 또는 웹에서 수집된 다른 영상과 합성할 수 있으며, 상기 다른 영상은 상기 사용자가 선호하는 선수에 대한 영상일 수 있다.The image processing unit further includes a virtual image processing unit generating a virtual graphic image to be synthesized with the generated first image and a composite image processing unit combining the graphic image generated by the virtual image processing unit with the first image, The composite image processing unit may synthesize the graphic image or the first image with another image collected from a network or web, and the other image may be an image of a player preferred by the user.
상기 사용자 관리부는 상기 사용자가 휴대하고 있는 사용자 단말기로부터 발신되는 상기 사용자의 위치 신호를 수신하여, 상기 사용자의 현재 위치를 파악할 수 있는 사용자 위치 정보 처리부 및 상기 사용자가 특정 장소에 출입하였음을 확인할 수 있는 출석 확인부를 더 포함할 수 있다.The user management unit receives the user's location signal transmitted from the user terminal carried by the user, and a user location information processing unit capable of determining the current location of the user and confirming that the user has entered and exits a specific place An attendance confirmation unit may be further included.
본 발명의 다른 실시 예에 따른 헬스 케어 시스템은, 제1 사용자를 촬영하여 상기 제1 사용자의 신체 발육에 대한 현재 성장도를 분석하고 미래 성장률을 예측하는 제1 장치, 상기 제1 사용자의 행동 상태 및 수면 여부를 센싱할 수 있는 제2 장치 및 상기 제1 및 제2 장치를 서로 데이터 통신 가능하도록 네트워크 연결하며, 상기 제1 및 제2 장치에게 공통된 가상의 작업 공간인 클라우드 환경을 제공하는 클라우드 서버를 포함하며, 상기 제1 장치는, 상기 제1 사용자를 촬영하여 상기 제1 사용자에 대한 제1 영상을 생성할 수 있는 촬영부, 상기 제1 영상을 다른 영상들과 합성할 수 있는 영상 처리부, 상기 제1 영상을 분석하여 상기 제1 사용자의 신체 부위 별 비율 및 현재 성장도를 산출하고, 상기 제1 사용자의 미래 성장률을 예측할 수 있는 건강 상태 분석부, 상기 제1 사용자에 대한 정보를 저장하고 관리하는 사용자 관리부, 상기 제1 사용자의 신체 부위 별 비율, 현재 성장도 및 상기 제1 사용자에 대한 정보를 기계 학습하는 기계 학습부 및 상기 건강 상태 분석부로부터 상기 제1 사용자의 신체 부위 별 비율, 상기 현재 성장도 및 상기 미래 성장률을 제공받아 표시하는 디스플레이부를 포함하며, 상기 제1 사용자에 대한 정보는, 상기 사용자의 얼굴, 지문, 홍채, 음성과 같은 생체 인식 정보와 연령, 성별과 같은 개인 정보, 저장된 상기 사용자의 아이디나 패스워드 같은 계정 정보, 상기 사용자의 웹이나 소셜 네트워크 검색 이력, 상기 제1 영상 및 상기 사용자의 현재 위치 정보를 포함한다.A health care system according to another embodiment of the present invention includes a first device for photographing a first user, analyzing a current growth rate of the first user's physical development, and predicting a future growth rate; and a behavioral state of the first user. and a cloud server configured to connect a second device capable of sensing sleep or not and the first and second devices to a network to enable data communication with each other, and to provide a cloud environment that is a common virtual workspace to the first and second devices. The first device includes: a photographing unit capable of capturing the first user and generating a first image of the first user; an image processing unit capable of synthesizing the first image with other images; A health condition analyzer capable of analyzing the first image to calculate a ratio and a current growth rate of each body part of the first user and predicting a future growth rate of the first user, and storing information about the first user A user management unit that manages, a ratio of each body part of the first user, a current growth rate, and a machine learning unit that machine-learns information about the first user and a ratio of each body part of the first user from the health state analysis unit, and a display unit for receiving and displaying the current growth rate and the future growth rate, wherein the information on the first user includes biometric information such as face, fingerprint, iris, and voice of the user and personal information such as age and gender. , stored account information such as the user's ID or password, the user's web or social network search history, the first image, and the user's current location information.
상기 촬영부는, 렌즈 모듈, 상기 제1 사용자로부터 반사되는 빛을 센싱하는 적어도 하나 이상의 RGB 뎁스 센서(RGB-D sensor), 상기 제1 사용자에게 픽셀 단위의 복수의 적외선들을 방출하는 적외선 방출기(IR Emitter) 및 상기 복수의 적외선들 중 상기 제1 사용자에 의해 반사되는 적외선을 인식하는 적외선 뎁스 센서(IR Depth sensor)를 더 포함하고, 상기 제1 사용자를 촬영하여 상기 RGB 뎁스 센서로부터 생성된 컬러 정보, 상기 적외선 뎁스 센서로부터 생성된 깊이 정보 및 상기 제1 사용자와 그 주변에 대하여 생성된 다수의 레이어들을 가지는 3차원 백그라운드 모델을 모두 입체적으로 렌더링하여 상기 제1 영상을 생성할 수 있다.The photographing unit includes a lens module, at least one RGB-D sensor for sensing light reflected from the first user, and an infrared emitter (IR Emitter) for emitting a plurality of infrared rays in pixel units to the first user ) and an IR depth sensor recognizing infrared rays reflected by the first user among the plurality of infrared rays, and color information generated from the RGB depth sensor by photographing the first user; The first image may be generated by rendering depth information generated from the infrared depth sensor and a 3D background model having a plurality of layers generated for the first user and his/her surroundings in a three-dimensional manner.
상기 건강 상태 분석부는, 상기 제1 영상을 분석하여 상기 제1 사용자의 체형, 각 신체 부위 및 관절을 인식하는 체형 분석부, 상기 제1 영상을 분석하여 상기 제1 사용자가 현재 플레이 중인 운동 종목 및 자세를 인식하고, 상기 제1 사용자가 운동에 소요한 시간 및 칼로리를 산출하는 운동 데이터 분석부, 미리 저장된 소아청소년성장테이블, 상기 신체 부위 별 비율 및 상기 제1 사용자에 대한 정보를 함께 분석하여 상기 사용자의 현재 성장도를 산출하고 상기 사용자의 미래 성장률을 예측하는 성장 예측부를 더 포함하며, 상기 체형 분석부는, 상기 관절의 위치 및 산출된 상기 신체 부위 별 비율에 대한 데이터를 바탕으로 상기 사용자의 체형을 판단하여, 판단 결과에 따라 체형 교정 가이드를 산출하고, 상기 운동 데이터 분석부는, 상기 제1 사용자에 대한 정보를 분석하여 상기 제1 사용자가 선호하는 운동 종목과 해당 종목에서 선호하는 선수를 인식할 수 있다. The health state analysis unit analyzes the first image to recognize the body shape, each body part and joint of the first user, the body shape analyzer to analyze the first image, and an exercise event the first user is currently playing; An exercise data analyzer that recognizes a posture and calculates the time and calories the first user spent on exercise, a pre-stored child and adolescent growth table, the ratio for each body part, and information about the first user are analyzed together, The body shape analysis unit calculates the user's current growth rate and predicts the user's future growth rate, and the body shape analyzer is configured to determine the user's body shape based on data on the joint positions and the calculated ratios for each body part. and calculates a body shape correction guide according to the determination result, and the exercise data analyzer analyzes the information about the first user to recognize the first user's preferred sports event and the preferred player in the corresponding event. can
상기 운동 데이터 분석부는, 상기 신체 부위 별 비율이 일정 값보다 미만인 경우, 키 성장을 유도하는 가이드를 포함하는 제1 운동 가이드를 생성하고, 상기 신체 부위 별 비율이 일정 값을 초과하는 경우, 근력 운동들에 대한 가이드를 포함하는 제2 운동 가이드를 생성할 수 있다.The exercise data analyzer generates a first exercise guide including a guide for inducing height growth when the ratio for each body part is less than a predetermined value, and when the ratio for each body part exceeds a predetermined value, strength exercise A second exercise guide including a guide for the exercise may be created.
상기 운동 데이터 분석부는, 상기 제1 사용자가 현재 플레이 중인 운동 종목 및 자세를 분석하여 자세 교정 가이드를 상기 디스플레이부를 통해 출력할 수 있다.The exercise data analyzer may analyze an exercise item and posture currently being played by the first user and output a posture correction guide through the display unit.
상기 영상 처리부는, 상기 제1 영상에 합성될 가상의 그래픽 이미지를 생성하는 가상 영상 처리부 및 상기 가상 영상 처리부에서 생성된 상기 그래픽 이미지를 상기 제1 영상에 합성하는 복합 영상 처리부를 더 포함하며, 상기 복합 영상 처리부는, 상기 그래픽 이미지 또는 상기 제1 영상을 네트워크 또는 웹에서 수집된 상기 다른 영상과 합성할 수 있으며, 상기 다른 영상은 상기 제1 사용자가 선호하는 선수에 대한 영상일 수 있다.The image processing unit further includes a virtual image processing unit generating a virtual graphic image to be synthesized with the first image and a composite image processing unit combining the graphic image generated by the virtual image processing unit with the first image, The composite image processing unit may synthesize the graphic image or the first image with other images collected from a network or web, and the other image may be an image of a player preferred by the first user.
상기 사용자 관리부는, 상기 제2 장치로부터 발신되는 제1 사용자의 위치 신호를 수신하여, 상기 제1 사용자의 현재 위치를 파악할 수 있는 사용자 위치 정보 처리부 및 상기 제1 사용자가 특정 장소에 출입하였음을 확인할 수 있는 출석 확인부를 더 포함하며, 상기 위치 정보 처리부와 상기 출석 확인부는 제2 사용자가 사용하는 단말인 제3 장치에 상기 제1 사용자의 현재 위치 및 상기 특정 장소의 출석 여부에 대한 정보를 제공할 수 있다. The user management unit receives a location signal of the first user transmitted from the second device, and a user location information processing unit capable of ascertaining the current location of the first user and confirming that the first user has entered or exited a specific place The location information processing unit and the attendance confirmation unit provide information on the current location of the first user and whether or not they are present at the specific place to a third device, which is a terminal used by the second user. can
본 발명의 또 다른 실시 예에 따라 헬스 케어 장치를 이용하여 사용자에게 헬스 케어 서비스를 제공하는 방법은, 상기 사용자를 촬영하여 상기 사용자에 대한 제1 영상을 생성하는 단계, 상기 제1 영상을 분석하여 상기 사용자의 각 신체 부위와 관절을 인식하는 단계, 인식된 상기 사용자의 관절 별로 포인트를 설정하는 단계, 설정된 상기 포인트를 사용하여 상기 사용자의 키, 몸무게, 근육량, 체지방, 체형을 포함하는 현재 성장도 및 상기 각 신체 부위들을 상호 비교한 결과인 신체 부위 별 비율을 산출하는 단계, 산출된 상기 현재 성장도 및 상기 신체 부위 별 비율을 기계 학습하는 단계, 상기 현재 성장도 및 상기 신체 부위 별 비율을 기계 학습한 학습 결과 데이터를 바탕으로 상기 사용자의 미래 성장률을 산출하는 단계 및 상기 현재 성장도, 미래 성장도 및 신체 부위 별 비율을 함께 출력하는 단계를 포함한다.According to another embodiment of the present invention, a method for providing a health care service to a user using a health care device includes generating a first image of the user by photographing the user, analyzing the first image Recognizing each body part and joint of the user, setting points for each of the recognized joints of the user, and using the set points, the user's current growth rate including height, weight, muscle mass, body fat, and body shape. and calculating a ratio for each body part, which is a result of comparing each body part with each other, machine learning the calculated current growth rate and ratio for each body part, and machine learning the current growth rate and the ratio for each body part. Calculating the future growth rate of the user based on the learned learning result data and outputting the current growth rate, future growth rate, and body part ratio together.
상기 현재 성장도 및 상기 신체 부위 별 비율을 기계 학습한 학습 결과 데이터를 바탕으로 상기 사용자의 미래 성장률을 산출하는 단계는, 상기 현재 성장도 및 신체 부위 별 비율을 바탕으로 상기 사용자에게 추천할 식단, 운동 종목 및 자세 중 적어도 하나 이상을 선택하는 단계 및 상기 사용자에 대한 체형 교정 가이드를 생성하는 단계를 더 포함할 수 있다.Calculating the future growth rate of the user based on the learning result data obtained by machine learning the current growth rate and the ratio for each body part includes: a diet to be recommended to the user based on the current growth rate and the ratio for each body part; The method may further include selecting at least one of an exercise event and posture and generating a body shape correction guide for the user.
상기 현재 성장도 및 신체 부위 별 비율을 바탕으로 상기 사용자에게 추천할 식단, 운동 종목 및 자세 중 적어도 하나 이상을 선택하는 단계는, 상기 현재 성장도 또는 상기 신체 부위 별 비율이 일정 값보다 미만인 경우, 키 성장에 도움이 되는 스트레칭, 농구 등을 포함하는 제1 운동 가이드를 생성하여 상기 사용자에게 추천하는 단계 및 상기 현재 성장도 또는 신체 부위 별 비율이 일정 값을 초과하는 경우, 근육 성장에 도움이 되는 웨이트 트레이닝, 기계 체조 등을 포함하는 제2 운동 가이드를 생성하여 상기 사용자에게 추천하는 단계를 더 포함할 수 있다.In the step of selecting at least one of a diet, an exercise event, and a posture to be recommended to the user based on the current growth rate and the ratio for each body part, if the current growth rate or the ratio for each body part is less than a predetermined value, Generating and recommending a first exercise guide including stretching, basketball, etc. helpful for height growth to the user, and when the current growth rate or ratio for each body part exceeds a certain value, helpful for muscle growth The method may further include creating a second exercise guide including weight training, mechanical gymnastics, and the like, and recommending the second exercise guide to the user.
상기 인식된 상기 사용자의 관절 별로 포인트를 설정하는 단계는, 상기 포인트의 이동 및 변화를 감지하여 상기 사용자가 현재 플레이 중인 운동 종목 및 자세를 인식하는 단계, 상기 사용자가 현재 플레이 중인 운동 종목 및 자세를 분석하여 상기 사용자의 플레이 스타일 데이터를 생성하는 단계, 기존에 저장된 플레이 스타일 데이터와 상기 사용자의 플레이 스타일 데이터를 비교하는 단계, 상기 사용자의 플레이 스타일을 교정하기 위한 자세 교정 가이드를 생성하는 단계 및 상기 사용자의 운동이 종료되면, 상기 사용자가 플레이한 시간과 칼로리를 산출하는 단계를 더 포함할 수 있다.The step of setting points for each of the recognized joints of the user may include recognizing the movement and change of the point and recognizing an exercise item and posture currently being played by the user, and an exercise item and posture currently being played by the user. Analyzing and generating play style data of the user, comparing previously stored play style data with play style data of the user, generating a posture correction guide for correcting the play style of the user, and the user When the exercise of the user is finished, the step of calculating the time and calories played by the user may be further included.
상기 사용자를 촬영하여 상기 사용자에 대한 제1 영상을 생성하는 단계는, 상기 제1 영상 외, 상기 사용자에 대한 정보를 수집하는 단계, 상기 사용자의 얼굴 이미지로부터 특징을 추출하여 상기 사용자의 얼굴에 대한 특징 맵(feature map)을 생성하는 단계, 상기 특징 맵을 기계 학습하는 단계 및 상기 특징 맵을 기계 학습한 결과를 바탕으로 상기 사용자에 대한 아바타(avatar)를 생성하는 단계를 더 포함하며, 상기 사용자에 대한 정보는, 상기 사용자의 얼굴, 지문, 홍채, 음성과 같은 생체 인식 정보와 연령, 성별과 같은 개인 정보, 저장된 상기 사용자의 아이디나 패스워드 같은 계정 정보, 상기 사용자의 웹이나 소셜 네트워크 검색 이력, 상기 제1 영상 및 상기 사용자의 현재 위치 정보를 포함할 수 있다.The step of photographing the user and generating a first image of the user includes collecting information about the user other than the first image, extracting features from the face image of the user, and Generating a feature map, machine learning the feature map, and generating an avatar for the user based on a result of machine learning the feature map, wherein the user The information about is, biometric information such as the user's face, fingerprint, iris, and voice, personal information such as age and gender, stored account information such as the user's ID or password, the user's web or social network search history, It may include the first image and current location information of the user.
본 발명에 따른 헬스 케어 장치, 시스템 및 방법은 개별의 어린아이마다 체형과 신체부위 별 비율을 측정하여, 어린아이 별로 현재 성장 진행 상태와 체형 교정에 대한 정보를 포함하는 맞춤형 헬스 케어 서비스를 제공할 수 있다.The health care apparatus, system, and method according to the present invention measure the body shape and ratio of each body part for each individual child, and provide a customized health care service including information on the current growth progress and body shape correction for each child. can
본 발명에 따른 헬스 케어를 위한 장치, 시스템 및 방법을 사용하면, 복수의 어린아이들에게 각각 맞춤형 헬스 케어 서비스를 동시에 제공할 수 있으므로, 이러한 서비스를 제공하기 위해 필요한 인력, 시간, 노력, 비용을 모두 절감할 수 있다.If the apparatus, system and method for health care according to the present invention are used, since customized health care services can be provided to a plurality of children at the same time, manpower, time, effort, and cost required to provide these services can all be reduced. savings can be made
본 발명에 따른 헬스 케어 장치, 시스템 및 방법은 어린아이들이 주로 이용하는 시설에 배치되어 사용될 경우, 해당 시설을 이용하는 어린 아이들의 위치를 파악하여, 어린아이들의 위치 정보를 보호자에게 제공하므로, 어린아이들이 더 안전하게 해당 시설을 이용할 수 있도록 한다.When the health care device, system, and method according to the present invention are placed and used in a facility mainly used by children, the location of the children using the facility is identified and the location information of the children is provided to the guardian. Make the facility safer to use.
본 발명에 따른 헬스 케어를 위한 장치, 시스템 및 방법은 어린아이들과 유명 스포츠 선수들 사이의 가상 인터렉션(interaction) 경험을 제공하므로, 어린아이들의 운동 의욕을 더욱 더 고취시킬 수 있다.Since the device, system and method for health care according to the present invention provide a virtual interaction experience between children and famous sports players, they can further inspire children's motivation to exercise.
도 1은 본 명세서에서 제안하는 장치, 시스템 및 방법들에 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.
도 2는 도 1에 도시된 무선 통신 시스템이 신호를 송/수신하는 방법을 예시적으로 나타낸 도면이다.
도 3은 5G 통신 시스템에서 사용자 단말과 5G 네트워크의 기본동작을 예시적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시 예에 따른 헬스 케어를 위한 시스템(100)의 구성을 나타내는 블록도이다.
도 5는 본 발명의 다른 실시 예에 따른 헬스 케어 시스템의 구성을 나타낸 블록도이다.
도 6은 본 발명의 일 실시 예에 따른 헬스 케어 장치의 구체적인 구성을 나타내는 블록도면이다.
도 7은 본 발명의 일 실시 예에 따라 디지털 사이니지로 구현된 헬스 케어 장치를 나타낸 사시도이다.
도 8은 본 발명에 따른 헬스 케어 장치가 '축구 교실'에 배치된 예시를 나타낸 도면이다.
도 9는 본 발명에 따른 헬스 케어 장치가 사용자를 촬영한 영상을 분석하여 사용자의 관절, 신체 부위 및 체형을 인식한 결과를 출력하는 예시를 나타낸 도면이다.
도 10은 본 발명에 따른 헬스 케어 장치가 공을 차며 달리고 있는 어린아이를 인식하고 달리는 자세에 대한 교정 가이드를 출력하는 예를 나타내는 도면이다.
도 11은 본 발명에 따른 헬스 케어 장치가 사용자에 대한 아바타를 생성하는 과정을 나타낸 도면이다.
도 12는 본 발명에 따른 헬스 케어 장치가 사용자에 대해 생성된 아바타를 제1 영상 이외에 다른 영상에 합성하는 사례를 나타낸 도면이다.
도 13은 본 발명에 따른 헬스 케어 장치를 사용하여 유소년에게 헬스 케어 서비스를 제공하는 방법을 나타낸 순서도이다.
도 14는 본 발명에 따른 헬스 케어 장치가 사용자의 아바타를 생성하는 과정을 나타낸 순서도이다.
도 15는 본 발명에 따른 헬스 케어 장치가 자세 교정 가이드를 생성하는 과정을 나타낸 순서도이다.
도 16은 본 발명에 따른 헬스 케어 장치가 사용자에게 운동이나 식단을 추천하는 방법을 나타내는 순서도이다.1 illustrates a block diagram of a wireless communication system that can be applied to the devices, systems, and methods proposed in this specification.
FIG. 2 is a diagram illustrating a method of transmitting/receiving signals in the wireless communication system shown in FIG. 1 by way of example.
3 is a diagram showing basic operations of a user terminal and a 5G network in a 5G communication system by way of example.
4 is a block diagram showing the configuration of a
5 is a block diagram showing the configuration of a health care system according to another embodiment of the present invention.
6 is a block diagram showing a specific configuration of a health care device according to an embodiment of the present invention.
7 is a perspective view illustrating a health care device implemented as digital signage according to an embodiment of the present invention.
8 is a diagram illustrating an example in which a health care device according to the present invention is disposed in a 'soccer classroom'.
9 is a diagram illustrating an example in which the health care device according to the present invention analyzes an image of a user and outputs a result of recognizing the user's joints, body parts, and body shape.
10 is a diagram illustrating an example in which the health care device according to the present invention recognizes a child running while kicking a ball and outputs a correction guide for a running posture.
11 is a diagram illustrating a process of generating an avatar for a user by the health care apparatus according to the present invention.
12 is a diagram illustrating a case in which the health care apparatus according to the present invention synthesizes an avatar generated for a user with an image other than the first image.
13 is a flowchart illustrating a method of providing a health care service to youth using a health care device according to the present invention.
14 is a flowchart illustrating a process of generating an avatar of a user by the health care apparatus according to the present invention.
15 is a flowchart illustrating a process of generating a posture correction guide by the health care device according to the present invention.
16 is a flowchart illustrating a method in which the health care device according to the present invention recommends exercise or diet to a user.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, the embodiments disclosed in this specification will be described in detail with reference to the accompanying drawings, but the same or similar components are given the same reference numerals regardless of reference numerals, and redundant description thereof will be omitted. The suffixes "module" and "unit" for components used in the following description are given or used together in consideration of ease of writing the specification, and do not have meanings or roles that are distinct from each other by themselves. In addition, in describing the embodiments disclosed in this specification, if it is determined that a detailed description of a related known technology may obscure the gist of the embodiment disclosed in this specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are only for easy understanding of the embodiments disclosed in this specification, the technical idea disclosed in this specification is not limited by the accompanying drawings, and all changes included in the spirit and technical scope of the present invention , it should be understood to include equivalents or substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinal numbers, such as first and second, may be used to describe various components, but the components are not limited by the terms. These terms are only used for the purpose of distinguishing one component from another.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Singular expressions include plural expressions unless the context clearly dictates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as "comprise" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.
A. UE 및 5G 네트워크 블록도 예시A. UE and 5G network block diagram examples
도 1은 본 명세서에서 제안하는 장치, 시스템 및 방법들에 적용될 수 있는 무선 통신 시스템의 블록 구성도를 예시한다.1 illustrates a block diagram of a wireless communication system that can be applied to the devices, systems, and methods proposed in this specification.
도 1을 참조하면, AI 모듈을 포함하는 장치(AI 장치로 지칭할 수 있다)를 제1 통신 장치로 정의(도 1의 910)하고, 프로세서(911)가 AI 상세 동작을 수행할 수 있다.Referring to FIG. 1 , a device including an AI module (which may be referred to as an AI device) may be defined as a first communication device (910 in FIG. 1), and a
AI 장치와 통신하는 다른 장치(다른 AI 장치에 해당하며, 여기서 다른 AI 장치는 AI 서버로 구성될 수 있다)를 포함하는 5G 네트워크를 제2 통신 장치로 정의(도 1의 920)하고, 프로세서(921)가 AI 상세 동작을 수행할 수 있다.A 5G network including another device communicating with an AI device (corresponding to another AI device, where the other AI device may be configured as an AI server) is defined as a second communication device (920 in FIG. 1), and a processor ( 921) may perform an AI detailed operation.
한편, 5G 네트워크가 제1 통신 장치로, AI 장치가 제2 통신 장치로 표현될 수도 있다.Meanwhile, the 5G network may be expressed as a first communication device and the AI device may be expressed as a second communication device.
예를 들어, 상기 제1 통신 장치 또는 상기 제2 통신 장치는 기지국, 네트워크 노드, 전송 단말, 수신 단말, 무선 장치, 무선 통신 장치, AI(Artificial Intelligence) 장치 등일 수 있다.For example, the first communication device or the second communication device may be a base station, a network node, a transmitting terminal, a receiving terminal, a wireless device, a wireless communication device, an artificial intelligence (AI) device, and the like.
예를 들어, 단말 또는 UE(User Equipment)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등을 포함할 수 있다. 예를 들어, HMD는 머리에 착용하는 형태의 디스플레이 장치일 수 있다. 예를 들어, HMD는 VR, AR 또는 MR을 구현하기 위해 사용될 수 있다. 도 1을 참고하면, 제1 통신 장치(910)와 제2 통신 장치(920)은 프로세서(processor, 911,921), 메모리(memory, 914,924), 하나 이상의 Tx/Rx RF 모듈(radio frequency module, 915,925), Tx 프로세서(912,922), Rx 프로세서(913,923), 안테나(916,926)를 포함한다. Tx/Rx 모듈은 트랜시버라고도 한다. 각각의 Tx/Rx 모듈(915)는 각각의 안테나(926)을 통해 신호를 전송한다. 프로세서는 앞서 살핀 기능, 과정 및/또는 방법을 구현한다. 프로세서 (921)는 프로그램 코드 및 데이터를 저장하는 메모리 (924)와 관련될 수 있다. 메모리는 컴퓨터 판독 가능 매체로서 지칭될 수 있다. 보다 구체적으로, DL(제1 통신 장치에서 제2 통신 장치로의 통신)에서, 전송(TX) 프로세서(912)는 L1 계층(즉, 물리 계층)에 대한 다양한 신호 처리 기능을 구현한다. 수신(RX) 프로세서는 L1(즉, 물리 계층)의 다양한 신호 프로세싱 기능을 구현한다.For example, terminals or user equipment (UE) include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation devices, and slate PCs. (slate PC), tablet PC (tablet PC), ultrabook (ultrabook), wearable device (for example, watch type terminal (smartwatch), glass type terminal (smart glass), HMD (head mounted display)) etc. may be included. For example, the HMD may be a display device worn on the head. For example, HMDs can be used to implement VR, AR or MR. Referring to FIG. 1, a
UL(제2 통신 장치에서 제1 통신 장치로의 통신)은 제2 통신 장치(920)에서 수신기 기능과 관련하여 기술된 것과 유사한 방식으로 제1 통신 장치(910)에서 처리된다. 각각의 Tx/Rx 모듈(925)는 각각의 안테나(926)을 통해 신호를 수신한다. 각각의 Tx/Rx 모듈은 RF 반송파 및 정보를 RX 프로세서(923)에 제공한다. 프로세서 (921)는 프로그램 코드 및 데이터를 저장하는 메모리 (924)와 관련될 수 있다. 메모리는 컴퓨터 판독 가능 매체로서 지칭될 수 있다.The UL (communication from the second communication device to the first communication device) is handled in the
B. 무선 통신 시스템에서 신호 송/수신 방법B. Signal transmission/reception method in wireless communication system
도 2는 도 1에 도시된 무선 통신 시스템이 신호를 송/수신하는 방법을 예시적으로 나타낸 도면이다.FIG. 2 is a diagram illustrating a method of transmitting/receiving signals in the wireless communication system shown in FIG. 1 by way of example.
도 2를 참고하면, UE는 전원이 켜지거나 새로이 셀에 진입한 경우 BS와 동기를 맞추는 등의 초기 셀 탐색(initial cell search) 작업을 수행한다(S201). 이를 위해, UE는 BS로부터 1차 동기 채널(primary synchronization channel, P-SCH) 및 2차 동기 채널(secondary synchronization channel, S-SCH)을 수신하여 BS와 동기를 맞추고, 셀 ID 등의 정보를 획득할 수 있다. LTE 시스템과 NR 시스템에서 P-SCH와 S-SCH는 각각 1차 동기 신호(primary synchronization signal, PSS)와 2차 동기 신호(secondary synchronization signal, SSS)로 불린다. 초기 셀 탐색 후, UE는 BS로부터 물리 브로드캐스트 채널(physical broadcast channel, PBCH)를 수신하여 셀 내 브로드캐스트 정보를 획득할 수 있다. 한편, UE는 초기 셀 탐색 단계에서 하향링크 참조 신호(downlink reference Signal, DL RS)를 수신하여 하향링크 채널 상태를 확인할 수 있다. 초기 셀 탐색을 마친 UE는 물리 하향링크 제어 채널(physical downlink control channel, PDCCH) 및 상기 PDCCH에 실린 정보에 따라 물리 하향링크 공유 채널(physical downlink shared Channel, PDSCH)을 수신함으로써 좀더 구체적인 시스템 정보를 획득할 수 있다(S202).Referring to FIG. 2 , when the UE is powered on or newly enters a cell, it performs an initial cell search operation such as synchronizing with a BS (S201). To this end, the UE synchronizes with the BS by receiving a primary synchronization channel (P-SCH) and a secondary synchronization channel (S-SCH) from the BS, and obtains information such as cell ID can do. In the LTE system and the NR system, the P-SCH and the S-SCH are called a primary synchronization signal (PSS) and a secondary synchronization signal (SSS), respectively. After initial cell search, the UE may obtain intra-cell broadcast information by receiving a physical broadcast channel (PBCH) from the BS. Meanwhile, the UE may check the downlink channel state by receiving a downlink reference signal (DL RS) in the initial cell search step. After completing the initial cell search, the UE acquires more detailed system information by receiving a physical downlink control channel (PDCCH) and a physical downlink shared channel (PDSCH) according to information carried on the PDCCH. It can (S202).
한편, BS에 최초로 접속하거나 신호 전송을 위한 무선 자원이 없는 경우 UE는 BS에 대해 임의 접속 과정(random access procedure, RACH)을 수행할 수 있다(단계 S203 내지 단계 S206). 이를 위해, UE는 물리 임의 접속 채널(physical random access Channel, PRACH)을 통해 특정 시퀀스를 프리앰블로서 전송하고(S203 및 S205), PDCCH 및 대응하는 PDSCH를 통해 프리앰블에 대한 임의 접속 응답(random access response, RAR) 메시지를 수신할 수 있다(S204 및 S206). 경쟁 기반 RACH의 경우, 추가적으로 충돌 해결 과정(contention resolution procedure)를 수행할 수 있다.Meanwhile, when accessing the BS for the first time or when there is no radio resource for signal transmission, the UE may perform a random access procedure (RACH) on the BS (steps S203 to S206). To this end, the UE transmits a specific sequence as a preamble through a physical random access channel (PRACH) (S203 and S205), and a random access response to the preamble through a PDCCH and a corresponding PDSCH. RAR) message can be received (S204 and S206). In the case of contention-based RACH, a contention resolution procedure may be additionally performed.
상술한 바와 같은 과정을 수행한 UE는 이후 일반적인 상향링크/하향링크 신호 전송 과정으로서 PDCCH/PDSCH 수신(S207) 및 물리 상향링크 공유 채널(physical uplink shared Channel, PUSCH)/물리 상향링크 제어 채널(physical uplink control channel, PUCCH) 전송(S208)을 수행할 수 있다. 특히 UE는 PDCCH를 통하여 하향링크 제어 정보(downlink control information, DCI)를 수신한다. UE는 해당 탐색 공간 설정(configuration)들에 따라 서빙 셀 상의 하나 이상의 제어 요소 세트(control element set, CORESET)들에 설정된 모니터링 기회(occasion)들에서 PDCCH 후보(candidate)들의 세트를 모니터링한다. UE가 모니터할 PDCCH 후보들의 세트는 탐색 공간 세트들의 면에서 정의되며, 탐색 공간 세트는 공통 탐색 공간 세트 또는 UE-특정 탐색 공간 세트일 수 있다. CORESET은 1~3개 OFDM 심볼들의 시간 지속기간을 갖는 (물리) 자원 블록들의 세트로 구성된다. 네트워크는 UE가 복수의 CORESET들을 갖도록 설정할 수 있다. UE는 하나 이상의 탐색 공간 세트들 내 PDCCH 후보들을 모니터링한다. 여기서 모니터링이라 함은 탐색 공간 내 PDCCH 후보(들)에 대한 디코딩 시도하는 것을 의미한다. UE가 탐색 공간 내 PDCCH 후보들 중 하나에 대한 디코딩에 성공하면, 상기 UE는 해당 PDCCH 후보에서 PDCCH를 검출했다고 판단하고, 상기 검출된 PDCCH 내 DCI를 기반으로 PDSCH 수신 혹은 PUSCH 전송을 수행한다. PDCCH는 PDSCH 상의 DL 전송들 및 PUSCH 상의 UL 전송들을 스케줄링하는 데 사용될 수 있다. 여기서 PDCCH 상의 DCI는 하향링크 공유 채널과 관련된, 변조(modulation) 및 코딩 포맷과 자원 할당(resource allocation) 정보를 적어도 포함하는 하향링크 배정(assignment)(즉, downlink grant; DL grant), 또는 상향링크 공유 채널과 관련된, 변조 및 코딩 포맷과 자원 할당 정보를 포함하는 상향링크 그랜트(uplink grant; UL grant)를 포함한다.After performing the above process, the UE receives PDCCH/PDSCH as a general uplink/downlink signal transmission process (S207) and physical uplink shared channel (PUSCH)/physical uplink control channel (physical uplink shared channel). Uplink control channel, PUCCH) transmission (S208) may be performed. In particular, the UE receives downlink control information (DCI) through PDCCH. The UE monitors a set of PDCCH candidates at monitoring occasions configured in one or more control element sets (CORESETs) on the serving cell according to corresponding search space configurations. The set of PDCCH candidates to be monitored by the UE is defined in terms of search space sets, which may be common search space sets or UE-specific search space sets. A CORESET consists of a set of (physical) resource blocks having a time duration of 1 to 3 OFDM symbols. The network may configure the UE to have multiple CORESETs. The UE monitors PDCCH candidates in one or more search space sets. Here, monitoring means trying to decode PDCCH candidate(s) within the search space. If the UE succeeds in decoding one of the PDCCH candidates in the search space, the UE determines that it has detected a PDCCH in the corresponding PDCCH candidate, and performs PDSCH reception or PUSCH transmission based on the DCI in the detected PDCCH. PDCCH can be used to schedule DL transmissions on PDSCH and UL transmissions on PUSCH. Here, the DCI on the PDCCH is a downlink assignment (ie, downlink grant; DL grant) including at least modulation and coding format and resource allocation information related to the downlink shared channel, or uplink It includes an uplink grant (UL grant) including modulation and coding formats and resource allocation information related to a shared channel.
도 2를 참고하여, 5G 통신 시스템에서의 초기 접속(Initial Access, IA) 절차에 대해 추가적으로 살펴본다.Referring to FIG. 2, an initial access (IA) procedure in a 5G communication system will be additionally described.
UE는 SSB에 기반하여 셀 탐색(search), 시스템 정보 획득, 초기 접속을 위한 빔 정렬, DL 측정 등을 수행할 수 있다. SSB는 SS/PBCH(Synchronization Signal/Physical Broadcast channel) 블록과 혼용된다.The UE may perform cell search, system information acquisition, beam alignment for initial access, and DL measurement based on the SSB. SSB is mixed with SS/PBCH (Synchronization Signal/Physical Broadcast channel) block.
SSB는 PSS, SSS와 PBCH로 구성된다. SSB는 4개의 연속된 OFDM 심볼들에 구성되며, OFDM 심볼별로 PSS, PBCH, SSS/PBCH 또는 PBCH가 전송된다. PSS와 SSS는 각각 1개의 OFDM 심볼과 127개의 부반송파들로 구성되고, PBCH는 3개의 OFDM 심볼과 576개의 부반송파들로 구성된다.SSB consists of PSS, SSS and PBCH. The SSB is composed of 4 consecutive OFDM symbols, and PSS, PBCH, SSS/PBCH or PBCH is transmitted for each OFDM symbol. PSS and SSS each consist of 1 OFDM symbol and 127 subcarriers, and PBCH consists of 3 OFDM symbols and 576 subcarriers.
셀 탐색은 UE가 셀의 시간/주파수 동기를 획득하고, 상기 셀의 셀 ID(Identifier)(예, Physical layer Cell ID, PCI)를 검출하는 과정을 의미한다. PSS는 셀 ID 그룹 내에서 셀 ID를 검출하는데 사용되고, SSS는 셀 ID 그룹을 검출하는데 사용된다. PBCH는 SSB (시간) 인덱스 검출 및 하프-프레임 검출에 사용된다.Cell search refers to a process in which a UE acquires time/frequency synchronization of a cell and detects a cell ID (Identifier) (eg, Physical layer Cell ID, PCI) of the cell. PSS is used to detect a cell ID within a cell ID group, and SSS is used to detect a cell ID group. PBCH is used for SSB (time) index detection and half-frame detection.
336개의 셀 ID 그룹이 존재하고, 셀 ID 그룹 별로 3개의 셀 ID가 존재한다. 총 1008개의 셀 ID가 존재한다. 셀의 셀 ID가 속한 셀 ID 그룹에 관한 정보는 상기 셀의 SSS를 통해 제공/획득되며, 상기 셀 ID 내 336개 셀들 중 상기 셀 ID에 관한 정보는 PSS를 통해 제공/획득된다There are 336 cell ID groups, and 3 cell IDs exist for each cell ID group. A total of 1008 cell IDs exist. Information on the cell ID group to which the cell ID belongs is provided/obtained through SSS of the cell, and information about the cell ID among 336 cells in the cell ID is provided/obtained through PSS.
SSB는 SSB 주기(periodicity)에 맞춰 주기적으로 전송된다. 초기 셀 탐색 시에 UE가 가정하는 SSB 기본 주기는 20ms로 정의된다. 셀 접속 후, SSB 주기는 네트워크(예, BS)에 의해 {5ms, 10ms, 20ms, 40ms, 80ms, 160ms} 중 하나로 설정될 수 있다.The SSB is transmitted periodically according to the SSB periodicity. An SSB basic period assumed by the UE during initial cell search is defined as 20 ms. After cell access, the SSB period may be set to one of {5ms, 10ms, 20ms, 40ms, 80ms, 160ms} by the network (eg, BS).
다음으로, 시스템 정보 (system information; SI) 획득에 대해 살펴본다.Next, acquisition of system information (SI) will be described.
SI는 마스터 정보 블록(master information block, MIB)와 복수의 시스템 정보 블록(system information block, SIB)들로 나눠진다. MIB 외의 SI는 RMSI(Remaining Minimum System Information)으로 지칭될 수 있다. MIB는 SIB1(SystemInformationBlock1)을 나르는 PDSCH를 스케줄링하는 PDCCH의 모니터링을 위한 정보/파라미터를 포함하며 SSB의 PBCH를 통해 BS에 의해 전송된다. SIB1은 나머지 SIB들(이하, SIBx, x는 2 이상의 정수)의 가용성(availability) 및 스케줄링(예, 전송 주기, SI-윈도우 크기)과 관련된 정보를 포함한다. SIBx는 SI 메시지에 포함되며 PDSCH를 통해 전송된다. 각각의 SI 메시지는 주기적으로 발생하는 시간 윈도우(즉, SI-윈도우) 내에서 전송된다.The SI is divided into a master information block (MIB) and a plurality of system information blocks (SIBs). SI other than MIB may be referred to as Remaining Minimum System Information (RMSI). The MIB includes information/parameters for monitoring the PDCCH scheduling the PDSCH carrying SIB1 (SystemInformationBlock1) and is transmitted by the BS through the PBCH of the SSB. SIB1 includes information related to availability and scheduling (eg, transmission period, SI-window size) of the remaining SIBs (hereinafter, SIBx, where x is an integer greater than or equal to 2). SIBx is included in the SI message and transmitted through the PDSCH. Each SI message is transmitted within a periodically occurring time window (ie, SI-window).
도 2를 참고하여, 5G 통신 시스템에서의 임의 접속(Random Access, RA) 과정에 대해 추가적으로 살펴본다.Referring to FIG. 2, a random access (RA) process in a 5G communication system will be additionally described.
임의 접속 과정은 다양한 용도로 사용된다. 예를 들어, 임의 접속 과정은 네트워크 초기 접속, 핸드오버, UE-트리거드(triggered) UL 데이터 전송에 사용될 수 있다. UE는 임의 접속 과정을 통해 UL 동기와 UL 전송 자원을 획득할 수 있다. 임의 접속 과정은 경쟁 기반(contention-based) 임의 접속 과정과 경쟁 프리(contention free) 임의 접속 과정으로 구분된다. 경쟁 기반의 임의 접속 과정에 대한 구체적인 절차는 아래와 같다.The random access process is used for a variety of purposes. For example, the random access procedure may be used for network initial access, handover, and UE-triggered UL data transmission. The UE may acquire UL synchronization and UL transmission resources through a random access procedure. The random access process is divided into a contention-based random access process and a contention-free random access process. The specific procedure for the contention-based random access process is as follows.
UE가 UL에서 임의 접속 과정의 Msg1로서 임의 접속 프리앰블을 PRACH를 통해 전송할 수 있다. 서로 다른 두 길이를 가지는 임의 접속 프리앰블 시퀀스들이 지원된다. 긴 시퀀스 길이 839는 1.25 및 5 kHz의 부반송파 간격(subcarrier spacing)에 대해 적용되며, 짧은 시퀀스 길이 139는 15, 30, 60 및 120 kHz의 부반송파 간격에 대해 적용된다.The UE may transmit a random access preamble through the PRACH as Msg1 of a random access procedure in the UL. Random access preamble sequences having two different lengths are supported. The long sequence length 839 is applied for subcarrier spacings of 1.25 and 5 kHz, and the short sequence length 139 is applied for subcarrier spacings of 15, 30, 60 and 120 kHz.
BS가 UE로부터 임의 접속 프리앰블을 수신하면, BS는 임의 접속 응답(random access response, RAR) 메시지(Msg2)를 상기 UE에게 전송한다. RAR을 나르는 PDSCH를 스케줄링하는 PDCCH는 임의 접속(random access, RA) 무선 네트워크 임시 식별자(radio network temporary identifier, RNTI)(RA-RNTI)로 CRC 마스킹되어 전송된다. RA-RNTI로 마스킹된 PDCCH를 검출한 UE는 상기 PDCCH가 나르는 DCI가 스케줄링하는 PDSCH로부터 RAR을 수신할 수 있다. UE는 자신이 전송한 프리앰블, 즉, Msg1에 대한 임의 접속 응답 정보가 상기 RAR 내에 있는지 확인한다. 자신이 전송한 Msg1에 대한 임의 접속 정보가 존재하는지 여부는 상기 UE가 전송한 프리앰블에 대한 임의 접속 프리앰블 ID가 존재하는지 여부에 의해 판단될 수 있다. Msg1에 대한 응답이 없으면, UE는 전력 램핑(power ramping)을 수행하면서 RACH 프리앰블을 소정의 횟수 이내에서 재전송할 수 있다. UE는 가장 최근의 경로 손실 및 전력 램핑 카운터를 기반으로 프리앰블의 재전송에 대한 PRACH 전송 전력을 계산한다.When the BS receives the random access preamble from the UE, the BS transmits a random access response (RAR) message (Msg2) to the UE. The PDCCH scheduling the PDSCH carrying the RAR is CRC masked with a random access (RA) radio network temporary identifier (RNTI) (RA-RNTI) and transmitted. Upon detecting the PDCCH masked with the RA-RNTI, the UE may receive the RAR from the PDSCH scheduled by the DCI carried by the PDCCH. The UE checks whether the random access response information for the preamble transmitted by the UE, that is, Msg1, is in the RAR. Whether or not random access information for Msg1 transmitted by the UE exists can be determined by whether or not a random access preamble ID for the preamble transmitted by the UE exists. If there is no response to Msg1, the UE may retransmit the RACH preamble within a predetermined number of times while performing power ramping. The UE calculates the PRACH transmit power for the retransmission of the preamble based on the most recent path loss and power ramping counter.
상기 UE는 임의 접속 응답 정보를 기반으로 상향링크 공유 채널 상에서 UL 전송을 임의 접속 과정의 Msg3로서 전송할 수 있다. Msg3은 RRC 연결 요청 및 UE 식별자를 포함할 수 있다. Msg3에 대한 응답으로서, 네트워크는 Msg4를 전송할 수 있으며, 이는 DL 상에서의 경쟁 해결 메시지로 취급될 수 있다. Msg4를 수신함으로써, UE는 RRC 연결된 상태에 진입할 수 있다.The UE may transmit UL transmission as Msg3 of a random access procedure on an uplink shared channel based on the random access response information. Msg3 may include an RRC connection request and a UE identifier. As a response to Msg3, the network may send Msg4, which may be treated as a contention resolution message on the DL. By receiving Msg4, the UE may enter RRC connected state.
C. 5G 통신 시스템의 빔 관리 (Beam Management, BM) 절차C. Beam Management (BM) Procedure of 5G Communication System
BM 과정은 (1) SSB 또는 CSI-RS를 이용하는 DL BM 과정과, (2) SRS(sounding reference signal)을 이용하는 UL BM 과정으로 구분될 수 있다. 또한, 각 BM 과정은 Tx 빔을 결정하기 위한 Tx 빔 스위핑과 Rx 빔을 결정하기 위한 Rx 빔 스위핑을 포함할 수 있다.The BM process can be divided into (1) a DL BM process using SSB or CSI-RS, and (2) a UL BM process using SRS (sounding reference signal). Also, each BM process may include Tx beam sweeping to determine the Tx beam and Rx beam sweeping to determine the Rx beam.
SSB를 이용한 DL BM 과정에 대해 살펴본다.Let's take a look at the DL BM process using SSB.
SSB를 이용한 빔 보고(beam report)에 대한 설정은 RRC_CONNECTED에서 채널 상태 정보(channel state information, CSI)/빔 설정 시에 수행된다.Setting for a beam report using SSB is performed when setting channel state information (CSI)/beam in RRC_CONNECTED.
- UE는 BM을 위해 사용되는 SSB 자원들에 대한 CSI-SSB-ResourceSetList를 포함하는 CSI-ResourceConfig IE를 BS로부터 수신한다. RRC 파라미터 csi-SSB-ResourceSetList는 하나의 자원 세트에서 빔 관리 및 보고를 위해 사용되는 SSB 자원들의 리스트를 나타낸다. 여기서, SSB 자원 세트는 {SSBx1, SSBx2, SSBx3, SSBx4, ?}으로 설정될 수 있다. SSB 인덱스는 0부터 63까지 정의될 수 있다.- UE receives CSI-ResourceConfig IE including CSI-SSB-ResourceSetList for SSB resources used for BM from BS. The RRC parameter csi-SSB-ResourceSetList represents a list of SSB resources used for beam management and reporting in one resource set. Here, the SSB resource set may be set to {SSBx1, SSBx2, SSBx3, SSBx4, ?}. SSB index can be defined from 0 to 63.
- UE는 상기 CSI-SSB-ResourceSetList에 기초하여 SSB 자원들 상의 신호들을 상기 BS로부터 수신한다.- The UE receives signals on SSB resources from the BS based on the CSI-SSB-ResourceSetList.
- SSBRI 및 참조 신호 수신 전력(reference signal received power, RSRP)에 대한 보고와 관련된 CSI-RS reportConfig가 설정된 경우, 상기 UE는 최선(best) SSBRI 및 이에 대응하는 RSRP를 BS에게 보고한다. 예를 들어, 상기 CSI-RS reportConfig IE의 reportQuantity가 'ssb-Index-RSRP'로 설정된 경우, UE는 BS으로 최선 SSBRI 및 이에 대응하는 RSRP를 보고한다.- When CSI-RS reportConfig related to reporting on SSBRI and reference signal received power (RSRP) is set, the UE reports the best SSBRI and RSRP corresponding thereto to the BS. For example, when the reportQuantity of the CSI-RS reportConfig IE is set to 'ssb-Index-RSRP', the UE reports the best SSBRI and its corresponding RSRP to the BS.
UE는 SSB와 동일한 OFDM 심볼(들)에 CSI-RS 자원이 설정되고, 'QCL-TypeD'가 적용 가능한 경우, 상기 UE는 CSI-RS와 SSB가 'QCL-TypeD' 관점에서 유사 동일 위치된(quasi co-located, QCL) 것으로 가정할 수 있다. 여기서, QCL-TypeD는 공간(spatial) Rx 파라미터 관점에서 안테나 포트들 간에 QCL되어 있음을 의미할 수 있다. UE가 QCL-TypeD 관계에 있는 복수의 DL 안테나 포트들의 신호들을 수신 시에는 동일한 수신 빔을 적용해도 무방하다.When the CSI-RS resource is configured in the same OFDM symbol (s) as the SSB and 'QCL-TypeD' is applicable to the UE, the UE assumes that the CSI-RS and SSB are similarly co-located from the perspective of 'QCL-TypeD' ( quasi co-located (QCL). Here, QCL-TypeD may mean that QCL is established between antenna ports in terms of a spatial Rx parameter. When the UE receives signals from a plurality of DL antenna ports in a QCL-TypeD relationship, the same reception beam may be applied.
다음으로, CSI-RS를 이용한 DL BM 과정에 대해 살펴본다.Next, a DL BM process using CSI-RS will be described.
CSI-RS를 이용한 UE의 Rx 빔 결정(또는 정제(refinement)) 과정과 BS의 Tx 빔 스위핑 과정에 대해 차례대로 살펴본다. UE의 Rx 빔 결정 과정은 반복 파라미터가 'ON'으로 설정되며, BS의 Tx 빔 스위핑 과정은 반복 파라미터가 'OFF'로 설정된다.The Rx beam determination (or refinement) process of the UE using the CSI-RS and the Tx beam sweeping process of the BS are sequentially described. The UE's Rx beam determination process sets the repetition parameter to 'ON', and the BS' Tx beam sweeping process sets the repetition parameter to 'OFF'.
먼저, UE의 Rx 빔 결정 과정에 대해 살펴본다.First, a process of determining an Rx beam of a UE will be described.
- UE는 'repetition'에 관한 RRC 파라미터를 포함하는 NZP CSI-RS resource set IE를 RRC 시그널링을 통해 BS로부터 수신한다. 여기서, 상기 RRC 파라미터 'repetition'이 'ON'으로 세팅되어 있다.- The UE receives the NZP CSI-RS resource set IE including the RRC parameter for 'repetition' from the BS through RRC signaling. Here, the RRC parameter 'repetition' is set to 'ON'.
- UE는 상기 RRC 파라미터 'repetition'이 'ON'으로 설정된 CSI-RS 자원 세트 내의 자원(들) 상에서의 신호들을 BS의 동일 Tx 빔(또는 DL 공간 도메인 전송 필터)을 통해 서로 다른 OFDM 심볼에서 반복 수신한다. - The UE repeats signals on the resource (s) in the CSI-RS resource set in which the RRC parameter 'repetition' is set to 'ON' in different OFDM symbols through the same Tx beam (or DL spatial domain transmission filter) of the BS receive
- UE는 자신의 Rx 빔을 결정한다.- The UE determines its own Rx beam.
- UE는 CSI 보고를 생략한다. 즉, UE는 상가 RRC 파라미터 'repetition'이 'ON'으로 설정된 경우, CSI 보고를 생략할 수 있다. - The UE omits CSI reporting. That is, the UE may omit CSI reporting when the additional RRC parameter 'repetition' is set to 'ON'.
다음으로, BS의 Tx 빔 결정 과정에 대해 살펴본다.Next, the process of determining the Tx beam of the BS will be described.
- UE는 'repetition'에 관한 RRC 파라미터를 포함하는 NZP CSI-RS resource set IE를 RRC 시그널링을 통해 BS로부터 수신한다. 여기서, 상기 RRC 파라미터 'repetition'이 'OFF'로 세팅되어 있으며, BS의 Tx 빔 스위핑 과정과 관련된다.- The UE receives the NZP CSI-RS resource set IE including the RRC parameter for 'repetition' from the BS through RRC signaling. Here, the RRC parameter 'repetition' is set to 'OFF' and is related to the Tx beam sweeping process of the BS.
- UE는 상기 RRC 파라미터 'repetition'이 'OFF'로 설정된 CSI-RS 자원 세트 내의 자원들 상에서의 신호들을 BS의 서로 다른 Tx 빔(DL 공간 도메인 전송 필터)을 통해 수신한다. - The UE receives signals on resources in the CSI-RS resource set for which the RRC parameter 'repetition' is set to 'OFF' through different Tx beams (DL spatial domain transmission filters) of the BS.
- UE는 최상의(best) 빔을 선택(또는 결정)한다.- The UE selects (or determines) the best beam.
- UE는 선택된 빔에 대한 ID(예, CRI) 및 관련 품질 정보(예, RSRP)를 BS으로 보고한다. 즉, UE는 CSI-RS가 BM을 위해 전송되는 경우 CRI와 이에 대한 RSRP를 BS으로 보고한다.- The UE reports the ID (eg, CRI) and related quality information (eg, RSRP) for the selected beam to the BS. That is, when the CSI-RS is transmitted for the BM, the UE reports the CRI and its RSRP to the BS.
다음으로, SRS를 이용한 UL BM 과정에 대해 살펴본다.Next, a UL BM process using SRS will be described.
- UE는 'beam management'로 설정된 (RRC 파라미터) 용도 파라미터를 포함하는 RRC 시그널링(예, SRS-Config IE)를 BS로부터 수신한다. SRS-Config IE는 SRS 전송 설정을 위해 사용된다. SRS-Config IE는 SRS-Resources의 리스트와 SRS-ResourceSet들의 리스트를 포함한다. 각 SRS 자원 세트는 SRS-resource들의 세트를 의미한다.- The UE receives RRC signaling (eg, SRS-Config IE) including usage parameters (RRC parameters) set to 'beam management' from the BS. SRS-Config IE is used for SRS transmission configuration. The SRS-Config IE includes a list of SRS-Resources and a list of SRS-ResourceSets. Each SRS resource set means a set of SRS-resources.
- UE는 상기 SRS-Config IE에 포함된 SRS-SpatialRelation Info에 기초하여 전송할 SRS 자원에 대한 Tx 빔포밍을 결정한다. 여기서, SRS-SpatialRelation Info는 SRS 자원별로 설정되고, SRS 자원별로 SSB, CSI-RS 또는 SRS에서 사용되는 빔포밍과 동일한 빔포밍을 적용할지를 나타낸다.- The UE determines Tx beamforming for an SRS resource to be transmitted based on SRS-SpatialRelation Info included in the SRS-Config IE. Here, SRS-SpatialRelation Info is set for each SRS resource and indicates whether to apply the same beamforming as SSB, CSI-RS, or beamforming used in SRS for each SRS resource.
- 만약 SRS 자원에 SRS-SpatialRelationInfo가 설정되면 SSB, CSI-RS 또는 SRS에서 사용되는 빔포밍과 동일한 빔포밍을 적용하여 전송한다. 하지만, SRS 자원에 SRS-SpatialRelationInfo가 설정되지 않으면, 상기 UE는 임의로 Tx 빔포밍을 결정하여 결정된 Tx 빔포밍을 통해 SRS를 전송한다.- If SRS-SpatialRelationInfo is configured in the SRS resource, the same beamforming as that used in SSB, CSI-RS or SRS is applied and transmitted. However, if SRS-SpatialRelationInfo is not set in the SRS resource, the UE arbitrarily determines Tx beamforming and transmits the SRS through the determined Tx beamforming.
다음으로, 빔 실패 복구(beam failure recovery, BFR) 과정에 대해 살펴본다.Next, a beam failure recovery (BFR) process will be described.
빔포밍된 시스템에서, RLF(Radio Link Failure)는 UE의 회전(rotation), 이동(movement) 또는 빔포밍 블로키지(blockage)로 인해 자주 발생할 수 있다. 따라서, 잦은 RLF가 발생하는 것을 방지하기 위해 BFR이 NR에서 지원된다. BFR은 무선 링크 실패 복구 과정과 유사하고, UE가 새로운 후보 빔(들)을 아는 경우에 지원될 수 있다. 빔 실패 검출을 위해, BS는 UE에게 빔 실패 검출 참조 신호들을 설정하고, 상기 UE는 상기 UE의 물리 계층으로부터의 빔 실패 지시(indication)들의 횟수가 BS의 RRC 시그널링에 의해 설정된 기간(period) 내에 RRC 시그널링에 의해 설정된 임계치(threshold)에 이르면(reach), 빔 실패를 선언(declare)한다. 빔 실패가 검출된 후, 상기 UE는 PCell 상의 임의 접속 과정을 개시(initiate)함으로써 빔 실패 복구를 트리거하고; 적절한(suitable) 빔을 선택하여 빔 실패 복구를 수행한다(BS가 어떤(certain) 빔들에 대해 전용 임의 접속 자원들을 제공한 경우, 이들이 상기 UE에 의해 우선화된다). 상기 임의 접속 절차의 완료(completion) 시, 빔 실패 복구가 완료된 것으로 간주된다.In a beamformed system, Radio Link Failure (RLF) may frequently occur due to rotation, movement, or beamforming blockage of a UE. Therefore, BFR is supported in NR to prevent frequent RLF from occurring. BFR is similar to the radio link failure recovery process and can be supported if the UE knows the new candidate beam(s). For beam failure detection, the BS sets beam failure detection reference signals to the UE, and the UE determines that the number of beam failure indications from the physical layer of the UE is within a period set by RRC signaling of the BS. When reaching a threshold set by RRC signaling, beam failure is declared. After beam failure is detected, the UE triggers beam failure recovery by initiating a random access procedure on PCell; Perform beam failure recovery by selecting a suitable beam (if the BS has provided dedicated random access resources for certain beams, these are prioritized by the UE). Upon completion of the random access procedure, beam failure recovery is considered complete.
D. URLLC (Ultra-Reliable and Low Latency Communication)D. URLLC (Ultra-Reliable and Low Latency Communication)
NR에서 정의하는 URLLC 전송은 (1) 상대적으로 낮은 트래픽 크기, (2) 상대적으로 낮은 도착 레이트(low arrival rate), (3) 극도의 낮은 레이턴시 요구사항(requirement)(예, 0.5, 1ms), (4) 상대적으로 짧은 전송 지속기간(duration)(예, 2 OFDM symbols), (5) 긴급한 서비스/메시지 등에 대한 전송을 의미할 수 있다. UL의 경우, 보다 엄격(stringent)한 레이턴시 요구 사항(latency requirement)을 만족시키기 위해 특정 타입의 트래픽(예컨대, URLLC)에 대한 전송이 앞서서 스케줄링된 다른 전송(예컨대, eMBB)과 다중화(multiplexing)되어야 할 필요가 있다. 이와 관련하여 한 가지 방안으로, 앞서 스케줄링 받은 UE에게 특정 자원에 대해서 프리엠션(preemption)될 것이라는 정보를 주고, 해당 자원을 URLLC UE가 UL 전송에 사용하도록 한다.URLLC transmissions defined by NR are (1) relatively low traffic size, (2) relatively low arrival rate, (3) extremely low latency requirements (e.g. 0.5, 1 ms), (4) a relatively short transmission duration (eg, 2 OFDM symbols), and (5) transmission for an urgent service/message. In the case of UL, transmission for a specific type of traffic (e.g., URLLC) must be multiplexed with other previously scheduled transmissions (e.g., eMBB) in order to satisfy more stringent latency requirements. Needs to be. In this regard, as one method, information that a specific resource will be preempted is given to the previously scheduled UE, and the URLLC UE uses the resource for UL transmission.
NR의 경우, eMBB와 URLLC 사이의 동적 자원 공유(sharing)이 지원된다. eMBB와 URLLC 서비스들은 비-중첩(non-overlapping) 시간/주파수 자원들 상에서 스케줄될 수 있으며, URLLC 전송은 진행 중인(ongoing) eMBB 트래픽에 대해 스케줄된 자원들에서 발생할 수 있다. eMBB UE는 해당 UE의 PDSCH 전송이 부분적으로 펑처링(puncturing)되었는지 여부를 알 수 없을 수 있고, 손상된 코딩된 비트(corrupted coded bit)들로 인해 UE는 PDSCH를 디코딩하지 못할 수 있다. 이 점을 고려하여, NR에서는 프리엠션 지시(preemption indication)을 제공한다. 상기 프리엠션 지시(preemption indication)는 중단된 전송 지시(interrupted transmission indication)으로 지칭될 수도 있다.In case of NR, dynamic resource sharing between eMBB and URLLC is supported. eMBB and URLLC services can be scheduled on non-overlapping time/frequency resources, and URLLC transmission can occur on resources scheduled for ongoing eMBB traffic. The eMBB UE may not know whether the PDSCH transmission of the corresponding UE is partially punctured, and the UE may not be able to decode the PDSCH due to corrupted coded bits. Considering this point, NR provides a preemption indication. The preemption indication may also be referred to as an interrupted transmission indication.
프리엠션 지시와 관련하여, UE는 BS로부터의 RRC 시그널링을 통해 DownlinkPreemption IE를 수신한다. UE가 DownlinkPreemption IE를 제공받으면, DCI 포맷 2_1을 운반(convey)하는 PDCCH의 모니터링을 위해 상기 UE는 DownlinkPreemption IE 내 파라미터 int-RNTI에 의해 제공된 INT-RNTI를 가지고 설정된다. 상기 UE는 추가적으로 servingCellID에 의해 제공되는 서빙 셀 인덱스들의 세트를 포함하는 INT-ConfigurationPerServing Cell에 의해 서빙 셀들의 세트와 positionInDCI에 의해 DCI 포맷 2_1 내 필드들을 위한 위치들의 해당 세트를 가지고 설정되고, dci-PayloadSize에 의해 DCI 포맷 2_1을 위한 정보 페이로드 크기를 가지고 설졍되며, timeFrequencySect에 의한 시간-주파수 자원들의 지시 입도(granularity)를 가지고 설정된다.Regarding the preemption indication, the UE receives the DownlinkPreemption IE through RRC signaling from the BS. When the UE is provided with the DownlinkPreemption IE, the UE is configured with the INT-RNTI provided by the parameter int-RNTI in the DownlinkPreemption IE to monitor the PDCCH carrying DCI format 2_1. The UE is additionally configured with a set of serving cells by INT-ConfigurationPerServing Cell containing the set of serving cell indices provided by servingCellID and a corresponding set of positions for fields in DCI format 2_1 by positionInDCI, and dci-PayloadSize It is set with the information payload size for DCI format 2_1 by , and it is set with the indication granularity of time-frequency resources by timeFrequencySect.
상기 UE는 상기 DownlinkPreemption IE에 기초하여 DCI 포맷 2_1을 상기 BS로부터 수신한다.The UE receives DCI format 2_1 from the BS based on the DownlinkPreemption IE.
UE가 서빙 셀들의 설정된 세트 내 서빙 셀에 대한 DCI 포맷 2_1을 검출하면, 상기 UE는 상기 DCI 포맷 2_1이 속한 모니터링 기간의 바로 앞(last) 모니터링 기간의 PRB들의 세트 및 심볼들의 세트 중 상기 DCI 포맷 2_1에 의해 지시되는 PRB들 및 심볼들 내에는 상기 UE로의 아무런 전송도 없다고 가정할 수 있다. 예를 들어, UE는 프리엠션에 의해 지시된 시간-주파수 자원 내 신호는 자신에게 스케줄링된 DL 전송이 아니라고 보고 나머지 자원 영역에서 수신된 신호들을 기반으로 데이터를 디코딩한다.If the UE detects DCI format 2_1 for a serving cell in a configured set of serving cells, the UE selects the DCI format among a set of PRBs and a set of symbols in the monitoring period immediately preceding the monitoring period to which the DCI format 2_1 belongs. It can be assumed that there is no transmission to the UE within the PRBs and symbols indicated by 2_1. For example, the UE decodes data based on signals received in the remaining resource regions, considering that signals within the time-frequency resource indicated by the preemption are not DL transmissions scheduled for the UE.
E. mMTC (massive MTC)E. mMTC (massive MTC)
mMTC(massive Machine Type Communication)은 많은 수의 UE와 동시에 통신하는 초연결 서비스를 지원하기 위한 5G의 시나리오 중 하나이다. 이 환경에서, UE는 굉장히 낮은 전송 속도와 이동성을 가지고 간헐적으로 통신하게 된다. 따라서, mMTC는 UE를 얼마나 낮은 비용으로 오랫동안 구동할 수 있는지를 주요 목표로 하고 있다. mMTC 기술과 관련하여 3GPP에서는 MTC와 NB(NarrowBand)-IoT를 다루고 있다.Massive Machine Type Communication (mMTC) is one of the 5G scenarios to support hyper-connected services that simultaneously communicate with a large number of UEs. In this environment, UEs communicate intermittently with very low transmission rates and mobility. Therefore, the main goal of mMTC is to drive the UE for a long time at low cost. Regarding mMTC technology, 3GPP deals with MTC and NB (NarrowBand)-IoT.
mMTC 기술은 PDCCH, PUCCH, PDSCH(physical downlink shared channel), PUSCH 등의 반복 전송, 주파수 호핑(hopping), 리튜닝(retuning), 가드 구간(guard period) 등의 특징을 가진다.The mMTC technology has characteristics such as repeated transmission of PDCCH, PUCCH, PDSCH (physical downlink shared channel), PUSCH, frequency hopping, retuning, guard period, and the like.
즉, 특정 정보를 포함하는 PUSCH(또는 PUCCH(특히, long PUCCH) 또는 PRACH) 및 특정 정보에 대한 응답을 포함하는 PDSCH(또는 PDCCH)가 반복 전송된다. 반복 전송은 주파수 호핑(frequency hopping)을 통해 수행되며, 반복 전송을 위해, 제1 주파수 자원에서 제2 주파수 자원으로 가드 구간(guard period)에서 (RF) 리튜닝(retuning)이 수행되고, 특정 정보 및 특정 정보에 대한 응답은 협대역(narrowband)(ex. 6 RB (resource block) or 1 RB)를 통해 송/수신될 수 있다.That is, a PUSCH (or PUCCH (in particular, long PUCCH) or PRACH) including specific information and a PDSCH (or PDCCH) including a response to specific information are repeatedly transmitted. Repeated transmission is performed through frequency hopping, and for repeated transmission, (RF) retuning is performed in a guard period from a first frequency resource to a second frequency resource, and specific information And a response to specific information may be transmitted / received through a narrowband (ex. 6 resource blocks (RBs) or 1 RB).
F. 5G 통신을 이용한 AI 기본 동작F. Basic AI operation using 5G communication
도 3은 5G 통신 시스템에서 사용자 단말과 5G 네트워크 간의 기본동작을 예시적으로 나타낸 도면이다.3 is a diagram illustrating a basic operation between a user terminal and a 5G network in a 5G communication system by way of example.
사용자 단말(UE)은 특정 정보 전송을 5G 네트워크로 전송한다(S1). 그리고, 상기 5G 네트워크는 상기 특정 정보에 대한 AI 프로세싱을 수행한다(S2). 그리고, 상기 5G 네트워크는 AI 프로세싱 결과를 포함하는 응답을 상기 UE로 전송한다(S3).The user terminal (UE) transmits specific information transmission to the 5G network (S1). And, the 5G network performs AI processing on the specific information (S2). And, the 5G network transmits a response including the AI processing result to the UE (S3).
G. 5G 통신 시스템에서 사용자 단말과 5G 네트워크 간의 응용 동작G. Application operation between user terminal and 5G network in 5G communication system
이하, 도 1 및 도 2와 앞서 살핀 무선 통신 기술(BM 절차, URLLC, Mmtc 등)을 참고하여 5G 통신을 이용한 AI 동작에 대해 보다 구체적으로 살펴본다.Hereinafter, AI operation using 5G communication will be described in more detail with reference to FIGS. 1 and 2 and the previous salpin wireless communication technology (BM procedure, URLLC, Mmtc, etc.).
먼저, 후술할 본 발명에서 제안하는 방법과 5G 통신의 eMBB 기술이 적용되는 응용 동작의 기본 절차에 대해 설명한다.First, the method proposed in the present invention and the basic procedure of the application operation to which the eMBB technology of 5G communication is applied will be described.
도 3의 S1 단계 및 S3 단계와 같이, UE가 5G 네트워크와 신호, 정보 등을 송/수신하기 위해, UE는 도 3의 S1 단계 이전에 5G 네트워크와 초기 접속(initial access) 절차 및 임의 접속(random access) 절차를 수행한다.As in steps S1 and S3 of FIG. 3, in order for the UE to transmit / receive signals and information with the 5G network, the UE performs an initial access procedure and random access with the 5G network before step S1 of FIG. random access) procedure.
보다 구체적으로, UE는 DL 동기 및 시스템 정보를 획득하기 위해 SSB에 기초하여 5G 네트워크와 초기 접속 절차를 수행한다. 상기 초기 접속 절차 과정에서 빔 관리(beam management, BM) 과정, 빔 실패 복구(beam failure recovery) 과정이 추가될 수 있으며, UE가 5G 네트워크로부터 신호를 수신하는 과정에서 QCL(quasi-co location) 관계가 추가될 수 있다.More specifically, the UE performs an initial access procedure with the 5G network based on SSB to acquire DL synchronization and system information. In the initial access procedure, a beam management (BM) process and a beam failure recovery process may be added, and in the process of the UE receiving a signal from the 5G network, a quasi-co location (QCL) relationship may be added.
또한, UE는 UL 동기 획득 및/또는 UL 전송을 위해 5G 네트워크와 임의 접속 절차를 수행한다. 그리고, 상기 5G 네트워크는 상기 UE로 특정 정보의 전송을 스케쥴링하기 위한 UL grant를 전송할 수 있다. 따라서, 상기 UE는 상기 UL grant에 기초하여 상기 5G 네트워크로 특정 정보를 전송한다. 그리고, 상기 5G 네트워크는 상기 UE로 상기 특정 정보에 대한 5G 프로세싱 결과의 전송을 스케쥴링하기 위한 DL grant를 전송한다. 따라서, 상기 5G 네트워크는 상기 DL grant에 기초하여 상기 UE로 AI 프로세싱 결과를 포함하는 응답을 전송할 수 있다.In addition, the UE performs a random access procedure with the 5G network for UL synchronization acquisition and / or UL transmission. And, the 5G network may transmit a UL grant for scheduling transmission of specific information to the UE. Therefore, the UE transmits specific information to the 5G network based on the UL grant. And, the 5G network transmits a DL grant for scheduling transmission of the 5G processing result for the specific information to the UE. Accordingly, the 5G network may transmit a response including an AI processing result to the UE based on the DL grant.
다음으로, 후술할 본 발명에서 제안하는 방법과 5G 통신의 URLLC 기술이 적용되는 응용 동작의 기본 절차에 대해 설명한다.Next, the method proposed in the present invention and the basic procedure of the application operation to which the URLLC technology of 5G communication is applied will be described.
앞서 설명한 바와 같이, UE가 5G 네트워크와 초기 접속 절차 및/또는 임의 접속 절차를 수행한 후, UE는 5G 네트워크로부터 DownlinkPreemption IE를 수신할 수 있다. 그리고, UE는 DownlinkPreemption IE에 기초하여 프리엠션 지시(pre-emption indication)을 포함하는 DCI 포맷 2_1을 5G 네트워크로부터 수신한다. 그리고, UE는 프리엠션 지시(pre-emption indication)에 의해 지시된 자원(PRB 및/또는 OFDM 심볼)에서 eMBB data의 수신을 수행(또는 기대 또는 가정)하지 않는다. 이후, UE는 특정 정보를 전송할 필요가 있는 경우 5G 네트워크로부터 UL grant를 수신할 수 있다.As described above, after the UE performs the initial access procedure and / or random access procedure with the 5G network, the UE may receive a DownlinkPreemption IE from the 5G network. And, the UE receives DCI format 2_1 including a pre-emption indication from the 5G network based on the DownlinkPreemption IE. And, the UE does not perform (or expect or assume) reception of eMBB data in the resource (PRB and / or OFDM symbol) indicated by the pre-emption indication. Thereafter, the UE may receive a UL grant from the 5G network when it is necessary to transmit specific information.
다음으로, 후술할 본 발명에서 제안하는 방법과 5G 통신의 mMTC 기술이 적용되는 응용 동작의 기본 절차에 대해 설명한다.Next, the method proposed in the present invention and the basic procedure of the application operation to which the mMTC technology of 5G communication is applied will be described.
도 3의 단계들 중 mMTC 기술의 적용으로 달라지는 부분 위주로 설명하기로 한다.Among the steps of FIG. 3, a description will be given focusing on the parts that differ due to the application of the mMTC technology.
도 3의 S1 단계에서, UE는 특정 정보를 5G 네트워크로 전송하기 위해 5G 네트워크로부터 UL grant를 수신한다. 여기서, 상기 UL grant는 상기 특정 정보의 전송에 대한 반복 횟수에 대한 정보를 포함하고, 상기 특정 정보는 상기 반복 횟수에 대한 정보에 기초하여 반복하여 전송될 수 있다. 즉, 상기 UE는 상기 UL grant에 기초하여 특정 정보를 5G 네트워크로 전송한다. 그리고, 특정 정보의 반복 전송은 주파수 호핑을 통해 수행되고, 첫 번째 특정 정보의 전송은 제1 주파수 자원에서, 두 번째 특정 정보의 전송은 제2 주파수 자원에서 전송될 수 있다. 상기 특정 정보는 6RB(Resource Block) 또는 1RB(Resource Block)의 협대역(narrowband)을 통해 전송될 수 있다.In step S1 of FIG. 3, the UE receives a UL grant from the 5G network to transmit specific information to the 5G network. Here, the UL grant may include information about the number of repetitions of transmission of the specific information, and the specific information may be repeatedly transmitted based on the information about the number of repetitions. That is, the UE transmits specific information to the 5G network based on the UL grant. In addition, repeated transmission of specific information is performed through frequency hopping, transmission of a first specific information may be transmitted in a first frequency resource, and transmission of a second specific information may be transmitted in a second frequency resource. The specific information may be transmitted through a narrowband of 6 Resource Blocks (RBs) or 1 Resource Blocks (1RBs).
앞서 살핀 5G 통신 기술은 후술할 본 발명에서 제안하는 장치, 시스템 및 방법과 결합되어 적용될 수 있으며, 또는 본 발명에서 제안하는 장치, 시스템 및 방법의 기술적 특징을 구체화하거나 명확하게 하는데 보충될 수 있다.The above salpin 5G communication technology can be applied in combination with the device, system, and method proposed in the present invention, which will be described later, or supplemented to specify or clarify the technical characteristics of the device, system, and method proposed in the present invention.
이하에서는, 도 4를 참조하여 본 발명의 일 실시 예에 따른 유소년의 헬스 케어를 위한 시스템(100)에 대하여 설명하도록 한다. 도 4는 본 발명의 일 실시 예에 따른 유소년 헬스 케어를 위한 시스템(100)의 구성을 나타내는 블록도이다. 한편, 원래 사용자라 함은 유소년, 청장년 및 노년의 구별 없이 모든 연령을 포함하는 사용자를 지칭하만, 이하에서는 설명의 편의를 위하여, 연령 별로 사용자 층을 제1 사용자 내지 제2 사용자로 구분하여 설명하도록 한다.Hereinafter, a
도 4를 참조하면, 본 발명의 일 실시 예에 따른 유소년의 헬스 케어를 위한 시스템(100)은 유소년인 제1 사용자를 촬영하여 제1 사용자의 신체 발육에 대한 현재 성장도를 분석하고 미래 성장률을 예측하는 제1 장치(110), 제1 사용자가 착용하거나 휴대하면서 사용하는 사용자 단말인 제2 장치(120), 유소년의 보호자인 제2 사용자가 사용하는 사용자 단말인 제3 장치(130)를 포함한다. 또한, 시스템(100)은 제1 장치(110)와 연결되어 제1 장치(110)가 처리한 데이터를 저장하는 데이터베이스(140)도 포함할 수 있다.Referring to FIG. 4 , the
제1 장치(110)는 제1 사용자를 촬영할 수 있는 기능을 구비한 디지털 사이니지(digital signage) 및/또는 키오스크(kiosk)로 구현될 수 있다. 하지만, 이는 어디까지나 예시이며, 제1 장치(110)는 제1 사용자를 촬영하여 제1 사용자의 신체 발육에 대한 현재 성장도를 분석하고 미래 성장률을 예측할 수 있다면, 사용자 인터페이스를 구비한 서버, 디지털 스테이션, 컴퓨팅 장치로도 구현이 가능하다.The
제2 장치(120)는 제1 사용자의 행동 상태 및 수면 여부를 센싱할 수 있는 스마트 워치(smart watch) 및/또는 스마트 밴드(smart band)로 구현될 수 있다. 하지만, 이는 어디까지나 예시이며, 제2 장치(120)는 제1 사용자의 행동 상태 및 수면 여부를 센싱할 수 있다면, 스마트 폰이나 태블릿 장치로도 구현이 가능하다.The
제3 장치(130)는 제2 사용자들이 보편적으로 사용하는 스마트 폰이나 태블릿 장치로 구현된다. 또한, 데이터베이스(140)는 서버로 구현될 수 있다.The
제1 장치 내지 제3 장치(110, 120, 130)는 모두 네트워크를 통해 연결되어, 상호 데이터를 주고받을 수 있다. 한편, 네트워크는 상술한 5G 네트워크로 구성될 수 있으며, 5G 네트워크에 대하여는 상술하였으므로 여기에서 구체적인 설명은 생략한다.All of the first to
또한, 도 5를 참조하여 본 발명의 다른 실시 예에 따른 유소년 헬스 케어 시스템(200)에 대하여 설명하도록 한다. 도 5는 본 발명의 다른 실시 예에 따른 유소년 헬스 케어 시스템의 구성을 나타낸 블록도이다.In addition, referring to FIG. 5, a youth
본 발명의 다른 실시 예에 따른 유소년 헬스 케어 시스템(200)은 도 5에 도시된 바와 같이, 유소년인 제1 사용자를 촬영하여 제1 사용자의 신체 발육에 대한 현재 성장도를 분석하고 미래 성장률을 예측하는 제1 장치(210), 제1 사용자가 착용하거나 휴대하면서 사용하는 사용자 단말인 제2 장치(220), 유소년의 보호자인 제2 사용자가 사용하는 사용자 단말인 제3 장치(230)를 포함한다. 또한, 시스템(200)은 제1 장치 내지 제3 장치(210, 220, 230)를 서로 데이터 통신 가능하도록 네트워크 연결하며, 제1 장치 내지 제3 장치(210, 220, 230) 모두에게 공통된 가상의 작업 공간인 클라우드 환경을 제공할 수 있는 클라우드 서버(260)를 포함한다. 또한, 클라우드 서버(260)가 제공하는 클라우드 환경에서 처리되는 모든 작업 결과 데이터를 저장하거나 불러올 수 있는 데이터베이스(240) 역시 본 실시 예에 따른 시스템(200)에 포함되며, 클라우드 서버(260)에 의해 네트워크가 구성되는 제1 장치 내지 제3 장치(210, 220, 230)와 다른 네트워크를 구성하는 외부 서버(250)도 본 실시 예에 따른 시스템(200)에 포함될 수 있다. 따라서, 본 실시 예에 따른 시스템(200)은 제1 장치 내지 제3 장치(210, 220, 230)로 이루어진 네트워크 외에도 다른 사용자 단말이나 디바이스들로 이루어진 네트워크를 포함하여 네트워크 상호간 데이터를 송수신이 가능하도록 한다.As shown in FIG. 5 , the youth
또한, 본 실시 예에 따른 시스템(200)은 이전 실시 예에 따른 시스템(100)과 다른 참조 번호를 사용하여 제1 장치 내지 제3 장치를 설명하였으나, 이는 변형 실시 예들 간의 식별력을 부여하기 위한 표시 상의 선택에 불과하며, 양 실시 예에서 제1 장치 내지 제3 장치는 모두 동일한 구성을 갖는다.In addition, in the
한편, 본 실시 예에 따른 클라우드 서버(260)는 이하에서 설명할 제1 장치(110, 210)가 포함하는 구성이나 기능들을 클라우드 환경에서 동일하게 구현할 수 있도록 구성된다. 특히, 본 발명에 따라 제1 사용자의 신체 부위 별 비율 및 현재 성장도를 산출하고, 상기 사용자의 미래 성장률을 예측할 수 있는 제1 장치(110, 210)는 머신 러닝 기능을 가지고 있는데 이와 같이 머신 러닝을 수행하기 위해 필요한 AI 프로세싱이 클라우드 서버(260)가 제공하는 클라우드 환경에서 가능하도록 구성될 수 있다. Meanwhile, the
이하에서는, 도 6을 참조하여, 본 발명의 일 실시 예에 따른 유소년 헬스 케어 장치(110)에 대하여 구체적으로 설명한다. 도 6은 본 발명의 일 실시 예에 따른 유소년 헬스 케어 장치의 구체적인 구성을 나타내는 블록도면이다.Hereinafter, with reference to FIG. 6 , the youth
이하에서 설명할 본 발명에 따른 유소년 헬스 케어 장치(110)는 유소년 헬스 케어 시스템(100, 200)에 포함되는 제1 장치(110, 210)이다. 한편, 설명의 편의를 위해, 이하에서 설명할 유소년 헬스 케어 장치(110)는 일 실시 예에 따른 헬스 케어 시스템(100)에 포함되는 제1 장치(110)를 기준으로 하여 설명하도록 한다. The youth
도 6을 참조하면, 본 실시 예에 따른 제1 장치(110)는 기계 학습부(1100), 촬영부(1300), 영상 처리부(1400), 음성 수집부(1500), 건강 상태 분석부(1600), 사용자 관리부(1700), 장치 통신부(1104), 인터페이스부(1800) 및 디스플레이부(1900)를 포함한다.Referring to FIG. 6 , the
촬영부(1300)는 제1 사용자를 촬영하여 제1 사용자에 대한 제1 영상을 생성할 수 있다. The photographing
영상 처리부(1400)는 제1 영상을 다른 영상들과 합성할 수 있도록 구성된다.The
건강 상태 분석부(1600)는 제1 영상을 분석하여 제1 사용자의 신체 부위 별 비율 및 현재 성장도를 산출하고, 제1 사용자의 미래 성장률을 예측할 수 있다. The
또한, 사용자 관리부(1700)는 제1 사용자에 대한 정보를 저장하고 관리할 수 있다. 여기서, 제1 사용자에 대한 정보는 제1 사용자의 얼굴, 지문, 홍채, 음성과 같은 생체 인식 정보와 연령, 성별과 같은 개인 정보 및 제1 장치(110)에 어카운트(account)로 저장된 제1 사용자의 아이디나 패스워드 같은 계정 정보를 모두 포함한다. 또한, 사용자에 대한 정보는 제1 사용자가 웹이나 소셜 네트워크를 검색한 이력과 제1 영상 및 제1 사용자의 현재 위치 정보를 포함할 수 있다.Also, the
기계 학습부(1100)는 신체 부위 별 비율, 현재 성장도 및 제1 사용자에 대한 정보를 기계 학습하도록 구성된다.The
장치 통신부(1104)는 제1 장치(110)가 제2 장치(120), 제3 장치(130), 데이터베이스(140) 및 클라우드 서버(260)와 데이터 통신을 수행할 수 있도록 하며, 제1 장치(110) 내부의 다양한 구성들 간에도 데이터 통신이 가능하도록 한다.The
인터페이스부(1800)는 제1 사용자, 제2 사용자 및/또는 관리자가 제1 장치(110)에 직접 명령을 입력할 수 있도록 하고 제1 장치(110)와 인터렉션 할 수 있도록 하는 입력 및 연결 수단을 모두 포함한다.The
디스플레이부(1900)는 터치 인식이 가능한 OLED(organic light emitting display) 또는 LCD(liquid crystal display) 또는 LED(light emitting display)와 같은 소정의 디스플레이를 포함하며, 건강 상태 분석부(1600)로부터 신체 부위 별 비율, 현재 성장도 및 미래 성장률을 제공받아 표시한다.The
이와 같은 본 발명의 구성들은 도 6에 도시된 바와 같이 제1 장치(110) 내에 모두 포함되는 것을 대표적인 실시 예로 하여 설명하였다. 하지만, 이는 어디까지나 본 발명에 따른 제1 장치(110)의 구체적인 일 실시 예를 설명하는 것에 불과하다. 따라서, 도 6에 도시된 기계 학습부(1100), 촬영부(1300), 영상 처리부(1400), 음성 수집부(1500), 건강 상태 분석부(1600), 사용자 관리부(1700), 장치 통신부(1104), 인터페이스부(1800) 및 디스플레이부(1900)는 모두 제1 장치(110) 내에 반드시 포함되어야 하는 것은 아니다. 클라우드 서버(260)에 의해 구현되는 클라우드 환경에서 기계 학습부(1100), 촬영부(1300), 영상 처리부(1400), 음성 수집부(1500), 건강 상태 분석부(1600), 사용자 관리부(1700), 장치 통신부(1104), 인터페이스부(1800) 및 디스플레이부(1900)가 구현되도록 할 수도 있다. 이러한 경우, 제1 장치(110)는 그 자체로 가상화 장치로서 기능할 수 있다.As shown in FIG. 6 , all of the configurations of the present invention have been described as being included in the
하지만, 이하에서는 제1 장치(110)에 상술한 구성들인 기계 학습부(1100), 촬영부(1300), 영상 처리부(1400), 음성 수집부(1500), 건강 상태 분석부(1600), 사용자 관리부(1700), 장치 통신부(1104), 인터페이스부(1800) 및 디스플레이부(1900)가 모두 포함된 것을 예시로 하여 설명한다. However, hereinafter, the
그 중에서 우선 기계 학습부(1100)를 좀 더 구체적으로 살펴본다. 기계 학습부(1100)는 제1 장치(110) 내에서 머신 러닝(machine learning)을 수행할 수 있다. 그러나, 상술한 바와 같이 이는 어디까지나 본 발명에 따른 기계 학습부(1100)의 일 실시 예를 설명하는 것이므로, 기계 학습부(1100)는 제1 장치(110) 내에 반드시 포함될 필요는 없다. 즉, 기계 학습부(1100)는 클라우드 서버(260)가 클라우드 환경에서 제공하는 소프트웨어나 가상 하드웨어 형태로 구현될 수도 있다.Among them, first, the
또한, 본 발명에서 머신 러닝을 수행할 수 있는 구성은 반드시 본 발명에 따른 장치(110)나 시스템(100) 내에 포함되어야 할 필요는 없다. 예를 들어, 본 발명에 따른 장치(110)나 시스템(100)과 네트워크로 연결될 수만 있다면, 머신 러닝을 수행할 수 있는 기계 학습부(1100)는 별도의 AI 장치로 구현되어 본 발명에 따른 장치(110)나 시스템(100)과 네트워크로 연결되기만 하면 된다. 이 경우, 기계 학습부(1100)는 AI 장치(1100)라고 불릴 수 있다.In addition, in the present invention, a configuration capable of performing machine learning does not necessarily have to be included in the
또한, 기계 학습부(1100)가 장치(110)나 시스템(100) 내에 일 구성으로 포함될 경우, 기계 학습부(1100)는 모듈 형태로 구성될 수 있다. 이 경우, 기계 학습부(1100)는 AI 모듈(1100)이라고 불릴 수도 있다. 하지만, 반드시 모듈 형태로 기계 학습부(1100)는 AI 장치(1100) 내에 기계 학습부(1100)가 장착되어야 하는 것은 아니며, AI 프로세서 형태로 장착될 수도 있다. Also, when the
설명의 편의를 위하여, 이하에서는 기계 학습부(1100)가 AI 모듈(1100)로 구현된 것을 예시로 하여 설명한다. 그리고, 기계 학습부(1100)는 AI 모듈(1100)로 지칭하도록 한다.For convenience of explanation, hereinafter, the
도 6을 참조하면, AI 모듈(1100)은 인공지능(Artificial Intelligence, AI) 학습과 관련된 연산을 수행하는 AI 프로세서(1101), 데이터 학습부(1102), 메모리(1200) 및 AI 모듈 통신부(1103)를 포함한다.Referring to FIG. 6, the
우선, AI 프로세서(1101)는 메모리(1200)에 저장된 프로그램 및/또는 소프트웨어를 이용하여 메모리(1200)에 저장된 신경망 모델(예를 들어, 딥 러닝 모델, 1201)을 학습할 수 있다. 특히, 본 실시 예에 따른 AI 프로세서(1101)는 제2 장치(120) 및/또는 제3 장치(130)로부터 수집된 사용자 중 하나인 어린 아이의 운동 데이터, 생체 데이터, 수면 패턴 데이터, 회원 정보 데이터, 위치 정보 데이터 및 선호하는 스포츠 종목과 인기 선수를 인식하기 위해 신경망 모델을 학습할 수 있다.First, the
여기서, 신경망 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며, 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 갖는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통해 신호를 주고받는 뉴런의 시냅틱 활동을 모의하도록 각각 연결 관계에 따라 데이터를 주고받을 수 있다. 신경망 모델은 좀 더 깊이를 가진 딥러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 레이어에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 이러한 딥 러닝 모델의 예는 심층 신경망(DNN, deep neural networks), 합성곱 신경망(CNN, convolutional deep neural networks), 순환 신경망(RNN, Recurrent Boltzmann Machine), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, deep belief networks), 심층 Q-네트워크(Deep Q-Network)와 같은 다양한 딥 러닝 기법들을 포함하며, 컴퓨터 비젼(computer vision), 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용되는 딥 러닝 모델을 의미한다. 이러한 AI 프로세서(1101)는 범용 프로세서(예를 들어, CPU)일 수 있으나, 인공지능 학습을 위한 AI 전용 프로세서(예를 들어, GPU)로 구성될 수 있다.Here, the neural network model may be designed to simulate the structure of the human brain on a computer, and may include a plurality of network nodes having weights that simulate neurons of the human neural network. A plurality of network nodes may transmit and receive data according to a connection relationship, respectively, so as to simulate synaptic activity of neurons that transmit and receive signals through synapses. The neural network model may include a deep learning model with more depth. In the deep learning model, a plurality of network nodes may exchange data according to a convolution connection relationship while being located in different layers. Examples of such deep learning models include deep neural networks (DNN), convolutional deep neural networks (CNN), recurrent Boltzmann Machine (RNN), Restricted Boltzmann Machine (RBM), It includes various deep learning techniques such as deep belief networks (DBN) and deep Q-networks, and provides advanced technologies such as computer vision, voice recognition, natural language processing, and voice/signal processing. It means a deep learning model applied to the field. The
또한, 본 실시 예에 따른 데이터 학습부(1102)는 제2 장치(120) 및/또는 제3 장치(130)로부터 수집된 제1 사용자(유소년, 어린아이)의 운동 데이터, 생체 데이터, 수면 패턴 데이터, 회원 정보 데이터, 위치 정보 데이터 및 선호하는 스포츠 종목에 대한 데이터, 선호하는 스포츠 선수에 대한 데이터를 인식, 분류, 판단 및 선택하기 위해 신경망 모델을 학습한다. 따라서, 데이터 학습부(1102)는 AI 프로세싱이 가능한 AI 프로세서(1101)의 한 종류로 구성될 수 있다. 즉, 데이터 학습부(1102)는 AI 모듈(1100)에 포함된 다양한 AI 프로세서(1101) 중 하나의 AI 프로세서일 수 있다.In addition, the
이를 위해, 데이터 학습부(1102)는 적어도 하나의 하드웨어 칩 형태로 제작되어 AI 모듈(1100)에 탑재될 수 있다. 예를 들어, 데이터 학습부(1102)는 인공지능(AI)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)의 일부로 제작되어 AI 모듈(1100)에 탑재될 수도 있다. 또한, 데이터 학습부(1102)는 인공지능 연산, 처리 및 학습 기능을 수행할 수 있는 프로세서로 구성될 수도 있으며, 이 경우, AI 프로세서(1101)와 유사하게 구성될 수도 있다. To this end, the
또한, 데이터 학습부(1102)는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1102)가 소프트웨어 모듈(또는 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록 매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 애플리케이션에 의해 제공될 수 있다.Also, the
한편, 도 6에 도시된 AI 모듈(1100)은 AI 프로세서(1101)와 데이터 학습부(1102)를 함께 포함하는 것으로 도시되어 있다. 이는, 본 실시 예에 따른 데이터 학습부(1102)가 인공지능 연산, 처리 및 학습 기능을 수행할 수 있는 AI 프로세서로 구성되더라도, 다른 AI 프로세싱을 수행해야할 필요가 있을 수 있으며, 또한 예비적으로 AI 프로세서(1101)가 배치되어 데이터 학습부(1102)가 수행하는 AI 프로세싱을 돕고 처리에 따른 프로세서의 부하를 낮추는 역할을 할 수 있다. 따라서, 도 6에 도시된 본 실시 예에 따른 AI 모듈(1100)이 AI 프로세서(1101) 데이터 학습부(1102)를 함께 포함하는 것은 복수의 AI 프로세서가 병렬적으로 배치될 수 있음을 예시적으로 도시하고 있는 것에 불과하다. 그러므로, 데이터 학습부(1102)가 AI 프로세서 또는 AI 모듈 형태로 구성될 경우, 도 6에서 AI 프로세서(1101)는 생략될 수 있다. 그리고 이 경우에는, 데이터 학습부(1102) 자체가 범용 프로세서(CPU) 또는 그래픽 전용 프로세서(GPU)이므로 AI 프로세서(1101)로 지칭될 수 있다.On the other hand, the
한편, 데이터 학습부(1102)는 제2 장치(120)와 관련된 데이터, 제2 장치(120)에서 실행 중인 서비스 플랫폼에 대한 데이터를 분류/인식하고, 분류된 데이터 중에서 어떤 데이터를 신경망 모델에 입력될 학습 데이터로 이용할지에 관한 기준을 학습할 수 있다. Meanwhile, the
또한, 데이터 학습부(1102)는 제2 장치(120)와 관련된 데이터, 제2 장치(120)에서 실행 중인 서비스 플랫폼에 대한 데이터 중에서 어떤 데이터가 제1 과정과 관련된 데이터인지 여부를 분류하고 인식하는 기준을 인공지능 학습할 수 있다.In addition, the
또한, 데이터 학습부(1102)는 제1 과정과 관련된 데이터를 신경망 모델에 입력할 학습 데이터로 변환 및 가공하고, 이렇게 획득된 학습 데이터를 딥러닝 모델에 적용함으로써, 딥 러닝 모델을 학습할 수 있다.In addition, the
여기서 학습 데이터란, 제2 장치(120) 및/또는 제3 장치(130)로부터 수집된 사용자 중 하나인 어린 아이의 운동 데이터, 생체 데이터, 수면 패턴 데이터, 회원 정보 데이터, 위치 정보 데이터 및 선호하는 스포츠 종목과 인기 선수에 대한 데이터를 의미한다. 또한, 학습 데이터란, 제2 장치(120) 및/또는 제3 장치(130)로부터 수집된 사용자 중 하나인 어린 아이의 건강, 관심 스포츠, 성장 상태와 관련된 모든 데이터를 의미할 수도 있다.Here, the learning data refers to movement data, biological data, sleep pattern data, member information data, location information data, and preferences of a child, which is one of the users, collected from the
데이터 학습부(1102)는 이렇게 제2 장치(120) 및/또는 제3 장치(130)로부터 사용자 중 하나인 어린 아이와 관련하여 수집된 모든 건강, 관심 스포츠, 성장 상태에 대한 데이터를 분류하고 전처리하여 학습 데이터로 인식할 수 있다. 즉, 데이터 학습부(1102)는 수집된 데이터를 신경망 모델에 입력할 학습 데이터로 변환 및 가공하는 전처리를 수행한다.The
한편, 도 6에 도시된 바와 같이, 데이터 학습부(1102)는 데이터 획득부(11021), 데이터 전처리부(11022), 데이터 선택부(11023), 모델 학습부(11024) 및 모델 평가부(11025)를 더 포함할 수 있다.Meanwhile, as shown in FIG. 6 , the
데이터 획득부(11021)는 제2 장치(120) 및/또는 제3 장치(130)로부터 사용자 중 하나인 어린 아이의 건강, 관심 스포츠, 성장 상태와 관련된 모든 데이터를 수집한다.The
데이터 전처리부(11022)는 데이터 획득부(11021)가 수집한 데이터, 즉, 제2 장치(120) 및/또는 제3 장치(130)로부터 사용자 중 하나인 어린 아이의 건강, 관심 스포츠, 성장 상태와 관련된 모든 데이터를 신경망 모델에 입력할 수 있는 형태의 데이터로 전처리 한다. The data
또한, 데이터 선택부(11023)는 데이터 획득부(11021)에서 수집한 제2 장치(120) 및/또는 제3 장치(130)로부터 사용자 중 하나인 어린 아이의 건강, 관심 스포츠, 성장 상태와 관련된 모든 데이터와 데이터 전처리부(11022)에서 전-처리된 데이터 중 데이터 학습부(1110)가 신경망 모델을 이용하여 어린 아이의 건강, 관심 스포츠, 성장 상태를 학습하기 위해 필요한 데이터를 선택할 수 있다. In addition, the
예를 들어, 제1 장치(110)가 사용자 중 한 명인 8세의 어린 아이가 착용한 제2 장치(120)로부터 해당 아이의 키가 121cm, 체중이 35kg이며, 제2 장치(110)에 저장된 사용자 정보를 수집했다고 가정한다. 또한, 제1 장치(110)는 제2 장치(120)로부터 아이가 주 2~3회 2시간씩 뛰거나, 공을 차는 행동을 하는 것을 센싱하였고, 센싱 결과에 대한 데이터를 수신하였다고 가정한다. 또한, 제1 장치(110)는 제2 장치(120)로부터 웹 검색 이력을 수신하여, 제2 장치(120)의 사용자인 어린 아이가 축구 선수 '손흥민'을 많이 검색하였음을 파악할 수 있다. 이 경우, 데이터 선택부(11023)는 어린 아이에 대한 성장 상태를 학습하기 위해 필요한 데이터로서 제2 장치(110)의 사용자인 어린 아이의 키, 체중 및 나이에 대한 정보를 전처리하여 이를 학습 데이터로 선택할 수 있다.For example, from the
이와 같이, 데이터 전처리부(11022) 및 데이터 선택부(11023)로 인하여, 신경망 모델의 분석 결과가 향상될 수 있고, 새로운 신경망 모델의 생성에 필요한 리소스를 빠르게 수집할 수도 있다. In this way, due to the
한편, 모델 학습부(11024)는 데이터 획득부(11021), 데이터 전처리부(11022), 데이터 선택부(11023)에 의해 수집, 분류, 변환, 가공된 학습 데이터를 이용하여, 신경망 모델이 학습 데이터가 입력되면, 입력된 학습 데이터를 어떻게 분류할지에 관한 판단 기준을 가지도록 학습할 수 있다. 이 때 모델 학습부(11024)는 학습 데이터 중 적어도 일부를 판단 기준으로 이용하는 지도 학습(supervised learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(11024)는 지도 없이 학습 데이터 그 자체를 이용하여 스스로 학습함으로써, 판단 기준을 발견하는 비지도 학습(unsupervised learning)을 통해 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(11024)는 학습에 따른 상황 판단의 결과가 올바른지에 대한 피드백을 이용하여 강화 학습(reinforcement learning)을 통하여, 신경망 모델을 학습시킬 수 있다. 또한, 모델 학습부(11024)는 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient decent)을 포함하는 학습 알고리즘을 이용하여 신경망 모델을 학습시킬 수 있다. On the other hand, the
학습 데이터를 통해 신경망 모델이 학습되면, 모델 학습부(11024)는 학습된 신경망 모델을 메모리(1200)에 저장할 수 있다. 모델 학습부(11024)는 학습된 신경망 모델을 AI 모듈 통신부(1103)를 통해 유선 또는 무선 네트워크로 연결된 데이터 베이스(140)의 저장 공간에 저장할 수도 있다.When the neural network model is learned through the training data, the
모델 평가부(11025)는 신경망 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 분석 결과가 일정한 기준을 만족하지 못하는 경우, 모델 학습부(11024)로 하여금 신경망 모델이 학습 데이터를 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 신경망 모델의 분류, 인식 및 학습 결과를 평가하기 위해, 미리 정의된 데이터일 수 있다. 일 예로, 모델 평가부(11025)는 평가 데이터에 기초하여, 학습 데이터를 학습한 신경망 모델의 분류 결과가 정확한지 여부를 판단한다. 이후, 모델 평가부(11025)는 신경망 모델의 분류 결과 중에서 정확하지 않은 결과의 개수가 평가 데이터에서 오류 범위를 설정하고 있는 개수 및/또는 비율의 임계치를 초과하는 경우, 학습 결과 기준을 만족하지 못한 것으로 평가할 수 있다. 따라서, 모델 평가부(11025)는 신경망 모델의 분석 결과를 향상시킬 수 있다.The
한편, AI 모듈(1100)은 포함하고 있는 AI 모듈 통신부(1103)를 통해, 장치(110) 내의 다양한 구성 요소와 데이터 통신을 수행할 수 있으며, 장치(110)외에 다른 외부 장치들과도 데이터 통신을 직접 수행할 수 있다. 이를 통해, AI 모듈(1100)은 AI 프로세싱 처리 결과나 학습 결과 데이터를 장치(110) 외에 다른 외부 장치로 전송할 수 있고, 다른 외부 장치에서 AI 프로세싱되거나 학습된 결과 데이터를 수신할 수도 있다.Meanwhile, the
한편, 촬영부(1300)는 RGB 뎁스 센서(RGB-D sensor)(1301), 적외선 방출기(IR Emitter)(1302), 적외선 뎁스 센서(IR Depth sensor)(1303)를 포함한다. 또한, 촬영부(1300)는 제1 사용자를 촬영하기 위해서 렌즈 모듈, CCD, CMOS와 같은 카메라의 기본적인 구성 요소들을 포함한다.Meanwhile, the photographing
RGB 뎁스 센서(1301)는 제1 사용자로부터 반사되는 빛을 센싱할 수 있으며, 적외선 방출기(1302)는 제1 사용자에게 복수의 픽셀 단위 적외선들을 방출하도록 구성되고, 적외선 뎁스 센서(1303)는 적외선 방출기(1302)로부터 방췰된 복수의 적외선들 중 제1 사용자에 의해 반사되는 적외선을 인식한다.The
본 실시 예에 따른 촬영부(1300)는 RGB 뎁스 센서(1301), 적외선 방출기(1302) 및 적외선 뎁스 센서(1303)를 이용하여 제1 사용자와 제1 사용자의 주변을 촬영하고, RGB 뎁스 센서(RGB-D 센서, 1301)로부터 생성된 컬러 정보, 적외선 뎁스 센서(1303)로부터 생성된 깊이 정보 및 제1 사용자와 그 주변에 대하여 생성된 다수의 레이어들을 가지는 3차원 백그라운드 모델을 입체적으로 렌더링하여 제1 사용자에 대한 제1 영상을 생성한다.The photographing
이렇게 촬영부(1300)가 RGB-D 센서를 사용하여 공간 및 객체를 실시간으로 복원하고 3차원 데이터를 생성 및 가시화하는 방법은, 기존에 이미 알려진 다양한 방법으로도 가능하다. 예를 들어, Microsoft research팀이 2011년 발표한 KinectFusion을 시작으로, Volumetic Data Structure, Voxel hasing, Structure analysis, SHISEL 방법들이 있다. 촬영부(1300)는 상술한 방법들을 통해 제1 사용자를 입체적으로 표현한 데이터가 포함된 제1 영상을 생성할 수 있다.The method of restoring space and objects in real time using the RGB-D sensor by the photographing
한편, 영상 처리부(1400)는 가상의 그래픽 이미지를 생성할 수 있으며, 촬영부(1300)에서 생성된 제1 영상에 가상의 그래픽 이미지를 합성할 수 있다. 본 실시 예에 따른 영상 처리부(1400)는 가상의 그래픽 이미지를 생성하는 가상 영상 처리부(1401) 및 가상 영상 처리부(1401)에서 생성된 그래픽 이미지를 제1 영상에 합성하는 복합 영상 처리부(1402)를 더 포함한다.Meanwhile, the
가상 영상 처리부(1401)는 제1 사용자를 촬영한 제1 영상에서 제1 사용자의 얼굴을 인식하고, 제1 사용자의 얼굴에 대한 특징 맵(feature)을 추출한 뒤, 이 특징 맵을 바탕으로 제1 사용자와 유사한 느낌을 주는 아바타(avatar)를 생성할 수 있다. 이러한 아바타는 가상의 그래픽 이미지로 형성되지만, 제1 사용자의 얼굴에 대한 특징 맵을 기반으로 만들어지므로, 제1 사용자와 유사한 느낌을 주는 캐릭터가 생성된다.The virtual
또한, 가상 영상 처리부(1401)는 제1 사용자를 촬영한 제1 영상에 합성될 가상의 지시선이나 가이드 라인을 문자, 도형, 숫자, 기호 등으로 생성할 수 있다. 예를 들어, 촬영부(1300)가 제1 사용자의 달리는 모습을 촬영하여 제1 영상을 생성한 경우, 가상 영상 처리부(1401)는 제1 사용자가 달리는 이미지에서 제1 사용자가 달리는 방향이나 속도를 나타내는 가상의 지시선이나 가이드 라인을 생성할 수 있다. Also, the virtual
그리고, 복합 영상 처리부(1402)는 가상 영상 처리부(1401)에서 생성된 가상의 지시선이나 가이드 라인을 제1 영상에 합성하여, 제1 영상이 가상의 지시선이나 가이드 라인을 포함하여 재생되도록 할 수 있다.The composite
또한, 복합 영상 처리부(1402)는 가상 영상 처리부(1401)에서 생성된 그래픽 이미지뿐만 아니라, 제1 영상을 다른 영상과도 합성할 수 있다. 예를 들어, 복합 영상 처리부(1402)는 제1 장치(110)가 제1 사용자의 선호도에 따라 네트워크 또는 웹에서 수집한 다른 영상과 제1 영상을 합성할 수도 있으며, 가상 영상 처리부(1401)에서 생성된 제1 사용자에 대한 아바타를 제1 장치(110)가 제1 사용자의 선호도에 따라 네트워크 또는 웹에서 수집한 다른 영상에 합성할 수도 있다. 여기에서 '다른 영상'이란, 제1 사용자의 선호하는 스포츠 종목의 경기 영상 또는 해당 종목의 유명 선수에 대한 영상일 수 있다.Also, the composite
또한, 제1 장치(110)는 사용자 관리부(1700)를 통해 수집한 제1 사용자의 웹이나 소셜 네트워크 검색 이력을 통해 제1 사용자의 선호도를 산출할 수 있다. 제1 장치(110)는 AI 모듈(1100)을 통해 제1 사용자의 웹이나 소셜 네트워크 검색 이력을 학습하여, 제1 사용자가 선호하는 특정 스포츠 종목 및 해당 종목에서의 유명 선수에 대하여 선호도를 산출하고, 이를 다른 영상 수집에 활용할 수 있다. In addition, the
음성 수집부(1500)는 제1 사용자의 음성을 수집하고, AI 모듈(1100)이 수집된 제1 사용자의 음성을 학습하고 분석할 수 있도록 한다. 그리고, 음성 수집부(1500)는 AI 모듈(1100) 제1 사용자의 음성을 학습한 결과에 따라, 제1 사용자의 성별, 연령, 건강 상태 및 감정 상태를 분석할 수 있다. 이를 위해, 음성 수집부(1500)는 복수의 마이크로폰이 배열된 마이크 어레이(1501)를 더 포함할 수 있다. 또한, 음성 수집부(1500)는 음성 인식 기능을 포함할 수 있으며, 사용자로부터 발성된 음성을 인식하여 기능을 작동시킬 수 있도록 구성된다. 마이크 어레이(1501)는 더 정확한 음성 인식이 가능하도록 한다.The
한편, 건강 상태 분석부(1600)는 체형 분석부(1601), 운동 데이터 분석부(1602) 및 성장 예측부(1603)를 더 포함한다.Meanwhile, the
체형 분석부(1601)는 촬영부(1300)에서 생성된 제1 영상을 분석하여 제1 사용자의 체형, 각 신체 부위 및 관절을 인식한다. The
특히, 체형 분석부(1601)는 인체를 구성하는 주요 골격 20개에 대한 위치 데이터인 스켈레톤 포지션 데이터(Skeleton Position Data) 를 미리 저장하고 있으며, 제1 영상에서 인식되는 제1 사용자의 관절마다 포인트를 부여하여, 제1 사용자의 체형, 전체 골격, 각 신체 부위의 정보를 쉽게 얻어낼 수 있다. 또한, 체형 분석부(1601)는 획득한 각 신체 부위에 대한 정보를 바탕으로 서로 다른 신체 부위들을 비교하여, 각 신체 부위 별 비율을 산출할 수 있다. In particular, the
또한, 체형 분석부(1610)는 스켈레톤 포지션 데이터(Skeleton Position Data)를 기반으로 제1 사용자의 관절 위치와 신체 부위 별 비율을 비교하여, 제1 사용자의 체형이 일정한 범위 내에 포함되는지 여부룰 판단할 수 있다. 만약, 체형 분석부(1610)가 제1 사용자의 체형이 스켈레톤 포지션 데이터(Skeleton Position Data)에서 제공하는 바와 같이, 관절 위치와 신체 부위 별 비율이 일정 범위 내에 포함된다고 판단한 경우, 체형 분석부(1610)는 제1 사용자의 체형이 정상이라고 판단할 수 있다.In addition, the body shape analyzer 1610 compares the joint positions of the first user and the ratio of each body part based on the skeleton position data to determine whether the body shape of the first user is within a certain range. can If the body shape analyzer 1610 determines that the first user's body shape is within a certain range, as provided by the skeleton position data, the joint positions and body part ratios fall within a certain range, the body shape analyzer 1610 ) may determine that the body shape of the first user is normal.
하지만, 체형 분석부(1610)가 제1 사용자의 체형이 스켈레톤 포지션 데이터(Skeleton Position Data)에서 제공하는 바와 다르게 관절 위치와 신체 부위 별 비율이 일정 범위 내에 포함되지 않는다고 판단하면, 체형 분석부(1610)는 제1 사용자의 체형에 이상이 있다고 판단할 수 있으며, 이상이 있다고 판단한 관절 및 신체 부위를 선택할 수 있다. 그리고, 체형 분석부(1610)는 제1 사용자의 체형을 교정하기 위한 체형 교정 가이드를 산출할 수 있다. 이러한 체형 교정 가이드는 가상 영상 처리부(1401)에서 생성하는 그래픽 이미지 즉, 아바타에 적용되어 표현될 수 있다.However, if the body shape analyzer 1610 determines that the first user's body shape does not include the joint positions and body part ratios within a certain range, unlike the skeleton position data provided, the body shape analyzer 1610 ) may determine that there is an abnormality in the body shape of the first user, and may select a joint and body part determined to have an abnormality. Also, the body shape analyzer 1610 may calculate a body shape correction guide for correcting the first user's body shape. Such a body shape correction guide may be expressed by being applied to a graphic image generated by the virtual
운동 데이터 분석부(1602)는 촬영부(1300)에서 생성된 제1 영상을 분석하여 제1 사용자가 현재 취하고 있는 행동, 현재 플레이(play) 중인 운동 종목 및 제1 사용자의 자세를 인식한다. 또한, 운동 데이터 분석부(1602)는 현재 취하고 있는 행동, 현재 플레이(play) 중인 운동 종목 및 제1 사용자의 자세가 종료되면, 제1 사용자가 행동, 운동 및 자세에 소모한 시간과 칼로리를 산출할 수 있다. 즉, 운동 데이터 분석부(1602)는 제1 영상을 통해 제1 사용자가 움직이고 있다고 판단한 경우, 제1 사용자의 움직임이 어떤 운동 종목에 해당하는 움직임인지를 인식하고, 제1 사용자의 움직임과 행동 시간 등을 분석하여 제1 사용자의 칼로리 소모량을 산출할 수 있다.The exercise data analyzer 1602 analyzes the first image generated by the photographing
또한, 운동 데이터 분석부(1602)는 제1 영상을 분석하여 제1 사용자가 현재 플레이 중인 운동 종목 및 자세를 인식한 경우, 제1 사용자가 정확하고 올바른 자세로 플레이 하는지 여부를 판단하고, 제1 사용자의 자세가 수정될 필요가 있는지 여부를 판단한다. 만약, 운동 데이터 분석부(1602)가 제1 사용자의 자세가 수정될 필요가 있다고 판단하면, 운동 데이터 분석부(1602)는 자세 교정 가이드를 생성하여, 디스플레이부(1900)를 통해 출력하고, 제1 사용자가 이렇게 출력된 자세 교정 가이드를 따라 운동할 수 있도록 유도한다.In addition, the exercise data analysis unit 1602 analyzes the first image to determine whether the first user is playing in an accurate and correct posture when the first user recognizes the exercise event and posture currently being played, and It is determined whether the posture of the user needs to be corrected. If the motion data analysis unit 1602 determines that the posture of the first user needs to be corrected, the motion data analysis unit 1602 generates a posture correction guide, outputs it through the
또한, 운동 데이터 분석부(1602)는 제1 사용자의 웹이나 소셜 네트워크 검색 이력을 포함하는 제1 사용자에 대한 정보를 분석하여 제1 사용자가 선호하는 운동 종목과 해당 종목에서 선호하는 선수를 인식할 수 있다. 또한, 운동 데이터 분석부(1602)는 사용자 관리부(1700)에 제1 영상 및 제1 사용자에 대한 정보가 충분히 축적될 경우, 제1 사용자가 가장 빈번하게 플레이 하는 운동 종목을 분석하여, 제1 사용자가 선호하는 운동 종목을 인식할 수 있다. 그리고, 제1 사용자가 선호하는 운동 종목 및 제1 영상에서 도출되는 제1 사용자의 플레이 스타일(play style)을 기반으로 제1 사용자가 해당 종목에서 선호하는 선수를 선택할 수 있다.In addition, the exercise data analyzer 1602 analyzes information about the first user including the first user's web or social network search history to recognize the first user's preferred sports event and the preferred player in the corresponding event. can In addition, the exercise data analyzer 1602 analyzes an exercise event that the first user plays most frequently when the first image and information on the first user are sufficiently accumulated in the
한편, 운동 데이터 분석부(1602)는 체형 분석부(1610)에서 산출한 신체 부위 별 비율이 일정 범위보다 미만이거나 일정 값에 미만인 경우, 키 성장을 유도하는 가이드를 포함하는 제1 운동 가이드를 생성하고, 이를 제1 사용자에게 추천할 수 있다. 이러한 키 성장에 도움이 되는 운동은 예를 들어, 스트레칭, 농구 등을 포함할 수 있다.Meanwhile, the exercise data analyzer 1602 generates a first exercise guide including a guide for inducing height growth when the ratio of body parts calculated by the body shape analyzer 1610 is less than a certain range or less than a certain value. and recommend it to the first user. Exercises conducive to height growth may include, for example, stretching and basketball.
이와 반대로, 운동 데이터 분석부(1602)는 체형 분석부(1610)에서 산출한 신체 부위 별 비율이 일정 범위를 초과하거나 일정 값을 초과할 경우, 근력 운동들에 대한 가이드를 포함하는 제2 운동 가이드를 생성하고, 제1 사용자에게 추천할 수 있다. 이러한 근력 운동들은 근육 성장에 도움이 되는 운동으로서, 예를 들어, 웨이트 트레이닝, 기계 체조 등을 포함할 수 있다.Conversely, the exercise data analysis unit 1602, when the ratio of each body part calculated by the body shape analysis unit 1610 exceeds a certain range or exceeds a certain value, the second exercise guide including guides for strength exercises. can be created and recommended to the first user. These strength exercises are exercises that are helpful for muscle growth, and may include, for example, weight training, mechanical gymnastics, and the like.
성장 예측부(1603)는 미리 소아청소년성장테이블에 대한 데이터를 저장해 두고 있다. 따라서, 성장 예측부(1603)는 연령에 따라 표준 소아청소년의 성장도를 미리 알고 있다. 또한, 성장 예측부(1603)는 저장해 둔 소아청소년성장테이블에 대한 데이터를 기반으로 제1 사용자의 성별과 연령 정보를 포함하고 있는 제1 사용자에 대한 정보와 체형 분석부(1601)에서 산출한 각 신체 부위 별 비율을 함께 분석하여 제1 사용자의 현재 성장도를 도출하고, 제1 사용자의 미래 성장률을 예측할 수 있다.The
한편, 건강 상태 분석부(1600)는 제1 사용자가 섭취한 음식을 분석하는 식단 분석부(1604) 및 제1 사용자의 수면 시간이나 수면 패턴을 분석하는 수면 패턴 분석부(1605)를 더 포함할 수 있다.Meanwhile, the
식단 분석부(1604)는 사용자 관리부(1700)에 입력되거나 사용자 관리부(1700)를 통해 수집된 제1 사용자에 대한 정보를 분석하여 제1 사용자가 섭취한 음식의 종류 및 칼로리를 산출할 수 있다. 예를 들어, 제1 사용자는 자신이 사용하는 제2 장치(120)를 이용해, 자신이 하루 동안 섭취한 음식에 대한 정보를 입력할 수 있다. 이 경우, 제2 장치(120)는 제1 사용자가 입력한 일일 섭취한 음식에 대한 정보를 제1 장치(110)로 전송하고, 제1 장치(110)의 사용자 관리부(1700)는 이를 제1 사용자 정보로 인식하여 수집한다. 이후, 식단 분석부(1604)는 제1 사용자가 입력한 일일 섭취한 음식에 대한 정보를 분석하여, 제1 사용자가 섭취한 칼로리를 산출할 수 있다. 또한, 식단 분석부(1604)는 제1 사용자가 입력한 일일 섭취한 음식에 대한 정보를 분석하여, 제1 사용자가 편식을 하는지 여부, 부족하게 섭취한 영양소의 종류 및 양을 인식하고, 권장 식단을 생성하여 이를 디스플레이부(1900)를 통해 출력할 수 있다.The
수면 패턴 분석부(1605) 역시 사용자 관리부(1700)에 입력되거나 사용자 관리부(1700)를 통해 수집된 제1 사용자에 대한 정보를 분석하여 제1 사용자의 수면 시간 및 수면 패턴을 산출할 수 있다. 예를 들어, 제1 사용자는 자신이 사용하는 제2 장치(120)를 이용해, 자신이 잠자리에 든 시간 및 일어난 시간을 입력할 수 있다. 이 경우, 제2 장치(120)는 제1 사용자가 입력한 수면 시간에 대한 정보를 제1 장치(110)로 전송하고, 제1 장치(110)의 사용자 관리부(1700)는 이를 제1 사용자 정보로 인식하여 수집한다. 이후, 수면 패턴 분석부(1605)는 제1 사용자가 입력한 수면 시간에 대한 정보를 분석하여, 제1 사용자가 수면한 시간 및 수면 패턴을 산출할 수 있다. 또한, 수면 패턴 분석부(1605)는 제1 사용자가 입력한 수면 시간에 대한 정보를 분석하여, 제1 사용자가 충분한 수면을 하는지 여부를 인식하고, 수면 습관 가이드를 생성하여 이를 디스플레이부(1900)를 통해 출력할 수 있다.The sleep pattern analyzer 1605 may also calculate the sleep time and sleep pattern of the first user by analyzing information about the first user input to the
한편, 사용자 관리부(1700)는 제1 사용자가 사용하거나 휴대하고 있는 사용자 단말기인 제2 장치(120)로부터 발신되는 제1 사용자의 위치 신호를 수신하여, 제1 사용자의 현재 위치를 파악할 수 있는 사용자 위치 정보 처리부(1701)를 포함할 수 있다.Meanwhile, the
또한, 사용자 관리부(1700)는 제1 사용자가 사용하거나 휴대하고 있는 사용자 단말기인 제2 장치(120)와 근거리 무선 통신을 수행하여, 제1 사용자가 특정 장소에 출입하였음을 확인할 수 있는 출석 확인부(1702)를 더 포함할 수 있다.In addition, the
예를 들어, 제1 사용자가 착용한 제2 장치(120)가 스마트 워치이고, 출석 확인부(1702)는 이러한 스마트 워치와 NFC 통신을 수행할 수 있다고 가정한다. 또한, 출석 확인부(1702)가 포함된 제1 장치(110)는 '태권도장'에 배치되어 있다고 가정한다. 이 경우, 스마트 워치를 착용한 어린 아이가 '태권도장'에 들어가면, 제1 장치(110)에 포함된 출석 확인부(1702)는 태깅(tagging) 또는 NFC 통신을 이용하여, 스마트 워치와 연결될 수 있다. 그리고, 출석 확인부(1702)는 태깅되거나 NFC 통신으로 연결된 스마트 워치를 착용한 어린 아이가 '태권도장'에 출석하였다고 인식할 수 있다.For example, it is assumed that the
장치 통신부(1104)는 네트워크 및/또는 클라우드 서버(260)와 연동하여 제1 장치(110)가 제2 장치(120), 제3 장치(120, 130) 및/또는 다른 전자 기기와 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. The
또한, 장치 통신부(1104)는 제2 장치(120), 제3 장치(120, 130), 클라우드 서버(260) 및/또는 다른 전자 기기(외부 서버나 데이터베이스)로부터 소정의 정보 요청 신호를 수신하는 역할을 하며, 제1 장치(110)가 처리한 데이터 및/또는 정보를 제2 장치(120), 제3 장치(120, 130) 및/또는 다른 전자 기기로 전송하는 역할을 수행한다. In addition, the
또한, 장치 통신부(1104)는 제2 장치(120), 제3 장치(120, 130) 및/또는 다른 전자 기기로부터 수신된 소정의 정보 요청 신호를 클라우드 서버(260)로 전송하고, 클라우드 서버(260)가 처리한 응답 신호를 수신하여, 제2 장치(120), 제3 장치(120, 130) 및/또는 다른 전자 기기로 전송하도록 할 수 있다. In addition, the
또한, 장치 통신부(1104)는 다른 전자 기기(외부 서버나 데이터베이스)들이 구성하는 외부 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신할 수 있으며, 이를 위해 필요한 하드웨어 및 소프트웨어를 포함하는 모듈이나 장치로 구현될 수 있다.In addition, the
또한, 장치 통신부(1104)는 각종 사물 지능 통신(IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등)을 지원할 수 있으며, M2M(machine to machine) 통신, V2X(vehicle to everything communication) 통신, D2D(device to device) 통신 등을 지원할 수 있다.In addition, the
인터페이스부(1800)는 제1 사용자, 제2 사용자 및/또는 관리자가 제1 장치(110)를 직접 사용하거나 제어하기 위해 사용할 수 있는 인터페이스를 포함한다. 여기에 포함되는 인터페이스는 키보드, 마우스, 터치패드와 같은 기존의 입력형 인터페이스로 구성될 수도 있지만, 사용자의 음성, 얼굴, 동공, 지문 등을 통해 사용자가 제1 장치(110)에 명령을 입력할 수 있는 인터페이스를 포함한다.The
또한, 인터페이스부(1800)는 제1 장치(110)가 다른 장치와 연결되기 위한 유무선 연결 인터페이스도 포함한다. 인터페이스부(1800)에 포함되는 무선 연결 인터페이스는 사물인터넷(IoT; Internet of Things), LTE(Long Term Evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband) 및 GSM(Global System for Mobile Communications) 중 적어도 하나 이상을 포함할 수 있다. 또한, 인터페이스부(1800)는 무선 연결 인터페이스로서 WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있으며, 이러한 무선 연결 인터페이스를 통해 제2 장치(120) 및 제3 장치(130)와 근거리 무선 통신을 수행할 수 있다.Also, the
이하에서는, 도 7 내지 도 12를 참조하여, 디지털 사이니지(digital signage)로 구현된 제1 장치가 사용되는 다양한 시나리오에 대하여 설명한다. 도 7은 본 발명의 일 실시 예에 따라 디지털 사이니지로 구현된 제1 장치를 나타낸 사시도이다.Hereinafter, various scenarios in which a first device implemented as a digital signage is used will be described with reference to FIGS. 7 to 12 . 7 is a perspective view illustrating a first device implemented as digital signage according to an embodiment of the present invention.
도 7을 참조하면, 본 발명에 따른 제1 장치(110)는 전면부에 디스플레이부(1900)를 장착한 디지털 사이니지로 구성될 수 있다. 도 7에는 제1 장치(110)의 외형이 육면체 형상을 갖는 것으로 도시되어 있으나, 이는 어디까지나 예시에 불과하다. 따라서, 제1 장치(110)의 외형은 반드시 육면체 형상에 한정되는 것은 아니며, 제1 장치(110)를 사용하고자 하는 제1 사용자의 관심을 유발할 수 있거나, 제1 사용자에게 디스플레이부(1900)가 명확히 인식될 수 있을 정도의 충분한 크기를 갖는 외형이면 충분하다.Referring to FIG. 7 , the
또한, 도 7을 참조하면, 제1 장치(110)의 전면부에는 촬영부(1300)가 장착된다. 도 7에는 촬영부(1300)가 디스플레이부(1900) 보다 상부에 배치되어 있는 것으로 도시되어 있으나, 이는 어디까지나 예시에 불과하며, 촬영부(1300)는 디스플레이부(1900)의 하부 또는 양 측면 중 어느 하나의 영역에 배치될 수도 있다.Also, referring to FIG. 7 , a photographing
또한, 촬영부(1300)는 도 7에 도시된 바와 같이, 한 개의 촬영부(1300)만 제1 장치(110)에 장착되는 것이 아니라, 복수의 촬영부(1300a, 1300b, 1300c, 1300d, 1300d, 1300e)가 디스플레이부(1900) 주변이나 시설(P1) 내에 장착되어 제1 사용자를 입체적으로 촬영할 수 있다. 복수의 촬영부(1300a, 1300b, 1300c, 1300d, 1300d)가 제1 장치(110)에 장착되거나 연동될 경우, 제1 장치(110)는 제1 사용자에 대하여 좀 더 입체적이고 선명한 제1 영상을 생성할 수 있다.In addition, as shown in FIG. 7 , in the photographing
또한, 도 7을 참조하면, 제1 장치(110)의 전면부에는 인터페이스부(1800)가 노출되도록 배치될 수 있다. 이는 제1 사용자가 제1 장치(110)에 명령을 입력하거나, 제1 사용자가 착용한 제2 장치(120)를 가지고 제1 장치(110)와 근거리 무선 통신과 같은 인터렉션을 수행하기에 편하도록 하기 위함이다.Also, referring to FIG. 7 , the
한편, 디스플레이부(1900)는 하나의 화면으로 구성될 수도 있지만, 도 7에 도시된 바와 같이, 필요와 표시할 컨텐츠 내용에 따라서, 화면을 복수로 분할할 수도 있다. 도 7을 참조하면, 디스플레이부(1900)는 하나의 화면에서 적어도 3개의 디스플레이 영역(Ⅰ, Ⅱ, Ⅲ)을 분할하여 각각의 영역마다 다른 컨텐츠를 표시할 수 있음을 예시적으로 나타내고 있다. 설명의 편의를 위해, 도 7에 도시된 디스플레이 영역 Ⅰ를 제1 영역(Ⅰ), 디스플레이 영역 Ⅱ를 제2 영역(Ⅱ), 디스플레이 영역 Ⅲ를 제3 영역(Ⅲ)이라고 지칭한다. 그리고, 제1 영역(Ⅰ), 제2 영역(Ⅱ), 제3 영역(Ⅲ)은 각각 다른 정보를 디스플레이 할 수 있다. 각각의 영역이 디스플레이 하는 정보에 대하여는 추후 도 9를 참조하여 설명하도록 한다.Meanwhile, the
한편, 도 8을 참조하면, 디지털 사이니지로 구현된 제1 장치(110)는 어린 아이들의 마음껏 뛰어 놀고 스포츠를 즐길 수 있는 특정한 장소에 배치된다. 이러한 특정 장소는 예를 들어, '체육관, 수영장, 축구 교실, 태권도장, 아이스링크'와 같은 장소들을 포함할 수 있다. 또한 상술한 장소들은 어디까지나 예시에 불과하며, 어린 아이들에게 스포츠를 즐길 수 있는 기회를 제공하고, 스포츠 종목에 대한 교육 커리큘럼을 제공할 수 있는 장소라면 어디든 디지털 사이니지로 구현된 제1 장치(110)가 배치될 수 있다. 다만, 설명의 편의를 위해, 도 8에서는 제1 장치(110)가 '축구 교실'에 배치된 것을 예시로 하여 설명한다.Meanwhile, referring to FIG. 8 , the
도 8은 본 발명에 따른 제1 장치(110)가 '축구 교실'에 배치된 예시를 나타낸 도면이다. 제1 장치(110)는 '축구 교실(P1)' 내에서 특정 공간에 배치될 수 있다. 예를 들어 도 8에 도시된 바와 같이, 실내에 '축구 교실(P1)'이 형성되어 있는 경우, 제1 장치(110)에 장착된 촬영부(1300)가 전반적인 실내를 촬영할 수 있도록 제1 장치(110)는 일측 벽면에 가깝게 배치될 수 있다. 그리고 제1 장치(110)는 촬영부(1300)를 통하여, '축구 교실(P1)'의 실내에서 활동하고 있는 어린 아이들을 촬영할 수 있다.8 is a view showing an example in which the
예를 들어, 도 8에 도시된 바와 같이, 제1 장치(110)는 촬영부(1300)를 통하여, 제1 어린 아이(o1)를 촬영할 수 있다. 여기서 제1 어린 아이(o1)는 제1 장치(110)를 사용하고자 하는 제1 사용자에 해당하며, 제1 장치(110)를 이용하여 자신(o1)이 얼마나 성장했는지를 알고 싶어한다고 가정한다. For example, as shown in FIG. 8 , the
우선, 제1 장치(110)는 '축구 교실(P1)'의 실내에서 제1 장치(110) 앞에 서서 두 팔을 위로하여 높이 벌리고 서있는 제1 어린 아이(o1)를 촬영하여 제1 영상을 생성한다. 그리고, 제1 장치(110)는 스켈레톤 포지션 데이터를 기반으로 제1 영상을 분석하여 촬영된 영상 속에 표현된 제1 어린아이(o1)의 관절마다 포인트를 설정한다. First, the
이렇게 관절에 포인트가 설정된 제1 어린아이(o1)에 대한 제1 영상의 예시는 도 9에 도시되어 있다. 도 9는 본 발명에 따른 제1 장치(110)가 사용자를 촬영한 영상을 분석하여 사용자의 관절, 신체 부위 및 체형을 인식한 결과를 출력하는 예시를 나타낸 도면이다.An example of the first image of the first child o1 with points set on the joints in this way is shown in FIG. 9 . 9 is a diagram showing an example in which the
도 9를 참조하면, 디스플레이부(1900)는 제1 영역(Ⅰ)에 스켈레톤 포지션 데이터를 기반으로 관절마다 포인트가 설정된 제1 어린아이(o1)에 대한 제1 영상을 디스플레이 한다. 도 9에서 포인트가 설정된 제1 어린아이(o1)에 대한 제1 영상을 살펴보면, 제1 장치(110)는 제1 영상에서 표현된 제1 어린아이(o1)의 목(t8), 척추(t9), 어깨(t6, t7), 팔꿈치(t4, t5), 손목(t2, t3), 허리(t10), 고관절(t12, t13), 무릎(t14, t15), 발목(t16, t17)과 같은 관절 부위에 각각 t1 내지 t17에 해당하는 포인트를 설정하였다. 또한, 제1 장치(110)는 제1 어린아이(o1)를 촬영한 제1 영상에 t1 내지 t17에 해당하는 포인트를 오버랩(overlap)하여 그대로 디스플레이부(1900)의 제1 영역(Ⅰ)을 통해 디스플레이 한다.Referring to FIG. 9 , the
한편, 제1 장치(110)는 이상적인 체형 및 신체 부위 별 비율을 가진 가상의 사람에 대한 형상(ibs) 또는 이에 대한 가이드라인(ibs)을 t1 부터 t17의 포인트가 오버랩된 제1 영상의 백그라운드에 표시할 수 있다.Meanwhile, the
따라서, 제1 사용자인 제1 어린아이(o1)는 도 9에 도시된 바와 같이, 디스플레이부(1900)의 제1 영역에서 관절 별로 포인트가 설정된 자신의 모습과, 이상적인 체형 및 신체 부위 별 비율을 가진 가상의 사람에 대한 형상(ibs)을 비교하여, 자신의 현재 성장도를 직관적으로 확인할 수 있다.Therefore, as shown in FIG. 9 , the first child o1, the first user, displays his/her own figure with points set for each joint in the first area of the
한편, 본 발명에서 제1 장치(110)는 이상적인 체형 및 이상적인 신체 부위 별 비율을 일정 값이나 일정 범위 내의 수치로 미리 설정할 수 있다. 특히, 이상적인 신체 부위 별 비율은 관리자의 설정에 의해 제1 장치(110)의 생산 초기부터 미리 설정될 수 있으며, 예를 들어, 황금 비율인 1:1.618이 이상적인 신체 부위 별 비율을 나타내는 설정 값으로 설정될 수 있다. 만약, 제1 장치(110)가 이상적인 신체 부위 별 비율을 1:1.618로 설정할 경우, 디스플레이부(1900)의 제1 영역에 표시되는 가상의 사람에 대한 형상(ibs) 또는 이에 대한 가이드라인(ibs)은 '레오나르도 다 빈치'의 소묘 작품 '비트루비우스적 인간(Vitruvian Man)' 또는 ' 인체 비례도(Canon of Proportions)'에 묘사되는 인간의 형상과 동일한 형상일 수 있다.Meanwhile, in the present invention, the
하지만, 이는 어디까지나 예시에 불과하며, 제1 장치(110)에 설정된 이상적인 신체 부위 별 비율에 대한 설정 값은 언제든 변경이 가능하다. 예를 들어, 제1 장치(110)는 제1 어린아이(o1)를 촬영한 제1 영상을 분석하거나, 제1 어린아이(o1)에 대한 사용자 정보를 수집하여, 제1 어린아이(o1)의 성별과 연령을 인식할 수 있다. 그리고, 제1 장치(110)는 미리 저장된 소아청소년성장도표나 발육표준지에 기재된 연령 별 어린아이의 신장, 머리 둘래, 체중과 같은 데이터를 학습하여, 제1 어린아이(o1)에 해당되는 연령에서 이상적인 신체 부위 별 비율에 대한 설정 값을 산출할 수 있다. 또한, 이렇게 산출된 이상적인 신체 부위 별 비율에 대한 설정 값을 바탕으로 디스플레이부(1900)의 제1 영역에 표시되는 가상의 사람에 대한 형상(ibs) 또는 이에 대한 가이드라인(ibs)을 생성할 수 있다.However, this is merely an example, and the set value for the ratio of each ideal body part set in the
또한, 제1 장치(110)가 이상적인 신체 부위 별 비율에 따라 생성한 가상의 사람에 대한 형상(ibs) 또는 이에 대한 가이드라인(ibs)은 어디까지나 이상적인 수치를 가정하여 만든 것이므로, 제1 장치(110)가 생성한 가이드라인(ibs)보다 더 큰 어린아이들도 존재할 수 있다. 이러한 경우에도 제1 장치(110)는 가이드라인(ibs)을 넘어서는 어린아이의 신체 및 관절을 인식하고 포인트를 설정할 수 있다.In addition, since the shape (ibs) or guidelines (ibs) for a virtual person generated by the
다만, 가이드라인(ibs)이 형성하는 일정한 영역 내에서 어린아이의 신체 및 관절을 정확하게 인식할 수 있다는 것을 표현하기 위하여, 제1 장치(110)는 가이드라인(ibs)의 일부와 외접하도록 경계선(ra)을 디스플레이부(1900)의 제1 영역(Ⅰ)에 더 표시할 수 있다.However, in order to express that the child's body and joints can be accurately recognized within a certain area formed by the guideline (ibs), the
또한, 제1 장치(110)는 관절 별로 설정된 포인트들(t1 부터 t17)을 이용하여, 제1 어린아이(o1)의 신체 부위 별 길이와 신체 부위 별 비율을 산출한다. 예를 들어, 제1 어린아이(o1)의 나이는 3세이며, 신장이 100cm, 몸통인 동체(胴體)가 50cm, 머리 길이인 두장(頭長)이 30cm, 다리의 길이가 20cm라고 가정하면, 제1 장치(110)는 포인트 t8, t9, t10을 연결한 선의 길이로부터 제1 어린아이(o1)의 동체(胴體)의 길이를 산출할 수 있다. 또한, 제1 장치는 포인트 t12, t14, t16이나 포인트 t13, t15, t17을 연결한 선의 길이로부터 제1 어린아이(o1)의 다리 길이를 산출할 수 있다. 또한, 제1 장치(110)는 산출한 동체(胴體)의 길이를 다른 신체 부위 및 신장과 비교하여, 동체가 가지는 신체 부위 비율을 산출한다. 본 예시에서 제1 어린아이(o1)의 동체(胴體)는 그 외 다른 신체 부위에 대하여, 1:1.2의 비율을 가지게 된다. 또한, 본 예시에서 제1 어린아이(o1)의 다리는 그 외 다른 신체 부위에 대하여, 1:0.8의 비율을 가지게 된다.In addition, the
한편, 상술한 바와 같이, 본 발명에 따른 제1 장치(110)는 이상적인 신체 부위 별 비율에 대한 설정 값이 반드시 황금 비율인, 1:1.618로 설정되지 않아도 된다. 오히려, 제1 장치(110)는 제1 어린아이(o1)의 연령인 3세에서 보편적이거나 평균적으로 관찰될 수 있는 신장 및 신체 부위 별 비율을 이상적인 신체 부위 별 비율에 대한 설정 값으로 설정할 수 있다. 따라서, 위에서 언급한 예시에서, 제1 장치(110)는 1:1.2의 비율을 가진 동체에 대하여는 정상적인 신체 비율이라고 판단할 수 있으나, 1:0.8의 비율을 가지는 다리에 대하여는 성장이나 발육이 다소 부진하다고 판단할 수 있다. 제1 장치(110)는 제1 어린아이(o1)의 신체 비율을 판단한 결과에 따라, 제1 어린아이(o1)에게 필요한 운동, 음식, 자세, 습관 및 수면 패턴에 대한 가이드를 생성할 수 있다. 본 발명의 이러한 특징에 대하여는 관련된 부분에서 후술하기로 한다.On the other hand, as described above, in the
또한, 제1 장치(110)는 신체 부위 별 비율을 산출하고 이들에 대한 평균을 구하여, 전반적인 신체에 대한 현재 성장도를 그래프 또는 퍼센티지 수치로 산출할 수도 있다. In addition, the
도 9를 참조하면, 디스플레이부(1900)는 제2 영역(Ⅱ) 및 제3 영역(Ⅲ)에 각각 제1 어린아이(o1)의 전반적인 신체의 현재 성장도를 그래프(d1) 및 퍼센티지 수치(d2)로 나타내고 있는 것을 확인할 수 있다. 특히, 제2 영역(Ⅱ)은 제1 어린아이(o1)외 다른 어린아이들에 대한 전반적인 신체의 현재 성장도를 나타내는 그래프를 함께 표시하고 있으므로, 제1 어린아이(o1)는 다른 어린아이들의 현재 성장도와 자신의 현재 성장도를 직관적으로 쉽게 비교할 수 있다.Referring to FIG. 9 , the
다시 도 8을 참조하면, 본 발명에 따른 제1 장치(110)는 촬영부(1300)를 통하여, '축구 교실(P1)'의 실내에서 축구를 플레이 하고 있는 제2 어린 아이(o2)를 촬영할 수 있다. 제2 어린 아이(o2)는 제1 장치(110)를 사용하고자 하는 제1 사용자에 해당하며, 제1 장치(110)를 이용하여 자신(o2)의 플레이 스타일이나 자세를 관찰하고, 수정할 부분이 있는지 여부를 알고 싶어한다고 가정한다.Referring back to FIG. 8 , the
우선, 제1 장치(110)는 '축구 교실(P1)'의 실내에서 제1 장치(110) 앞에 서서 공을 차면서 플레이를 하고 있는 제2 어린 아이(o2)를 촬영하여 제1 영상을 생성한다. 그리고, 제1 장치(110)는 스켈레톤 포지션 데이터를 기반으로 제1 영상을 분석하여 촬영된 영상 속에 표현된 제2 어린아이(o2)의 관절마다 t1 부터 t17의 포인트를 설정한다.First, the
제1 장치(110)는 t1 부터 t17의 포인트들의 움직임 및 좌표 값 변화를 지속적으로 관찰, 기록 및 학습하여 제2 어린아이(o2)의 행동이 어떤 행동에 해당하는지 여부를 인식할 수 있다. 예를 들어, 제2 어린아이(o2)가 도 10에 도시된 바와 같이 축구공을 차면서 달리고 있을 경우, 제1 장치(110)는 제2 어린아이(o2)의 양 팔 관절에 설정한 포인트 t2 내지 t7과 양 다리 관절에 설정한 포인트 t12 내지 t17의 움직임 및 좌표 값 변화를 관찰하고 학습하여 제2 어린아이(o2)가 공을 차면서 달리고 있다고 인식할 수 있다.The
도 10은 본 발명에 따른 제1 장치가 공을 차며 달리고 있는 어린아이를 인식하고 달리는 자세에 대한 교정 가이드를 디스플레이부를 통해 제공하는 예를 나타내는 도면이다.10 is a diagram illustrating an example in which the first device according to the present invention recognizes a child running while kicking a ball and provides a correction guide for a running posture through a display unit.
한편, 제1 장치(110)가 도 10에 도시된 바와 같이, 포인트 t2 내지 t7 및 포인트 t12 내지 t17의 움직임과 좌표 값 변화에 따라 제2 어린아이(o2)가 공을 차면서 달리고 있다고 인식하면, 제1 장치(110)는 제2 어린아이(o2)가 현재 플레이 하고 있는 스포츠 종목이 축구라고 판단하고, 제2 어린아이(o2)의 플레이 스타일을 분석할 수 있다. On the other hand, as shown in FIG. 10 , when the
제1 장치(110)는 제2 어린아이(o2)의 플레이 스타일(play style)을 분석하기 위해, 제2 어린아이(o2)에게 설정된 t1 부터 t17의 포인트들의 움직임 및 좌표 값 변화를 관찰하여 제2 어린아이(o2)의 플레이 스타일에 대한 데이터를 생성하고, 이를 AI 모듈(1100)을 통해 학습할 수 있다.In order to analyze the play style of the second child o2, the
또한, 제1 장치(110)는 기존에 저장되어 있던 축구 플레이 스타일에 대한 데이터와 제2 어린아이(o2)의 플레이 스타일에 대한 데이터를 비교하여, 제2 어린아이(o2)의 플레이 스타일 및/또는 자세의 변경이 필요한지 여부를 판단할 수 있다. 여기서 '기존에 저장되어 있던 축구 플레이 스타일에 대한 데이터'란 상술한 예시에 등장하는 '축구 교실(p1)'에서 축구 강습에 관한 내용을 포함하는 사진이나 동영상 자료를 포함할 수 있다. 또한, 전문적인 선수가 축구를 플레이하는 영상도 '기존에 저장되어 있던 축구 플레이 스타일에 대한 데이터'에 포함될 수 있다.In addition, the
제1 장치(110)는 '기존에 저장되어 있던 축구 플레이 스타일에 대한 데이터'에서 선수의 움직임을 분석하기 위해, 스켈레톤 포지션 데이터를 기반으로 기존에 저장되어 있던 축구 플레이 스타일에 대한 데이터'에 표현된 선수의 관절마다 포인트들을 설정하고, 설정된 포인트들의 움직임 및 좌표 값 변화를 관찰하여 자세 교정 가이드(G1)를 생성할 수 있다. 그리고 이러한 자세 교정 가이드(G1)를 제1 영상에 오버랩하여 도 10에 도시된 바와 같이, 디스플레이부(1900)의 제1 영역(Ⅰ)을 통해 표시할 수 있다.The
따라서, 축구를 플레이하는 제2 어린아이(o2)는 운동이 종료된 후에, 디스플레이부(1900)에 표현되는 자신(o2)의 모습과 자신(o2)의 모습에 오버랩되어 표시되는 자세 교정 가이드(G1)를 직관적으로 확인하여, 추후 자신의 플레이 스타일 및/또는 공을 차고 달려가는 자세를 쉽게 수정할 수 있게 된다.Therefore, after the exercise is finished, the second child o2 playing soccer has a posture correction guide displayed overlapping the image of the child o2 expressed on the
이하에서는 도 11을 참조하여, 본 발명에 따른 제1 장치(110)가 수집한 제1 사용자에 대한 정보를 바탕으로 제1 사용자의 특징을 포함하는 아바타를 생성하는 실시 예에 대하여 설명한다. 도 11은 본 발명에 따른 제1 장치(110)가 제1 사용자에 대한 아바타를 생성하는 과정을 나타낸 도면이다. Hereinafter, with reference to FIG. 11 , an embodiment of generating an avatar including the characteristics of the first user based on the information about the first user collected by the
본 발명에 따른 제1 장치(110)는 촬영부(1300)를 통해 제1 사용자를 촬영하여 제1 영상을 생성하며, 동시에 사용자 관리부(1700)를 통해 제1 사용자에 대한 정보를 수집할 수 있다. 여기서, '제1 사용자에 대한 정보'란, 제1 사용자의 얼굴 이미지, 지문, 홍채, 음성과 같은 생체 인식 정보와 연령, 성별과 같은 개인 정보를 포함한다. 제1 사용자가 자신이 사용하는 제2 장치(120)에 제1 사용자의 얼굴 이미지를 등록할 경우, 제1 장치(110)는 제2 장치(120)로부터 제1 사용자의 얼굴 이미지를 전달받을 수 있다. 하지만, 제1 장치(110)는 제1 사용자를 촬영하고 제1 영상을 생성하면서, 제1 사용자의 얼굴을 인식함으로써, 제1 사용자의 얼굴 이미지를 획득할 수도 있다.The
또한, '제1 사용자에 대한 정보'는 제1 장치(110)에 어카운트(account)로 저장된 제1 사용자의 아이디나 패스워드 같은 계정 정보, 제1 사용자의 웹이나 소셜 네트워크 검색 이력을 포함한다. 제1 장치(110)는 사용자에 대한 정보를 계정 정보로 저장할 수 있다. 이 때, 제1 장치(110)는 제2 장치(120)로부터 제1 사용자가 제2 장치(120)를 통하여 웹이나 소셜 네트워크를 검색한 이력을 전달받을 수 있다.In addition, 'information on the first user' includes account information such as an ID or password of the first user stored as an account in the
또한, '제1 사용자에 대한 정보'는 촬영부(1300)가 촬영한 제1 영상 및 제1 사용자의 현재 위치 정보를 포함한다. 이 때, 제1 장치(110)는 제2 장치(120)의 위치 정보를 수신하여, 제2 장치(120)를 휴대하는 제1 사용자의 위치 정보를 간접적으로 파악할 수 있다.Also, 'information on the first user' includes the first image captured by the photographing
한편, 제1 장치(110)는 이렇게 수집한 '제1 사용자에 대한 정보'중 제1 사용자의 얼굴에 대한 이미지를 인식하거나, 촬영부(1300)를 통해 인식된 제1 사용자의 얼굴 이미지를 바탕으로 제1 사용자의 얼굴에 대한 특징 맵(feature map)을 생성할 수 있다. On the other hand, the
예를 들어, 도 11에 도시된 예시를 참조하면, 제1 장치(110)는 촬영부(1300)를 통해 제3 어린아이(o3)를 촬영한 제1 영상(im3)을 생성한다. 이 때, 촬영부(1300)는 제1 영상에서 제3 어린아이(o3)의 얼굴이 표현된 영역을 인식하고, 제3 어린아이(o3)의 얼굴이 표현된 영역을 관심 영역(ROI-b)으로 설정한다.For example, referring to the example shown in FIG. 11 , the
한편, 영상 처리부(1400)는 관심 영역(ROI-b)이 설정된 제1 영상(im3)으로부터 제3 어린아이(o3)의 얼굴에 대한 특징을 추출하고, 이를 AI 모듈(1100)을 통해 학습하여 제3 어린아이(o3)의 얼굴에 대한 특징 맵을 생성한다.Meanwhile, the
이후, 가상 영상 처리부(1401)에서는 제3 어린아이(o3)의 얼굴에 대한 특징 맵을 바탕으로 아바타(avatar)(AC)를 생성한다. 이때, 가상 영상 처리부(1401)는 아바타(AC)의 생성을 위한 그래픽 유저 인터페이스(IE)를 디스플레이부(1900)를 통해 출력하여, 제3 어린아이(o3)가 아바타(AC) 생성에 함께 동참하도록 유도할 수도 있다. 제3 어린아이(o3)는 디스플레이부(1900)에 출력되는 그래픽 유저 인터페이스(IE)를 통해, 생성될 아바타의 얼굴 형태, 눈과 눈썹 모양, 코와 입술의 크기 및 색깔, 귀의 크기와 모양 등을 다양하게 변경할 수 있다. 그리고, 완성된 제3 어린아이(o3)의 아바타(AC)는 디스플레이부(1900)를 통해 출력된다.Thereafter, the virtual
한편, 완성된 제1 사용자인 제3 어린아이(o3)에 대한 아바타는 제1 장치(110)에 포함된 복합 영상 처리부(1402)를 통해, 제1 영상 및/또는 제1 영상 외 다른 영상과 합성될 수도 있다. On the other hand, the completed avatar for the third child o3, the first user, is created through the composite
도 12를 참조하여 제1 사용자의 아바타를 다른 영상과 합성하는 실시 예에 대하여 설명하도록 한다. 도 12는 본 발명에 따른 제1 장치(110)가 제1 사용자에 대해 생성된 아바타를 제1 영상 이외에 다른 영상에 합성하는 사례를 나타낸 도면이다.An embodiment in which an avatar of a first user is synthesized with another image will be described with reference to FIG. 12 . 12 is a diagram illustrating a case in which the
우선, 도 12에 도시된 사례에서 '다른 영상'은 프로 축구 선수가 세레모니하는 영상(SC)이라고 가정한다. 또한, '프로 축구 선수가 세레모니하는 영상(SC)'은 제1 장치(110)가 제3 어린아이(o3)의 선호도를 분석한 결과에 따라, 웹에서 수집한 영상이라고 가정한다. 그리고, 제3 어린아이(o3)의 특징을 포함하는 아바타(AC)는 도 11에 도시된 바와 같이 이미 생성되어 있다고 가정한다.First, in the case shown in FIG. 12 , it is assumed that 'another image' is an image (SC) of a professional soccer player celebrating. In addition, it is assumed that the 'image SC of a professional soccer player' is an image collected from the web according to the result of the
도 12를 참조하면, 제1 장치(110)는 '프로 축구 선수가 세레모니하는 영상(SC)'에 제3 어린아이(o3)의 아바타(AC)를 합성할 수 있다. 복합 영상 처리부(1402)는 가상 영상 처리부(1401)에서 생성된 제3 어린아이(o3)의 아바타(AC)를 '프로 축구 선수가 세레모니하는 영상(SC)'에 합성할 수 있다. 예를 들어, 도 12에 도시된 바와 같이, 가상 영상 처리부(1401)가 제3 어린아이(o3)의 아바타(AC)를 생성하면, 복합 영상 처리부(1402)는 이를 '프로 축구 선수가 세레모니하는 영상(SC)' 속에서 적절한 영역을 선택하여 합성할 수 있다. 복합 영상 처리부(1402)는 적절한 영역을 선택하기 위해서, '프로 축구 선수가 세레모니하는 영상(SC)'의 화질이나 크기 및 아바타(AC)의 표현 크기를 고려할 수 있다. 또한, 복합 영상 처리부(1402)는 '프로 축구 선수가 세레모니하는 영상(SC)'을 AI 모듈(1100)을 통해 학습하여, 프로 축구 선수가 위치한 필드 영역과 관중이 배치된 영역을 각각 인식할 수도 있다. 그리고, 복합 영상 처리부(1402)는 아바타(AC)가 필드 영역 및 관중이 배치된 영역 중 어떤 영역에 합성되는 것이 자연스러운지를 판단하여, 아바타(AC)를 '프로 축구 선수가 세레모니하는 영상(SC)'에 합성할 수 있다.Referring to FIG. 12 , the
또한, 제1 장치(110)는 아바타(AC)가 '프로 축구 선수가 세레모니하는 영상(SC)'에 합성되면, 아바타(AC)가 해당 영상 속에 포함된 다른 피사체에 대하여 인터렉션 하도록 제어할 수도 있다. 예를 들어, '프로 축구 선수가 세레모니하는 영상(SC)'에 원래 포함되어 있던 관중(B)은 두 손을 위로 들고 환호하는 행동을 하고 있었다고 가정한다. 이 경우, 제1 장치(110)는 아바타(AC)가 관중(B)와 동일하거나 유사한 행동을 하도록 제어할 수 있다. 또한, 제1 장치(110)는 아바타(AC)가 관중(B) 뿐만 아니라, 영상(SC)에서 묘사되거나 표시되고 있는 '프로 축구 선수'와도 인터렉션 하도록 제어할 수도 있다. 예를 들어, 제1 장치(110)는 '프로 축구 선수가 세레모니하는 영상(SC)'에 원래 포함되어 있던 선수와 동일하거나 유사한 행동을 하도록 아바타(AC)를 제어할 수 있다.In addition, when the avatar AC is combined with the 'image SC of a professional soccer player celebrating', the
이와 같이, 제1 장치(110)는 제1 사용자의 특징을 본 뜬 아바타를 생성하여 제1 사용자가 선호하는 선수에 대한 영상에 합성하고 이를 제1 사용자에게 보여주므로써, 제1 사용자가 적극적으로 제1 장치(110)를 사용하도록 유도한다. 또한, 제1 사용자는 자신이 선호하는 선수에 대한 영상에 자신과 유사한 아바타가 합성되므로, 가상 체험을 하는 듯한 느낌을 받을 수도 있다.In this way, the
이하에서는, 도 13 내지 도 16을 참조하여, 본 발명에 따른 헬스 케어 장치(110)를 사용하여 유소년에게 헬스 케어 서비스를 제공하는 방법에 대하여 설명한다. 한편, 본 발명에 따른 헬스 케어 장치(110)를 사용하여 유소년에게 헬스 케어 서비스를 제공하는 방법을 설명함에 있어서, 도 6과 관련하여 상술된 제1 장치(110)와 동일한 구성에 대해서는 구체적인 설명을 생략할 수 있다. Hereinafter, with reference to FIGS. 13 to 16 , a method of providing a health care service to youth using the
도 13은 본 발명에 따른 헬스 케어 장치(110)를 사용하여 유소년에게 헬스 케어 서비스를 제공하는 방법을 나타낸 순서도이다.13 is a flowchart illustrating a method of providing a health care service to youth using the
우선, 본 실시 예에 따른 헬스 케어 장치(110)는 도 6에서 설명된 제1 장치(110)와 동일한 장치이며, 제1 장치(110)는 체육관과 같이 어린아이가 운동을 하고 뛰어놀 수 있는 공간에 설치되어 있다고 가정한다.First of all, the
도 13을 참조하면, 헬스 케어 장치(110)인 제1 장치(110)는 전원이 켜짐에 따라 작동을 시작하고, 촬영부(1300)를 사용하여 제1 장치(110)의 전면부에 있는 사용자를 촬영할 수 있다. 여기서 사용자라 함은 제1 장치(110)를 통해 현재 성장도를 확인하고 운동 자세를 교정하고 싶은 어린아이들을 포함한다.Referring to FIG. 13 , the
제1 장치(110)는 촬영부(1300)를 통해 사용자를 촬영하며, 사용자에 대한 제1 영상을 생성한다(S101). 그리고, 제1 장치(110)는 기존에 저장되어 있는 스켈레톤 포지션 데이터를 바탕으로 제1 영상을 분석하여 사용자의 각 신체 부위와 관절을 인식한다(S102).The
제1 장치(110)는 도 9에 도시된 바와 같이, 인식된 사용자의 관절들에 각각 포인트(t1 내지 t17)를 설정하며(S103), 설정된 포인트(t1 내지 t17)를 사용하여 사용자의 키, 몸무게, 근육량, 체지방, 체형을 포함하는 현재 성장도를 산출한다(S104). 또한, 제1 장치(110)는 설정된 포인트(t1 내지 t17)를 사용하여 각 신체 부위 별 길이와 각 신체 부위의 길이를 상호 비교한 결과인 신체 부위 별 비율을 산출한다(S104).As shown in FIG. 9, the
제1 장치(110)는 산출된 현재 성장도와 신체 부위 별 비율을 AI 모듈(1100)을 통해 기계 학습하여 사용자의 성장 특징을 추출한다(S105). 그리고, S105 단계에서 수행된 기계 학습의 학습 결과 데이터를 바탕으로 사용자의 미래 성장률을 산출한다(S106). 또한, 제1 장치(110)는 사용자 관리부(1700)를 통해 수집되는 사용자의 수면 패턴, 식습관, 선호하는 운동, 활동 시간 및 칼로리 소모량을 포함하는 사용자에 대한 정보를 현재 성장도 및 신체 부위 별 비율 함께 기계 학습하여, 좀 더 정확하게 사용자의 미래 성장률을 예측할 수 있다(S106).The
제1 장치(110)는 S106 단계에서 산출된 미래 성장률을 현재 성장도 및 신체 부위 별 비율과 함께, 디스플레이부(1900)를 통하여 출력한다(S107). 디스플레이부(1900)에서 출력되는 현재 성장도 및 신체 부위 별 비율의 예시는 도 9에 도시된 예시를 참조할 수 있다.The
한편, 도 13에 도시된 S101 단계는 사용자에 대한 촬영 및 제1 영상을 생성하는 것 이외에 사용자에 대한 정보를 수집하고 이를 바탕으로 아바타를 생성하는 단계들을 더 포함할 수 있다. 따라서, 이하에서는 도 14를 참조하여, 본 발명에 따른 제1 장치(110)가 사용자의 아바타를 생성하는 과정을 설명한다. 도 14는 본 발명에 따른 제1 장치가 사용자의 아바타를 생성하는 과정을 나타낸 순서도이다.Meanwhile, step S101 shown in FIG. 13 may further include steps of collecting information about the user and generating an avatar based on it, in addition to photographing the user and generating the first image. Accordingly, a process of generating a user's avatar by the
도 14를 참조하면, S101 단계는 제1 장치(110)가 사용자에 대한 정보를 수집하는 단계(S1011)를 더 포함한다. 즉, 제1 장치(110)는 사용자 관리부(1700)를 통해 사용자에 대한 정보를 수집할 수 있으며, 여기서 '사용자'란 앞서 언급한 바와 같이, 제1 장치(110)를 사용하고자 하는 어린아이 및 제1 장치(110)를 사용한 이력이 있는 어린아이를 의미한다. 또한, '사용자에 대한 정보'는 사용자의 얼굴, 지문, 홍채, 음성과 같은 생체 인식 정보와 연령, 성별과 같은 개인 정보 및 제1 장치(110)에 어카운트(account)로 저장된 사용자의 아이디나 패스워드 같은 계정 정보를 모두 포함한다. 또한, 사용자에 대한 정보는 제1 사용자가 웹이나 소셜 네트워크를 검색한 이력과 영상 및 사용자의 현재 위치 정보도 포함할 수 있다.Referring to FIG. 14 , step S101 further includes a step S1011 in which the
한편, S1011 단계 이후, 제1 장치(110)는 '사용자에 대한 정보'에 포함되어 있는 사용자의 얼굴 이미지를 인식하고, 이로부터 사용자의 얼굴 특징을 추출할 수 있다(S1012). 또한, 제1 장치(110)는 사용자의 얼굴 이미지로부터 추출한 특징을 사용하여 사용자의 얼굴에 대한 특징 맵(feature map)을 생성할 수 있고(S1012), 이러한 특징 맵을 AI 모듈(1100)을 통해 기계 학습하여(S1013), 사용자의 얼굴에 대한 특징을 인식할 수 있다.Meanwhile, after step S1011, the
S1013 단계에서 사용자의 얼굴에 대한 특징 맵의 학습이 완료되면, 제1 장치(110)는 가상 영상 처리부(1401)를 사용하여, 특징 맵을 기계 학습한 결과를 바탕으로 사용자에 대한 아바타(avatar)를 생성한다(S1014). 사용자의 아바타가 생성되는 과정은 도 11에 도시된 예시를 통해서도 확인할 수 있다.When the learning of the feature map for the user's face is completed in step S1013, the
또한, S1014 단계에서 생성된 사용자의 아바타는 복합 영상 처리부(1402)에서 다른 영상과 합성될 수 있다(S1015). 여기에서 의미하는 '다른 영상'이란 상술한 바와 같이, 사용자가 선호하는 스포츠 종목의 경기 영상 또는 해당 종목의 유명 선수에 대한 영상을 포함하며, 사용자의 선호도는 상술한 사용자에 대한 정보를 AI 모듈(1100)이 기계 학습하여 인식할 수 있다.In addition, the user's avatar generated in step S1014 may be synthesized with other images in the composite image processing unit 1402 (S1015). As described above, the 'other video' meant here includes a game video of a sport event that the user prefers or a video of a famous player in the event, and the user's preference is the AI module ( 1100) can be recognized by machine learning.
또한, 제1 장치(110)는 '다른 영상'에 사용자의 아바타가 합성된 경우, 아바타가 해당 영상 속에서 다른 객체 또는 피사체와 인터렉션 하도록 제어할 수도 있다(S1016).In addition, when the user's avatar is synthesized with 'another image', the
한편, 도 13에 도시된 S103 단계는 사용자가 현재 플레이 중인 운동 종목과 자세를 인식하여, 사용자에게 제공할 자세 교정 가이드를 생성하는 단계들을 더 포함할 수 있다. 따라서, 이하에서는 도 15를 참조하여, 본 발명에 따른 제1 장치(110)가 사용자의 플레이 스타일을 인식하고, 자세를 교정하기 위한 자세 교정 가이드를 생성하는 방법에 대하여 설명한다. 도 15는 본 발명에 따른 제1 장치가 자세 교정 가이드를 생성하는 과정을 나타낸 순서도이다.Meanwhile, step S103 shown in FIG. 13 may further include steps of recognizing an exercise event and posture that the user is currently playing and generating a posture correction guide to be provided to the user. Therefore, hereinafter, referring to FIG. 15 , a method for the
도 15를 참조하면, 인식된 상기 사용자의 관절 별로 포인트를 설정하는 S103 단계는, 제1 장치(110)가 제1 영상에 표현된 포인트의 이동 및 좌표 변화를 분석하여 사용자가 현재 플레이 중인 운동 종목 및 자세를 인식하는 단계(S1031)를 더 포함한다.Referring to FIG. 15 , in step S103 of setting points for each joint of the user that is recognized, the
즉, 제1 장치(110)는 도 9에 도시된 바와 같이, 제1 영상에서 사용자의 관절마다 포인트를 설정하였다. 이러한 포인트들은 사용자가 행동을 취하거나 움직임에 따라 이동하거나 그 좌표 값이 변하게 된다. 따라서, 제1 장치(110)는 이렇게 사용자의 관절에 설정된 포인트들의 이동이나 좌표 값 변화를 감지하여, 사용자가 현재 무슨 운동을 하고 있는지를 인식할 수 있다(S1031). 또한, 제1 장치(110)는 사용자의 관절에 설정된 포인트들의 이동이나 좌표 값 변화를 감지하여 사용자가 운동을 수행할 때, 취하는 자세도 인식할 수 있다(S1031).That is, as shown in FIG. 9 , the
S1031 단계에서 사용자가 무슨 운동을 하는지를 제1 장치(110)가 인식하면, 제1 장치(110)는 사용자의 자세를 분석하여 해당 운동에서 사용자의 플레이 스타일 데이터를 생성한다(S1032). 이러한 플레이 스타일은 사용자의 운동 자세가 포함되어 있다. 예를 들어, 도 10에 도시된 바와 같이, 사용자가 축구를 플레이하고 있음을 인식하면, 제1 장치(110)는 사용자가 축구공을 드리블하는 자세를 분석하여, 사용자의 드리블 플레이에 대한 플레이 스타일 데이터를 생성할 수 있다.When the
그리고, 제1 장치(110)는 기존에 저장된 드리블 플레이 스타일 데이터와 사용자의 드리블 플레이 스타일 데이터를 비교할 수 있다(S1033). 여기서 기존에 저장된 플레이 스타일은 플레이를 올바르게 수행하기 위해, 강사나 선수가 시범으로 보여주는 자세들을 포함한다. 따라서, 상술한 드리블 플레이를 예로 들면, 제1 장치(110)는 강사나 선수가 드리블을 실제로 수행한 영상을 촬영하여, 강사나 선수의 관절에 포인트를 설정하고, 이 포인트들의 움직임을 바탕으로 미리 저장된 플레이 스타일을 생성할 수 있다. 그리고, 제1 장치(110)는 이렇게 미리 저장된 플레이 스타일을 사용자에 대하여 생성된 플레이 스타일과 비교하여(S1033), 사용자의 자세를 수정할 필요가 있는지 여부를 판단할 수 있다.In addition, the
제1 장치(110)는 S1033 단계에서 사용자의 자세가 수정될 필요가 있다고 판단한 경우, 사용자의 플레이 스타일을 교정하기 위한 자세 교정 가이드 G1를 생성하고(S1034), 이러한 자세 교정 가이드 G1에 대한 예시는 도 10에 도시된 G1을 참고할 수 있다.When it is determined that the user's posture needs to be corrected in step S1033, the
한편, 제1 장치(110)는 포인트들의 이동이나 변화가 있는지 여부를 지속적으로 확인하여, 포인트들의 이동이나 변화가 없으면 사용자의 운동이 종료되었다고 판단하고(S1035), 사용자가 운동한 시간, 스포츠를 플레이한 시간 및 해당 시간 동안 소모한 칼로리를 산출한다(S1036). 산출된 운동 시간 및 칼로리는 디스플레이부(1900)를 통해 출력될 수 있다.Meanwhile, the
한편, 도 13에 도시된 S106 단계는 산출된 사용자의 현재 성장도 및 신체 부위 별 비율에 따라, 사용자에게 추천할 식단, 운동 종목 및 자세 중 적어도 하나 이상을 선택하는 단계들을 더 포함할 수 있다. 따라서, 이하에서는 도 16을 참조하여, 본 발명에 따른 제1 장치(110)가 사용자의 신체 부위 별 비율에 따라 사용자에게 운동이나 식단을 추천하는 방법에 대하여 설명한다. 도 16은 본 발명에 따른 제1 장치가 사용자에게 운동이나 식단을 추천하는 방법을 나타내는 순서도이다.Meanwhile, step S106 shown in FIG. 13 may further include steps of selecting at least one or more of a diet, exercise event, and posture to be recommended to the user according to the calculated current growth rate of the user and the ratio for each body part. Accordingly, a method of recommending exercise or diet to the user according to the ratio of each body part of the user by the
도 16을 참조하면, S106 단계는, S104 단계에서 산출된 사용자의 현재 성장도 및 신체 부위 별 비율에 따라 사용자의 성장 및 발달에 있어 필요한 식단 및/또는 운동을 선택하는 단계(S1061)를 더 포함한다. 즉, 사용자에게 설정된 포인트들을 분석하여 사용자의 현재 성장도 및 신체 부위 별 비율을 산출하면, 제1 장치(110)는 사용자의 현재 성장도 및 신체 부위 별 비율이 정상적인 범위에 포함되는지 여부를 판단할 수 있다. 또한, 제1 장치(110)가 사용자의 현재 성장률 및 신체 부위 별 비율이 정상적인 범위에 포함되지 않는다고 판단하면, 제1 장치(110)는 산출된 신체 부위 별 비율 데이터를 사용하여, 사용자의 신체 중에서 미성숙한 신체 부위 및/또는 골격이나 형태가 불완전하거나 이상한 신체 부위를 인식할 수 있다.Referring to FIG. 16 , step S106 further includes a step (S1061) of selecting a diet and/or exercise necessary for the user's growth and development according to the user's current growth rate and the ratio for each body part calculated in step S104. do. That is, if the user's current growth rate and the ratio for each body part are calculated by analyzing the points set for the user, the
이후, 제1 장치(110)는 미성숙한 신체 부위의 성장을 촉진하거나 골격이나 형태가 불완전하거나 이상한 신체 부위를 교정하기 위한, 체형 교정 가이드를 생성할 수 있으며(S1062), 이러한 체형 교정 가이드는 앞서 상술한 운동 자세 교정 가이드(G1)와 유사하게 생성될 수 있다. 또한, 제1 장치(110)는 사용자에게 체형을 교정하기 위해 필요한 스트레칭이나 운동을 소개하는 추천 메시지를 생성할 수도 있다.Thereafter, the
한편, 제1 장치(110)는 도 16에 도시된 바와 같이, S104 단계에서 산출된 사용자의 현재 성장도 및 신체 부위 별 비율이 일정 값에 미만인지 여부를 확인할 수 있다(S1063). 여기서 '일정 값'이란, 연령 별 정상 범위에 해당하는 현재 성장도 및 신체 부위 별 비율을 나타내는 기준 값 또는 수치 기준 범위를 포함한다. 또한, 연령 별 정상 범위에 해당하는 현재 성장도 및 신체 부위 별 비율을 나타내는 기준 값 또는 수치 기준 범위는 소아청소년성장도표, 황금 비율, 관리자의 설정에 의해 달라질 수 있다.Meanwhile, as shown in FIG. 16 , the
한편, S1063 단계에서, 제1 장치(110)가 사용자의 현재 성장도 및 신체 부위 별 비율이 일정 값보다 미만이라고 판단한 경우(S1063), 제1 장치(110)는 사용자의 키 성장, 신체 부위 성장, 체형 교정에 도움이 되는 스트레칭, 농구, 수영 등을 포함하는 제1 운동 가이드를 생성할 수 있다(S1064). 이러한 제1 운동 가이드는 사용자에 대한 추천 메시지나 알림 형태로 제1 장치(110)의 디스플레이부(1900)를 통해 직접 출력되며, 사용자가 사용하는 단말인 제2 장치(120)를 통해서도 출력될 수 있다.Meanwhile, in step S1063, when the
한편, S1063 단계에서, 제1 장치(110)가 사용자의 현재 성장도 및 신체 부위 별 비율이 일정 값을 초과한다고 판단한 경우(S1063), 제1 장치(110)는 근력이나 근육 성장에 도움이 되는 웨이트 트레이닝, 축구, 단거리 달리기 등을 포함하는 제2 운동 가이드를 생성할 수 있다(S1065). 이러한 제2 운동 가이드는 사용자에 대한 추천 메시지나 알림 형태로 제1 장치(110)의 디스플레이부(1900)를 통해 직접 출력되며, 사용자가 사용하는 단말인 제2 장치(120)를 통해서도 출력될 수 있다.On the other hand, in step S1063, when the
이와 같이, 본 발명에 따른 유소년 헬스 케어 장치, 시스템 및 방법은 어린아이마다 체형, 현재 성장도 및 신체 부위 별 비율을 측정하여, 개별적으로 현재 성장 진행 상태를 파악할 수 있으며, 개개인마다 성장이 필요한 신체 부위가 다른 경우에도, 맞춤형 체형, 자세 교정 가이드를 제공하고, 추천 식단 및 운동에 대한 정보를 제공할 수 있다.As such, the youth health care device, system, and method according to the present invention measure the body shape, current growth rate, and ratio of each body part for each child to determine the current growth progress individually, and the body that needs growth for each individual Even if the body part is different, customized body shape and posture correction guides can be provided, and information on recommended diet and exercise can be provided.
또한, 본 발명에 따른 유소년의 헬스 케어를 위한 장치, 시스템 및 방법은 운동 중인 어린아이의 자세를 분석하여, 어린아이가 올바른 자세로 운동할 수 있도록 자세 교정 가이드를 자동으로 제공하므로, 스포츠 관련 교육 서비스를 제공하기 위해 필요한 인력, 시간, 노력, 비용을 모두 절감할 수 있다.In addition, the apparatus, system, and method for health care for youth according to the present invention analyze the posture of the child during exercise and automatically provide a posture correction guide so that the child can exercise in the correct posture, thereby providing sports-related education. All of the manpower, time, effort, and cost required to provide the service can be reduced.
더욱이, 본 발명에 따른 유소년 헬스 케어 장치, 시스템 및 방법은 어린아이들이 주로 이용하는 체육관이나 축구 교실, 야구장, 수영장과 같은 체육 시설에 배치되어 사용될 수 있으므로 그 효용이 높으며, 해당 시설을 이용하는 어린아이들의 위치를 자동으로 파악하여 보호자에게 제공하므로, 어린아이들이 안전하게 해당 시설을 이용할 수 있도록 한다.Moreover, the youth health care device, system, and method according to the present invention are highly effective because they can be placed and used in sports facilities such as gyms, soccer classes, baseball fields, and swimming pools mainly used by children, and Since the location is automatically identified and provided to the guardian, children can safely use the facility.
본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀 질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The present invention can be implemented as computer readable code on a medium on which a program is recorded. A computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. , and also includes those implemented in the form of a carrier wave (eg, transmission over the Internet). Accordingly, the above detailed description should not be construed as limiting in all respects and should be considered illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.
110: 헬스 케어 장치
120: 유소년이 사용하는 사용자 단말(웨어러블 디바이스 포함)
130: 유소년의 보호자들이 사용하는 사용자 단말
140: 데이터베이스
260: 클라우드 서버110: health care device
120: User terminals used by youth (including wearable devices)
130: User terminal used by guardians of youth
140: database
260: cloud server
Claims (20)
상기 제1 영상을 다른 영상들과 합성할 수 있는 영상 처리부;
상기 제1 영상을 분석하여 상기 사용자의 신체 부위 별 비율 및 현재 성장도를 산출하고, 상기 사용자의 미래 성장률을 예측할 수 있는 건강 상태 분석부;
상기 사용자에 대한 정보를 저장하고 관리하는 사용자 관리부;
상기 신체 부위 별 비율, 현재 성장도 및 상기 사용자에 대한 정보를 학습데이터로 하여 기계 학습하는 기계 학습부; 및
상기 건강 상태 분석부로부터 상기 신체 부위 별 비율, 상기 현재 성장도 및 상기 미래 성장률을 제공받아 표시하는 디스플레이부를 포함하며,
상기 기계 학습부는,
상기 학습 데이터를 기계 학습하여 상기 미래 성장률에 대한 예측값이 상기 기계 학습부 내부의 신경망 모델의 평가 데이터에 설정된 오류 범위의 개수 또는 비율의 임계치를 초과하는지 여부를 판단하여, 상기 미래 성장률에 대한 예측값이 정확한지 여부에 대해 상기 건강 상태 분석부에 피드백을 주고, 상기 사용자가 선호하는 스포츠 종목 및 운동 선수를 출력값으로 출력하며,
상기 사용자에 대한 정보는,
상기 사용자의 얼굴, 지문, 홍채, 음성과 같은 생체 인식 정보와 연령, 성별과 같은 개인 정보, 저장된 상기 사용자의 아이디나 패스워드 같은 계정 정보, 상기 사용자의 웹이나 소셜 네트워크 검색 이력, 상기 제1 영상 및 상기 사용자의 현재 위치 정보를 포함하는, 헬스 케어 장치.
a photographing unit capable of capturing a user and generating a first image of the user;
an image processor capable of synthesizing the first image with other images;
a health state analyzer capable of analyzing the first image to calculate a ratio and a current growth rate for each body part of the user, and predicting a future growth rate of the user;
a user management unit that stores and manages information about the user;
a machine learning unit for machine learning using the ratio of each body part, the current growth rate, and information about the user as learning data; and
A display unit receiving and displaying the ratio of each body part, the current growth rate, and the future growth rate from the health state analysis unit;
The machine learning unit,
By machine learning the learning data, it is determined whether the predicted value for the future growth rate exceeds the threshold value of the number or ratio of error ranges set in the evaluation data of the neural network model in the machine learning unit, so that the predicted value for the future growth rate is Gives feedback to the health state analysis unit as to whether or not it is accurate, and outputs the user's preferred sport event and athlete as an output value;
Information about the user,
Biometric information such as the user's face, fingerprint, iris, and voice, personal information such as age and gender, stored account information such as the user's ID or password, the user's web or social network search history, the first image and A health care device including current location information of the user.
상기 촬영부는,
상기 사용자로부터 반사되는 빛을 센싱하는 적어도 하나 이상의 RGB 뎁스 센서(RGB-D sensor);
상기 사용자에게 픽셀 단위의 복수의 적외선들을 방출하는 적외선 방출기(IR Emitter); 및
상기 복수의 적외선들 중 상기 사용자에 의해 반사되는 적외선을 인식하는 적외선 뎁스 센서(IR Depth sensor)를 더 포함하고,
상기 사용자를 촬영하여 상기 RGB 뎁스 센서로부터 생성된 컬러 정보, 상기 적외선 뎁스 센서로부터 생성된 깊이 정보 및 상기 사용자와 그 주변에 대하여 생성된 다수의 레이어들을 가지는 3차원 백그라운드 모델을 입체적으로 렌더링하여 상기 제1 영상을 생성하는, 헬스 케어 장치.
The method of claim 1,
the filming unit,
at least one RGB-D sensor for sensing light reflected from the user;
an infrared emitter (IR Emitter) that emits a plurality of infrared rays in pixel units to the user; and
Further comprising an IR depth sensor for recognizing infrared rays reflected by the user among the plurality of infrared rays,
By photographing the user and rendering a three-dimensional background model having color information generated from the RGB depth sensor, depth information generated from the infrared depth sensor, and a plurality of layers generated for the user and its surroundings, the first 1 A health care device that generates images.
상기 건강 상태 분석부는,
상기 제1 영상을 분석하여 상기 사용자의 체형, 각 신체 부위 및 관절을 인식하는 체형 분석부;
상기 제1 영상을 분석하여 상기 사용자가 현재 플레이 중인 운동 종목 및 자세를 인식하고, 상기 사용자가 운동에 소요한 시간 및 칼로리를 산출하는 운동 데이터 분석부;
미리 저장된 소아청소년성장테이블, 상기 신체 부위 별 비율 및 상기 사용자에 대한 정보를 함께 분석하여 상기 사용자의 현재 성장도를 산출하고 상기 사용자의 미래 성장률을 예측하는 성장 예측부를 더 포함하며,
상기 체형 분석부는,
상기 관절의 위치 및 산출된 상기 신체 부위 별 비율에 대한 데이터를 바탕으로 상기 사용자의 체형을 판단하여, 판단 결과에 따라 체형 교정 가이드를 산출하고,
상기 운동 데이터 분석부는,
상기 사용자에 대한 정보를 분석하여 상기 사용자가 선호하는 운동 종목과 해당 종목에서 선호하는 선수를 인식하는, 헬스 케어 장치.
The method of claim 2,
The health condition analysis unit,
a body shape analyzer configured to recognize the user's body shape, each body part, and joints by analyzing the first image;
an exercise data analyzer configured to analyze the first image to recognize an exercise event and posture that the user is currently playing, and to calculate time and calories required for the user's exercise;
Further comprising a growth predictor for calculating a current growth rate of the user and predicting a future growth rate of the user by analyzing a pre-stored child/adolescent growth table, a ratio for each body part, and information about the user,
The body shape analysis unit,
The body shape of the user is determined based on the data on the location of the joint and the calculated ratio of each body part, and a body shape correction guide is calculated according to the determination result;
The exercise data analysis unit,
A health care device that analyzes information about the user and recognizes the user's preferred sports event and preferred player in the corresponding event.
상기 운동 데이터 분석부는,
상기 신체 부위 별 비율이 일정 값보다 미만인 경우, 키 성장을 유도하는 가이드를 포함하는 제1 운동 가이드를 생성하고,
상기 신체 부위 별 비율이 일정 값을 초과하는 경우, 근력 운동들에 대한 가이드를 포함하는 제2 운동 가이드를 생성하는, 헬스 케어 장치.
The method of claim 3,
The exercise data analysis unit,
When the ratio for each body part is less than a predetermined value, generating a first exercise guide including a guide for inducing height growth;
The health care device, which generates a second exercise guide including a guide for strength exercises when the ratio for each body part exceeds a predetermined value.
상기 운동 데이터 분석부는,
상기 사용자가 현재 플레이 중인 운동 종목 및 자세를 분석하여 자세 교정 가이드를 상기 디스플레이부를 통해 출력하는, 헬스 케어 장치.
The method of claim 3,
The exercise data analysis unit,
A health care device that analyzes an exercise item and posture currently being played by the user and outputs a posture correction guide through the display unit.
상기 건강 상태 분석부는,
상기 사용자에 대한 정보를 분석하여 상기 사용자가 섭취한 음식의 종류 및 칼로리를 산출할 수 있는 식단 분석부; 및
상기 사용자에 대한 정보를 분석하여 상기 사용자가 수면한 시간 및 수면 패턴을 산출하는 수면 패턴 분석부를 더 포함하며,
상기 사용자에 대한 정보는,
상기 사용자 또는 상기 사용자 외 다른 사용자로부터 상기 사용자 관리부로 입력된 상기 사용자가 섭취한 음식 및 상기 사용자의 수면 시간에 대한 정보를 포함하는, 헬스 케어 장치.
The method of claim 3,
The health condition analysis unit,
a diet analyzer capable of analyzing information about the user and calculating the type of food and calories consumed by the user; and
A sleep pattern analyzer configured to analyze information about the user and calculate a sleep time and a sleep pattern of the user;
Information about the user,
The health care device comprising information about food eaten by the user and sleep time of the user input from the user or a user other than the user to the user management unit.
상기 영상 처리부는,
생성된 상기 제1 영상에 합성될 가상의 그래픽 이미지를 생성하는 가상 영상 처리부; 및
상기 가상 영상 처리부에서 생성된 상기 그래픽 이미지를 상기 제1 영상에 합성하는 복합 영상 처리부를 더 포함하며,
상기 복합 영상 처리부는,
상기 그래픽 이미지 또는 상기 제1 영상을 네트워크 또는 웹에서 수집된 다른 영상과 합성할 수 있으며, 상기 다른 영상은 상기 사용자가 선호하는 선수에 대한 영상인, 헬스 케어 장치.
The method of claim 1,
The image processing unit,
a virtual image processor generating a virtual graphic image to be synthesized with the generated first image; and
Further comprising a composite image processing unit for synthesizing the graphic image generated by the virtual image processing unit with the first image,
The complex image processing unit,
The graphic image or the first image may be synthesized with another image collected from a network or web, and the other image is an image of a player preferred by the user.
상기 사용자 관리부는,
상기 사용자가 휴대하고 있는 사용자 단말기로부터 발신되는 상기 사용자의 위치 신호를 수신하여, 상기 사용자의 현재 위치를 파악할 수 있는 사용자 위치 정보 처리부; 및
상기 사용자가 특정 장소에 출입하였음을 확인할 수 있는 출석 확인부를 더 포함하는, 헬스 케어 장치.
The method of claim 1,
The user management unit,
a user location information processing unit capable of receiving a location signal of the user transmitted from a user terminal carried by the user and determining a current location of the user; and
The health care device further comprising an attendance confirmation unit capable of confirming that the user has entered and exited a specific place.
상기 제1 사용자의 행동 상태 및 수면 여부를 센싱할 수 있는 제2 장치; 및
상기 제1 및 제2 장치를 서로 데이터 통신 가능하도록 네트워크 연결하며, 상기 제1 및 제2 장치에게 공통된 가상의 작업 공간인 클라우드 환경을 제공하는 클라우드 서버를 포함하며,
상기 제1 장치는,
상기 제1 사용자를 촬영하여 상기 제1 사용자에 대한 제1 영상을 생성할 수 있는 촬영부;
상기 제1 영상을 다른 영상들과 합성할 수 있는 영상 처리부;
상기 제1 영상을 분석하여 상기 제1 사용자의 신체 부위 별 비율 및 현재 성장도를 산출하고, 상기 제1 사용자의 미래 성장률을 예측할 수 있는 건강 상태 분석부;
상기 제1 사용자에 대한 정보를 저장하고 관리하는 사용자 관리부;
상기 신체 부위 별 비율, 현재 성장도 및 상기 제1 사용자에 대한 정보를 학습데이터로 하여 기계 학습하는 기계 학습부; 및
상기 건강 상태 분석부로부터 상기 제1 사용자의 신체 부위 별 비율, 상기 현재 성장도 및 상기 미래 성장률을 제공받아 표시하는 디스플레이부를 포함하며,
상기 기계 학습부는,
상기 학습 데이터를 기계 학습하여 상기 미래 성장률에 대한 예측값이 상기 기계 학습부 내부의 신경망 모델의 평가 데이터에 설정된 오류 범위의 개수 또는 비율의 임계치를 초과하는지 여부를 판단하여, 상기 미래 성장률에 대한 예측값이 정확한지 여부에 대해 상기 건강 상태 분석부에 피드백을 주고, 상기 사용자가 선호하는 스포츠 종목 및 운동 선수를 출력값으로 출력하며,
상기 제1 사용자에 대한 정보는,
상기 사용자의 얼굴, 지문, 홍채, 음성과 같은 생체 인식 정보와 연령, 성별과 같은 개인 정보, 저장된 상기 사용자의 아이디나 패스워드 같은 계정 정보, 상기 사용자의 웹이나 소셜 네트워크 검색 이력, 상기 제1 영상 및 상기 사용자의 현재 위치 정보를 포함하는, 헬스 케어 시스템.
a first device for photographing a first user, analyzing a current growth rate for physical development of the first user, and predicting a future growth rate;
a second device capable of sensing the first user's behavioral state and sleep state; and
A cloud server that connects the first and second devices to a network to enable data communication with each other and provides a cloud environment that is a common virtual workspace to the first and second devices,
The first device,
a photographing unit capable of capturing the first user and generating a first image of the first user;
an image processor capable of synthesizing the first image with other images;
a health state analyzer capable of analyzing the first image to calculate a ratio and a current growth rate of each body part of the first user, and predicting a future growth rate of the first user;
a user manager for storing and managing information about the first user;
a machine learning unit for machine learning using the ratio of each body part, the current growth rate, and information about the first user as learning data; and
a display unit receiving and displaying the ratio of each body part of the first user, the current growth rate, and the future growth rate from the health state analysis unit;
The machine learning unit,
By machine learning the learning data, it is determined whether the predicted value for the future growth rate exceeds the threshold value of the number or ratio of error ranges set in the evaluation data of the neural network model in the machine learning unit, so that the predicted value for the future growth rate is Gives feedback to the health state analysis unit as to whether or not it is accurate, and outputs the user's preferred sport event and athlete as an output value;
Information about the first user,
Biometric information such as the user's face, fingerprint, iris, and voice, personal information such as age and gender, stored account information such as the user's ID or password, the user's web or social network search history, the first image and A health care system including current location information of the user.
상기 촬영부는,
렌즈 모듈;
상기 제1 사용자로부터 반사되는 빛을 센싱하는 적어도 하나 이상의 RGB 뎁스 센서(RGB-D sensor);
상기 제1 사용자에게 픽셀 단위의 복수의 적외선들을 방출하는 적외선 방출기(IR Emitter); 및
상기 복수의 적외선들 중 상기 제1 사용자에 의해 반사되는 적외선을 인식하는 적외선 뎁스 센서(IR Depth sensor)를 더 포함하고,
상기 제1 사용자를 촬영하여 상기 RGB 뎁스 센서로부터 생성된 컬러 정보, 상기 적외선 뎁스 센서로부터 생성된 깊이 정보 및 상기 제1 사용자와 그 주변에 대하여 생성된 다수의 레이어들을 가지는 3차원 백그라운드 모델을 모두 입체적으로 렌더링하여 상기 제1 영상을 생성하는, 헬스 케어 시스템.
The method of claim 9,
the filming unit,
lens module;
at least one RGB-D sensor for sensing light reflected from the first user;
an infrared emitter (IR Emitter) emitting a plurality of infrared rays in pixel units to the first user; and
Further comprising an IR depth sensor for recognizing infrared rays reflected by the first user among the plurality of infrared rays,
The color information generated from the RGB depth sensor by photographing the first user, the depth information generated from the infrared depth sensor, and the 3D background model having a plurality of layers generated for the first user and its surroundings are all three-dimensional Rendering to generate the first image, the health care system.
상기 건강 상태 분석부는,
상기 제1 영상을 분석하여 상기 제1 사용자의 체형, 각 신체 부위 및 관절을 인식하는 체형 분석부;
상기 제1 영상을 분석하여 상기 제1 사용자가 현재 플레이 중인 운동 종목 및 자세를 인식하고, 상기 제1 사용자가 운동에 소요한 시간 및 칼로리를 산출하는 운동 데이터 분석부;
미리 저장된 소아청소년성장테이블, 상기 신체 부위 별 비율 및 상기 제1 사용자에 대한 정보를 함께 분석하여 상기 사용자의 현재 성장도를 산출하고 상기 사용자의 미래 성장률을 예측하는 성장 예측부를 더 포함하며,
상기 체형 분석부는,
상기 관절의 위치 및 산출된 상기 신체 부위 별 비율에 대한 데이터를 바탕으로 상기 사용자의 체형을 판단하여, 판단 결과에 따라 체형 교정 가이드를 산출하고,
상기 운동 데이터 분석부는,
상기 제1 사용자에 대한 정보를 분석하여 상기 제1 사용자가 선호하는 운동 종목과 해당 종목에서 선호하는 선수를 인식하는, 헬스 케어 시스템.
The method of claim 10,
The health condition analysis unit,
a body shape analysis unit that analyzes the first image and recognizes the first user's body shape, each body part, and joints;
an exercise data analyzer configured to analyze the first image to recognize an exercise category and posture that the first user is currently playing, and to calculate time and calories required for exercise by the first user;
Further comprising a growth predictor for calculating a current growth rate of the user and predicting a future growth rate of the user by analyzing the previously stored child/adolescent growth table, the ratio for each body part, and information on the first user,
The body shape analysis unit,
The body shape of the user is determined based on the data on the location of the joint and the calculated ratio of each body part, and a body shape correction guide is calculated according to the determination result;
The exercise data analysis unit,
A health care system that analyzes the information on the first user and recognizes the first user's preferred sports event and preferred player in the corresponding event.
상기 운동 데이터 분석부는,
상기 신체 부위 별 비율이 일정 값보다 미만인 경우, 키 성장을 유도하는 가이드를 포함하는 제1 운동 가이드를 생성하고,
상기 신체 부위 별 비율이 일정 값을 초과하는 경우, 근력 운동들에 대한 가이드를 포함하는 제2 운동 가이드를 생성하는, 유소년 헬스 케어 시스템.
The method of claim 11,
The exercise data analysis unit,
When the ratio for each body part is less than a predetermined value, generating a first exercise guide including a guide for inducing height growth;
When the ratio for each body part exceeds a predetermined value, generating a second exercise guide including a guide for strength exercises, youth health care system.
상기 운동 데이터 분석부는,
상기 제1 사용자가 현재 플레이 중인 운동 종목 및 자세를 분석하여 자세 교정 가이드를 상기 디스플레이부를 통해 출력하는, 헬스 케어 시스템.
The method of claim 11,
The exercise data analysis unit,
A health care system that analyzes an exercise event and posture currently being played by the first user and outputs a posture correction guide through the display unit.
상기 영상 처리부는,
상기 제1 영상에 합성될 가상의 그래픽 이미지를 생성하는 가상 영상 처리부; 및
상기 가상 영상 처리부에서 생성된 상기 그래픽 이미지를 상기 제1 영상에 합성하는 복합 영상 처리부를 더 포함하며,
상기 복합 영상 처리부는,
상기 그래픽 이미지 또는 상기 제1 영상을 네트워크 또는 웹에서 수집된 상기 다른 영상과 합성할 수 있으며, 상기 다른 영상은 상기 제1 사용자가 선호하는 선수에 대한 영상인, 헬스 케어 시스템.
The method of claim 9,
The image processing unit,
a virtual image processor generating a virtual graphic image to be synthesized with the first image; and
Further comprising a composite image processing unit for synthesizing the graphic image generated by the virtual image processing unit with the first image,
The complex image processing unit,
The graphic image or the first image may be synthesized with the other images collected from a network or the web, and the other images are images of a player preferred by the first user.
상기 사용자 관리부는,
상기 제2 장치로부터 발신되는 제1 사용자의 위치 신호를 수신하여, 상기 제1 사용자의 현재 위치를 파악할 수 있는 사용자 위치 정보 처리부; 및
상기 제1 사용자가 특정 장소에 출입하였음을 확인할 수 있는 출석 확인부를 더 포함하며,
상기 위치 정보 처리부와 상기 출석 확인부는 제2 사용자가 사용하는 단말인 제3 장치에 상기 제1 사용자의 현재 위치 및 상기 특정 장소의 출석 여부에 대한 정보를 제공하는, 헬스 케어 시스템.
The method of claim 9,
The user management unit,
a user location information processing unit capable of receiving a location signal of the first user transmitted from the second device and determining a current location of the first user; and
Further comprising an attendance confirmation unit for confirming that the first user has entered and exited a specific place,
The health care system of claim 1 , wherein the location information processing unit and the attendance check unit provide information about the current location of the first user and whether or not they are present at the specific place to a third device, which is a terminal used by a second user.
상기 사용자를 촬영하여 상기 사용자에 대한 제1 영상을 생성하는 단계;
상기 제1 영상을 분석하여 상기 사용자의 각 신체 부위와 관절을 인식하는 단계;
인식된 상기 사용자의 관절 별로 포인트를 설정하는 단계;
설정된 상기 포인트를 사용하여 상기 사용자의 키, 몸무게, 근육량, 체지방, 체형을 포함하는 현재 성장도 및 상기 각 신체 부위들을 상호 비교한 결과인 신체 부위 별 비율을 산출하는 단계;
산출된 상기 현재 성장도 및 상기 신체 부위 별 비율을 학습 데이터로 하여 기계 학습하는 단계;
상기 현재 성장도 및 상기 신체 부위 별 비율을 기계 학습한 학습 결과 데이터를 바탕으로 상기 사용자의 미래 성장률을 산출하는 단계; 및
상기 사용자의 미래 성장률을 산출하는 단계로부터 추출된 상기 미래 성장률에 대한 예측값이 상기 헬스 케어 장치 내부의 신경망 모델의 평가 데이터에 설정된 오류 범위의 개수 또는 비율의 임계치를 초과하는지 여부를 판단하는 단계;
상기 미래 성장률에 대한 예측값이 정확한지 여부에 대해 상기 헬스 케어 장치 내부의 건강 상태 분석부에 피드백을 주는 단계; 및
상기 현재 성장도, 미래 성장도 및 신체 부위 별 비율을 함께 출력하는 단계를 포함하는, 헬스 케어 방법.
A method of providing a health care service to a user using a health care device,
generating a first image of the user by photographing the user;
recognizing each body part and joint of the user by analyzing the first image;
setting a point for each joint of the recognized user;
Calculating a ratio for each body part that is a result of mutually comparing the current growth rate including height, weight, muscle mass, body fat, and body shape of the user and each body part using the set points;
machine-learning the calculated current growth rate and the ratio for each body part as learning data;
calculating a future growth rate of the user based on learning result data obtained by machine learning the current growth rate and the ratio for each body part; and
Determining whether the predicted value of the future growth rate extracted from the step of calculating the future growth rate of the user exceeds a threshold value of the number or ratio of error ranges set in the evaluation data of the neural network model in the health care device;
giving feedback to a health state analyzer inside the health care device as to whether the predicted value of the future growth rate is correct; and
And outputting the current growth rate, the future growth rate, and the ratio for each body part together.
상기 현재 성장도 및 상기 신체 부위 별 비율을 기계 학습한 학습 결과 데이터를 바탕으로 상기 사용자의 미래 성장률을 산출하는 단계는,
상기 현재 성장도 및 신체 부위 별 비율을 바탕으로 상기 사용자에게 추천할 식단, 운동 종목 및 자세 중 적어도 하나 이상을 선택하는 단계; 및
상기 사용자에 대한 체형 교정 가이드를 생성하는 단계를 더 포함하는, 헬스 케어 방법.
The method of claim 16
The step of calculating the future growth rate of the user based on the learning result data obtained by machine learning the current growth rate and the ratio for each body part,
selecting at least one of a diet, an exercise event, and a posture to be recommended to the user based on the current growth rate and the ratio for each body part; and
Further comprising generating a body shape correction guide for the user, the health care method.
상기 현재 성장도 및 신체 부위 별 비율을 바탕으로 상기 사용자에게 추천할 식단, 운동 종목 및 자세 중 적어도 하나 이상을 선택하는 단계는,
상기 현재 성장도 또는 상기 신체 부위 별 비율이 일정 값보다 미만인 경우, 키 성장에 도움이 되는 스트레칭, 농구 등을 포함하는 제1 운동 가이드를 생성하여 상기 사용자에게 추천하는 단계; 및
상기 현재 성장도 또는 신체 부위 별 비율이 일정 값을 초과하는 경우, 근육 성장에 도움이 되는 웨이트 트레이닝, 기계 체조 등을 포함하는 제2 운동 가이드를 생성하여 상기 사용자에게 추천하는 단계를 더 포함하는, 헬스 케어 방법.
The method of claim 17
The step of selecting at least one or more of a diet, exercise event, and posture to be recommended to the user based on the current growth rate and the ratio for each body part,
generating and recommending a first exercise guide including stretching and basketball to help height growth to the user when the current growth rate or the ratio for each body part is less than a predetermined value; and
If the current growth rate or the ratio of each body part exceeds a predetermined value, generating a second exercise guide including weight training, gymnastics, etc. helpful for muscle growth and recommending it to the user. health care method.
상기 인식된 상기 사용자의 관절 별로 포인트를 설정하는 단계는,
상기 포인트의 이동 및 변화를 감지하여 상기 사용자가 현재 플레이 중인 운동 종목 및 자세를 인식하는 단계;
상기 사용자가 현재 플레이 중인 운동 종목 및 자세를 분석하여 상기 사용자의 플레이 스타일 데이터를 생성하는 단계;
기존에 저장된 플레이 스타일 데이터와 상기 사용자의 플레이 스타일 데이터를 비교하는 단계;
상기 사용자의 플레이 스타일을 교정하기 위한 자세 교정 가이드를 생성하는 단계; 및
상기 사용자의 운동이 종료되면, 상기 사용자가 플레이한 시간과 칼로리를 산출하는 단계를 더 포함하는, 헬스 케어 방법.
The method of claim 16
In the step of setting points for each joint of the recognized user,
Recognizing the movement and change of the point and recognizing an exercise event and posture that the user is currently playing;
generating play style data of the user by analyzing an exercise item and posture currently being played by the user;
comparing previously stored play style data with play style data of the user;
generating a posture correction guide for correcting the play style of the user; and
When the user's exercise ends, calculating the user's playing time and calories, the health care method further comprising.
상기 사용자를 촬영하여 상기 사용자에 대한 제1 영상을 생성하는 단계는,
상기 제1 영상 외, 상기 사용자에 대한 정보를 수집하는 단계;
상기 사용자의 얼굴 이미지로부터 특징을 추출하여 상기 사용자의 얼굴에 대한 특징 맵(feature map)을 생성하는 단계;
상기 특징 맵을 기계 학습하는 단계; 및
상기 특징 맵을 기계 학습한 결과를 바탕으로 상기 사용자에 대한 아바타(avatar)를 생성하는 단계를 더 포함하며,
상기 사용자에 대한 정보는,
상기 사용자의 얼굴, 지문, 홍채, 음성과 같은 생체 인식 정보와 연령, 성별과 같은 개인 정보, 저장된 상기 사용자의 아이디나 패스워드 같은 계정 정보, 상기 사용자의 웹이나 소셜 네트워크 검색 이력, 상기 제1 영상 및 상기 사용자의 현재 위치 정보를 포함하는, 헬스 케어 방법.The method of claim 16
The step of photographing the user and generating a first image of the user,
collecting information about the user other than the first image;
generating a feature map of the user's face by extracting features from the user's face image;
machine learning the feature map; and
Further comprising generating an avatar for the user based on a result of machine learning the feature map,
Information about the user,
Biometric information such as the user's face, fingerprint, iris, and voice, personal information such as age and gender, stored account information such as the user's ID or password, the user's web or social network search history, the first image and A health care method including current location information of the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200038649A KR102536425B1 (en) | 2020-03-30 | 2020-03-30 | Health care device, system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200038649A KR102536425B1 (en) | 2020-03-30 | 2020-03-30 | Health care device, system and method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210121616A KR20210121616A (en) | 2021-10-08 |
KR102536425B1 true KR102536425B1 (en) | 2023-05-25 |
Family
ID=78610228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200038649A KR102536425B1 (en) | 2020-03-30 | 2020-03-30 | Health care device, system and method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102536425B1 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11360733B2 (en) | 2020-09-10 | 2022-06-14 | Snap Inc. | Colocated shared augmented reality without shared backend |
WO2023106695A1 (en) * | 2021-12-09 | 2023-06-15 | 주식회사 에이치엔에이치 | Apparatus and method for detecting workout status |
KR20230097298A (en) * | 2021-12-24 | 2023-07-03 | 서울대학교병원 | Method and device for providing clinical evaluation information using image |
CN114202834B (en) * | 2021-12-24 | 2022-12-09 | 珠海格力电器股份有限公司 | Data processing method and device, nonvolatile storage medium and processor |
KR102654041B1 (en) * | 2022-03-21 | 2024-04-03 | 주식회사 밸런스플레이 | Electronic apparatus for measuring body information and recommending exercise based on scanning, and system |
KR102532848B1 (en) | 2022-06-08 | 2023-05-17 | 아이디어링크 주식회사 | Method and apparatus for creating avatar based on body shape |
US12051163B2 (en) * | 2022-08-25 | 2024-07-30 | Snap Inc. | External computer vision for an eyewear device |
KR102667748B1 (en) * | 2023-01-09 | 2024-05-21 | (주)케이힐리 | System and Method for Providing Customized Health Management Service According to Personal Body and Program, Computer Readable Recording Medium |
KR102589677B1 (en) * | 2023-02-17 | 2023-10-17 | 주식회사 비브라이트 | device that recommends food products and composition ratios based on data from the Ministry of Food and Drug Safety |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101866208B1 (en) | 2016-06-23 | 2018-06-11 | (주)삼족오 | Height growth predictable terminal device and height growth prediction method of the terminal device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140059496A (en) * | 2012-11-08 | 2014-05-16 | (주) 하임에프앤씨 | Management of ones growth and development system for child |
KR102661804B1 (en) * | 2018-03-27 | 2024-04-30 | 삼성메디슨 주식회사 | Ultrasound imaging apparatus predicting fetal growth and method for operating the same |
KR20190029430A (en) * | 2018-08-16 | 2019-03-20 | 아이피랩 주식회사 | Online Fitness System and Personal Training Method Based on Artificial Intelligence |
KR102355327B1 (en) * | 2018-09-10 | 2022-02-21 | 주식회사 소노엠 | A system for measuring bone age |
KR102197828B1 (en) * | 2018-09-17 | 2021-01-04 | 주식회사 셀바스헬스케어 | Computing device providing information for growth prediction |
-
2020
- 2020-03-30 KR KR1020200038649A patent/KR102536425B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101866208B1 (en) | 2016-06-23 | 2018-06-11 | (주)삼족오 | Height growth predictable terminal device and height growth prediction method of the terminal device |
Also Published As
Publication number | Publication date |
---|---|
KR20210121616A (en) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102536425B1 (en) | Health care device, system and method | |
AU2016293613B2 (en) | Multi-sensor event detection and tagging system | |
CA3146658A1 (en) | Interactive personal training system | |
JP5356690B2 (en) | Method, system, and program for tracking a range of physical movement of a user | |
US20180036591A1 (en) | Event-based prescription of fitness-related activities | |
KR20190104487A (en) | Method and apparatus for recommending food and drink based on artificial intelligence-based user status | |
US20160322078A1 (en) | Multi-sensor event detection and tagging system | |
KR102089002B1 (en) | Method and wearable device for providing feedback on action | |
US20200026362A1 (en) | Augmented reality device and gesture recognition calibration method thereof | |
US20190091544A1 (en) | Dual Motion Sensor Bands for Real Time Gesture Tracking and Interactive Gaming | |
US11806579B2 (en) | Sports operating system | |
US11574445B2 (en) | Intelligent inspection devices | |
KR20210154961A (en) | Method of providing clothing fitting service using 3D avatar and system accordingly | |
Hara et al. | Challenges in real-time vital signs monitoring for persons during exercises | |
CN110446996A (en) | A kind of control method, terminal and system | |
KR20190106946A (en) | Artificial device and method for controlling the same | |
US20210405758A1 (en) | Method of controlling augmented reality electronic device | |
US12081627B2 (en) | Profiling based on personal region of interest | |
US20220111257A1 (en) | System, Method and Computer Program Product Configured for Sensor-Based Enhancement of Physical Rehabilitation | |
Hu et al. | Application of intelligent football training system based on IoT optical imaging and sensor data monitoring | |
US11426629B2 (en) | Method for quantifying a sporting activity | |
KR102574764B1 (en) | Apparatus for Fitness Service and Driving Method Thereof | |
US20240145062A1 (en) | System and method for posture correction exercise recommendation of artificial intelligence by using wearable device | |
CN109272023A (en) | A kind of Internet of Things transfer learning method and system | |
CN117476172B (en) | Household health management method, system and computer equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |