KR20170132109A - Method and apparatus for identification of turtle neck using sitting posture recognition per slope of machine learning-based neck - Google Patents

Method and apparatus for identification of turtle neck using sitting posture recognition per slope of machine learning-based neck Download PDF

Info

Publication number
KR20170132109A
KR20170132109A KR1020170150939A KR20170150939A KR20170132109A KR 20170132109 A KR20170132109 A KR 20170132109A KR 1020170150939 A KR1020170150939 A KR 1020170150939A KR 20170150939 A KR20170150939 A KR 20170150939A KR 20170132109 A KR20170132109 A KR 20170132109A
Authority
KR
South Korea
Prior art keywords
neck
learning
slope
sitting posture
turtle
Prior art date
Application number
KR1020170150939A
Other languages
Korean (ko)
Inventor
주상호
Original Assignee
주상호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주상호 filed Critical 주상호
Priority to KR1020170150939A priority Critical patent/KR20170132109A/en
Publication of KR20170132109A publication Critical patent/KR20170132109A/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Physiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method for identifying a forward head posture using sitting posture recognition for each slope of a neck based on machine learning, which includes the steps of: performing the machine learning of a plurality of sitting posture image data for each slope of the neck based on deep learning; and predicting the slope of the neck of the sitting posture from an image obtained by photographing a user of the sitting posture using a sitting posture learning model for each slope of the neck generated by the machine learning and identifying that there is the forward head posture if the predicted slope of the neck of the sitting posture exceeds a forward head posture reference slope of the sitting posture which a user sets.

Description

기계 학습 기반 목의 기울기 별 앉은 자세 인식을 이용한 거북목 식별 방법 및 장치{omitted}Method and Apparatus for Identifying Turtle Track Using Sitting Posture Recognition by Slope of Machine Learning Infrastructure Neck

본 발명은 거북목 식별 방법 및 장치에 관한 것으로, 특히 앉은 자세 인식을 이용한 거북목 식별 방법 및 장치에 관한 것이다.The present invention relates to a turtle neck identification method and apparatus, and more particularly, to a turtle neck identification method and apparatus using a sitting posture recognition.

최근 컴퓨터, 스마트폰, 스마트 TV와 같은 다양한 정보 처리 기기의 사용이 일상화됨에 따라 마우스 증후군, 거북목 증후군과 같은 신종 질병을 호소하는 사용자가 급속히 증가하는 추세이다.Recently, as the use of various information processing devices such as computers, smart phones, and smart TVs is becoming commonplace, users who are complaining of new diseases such as mouse syndrome and turtle neck syndrome are rapidly increasing.

이 중에서, 거북목 증후군은, 정보 처리 기기를 사용할 때, 사용자가 목을 비정상적으로 앞으로 뺀 자세로 인해 목에 과도한 하중이 실리는 것으로써, 근막통증, 두통, 수면 장애, 호흡 장애뿐만 아니라 목 디스크의 원인이 될 수 있다.Among them, turtle neck syndrome is caused by excessive load on the neck due to abnormal posture by the user when the information processing device is used. As a result, not only fascia pain, headache, sleep disorder, . ≪ / RTI >

특히, 목 디스크는 한 번 걸리면 완벽한 치료가 어렵기 때문에 스트레칭 및 자세 교정을 통해 예방하는 것이 중요하며, 현재 거북목 증후군 및 목 디스크를 예방하기 위해 거북목 자세를 취할 경우 이를 식별하는 기기들이 상용화 되어 있다.In particular, it is important to prevent neck disc syndrome and neck disc by preventing stretching and posture correction because it is difficult to complete treatment once the neck disc is caught once, and devices for identifying the turtle neck posture are commercially available have.

예를 들어, 국내 공개특허공보 제10-2015-0072957호(자세 측정 방법 및 그에 따른 장치, 그에 따른 시스템)를 비롯하여 시판되는 일반적인 제품은 신체에 부착해야만 거북목임을 식별할 수 있어, 학습 또는 업무 중에 탈착을 할 경우 식별을 할 수 없게 된다. 한국 공개특허공보 제10-2014-0110173호(거북목 경고 시스템 및 방법)를 비롯하여 시판되는 센서 기반 거북목 식별 기기는 신체에 부착하지 않지만 거리 센서 등의 특정 센서를 기반으로 동작하기 때문에 자세가 흐트러지면 센서가 측정을 못하는 문제가 있다.For example, it is possible to identify a turtle neck by attaching to a body a general commercially available product, such as Korean Patent Laid-Open Publication No. 10-2015-0072957 (a method of measuring a posture and a system therefor and a system therefor) It can not be identified. Korean Patent Application Publication No. 10-2014-0110173 (turtle neck warning system and method) and a commercially available sensor-based turtle neck discrimination device do not attach to the body but operate based on a specific sensor such as a distance sensor, There is a problem that the ground sensor can not measure.

따라서, 기존의 신체 부착 방식 또는 센서 기반 방식에서 벗어나 사용자의 다양한 앉은 자세에서 거북목을 식별할 수 있는 방안이 요구되고 있다.Therefore, there is a need for a method for discriminating the turtle neck from various seating positions of the user, apart from the conventional body attachment method or sensor based method.

본 발명은 사용자가 앉아 있는 환경에서 다양한 자세를 취할 때 거북목임을 식별할 수 있도록 기계 학습 기반 거북목 식별 장치 및 방법을 제공한다.The present invention provides an apparatus and method for identifying a turtle neck based on machine learning so as to identify a turtle neck when taking various postures in a sitting environment of a user.

본 발명은 기계 학습 기반 거북목 식별 방법으로, 목의 기울기 별 다수의 앉은 자세 이미지 데이터를 딥 러닝 기반으로 사전 학습하는 단계와, 상기 사전 학습에 의해 생성된 목의 기울기 별 앉은 자세 학습 모델을 이용하여 앉은 자세의 사용자를 촬영한 영상으로부터 앉은 자세의 목의 기울기를 예측하고, 상기 예측한 앉은 자세의 목의 기울기가 사용자가 설정한 앉은 자세의 거북목 기준 기울기를 초과할 경우 거북목임을 식별하는 단계를 포함한다.The present invention relates to a method of identifying a turtle neck based on a machine learning method, comprising the steps of preliminarily learning a plurality of sitting posture image data for each slope of a neck based on a deep learning basis, and using a sitting posture learning model for each slope And predicts a slope of the neck of the sitting posture from the image of the user in the sitting posture and identifies the turtle neck when the slope of the predicted sitting posture exceeds the slope of the turtle neck of the sitting posture set by the user .

본 발명은 기계 학습 기반 거북목 식별 장치로, 목의 기울기 별 다수의 앉은 자세 이미지 데이터를 딥 러닝 기반으로 사전 학습하는 거북목 사전 학습부와, 상기 사전 학습에 의해 생성된 목의 기울기 별 앉은 자세 학습 모델을 이용하여 앉은 자세의 사용자를 촬영한 영상으로부터 앉은 자세의 목의 기울기를 예측하고, 상기 예측한 앉은 자세의 목의 기울기가 사용자가 설정한 앉은 자세의 거북목 기준 기울기를 초과할 경우 거북목임을 식별하는 거북목 식별부를 포함한다.The present invention relates to a machine learning-based turtle neck identification device, comprising: a turtle neck pre-learning part for predicting a plurality of seated posture image data for each slope of neck based on a deep learning basis; The slope of the neck of the sitting posture is predicted from the image of the user in the sitting posture using the learning model, and when the slope of the predicted sitting posture exceeds the slope of the turtle neck of the sitting posture set by the user, And a turtle neck identification unit for identifying the subject.

본 발명의 기계 학습 기반 거북목 식별 방법에 따르면, 딥 러닝(Deep Learning) 기반 기계 학습 방식을 사용함으로써 컨볼루션 신경망(CNN : Convolutional Neural Network)과 같은 다양한 딥 러닝 알고리즘을 적용하여 여러 종류의 앉은 자세 상황에서 목의 기울기 별 앉은 자세를 사전에 학습할 수 있으며, 이를 이용하여 사용자가 여러 종류의 앉은 자세를 취하는 상황에서도 목의 기울기 예측이 가능하고 이를 통해 거북목 식별이 가능한 이점이 있다.According to the machine learning-based turtle neck identification method of the present invention, various deep learning algorithms such as a convolutional neural network (CNN) are applied by using a deep learning-based machine learning method, In this situation, it is possible to learn the sitting position of the neck slope in advance, and it is possible to predict the slope of the neck even when the user takes a variety of sitting positions, and thus the turtle neck can be identified through this.

도 1은 본 발명의 일 실시 예에 따른 기계 학습 기반 목 기울기 인식을 이용한 거북목 식별 장치의 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 거북목 사전 학습부의 상세 구성도이다.
도 3은 본 발명의 일 실시 예에 따른 거북목 식별부의 상세 구성도이다.
도 4a 및 도 4b는 딥 러닝 기반으로 사전 학습하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 거북목 식별의 일 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 기계 학습 기반 목 기울기 인식을 이용한 거북목 식별 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시 예에 따른 거북목 사전 학습 단계를 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 거북목 식별 단계를 설명하기 위한 순서도이다.1 is a block diagram of a turtle neck identification apparatus using machine learning based neck inclination recognition according to an embodiment of the present invention.
2 is a detailed block diagram of a turtle neck dictionary learning unit according to an embodiment of the present invention.
3 is a detailed block diagram of a turtle neck identification unit according to an embodiment of the present invention.
FIGS. 4A and 4B are diagrams for explaining a pre-learning process based on a deep learning.
5 is a view for explaining an example of turtle neck identification according to the present invention.
FIG. 6 is a flowchart for explaining a turtle neck identification method using machine learning based neck inclination recognition according to an embodiment of the present invention.
FIG. 7 is a flow chart for explaining the turtle neck dictionary learning step according to an embodiment of the present invention.
FIG. 8 is a flow chart for explaining a turtle neck identification step according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변경 될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Since the terms used throughout the specification are defined in consideration of the functions of the embodiments of the present invention and can be sufficiently changed according to the intentions and customs of the user or the operator, It should be based on the contents of.

도 1은 본 발명의 일 실시 예에 따른 기계 학습 기반 목 기울기 인식을 이용한 거북목 식별 장치의 구성도이다.1 is a block diagram of a turtle neck identification apparatus using machine learning based neck inclination recognition according to an embodiment of the present invention.

도 1을 참조하면, 기계 학습 기반 목 기울기 인식을 이용한 거북목 식별 장치(이하 '장치' 로 기재함)는 크게 거북목 사전 학습부(100)와 거북목 식별부(200)를 포함한다.Referring to FIG. 1, a turtle neck identification device (hereinafter referred to as a "device") using machine learning based neck inclination recognition includes a turtle neck pre-learning part 100 and a turtle neck identification part 200.

거북목 사전 학습부(100)는 목의 기울기 별 다수의 앉은 자세 이미지 데이터를 딥 러닝 기반으로 사전 학습하여, 목의 기울기 별 앉은 자세 학습 모델을 생성한다. 즉, 목의 기울기 별 앉은 자세에 나타나는 특징을 사전에 학습하여 목의 기울기 별 앉은 자세 학습 모델인 특징맵(feature map)을 생성하는 것이다.The turtle neck pre-learning unit 100 pre-learns a plurality of seated posture image data for each slope of the neck based on a deep learning basis, and generates a sitting posture learning model for each slope of the neck. In other words, a feature map is created by learning the features appearing in the sitting posture of the neck slope in advance and by learning the posture learning model for each slope of the neck.

거북목 식별부(200)는 사전 학습에 의해 생성된 목의 기울기 별 앉은 자세 학습 모델(특징맵)을 이용하여 앉은 자세의 사용자를 촬영한 영상으로부터 앉은 자세의 목의 기울기를 예측하고, 사용자가 설정한 앉은 자세의 거북목 기준 기울기와 비교하여 거북목임을 식별한다.The turtle neck identification unit 200 predicts the slope of the neck of the sitting posture from the image of the user in the sitting posture using the seat posture learning model (feature map) of the slope of the neck generated by the preliminary learning, Identify the turtle neck as compared to the slope based on the turtle neck in the sitting position.

이로써, 본 발명에서는 딥 러닝 기반 기계 학습 방식을 사용하여 여러 종류의 앉은 자세 상황에서 목의 기울기 별 앉은 자세를 사전에 학습할 수 있어, 사용자가 여러 종류의 앉은 자세를 취하는 상황에서도 사용자의 목의 기울기를 예측할 수 있어 거북목 식별이 가능한 이점이 있다.Accordingly, in the present invention, it is possible to learn the posture of the neck by the inclination of the neck in various kinds of sitting postures using the deep learning-based machine learning method, and even if the user takes various types of sitting postures, The slope can be predicted, which has the advantage of identifying the turtle neck.

도 2는 본 발명의 일 실시 예에 따른 거북목 사전 학습부의 상세 구성도이다.2 is a detailed block diagram of a turtle neck dictionary learning unit according to an embodiment of the present invention.

도 2를 참조하면, 거북목 사전 학습부(100)는 목 기울기 구간 설정부(110), 영상 수집부(120), 학습부(130) 및 목의 기울기 별 앉은 자세 학습 모델 저장부(140)를 포함한다.2, the turtle neck pre-learning unit 100 includes a neck inclination section setting unit 110, an image collecting unit 120, a learning unit 130, and a neck inclination posture learning model storage unit 140, .

목 기울기 구간 설정부(110)는 앉은 자세에서의 목의 기울기를 일정 구간으로 설정한다. 목의 기울기를 측정하는 방법은, 기준선을 앉은 자세에서의 어깨와 허리를 잇는 선으로 잡은 후 어깨와 귀를 잇는 선의 예각을 측정하여 얻을 수 있으나, 목의 기울기를 측정하는 방법이 어깨와 허리, 귀를 잇는 선에 한정되는 것은 아니다.The neck inclination section setting section 110 sets the inclination of the neck in the sitting position to a predetermined section. The method of measuring the inclination of the neck can be obtained by measuring the acute angle of the line connecting the shoulder and the ear after catching the line connecting the shoulder and waist in the sitting position of the baseline, but the method of measuring the inclination of the neck is the shoulder, waist, It is not limited to the line connecting the ears.

영상 수집부(120)는 목의 기울기 구간 별로 사용자의 앉은 자세를 수집한다. 수집되는 영상들은 사용자 촬영 영상, 웹 이미지, 동영상과 같이 다양할 수 있다.The image collecting unit 120 collects the sitting position of the user for each slope section of the neck. The collected images may be various, such as a user-captured image, a web image, and a moving image.

학습부(130)는 목의 기울기 구간 별로 구분된 영상마다 목의 기울기 별 앉은 자세 이미지 데이터를 딥 러닝 기반으로 기계 학습하여 목의 기울기 별 앉은 자세의 특징인 목의 기울기 별 앉은 자세 학습 모델을 생성하여, 이를 목의 기울기 별 앉은 자세 학습 모델 저장부(140)에 저장한다. 여기서, 학습부(130)는 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine) 및 DBN(Deep Brief Network) 중 하나의 기계 학습 기법을 이용한다. 본 발명에서는 CNN 구조의 입력 이미지로부터 다단계로 특징을 추출해 학습하는 딥 러닝을 이용하여 수집된 목의 기울기 별 앉은 자세 이미지를 사전 학습(pre-training)한다.The learning unit 130 generates a sitting posture learning model for the slope of the neck, which is a feature of the sitting posture of the neck slope, by machine learning based on the deep learning based on the posture image data of the neck slope for each image classified by the slope section of the neck And stores it in the slope-based sitting posture learning model storage unit 140 of the neck. Here, the learning unit 130 uses one of a machine learning technique such as DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine) and DBN . In the present invention, pre-training is performed on the seated posture image of the collected neck slope using deep learning which extracts features from the input image of the CNN structure in multiple stages.

도 3은 본 발명의 일 실시 예에 따른 거북목 식별부의 상세 구성도이고, 도 4a 및 도 4b는 CNN을 이용한 거북목 식별 과정을 설명하기 위한 도면이고, 도 5는 본 발명에 따른 거북목 식별의 일 예를 설명하기 위한 도면이다.FIG. 3 is a detailed configuration diagram of a turtle neck identification unit according to an embodiment of the present invention. FIGS. 4A and 4B are views for explaining a turtle neck identification process using CNN, As shown in Fig.

도 3을 참조하면, 거북목 식별부(200)는 거북목 기울기 설정부(210), 자세 촬영부(220), 목 기울기 예측부(230), 기준 비교부(240), 거북목 식별부(250)를 포함한다.3, the turtle neck identification unit 200 includes a turtle neck tilt setting unit 210, a posture shooting unit 220, a neck tilt predicting unit 230, a reference comparison unit 240, a turtle neck identification unit 250).

거북목 기울기 설정부(210)는 사용자가 거북목으로 식별하기 원하는 앉은 자세의 거북목 기준 기울기를 설정한다.The turtle neck tilt setting unit 210 sets the tilt of the turtle neck in the sitting position that the user wants to identify as the turtle neck.

자세 촬영부(220)는 카메라가 달린 기기를 이용하여 사용자의 앉은 자세를 촬영한다.The posture photographing unit 220 photographs the user's sitting posture using a camera-equipped device.

목 기울기 예측부(230)는 촬영된 앉은 자세 이미지 데이터와 목의 기울기 별 앉은 자세 학습 모델과의 유사도에 따라 적어도 하나의 목의 기울기를 예측한다. 여기서는, CNN을 이용하여 앉은 자세의 사용자를 촬영한 영상으로부터 검출된 이미지 특징과 사전 학습된 목의 기울기 별 앉은 자세 모델(특징맵)과의 유사도를 비교하여 사전 학습된 목의 기울기 단계 중에서 가장 높은 확률을 갖는 목의 기울기를 사용자의 목의 기울기로 예측할 수 있다. 이는 도 4a를 참조하면, CNN 네트워크의 마지막 출력 단위가 입력 샘플에 대한 예상 확률로 나타나기 때문이다. 다른 실시 예로, 도 4b와 같이 은닉층(hidden layer)의 출력값들을 SVN(Support Vector Machine)과 같은 별도의 분류기를 이용하여 앉은 자세의 목 기울기를 예측하는 것도 가능하다.The neck slope predicting unit 230 predicts the slope of at least one neck according to the degree of similarity between the photographed situational image data and the sitting posture learning model of the slope of the neck. In this paper, we compare the similarity between the image feature detected from the image of the user in the sitting posture using the CNN and the sitting posture model (feature map) of the slope of the pre-learned neck, The slope of the neck with probability can be predicted by the slope of the user's neck. This is because, referring to FIG. 4A, the last output unit of the CNN network appears as an expected probability for the input samples. Alternatively, as shown in FIG. 4B, it is also possible to predict the output value of the hidden layer by using a separate classifier such as SVN (Support Vector Machine) to predict the neck inclination in the sitting position.

여기서, CNN은 입력 이미지로부터 컨볼루션(Convolution)과 서브 샘플링(Sub-Sampling) 과정을 통해 자동으로 특징을 추출하고, 학습을 통한 분류가 가능한 지도학습(supervised learning) 구조를 갖는 다층 신경망이다. 상세하게는 입력되는 얼굴 이미지에 대한 컨볼루션(Convolution) 및 풀링(Pooling)을 교대로 반복 수행한다. 여기서, 컨볼루션(Convolution)을 통해 지역적인 특징점이 획득되고, 풀링(Pooling)은 차원을 줄이는 서브 샘플링(Sub-Sampling) 과정이다. 또한 다층 퍼셉트론 신경망인 완전 접속(Fully-connected) 계층이 추가되는데, 이를 통해 N개의 특징맵(Feature map)들이 생성된다.Here, CNN is a multilayer neural network having a supervised learning structure capable of automatically extracting features from an input image through a convolution and a sub-sampling process, and sorting through learning. Specifically, convolution and pooling of an input face image are alternately repeated. Here, local feature points are obtained through convolution, and pooling is a sub-sampling process for reducing the dimension. In addition, a fully connected layer is added, which is a multi-layer perceptron neural network, through which N feature maps are generated.

기준 비교부(240)는 촬영된 앉은 자세의 이미지 데이터로부터 얻은 목의 기울기 예측 값과 거북목 기울기 설정부(210)에서 사용자가 설정한 앉은 자세의 거북목 기준 기울기 값을 비교한다.The reference comparison unit 240 compares the slope predictive value of the neck obtained from the image data of the photographed sitting posture with the slope value of the turtle neck of the sitting posture set by the user in the turtle neck tilt setting unit 210. [

거북목 식별부(250)는 기준 비교부(240)에서 목의 기울기 예측 값이 사용자가 설정한 앉은 자세의 거북목 기준 기울기 값을 초과할 경우 거북목임을 식별한다. 예컨대, 도 5를 참조하면, 사용자가 앉은 자세의 거북목 기준 기울기 각도를 15도로 설정하였을 경우, 촬영된 앉은 자세의 이미지 데이터로부터 얻은 목의 기울기 예측 값이 15도를 초과할 경우 거북목임을 식별한다.The turtle neck identification unit 250 identifies the turtle neck when the slope prediction value of the neck exceeds the inclination value of the turtle neck in the sitting position set by the user in the reference comparison unit 240. [ For example, referring to FIG. 5, when the tilt angle of the turtle neck in the sitting posture is set to 15 degrees, when the predicted value of the neck slope obtained from the image data of the captured sitting posture exceeds 15 degrees, do.

도 6은 본 발명의 일 실시 예에 따른 기계 학습 기반 목 기울기 인식을 이용한 거북목 식별 방법을 설명하기 위한 순서도이다.FIG. 6 is a flowchart for explaining a turtle neck identification method using machine learning based neck inclination recognition according to an embodiment of the present invention.

도 6을 참조하면, 기계 학습 기반 목 기울기 인식을 이용한 거북목 식별 방법은 크게 목의 기울기 별 다수의 앉은 자세 이미지 데이터를 딥 러닝 기반으로 사전 학습하여, 목의 기울기 별 앉은 자세 학습 모델을 생성하는 단계(S610)와, 사전 학습에 의해 생성된 목의 기울기 별 앉은 자세 학습 모델을 이용하여 앉은 자세의 사용자를 촬영한 영상으로부터 적어도 하나의 목의 기울기를 예측하고, 예측된 결과가 사용자가 설정한 앉은 자세의 거북목 기준 기울기를 초과할 경우 거북목임을 식별하는 거북목 식별 단계(S620)를 포함한다.Referring to FIG. 6, the method of recognizing turtle neck using machine learning based neck inclination recognition comprises predicting a large number of seated posture image data for each slope of the neck based on a deep learning basis, and generating a sitting posture learning model for each slope A step S610 for predicting a slope of at least one neck from an image of a user in a sitting posture using a seat posture learning model for each slope generated by the preliminary learning, And a turtle neck identification step (S620) for identifying the turtle neck when the inclination of the turtle neck in the sitting posture is exceeded.

즉, S610에서 딥 러닝 기반 기계 학습 방식을 사용하여 여러 종류의 앉은 자세 상황에서 목의 기울기 별 앉은 자세를 사전에 학습할 수 있어, 사용자가 여러 종류의 앉은 자세를 취하는 상황에서도 사용자의 목의 기울기를 예측할 수 있어 거북목 식별이 가능한 이점이 있다.That is, by using the deep learning-based machine learning method in S610, it is possible to learn the sitting attitude of the neck slope in various kinds of sitting posture situations in advance, so that even when the user takes various types of sitting postures, And it is possible to identify turtle species.

도 7은 본 발명의 일 실시 예에 따른 거북목 사전 학습 단계를 설명하기 위한 순서도이다.FIG. 7 is a flow chart for explaining the turtle neck dictionary learning step according to an embodiment of the present invention.

도 7을 참조하면, 장치(100)는 앉은 자세에서의 목의 기울기를 일정 구간으로 설정(S611)하고 목 기울기 구간 별 앉은 자세의 영상들을 수집한다(S612). 여기서, 수집되는 영상들은 사용자 촬영 영상, 웹 이미지, 동영상과 같이 다양할 수 있다.Referring to FIG. 7, the apparatus 100 sets the inclination of the neck in a sitting position to a predetermined section (S611), and collects images of the sitting position per neck tilt section (S612). Here, the collected images may be various types such as a user-captured image, a web image, and a moving image.

장치(100)는 목 기울기 구간 별로 수집된 앉은 자세의 이미지 데이터를 딥 러닝 기반으로 기계 학습하고(S613), 기계 학습에 의해 생성된 앉은 자세의 목의 기울기 학습 모델을 저장한다(S614). 여기서 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine) 및 DBN(Deep Brief Network) 중 하나의 학습 기법이 이용된다. 본 발명에서는 CNN 구조의 입력 이미지로부터 다단계로 특징을 추출해 학습하는 딥 러닝을 이용하여 수집된 목의 기울기 별 앉은 자세 이미지를 사전 학습(pre-training)한다.The apparatus 100 mechanically learns the image data of the sitting postures collected for each of the neck inclination intervals on the basis of the deep learning (S613), and stores the slope learning model of the sitting posture generated by the machine learning (S614). Here, a learning technique of DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine) and DBN (Deep Brief Network) is used. In the present invention, pre-training is performed on the seated posture image of the collected neck slope using deep learning which extracts features from the input image of the CNN structure in multiple stages.

도 8은 본 발명의 일 실시 예에 따른 거북목 식별 단계를 설명하기 위한 순서도이다.FIG. 8 is a flow chart for explaining a turtle neck identification step according to an embodiment of the present invention.

도 8을 참조하면, 사용자는 거북목으로 식별하기 원하는 앉은 자세의 거북목 기준 기울기를 입력한다(S621).Referring to FIG. 8, the user inputs a slope based on a turtle neck in a sitting posture desired to be identified by the turtle neck (S621).

장치(100)는 사용자 촬영 영상으로부터 검출된 앉은 자세의 이미지 데이터를 획득한다(S622).The apparatus 100 acquires the image data of the sitting posture detected from the user photographed image (S622).

장치(100)는 사용자 촬영 영상으로부터 얻은 앉은 자세의 이미지 데이터와 목의 기울기 별 앉은 자세 학습 모델과의 유사도에 따라 적어도 하나의 목의 기울기를 예측한다(S623). 여기서는, CNN을 이용하여 사용자 촬영 영상으로부터 검출된 앉은 자세의 이미지 데이터와 사전 학습된 목의 기울기 별 앉은 자세 학습 모델과의 유사도를 비교하여 사전 학습된 목의 기울기 별 앉은 자세 데이터들 중에서 가장 높은 확률을 갖는 목의 기울기를 사용자의 목의 기울기로 예측할 수 있다. 이는 도 4a를 참조하면, CNN 네트워크의 마지막 출력 단위가 입력 샘플에 대한 예상 확률로 나타나기 때문이다. 다른 실시 예로, 도 4b와 같이 은닉층(hidden layer)의 출력값들을 SVM(Support Vector Machine)과 같은 별도의 분류기를 이용하여 목의 기울기를 예측하는 것도 가능하다.The apparatus 100 predicts the slope of at least one neck according to the degree of similarity between the image data of the sitting posture obtained from the user photographed image and the sitting posture learning model of the slope of the neck (S623). Here, the similarity between the image data of the sitting posture detected from the user photographed image and the pre-learned neck slope posture learning model is compared using the CNN, and the highest probability among the posture data of the pre-learned neck slope The slope of the neck with the slope of the neck of the user can be predicted. This is because, referring to FIG. 4A, the last output unit of the CNN network appears as an expected probability for the input samples. In another embodiment, it is also possible to predict the output of the hidden layer using a separate classifier such as SVM (Support Vector Machine) as shown in FIG. 4B.

장치(100)는 예측된 적어도 하나의 목의 기울기와 사용자가 입력한 목의 기울기 값을 비교한다(S624).The apparatus 100 compares the slope of at least one predicted neck with the slope of the neck input by the user (S624).

장치(100)는 사용자가 설정한 앉은 자세의 거북목 기준 기울기보다 예측된 적어도 하나의 목의 기울기 값이 작을 경우 다시 새로운 촬영 영상을 입력하여 동일한 과정을 거치고(S625), 예측된 기울기 값이 사용자가 설정한 앉은 자세의 거북목 기준 기울기보다 클 경우 거북목임을 식별한다(S626).If the slope value of at least one predicted neck is smaller than the turtle neck slope of the sitting posture set by the user, the apparatus 100 repeats the same process (S625) (S626). If the slope is greater than the slope of the turtle neck in the sitting position, the turtle neck is identified (S626).

Claims (6)

목의 기울기 별 다수의 앉은 자세 이미지 데이터를 딥 러닝 기반으로 사전 학습하는 단계와,
상기 사전 학습에 의해 생성된 목의 기울기 별 앉은 자세 학습 모델을 이용하여 앉은 자세의 사용자를 촬영한 영상으로부터 앉은 자세의 목의 기울기를 예측하고, 상기 예측한 앉은 자세의 목의 기울기가 사용자가 설정한 앉은 자세의 거북목 기준 기울기를 초과할 경우 거북목임을 식별하는 단계를 포함함을 특징으로 하는 기계 학습 기반 거북목 식별 방법.Pre-learning a plurality of sitting posture image data for each slope of the neck based on a deep learning,
The slope of the neck of the sitting posture is predicted from the image of the user of the sitting posture using the sitting posture learning model of the slope of the neck generated by the pre-learning, and the slope of the neck of the predicted sitting posture is set by the user And identifying a turtle neck if the tilt of the turtle head exceeds a slope of the sitting position of the turtle. 제1 항에 있어서, 상기 사전 학습하는 단계는
앉은 자세의 목의 기울기를 일정 구간으로 구분하는 단계와,
상기 나눠진 목의 기울기 구간 별로 목의 기울기 별 앉은 자세 영상을 수집하는 단계와,
상기 구간 별로 수집된 목의 기울기 별 앉은 자세 이미지 데이터를 딥 러닝 기반으로 사전 학습하는 단계와,
상기 사전 학습을 통해 생성된 목의 기울기 별 앉은 자세 학습 모델을 저장하는 단계를 포함함을 특징으로 하는 기계 학습 기반 거북목 식별 방법.2. The method of claim 1, wherein the pre-
Dividing the inclination of the neck of the sitting posture into a predetermined section,
Collecting a sitting posture image of each neck inclination for each inclination of the divided neck,
Pre-learning the sitting posture image data for each slope of the throat collected on the basis of the section on a deep learning basis,
And storing the slant-based sitting posture learning model of the neck generated through the pre-learning. 제1 항에 있어서, 상기 사전 학습하는 단계는
DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine) 및 DBN(Deep Brief Network) 중 하나의 학습 기법을 이용함을 특징으로 하는 기계 학습 기반 거북목 식별 방법.2. The method of claim 1, wherein the pre-
A machine learning-based turtle tree characterized by using one of the following learning methods: Deep Neural Network (DNN), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), and Deep Brief Network Identification method. 목의 기울기 별 다수의 앉은 자세 이미지 데이터를 딥 러닝 기반으로 사전 학습하는 거북목 사전 학습부와,
상기 사전 학습에 의해 생성된 목의 기울기 별 앉은 자세 학습 모델을 이용하여 앉은 자세의 사용자를 촬영한 영상으로부터 앉은 자세의 목의 기울기를 예측하고, 상기 예측한 앉은 자세의 목의 기울기가 사용자가 설정한 앉은 자세의 거북목 기준 기울기를 초과할 경우 거북목임을 식별하는 거북목 식별부를 포함함을 특징으로 하는 기계 학습 기반 거북목 식별 장치.A turtle neck preliminary learning unit for predicting a large number of sitting posture image data per neck slope based on a deep learning basis,
The slope of the neck of the sitting posture is predicted from the image of the user of the sitting posture using the sitting posture learning model of the slope of the neck generated by the pre-learning, and the slope of the neck of the predicted sitting posture is set by the user And a turtle neck discrimination unit for discriminating the turtle neck type when the inclination of the turtle neck in a sitting position is exceeded. 제4 항에 있어서, 상기 거북목 사전 학습부는
앉은 자세의 목의 기울기를 일정 구간으로 구분하는 목 기울기 구간 설정부와,
상기 나눠진 목의 기울기 구간 별로 목의 기울기 별 앉은 자세 영상을 수집하는 영상 수집부와,
상기 구간 별로 수집된 목의 기울기 별 앉은 자세 이미지 데이터를 딥 러닝 기반으로 사전 학습하는 학습부와,
상기 사전 학습을 통해 생성된 목의 기울기 별 앉은 자세 학습 모델을 저장하는 목의 기울기 별 앉은 자세 학습 모델 저장부를 포함함을 특징으로 하는 기계 학습 기반 거북목 식별 장치5. The method according to claim 4, wherein the turtle neck dictionary learning unit
A neck inclination section setting section for dividing the inclination of the neck of the sitting posture into a predetermined section,
An image collecting unit for collecting a sitting posture image of each neck inclination for each inclination of the divided neck,
A learning unit for predicting the sitting posture image data per slope collected on the basis of the section on a deep learning basis;
And a slope-based situational attitude learning model storage unit for storing a slant situational attitude learning model of the neck generated through the learning of the dictionary, 제4 항에 있어서, 상기 거북목 사전 학습부는
DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine) 및 DBN(Deep Brief Network) 중 하나의 학습 기법을 이용함을 특징으로 하는 기계 학습 기반 거북목 식별 장치.5. The method according to claim 4, wherein the turtle neck dictionary learning unit
A machine learning-based turtle tree characterized by using one of the following learning methods: Deep Neural Network (DNN), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), and Deep Brief Network Identification device.
KR1020170150939A 2017-11-13 2017-11-13 Method and apparatus for identification of turtle neck using sitting posture recognition per slope of machine learning-based neck KR20170132109A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170150939A KR20170132109A (en) 2017-11-13 2017-11-13 Method and apparatus for identification of turtle neck using sitting posture recognition per slope of machine learning-based neck

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170150939A KR20170132109A (en) 2017-11-13 2017-11-13 Method and apparatus for identification of turtle neck using sitting posture recognition per slope of machine learning-based neck

Publications (1)

Publication Number Publication Date
KR20170132109A true KR20170132109A (en) 2017-12-01

Family

ID=60921986

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170150939A KR20170132109A (en) 2017-11-13 2017-11-13 Method and apparatus for identification of turtle neck using sitting posture recognition per slope of machine learning-based neck

Country Status (1)

Country Link
KR (1) KR20170132109A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102268667B1 (en) * 2020-09-16 2021-06-23 조민우 Customized posture correction cusion, customized posture correction system, and method thereof
KR20210109378A (en) * 2020-02-27 2021-09-06 동의대학교 산학협력단 Learning posture prediction system
KR102343358B1 (en) * 2020-07-14 2021-12-27 한국광기술원 Postural correction wellness system based on artificial intelligence
KR102381542B1 (en) * 2020-11-11 2022-03-31 숙명여자대학교산학협력단 System including algorithm for determining real-time turtle neck posture, responsive cradle interlocking with the system, and control method thereof
KR102411765B1 (en) * 2021-12-01 2022-06-22 안수현 Correct posture estimation system and method using neural network
KR20220087886A (en) * 2020-12-18 2022-06-27 네이버랩스 주식회사 Learning data collection device and method, learning method of pose estimation model using thereof
WO2022158737A1 (en) * 2021-01-21 2022-07-28 한양대학교 에리카산학협력단 Disease diagnosis device and method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210109378A (en) * 2020-02-27 2021-09-06 동의대학교 산학협력단 Learning posture prediction system
KR102343358B1 (en) * 2020-07-14 2021-12-27 한국광기술원 Postural correction wellness system based on artificial intelligence
KR102268667B1 (en) * 2020-09-16 2021-06-23 조민우 Customized posture correction cusion, customized posture correction system, and method thereof
KR102381542B1 (en) * 2020-11-11 2022-03-31 숙명여자대학교산학협력단 System including algorithm for determining real-time turtle neck posture, responsive cradle interlocking with the system, and control method thereof
KR20220087886A (en) * 2020-12-18 2022-06-27 네이버랩스 주식회사 Learning data collection device and method, learning method of pose estimation model using thereof
WO2022158737A1 (en) * 2021-01-21 2022-07-28 한양대학교 에리카산학협력단 Disease diagnosis device and method
KR102411765B1 (en) * 2021-12-01 2022-06-22 안수현 Correct posture estimation system and method using neural network

Similar Documents

Publication Publication Date Title
KR20170132109A (en) Method and apparatus for identification of turtle neck using sitting posture recognition per slope of machine learning-based neck
JP7110359B2 (en) Action Recognition Method Using Video Tube
US8837786B2 (en) Face recognition apparatus and method
Chiou et al. Driver monitoring using sparse representation with part-based temporal face descriptors
US11334775B2 (en) Object detection device, object detection method, and program
KR101682268B1 (en) Apparatus and method for gesture recognition using multiclass Support Vector Machine and tree classification
JP5153434B2 (en) Information processing apparatus and information processing method
JP7166784B2 (en) Information processing device, information processing method and program
JP6351243B2 (en) Image processing apparatus and image processing method
JP2014093023A (en) Object detection device, object detection method and program
JP2010108494A (en) Method and system for determining characteristic of face within image
Azorín-López et al. Human behaviour recognition based on trajectory analysis using neural networks
Balasubramanian et al. Conformal predictions for information fusion: A comparative study of p-value combination methods
Hari et al. Driver distraction analysis using face pose cues
US10621424B2 (en) Multi-level state detecting system and method
KR20170082025A (en) Apparatus and Method for Identifying Video with Copyright using Recognizing Face based on Machine Learning
US11151412B2 (en) Systems and methods for determining actions performed by objects within images
KR20210155655A (en) Method and apparatus for identifying object representing abnormal temperatures
WO2019171779A1 (en) Object detection device, object detection method, and program
US11423698B2 (en) Anomaly detector for detecting anomaly using complementary classifiers
US10917721B1 (en) Device and method of performing automatic audio focusing on multiple objects
Nahar et al. Twins and Similar Faces Recognition Using Geometric and Photometric Features with Transfer Learning
CN104899544A (en) Image processing device and image processing method
KR101961462B1 (en) Object recognition method and the device thereof
US20220139113A1 (en) Method and device for detecting object in image

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E601 Decision to refuse application