KR20180048234A - 저작 감지 시스템 및 제공 방법 - Google Patents

저작 감지 시스템 및 제공 방법 Download PDF

Info

Publication number
KR20180048234A
KR20180048234A KR1020170029224A KR20170029224A KR20180048234A KR 20180048234 A KR20180048234 A KR 20180048234A KR 1020170029224 A KR1020170029224 A KR 1020170029224A KR 20170029224 A KR20170029224 A KR 20170029224A KR 20180048234 A KR20180048234 A KR 20180048234A
Authority
KR
South Korea
Prior art keywords
authoring
motion
server
unit
user
Prior art date
Application number
KR1020170029224A
Other languages
English (en)
Other versions
KR101951541B1 (ko
Inventor
김성진
Original Assignee
김성진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김성진 filed Critical 김성진
Publication of KR20180048234A publication Critical patent/KR20180048234A/ko
Application granted granted Critical
Publication of KR101951541B1 publication Critical patent/KR101951541B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/224—Measuring muscular strength
    • A61B5/228—Measuring muscular strength of masticatory organs, e.g. detecting dental force
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 저작 감지 시스템 및 제공 방법에 관한 것으로, 사용자단말에 구비되며 사용자의 안면을 촬영하는 카메라 모듈; 상기 사용자단말과 연동되는 서버 및 상기 사용자단말 및 서버가 연동되도록 하는 통신부를 포함하고, 상기 서버는, 상기 카메라 모듈로부터 촬영된 안면영상을 입력 받아 모션 데이터를 추출하는 제1 모션 추출부; 상기 추출된 모션 데이터를 트래킹 데이터로 변환시키는 데이터 변환부; 상기 트래킹 데이터로 변환된 안면의 움직임으로부터 턱 관절 및 저작근 부분을 다시 모션 데이터로 변환하는 제2 모션 추출부; 상기 제2 모션 추출부로부터 생성된 사용자의 모션 데이터 저작속도와 기 설정된 저작속도를 비교하는 저작속도 비교부; 상기 제2 모션 추출부로부터 생성된 사용자의 모션 데이터 저작횟수와 기 설정된 저작횟수를 비교하는 저작횟수 비교부 및 상기 제2 모션 추출부로부터 생성된 사용자의 기준 시간당 좌우 턱 관절 및 저작근의 모션 데이터와 기 설정된 기준 시간과 좌우 저작횟수 비율을 비교하는 편측저작 비교부를 포함하는 저작 감지 시스템을 제공할 수 있다.

Description

저작 감지 시스템 및 제공 방법{Chewing motion detection system and method of providing}
본 발명은 저작 감지 시스템에 관한 것으로, 더욱 상세하게는 카메라 모듈로부터 입력된 사용자의 안면영상을 트래킹 데이터로 변환하여 턱 관절 모션데이터를 추출하여 저작속도, 저작횟수 및 편측저작 여부를 감지하고, 사용자에게 편측저작시 알림을 제공하는 저작 감지 시스템이다.
일반적인 저작감지 시스템은 사용자의 저작횟수 검출 장치, 턱의 진동을 검출하는 진동 검출부, 진동의 특징을 추출하는 특징 추출하는 특징 추출부, 저작횟수 검출부, 전력공급부, 저작횟수 검출부, 안착부로 구성되는 것이 일반적이었다.
상기와 같은 저작감지 시스템은 귀 안쪽에 다른 장치를 안착되는 구성이 필요하다.
귀에 안착된 장치는 저작근의 진동을 판별하여 저작횟수를 알 수 있도록 하기 위함이다.
그러나 귀에 안착되는 장치의 구성은 이물감을 느끼게하며, 별도의 장치가 추가되어 불편하고 번거로운 문제점이 있다.
또한, 기능적인 면에서도 한계가 있어 왔다.
상기와 같은 문제점을 해결하고자, 본 발명은 카메라 모듈을 이용하여 사용자의 안면을 인식한 안면영상을 트래킹 데이터로 변환하여 턱 관절 모션데이터를 추출함으로써, 저작속도, 저작횟수 및 편측저작 여부를 감지할 수 있는 저작 감지 시스템을 제공하는 데 있다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 저작 감지 시스템은, 사용자단말에 구비되며 사용자의 안면을 촬영하는 카메라 모듈; 사용자의 저작 습관을 감지하고, 사용자단말과 연동되는 서버 및 상기 사용자단말 및 서버가 연동되도록 하는 통신부를 포함하고, 상기 서버는, 상기 카메라 모듈로부터 촬영된 안면영상을 입력 받아 모션 데이터를 추출하는 제1 모션 추출부; 상기 추출된 모션 데이터를 트래킹 데이터로 변환시키는 데이터 변환부; 상기 트래킹 데이터로 변환된 안면의 움직임으로부터 턱 관절 및 저작근 부분을 다시 모션 데이터로 변환하는 제2 모션 추출부; 상기 제2 모션 추출부로부터 생성된 사용자의 모션 데이터 저작속도와 기 설정된 저작속도를 비교하는 저작속도 비교부; 상기 제2 모션 추출부로부터 생성된 사용자의 모션 데이터 저작횟수와 기 설정된 저작횟수를 비교하는 저작횟수 비교부 및 상기 제2 모션 추출부로부터 생성된 사용자의 기준 시간당 좌우 턱 관절 및 저작근의 모션 데이터와 기 설정된 기준 시간과 좌우 저작횟수 비율을 비교하는 편측저작 비교부를 포함할 수 있다.
또한, 상기 기 설정된 저작속도의 범위는 1초당 1회 내지 2회이고, 상기 기 설정된 저작횟수의 범위는 25초 내지 40초 동안 25회 내지 35회이고, 상기 기 설정된 시간당 좌우 저작횟수 비율은 45초 내지 50초 동안 1:1인 것을 특징으로 한다.
또한, 상기 서버는, 상기 저작속도 비교부로부터 비교된 결과에서 기 설정된 저작속도를 초과하면 사용자단말로 알림을 주는 저작속도 경고부; 상기 저작횟수 비교부로부터 비교된 결과에서 기 설정된 저작횟수를 초과하면 사용자단말로 알림을 주는 저작횟수 경고부 및 상기 편측저작 비교부로부터 비교된 결과에서 편측으로 저작여부가 감지되면 사용자단말로 알림을 주는 편측저작 경고부를 포함할 수 있다.
또한, 상기 저작속도 경고부, 저작횟수 경고부 및 편측저작 경고부는 사용자단말로 알림을 줄 때 텍스트 메시지 또는 음성 메시지로 전송될 수 있는 것을 특징으로 한다.
또한, 상기 서버는, 사용자의 안면의 움직임이 멈추면 사용자의 저작속도, 저작횟수 및 편측저작 여부 감지를 종료시키는 감지 종료부를 포함하고, 상기 감지 종료부는 사용자 식사 중에 저작속도, 저작횟수 및 편측저작 여부를 수집하여 종합적으로 정리하는 통계부를 포함하고, 상기 통계부는 수집된 저작속도, 저작횟수 및 편측저작 여부를 종합하여 사용자단말로 전송하는 것을 특징으로 한다.
또한, 본 발명의 제2실시예에 따른 저작 감지 시스템은, 상기 서버와 연동되는 병원서버를 더 포함하고, 상기 서버는, 상기 병원서버로 상기 통계부에서 수집된 저작속도, 저작횟수 및 편측저작 여부를 종합하여 전송하는 것을 특징으로 한다.
또한, 상기 서버는, 상기 트래킹 데이터로 변환된 안면의 움직임으로부터 입술부분을 다시 모션 데이터로 변환하는 제3 모션 추출부; 상기 제3 모션 추출부로부터 생성된 사용자의 모션 데이터 입술이 개구 되는 시간당 횟수와 기 설정된 시간당 횟수를 비교하는 입술 개구 비교부 및 상기 입술 개구 비교부로부터 비교된 결과에서 기 설정된 시간당 횟수와 일치하지 않으면 상기 사용자단말로 알림을 주는 입술 개구 경고부를 더 포함하고, 상기 기 설정된 시간당 횟수의 범위는 8분 내지 15분 동안 20회 내지 25회인 것을 특징으로 한다.
또한, 저작 감지 시스템 제공 방법에 있어서, (a) 의학적으로 증명된 정보를 기준으로 저작속도, 저작횟수의 기준값과 편측저작 여부의 기준값을 사용자단말로 설정하는 단계; (b) 사용자단말로 사용자의 식사 중 안면을 촬영하는 단계; (c) 사용자단말로 촬영된 안면영상을 서버로 전송하는 단계; (d) 서버에서 안면영상을 모션 데이터로 추출하는 단계; (e) 서버에서 추출된 모션 데이터를 트래킹 데이터로 변환시키는 단계; (f) 서버에서 트래킹 데이터로 변환된 안면의 움직임으로부터 턱 관절 및 저작근 움직임을 모션 데이터로 다시 변환시키는 단계 및 (g) 다시 변환된 턱 관절 및 저작근 모션 데이터를 통해 서버에서 저작속도, 저작횟수 및 편측저작 여부를 비교하는 단계를 포함하고, 상기 (g)단계에서 편측저작 여부는, 기준 시간당 좌우 턱 관절 및 저작근 부분의 모션 데이터를 비교하여 편측저작 여부를 감지하는 것을 특징으로 한다.
또한, 상기 (g) 단계 이후에는, 사용자의 저작속도, 저작횟수가 설정된 기준값과 일치하지 않을 경우 및 사용자의 좌우 턱 관절 및 저작근 움직임이 비례하지 않을 경우 사용자단말로 경고 메시지를 전송하는 단계를 포함할 수 있다.
또한, 사용자가 식사를 마치면 식사 중 감지되었던 저작속도, 저작횟수 및 편측저작 여부의 자료를 서버가 수집하는 단계 및 상기 서버로 수집된 저작속도, 저작횟수 및 편측저작 여부의 자료를 사용자단말로 전송하는 단계를 포함할 수 있다.
또한, 본 발명의 제2실시예에 따른 저작 감지 시스템 제공 방법은, 상기 서버로 수집된 저작속도, 저작횟수 및 편측저작 여부의 자료를 사용자가 지정한 병원서버로 전송하는 단계를 더 포함할 수 있다.
또한, 서버에서 트래킹 데이터로 변환된 안면의 움직임으로부터 입술의 개구를 모션 데이터로 다시 변환시키는 단계; 다시 변환된 입술의 개구 모션 데이터를 통해 서버에서 입술 개구에 대한 시간당 횟수를 비교하는 단계 및 사용자의 입술 개구 횟수가 설정된 기준값과 일치하지 않을 경우 사용자단말로 경고메시지를 전송하는 단계; 사용자가 식사를 마치면 식사 중 감지되었던 입술 개구 횟수의 자료를 서버가 수집하는 단계 및 상기 서버로 수집된 입술 개구 횟수의 자료를 사용자단말 및 병원서버로 전송하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 저작 감지 시스템은 카메라 모듈을 이용하여 사용자의 안면을 인식하여 안면영상을 얻는 간단한 기술로 기존의 귀안쪽에 따로 장치를 구비할 필요가 없고, 기능적인 면에서도 기존의 장치보다 합리적이다.
또한, 편측저작을 감지하는 구성이 있어 편측저작이 감지될 시 사용자에게 경고를 주는 알림을 주어 안 좋은 저작 습관을 고칠 수 있는 효과가 있다.
또한, 의학적으로 증명된 정보를 가지고 기 설정한 저작횟수 및 저작속도를 초과할 경우에도 사용자에게 경고를 주는 알림을 주어 안 좋은 습관을 완화시켜 턱 관절에 무리가 가는 것을 사전에 예방할 수 있도록 돕는다.
도 1은 본 발명의 일 실시예에 따른 저작 감지 시스템의 구성을 나타낸 도면이다.
도 2는 도 1에서 서버의 구성을 상세하게 나타낸 도면이다.
도 3은 도2의 서버의 구성 중 감지 종료부를 상세하게 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 저작 감지 시스템 제공 방법을 나열한 순서도 이다.
도 5는 본 발명의 제 2실시예에 따른 저작 감지 시스템의 구성을 나타낸 도면이다.
도 6는 본 발명의 제 2실시예에 따른 저작 감지 시스템 서버의 구성을 상세하게 나타낸 도면 이다.
도 7은 본 발명의 제 2실시예에 따른 저작 감지 시스템 제공 방법을 나열한 순서도 이다.
이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 본 발명의 실시 예를 첨부한 도 1 내지 도 7을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 저작 감지 시스템의 구성을 나타낸 도면이며, 도 2는 도 1에서 서버(100)의 구성을 상세하게 나타낸 도면이고, 도 3은 도2의 서버(100)의 구성 중 감지 종료부(170)를 상세하게 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 저작 감지 시스템 제공 방법을 나열한 순서도 이다.
다음으로, 도 5는 본 발명의 제 2실시예에 따른 저작 감지 시스템의 구성을 나타낸 도면이며, 도 6는 본 발명의 제 2실시예에 따른 저작 감지 시스템 서버의 구성을 상세하게 나타낸 도면이고, 도 7은 본 발명의 제 2실시예에 따른 저작 감지 시스템 제공 방법을 나열한 순서도 이다.
먼저, 도 1 내지 도 3을 참조하여 본 발명의 실시예에 따른 저작 감지 시스템의 구성에 대해 구체적으로 설명하면, 사용자의 안면(10), 사용자단말(20), 서버(100), 통신부(미도시)를 포함하여 구성될 수 있다.
통신부(미도시)는 본 발명에서 사용자단말(20), 서버(100) 및 서버(100) 내에서 이루어지는 통신을 말하는 것으로, 무선통신망을 통해 통신하는 스마트 폰을 포함하는 이동통신 단말기 및 유선통신망을 통해 통신하는 컴퓨터 환경 또는 태블릿PC에서 제공될 수 있다.
사용자의 안면(10)은 음식을 씹는 행위인 저작운동을 관찰하기 위해 사용자의 안면(10)을 필요로 한다.
다음으로, 사용자단말(20)은 사용자의 안면(10)을 촬영할 수 있는 카메라 모듈(25)을 포함할 수 있다.
서버(100)는 사용자단말(20)과 연동되어 사용자단말(20)의 카메라 모듈(25)로 사용자의 안면(10)을 촬영하면, 촬영된 사용자의 안면(10)영상을 입력 받는다.
여기서, 도 2를 참조하여 서버(100)의 구체적인 구성을 설명하도록 한다.
서버(100)는 제1 모션 추출부(110), 데이터 변환부(120), 제2 모션 추출부(130), 저작속도 비교부(140), 저작횟수 비교부(150), 편측저작 비교부(160), 저작속도 경고부(145), 저작횟수 경고부(155), 편측저작 경고부(165), 감지 종료부(170)를 포함하여 구성될 수 있다.
상기 서버(100)의 각 구성에 따라 상세하게 설명하면, 제1 모션 추출부(110)는 사용자단말(20)의 카메라 모듈(25)로부터 촬영된 사용자의 안면(10)영상을 입력 받아 촬영된 안면영상을 모션 데이터로 추출할 수 있다.
데이터 변환부(120)는 제1 모션 추출부(110)로부터 추출된 안면영상의 모션 데이터를 입력 받고, 입력 받은 모션 데이터를 트래킹 데이터로 변환할 수 있다.
여기서, 트래킹 데이터를 변환하는 것은 모션트래킹 기법을 이용하여 사용자의 안면(10)의 턱 관절 및 저작근 움직임을 감지하는 것이다.
모션트래킹은 실제 촬영한 영상에 그래픽을 합성할 때 촬영한 안면의 턱 관절 및 저작근의 움직임을 추적하여 좌표점을 알아낸 뒤 그 좌표점을 그래픽에 복사하여 화면속의 움직임과 같도록 하는 것이라 한다.
모션트래킹을 구현할 수 있는 Tool은 애프터 이펙트, 베가스, 프리미어 프로 등을 이용하여 구현 시킬 수 있다.
다음으로, 제2 모션 추출부(130)는 상기 데이터 변환부(120)로부터 변환된 트래킹 데이터에서 사용자의 안면(10) 중 턱 관절 및 저작근의 움직임을 다시 모션 데이터로 변환하여 추출할 수 있다.
추출된 사용자의 턱 관절 및 저작근의 움직임을 통해서 저작속도, 저작횟수 및 편측저작 여부를 비교할 수 있다.
상세하게는 저작속도 비교부(140), 저작횟수 비교부(150), 편측저작 비교부(160)로 구성되어 진행될 수 있다.
저작속도 비교부(140)는 사용자의 저작속도와 의학적으로 증명된 정보를 가지고 설정한 기준값과 비교할 수 있다.
저작횟수 비교부(150)는 사용자의 저작횟수와 의학적으로 증명된 정보를 가지고 설정한 기준값과 비교할 수 있다.
편측저작 비교부(160)는 사용자의 좌측 우측 턱 관절 및 저작근의 모션 데이터와 의학적으로 증명된 정보를 가지고 설정된 기준 시간에 따라 좌측 우측의 턱 관절 및 저작근 움직임이 비례하는 지 비교할 수 있다.
또한, 상기 서버(100)는 저작속도 경고부(145), 저작횟수 경고부(155), 편측저작 경고부(165)를 포함할 수 있다.
구체적으로, 저작속도 경고부(145)는 저작속도 비교부(140)로부터 전송된 사용자의 저작속도와 저작속도 기준값이 불 일치 시에 사용자의 단말로 경고메시지를 전송 할 수 있다.
또한, 저작횟수 경고부(155)는 저작횟수 비교부(150)로부터 전송된 사용자의 저작횟수와 저작횟수 기준값이 불 일치 시에 사용자의 단말로 경고메시지를 전송 할 수 있다.
또한, 편측저작 경고부(165)는 편측저작 비교부(160)로부터 전송된 사용자의 좌측 우측 턱 관절 및 저작근의 움직임이 기준 시간당 비례하지 않을 경우 사용자의 단말로 경고 메시지를 전송할 수 있다.
여기서, 상기 기 설정된 저작속도의 범위는 1초당 1회 내지 2회이고, 상기 기 설정된 저작횟수의 범위는 25초 내지 40초 동안 25회 내지 35회이고, 상기 기 설정된 시간당 좌우 저작횟수 비율은 45초 내지 50초 동안 1:1일 수 있으며, 비교하는 기준값의 범위이다.
상기 기준값의 범위는 널리 알려진 기준이거나 의학적으로 증명된 정보를 참고한 것이다.
여기서 경고 메시지의 전송의 형태는 텍스트, 음성 등으로 실시간으로 사용자단말(20)로 전송될 수 있다.
감지 종료부(170)는 사용자의 안면(10)의 움직임이 멈추면 즉 식사가 끝나면, 사용자의 저작속도, 저작횟수 및 편측저작 여부 감지를 종료시킬 수 있다.
또한, 감지 종료부(170)는 사용자 식사 중에 감지된 저작속도, 저작횟수 및 편측저작 여부에 관한 데이터를 종합하여 저장하고, 사용자단말(20)로 전송해주는 통계부(175)를 포함할 수 있다.
사용자단말(20)로 전송하는 형태는 텍스트, 음성 등의 형태일 수 있다.
다음으로, 도 4를 참조하여 본 발명의 일 실시예에 따른 저작 감지 시스템 제공 방법을 설명하면, 의학적으로 증명된 정보를 기준으로 저작속도, 저작횟수의 기준값과 편측저작 여부의 기준값을 사용자단말(20)로 설정하는 단계(S100), 사용자단말(20)로 사용자의 식사 중 안면을 촬영하는 단계(S101), 사용자단말(20)로 촬영된 안면영상을 서버(100)로 전송하는 단계(S102), 서버(100)에서 안면영상을 모션 데이터로 추출하는 단계(S103), 서버(100)에서 추출된 모션 데이터를 트래킹 데이터로 변환시키는 단계(S104), 서버(100)에서 트래킹 데이터로 변환된 안면의 움직임으로부터 턱 관절 및 저작근 움직임을 모션 데이터로 다시 변환시키는 단계(S105) 및 다시 변환된 턱 관절 및 저작근 모션 데이터를 통해 서버(100)에서 저작속도, 저작횟수 및 편측저작 여부를 비교하는 단계(S106, S107, S108), 사용자의 저작속도, 저작횟수가 설정된 기준값과 일치하지 않을 경우 및 사용자의 좌우 턱 관절 및 저작근 움직임이 비례하지 않을 경우 사용자단말로 경고 메시지를 전송하는 단계(S109)단계와 식사가 종료되는 단계(S110), 또한, 사용자가 식사를 마치면 식사 중 감지되었던 저작속도, 저작횟수 및 편측저작 여부의 자료를 서버가 수집하는 단계(S111) 및 상기 서버로 수집된 저작속도, 저작횟수 및 편측저작 여부의 자료를 사용자단말로 전송하는 단계(S112)를 포함할 수 있다.
또한, S108단계에서 편측저작 여부는, 기준 시간당 좌우 턱 관절 및 저작근 부분의 모션 데이터를 비교하여 편측저작 여부를 감지할 수 있다.
각 단계별로 구체적으로 설명하면, S100단계는 의학적으로 증명되거나 자명하게 알려진 정보를 통해 얻은 저작관련 데이터들을 바탕으로 사용자단말(20)로 저작속도, 저작횟수의 기준값 및 편측저작 여부의 기준 시간을 설정하는 단계이다.
S100단계에서 기준값 및 기준 시간은 사용자단말(20)에 의해 서버(100)가 입력 받고 저장할 수 있다.
S101단계는 사용자단말(20)로 사용자의 식사 중 안면을 촬영하는 단계이다.
S102단계는 S101단계에서 사용자단말(20)로 촬영된 사용자의 안면(10)영상을 서버(100)로 전송하는 단계이다.
S103단계는 S102단계에서 서버(100)로 수신된 안면영상을 모션 데이터로 추출하는 단계이다.
S104단계는 S103단계에서 서버(100)에서 추출된 안면영상의 모션 데이터를 트래킹 데이터로 변환 시켜주는 단계이다.
상세하게는, 모션트래킹 기법인 사용자의 안면(10)영상에서 턱 관절 및 저작근의 움직임을 추적하여 좌표점을 생성하는 것이 트래킹 데이터이다.
S105단계는 트래킹 데이터로 변환된 사용자의 안면(10)에서 턱 관절 및 저작근 부분의 움직임을 서버(100)에서 다시 모션 데이터로 변환시키는 단계이다.
S106단계는 서버(100)에서 변환된 턱 관절 및 저작근 부분의 모션 데이터를 바탕으로 기 설정된 저작속도 기준값과 사용자의 저작속도가 일치하는지 비교하는 단계이다.
S107단계는 서버(100)에서 변환된 턱 관절 및 저작근 부분의 모션 데이터를 바탕으로 기 설정된 저작횟수 기준값과 사용자의 저작횟수가 일치하는지 비교하는 단계이다.
S108단계는 서버(100)에서 변환된 턱 관절 및 저작근 부분의 모션 데이터를 바탕으로 기 설정된 기준 시간당 사용자의 좌측 우측 턱 관절 및 저작근의 움직임이 비례하는 지를 비교하는 단계이다.
다음으로, S109단계는 S106단계에서 사용자 저작속도와 서버(100)에 기 설정된 저작속도 기준값을 비교했을 때 일치하지 않을 경우 경고 메시지를 사용자단말(20)로 전송하는 단계이며, 마찬가지로 S107단계에서 사용자 저작횟수와 서버(100)에 기 설정된 저작횟수 기준값을 비교했을 때 일치하지 않을 경우 경고 메시지를 사용자단말(20)로 전송하는 단계일 수 있다.
또한, S108단계에서 기 설정된 기준 시간당 사용자의 좌측 우측 턱 관절 및 저작근의 움직임이 비례하지 않을 경우 경고 메시지를 사용자단말(20)로 전송하는 단계일 수 있다.
즉, S109단계는 S106 내지 S108단계에서 기준값과 일치하지 않거나 비례하지 않을 경우 경고메시지를 사용자단말(20)에 전송하는 단계일 수 있다.
여기서, 전송 형태는 앞에서 구성을 설명할 때 설명하였으므로 생략하도록 한다.
다음으로, 사용자의 안면(10)의 움직임이 감지되지 않을 경우에는 식사가 종료(S110)되었다고 판단될 수 있다.
S110단계에서 식사가 종료되었다고 판단되면, 식사 중 감지되었던 저작속도, 저작횟수 및 편측저작 여부의 자료를 서버(100)가 수집하는 단계(S111) 및 상기 서버(100)로 수집된 저작속도, 저작횟수 및 편측저작 여부의 자료를 사용자단말(20)로 전송하는 단계(S112)가 순차적으로 진행될 수 있다.
그러나, 사용자의 안면(10)의 움직임이 감지가 계속적으로 감지될 경우에는 식사가 종료되지 않음으로 판단될 수 있으며, 식사가 종료(S110)되지 않을 경우 다시 S105단계로 돌아가 순차적으로 진행될 수 있다.
또한, 도 5 내지 7을 참조하여, 본 발명의 제2실시예에 따른 저작 감지 시스템 및 제공 방법을 설명하면, 사용자의 안면(10), 사용자단말(20), 카메라모듈(25) 서버(200), 사용자가 지정한 병원서버(300)를 더 포함할 수 있다. 즉, 상기 병원서버(300)는 사용자가 자주 가는 치과나 이비인후과, 외과 등의 서버(200)일 수 있으며, 서버(200)에서 감지된 저작속도, 저작횟수 및 편측저작 여부의 자료를 종합하여 병원서버(300)로 전송할 수 있고, 병원서버(300)로 저장될 수 있다.
사용자가 바빠서 진료를 자주 받기 어려워 가끔씩 병원을 방문하더라도 자료가 병원서버(300)에서 최신으로 갱신될 수 있도록 하는 효과가 있다.
또한, 도 6을 참조하여 본 발명의 제2실시예에 따른 저작 감지 시스템 서버의 구성을 설명하면, 서버(200)는 제1 모션 추출부(210), 데이터 변환부(220), 제2 모션 추출부(230), 저작속도 비교부(240), 저작횟수 비교부(250), 편측저작 비교부(260), 저작속도 경고부(245), 저작횟수 경고부(255), 편측저작 경고부(265), 감지 종료부(270), 제3 모션 추출부(280), 입술 개구 비교부(290), 입술 개구 경고부(295)를 포함하여 구성될 수 있다.
상기 구성에서 제1 모션 추출부(210), 데이터 변환부(220), 제2 모션 추출부(230), 저작속도 비교부(240), 저작횟수 비교부(250), 편측저작 비교부(260), 저작속도 경고부(245), 저작횟수 경고부(255), 편측저작 경고부(265), 감지 종료부(270)의 구성에 대한 설명은 도 2에서 설명했던 구성에 대한 설명과 동일하므로, 이하에서 설명은 생략하도록 한다.
제3 모션 추출부(280), 입술 개구 비교부(290), 입술 개구 경고부(295)에 대해서 도 6을 이용하여 상세히 설명하면, 제3 모션 추출부(280)는 상기 트래킹 데이터로 변환된 안면의 움직임으로부터 입술부분을 다시 모션 데이터로 변환할 수 있다.
입술 개구 비교부(290)는 상기 제3 모션 추출부로부터 생성된 사용자의 모션 데이터 입술이 개구 되는 시간당 횟수와 기 설정된 시간당 횟수를 비교할 수 있다.
입술 개구 경고부(295)는 상기 입술 개구 비교부로부터 비교된 결과에서 기 설정된 시간당 횟수와 일치하지 않으면 상기 사용자단말(20)로 알림을 전송할 수 있다.
상기 기 설정된 시간당 횟수의 범위는 8분 내지 15분 동안 20회 내지 25회일 수 있다.
여기서 입술 개구의 횟수를 감지하는 것은 한번의 식사에서 기준 시간 당 몇 번 음식물이 들어 가는지 관찰하여 사용자의 저작 습관을 개선시키고, 사용자에게 인지시키기 위해서 이다.
다음으로, 도 7을 참조하여, 본 발명의 제2실시예에 따른 저작 감지 시스템 제공 방법을 설명하도록 한다.
저작속도, 저작횟수 및 편측저작 여부, 입술 개구 횟수에 대한 기준 범위는 의학적으로 증명된 정보 또는 널리 알려진 기준으로 하며, 저작속도, 저작횟수 및 편측저작 여부, 입술 개구의 기준값을 사용자단말(20)로 설정하는 단계(S200), 사용자단말(20)로 사용자의 식사 중 안면을 촬영하는 단계(S201), 사용자단말(20)로 촬영된 안면영상을 서버(200)로 전송하는 단계(S202), 서버(200)에서 안면영상을 모션 데이터로 추출하는 단계(S203), 서버(200)에서 추출된 모션 데이터를 트래킹 데이터로 변환시키는 단계(S204), 서버(200)에서 트래킹 데이터로 변환된 안면의 움직임으로부터 턱 관절 및 저작근, 입술 개구 부분을 모션 데이터로 다시 변환시키는 단계(S205) 및 다시 변환된 턱 관절 및 저작근, 입술 개구의 모션 데이터를 통해 서버(200)에서 저작속도, 저작횟수 및 편측저작 여부, 입술 개구를 비교하는 단계(S206, S207, S208, S209)를 포함할 수 있다.
S201단계 내지 S204단계, S206단계 내지 S208단계와 S210단계, S211단계까지는 본 발명의 일 실시예에 따른 저작 감지 시스템 제공 방법인 S101단계 내지 S104단계와 S106단계 내지 S108단계와 S109단계, S110단계와 동일하므로 구체적인 설명은 생략하도록 한다.
S200단계에서는 S100단계에서 입술 개구의 기준값을 설정하는 것을 더 포함한 것이다.
S205단계는 S105단계에서 입술 부분을 추가적으로 모션 데이터를 변환시키는 단계를 더 포함한 것이다.
S209단계는 입술 개구에 대해 비교하는 단계로써, S200단계에서 설정해 줬던 기준값과 사용자의 입술 개구 모션 데이터를 비교하는 단계이다.
여기서, S200단계에서 설정했던 입술 개구 기준값과 일치하지 않을 경우 사용자단말(20)로 경고 메시지를 전송(S210)하고, 일치하는 경우 식사종료 단계(S211)로 가거나, 식사종료가 아닐 경우는 S205단계 이후로 돌아간다.
S212단계 이후에는, 상기 서버(100)로 수집된 저작속도, 저작횟수 및 편측저작 여부, 입술 개구의 자료를 사용자단말(20) 및 사용자가 지정한 병원서버(300)로 전송하는 단계(S213)를 더 포함할 수 있다.
즉, S213단계는 S112단계에서 상기 서버(200)로 수집된 저작속도, 저작횟수 및 편측저작 여부, 입술 개구의 자료를 사용자단말(20)로 전송되는 것에 입술 개구에 대한 자료까지 수집해서 사용자가 지정한 병원서버(300)로 전송되는 것을 더 추가한 것이고, 병원서버(300)에 대한 앞에서 설명하였으므로 생략한다.
따라서, 본 발명은 저작속도, 저작횟수 및 편측저작 여부와 더불어 입술 개구를 비교하여 사용자의 안 좋은 식습관을 개선할 수 있는 효과가 있으며, 병원을 방문하여서 진료받는 시간을 단축할 수 있어 바쁜 현대인에게 적합한 저작 감지 시스템이다.
또한, 불 필요한 장치의 추가 없이 간단하게 사용자단말(20) 및 서버(100, 200)로 저작 감지를 할 수 있어 간편하게 식습관을 개선할 수 있다.
이상으로 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.
10 : 사용자 안면
20 : 사용자단말
25 : 카메라 모듈
100, 200 : 서버
110, 210 : 제1 모션 추출부
120, 220 : 데이터 변환부
130, 230 : 제2 모션 추출부
140, 240 : 저작속도 비교부
145, 245 : 저작속도 경고부
150, 250 : 저작횟수 비교부
155, 255 : 저작횟수 경고부
160, 260 : 편측저작 비교부
165, 265 : 편측저작 경고부
170, 270 : 감지 종료부
175, 275 : 통계부
280 : 제3 모션 추출부
290 : 입술 개구 비교부
295 : 입술 개구 경고부
300 : 병원서버

Claims (12)

  1. 저작 감지 시스템에 있어서,
    사용자단말에 구비되며 사용자의 안면을 촬영하는 카메라 모듈;
    상기 사용자단말과 연동되는 서버 및
    상기 사용자단말 및 서버가 연동되도록 하는 통신부를 포함하고,
    상기 서버는,
    상기 카메라 모듈로부터 촬영된 안면영상을 입력 받아 모션 데이터를 추출하는 제1 모션 추출부;
    상기 추출된 모션 데이터를 트래킹 데이터로 변환시키는 데이터 변환부;
    상기 트래킹 데이터로 변환된 안면의 움직임으로부터 턱 관절 및 저작근 부분을 다시 모션 데이터로 변환하는 제2 모션 추출부;
    상기 제2 모션 추출부로부터 생성된 사용자의 모션 데이터 저작속도와 기 설정된 저작속도를 비교하는 저작속도 비교부;
    상기 제2 모션 추출부로부터 생성된 사용자의 모션 데이터 저작횟수와 기 설정된 저작횟수를 비교하는 저작횟수 비교부 및
    상기 제2 모션 추출부로부터 생성된 사용자의 기준 시간당 좌우 턱 관절 및 저작근의 모션 데이터와 기 설정된 기준 시간과 좌우 저작횟수 비율을 비교하는 편측저작 비교부를 포함하는 저작 감지 시스템.
  2. 제 1 항에 있어서,
    상기 기 설정된 저작속도의 범위는 1초당 1회 내지 2회이고,
    상기 기 설정된 저작횟수의 범위는 25초 내지 40초 동안 25회 내지 35회이고,
    상기 기 설정된 시간당 좌우 저작횟수 비율은 45초 내지 50초 동안 1:1인 것을 특징으로 하는 저작 감지 시스템.
  3. 제 1 항에 있어서,
    상기 서버는,
    상기 저작속도 비교부로부터 비교된 결과에서 기 설정된 저작속도를 초과하면 사용자단말로 알림을 주는 저작속도 경고부;
    상기 저작횟수 비교부로부터 비교된 결과에서 기 설정된 저작횟수를 초과하면 사용자단말로 알림을 주는 저작횟수 경고부 및
    상기 편측저작 비교부로부터 비교된 결과에서 편측으로 저작여부가 감지되면 사용자단말로 알림을 주는 편측저작 경고부를 더 포함하는 저작 감지 시스템.
  4. 제 3 항에 있어서,
    상기 저작속도 경고부, 저작횟수 경고부 및 편측저작 경고부는 사용자단말로 알림을 줄 때 텍스트 메시지 또는 음성 메시지로 전송될 수 있는 것을 특징으로 하는 저작 감지 시스템.
  5. 제 1 항에 있어서,
    상기 서버는,
    사용자의 안면의 움직임이 멈추면 사용자의 저작속도, 저작횟수 및 편측저작 여부 감지를 종료시키는 감지 종료부를 더 포함하고,
    상기 감지 종료부는 사용자 식사 중에 저작속도, 저작횟수 및 편측저작 여부를 수집하여 종합적으로 정리하는 통계부를 더 포함하고,
    상기 통계부는 수집된 저작속도, 저작횟수 및 편측저작 여부를 종합하여 사용자단말로 전송하는 것을 특징으로 하는 저작 감지 시스템.
  6. 제 5 항에 있어서,
    상기 저작 감지 시스템은,
    상기 서버와 연동되는 병원서버를 더 포함하고,
    상기 서버는,
    상기 병원서버로 상기 통계부에서 수집된 저작속도, 저작횟수 및 편측저작 여부를 종합하여 전송하는 것을 특징으로 하는 저작 감지 시스템.
  7. 제 1 항에 있어서,
    상기 서버는,
    상기 트래킹 데이터로 변환된 안면의 움직임으로부터 입술부분을 다시 모션 데이터로 변환하는 제3 모션 추출부;
    상기 제3 모션 추출부로부터 생성된 사용자의 모션 데이터 입술이 개구 되는 시간당 횟수와 기 설정된 시간당 횟수를 비교하는 입술 개구 비교부 및
    상기 입술 개구 비교부로부터 비교된 결과에서 기 설정된 시간당 횟수와 일치하지 않으면 상기 사용자단말로 알림을 주는 입술 개구 경고부를 더 포함하고,
    상기 기 설정된 시간당 횟수의 범위는 8분 내지 15분 동안 20회 내지 25회인 것을 특징으로 하는 저작 감지 시스템.
  8. 저작 감지 시스템 제공 방법에 있어서,
    (a) 의학적으로 증명된 정보를 기준으로 사용자단말로 저작속도, 저작횟수의 기준값과 편측저작 여부의 기준값을 설정하는 단계;
    (b) 사용자단말로 사용자의 식사 중 안면을 촬영하는 단계;
    (c) 사용자단말로 촬영된 안면영상을 서버로 전송하는 단계;
    (d) 서버에서 안면영상을 모션 데이터로 추출하는 단계;
    (e) 서버에서 추출된 모션 데이터를 트래킹 데이터로 변환시키는 단계;
    (f) 서버에서 트래킹 데이터로 변환된 안면의 움직임으로부터 턱 관절 및 저작근의 움직임을 모션 데이터로 다시 변환시키는 단계 및
    (g) 다시 변환된 턱 관절 및 저작근 모션 데이터를 통해 서버에서 저작속도, 저작횟수 및 편측저작 여부를 비교하는 단계를 포함하고,
    상기 (g)단계에서 편측저작 여부는,
    기준 시간당 좌우 턱 관절 및 저작근 부분의 모션 데이터를 비교하여 편측저작 여부를 감지하는 것을 특징으로 하는 저작 감지 시스템 제공 방법.
  9. 제 8 항에 있어서,
    상기 (g) 단계 이후에는,
    사용자의 저작속도, 저작횟수가 설정된 기준값과 일치하지 않을 경우 및
    사용자의 좌우 턱 관절 및 저작근 움직임이 비례하지 않을 경우 사용자단말로 경고 메시지를 전송하는 단계를 포함하는 저작 감지 시스템 제공 방법.
  10. 제 8 항에 있어서,
    사용자가 식사를 마치면 식사 중 감지되었던 저작속도, 저작횟수 및 편측저작 여부의 자료를 서버가 수집하는 단계 및
    상기 서버로 수집된 저작속도, 저작횟수 및 편측저작 여부의 자료를 사용자단말로 전송하는 단계를 포함하는 저작 감지 시스템 제공 방법.
  11. 제 10 항에 있어서,
    상기 서버로 수집된 저작속도, 저작횟수 및 편측저작 여부의 자료를 사용자가 지정한 병원서버로 전송하는 단계를 더 포함하는 저작 감지 시스템 제공 방법.
  12. 제 8 항에 있어서,
    서버에서 트래킹 데이터로 변환된 안면의 움직임으로부터 입술의 개구를 모션 데이터로 다시 변환시키는 단계;
    다시 변환된 입술의 개구 모션 데이터를 통해 서버에서 입술 개구에 대한 시간당 횟수를 비교하는 단계;
    사용자의 입술 개구 횟수가 설정된 기준값과 일치하지 않을 경우 사용자단말로 경고메시지를 전송하는 단계;
    사용자가 식사를 마치면 식사 중 감지되었던 입술 개구 횟수의 자료를 서버가 수집하는 단계 및
    상기 서버로 수집된 입술 개구 횟수의 자료를 사용자단말 및 병원서버로 전송하는 단계를 더 포함하는 것을 특징으로 하는 저작 감지 시스템 제공 방법.
KR1020170029224A 2016-10-29 2017-03-08 저작 감지 시스템 및 제공 방법 KR101951541B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160142577 2016-10-29
KR1020160142577 2016-10-29

Publications (2)

Publication Number Publication Date
KR20180048234A true KR20180048234A (ko) 2018-05-10
KR101951541B1 KR101951541B1 (ko) 2019-02-22

Family

ID=62185258

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170029224A KR101951541B1 (ko) 2016-10-29 2017-03-08 저작 감지 시스템 및 제공 방법

Country Status (1)

Country Link
KR (1) KR101951541B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010645A1 (ko) * 2019-07-17 2021-01-21 포항공과대학교 산학협력단 식사 모니터링 방법, 장치 및 시스템
KR20220049237A (ko) * 2020-10-14 2022-04-21 연세대학교 산학협력단 삼킴 모니터링 및 훈련을 위한 방법, 디바이스 및 기록매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242902A (ja) * 2003-02-14 2004-09-02 Masafumi Matsumura 咀嚼回数検出装置及びそのプログラム
JP2013192865A (ja) * 2012-03-22 2013-09-30 Terumo Corp マウスピース及びそれを用いたトレーニング装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242902A (ja) * 2003-02-14 2004-09-02 Masafumi Matsumura 咀嚼回数検出装置及びそのプログラム
JP2013192865A (ja) * 2012-03-22 2013-09-30 Terumo Corp マウスピース及びそれを用いたトレーニング装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021010645A1 (ko) * 2019-07-17 2021-01-21 포항공과대학교 산학협력단 식사 모니터링 방법, 장치 및 시스템
KR20210009708A (ko) * 2019-07-17 2021-01-27 포항공과대학교 산학협력단 식사 모니터링 방법, 장치 및 시스템
KR20220049237A (ko) * 2020-10-14 2022-04-21 연세대학교 산학협력단 삼킴 모니터링 및 훈련을 위한 방법, 디바이스 및 기록매체

Also Published As

Publication number Publication date
KR101951541B1 (ko) 2019-02-22

Similar Documents

Publication Publication Date Title
US10229571B2 (en) Systems and methods for determining whether an individual suffers a fall requiring assistance
TW202134940A (zh) 監測方法、電子設備和儲存介質
JP7138931B2 (ja) 姿勢解析装置、姿勢解析方法、及びプログラム
TWI474173B (zh) 行走輔助系統及行走輔助方法
WO2015133195A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN112640427A (zh) 用于配置热成像系统的用户界面
JP6720909B2 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
CN110706449A (zh) 一种婴幼儿监测方法、装置与摄像设备及存储介质
Joshi et al. A fall detection and alert system for an elderly using computer vision and Internet of Things
KR101951541B1 (ko) 저작 감지 시스템 및 제공 방법
CN111292859A (zh) 一种智能音箱设备及其家庭健康监护方法和装置
KR101479271B1 (ko) 신생아 정보 전송 시스템 및 방법
JP6870465B2 (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
US11138415B2 (en) Smart vision sensor system and method
KR20150077846A (ko) 유아에 대한 안전 감시 시스템
CN113392715A (zh) 一种厨师帽佩戴检测方法
JP5669302B2 (ja) 行動情報収集システム
KR20160014470A (ko) 비시각 정보 제공 기반의 컴퓨터 보조 진단 지원 장치 및 방법과, 컴퓨터 보조 진단 시스템
US20230135997A1 (en) Ai monitoring and processing system
KR102364424B1 (ko) 영상수집장치를 활용한 원격 낙상 유무 확인 판별 시스템
JP6115689B1 (ja) 転倒検知装置および転倒検知方法ならびに被監視者監視装置
CN109924946A (zh) 一种救援方法及装置
KR100961476B1 (ko) 행동 패턴 인식 장치 및 방법
CN114360020A (zh) 口腔清洁区域识别方法、装置、电子设备及存储介质
KR20090022673A (ko) 무선 모니터링 시스템 및 그 동작방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant