KR101880522B1 - 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법 - Google Patents

영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법 Download PDF

Info

Publication number
KR101880522B1
KR101880522B1 KR1020160182280A KR20160182280A KR101880522B1 KR 101880522 B1 KR101880522 B1 KR 101880522B1 KR 1020160182280 A KR1020160182280 A KR 1020160182280A KR 20160182280 A KR20160182280 A KR 20160182280A KR 101880522 B1 KR101880522 B1 KR 101880522B1
Authority
KR
South Korea
Prior art keywords
user
pixel
calculating
value
body center
Prior art date
Application number
KR1020160182280A
Other languages
English (en)
Other versions
KR20180077683A (ko
Inventor
김현덕
손명규
이상헌
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020160182280A priority Critical patent/KR101880522B1/ko
Publication of KR20180077683A publication Critical patent/KR20180077683A/ko
Application granted granted Critical
Publication of KR101880522B1 publication Critical patent/KR101880522B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법에 관한 것이다.
본 발명에 따르면, 트레드밀 감시 장치를 이용한 위험 상황 감지 방법에 있어서, 위험 상황 감지 방법은 트레트밀을 이용하여 운동중인 사용자를 촬영한 RGB 영상 및 깊이 영상을 수신하는 단계, 상기 RGB 영상으로부터 사용자 얼굴 영역을 추출하고, 현재 시점에서의 사용자 얼굴 영역과 이전 시점에서의 사용자 얼굴 영역의 픽셀 변위 값에 대응하는 얼굴 위치 변화량을 산출하는 단계, 상기 깊이 영상으로부터 사용자 신체 중심축을 추출하고, 상기 깊이 영상의 수직축과 상기 사용자 신체 중심축이 형성하는 각도에 대응하는 신체 중심축 기울기량을 산출하는 단계, 상기 얼굴 위치 변화량 및 신체 중심축 기울기량을 이용하여 위험 상황 스코어를 산출하는 단계, 그리고 상기 위험 상황 스코어를 기 설정된 위험 임계치를 비교하고, 비교 결과에 대응하여 사용자의 위험 상황을 외부로 알리는 단계를 포함한다.
이와 같이 본 발명에 따르면, 사용자의 트레드밀 운동시 응급상황을 자동으로 판단하여 알람을 울려줌과 동시에 보호자 및 트레이너에게 메시지를 전송함으로써 편리하고 안전한 트레드밀 운동을 수행할 수 있는 장점이 있다.

Description

영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법{APPARATUS OF DETECTING TREADMILL BASED IMAGE ANALYSIS AND METHOD OF DETECTING EMERGENCY USING THE SAME}
본 발명은 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법에 관한 것으로서, 더욱 상세하게는 트레드밀 사용자의 위험 상황을 실시간으로 감지하여 주위에 알림으로써 트레드밀 사용자의 안전사고를 예방하기 위한 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법에 관한 것이다.
최근 인구의 고령화 및 라이프 스타일의 변화에 따라 개인 건강에 관한 관심이 꾸준히 증가함과 동시에 트레드밀을 이용하여 개인 건강을 관리하는 사람들이 또한 증가하고 있다.
하지만 트레드밀은 회전무한궤도의 벨트 위를 사용자가 달림으로써 운동을 수행하는 장치인 만큼 갑작스런 응급 상황이 발생할 수 있다. 예를 들어, 무리한 운동 강도로 인하여 트레드밀에서 떨어져 골절상을 입게 된다거나, 심정지나 부정맥 등으로 인해 의식을 잃는 경우가 발생할 수 있다.
이러한 경우, 사용자 주변에 보조자가 상주하고 있다면 응급 상황에 따른 응급 조치가 가능하나, 주변에 보조자 없이 운동하는 도중에 응급 상황이 발생하게 되면 응급 조치가 어려워 자칫 큰 안전사고로 이어질 수 있다.
따라서, 트레드밀 운동 중에 발생하는 응급 상황에 빠르게 대처할 수 있도록 위험 상황을 정확히 감지하여 주변인에 알릴 수 있는 기술이 요구된다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1431257호(2014.08.14.공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 트레드밀 사용자의 위험 상황을 실시간으로 감지하여 주위에 알림으로써 트레드밀 사용자의 안전사고를 예방하기 위한 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면 트레드밀 감시 장치를 이용한 위험 상황 감지 방법에 있어서, 위험 상황 감지 방법은 트레트밀을 이용하여 운동중인 사용자를 촬영한 RGB 영상 및 깊이 영상을 수신하는 단계, 상기 RGB 영상으로부터 사용자 얼굴 영역을 추출하고, 현재 시점에서의 사용자 얼굴 영역과 이전 시점에서의 사용자 얼굴 영역의 픽셀 변위 값에 대응하는 얼굴 위치 변화량을 산출하는 단계, 상기 깊이 영상으로부터 사용자 신체 중심축을 추출하고, 상기 깊이 영상의 수직축과 상기 사용자 신체 중심축이 형성하는 각도에 대응하는 신체 중심축 기울기량을 산출하는 단계, 상기 얼굴 위치 변화량 및 신체 중심축 기울기량을 이용하여 위험 상황 스코어를 산출하는 단계, 그리고 상기 위험 상황 스코어를 기 설정된 위험 임계치를 비교하고, 비교 결과에 대응하여 사용자의 위험 상황을 외부로 알리는 단계를 포함한다.
상기 얼굴 위치 변화량을 산출하는 단계는, 기 설정된 얼굴 영역 검출 알고리즘을 이용하여 상기 RGB 영상으로부터 상기 사용자의 얼굴 영역을 검출하는 단계, 상기 검출된 얼굴 영역의 중심 픽셀에 대한 2차원 좌표값 및 상기 중심 픽셀에 대응하는 상기 깊이 영상의 픽셀값을 추출하는 단계, 상기 추출된 중심 픽셀에 대한 2차원 좌표값 및 상기 중심 픽셀에 대응하는 상기 깊이 영상의 픽셀값을 이용하여 상기 중심 픽셀에 대한 3차원 좌표값을 산출하는 단계, 그리고 현재 시점에서의 중심 픽셀에 대한 3차원 좌표값과 이전 시점에서의 중심 픽셀에 대한 3차원 좌표값 사이의 유클리디언 거리를 얼굴 위치 변화량으로 산출하는 단계를 포함할 수 있다.
상기 신체 중심축 기울기량을 산출하는 단계는, 상기 깊이 영상에서 기 설정된 임계치보다 크거나 같은 픽셀값은 1로 설정하고 상기 기 설정된 임계치보다 작은 픽셀값은 0으로 설정하여 이진화 영상을 생성하는 단계, 상기 이진화 영상으로부터 픽셀값이 1인 사용자 영역의 윤곽선에 따른 타원 영역을 산출하는 단계, 그리고 상기 타원 영역의 장축과 상기 이진화 영상의 수직축이 형성하는 각도를 상기 신체 중심축 기울기량으로 산출하는 단계를 포함할 수 있다.
상기 위험 상황 스코어를 산출하는 단계는, 상기 얼굴 위치 변화량 및 상기 신체 중심축 기울기량에 각각의 기 설정된 가중치를 곱한 값을 합산하여 상기 위험 상황 스코어를 산출할 수 있다.
상기 사용자의 위험 상황을 출력하는 단계는, 상기 위험 상황 스코어가 기 설정된 위험 임계치보다 크면 경고 신호를 출력함과 동시에 기 등록된 타 사용자에게 응급 상황을 전송할 수 있다.
본 발명의 다른 실시예에 따른 트레드밀 감시 장치는 트레트밀을 이용하여 운동중인 사용자를 촬영한 RGB 영상 및 깊이 영상을 수신하는 수신부, 상기 RGB 영상으로부터 사용자 얼굴 영역을 추출하고, 현재 시점에서의 사용자 얼굴 영역과 이전 시점에서의 사용자 얼굴 영역의 픽셀 변위 값에 대응하는 얼굴 위치 변화량을 산출하며, 상기 깊이 영상으로부터 사용자 신체 중심축을 추출하고, 상기 깊이 영상의 수직축과 상기 사용자 신체 중심축이 형성하는 각도에 대응하는 신체 중심축 기울기량을 산출하는 변위량 산출부, 상기 얼굴 위치 변화량 및 신체 중심축 기울기량을 이용하여 위험 상황 스코어를 산출하는 스코어 산출부, 그리고 상기 위험 상황 스코어를 기 설정된 위험 임계치를 비교하고, 비교 결과에 대응하여 사용자의 위험 상황을 외부로 알리는 알림부를 포함한다.
이와 같이 본 발명에 따르면, 사용자의 트레드밀 운동시 응급상황을 자동으로 판단하여 알람을 울려줌과 동시에 보호자 및 트레이너에게 메시지를 전송함으로써 편리하고 안전한 트레드밀 운동을 수행할 수 있는 장점이 있다.
또한, 두 개의 촬영 영상을 통해 사용자의 얼굴 위치 변화 및 신체 중심축 변화를 산출하여 위험 상황을 감지하므로 응급상황에 대한 판단 정확도가 높다.
도 1은 본 발명의 실시예에 따른 트레드밀 감시 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 위험 상황 감지 방법의 순서도이다.
도 3은 도 2의 S220 단계를 상세하게 설명하기 위한 순서도이다.
도 4는 도 2의 S220 단계를 상세하게 설명하기 위한 도면이다.
도 5는 도 2의 S230 단계를 상세하게 설명하기 위한 순서도이다.
도 6은 도 2의 S230 단계를 상세하게 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
우선, 도 1을 통해 본 발명의 실시예에 따른 영상 분석 기반의 트레드밀 감시 장치에 대해 살펴보도록 한다.
도 1은 본 발명의 실시예에 따른 트레드밀 감시 장치의 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 트레드밀 감시 장치(100)는 수신부(110), 변위량 산출부(120), 스코어 산출부(130) 및 알림부(140)를 포함한다.
먼저, 수신부(110)는 트레트밀을 이용하여 운동중인 사용자를 촬영한 RGB 영상 및 깊이(depth) 영상을 수신한다. 여기서, 수신부(110)는 트레드밀을 이용하여 운동중인 사용자를 촬영하는 카메라로부터 유선 또는 무선 네트워크를 통해 RGB 영상 및 깊이 영상을 수신한다. 이때, 카메라는 RGB 영상과 깊이 영상을 동시에 촬영할 수 있는 RGB-D 카메라를 포함한다.
변위량 산출부(120)는 RGB 영상으로부터 사용자 얼굴 영역을 추출하고, 현재 시점에서의 사용자 얼굴 영역과 이전 시점에서의 사용자 얼굴 영역의 픽셀 변위 값에 대응하는 얼굴 위치 변화량을 산출한다.
구체적으로 변위량 산출부(120)는 기 설정된 얼굴 영역 검출 알고리즘을 이용하여 RGB 영상으로부터 상기 사용자의 얼굴 영역을 검출한다.
그리고, 변위량 산출부(120)는 검출된 얼굴 영역의 중심 픽셀에 대한 2차원 좌표값 및 중심 픽셀에 대응하는 깊이 영상의 픽셀값을 추출한다.
또한, 변위량 산출부(120)는 추출된 중심 픽셀에 대한 2차원 좌표값 및 중심 픽셀에 대응하는 깊이 영상의 픽셀값을 이용하여 중심 픽셀에 대한 3차원 좌표값을 산출한다.
그러면, 변위량 산출부(120)는 현재 시점에서의 중심 픽셀에 대한 3차원 좌표값과 이전 시점에서의 중심 픽셀에 대한 3차원 좌표값 사이의 유클리디언 거리를 얼굴 위치 변화량으로 산출한다.
또한, 변위량 산출부(120)는 깊이 영상으로부터 사용자 신체 중심축을 추출하고, 깊이 영상의 수직축과 사용자 신체 중심축이 형성하는 각도에 대응하는 신체 중심축 기울기량을 산출한다.
구체적으로, 변위량 산출부(120)는 깊이 영상에서 기 설정된 임계치보다 크거나 같은 픽셀값은 1로 설정하고 기 설정된 임계치보다 작은 픽셀값은 0으로 설정하여 이진화 영상을 생성한다.
그리고, 변위량 산출부(120)는 이진화 영상으로부터 픽셀값이 1인 사용자 영역의 윤곽선에 따른 타원 영역을 산출한다.
그러면, 변위량 산출부(120)는 타원 영역의 장축과 이진화 영상의 수직축이 형성하는 각도를 상기 신체 중심축 기울기량으로 산출한다.
스코어 산출부(130)는 얼굴 위치 변화량 및 신체 중심축 기울기량을 이용하여 위험 상황 스코어를 산출한다.
구체적으로, 스코어 산출부(130)는 얼굴 위치 변화량 및 신체 중심축 기울기량에 각각의 기 설정된 가중치를 곱한 값을 합산하여 위험 상황 스코어를 산출한다.
알림부(140)는 위험 상황 스코어를 기 설정된 위험 임계치를 비교하고, 비교 결과에 대응하여 사용자의 위험 상황을 외부로 알린다.
구체적으로, 알림부(140)는 위험 상황 스코어가 기 설정된 위험 임계치보다 크면 경고 신호를 출력함과 동시에 기 등록된 타 사용자에게 응급 상황을 전송한다.
이하에서는 도 2 내지 도 6을 통해 본 발명의 실시예에 따른 트레드밀 감시 장치를 이용한 위험상황 감지 방법에 대해 살펴보도록 한다.
도 2는 본 발명의 실시예에 따른 위험 상황 감지 방법의 순서도이다.
도 2에 도시된 바와 같이, 수신부(110)는 트레트밀을 이용하여 운동중인 사용자를 촬영한 RGB 영상 및 깊이 영상을 수신한다(S210).
그러면, 변위량 산출부(120)는 RGB 영상으로부터 사용자 얼굴 영역을 추출하고, 현재 시점에서의 사용자 얼굴 영역과 이전 시점에서의 사용자 얼굴 영역의 픽셀 변위 값에 대응하는 얼굴 위치 변화량을 산출한다(S220).
도 3은 도 2의 S220 단계를 상세하게 설명하기 위한 순서도이고, 도 4는 도 2의 S220 단계를 상세하게 설명하기 위한 도면이다.
도 3에 도시된 바와 같이, 우선, 변위량 산출부(120)는 기 설정된 얼굴 영역 검출 알고리즘을 이용하여 RGB 영상으로부터 사용자의 얼굴 영역을 검출한다(S222).
이때, 기 설정된 얼굴 영역 검출 알고리즘은 하르 특징(Haar feature) 분류 알고리즘, 아다부스트(Adaboost) 분류 알고리즘을 포함하며, 이 외에도 영상으로부터 사람의 얼굴 영역을 검출할 수 있는 알고리즘을 모두 포함한다.
이러한 얼굴 영역 검출 알고리즘을 통해 RGB 영상으로부터 사용자의 얼굴 영역을 검출하는 방법은 통상의 기술자에게 자명한 사항인바 구체적인 설명은 생략하도록 한다.
그리고, 변위량 산출부(120)는 검출된 얼굴 영역의 중심 픽셀에 대한 2차원 좌표값 및 중심 픽셀에 대응하는 깊이 영상의 픽셀값을 추출한다(S224).
예를 들어, 도 4에서와 같이, RGB 영상으로부터 사용자의 얼굴 영역(점선으로 둘러 쌓인 사각 영역)이 검출되었다고 가정한다. 그러면, 변위량 산출부(120)는 사용자 얼굴 영역, 즉 사각 영역의 최좌측 최상단의 픽셀 좌표 (a,b) 및 사각 영역의 너비(w) 및 높이(h)를 검출한다. 그리고, 변위량 산출부(120)는 사각 영역의 픽셀 좌표 (a,b), 너비(w) 및 높이(h)를 이용하여 얼굴 영역의 중심 픽셀에 대한 2차원 좌표값(xc,yc)을 추출한다.
이후, 변위량 산출부(120)는 2차원 좌표값 (xc,yc)에 대응하는 깊이 영상의 픽셀을 검출하고, 해당 픽셀의 깊이값을 추출한다.
변위량 산출부(120)는 아래의 수학식을 이용하여 얼굴 영역의 중심 픽셀의 2차원 좌표값 및 깊이값을 검출할 수 있다.
Figure 112016129048386-pat00001
여기서 xc는 중심 픽셀의 x축 좌표값을 의미하고, x는 얼굴 영역의 최좌측 최상단에 위치하는 픽셀의 x축 좌표값을 의미한다. yc는 중심 픽셀의 x축 좌표값을 의미하고, x는 얼굴 영역의 최좌측 최상단에 위치하는 픽셀의 x축 좌표값을 의미한다. zc는 는 중심 픽셀의 x축 좌표값을 의미하고, Depth(xc,yc)는 해당 2차원 좌표값에 대응하는 픽셀의 깊이값을 의미한다.
다음으로, 변위량 산출부(120)는 추출된 중심 픽셀에 대한 2차원 좌표값 및 중심 픽셀에 대응하는 깊이 영상의 픽셀값을 이용하여 중심 픽셀에 대한 3차원 좌표값을 산출한다(S226). 예를 들어, 2차원 좌표값이 (xc,yc)이고, 중심 픽셀의 깊이값이 zc이면, 중심 픽셀에 대한 3차원 좌표값은 (xc,yc,zc)가 된다.
그러면, 변위량 산출부(120)는 현재 시점에서의 중심 픽셀에 대한 3차원 좌표값과 이전 시점에서의 중심 픽셀에 대한 3차원 좌표값 사이의 유클리디언 거리를 얼굴 위치 변화량으로 산출한다(S228). 구체적으로, 변위량 산출부(120)는 현재의 영상 프레임과 1초전의 영상 프레임의 중심 픽셀에 대한 3차원 좌표값 사이의 유클리디언 거리를 연산할 수 있으며, 해당 유클리디언 거리는 얼굴 위치 변화량이 된다.
이때, 변위량 산출부(120)는 아래의 수학식 2를 이용하여 얼굴 위치 변화량(Δt)을 산출할 수 있다.
Figure 112016129048386-pat00002
여기서, (xt,yt,zt)는 현재 시점에서의 중심 픽셀에 대한 3차원 좌표값을 의미하고, (xt - 1,yt - 1,zt - 1)는 이전 시점에서의 중심 픽셀에 대한 3차원 좌표값을 의미한다.
또한, 변위량 산출부(120)는 깊이 영상으로부터 사용자 신체 중심축을 추출하고, 깊이 영상의 수직축과 사용자 신체 중심축이 형성하는 각도에 대응하는 신체 중심축 기울기량을 산출한다(S230).
도 5는 도 2의 S230 단계를 상세하게 설명하기 위한 순서도이고, 도 6은 도 2의 S230 단계를 상세하게 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 변위량 산출부(120)는 깊이 영상에서 기 설정된 임계치보다 크거나 같은 픽셀값은 1로 설정하고 기 설정된 임계치보다 작은 픽셀값은 0으로 설정하여 이진화 영상을 생성한다(S232).
이때, 도 6에서와 같이, 이진화 영상은 픽셀값이 1인 사용자 영역(흰색 영역)과 픽셀값이 0인 그 외의 영역(검은색 영역)으로 표현될 수 있다.
그리고, 변위량 산출부(120)는 이진화 영상으로부터 픽셀값이 1인 사용자 영역의 윤곽선에 따른 타원 영역을 산출한다(S234). 구체적으로, 변위량 산출부(120)는 도 6에서와 같이 사용자 영역의 윤곽선을 검출한 후, 윤곽선에 따른 타원 영역을 검출한다.
그러면, 변위량 산출부(120)는 타원 영역의 장축과 이진화 영상의 수직축이 형성하는 각도를 신체 중심축 기울기량으로 산출한다(S236). 즉, 도 6에서 타원 영역의 장축과 영상의 수직축이 형성하는 각도가 신체 중심축 기울기량이 된다.
한편, S230 단계는 S220 단계보다 우선하여 진행될 수 있으며, S220 단계와 동시에 진행될 수도 있다.
S220 및 S230 단계로부터 얼굴 위치 변화량 및 신체 중심축 기울기량을 산출한 후, 스코어 산출부(130)는 얼굴 위치 변화량 및 신체 중심축 기울기량을 이용하여 위험 상황 스코어를 산출한다(S240).
구체적으로, 스코어 산출부(130)는 얼굴 위치 변화량 및 신체 중심축 기울기량에 각각의 기 설정된 가중치를 곱한 값을 합산하여 위험 상황 스코어를 산출한다.
이때, 스코어 산출부(130)는 아래의 수학식 3을 통해 위험 상황 스코어(scoret)를 산출할 수 있다.
Figure 112016129048386-pat00003
여기서, w1은 얼굴 위치 변화량에 대응하는 가중치를 의미하고, w2는 신체 중심축 기울기량에 대응하는 가중치를 의미한다.
그리고, 알림부(140)는 위험 상황 스코어를 기 설정된 위험 임계치를 비교하고(S250), 비교 결과에 대응하여 사용자의 위험 상황을 외부로 알린다(S260).
구체적으로 알림부(140)는 위험 상황 스코어가 기 설정된 위험 임계치보다 크면 경고 신호를 출력함과 동시에 기 등록된 타 사용자에게 응급 상황을 전송하고, 위험 임계치보다 작거나 같으면 응급 상황을 전송하지 않는다.
예를 들어, 위험 상황 스코어가 기 설정된 위험 임계치보다 커 위험 상황이 발생하였다고 판단되면, 알림부(140)는 기 등록된 보호자 및 트레이너의 단말기로 경고 메시지를 송출함과 동시에 주변 사람들에게 위험 상황을 알리기 위한 경보음을 출력할 수 있다.
본 발명의 실시예에 따르면, 사용자의 트레드밀 운동시 응급상황을 자동으로 판단하여 알람을 울려줌과 동시에 보호자 및 트레이너에게 메시지를 전송함으로써 편리하고 안전한 트레드밀 운동을 수행할 수 있는 장점이 있다.
또한, 두 개의 촬영 영상을 통해 사용자의 얼굴 위치 변화 및 신체 중심축 변화를 산출하여 위험 상황을 감지하므로 응급상황에 대한 판단 정확도가 높다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 트레드밀 감시 장치 110 : 수신부
120 : 변위량 산출부 130 : 스코어 산출부
140 : 알림부

Claims (10)

  1. 트레드밀 감시 장치를 이용한 위험 상황 감지 방법에 있어서,
    트레트밀을 이용하여 운동중인 사용자를 촬영한 RGB 영상 및 깊이 영상을 수신하는 단계,
    상기 RGB 영상으로부터 사용자 얼굴 영역을 추출하고, 현재 시점에서의 사용자 얼굴 영역과 이전 시점에서의 사용자 얼굴 영역의 픽셀 변위 값에 대응하는 얼굴 위치 변화량을 산출하는 단계,
    상기 깊이 영상으로부터 사용자 신체 중심축을 추출하고, 상기 깊이 영상의 수직축과 상기 사용자 신체 중심축이 형성하는 각도에 대응하는 신체 중심축 기울기량을 산출하는 단계,
    상기 얼굴 위치 변화량 및 신체 중심축 기울기량을 이용하여 위험 상황 스코어를 산출하는 단계, 그리고
    상기 위험 상황 스코어를 기 설정된 위험 임계치를 비교하고, 비교 결과에 대응하여 사용자의 위험 상황을 외부로 알리는 단계를 포함하며,
    상기 위험 상황 스코어를 산출하는 단계는,
    다음의 수학식과 같이 상기 얼굴 위치 변화량 및 상기 신체 중심축 기울기량에 각각의 기 설정된 가중치를 곱한 값을 합산하여 상기 위험 상황 스코어를 산출하는 위험 상황 감지 방법:
    Figure 112018024701580-pat00010

    여기서, w1은 얼굴 위치 변화량(
    Figure 112018024701580-pat00011
    t)에 대응하는 가중치를 의미하고, w2는 신체 중심축 기울기량(θt)에 대응하는 가중치를 의미한다.
  2. 제1항에 있어서,
    상기 얼굴 위치 변화량을 산출하는 단계는,
    기 설정된 얼굴 영역 검출 알고리즘을 이용하여 상기 RGB 영상으로부터 상기 사용자의 얼굴 영역을 검출하는 단계,
    상기 검출된 얼굴 영역의 중심 픽셀에 대한 2차원 좌표값 및 상기 중심 픽셀에 대응하는 상기 깊이 영상의 픽셀값을 추출하는 단계,
    상기 추출된 중심 픽셀에 대한 2차원 좌표값 및 상기 중심 픽셀에 대응하는 상기 깊이 영상의 픽셀값을 이용하여 상기 중심 픽셀에 대한 3차원 좌표값을 산출하는 단계, 그리고
    현재 시점에서의 중심 픽셀에 대한 3차원 좌표값과 이전 시점에서의 중심 픽셀에 대한 3차원 좌표값 사이의 유클리디언 거리를 얼굴 위치 변화량으로 산출하는 단계를 포함하는 위험 상황 감지 방법.
  3. 제1항에 있어서,
    상기 신체 중심축 기울기량을 산출하는 단계는,
    상기 깊이 영상에서 기 설정된 임계치보다 크거나 같은 픽셀값은 1로 설정하고 상기 기 설정된 임계치보다 작은 픽셀값은 0으로 설정하여 이진화 영상을 생성하는 단계,
    상기 이진화 영상으로부터 픽셀값이 1인 사용자 영역의 윤곽선에 따른 타원 영역을 산출하는 단계, 그리고
    상기 타원 영역의 장축과 상기 이진화 영상의 수직축이 형성하는 각도를 상기 신체 중심축 기울기량으로 산출하는 단계를 포함하는 위험 상황 감지 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 사용자의 위험 상황을 출력하는 단계는,
    상기 위험 상황 스코어가 기 설정된 위험 임계치보다 크면 경고 신호를 출력함과 동시에 기 등록된 타 사용자에게 응급 상황을 전송하는 위험 상황 감지 방법.
  6. 트레트밀을 이용하여 운동중인 사용자를 촬영한 RGB 영상 및 깊이 영상을 수신하는 수신부,
    상기 RGB 영상으로부터 사용자 얼굴 영역을 추출하고, 현재 시점에서의 사용자 얼굴 영역과 이전 시점에서의 사용자 얼굴 영역의 픽셀 변위 값에 대응하는 얼굴 위치 변화량을 산출하며, 상기 깊이 영상으로부터 사용자 신체 중심축을 추출하고, 상기 깊이 영상의 수직축과 상기 사용자 신체 중심축이 형성하는 각도에 대응하는 신체 중심축 기울기량을 산출하는 변위량 산출부,
    상기 얼굴 위치 변화량 및 신체 중심축 기울기량을 이용하여 위험 상황 스코어를 산출하는 스코어 산출부, 그리고
    상기 위험 상황 스코어를 기 설정된 위험 임계치를 비교하고, 비교 결과에 대응하여 사용자의 위험 상황을 외부로 알리는 알림부를 포함하며,
    상기 스코어 산출부는,
    다음의 수학식과 같이 상기 얼굴 위치 변화량 및 상기 신체 중심축 기울기량에 각각의 기 설정된 가중치를 곱한 값을 합산하여 상기 위험 상황 스코어를 산출하는 트레드밀 감시 장치:
    Figure 112018024701580-pat00012

    여기서, w1은 얼굴 위치 변화량(
    Figure 112018024701580-pat00013
    t)에 대응하는 가중치를 의미하고, w2는 신체 중심축 기울기량(θt)에 대응하는 가중치를 의미한다.
  7. 제6항에 있어서,
    상기 변위량 산출부는,
    기 설정된 얼굴 영역 검출 알고리즘을 이용하여 상기 RGB 영상으로부터 상기 사용자의 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역의 중심 픽셀에 대한 2차원 좌표값 및 상기 중심 픽셀에 대응하는 상기 깊이 영상의 픽셀값을 추출하며, 상기 추출된 중심 픽셀에 대한 2차원 좌표값 및 상기 중심 픽셀에 대응하는 상기 깊이 영상의 픽셀값을 이용하여 상기 중심 픽셀에 대한 3차원 좌표값을 산출하고, 현재 시점에서의 중심 픽셀에 대한 3차원 좌표값과 이전 시점에서의 중심 픽셀에 대한 3차원 좌표값 사이의 유클리디언 거리를 얼굴 위치 변화량으로 산출하는 트레드밀 감시 장치.
  8. 제6항에 있어서,
    상기 변위량 산출부는,
    상기 깊이 영상에서 기 설정된 임계치보다 크거나 같은 픽셀값은 1로 설정하고 상기 기 설정된 임계치보다 작은 픽셀값은 0으로 설정하여 이진화 영상을 생성하고, 상기 이진화 영상으로부터 픽셀값이 1인 사용자 영역의 윤곽선에 따른 타원 영역을 산출하며, 상기 타원 영역의 장축과 상기 이진화 영상의 수직축이 형성하는 각도를 상기 신체 중심축 기울기량으로 산출하는 트레드밀 감시 장치.
  9. 삭제
  10. 제6항에 있어서,
    상기 알림부는,
    상기 위험 상황 스코어가 기 설정된 위험 임계치보다 크면 경고 신호를 출력함과 동시에 기 등록된 타 사용자에게 응급 상황을 전송하는 트레드밀 감시 장치.
KR1020160182280A 2016-12-29 2016-12-29 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법 KR101880522B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160182280A KR101880522B1 (ko) 2016-12-29 2016-12-29 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160182280A KR101880522B1 (ko) 2016-12-29 2016-12-29 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법

Publications (2)

Publication Number Publication Date
KR20180077683A KR20180077683A (ko) 2018-07-09
KR101880522B1 true KR101880522B1 (ko) 2018-07-23

Family

ID=62918997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160182280A KR101880522B1 (ko) 2016-12-29 2016-12-29 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법

Country Status (1)

Country Link
KR (1) KR101880522B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102551644B1 (ko) * 2020-11-25 2023-07-05 주식회사 싸인텔레콤 영상기반의 핵심골격검출을 통한 안전관리 시스템
KR102392952B1 (ko) * 2021-07-02 2022-05-03 한양대학교 산학협력단 응급 상황 알림 서비스 방법 및 시스템
CN113706616A (zh) * 2021-08-27 2021-11-26 深圳创维－Rgb电子有限公司 一种提示方法、装置、设备及存储介质
KR20230078063A (ko) * 2021-11-26 2023-06-02 주식회사 공훈 자세유형 판별을 위한 서버 및 그 동작방법
CN115937895B (zh) * 2022-11-11 2023-09-19 南通大学 一种基于深度相机的速度与力量反馈系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0180385B1 (ko) * 1994-09-29 1999-04-01 전성원 운전자의 졸음방지 장치 및 그 방법
JP2006330438A (ja) * 2005-05-27 2006-12-07 Akita Univ 歩行環境シミュレータ
JP2011019627A (ja) * 2009-07-14 2011-02-03 Yasuhiro Shitan トレーニングマシン、方法、および、プログラム
KR101118654B1 (ko) * 2010-08-20 2012-03-06 경북대학교 산학협력단 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
KR101180972B1 (ko) * 2008-09-01 2012-09-07 강성식 온라인 마라톤 연습장치
KR101203669B1 (ko) * 2010-10-25 2012-11-21 경희대학교 산학협력단 사용자 인식 기능을 가지는 보행 보조 장치
KR20140110484A (ko) * 2013-03-08 2014-09-17 부산대학교 산학협력단 영상정보를 이용한 위험 행동 검지방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0180385B1 (ko) * 1994-09-29 1999-04-01 전성원 운전자의 졸음방지 장치 및 그 방법
JP2006330438A (ja) * 2005-05-27 2006-12-07 Akita Univ 歩行環境シミュレータ
KR101180972B1 (ko) * 2008-09-01 2012-09-07 강성식 온라인 마라톤 연습장치
JP2011019627A (ja) * 2009-07-14 2011-02-03 Yasuhiro Shitan トレーニングマシン、方法、および、プログラム
KR101118654B1 (ko) * 2010-08-20 2012-03-06 경북대학교 산학협력단 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
KR101203669B1 (ko) * 2010-10-25 2012-11-21 경희대학교 산학협력단 사용자 인식 기능을 가지는 보행 보조 장치
KR20140110484A (ko) * 2013-03-08 2014-09-17 부산대학교 산학협력단 영상정보를 이용한 위험 행동 검지방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이상헌 외 4명. ICT융합 개인맞춤형 스포테인먼트 트레드밀 시스템 설계. 대한전자공학회 학술대회, 2016년 6월, pp. 1793-1794. 1부. *

Also Published As

Publication number Publication date
KR20180077683A (ko) 2018-07-09

Similar Documents

Publication Publication Date Title
KR101880522B1 (ko) 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법
TWI662514B (zh) 跌倒偵測方法以及使用此方法的電子系統
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
EP3321844B1 (en) Action recognition in a video sequence
EP3979122A1 (en) Behavior prediction method and apparatus, gait recognition method and apparatus, electronic device, and computer readable storage medium
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
US20140304236A1 (en) Hash value generation apparatus, system, determination method, program, and storage medium
TWI673043B (zh) 認知功能評估裝置、認知功能評估系統、認知功能評估方法及程式
KR102338486B1 (ko) 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템
CN111767888A (zh) 对象状态检测方法、计算机设备、存储介质和电子设备
US11948363B2 (en) Person detection device and person detection method
US20210174073A1 (en) A Method and Apparatus for Swimmer Tracking
KR20140110484A (ko) 영상정보를 이용한 위험 행동 검지방법
JP2017038777A (ja) 動作認識装置
JP2018151834A (ja) 迷子検出装置および迷子検出方法
JP2019052889A (ja) 画像処理装置
US20220366716A1 (en) Person state detection apparatus, person state detection method, and non-transitory computer readable medium storing program
JP2019032588A (ja) 画像解析装置
JP2017084065A (ja) なりすまし検出装置
JP2021185458A (ja) 生体判定装置および生体判定方法
JP2021189587A (ja) 表示装置、表示方法及び表示プログラム
JP7263094B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20220395193A1 (en) Height estimation apparatus, height estimation method, and non-transitory computer readable medium storing program
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
US11887331B2 (en) Information processing apparatus, control method, and non-transitory storage medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant