KR102175573B1 - 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법 - Google Patents

댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법 Download PDF

Info

Publication number
KR102175573B1
KR102175573B1 KR1020190165190A KR20190165190A KR102175573B1 KR 102175573 B1 KR102175573 B1 KR 102175573B1 KR 1020190165190 A KR1020190165190 A KR 1020190165190A KR 20190165190 A KR20190165190 A KR 20190165190A KR 102175573 B1 KR102175573 B1 KR 102175573B1
Authority
KR
South Korea
Prior art keywords
walking
gait
unit
sensor
pattern
Prior art date
Application number
KR1020190165190A
Other languages
English (en)
Inventor
신동인
박종범
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190165190A priority Critical patent/KR102175573B1/ko
Application granted granted Critical
Publication of KR102175573B1 publication Critical patent/KR102175573B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Nursing (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 깊이센서모듈과 열복사감지모듈이 감지한 감지 대상자의 보행 정보를 복합적으로 사용하여 가정과 같은 댁내 환경에서 고령자의 개인화된 보행패턴 분석을 통해 건강이상징후를 감지하기 위한 것이다. 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템은 댁내에서 이동하는 감지 대상자의 발목 아래 관절을 연속적으로 스캔하는 RGB-D센서부를 포함하는 깊이센서모듈, 댁내에서 이동하는 상기 감지 대상자의 발자국을 연속적으로 스캔하는 열화상카메라부를 포함하는 열복사감지모듈, 상기 RGB-D센서부 및 상기 열화상카메라부가 스캔한 상기 감지 대상자의 정보를 보행 파라메터로 사용하여 댁내에서 이동하는 상기 감지 대상자의 보행패턴을 인식하는 보행인식부 및 상기 보행인식부가 인식한 보행패턴과 사전에 저장된 상기 감지 대상자의 보행패턴을 비교하여 비정상 보행패턴을 판단하는 보행판단부를 포함한다.

Description

댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법{pedestrian pattern recognition system based on multimodal sensor in the home environment and method the same}
본 발명은 댁내 환경에서 고령자 등 감지 대상자의 보행패턴을 인식하는 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 깊이센서모듈과 열복사감지모듈이 감지한 감지 대상자의 보행 정보를 복합적으로 사용하여 가정과 같은 댁내 환경에서 고령자의 개인화된 보행패턴 분석을 통해 건강이상징후를 감지하는 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법에 관한 것이다.
고령자 등 감지 대상자의 보행 패턴을 분석하기 위한 종래의 기술은 압력 매트 또는 모션 트랙커 등을 이용하거나, 신발에 추가 센서를 장착하여 보행 패턴을 분석해왔다.
그러나 압력 매트 및 모션 트랙커는 고가의 장비이며, 보행패턴을 분석할 수 있는 전문가가 필요하다. 또한, 신발에 추가 센서를 장착하는 방법은 신발을 착용하지 않는 실내에서는 감지 대상자의 보행 패턴을 감지할 수 없다.
따라서 감지 대상자의 보행 패턴을 감지하기 위해서 RGB센서 및 RGB-D센서를 사용하는 기술들이 사용되고 있다. RGB센서는 2차원 영상을 획득한다. RGB센서는 내부에 적외선 센서를 구비하며, 적외선 센서를 이용하여 피사체에 적외선을 방출한다. 방출된 적외선이 피사체에 반사되어 되돌아오는 신호를 분석함으로써 피사체의 위치를 추정한다. 또한, RGB-D센서는 피사체의 깊이 정보도 함께 감지하여 3차원의 영상 정보를 획득한다. 따라서 RGB-D센서를 이용하여 감지 대상자의 관절 움직임을 감지할 수 있으며, 특히 발목 아래 관절의 움직임을 감지하여, 감지 대상자의 보폭 및 발목 관절의 각도를 연산 및 추정할 수 있다.
그러나 RGB-D센서를 이용하여 감지 대상자의 보폭 및 발목 관절의 각도를 추정하기 위해서는 RGB-D센서와 감지 대상자 사이의 일정 거리가 필요하며, Motion Blurring 및 RGB-D 센서의 성능에 따라 감지 대상자의 관절 움직임을 파악하는 데 어려움이 있다.
또한, RGB-D센서는 일정 이상의 조도 조건을 필요로 한다. 따라서 댁내 환경에서 실내가 어두울 경우 RGB-D센서를 통해 감지 대상자의 관절 움직임을 파악하는 데 어려움이 있다.
대한민국 등록특허공보 제10-2026382호 (2019. 09. 30. 공고)
따라서 본 발명의 목적은 RGB-D센서와 열화상카메라를 함께 사용하여 거주공간이 좁거나 어두운 환경 및 조도가 가변되는 환경에서도 고령자 등 감시 대상자의 보폭, 진행방향, 발목 아래 관절 각도 및 발자국 각도 등 보행 패턴을 분석하여 감시 대상자의 건강이상징후를 인식하며, 고령자 및 보호자에게 인식된 건강이상징후를 알려줄 수 있는 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템은 댁내에서 이동하는 감지 대상자의 발목 아래 관절을 연속적으로 스캔하는 RGB-D센서부를 포함하는 깊이센서모듈, 댁내에서 이동하는 상기 감지 대상자의 발자국을 연속적으로 스캔하는 열화상카메라부를 포함하는 열복사감지모듈, 상기 RGB-D센서부 및 상기 열화상카메라부가 스캔한 상기 감지 대상자의 정보를 보행 파라메터로 사용하여 댁내에서 이동하는 상기 감지 대상자의 보행패턴을 인식하는 보행인식부 및 상기 보행인식부가 인식한 보행패턴과 사전에 저장된 상기 감지 대상자의 보행패턴을 비교하여 비정상 보행패턴을 판단하는 보행판단부를 포함한다.
상기 깊이센서모듈은, 상기 RGB-D센서부가 연속적으로 스캔한 정보를 분석하여 상기 감지 대상자의 발목 아래 관절의 위치를 추정하는 스켈레톤부를 더 포함한다.
상기 깊이센서모듈은, 상기 스켈레톤부가 추정한 상기 감지 대상자의 발목 아래 관절의 위치를 이용하여 상기 감지 대상자의 보폭, 보행주기 및 상기 발목 아래 관절 각도를 추정하는 스켈레톤추정부를 더 포함한다.
상기 보행인식부는, 상기 감지 대상자와 상기 RGB-D센서부의 거리가 1.5m 이상이고, 상기 보행주기가 2회 이상이고, 상기 스켈레톤추정부가 추정한 상기 감지 대상자의 보폭, 보행주기 및 관절 각도가 상기 감지 대상자의 주변 조도 환경에 의해 손실되지 않는 경우, 상기 감지 대상자의 발목 아래 관절의 위치, 상기 감지 대상자의 보폭, 상기 보행주기 및 상기 발목 아래 관절의 각도를 각각 상기 보행 파라메터로 사용하는 것을 특징으로 한다.
상기 열복사감지모듈은, 상기 감지 대상자의 바닥면에 남아있는 발자국 열을 인식하는 열화상발자국인식부를 더 포함한다.
상기 열복사감지모듈은, 상기 감지 대상자의 발자국의 경계가 포함되는 사각형의 바운딩박스를 추정하고, 상기 바운딩박스의 바닥선의 중심에서 상기 감지 대상자의 보행방향을 향해 상기 바닥선과 수직이 되도록 연장된 기준선을 추정하고, 상기 바운딩박스의 바닥선 중 상기 발자국의 뒷꿈치 중심에서 상기 바운딩박스의 중심을 이어 연장한 중심선을 연산하며, 상기 기준선과 상기 중심선의 각도차를 연산하여 상기 피사체의 발자국 각도를 추정하는 열화상추정부를 더 포함한다.
상기 열화상추정부는, 연속된 제1 및 제2 발자국에 대한 제1 및 제2 바운딩박스를 추정하고, 상기 제1 및 제2 바운딩박스가 각각 가진 제1 및 제2 바닥선의 중심점에서 상기 제1 및 제2 바닥선과 각각 수직되도록 제1 및 제2 기준선을 각각 추정하며, 연속된 제2 및 제3 발자국에 대한 제2 및 제3 바운딩박스를 추정하고, 상기 제2 및 제3 바운딩박스가 각각 가진 제2 및 제3 바닥선의 중심점에서 상기 제2 및 제3 바닥선과 각각 수직되도록 제2 및 제3 기준선을 각각 추정하여, 상기 제1 및 제2 기준선의 중심점에서 상기 제2 및 제3 기준선의 중심점을 향해 진행방향 추정선을 추정하여, 상기 감지 대상자의 진행방향을 연산하는 것을 특징으로 한다.
상기 열화상추정부는, 상기 제1 및 제2 바닥선을 각각 길이방향으로 연장하여 제1 및 제2 바닥연장선을 연산하고, 상기 제1 및 제2 바닥연장선의 거리차를 연산하여 상기 감지 대상자의 보폭 및 보행주기를 추정하는 것을 특징으로 한다.
상기 보행인식부는, 상기 발자국이 3개 이상이고, 상기 진행방향 추정선의 방향 및 상기 진행방향과 상기 발자국 각도의 각도 차가 일정한 경우, 상기 감지 대상자의 발자국 각도, 상기 감지 대상자의 진행방향, 상기 감지 대상자의 보폭 및 보행주기를 각각 상기 보행 파라메터로 사용하는 것을 특징으로 한다.
상기 깊이센서모듈, 상기 열복사감지모듈, 상기 보행인식부 및 상기 보행판단부는, 가정용 로봇에 장착된 것을 특징으로 한다.
상기 보행판단부는, 사용자 단말기와 통신 가능한 통신부를 더 포함하며, 상기 보행패턴이 비정상 보행패턴인 것이 판단되면, 상기 사용자 단말기로 보행패턴의 이상신호를 전송하는 것을 특징으로 한다.
본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 방법은, RGB-D센서를 이용하여 댁내에서 이동하는 감지 대상자의 발목 아래 관절을 연속적으로 스캔하여 상기 감지 대상자의 보행 정보를 감지하는 단계, 열화상카메라를 이용하여 댁내에서 이동하는 상기 감지 대상자의 발자국을 연속적으로 스캔하여 상기 감지 대상자의 보행 정보를 감지하는 단계, 상기 RGB-D센서 및 상기 열화상카메라가 스캔한 상기 감지 대상자의 보행 정보를 보행 파라메터로 사용하여 댁내에서 이동하는 상기 감지 대상자의 보행패턴을 인식하는 단계 및 상기 인식된 보행패턴과 사전에 저장된 상기 감지 대상자의 보행패턴을 비교하여 비정상 보행패턴을 판단하는 단계를 포함한다.
본 발명인 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법에 따르면, RGB-D센서와 열화상카메라를 함께 사용하여 거주공간이 좁거나 어두운 환경 및 조도가 가변되는 환경에서도 고령자 등 감시 대상자의 보행 패턴을 분석하여 감시 대상자의 건강이상징후를 인식할 수 있다.
본 발명인 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법에 따르면, 가정과 같은 댁내 환경에서 인식된 감시 대상자의 건강이상징후를 검출하여 고령자 본인 또는 보호자에게 건강이상징후 정보를 알려주는 서비스를 제공할 수 있다.
본 발명인 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법은, 돌봄 로봇 또는 고령자 케어 로봇 등에 설치되어 24시간 운용될 수 있다.
도 1은 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템을 보여주는 도면이다.
도 2는 본 발명에 따른 스켈레톤부가 감지 대상자의 골격 구조를 도출한 모습을 보여주는 도면이다.
도 3은 본 발명에 따른 스켈레톤추정부가 추정하는 감지 대상자의 보폭 및 보행주기를 보여주는 도면이다.
도 4는 본 발명에 따른 열복사감지모듈이 감지 대상자의 발바닥열에 의해 댁내 바닥면에 남아있는 발자국을 인식한 것을 보여주는 도면이다.
도 5는 본 발명에 따른 열복사감지모듈이 감지 대상자의 발바닥열에 의해 댁내 바닥면에 남아있는 복수의 발자국을 인식한 것을 보여주는 도면이다.
도 6은 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 방법의 흐름도이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않는 범위에서 생략될 것이라는 점을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명하고자 한다.
도 1은 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템을 보여주는 도면이다.
도 1을 참조하면, 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템(100)은, 댁내에서 이동하는 감지 대상자의 발목 아래 관절을 연속적으로 스캔하는 RGB-D센서부(11)를 포함하는 깊이센서모듈(10), 댁내에서 이동하는 감지 대상자의 발자국을 연속적으로 스캔하는 열화상카메라부(21)를 포함하는 열복사감지모듈(20), RGB-D센서부(11) 및 열화상카메라부(21)가 스캔한 감지 대상자의 정보를 보행 파라메터로 사용하여 댁내에서 이동하는 감지 대상자의 보행패턴을 인식하는 보행인식부(30) 및 보행인식부(30)가 인식한 보행패턴과 사전에 저장된 감지 대상자의 보행패턴을 비교하여 비정상 보행패턴을 판단하는 보행판단부(40)를 포함한다.
본 발명에 따른 깊이센서모듈(10)은 RGB-D센서부(11)를 포함한다. RGB-D센서부(11)는 복수의 RGB카메라(또는 RGB센서) 및 복수의 RGB-D카메라(또는 RGB-D센서)를 포함할 수 있다. RGB카메라는 2차원의 영상을 획득할 수 있다. RGB-D카메라는 영상의 깊이값을 이용하여 3차원 좌표를 포함하는 3차원의 영상을 획득할 수 있다. 또한, 깊이센서모듈(10)은 그 자체로 3차원 영상을 획득하는 이미지 센서를 더 포함할 수도 있다.
본 발명에 따른 RGB-D센서부(11)는 실내 주거공간을 포함하는 댁내에서 이동하는 보행자 등 감지 대상자를 스캔하여 감지 대상자에 대한 3차원 영상을 획득한다. 특히 RGB-D센서부(11)는 감지 대상자의 발목 아래 관절을 연속적으로 스캔한다.
도 2는 본 발명에 따른 스켈레톤부가 감지 대상자의 골격 구조를 도출한 모습을 보여주는 도면이고, 도 3은 본 발명에 따른 스켈레톤추정부가 추정하는 감지 대상자의 보폭 및 보행주기를 보여주는 도면이다.
깊이센서모듈(10)은 스켈레톤부(13)를 더 포함한다. 도 2를 참조하면, 스켈레톤부(13)는 RGB-D센서부(11)가 스캔한 감지 대상자에 대한 3차원 영상 등 정보를 분석하여 감재 대상자의 각 관절의 위치를 추정하여 감지 대상자의 골격 구조를 추정한다. 특히, 스켈레톤부(13)는 감지 대상자의 발목 아래 관절의 위치(210)를 중심으로 골격 구조를 추정할 수 있다.
깊이센서모듈(10)은 스켈레톤추정부(15)를 더 포함한다. 스켈레톤추정부(15)는 스켈레톤부(13)가 추정한 감지 대상자의 발목 아래 관절의 위치(210)를 이용하여 감지 대상자의 보폭을 추정한다.
스켈레톤추정부(15)가 추정하는 감지 대상자의 보폭은, 도 3을 참조하면, 왼발과 오른발의 뒷꿈치를 기준으로 하는 거리(이하, 단발보폭, step length, L1), 왼발과 왼발 또는 오른발과 오른발의 뒷꿈치를 기준으로 하는 거리(이하, 양발보폭, stride length, L2) 및 왼발과 오른발의 뒷꿈치를 기준으로 하는 너비(이하, 보폭의 너비, step width, W)를 포함한다.
스켈레톤추정부(15)가 추정하는 감지 대상자의 보행주기(Gait cycle, C)는, 스켈레톤부(13)가 추정한 발목 아래 관절의 위치(210)를 가지는 영상의 프레임 레이트를 이용하여 추정할 수 있다.
또한, 스켈레톤추정부(15)는, RGB-D센서부(11)가 스캔한 감지 대상자의 발목 아래 관절 영상을 분석하여, 감지 대상자의 발목 아래 관절의 각도를 연산 및 추정한다.
스켈레톤추정부(15)가 연산 및 추정한, 감지 대상자의 보폭(L1, L2, W), 보행주기(C) 및 발목 아래 관절의 각도는 감지 대상자의 보행패턴을 감지하는 보행 파라메터로서 사용된다.
한편, RGB-D센서부(11)는, RGB-D카메라와 감지 대상자 사이의 일정 거리가 필요하며, 일정 이상의 조도환경을 필요로 한다. 따라서, 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템(100)은 일정 조건을 만족했을 때에만 RGB-D센서부(11)가 스캔한 감지 대상자의 보행패턴과 관련된 보행 파라메터를 사용하도록 한다.
따라서, 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템(100)은, 일정 조건을 충족했을 때에만 RGB-D센서부(11)가 스캔한 감지 대상자의 보행 정보를 이용해 추정된 정보를 보행 파라메터로 사용하도록 하는 보행인식부(30)를 더 포함한다.
RGB-D센서부(11)가 필요로 하는 일정 조건이란, 감지 대상자와 RGB-D센서부(11)의 거리가 1.5m 이상인 경우, 보행주기(C)가 2회 이상인 경우 및 스켈레톤추정부(15)가 추정한 감지 대상자의 보폭(L1, L2, W), 보행주기(C) 및 관절 각도가 감지 대상자의 주변 조도 환경에 의해 손실되지 않는 경우를 모두 충족하는 조건이다. 또한, RGB-D센서부(11)가 필요로 하는 일정 조건에는, 스켈레톤부(13)가 획득한 영상 화소 위치에 감지 대상자와 대응가능한 Depth 값이 존재하는 경우 및 주변 Depth값을 이용할 수 있는 경우가 더 포함될 수도 있다.
RGB-D센서부(11)가 필요로 하는 일정 조건을 모두 충족한다면, 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템(100)은, 감지 대상자의 보폭(L1, L2, W), 보행주(C)기 및 발목 아래 관절의 각도를 각각 보행 파라메터로 사용한다.
본 발명에 따른 보행 파라메터는 후술하게 될 보행판단부(40)에 의해 감지 대상자의 보행 패턴이 정상인지 또는 비정상인지 판단하게 되는 파라메터로서 이용되게 된다.
도 4는 본 발명에 따른 열복사감지모듈이 감지 대상자의 발바닥열에 의해 댁내 바닥면에 남아있는 발자국을 인식한 것을 보여주는 도면이다.
본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템(100)은 댁내에서 이동하는 감지 대상자의 발자국(410)을 연속적으로 스캔하는 열화상카메라부(21)를 포함하는 열복사감지모듈(20)을 더 포함한다.
열화상카메라부(21)는 감지 대상의 복사열을 추적 및 탐지하는 장치 등일 수 있다. 열화상카메라부(21)는 오직 열을 이용해서 촬영하는 특수장비이기 때문에, 실내의 조도 환경에 관계없이 감지 대상을 추적 및 탐지할 수 있다. 본 발명에 따른 열화상카메라부(21)는 댁내에서 이동하는 감지 대상자의 복사열을 추적한다.
한편, 댁내에서는 신발을 착용하지 않고 생활하기 때문에 댁내에서 이동하는 보행자의 발바닥 열이 댁내 바닥면에 남아있을 수 있다.
본 발명에 따른 열복사감지모듈(20)은 댁내 바닥면에 남아있는 감지 대상자의 발바닥열을 인식하여 감지 대상자의 발자국(410)을 인식하는 열화상발자국인식부(23)를 더 포함한다. 또한, 열복사감지모듈(20)은 열화상발자국인식부(23)가 인식한 감지 대상자의 발자국(410)을 이용하여 감지 대상자의 보행 파라메터를 추정하는 열화상추정부(25)를 더 포함한다.
도 4를 참조하면, 본 발명에 따른 열화상추정부(25)는 열화상발자국인식부(23)가 인식한 감지 대상자의 발자국(410)의 경계가 포함되는 사각형의 바운딩박스(411)를 추정한다. 본 발명에 따른 열화상추정부(25)는 딥러닝 기술 중 하나인 R-FCN을 기반으로 하여 바운딩박스(411)를 추정한다. R-FCN은 특정 객체를 감지하고 인식하여 객체의 위치와 종류를 파악하는 기법이다. R-FCN은 특정 객체의 경계를 포함하는 사각형 모양의 상자를 이용한다.
본 발명에 따른 열화상추정부(25)는 R-FCN을 이용하여 감지 대상자의 발자국(410)에 대한 바운딩박스(411)를 추정하고, 추정된 바운딩박스(411)를 이용하여 감지 대상자의 발자국(410) 각도를 추정한다.
먼저, 열화상추정부(25)는 추정된 바운딩박스(411)의 바닥선의 중심점(415)에서 감지 대상자의 보행방향을 향해 바닥선(413)과 수직이 되도록 연장하여 기준선(417)을 추정한다. 이후, 열화상추정부(25)는 바운딩박스(411)의 바닥선(413) 중 감지 대상자의 뒷꿈치와 만나는 점(419)에서 바운딩박스의 중심점(421)을 지나도록 연장된 중심선(423)을 연산한다. 그리고, 기준선(417)과 중심선(423)의 각도차를 연산하여 감지 대상자의 발자국 각도를 추정한다. 추정된 발자국(410) 각도는 보행 파라메터로 사용한다. 또한 추정된 발자국 각도는 후술하게 될 보행판단부(40)에 의해 감지 대상자의 보행 패턴이 정상인지 또는 비정상인지 판단하게 되는 보행 파라메터로서 이용된다.
도 5는 본 발명에 따른 열복사감지모듈(20)이 감지 대상자의 발바닥열에 의해 댁내 바닥면에 남아있는 복수의 발자국(510, 520, 530)을 인식한 것을 보여주는 도면이다.
도 5를 참조하면, 열화상발자국인식부(23)는 바닥면에 남아있는 복수 개의 발자국(510, 520, 530)을 인식할 수 있다. 본 발명에 따른 열화상추정부(25)는, 열화상발자국인식부(23)가 인식한 복수 개의 발자국(510, 520, 530)을 이용하여 감지 대상자의 보행 시 진행방향(500), 보폭(L1, L2, W) 및 보행주기(C)를 연산 및 추정한다.
먼저 열화상추정부(25)가 감지 대상자의 진행방향(500)을 연산 및 추정하는 것을 설명하면 다음과 같다.
본 발명에 따른 열화상추정부(25)는, 연속된 제1 발자국(510) 및 제2 발자국(520)에 대해 각각 제1 바운딩박스(511) 및 제2 바운딩박스(521)을 추정한다. 제1 바운딩박스(511) 및 제2 바운딩박스(521)는, 전술한 바와 같이, 딥러닝 기술 중 하나인 R-FCN을 이용하여 제1 발자국(510) 및 제2 발자국(520)의 경계가 포함되는 사각형의 바운딩박스(511, 521)를 추정할 수 있다.
제1 바운딩박스(511) 및 제2 바운딩박스(521)을 추정한 후, 제1 바운딩박스(511) 및 제2 바운딩박스(521)가 각각 가진 제1 바닥선 및 제2 바닥선의 각 중심점(515, 525)에서 제1 바닥선(513) 및 제2 바닥선(523)과 각각 수직되도록 연장하여 제1 기준선(517) 및 제2 기준선(527)을 추정한다.
제1 기준선(517) 및 제2 기준선(527)을 추정한 후, 제3 기준선(537)을 추정한다.
제3 기준선(537)의 추정은 제1 기준선(517) 및 제2 기준선(527)을 추정하는 것과 동일하게 진행된다. 제3 기준선(537)의 추정은, 먼저 제3 발자국(530)의 경계가 포함되는 사각형의 제3 바운딩박스(531)을 추정한다. 제3 바운딩박스(531)를 추정한 후, 제3 바운딩박스(531)가 가진 제3 바닥선의 중심점(535)에서 제3 바닥선(533)과 수직이 되도록 연장하여 제3 기준선(537)을 추정한다.
제1 기준선(517), 제2 기준선(527) 및 제3 기준선(537)을 각각 추정한 후, 각 바운딩박스(511, 521, 531)의 바닥선(513, 523, 533)을 각 바닥선(513, 523, 533)과 수평이 되도록 연장하여 제1 바닥연장선(519), 제2 바닥연장선(529) 및 제3 바닥연장선(539)을 추정한다.
각 바닥연장선(519, 529, 539)을 추정한 후, 제2 바닥연장선(529) 상의 제1 기준선(517)과 제2 기준선(527)의 중심점 및 제3 바닥연장선(539) 상의 제2 기준선(527)과 제3 기준선(537)의 중심점을 이어 연장하면 감지 대상자의 보행 시 진행방향(500)의 추정선을 연산할 수 있다. 한편, 도 5에 도시된 a₁ 및 a₂의 길이는 서로 같다. 또한 b₁ 및 b₂의 길이도 서로 같다.
감지 대상자의 보폭(L1, L2, W)을 추정하기 위해, 본 발명에 따른 열화상추정부(25)는, 전술한 제1 바닥연장선(519)과 제2 바닥연장선(529)의 거리차를 연산하여 단발보폭(L1)을 구할 수 있다. 또한, 제1 바닥연장선(519)과 제3 바닥연장선(539)의 거리차를 연산하여 양발보폭(L2)을 구할 수 있다. 그리고, 제1 기준선(517)과 제2 기준선(527)의 거리차 및 제2 기준선(527)과 제3 기준선(537)의 거리차를 연산하여 각 보폭너비(W)를 구할 수 있다. 본 발명에 따른 보폭은 단발보폭(L1), 양발보폭(L2) 및 보폭너비(W)를 포함한다.
또한, 제1 바닥연장선(519)과 제3 바닥연장선(539)의 주기를 연산하여 감지 대상자의 보행주기(C)를 추정할 수 있다.
본 발명에 따른 열화상추정부(25)가 연산 및 추정한 감지 대상자의 보행 시 진행방향(500), 보폭(L1, L2, W), 보행주기(C) 및 각 기준선(417)과 중심선(423)의 각도차를 연산하여 추정된 발자국 각도는 감지 대상자의 보행패턴을 감지하는 보행 파라메터로서 사용된다.
한편, 본 발명에 따른 보행인식부(30)는, 열복사감지모듈(20)이 필요로 하는 일정 조건을 충족했을 때에만 열화상추정부(25)가 연산 및 추정한 감지 대상자의 발자국 각도, 보행 시 진행방향(500), 보폭(L1, L2, W) 및 보행주기(C)를 보행 파라메터로서 사용한다.
열복사감지모듈(20)이 필요로 하는 일정 조건이란, 발자국(410)이 3개 이상이고, 진행방향(500) 및 진행방향(500)과 발자국의 중심선(423)의 각도 차가 일정한 경우를 모두 충족하는 조건이다.
열복사감지모듈(20)이 필요로 하는 일정 조건을 모두 충족한다면, 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템(100)은, 열화상추정부(25)가 연산 및 추정한 감지 대상자의 발자국 각도, 보행 시 진행방향(500), 보폭(L1, L2, W) 및 보행주기(C)를 각각 보행 파라메터로 사용한다.
한편, 본 발명에 따른 보행인식부(30)는, 전술한 바와 같이, 스켈레톤추정부(15) 및 열화상추정부(25)가 각각 연산 및 추정한 보행 파라메터를 복합적으로 융합하여 감지 대상자의 보행패턴을 인식한다. 보행인식부(30)는, 전술한 바와 같이, 일정 조건이 충족된 경우에만 스켈레톤추정부(15) 및 열화상추정부(25)가 각각 연산 및 추정한 보행 파라메터를 사용한다. 스켈레톤추정부(15) 및 열화상추정부(25)가 각각 연산 및 추정한 보행 파라메터는 가중치 합(weight sum)으로 사용될 수 있다.
본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템(100)은, 감지 대상자의 보행패턴이 정상적인 보행패턴인지 또는 비정상적인 보행패턴인지 판단하는 보행판단부(40)를 더 포함한다.
보행판단부(40)는 스켈레톤추정부(15) 및 열화상추정부(25)가 각각 추정한 보행 파라메터를 사용하여 새롭게 인식한 감지 대상자의 보행패턴과 사전에 미리 저장된 감지 대상자의 보행패턴을 비교한다. 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템(100)은 딥러닝 기술이 적용될 수 있다. 따라서 딥러닝 기술에 의해 감지 대상자의 보행패턴이 학습될 수 있다. 보행판단부(40)는 각 보행 파라메터를 사용하여 인식한 보행패턴과 기 저장된 보행패턴을 비교할 때, 기 저장된 보행패턴은 딥러닝 기술에 의해 학습되어진 감지 대상자의 보행패턴일 수 있다. 보행판단부(40)는 새롭게 인식한 보행패턴과 기 저장된 보행패턴을 비교하여 일정 오차범위 이상의 차이를 판단하게 되면 감지 대상자의 보행패턴이 비정상이라고 판단할 수 있다.
보행판단부(40)가 감지 대상자의 보행패턴이 비정상이라고 판단하게 되면, 사용자 단말기로 비정상 보행패턴 정보를 전송할 수 있다. 따라서 보행판단부(40)가 사용자 단말기로 비정상 보행패턴 정보를 전송하기 위하여, 보행판단부(40)는 사용자 단말기와 통신 가능한 통신부를 더 포함할 수 있다.
한편, 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템(100)은, 고령자 케어 로봇 및 돌봄 로봇 등 가정용 로봇에 장착될 수 있다. 가정용 로봇은 24시간 작동될 수 있다. 따라서 고령자 등 감지 대상자가 댁내에서 이동할 때 감지 대상자의 보행패턴을 항상 추적하는 것이 가능하다.
도 6은 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 방법의 흐름도이다.
도 6을 참조하면, 본 발명에 따른 댁내 환경 멀티모달센서 기반 보행패턴 인식 방법은, RGB-D센서를 이용하여 댁내에서 이동하는 감지 대상자의 발목 아래 관절을 연속적으로 스캔하여 감지 대상자의 보행 정보를 감지 및 열화상카메라를 이용하여 댁내에서 이동하는 감지 대상자의 발자국(410)을 연속적으로 스캔하여 감지 대상자의 보행 정보를 감지하는 단계(S101), RGB-D센서 및 열화상카메라가 스캔한 감지 대상자의 보행 정보를 보행 파라메터로 사용하여 댁내에서 이동하는 감지 대상자의 보행패턴을 인식하는 단계(S103) 및 인식된 보행패턴과 사전에 저장된 감지 대상자의 보행패턴을 비교하여 비정상 보행패턴을 판단하는 단계(S105)를 포함한다.
S101 단계는, RGB-D센서 및 열화상카메라를 이용하여 감지 대상자의 발목 아래 관절 및 댁내 바닥면에 남아있는 열을 이용하여 감지 대상자의 발자국(410)을 각각 연속적으로 스캔하여 감지 대상자의 보행 정보를 감지 및 획득하는 단계이다.
S103 단계는, RGB-D센서 및 열화상카메라가 연속적으로 스캔하여 감지 및 획득한 감지 대상자의 보행 정보를 통해 보행 파라메터를 연산 및 추정하여 감지 대상자의 보행 패턴을 인식하는 단계이다. S103 단계에서 보행 파라메터를 연산 및 추정할 때에는 전술한 바와 같이 RGB-D센서 및 열화상카메라의 운용상 필요한 조건이 충족되었는 지 판단하고, 일정 조건이 충족되었을 경우에만 각 보행 파라메터를 연산 및 추정한다.
S105 단계는, S103 단계에서 인식한 감지 대상자의 보행 패턴과 기 저장된 감지 대상자의 보행 패턴을 비교하는 단계이다. S105 단계에서 각 보행 패턴을 비교하여 일정 오차범위 이상 보행 파라메터 및 보행 패턴이 다른 것이 판단되면, 감지 대상자의 보행 패턴이 비정상인 것으로 판단할 수 있다. 감지 대상자의 보행 패턴이 비정상인 것으로 판단되게 되면, 감지 대상자 또는 보호자에게 비정상 보행 패턴 정보를 알려줄 수 있다.
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.
10 : 깊이센서모듈 11 : RGB-D센서부
13 : 스켈레톤부 15 : 스켈레톤추정부
20 : 열복사감지모듈 21 : 열화상카메라부
23 : 열화상발자국인식부 25 : 열화상추정부
30 : 보행인식부 40 : 보행판단부
100 : 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템
210 : 발목 아래 관절의 위치 410 : 발자국
411 : 바운딩박스 413 : 바닥선
415 : 바닥선의 중심점 417 : 기준선
419 : 바닥선에 뒷꿈치가 만나는 점 421 : 바운딩박스의 중심점
423 : 중심선
500 : 진행방향 추정선
510 ; 제1 발자국 511 : 제1 바운딩박스
513 : 제1 바닥선 515 : 제1 바닥선의 중심점
517 : 제1 기준선 519 : 제1 바닥연장선
520 : 제2 발자국 521 : 제2 바운딩박스
523 : 제2 바닥선 525 : 제2 바닥선의 중심점
527 : 제2 기준선 529 : 제2 바닥연장선
530 : 제3 발자국 531 : 제3 바운딩박스
533 : 제3 바닥선 535 : 제3 바닥선의 중심점
537 : 제3 기준선 539 : 제3 바닥연장선
L1 : 단발보폭 L2 : 양발보폭
W : 보폭너비 C : 보행주기

Claims (12)

  1. 댁내에서 이동하는 감지 대상자의 발목 아래 관절을 연속적으로 스캔하는 RGB-D센서부를 포함하는 깊이센서모듈;
    댁내에서 이동하는 상기 감지 대상자의 발자국을 연속적으로 스캔하는 열화상카메라부를 포함하는 열복사감지모듈;
    상기 RGB-D센서부 및 상기 열화상카메라부가 스캔한 상기 감지 대상자의 정보를 보행 파라메터로 사용하여 댁내에서 이동하는 상기 감지 대상자의 보행패턴을 인식하는 보행인식부; 및
    상기 보행인식부가 인식한 보행패턴과 사전에 저장된 상기 감지 대상자의 보행패턴을 비교하여 비정상 보행패턴을 판단하는 보행판단부;를 포함하며,
    상기 깊이센서모듈은,
    상기 RGB-D센서부가 연속적으로 스캔한 정보를 분석하여 상기 감지 대상자의 발목 아래 관절의 위치를 추정하는 스켈레톤부; 및
    상기 스켈레톤부가 추정한 상기 감지 대상자의 발목 아래 관절의 위치를 이용하여 상기 감지 대상자의 보폭, 보행주기 및 상기 발목 아래 관절 각도를 추정하는 스켈레톤추정부;를 더 포함하며,
    상기 보행인식부는,
    상기 감지 대상자와 상기 RGB-D센서부의 거리가 1.5m 이상이고, 상기 보행주기가 2회 이상이고, 상기 스켈레톤추정부가 추정한 상기 감지 대상자의 보폭, 보행주기 및 관절 각도가 상기 감지 대상자의 주변 조도 환경에 의해 손실되지 않는 경우,
    상기 감지 대상자의 보폭, 상기 보행주기 및 상기 발목 아래 관절의 각도를 각각 상기 보행 파라메터로 사용하는 것을 특징으로 하는 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 열복사감지모듈은,
    상기 감지 대상자의 바닥면에 남아있는 발자국 열을 인식하는 열화상발자국인식부;
    를 더 포함하는 것을 특징으로 하는 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템.
  6. 제5항에 있어서, 상기 열복사감지모듈은,
    상기 감지 대상자의 발자국의 경계가 포함되는 사각형의 바운딩박스를 추정하고,
    상기 바운딩박스의 바닥선의 중심점에서 상기 감지 대상자의 보행방향을 향해 상기 바닥선과 수직이 되도록 연장된 기준선을 추정하고,
    상기 바운딩박스의 바닥선 중 상기 발자국의 뒷꿈치가 만나는 점에서 상기 바운딩박스의 중심점을 이어 연장한 중심선을 연산하며,
    상기 기준선과 상기 중심선의 각도차를 연산하여 상기 감지 대상자의 발자국 각도를 추정하는 열화상추정부;
    를 더 포함하는 것을 특징으로 하는 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템.
  7. 제6항에 있어서, 상기 열화상추정부는,
    연속된 제1 및 제2 발자국에 대한 제1 및 제2 바운딩박스를 추정하고, 상기 제1 및 제2 바운딩박스가 각각 가진 제1 및 제2 바닥선의 중심점에서 상기 제1 및 제2 바닥선과 각각 수직되도록 제1 및 제2 기준선을 각각 추정하며,
    연속된 제2 및 제3 발자국에 대한 제2 및 제3 바운딩박스를 추정하고, 상기 제2 및 제3 바운딩박스가 각각 가진 제2 및 제3 바닥선의 중심점에서 상기 제2 및 제3 바닥선과 각각 수직되도록 제2 및 제3 기준선을 각각 추정하여,
    상기 제1 및 제2 기준선의 중심점에서 상기 제2 및 제3 기준선의 중심점을 향해 진행방향 추정선을 추정하여, 상기 감지 대상자의 진행방향을 연산하는 것을 특징으로 하는 댁내환경 멀티모달센서 기반 보행패턴 인식 시스템.
  8. 제7항에 있어서, 상기 열화상추정부는,
    상기 제1 및 제2 바닥선을 각각 길이방향으로 연장하여 제1 및 제2 바닥연장선을 연산하고, 상기 제1 및 제2 바닥연장선의 거리차를 연산하여 상기 감지 대상자의 보폭 및 보행주기를 추정하는 것을 특징으로 하는 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템.
  9. 제8항에 있어서, 상기 보행인식부는,
    상기 발자국이 3개 이상이고, 상기 진행방향 추정선의 방향 및 상기 진행방향과 상기 발자국 각도의 각도 차가 일정한 경우,
    상기 감지 대상자의 발자국 각도, 상기 감지 대상자의 진행방향, 상기 감지 대상자의 보폭 및 보행주기를 각각 상기 보행 파라메터로 사용하는 것을 특징으로 하는 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템.
  10. 제1항에 있어서,
    상기 깊이센서모듈, 상기 열복사감지모듈, 상기 보행인식부 및 상기 보행판단부는,
    가정용 로봇에 장착된 것을 특징으로 하는 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템.
  11. 제1항에 있어서, 상기 보행판단부는,
    사용자 단말기와 통신 가능한 통신부;
    를 더 포함하며,
    상기 보행패턴이 비정상 보행패턴인 것이 판단되면, 상기 사용자 단말기로 보행패턴의 이상신호를 전송하는 것을 특징으로 하는 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템.
  12. RGB-D센서가 댁내에서 이동하는 감지 대상자의 발목 아래 관절을 연속적으로 스캔하여 상기 감지 대상자의 보행 정보를 감지하고, 열화상카메라가 댁내에서 이동하는 상기 감지 대상자의 발자국을 연속적으로 스캔하여 상기 감지 대상자의 보행 정보를 감지하는 단계;
    보행인식부가 상기 RGB-D센서 및 상기 열화상카메라로 스캔한 상기 감지 대상자의 보행 정보를 보행 파라메터로 사용하여 댁내에서 이동하는 상기 감지 대상자의 보행패턴을 인식하는 단계; 및
    보행판단부가 상기 인식된 보행패턴과 사전에 저장된 상기 감지 대상자의 보행패턴을 비교하여 비정상 보행패턴을 판단하는 단계;를 포함하며,
    상기 보행패턴을 인식하는 단계는,
    상기 보행인식부가 상기 RGB-D센서로 연속적으로 스캔한 정보를 분석하여 상기 감지 대상자의 발목 아래 관절의 위치를 추정하며, 추정한 상기 감지 대상자의 발목 아래 관절의 위치를 이용하여 상기 감지 대상자의 보폭, 보행주기 및 상기 발목 아래 관절 각도를 추정하여 상기 감지 대상자와 상기 RGB-D센서의 거리가 1.5m 이상이고, 상기 보행주기가 2회 이상이고, 상기 추정한 상기 감지 대상자의 보폭, 보행주기 및 관절 각도가 상기 감지 대상자의 주변 조도 환경에 의해 손실되지 않는 경우,
    상기 감지 대상자의 보폭, 상기 보행주기 및 상기 발목 아래 관절의 각도를 각각 상기 보행 파라메터로 사용하는 것을 특징으로 하는 댁내 환경 멀티모달센서 기반 보행패턴 인식 방법.
KR1020190165190A 2019-12-12 2019-12-12 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법 KR102175573B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190165190A KR102175573B1 (ko) 2019-12-12 2019-12-12 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190165190A KR102175573B1 (ko) 2019-12-12 2019-12-12 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102175573B1 true KR102175573B1 (ko) 2020-11-09

Family

ID=73429746

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190165190A KR102175573B1 (ko) 2019-12-12 2019-12-12 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102175573B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074335A (ko) * 2020-11-27 2022-06-03 동의대학교 산학협력단 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법
WO2022211244A1 (ko) * 2021-03-29 2022-10-06 서울대학교산학협력단 단일 이차원 영상 기반의 정량적 보행 분석 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101350922B1 (ko) * 2013-10-14 2014-01-14 브이씨에이 테크놀러지 엘티디 열화상 카메라를 사용한 객체 추적 방법 및 장치
KR101373628B1 (ko) * 2012-09-28 2014-03-12 주식회사 자세과학 보행 분석 장치
US20170231532A1 (en) * 2016-02-12 2017-08-17 Tata Consultancy Services Limited System and method for analyzing gait and postural balance of a person
KR101902551B1 (ko) * 2018-06-11 2018-09-28 정재훈 족저 압력과 신체의 움직임 정보를 이용한 신체 부정렬 증후군 진단 장치 및 방법
KR102026382B1 (ko) 2014-03-31 2019-09-30 한국전자통신연구원 모션 추정 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101373628B1 (ko) * 2012-09-28 2014-03-12 주식회사 자세과학 보행 분석 장치
KR101350922B1 (ko) * 2013-10-14 2014-01-14 브이씨에이 테크놀러지 엘티디 열화상 카메라를 사용한 객체 추적 방법 및 장치
KR102026382B1 (ko) 2014-03-31 2019-09-30 한국전자통신연구원 모션 추정 시스템 및 방법
US20170231532A1 (en) * 2016-02-12 2017-08-17 Tata Consultancy Services Limited System and method for analyzing gait and postural balance of a person
KR101902551B1 (ko) * 2018-06-11 2018-09-28 정재훈 족저 압력과 신체의 움직임 정보를 이용한 신체 부정렬 증후군 진단 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220074335A (ko) * 2020-11-27 2022-06-03 동의대학교 산학협력단 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법
KR102511626B1 (ko) * 2020-11-27 2023-03-21 동의대학교 산학협력단 인공지능 기반 엣지 컴퓨팅을 활용한 유형별 객체 계수를 위한 장치 및 방법
WO2022211244A1 (ko) * 2021-03-29 2022-10-06 서울대학교산학협력단 단일 이차원 영상 기반의 정량적 보행 분석 장치 및 방법
KR20220134989A (ko) 2021-03-29 2022-10-06 서울대학교산학협력단 단일 이차원 영상 기반의 정량적 보행 분석 장치 및 방법

Similar Documents

Publication Publication Date Title
JP6472959B2 (ja) 歩行補助ロボット及び歩行補助ロボットの制御方法
Leigh et al. Person tracking and following with 2d laser scanners
Dubois et al. A gait analysis method based on a depth camera for fall prevention
KR100790860B1 (ko) 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기
KR101553653B1 (ko) 로봇의 슬립 감지 장치 및 방법
KR102175573B1 (ko) 댁내 환경 멀티모달센서 기반 보행패턴 인식 시스템 및 그 방법
US7634336B2 (en) Localization system and method of mobile robot based on camera and landmarks
US7671734B2 (en) Footprint location system
JP5898199B2 (ja) 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
KR101077967B1 (ko) 이동식 감시 및 추적 장치 및 방법
KR102285632B1 (ko) 보행패턴을 이용한 건강이상감지 시스템 및 방법
US11175676B2 (en) Mobile robot and method of controlling the same
JP5147036B2 (ja) 位置推定装置、位置推定方法及び位置推定プログラム
US9235895B2 (en) Method for estimating direction of person standing still
Weon et al. Intelligent robotic walker with actively controlled human interaction
KR20160142137A (ko) 움직이는 객체 검출 장치 및 방법
US11205074B2 (en) Method and device for detecting an obstacle-free area
KR100751096B1 (ko) 광흐름을 이용한 속도 측정 장치 및 그 방법
KR102570184B1 (ko) 보행 영상 기반의 보행 측정 방법 및 이의 장치
JP4469712B2 (ja) 歩行者移動経路追跡方法、及び歩行者移動経路追跡システム
JP6932946B2 (ja) 検出システム、検出方法、及び検出プログラム
JP2005337954A (ja) センシング装置及び身長測定装置
Barone et al. A markerless system based on smartphones and webcam for the measure of step length, width and duration on treadmill
KR20200063378A (ko) 상호 보완형 복합센서를 이용한 인체 동작인식장치 및 인체 동작인식방법
Fukui et al. Easy-to-install system for daily walking ability assessment using a distance sensor array

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant