KR102299424B1 - 딥러닝 기반 행동인식 시스템 및 방법 - Google Patents

딥러닝 기반 행동인식 시스템 및 방법 Download PDF

Info

Publication number
KR102299424B1
KR102299424B1 KR1020200012417A KR20200012417A KR102299424B1 KR 102299424 B1 KR102299424 B1 KR 102299424B1 KR 1020200012417 A KR1020200012417 A KR 1020200012417A KR 20200012417 A KR20200012417 A KR 20200012417A KR 102299424 B1 KR102299424 B1 KR 102299424B1
Authority
KR
South Korea
Prior art keywords
user
deep learning
behavior recognition
dimensional joint
joint coordinates
Prior art date
Application number
KR1020200012417A
Other languages
English (en)
Other versions
KR20210098640A (ko
Inventor
안범모
이준우
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020200012417A priority Critical patent/KR102299424B1/ko
Publication of KR20210098640A publication Critical patent/KR20210098640A/ko
Application granted granted Critical
Publication of KR102299424B1 publication Critical patent/KR102299424B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0266—System arrangements wherein the object is to detect the exact distance between parent and child or surveyor and item
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G06K2209/055—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)

Abstract

딥러닝 기반 행동인식 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 딥러닝 기반 행동인식 시스템은 사용자와 일정 거리 이내인 경우, 사용자의 영상을 획득하는 2D 카메라, 획득된 영상을 기초로 딥러닝을 이용하여 2차원 관절 좌표를 추출하는 2차원 관절 좌표 추출부, 추출된 2차원 관절 좌표를 기초로 딥러닝을 이용하여 3차원 관절 좌표를 추정하는 3차원 관절 좌표 추정부, 추정된 3차원 관절 좌표를 기초로 딥러닝을 이용하여 사용자의 행동을 인식하고, 인식된 행동을 기초로 딥러닝을 이용하여 응급 상황인지를 판단하는 행동 인식부, 및 2D 카메라가 사용자와 일정 거리 이내에 위치하도록 추종하는 추종 장치를 포함한다.

Description

딥러닝 기반 행동인식 시스템 및 방법{System and method for recognizing behavior based on deep learning}
본 발명은 딥러닝 기반 행동인식 시스템 및 방법에 관한 것이다.
최근, 1인 가구와 독거노인 인구가 지속적으로 증가함에 따라 집안에서 발생하는 갑작스런 응급 상황에 대해 대처하지 못할 가능성이 높아지고 있다.
이에 따라 일상생활의 모니터링 기술이 필요해지면서 여러 기술들이 개발되고 있다. 일례로, 여러 대의 카메라 센서를 집안 곳곳에 설치하여 영상을 촬영한다. 촬영된 영상으로부터 사람의 실루엣을 분리하여 주성분 요소 알고리즘을 적용해 응급 상황을 판단한다. 다른 예로, 카메라 센서 이외의 여러 센서를 통합한 센서모듈을 통해 사용자의 행동을 인식하는 방법이 있다.
기존의 기술들은 특정 장소에 여러 대의 카메라를 설치하여 비용이 높고, 카메라의 설치 위치에 따라 촬영하지 못하는 사각지대가 발생할 수 있으며, 여러 센서를 사용하는 경우에는 사용자가 일부 센서를 소지해야 한다는 단점이 있다
한편, 종래 행동인식을 위해서는 RGB 카메라와 적외선 센서를 포함하는 키넥트(kinect) 카메라가 일반적으로 사용되는데, 이는 비용 및 설치 측면에서 어려움이 있다.
KR 2018-0020376 A
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 일반 카메라 및 딥러닝 기반으로 사용자의 행동에 따른 응급 상황의 판별 및 조치를 비교적 저렴하고 간단하게 달성할 수 있는 딥러닝 기반 행동인식 시스템 및 방법을 제공하고자 한다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 사용자와 일정 거리 이내인 경우, 사용자의 영상을 획득하는 2D 카메라; 상기 획득된 영상을 기초로 딥러닝을 이용하여 2차원 관절 좌표를 추출하는 2차원 관절 좌표 추출부; 상기 추출된 2차원 관절 좌표를 기초로 딥러닝을 이용하여 3차원 관절 좌표를 추정하는 3차원 관절 좌표 추정부; 상기 추정된 3차원 관절 좌표를 기초로 딥러닝을 이용하여 사용자의 행동을 인식하고, 상기 인식된 행동을 기초로 딥러닝을 이용하여 응급 상황인지를 판단하는 행동 인식부; 및 상기 2D 카메라가 사용자와 일정 거리 이내에 위치하도록 추종하는 추종 장치;를 포함하는 딥러닝 기반 행동인식 시스템이 제공된다.
일 실시예에서, 상기 행동 인식부는 상기 인식된 행동이 응급 상황이면 보호자 단말 또는 관계 기관 서버로 통지할 수 있다.
일 실시예에서, 상기 추종 장치는 상기 사용자를 탐색하는 센서부; 상기 탐색된 사용자와의 거리에 따라 사용자의 감지 여부를 판단하는 제어부; 및 상기 사용자를 감지하지 못하면, 사용자에게 알람하는 알람부를 포함할 수 있다. 여기서, 상기 추종 장치는 반려 동물에 의해 착용된 지지체에 부착되며, 상기 제어부는 반려 동물이 일정 거리 이상 이격되어 있음을 사용자에게 인지시키고 사용자가 반려 동물을 일정 거리 이내에 위치하게 유도하게 하는 알람을 발생하도록 제어할 수 있다.
일 실시예에서, 상기 추종 장치는 상기 사용자를 탐색하는 센서부; 상기 탐색된 사용자와의 거리에 따라 사용자의 감지 여부를 판단하는 제어부; 및 상기 사용자를 감지하지 못하면, 상기 제어부의 제어에 따라 사용자와 일정 거리 이내에 위치하도록 이동하는 구동부;를 포함할 수 있다. 여기서, 상기 추종 장치는 자율 주행 기반의 사용자 추종 장치일 수 있다.
일 실시예에서, 상기 추종 장치는 상기 사용자를 감지하면, 상기 카메라에 의해 영상을 획득하도록 명령할 수 있다.
일 실시예에서, 상기 2차원 관절 좌표 추출부는 자세 추정을 위한 OpenPose 알고리즘을 이용하여 신뢰도 맵(confidence map)과 PAF(Part Affinity Fields)를 추출하여 상기 2차원 관절 좌표를 추출할 수 있다.
일 실시예에서, 상기 3차원 관절 좌표 추정부는 3D baseline 알고리즘을 이용하여 상기 3차원 관절 좌표를 추정하되, 상기 OpenPose 출력의 관절 키포인트(Keypoint)와 상기 3D baseline 입력의 관절 키포인트를 매칭할 수 있다.
일 실시예에서, 상기 행동 인식부는 상기 인식된 행동이 미리 지정된 응급 상황 시 행동인지를 판단할 수 있다.
본 발명의 다른 측면에 따르면, 딥러닝 기반 행동인식 시스템의 행동인식 방법으로서, 2D 카메라가 사용자와 일정 거리 이내에 위치하도록 추종하는 단계; 상기 2D 카메라와 상기 사용자가 일정 거리 이내인 경우, 상기 2D 카메라에 의해 사용자의 영상을 획득하는 단계; 상기 획득된 영상을 기초로 딥러닝을 이용하여 2차원 관절 좌표를 추출하는 단계; 상기 추출된 2차원 관절 좌표를 기초로 딥러닝을 이용하여 3차원 관절 좌표를 추정하는 단계; 상기 추정된 3차원 관절 좌표를 기초로 딥러닝을 이용하여 사용자의 행동을 인식하는 단계; 및 상기 인식된 행동을 기초로 딥러닝을 이용하여 응급 상황인지를 판단하는 단계;를 포함하는 딥러닝 기반 행동인식 방법이 제공된다.
일 실시예에서, 상기 딥러닝 기반 행동인식 방법은 상기 인식된 행동이 응급 상황이면 보호자 단말 또는 관계 기관 서버로 통지하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 추종하는 단계는 반려 동물에 의해 착용된 센서부에 의해 상기 사용자를 탐색하는 단계; 상기 탐색된 사용자와의 거리에 따라 사용자의 감지 여부를 판단하는 단계; 및 상기 사용자를 감지하지 못하면, 반려 동물이 일정 거리 이상 이격되어 있음을 사용자에게 인지시키고 사용자가 반려 동물을 일정 거리 이내에 위치하게 유도하도록 알람하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 추종하는 단계는 자율 주행 기반의 사용자 추종 장치에 의해 탑재된 센서부에 의해 상기 사용자를 탐색하는 단계; 상기 탐색된 사용자와의 거리에 따라 사용자의 감지 여부를 판단하는 단계; 및 상기 사용자를 감지하지 못하면, 상기 사용자 추종 장치가 사용자와 일정 거리 이내에 위치하도록 사용자 추종 자율 이동하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 추종하는 단계는 상기 사용자를 감지하면, 상기 획득하는 단계를 수행하도록 명령하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 2차원 관절 좌표를 추출하는 단계는 자세 추정을 위한 OpenPose 알고리즘을 이용하여 신뢰도 맵(confidence map)과 PAF(Part Affinity Fields)를 추출하여 상기 2차원 관절 좌표를 추출할 수 있다.
일 실시예에서, 상기 3차원 관절 좌표를 추종하는 단계는 3D baseline 알고리즘을 이용하여 상기 3차원 관절 좌표를 추정하되, 상기 OpenPose 출력의 관절 키포인트와 상기 3D baseline 입력의 관절 키포인트를 매칭할 수 있다.
일 실시예에서, 상기 응급 상황인지를 판단하는 단계는 상기 인식된 행동이 미리 지정된 응급 상황 시 행동인지를 판단할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템 및 방법은 일반 카메라를 사용하여 촬영된 영상으로부터 사용자의 행동을 딥러닝 기반으로 분석하여 응급 상황을 판별하고 보호자에게 통지함으로써, 독거노인 등과 같은 1인 가구의 응급 상황을 신속하게 대처할 수 있다.
또한, 본 발명은 사용자의 행동에 따른 응급 상황을 판단하기 위해 한대의 일반 카메라를 이용하여 사용자를 촬영함으로써 비용적으로 저렴하고 설치 장비가 간소화될 수 있다.
또한, 본 발명은 반려 동물이나 자율 주행 로봇에 카메라를 부착하고, 사용자와 일정 거리를 유지하게 하여 영상을 촬영함으로써, 영상 수집이 불가능한 사각지대를 회피할 수 있고, 사용자가 별도로 센서를 착용할 필요가 없어 편의성을 향상시킬 수 있다.
또한, 본 발명은 사용자의 행동을 촬영한 영상에서 사용자의 뼈대 정보를 사용하여 응급 상황 여부를 판별함으로써, 영상에서 사용자의 정보를 배제하여 사생활 침해를 최소화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템의 개략적 구성도이고,
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 장치의 블록도이며,
도 3은 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 장치의 3차원 관절 좌표 추출을 설명하기 위한 도면이고,
도 4는 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템의 사용자 추종 유도장치의 블록도이며,
도 5는 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템의 사용자 추종 장치의 블록도이고,
도 6은 도 2의 딥러닝 기반 행동인식 장치와 도 5의 사용자 추종 장치의 결합 구조도이며,
도 7은 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 방법의 순서도이고,
도 8은 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 방법에서 사용자 추종 유도 절차의 순서도이며,
도 9는 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 방법에서 사용자 추종 절차의 순서도이다
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이며, 아래에 설명되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예는 본 발명을 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템의 개략적 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템은 딥러닝 기반 행동인식 장치(100), 추종 장치 및 보호자 단말(10)을 포함한다.
딥러닝 기반 행동인식 시스템은 독거노인 등과 같은 1인 가구의 집안에서 실시간으로 사용자(1)를 모니터링하기 위한 것으로, 한 대의 카메라를 통해 입력된 영상을 머신러닝 및 심층 신경망 모델을 통한 딥러닝에 의해 3차원의 관절 좌표를 추출하여 사용자(1)의 뼈대를 생성하고, 추출된 뼈대와 학습된 순환 신경망을 통해 미리 지정된 응급 상황 시의 행동을 인식하며, 응급 상황 시의 행동이 인식되었을 때 보호자 단말(10)이나 관계 기관 서버(미도시)로 통지한다.
이에 의해, 1인 가구에서 응급 상황이 발생하는 경우 보호자나 관계 기관으로 이를 통지하여 신속하게 대처할 수 있다. 또한, 한대의 일반 카메라를 이용하여 사용자(1)를 촬영하기 때문에 비용적으로 저렴하고 설치 장비가 간소화될 수 있다.
이때, 딥러닝 기반 행동인식 시스템은 단일의 카메라를 이용하여 집안 내에서 사용자(1)를 촬영하기 때문에 카메라가 사용자(1)로부터 일정 거리 이내에 위치하는 것이 요구된다. 이를 위해, 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템은 반려 동물(2)이나 자율 주행 로봇에 탑재된 카메라로 사용자(1)를 촬영함으로써, 집안 내에서 실시간으로 사용자(1)를 모니터링할 수 있다.
본 명세서에서, 상기 추종 장치는 카메라가 사용자(1)로부터 일정 거리 이내에 위치하도록 지원하는 장치를 명명한다. 일례로, 상기 추종 장치는 반려 동물(2)에 착용되어 반려 동물(2)이 사용자(1)로부터 일정 거리 이격되면, 사용자(1)가 반려 동물(2)을 가까이 이동하게 유도하도록 이격 사실을 사용자(1)에게 알람하는 사용자 추종 유도장치(200)일 수 있다. 이때, 딥러닝 기반 행동인식 장치(100) 및 상기 사용자 추종 유도장치(200)는 반려 동물(2)에 착용되는 지지체(20)에 부착될 수 있다. 여기서, 지지체(20)는 반려 동물(2)에 착용하는 구조물로서 옷, 조끼나 장신구 등일 수 있다.
다른 예로서, 상기 추종 장치는 사용자 추종 장치(200')로서 자율 주행 로봇일 수 있다. 이때, 딥러닝 기반 행동인식 장치(100)는 상기 자율 주행 로봇에 탑재될 수 있다.
여기서, 응급 상황에 따라 사용자(1)가 취하는 행동은 위기 행동을 의미한다. 따라서 딥러닝 기반 행동인식 시스템은 사용자(1)의 위기 행동을 인식함으로써 응급 상황을 인식할 수 있다.
보호자 단말(10)은 사용자(1)의 응급 상황을 조치할 수 있는 보호자의 휴대용 단말일 수 있다. 일례로, 보호자 단말(10)은 스마트폰, 노트북, 넷북 등과 같이 휴대가 가능한 전자장치일 수 있다. 이때, 보호자 단말(10)은 딥러닝 기반 행동인식 장치(100)와 직접 통신하거나 관련 서비스 서버를 통하여 통신할 수 있다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 장치의 블록도이며, 도 3은 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 장치의 3차원 관절 좌표 추출을 설명하기 위한 도면이다.
도 2를 참조하면, 딥러닝 기반 행동인식 장치(100)는 카메라(110), 제어부(120) 및 통신부(130)를 포함한다.
카메라(110)는 2D 카메라로서 도 3의 (a)에 도시된 바와 같은 RGB 영상을 획득할 수 있다. 카메라(110)는 사용자(1)와 일정 거리 이내인 경우, 사용자(1)의 영상을 획득할 수 있다. 즉, 카메라(110)는 도 4 및 도 5를 참조하여 후술하는 바와 같은 사용자 추종 유도장치(200) 또는 사용자 추종 장치(200')에 의해 사용자(1)를 추종한 경우, 사용자(1)의 촬영을 개시할 수 있다. 이때, 촬영된 영상은 저장부(미도시)에 일정기간 저장될 수 있다.
제어부(120)는 카메라(110)에서 획득된 영상을 처리하여 사용자(1)의 행동을 인식한다. 제어부(120)는 2차원 관절 좌표 추출부(122), 3차원 관절 좌표 추정부(124) 및 행동 인식부(126)를 포함한다.
2차원 관절 좌표 추출부(122)는 카메라(110)에서 획득된 영상을 기초로 2차원 관절 좌표를 추출한다. 이때, 2차원 관절 좌표 추출부(122)는 딥러닝을 이용하여 도 3의 (b)에 도시된 바와 같은 2차원 관절 좌표를 추출할 수 있다.
일례로, 2차원 관절 좌표 추출부(122)는 자세 추정을 위한 OpenPose 알고리즘을 이용하여 2차원 관절 좌표를 추출할 수 있다. 이때, OpenPose 알고리즘은 신뢰도 맵(confidence map)과 PAF(Part Affinity Fields)를 추출할 수 있다.
여기서, 신뢰도 맵은 인간의 관절 구조 등을 찾는데 사용되며, PAF는 추출된 관절 구조가 어떤 객체의 것인가에 대해 아는데 사용될 수 있다. 즉, OpenPose 알고리즘은 신뢰도 맵과 PAF로 영상에 존재하는 사람의 관절 키포인트(Keypoint)를 예측하고 생성할 수 있다.
3차원 관절 좌표 추정부(124)는 2차원 관절 좌표 추출부(122)에서 추출된 2차원 관절 좌표를 기초로 3차원 관절 좌표를 추정한다. 이때, 3차원 관절 좌표 추정부(124)는 딥러닝을 이용하여 도 3의 (c)에 도시된 바와 같은 3차원 관절 좌표를 추정할 수 있다.
일례로, 3차원 관절 좌표 추정부(124)는 3D baseline 알고리즘을 이용하여 3차원 관절 좌표를 추정할 수 있다. 이때, 3차원 관절 좌표 추정부(124)는 2차원 관절 좌표와 3차원 관절 좌표의 통일성을 유지하기 위해 2차원 관절 좌표 추출부(122)의 OpenPose 알고리즘에 의하여 추출된 2차원 관절 좌표의 관절 키포인트와 3D baseline 알고리즘의 사전 3차원 관절 좌표의 관절 키포인트를 매칭할 수 있다.
여기서, 3D baseline 알고리즘은 사전에 여러 대의 카메라와 마커를 통해 획득된 사전 3차원 관절 좌표와, 촬영된 영상에 의해 딥러닝으로 추론된 3차원 관절 좌표를 비교하여 오차를 줄이도록 학습함으로써, 2차원 관절 좌표로부터 3차원 관절 좌표를 추론할 수 있다.
행동 인식부(126)는 3차원 관절 좌표 추정부(124)에서 추정된 3차원 관절 좌표를 기초로 사용자(1)의 행동을 인식한다. 이때, 행동 인식부(126)는 딥러닝을 이용하여 사용자(1)의 행동을 인식할 수 있다.
또한, 행동 인식부(126)는 인식된 사용자(1)의 행동을 기초로 응급 상황인지를 판단한다. 여기서, 행동 인식부(126)는 딥러닝을 이용하여 인식된 사용자의 행동이 응급 상황에 해당하는지를 판단할 수 있다. 이때, 행동 인식부(126)는 3차원 관절 좌표에 의해 인식된 행동과 미리 지정된 응급 상황 시 행동을 비교하여 인식된 행동이 미리 지정된 응급 상황 시 행동인지를 판단할 수 있다.
이에 의해, 사용자의 행동을 촬영한 영상에서 3차원 관절 좌표와 같이 사용자의 뼈대 정보만을 사용하여 응급 상황 여부를 판별함으로써, 영상에서 사용자의 정보를 배제하여 대상자를 식별할 수 없으므로 사생활 침해를 최소화할 수 있다.
또한, 행동 인식부(126)는 인식된 행동이 응급 상황이면 통신부(130)를 통하여 보호자 단말(10)로 응급 상황을 통지하도록 제어할 수 있다. 도면에 도시되지 않았지만, 대안적으로, 행동 인식부(126)는 통신부(130)를 통하여 관계 기관 서버(미시도)로 응급 상황을 통지하도록 제어할 수도 있다. 이때, 행동 인식부(126)는 사용자(1)의 응급 상황과 관련된 정보 또는 카메라(110)에 의해 촬영된 사용자(1) 및 그 주변의 영상을 보호자 단말(10) 또는 관계 기관 서버(미시도)로 전송하도록 제어할 수 있다.
이에 의해, 독거노인 등과 같은 1인 가구에서 응급 상황이 발생할 경우, 보호자 또는 관계 기관을 통하여 신속하게 대처할 수 있으므로 사용자의 안정성을 보장할 수 있다.
통신부(130)는 제어부(220)의 제어에 따라 보호자 단말(10) 또는 관련 기관 서버(미도시)와 통신을 수행할 수 있다. 이때, 통신부(130)는 무선 공중망을 통하여 원격지의 보호자 단말(10) 또는 관련 기관 서버와 통신을 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템은 독거노인이나 1인 가구 중 반려 동물을 기르는 가구 수가 증가함에 따라 사용자(1)와 반려 동물(2)의 친밀성을 이용한 모니터링 방식을 적용한다. 여기서, 반려 동물(2)에 착용된 지지체(20)에 탑재된 카메라를 통해 사용자(1)의 영상을 획득할 수 있다. 이때, 딥러닝 기반 행동인식 시스템은 사용자(1)의 응급 상황 시 상황 정보나 영상을 보호자 단말(10)이나 관계 기관 서버(미시도)로 통지할 수 있다.
도 4는 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템의 사용자 추종 유도장치의 블록도이다.
사용자 추종 유도장치(200)는 반려 동물(2)에 의해 착용된 지지체(20)에 부착될 수 있다. 사용자 추종 유도장치(200)는 센서부(210), 제어부(220) 및 알람부(230)를 포함할 수 있다.
센서부(210)는 사용자(1)를 탐색할 수 있다. 일례로, 센서부(210)는 열감지 센서나 적외선 센서 등으로 구성될 수 있고, 사용자(1)의 움직임이나 위치를 탐색할 수 있다.
제어부(220)는 센서부(210)에 의해 탐색된 사용자(1)와의 거리에 따라 사용자의 감지 여부를 판단할 수 있다. 일례로, 제어부(220)는 탐색된 사용자(1)와 일정 거리 이내인 경우, 사용자를 감지한 것으로 판단할 수 있다. 여기서, 일정 거리는 카메라(110)의 촬영에 충분한 거리로서, 카메라(110)로부터 획득된 영상으로부터 2차원 관절 좌표를 추출하기 적합한 정도로 사용자(1)의 영상을 획득할 수 있는 거리를 의미한다.
반대로, 제어부(220)는 탐색된 사용자(1)가 일정 거리보다 멀리 위치한 경우, 즉, 카메라(110)의 촬영에 불충분한 거리인 경우, 사용자(1)를 감지하지 않은 것으로 판단할 수 있다. 이때, 제어부(220)는 사용자(1)가 반려 동물(2)을 가까이 유도하도록 알람을 발생하도록 제어할 수 있다. 즉, 제어부(220)는 반려 동물(2)이 일정 거리 이상 이격되어 있음을 사용자(1)에게 인지시키는 동시에, 사용자(1)가 반려 동물(2)을 일정 거리 이내로 유도하게 하는 알람을 발생하도록 제어할 수 있다.
또한, 제어부(220)는 사용자(1)를 감지한 것으로 판단하면, 카메라(110)에 의해 영상을 획득하도록 딥러닝 기반 행동인식 장치(100)로 명령할 수 있다. 여기서, 제어부(220)는 통신부(미도시)를 통하여 무선으로 또는 유선으로 명령을 딥러닝 기반 행동인식 장치(100)로 전송할 수 있다.
이에 의해, 반려 동물(2)을 사용자(1)로부터 일정 거리 이내에 위치하게 할 수 있어 카메라를 고정된 위치에 설치함에 의해 영상 수집이 불가능한 사각지대를 회피할 수 있고, 반려 동물(2)이 사용자를 추종하기 위해 사용자가 별도로 센서를 착용할 필요가 없어 편의성을 향상시킬 수 있다.
알람부(230)는 제어부(220)가 사용자(1)를 감지하지 못한 것으로 판단하면, 제어부(220)의 제어에 따라 사용자(1)에 알람을 수행한다. 이때, 알람부(230)는 시각 또는 청각 또는 시청각적으로 알람을 수행할 수 있다. 일례로, 알람부(230)는 스피커, 부저 및 LED 등 중 적어도 하나를 포함할 수 있다.
대안적으로, 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템은 사용자(1)를 추종하기 위해 자율 주행 기반의 로봇과 같은 사용자 추종 장치(200')를 적용할 수도 있다. 여기서, 사용자 추종 장치(200')는 사용자(1)를 인식하여 자율 이동하거나 보호자가 원격으로 조종할 수 있다.
도 5는 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 시스템의 사용자 추종 장치의 블록도이고, 도 6은 도 2의 딥러닝 기반 행동인식 장치와 도 5의 사용자 추종 장치의 결합 구조도이다.
도 5를 참조하면, 사용자 추종 장치(200')는 센서부(210), 제어부(220') 및 구동부(240)를 포함할 수 있다.
센서부(210)는 사용자 추종 유도장치(200)의 센서부(210)와 동일하므로 구체적인 설명은 생략한다.
제어부(220')는 센서부(210)에 의해 탐색된 사용자(1)와의 거리에 따라 사용자의 감지 여부를 판단할 수 있다. 일례로, 제어부(220)는 탐색된 사용자(1)와 일정 거리 이내인 경우, 사용자를 감지한 것으로 판단할 수 있다.
반대로, 제어부(220')는 탐색된 사용자(1)가 일정 거리보다 멀리 위치한 경우, 즉, 카메라(110)의 촬영에 불충분한 거리인 경우, 사용자를 감지하지 않은 것으로 판단할 수 있다. 이때, 제어부(220')는 사용자(1)와 일정 거리 이내에 위치하기 위해 이동하도록 제어할 수 있다.
또한, 제어부(220')는 사용자(1)를 감지한 것으로 판단하면, 카메라(110)에 의해 영상을 획득하도록 딥러닝 기반 행동인식 장치(100)로 명령할 수 있다. 여기서, 제어부(220')는 통신부(미도시)를 통하여 무선으로 또는 유선으로 명령을 딥러닝 기반 행동인식 장치(100)로 전송할 수 있다.
이에 의해, 사용자(1)와 일정 거리 이내를 유지하도록 사용자가 특별히 신경 쓰지 않아도 자동으로 사용자(1)를 추종할 수 있으므로, 사용자(1)의 인지 여부와 무관하게 지속적으로 촬영 가능 거리를 유지할 수 있다.
구동부(240)는 제어부(220')가 사용자(1)를 감지하지 못한 것으로 판단하면, 제어부(220')의 제어에 따라 사용자(1)와 일정 거리 이내에 위치하도록 이동할 수 있다. 일례로, 구동부(240)는 전동모터 및 전동모터와 연동하는 구동휠을 포함할 수 있다.
대안적으로, 구동부(240)는 보호자 단말(10)에 의해 원격으로 조정될 수 있다. 이때, 구동부(240)는 카메라(110)로부터 촬영된 영상을 보호자 단말(10)로 전송하도록 딥러닝 기반 행동인식 장치(100)로 요청할 수 있다. 이에 의해, 응급 상황 발생 즉시, 원격지의 보호자에 의해 현장 상황을 정확하게 파악할 수 있다.
도 6을 참조하면, 사용자 추종 장치(200')는 그 상부에 카메라(110) 및 제어부(120)를 탑재할 수 있다. 이때, 사용자 추종 장치(200')는 카메라(110) 및 제어부(220)를 탑재하기 위한 지지대 및 지지플레이트를 포함할 수 있다. 또한, 사용자 추종 장치(200')는 충전가능한 배터리(250)를 내장할 수 있다.
이하, 도 7 내지 도 9를 참조하여 본 발명의 딥러닝 기반 행동인식 방법을 설명한다.
도 7은 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 방법의 순서도이다.
딥러닝 기반 행동인식 방법(300)은 사용자를 추종하여 영상을 획득하는 단계(S310), 획득된 영상으로부터 2차원 관절 좌표를 추출하는 단계(S320), 2차원 관절 좌표로부터 3차원 관절 좌표를 추정하는 단계(S330), 3차원 관절 좌표로부터 행동을 인식하는 단계(S340), 인식된 행동이 응급 상황인지 판단하는 단계(S350), 응급 상황인 경우, 보호자 단말로 통지하는 단계(S360)를 포함한다.
여기서, 딥러닝 기반 행동인식 방법(300)은 딥러닝 기반 행동인식 장치(100)에 의해 수행될 수 있다.
보다 상세히 설명하면, 먼저, 카메라(110)가 사용자(1)와 일정 거리 이내에 위치하도록 추종한다. 이때, 반려 동물(2)이나 자율 주행 로봇을 이용하여 카메라(110)가 사용자(1)로부터 일정 거리 이내에 위치하도록 추정할 수 있다. 이는 도 8 및 도 9를 참조하여 더 상세하게 설명한다.
다음으로, 도 7에 도시된 바와 같이, 딥러닝 기반 행동인식 장치(100)는 2D 카메라에 의해 사용자(1)의 영상을 획득한다(단계 S310). 이때, 딥러닝 기반 행동인식 장치(100)는 2D 카메라와 사용자(1)가 일정 거리 이내인 경우, 사용자(1)의 영상 획득을 개시할 수 있다.
다음으로, 딥러닝 기반 행동인식 장치(100)는 획득된 영상을 기초로 2차원 관절 좌표를 추출하다(단계 S320). 이때, 딥러닝 기반 행동인식 장치(100)는 딥러닝을 이용하여 2차원 관절 좌표를 추출할 수 있다.
일례로, 딥러닝 기반 행동인식 장치(100)는 자세 추정을 위한 OpenPose 알고리즘을 이용하여 2차원 관절 좌표를 추출할 수 있다. 이때, OpenPose 알고리즘은 신뢰도 맵과 PAF를 추출할 수 있다.
여기서, 신뢰도 맵은 인간의 관절 구조 등을 찾는데 사용되며, PAF는 추출된 관절 구조가 어떤 객체의 것인가에 대해 아는데 사용될 수 있다. 즉, OpenPose 알고리즘은 신뢰도 맵과 PAF로 영상에 존재하는 사람의 관절 키포인트를 예측하고 생성할 수 있다.
다음으로, 딥러닝 기반 행동인식 장치(100)는 추출된 2차원 관절 좌표를 기초로 3차원 관절 좌표를 추정한다(단계 S330). 이때, 딥러닝 기반 행동인식 장치(100)는 딥러닝을 이용하여 3차원 관절 좌표를 추정할 수 있다.
일례로, 딥러닝 기반 행동인식 장치(100)는 3D baseline 알고리즘을 이용하여 3차원 관절 좌표를 추정할 수 있다. 이때, 딥러닝 기반 행동인식 장치(100)는 2차원 관절 좌표와 3차원 관절 좌표의 통일성을 유지하기 위해 OpenPose 알고리즘에 의하여 추출된 2차원 관절 좌표의 관절 키포인트와 3D baseline 알고리즘의 사전 3차원 관절 좌표의 관절 키포인트를 매칭할 수 있다.
여기서, 3D baseline 알고리즘은 사전에 여러 대의 카메라와 마커를 통해 획득된 사전 3차원 관절 좌표와, 촬영된 영상에 의해 딥러닝으로 추론된 3차원 관절 좌표를 비교하여 오차를 줄이도록 학습함으로써, 2차원 관절 좌표로부터 3차원 관절 좌표를 추론할 수 있다.
다음으로, 딥러닝 기반 행동인식 장치(100)는 추정된 3차원 관절 좌표를 기초로 사용자(1)의 행동을 인식한다(단계 S340). 이때, 딥러닝 기반 행동인식 장치(100)는 딥러닝을 이용하여 사용자(1)의 행동을 인식할 수 있다.
다음으로, 딥러닝 기반 행동인식 장치(100)는 인식된 행동을 기초로 응급 상황인지를 판단한다(단계 S350). 여기서, 딥러닝 기반 행동인식 장치(100)는 딥러닝을 이용하여 인식된 사용자(1)의 행동이 응급 상황에 해당하는지를 판단할 수 있다. 이때, 딥러닝 기반 행동인식 장치(100)는 3차원 관절 좌표에 의해 인식된 행동과 미리 지정된 응급 상황 시 행동을 비교하여 인식된 행동이 미리 지정된 응급 상황 시 행동인지를 판단할 수 있다.
단계 S350의 판단 결과, 인식된 행동이 응급 상황이 아니면, 딥러닝 기반 행동인식 장치(100)는 단계 S310으로 복귀하여 단계 S310 내지 단계 S350의 영상 획득, 2차원 관절 좌표 추출 및 3차원 관절 좌표 추정을 반복 수행할 수 있다.
단계 S350의 판단 결과, 인식된 행동이 응급 상황이면, 딥러닝 기반 행동인식 장치(100)는 보호자 단말(10)로 응급 상황을 통지한다(단계 S360). 대안적으로, 딥러닝 기반 행동인식 장치(100)는 관계 기관 서버(미도시)로 응급 상황을 통지할 수 있다.
이때, 딥러닝 기반 행동인식 장치(100)는 사용자(1)의 응급 상황과 관련된 정보 또는 2D 카메라에 의해 촬영된 사용자(1) 및 그 주변의 영상을 보호자 단말(10) 또는 관계 기관 서버로 전송하도록 제어할 수 있다.
도 8은 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 방법에서 사용자 추종 유도 절차의 순서도이다.
사용자의 추종 유도 절차(400)는 사용자를 탐색하는 단계(S410), 사용자를 감지했는지를 판단하는 단계(S420), 사용자(1)의 영상을 촬영하도록 명령하는 단계(S430), 및 일정 거리 이상 이격됨을 사용자(1)에게 알람하는 단계(S440)를 포함한다.
여기서, 사용자의 추종 유도 절차(400)는 사용자(1)와 반려 동물(2)의 친밀성을 이용한 모니터링 방식을 적용한 것으로서, 반려 동물(2)에 의해 착용된 지지체(20)에 부착된 사용자 추종 유도장치(200)에 의해 수행될 수 있다.
보다 상세하게 설명하면, 도 8에 도시된 바와 같이, 먼저, 사용자 추종 유도장치(200)는 사용자(1)를 탐색한다(단계 S410). 일례로, 사용자 추종 유도장치(200)는 열감지 센서나 적외선 센서 등에 의해 사용자(1)의 움직임이나 위치를 탐색할 수 있다.
다음으로, 사용자 추종 유도장치(200)는 탐색된 사용자(1)와의 거리에 따라 사용자(1)의 감지 여부를 판단한다(단계 S420). 일례로, 사용자 추종 유도장치(200)는 탐색된 사용자(1)와 일정 거리 내인 경우, 사용자를 감지한 것으로 판단할 수 있다. 여기서, 일정 거리는 2D 카메라의 촬영에 충분한 거리로서, 2D 카메라로부터 획득된 영상으로부터 2차원 관절 좌표를 추출하기 적합한 정도로 사용자(1)의 영상을 획득할 수 있는 거리를 의미한다.
반대로, 사용자 추종 유도장치(200)는 탐색된 사용자(1)가 일정 거리보다 멀리 위치한 경우, 즉, 카메라(110)의 촬영에 불충분한 거리인 경우, 사용자(1)를 감지하지 않은 것으로 판단할 수 있다.
단계 S420의 판단 결과, 사용자(1)를 감지하면, 사용자 추종 유도장치(200)는 2D 카메라에 의해 영상을 획득하도록 딥러닝 기반 행동인식 장치(100)로 명령한다(단계 S430). 즉, 사용자(1)가 일정 거리 이내이므로 사용자 추종 유도장치(200)는 2D 카메라에 의해 영상을 획득하도록 명령할 수 있다. 이때, 사용자 추종 유도장치(200)는 무선 통신으로 또는 유선으로 명령을 딥러닝 기반 행동인식 장치(100)로 전송할 수 있다.
단계 S420의 판단 결과, 사용자(1)를 감지하지 못하면, 사용자 추종 유도장치(200)는 사용자(1)가 반려 동물(2)을 가까이 유도하도록 알람한다(단계 S440). 이때, 사용자 추종 유도장치(200)는 반려 동물(2)이 일정 거리 이상 이격되어 있음을 사용자(1)에게 인지시키는 동시에, 사용자(1)가 반려 동물(2)을 일정 거리 내로 유도하게 하는 알람을 발생할 수 있다.
여기서, 사용자 추종 유도장치(200)는 시각 또는 청각 또는 시청각적으로 알람을 수행할 수 있다. 일례로, 딥러닝 기반 행동인식 장치(100)는 스피커, 부저 및 LED 등 중 적어도 하나에 의해 알람을 수행할 수 있다.
이때, 사용자(1)가 반려 동물(2)을 가까이 오도록 유도함으로써 사용자(1)와 반려 동물(2) 사이의 거리가 일정 거리 이내로 유지될 수 있다.
도 9는 본 발명의 일 실시예에 따른 딥러닝 기반 행동인식 방법에서 사용자 추종 절차의 순서도이다.
사용자 추종 절차(400')는 사용자를 탐색하는 단계(S410), 사용자를 감지했는지를 판단하는 단계(S420), 사용자(1)의 영상을 촬영하도록 명령하는 단계(S430), 및 일정 거리 이내로 사용자를 추종하도록 자율 이동하는 단계(S450)를 포함한다.
여기서, 사용자 추종 절차(400')는 사용자(1)를 추종하기 위해 자율 주행 기반의 로봇과 같은 사용자 추종 장치(200')에 의해 수행될 수 있다. 이때, 사용자 추종 장치(200')는 사용자(1)를 인식하여 자율이동하거나 보호자가 원격으로 조정할 수 있다.
보다 상세하게 설명하면, 도 9에 도시된 바와 같이, 사용자 추종 절차(400')는 사용자(1)의 탐색(단계 S410), 사용자 감지(단계 S420) 및 영상촬영 명령(단계 S430)은 도 8에 도시된 사용자 추종 유도 절차(400)와 동일하므로 여기서 구체적인 설명은 생략한다.
단계 S420의 판단 결과, 사용자(1)를 감지하지 못하면, 사용자 추종 장치(200')는 사용자 추종 장치(200')가 사용자와 일정 거리 이내에 위치하도록 사용자 추종 자율 이동을 수행한다(단계 S450). 이때, 사용자 추종 장치(200')는 전동모터 및 전동모터와 연동하는 구동휠 등의 구동수단에 의해 사용자 추종 자율 이동을 수행할 수 있다.
대안적으로, 사용자 추종 장치(200')는 보호자 단말(10)에 의해 원격으로 조정될 수 있다. 이때, 사용자 추종 장치(200')는 2D 카메라로부터 촬영된 영상을 보호자 단말(10)로 전송하도록 딥러닝 기반 행동인식 장치(100)로 요청할 수 있다.
상기와 같은 방법들은 도 2에 도시된 바와 같은 딥러닝 기반 행동인식 장치(100) 및 도 4에 도시된 바와 같은 사용자 추종 유도장치(200) 또는 도 5에 도시된 바와 같은 사용자 추종 장치(200')에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
이때, 컴퓨터 판독가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
100 : 딥러닝 기반 행동인식 장치
110 : 카메라 120 : 제어부
122 : 2차원 관절 좌표 추출부 124 : 3차원 관절 좌표 추정부
126 : 행동 인식부 130 : 통신부
200 : 사용자 추종 유도장치 210 : 센서부
220 : 제어부 230 : 알람부
200' : 사용자 추종 장치 220' : 제어부
240 : 구동부 250 : 배터리
1 : 사용자 2 : 반려 동물
10 : 보호자 단말 20 : 지지체

Claims (16)

  1. 사용자와 일정 거리 이내인 경우, 사용자의 영상을 획득하는 2D 카메라;
    상기 획득된 영상을 기초로 딥러닝을 이용하여 2차원 관절 좌표를 추출하는 2차원 관절 좌표 추출부;
    상기 추출된 2차원 관절 좌표를 기초로 딥러닝을 이용하여 3차원 관절 좌표를 추정하는 3차원 관절 좌표 추정부;
    상기 추정된 3차원 관절 좌표를 기초로 딥러닝을 이용하여 사용자의 행동을 인식하고, 상기 인식된 행동을 기초로 딥러닝을 이용하여 응급 상황인지를 판단하는 행동 인식부; 및
    상기 2D 카메라가 사용자와 일정 거리 이내에 위치하도록 지원하는 사용자 추종 유도장치; 를 포함하고,
    상기 사용자 추종 유도장치는,
    상기 사용자를 탐색하는 센서부;
    상기 탐색된 사용자와의 거리에 따라 사용자의 감지 여부를 판단하는 제어부; 및
    상기 사용자를 감지하지 못하면, 사용자에게 알람하는 알람부를 포함하고,
    상기 사용자 추종 유도장치는 반려 동물에 의해 착용된 지지체에 부착되며,
    상기 제어부는 반려 동물이 일정 거리 이상 이격되어 있음을 사용자에게 인지시키고 사용자가 반려 동물을 일정 거리 이내에 위치하게 유도하게 하는 알람을 발생하도록 제어하는 딥러닝 기반 행동인식 시스템.
  2. 제1항에 있어서,
    상기 행동 인식부는 상기 인식된 행동이 응급 상황이면 보호자 단말 또는 관계 기관 서버로 통지하는 딥러닝 기반 행동인식 시스템.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 사용자 추종 유도장치는 상기 사용자를 감지하면, 상기 카메라에 의해 영상을 획득하도록 명령하는 딥러닝 기반 행동인식 시스템.
  6. 제1항에 있어서,
    상기 2차원 관절 좌표 추출부는 자세 추정을 위한 OpenPose 알고리즘을 이용하여 신뢰도 맵(confidence map)과 PAF(Part Affinity Fields)를 추출하여 상기 2차원 관절 좌표를 추출하는 딥러닝 기반 행동인식 시스템.
  7. 제6항에 있어서,
    상기 3차원 관절 좌표 추정부는 3D baseline 알고리즘을 이용하여 상기 3차원 관절 좌표를 추정하되, 상기 OpenPose 알고리즘에 의하여 추출된 상기 2차원 관절 좌표의 관절 키포인트와 상기 3D baseline 알고리즘의 사전 3차원 관절 좌표의 관절 키포인트를 매칭하여 상기 3차원 관절 좌표를 추정하는 딥러닝 기반 행동인식 시스템.
  8. 제1항에 있어서,
    상기 행동 인식부는 상기 인식된 행동이 미리 지정된 응급 상황 시 행동인지를 판단하는 딥러닝 기반 행동인식 시스템.
  9. 딥러닝 기반 행동인식 시스템의 행동인식 방법으로서,
    2D 카메라가 사용자와 일정 거리 이내에 위치하도록 추종하는 단계;
    상기 2D 카메라와 상기 사용자가 일정 거리 이내인 경우, 상기 2D 카메라에 의해 사용자의 영상을 획득하는 단계;
    상기 획득된 영상을 기초로 딥러닝을 이용하여 2차원 관절 좌표를 추출하는 단계;
    상기 추출된 2차원 관절 좌표를 기초로 딥러닝을 이용하여 3차원 관절 좌표를 추정하는 단계;
    상기 추정된 3차원 관절 좌표를 기초로 딥러닝을 이용하여 사용자의 행동을 인식하는 단계; 및
    상기 인식된 행동을 기초로 딥러닝을 이용하여 응급 상황인지를 판단하는 단계;
    를 포함하고,
    상기 추종하는 단계는,
    반려 동물에 의해 착용된 센서부에 의해 상기 사용자를 탐색하는 단계;
    상기 탐색된 사용자와의 거리에 따라 사용자의 감지 여부를 판단하는 단계; 및
    상기 사용자를 감지하지 못하면, 반려 동물이 일정 거리 이상 이격되어 있음을 사용자에게 인지시키고 사용자가 반려 동물을 일정 거리 이내에 위치하게 유도하도록 알람하는 단계;를 포함하는 딥러닝 기반 행동인식 방법.
  10. 제9항에 있어서,
    상기 인식된 행동이 응급 상황이면 보호자 단말 또는 관계 기관 서버로 통지하는 단계를 더 포함하는 딥러닝 기반 행동인식 방법.
  11. 삭제
  12. 삭제
  13. 제9항에 있어서,
    상기 추종하는 단계는 상기 사용자를 감지하면, 상기 획득하는 단계를 수행하도록 명령하는 단계를 더 포함하는 딥러닝 기반 행동인식 방법.
  14. 제9항에 있어서,
    상기 2차원 관절 좌표를 추출하는 단계는 자세 추정을 위한 OpenPose 알고리즘을 이용하여 신뢰도 맵(confidence map)과 PAF(Part Affinity Fields)를 추출하여 상기 2차원 관절 좌표를 추출하는 딥러닝 기반 행동인식 방법.
  15. 제14항에 있어서,
    상기 3차원 관절 좌표를 추종하는 단계는 3D baseline 알고리즘을 이용하여 상기 3차원 관절 좌표를 추정하되, 상기 OpenPose 알고리즘에 의하여 추출된 상기 2차원 관절 좌표의 관절 키포인트와 상기 3D baseline 알고리즘의 사전 3차원 관절 좌표의 관절 키포인트를 매칭하여 상기 3차원 관절 좌표를 추정하는 딥러닝 기반 행동인식 방법.
  16. 제9항에 있어서,
    상기 응급 상황인지를 판단하는 단계는 상기 인식된 행동이 미리 지정된 응급 상황 시 행동인지를 판단하는 딥러닝 기반 행동인식 방법.
KR1020200012417A 2020-02-03 2020-02-03 딥러닝 기반 행동인식 시스템 및 방법 KR102299424B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200012417A KR102299424B1 (ko) 2020-02-03 2020-02-03 딥러닝 기반 행동인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200012417A KR102299424B1 (ko) 2020-02-03 2020-02-03 딥러닝 기반 행동인식 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210098640A KR20210098640A (ko) 2021-08-11
KR102299424B1 true KR102299424B1 (ko) 2021-09-07

Family

ID=77314060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200012417A KR102299424B1 (ko) 2020-02-03 2020-02-03 딥러닝 기반 행동인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102299424B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102527771B1 (ko) 2022-11-11 2023-05-02 주식회사 인텔리빅스 Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법
KR20230156215A (ko) 2022-05-04 2023-11-14 동국대학교 산학협력단 레이더를 이용한 행동 인식 딥러닝 모델, 및 이를 포함하는 행동 인식 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102379275B1 (ko) * 2021-11-16 2022-03-29 퀀텀테크엔시큐 주식회사 영상기반 원격 홈 케어 시스템
KR20230078063A (ko) * 2021-11-26 2023-06-02 주식회사 공훈 자세유형 판별을 위한 서버 및 그 동작방법
KR102465318B1 (ko) * 2022-01-04 2022-11-10 광주과학기술원 웨어러블 센서를 이용한 일상 행동 패턴의 자동인식 및 분류하는 시스템 및 방법
KR102691509B1 (ko) * 2022-04-26 2024-08-05 소프트온넷(주) 메타버스 환경에서의 cctv 통합 관제 시스템 및 그 동작 방법
CN117830920A (zh) * 2023-11-27 2024-04-05 无锡伙伴智能科技有限公司 一种监护方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101872811B1 (ko) 2016-08-18 2018-06-29 고려대학교 산학협력단 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법
KR20190100085A (ko) * 2019-08-05 2019-08-28 엘지전자 주식회사 인공 지능을 이용하여, 위험 상황을 감지할 수 있는 로봇 및 그의 동작 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230156215A (ko) 2022-05-04 2023-11-14 동국대학교 산학협력단 레이더를 이용한 행동 인식 딥러닝 모델, 및 이를 포함하는 행동 인식 시스템
KR102527771B1 (ko) 2022-11-11 2023-05-02 주식회사 인텔리빅스 Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법

Also Published As

Publication number Publication date
KR20210098640A (ko) 2021-08-11

Similar Documents

Publication Publication Date Title
KR102299424B1 (ko) 딥러닝 기반 행동인식 시스템 및 방법
EP3437078B1 (en) Theft prevention monitoring device and system and method
US10762640B2 (en) Systems and methods for user detection, identification, and localization within a defined space
US20200394898A1 (en) System and method for monitoring a property using drone beacons
JP6812772B2 (ja) 監視装置及びプログラム
WO2017219529A1 (zh) 目标跟踪方法、装置、系统、远程监控系统和电子设备
KR101328246B1 (ko) 이동 객체 자동 추적 시스템과 그 방법
CN106341661B (zh) 巡逻机器人
WO2017154595A1 (ja) 生体探索システム
KR20120113142A (ko) Ｒｔｌｓ 태그 장치 및 위치추적 시스템
CN105844209B (zh) 基于红外辐射探测的访客识别
CN112911156B (zh) 一种基于计算机视觉的巡逻机器人和安防系统
CN108259846B (zh) 工业巡逻机器人系统
US11846941B2 (en) Drone graphical user interface
JPWO2014030407A1 (ja) 制御装置および記憶媒体
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
JP2009162413A (ja) 狙撃手検知装置
CN105678958A (zh) 一种基于机器人的人体跌倒监测系统
KR101075550B1 (ko) 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
JP3801044B2 (ja) 防犯監視システム
KR101615243B1 (ko) 지능형 방범 영상 감시장치 및 영상 감시방법
CN112333432A (zh) 智能家居用安防监控系统及方法
CN112472538A (zh) 人工智能导盲行走机器人
KR20220043308A (ko) Ai 알고리즘을 이용한 선박 관리시스템
CN109074710A (zh) 闭路电视机顶盒防盗方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant