KR20240069132A - 트레드밀에서 사용자의 움직임을 파악하여 위험을 알리는 인공지능 시스템 - Google Patents

트레드밀에서 사용자의 움직임을 파악하여 위험을 알리는 인공지능 시스템 Download PDF

Info

Publication number
KR20240069132A
KR20240069132A KR1020220150313A KR20220150313A KR20240069132A KR 20240069132 A KR20240069132 A KR 20240069132A KR 1020220150313 A KR1020220150313 A KR 1020220150313A KR 20220150313 A KR20220150313 A KR 20220150313A KR 20240069132 A KR20240069132 A KR 20240069132A
Authority
KR
South Korea
Prior art keywords
user
artificial intelligence
treadmill
risk
score
Prior art date
Application number
KR1020220150313A
Other languages
English (en)
Inventor
최용석
윤혜경
Original Assignee
한양대학교 산학협력단
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20240069132A publication Critical patent/KR20240069132A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6895—Sport equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors

Abstract

트레드밀에서 사용자의 움직임을 파악하여 위험을 알리는 인공지능 시스템이 개시된다. 일 실시예에 따른 사용자의 위험도를 판단하기 위한 인공지능 시스템은, 사용자에 의한 트레드밀 작동이 시작됨에 따라 상기 트레드밀에 설치된 복수 개의 카메라를 이용하여 사용자의 모습을 촬영한 복수 개의 영상 데이터를 획득하는 영상 획득부; 상기 획득된 복수 개의 영상 데이터에 대하여 인공지능 모델을 이용한 행동 인식을 통해 사용자에 대한 각각의 위험도를 판단하는 위험도 판단부; 및 상기 판단된 사용자에 대한 각각의 위험도를 합산한 점수를 임계치에 따라 알람을 발생시키는 알람 발생부를 포함할 수 있다.

Description

트레드밀에서 사용자의 움직임을 파악하여 위험을 알리는 인공지능 시스템{ARTIFICIAL INTELLIGENCE SYSTEM THAT DETECTS THE USER'S MOVEMENT ON THE TREADMILL AND NOTIFIES THE DANGER}
아래의 설명은 사용자의 움직임을 파악하는 기술에 관한 것이다.
인공지능의 등장으로 인하여 실시간으로 객체를 탐지하는 기술이 발달함에 따라 도로 CCTV등에 적용되는 범위가 넓어지고 있으나, 사용자들이 트레드밀에서 운동할 때 발생하는 안전사고 및 긴급상황에 대처하기 위한 인공지능 기반의 영상인식 시스템의 적용이 아직은 일반화 되고 있지 않은 상황이다. 따라서, 전 연령이 사용하는 트레드밀에서 사용자의 움직임을 인식하여 위험의 정도를 알려 안전 사고를 예방하는 시스템의 개발이 요구되고 있다.
참고로, 대한민국 등록특허 제10-2389427호에 보행 데이터를 이용한 낙상 위험 예방 기술이 개시된 바 있다.
트레드밀에서 갑자기 사용자에게 발상하는 응급 상황을 예방하고 사고를 주위에 알려 골든타임을 확보하기 위한 방법 및 시스템을 제공할 수 있다.
사용자의 위험도를 판단하기 위한 인공지능 시스템은, 사용자에 의한 트레드밀 작동이 시작됨에 따라 상기 트레드밀에 설치된 복수 개의 카메라를 이용하여 사용자의 모습을 촬영한 복수 개의 영상 데이터를 획득하는 영상 획득부; 상기 획득된 복수 개의 영상 데이터에 대하여 인공지능 모델을 이용한 행동 인식을 통해 사용자에 대한 각각의 위험도를 판단하는 위험도 판단부; 및 상기 판단된 사용자에 대한 각각의 위험도를 합산한 점수를 임계치에 따라 알람을 발생시키는 알람 발생부를 포함할 수 있다.
상기 인공지능 모델은, 행동을 포함하는 데이터 셋을 이용하여 사전 학습된 타임스포머(timesformer) 기반으로 구성된 것이고, 사람동작 영상의 데이터 셋에서 '걷다', '뛰다', '넘어지다'의 영상과, 비어있는 트레드밀 영상의 '사용자 없음'의 영상에 포함된 복수 개의 레이블을 이용하여 상기 인공지능 모델의 미세 조정이 진행된 것일 수 있다.
상기 인공지능 모델은, 트레드밀에 설정된 각 구역에 기초하여 사용자에 대한 각각의 위험도를 판단하기 위한 구역 별 점수를 포함하는 기준이 학습된 것일 수 있다.
상기 위험도 판단부는, 상기 획득된 복수 개의 영상 데이터에 대하여 상기 인공지능 모델을 통해 상기 트레드밀에 설정된 각 구역에 기초하여 사용자에 대한 각각의 위험도를 판단하는 것을 포함하고, 상기 트레드밀에 설정된 각 구역은, 트레드밀의 중앙을 기준으로 카메라와 사용자의 거리에 따라 복수 개의 구역으로 설정된 것일 수 있다.
상기 위험도 판단부는, 상기 인공지능 모델을 통해 상기 획득된 복수 개의 영상 데이터로부터 사용자의 움직임 변화를 파악하여 상기 인공지능 모델에 학습된 레이블의 이외의 행동과 비정상적인 사용자의 위치 데이터를 파악할 수 있다.
상기 위험도 판단부는, 상기 인공지능 모델을 통해 상기 획득된 복수 개의 영상 데이터로부터 1)'걷다' or '뛰다', 2)'뛰다', 3)'넘어지다' 또는 4)'넘어지다' or '사용자 없음' 중 어느 하나의 레이블을 식별하고, 상기 식별된 레이블에 대응되는 위험도의 점수를 계산할 수 있다.
상기 알람 발생부는, 상기 합산한 점수가 0~4점일 경우, 안전 단계로 판단하여 알람을 미발생시키고, 4~6점일 경우, 경고 단계로 판단하여 트레드밀 네온사인으로 알람을 발생시키고, 7~8점일 경우, 위험 단계로 판단하여 특정 크기의 알람을 발생시키고, 9~10점일 경우, 위급 단계로 판단하여 특정 크기 이상의 알람을 발생시킬 수 있다.
인공지능 시스템에 의해 수행되는 사용자의 위험도를 판단하는 방법은, 사용자에 의한 트레드밀 작동이 시작됨에 따라 상기 트레드밀에 설치된 복수 개의 카메라를 이용하여 사용자의 모습을 촬영한 복수 개의 영상 데이터를 획득하는 단계; 상기 획득된 복수 개의 영상 데이터에 대하여 인공지능 모델을 이용한 행동 인식을 통해 사용자에 대한 각각의 위험도를 판단하는 단계; 및 상기 판단된 사용자에 대한 각각의 위험도를 합산한 점수를 임계치에 따라 알람을 발생시키는 단계를 포함할 수 있다.
트레드밀을 사용하는 전 연령대의 사용자의 모습을 인식하여 사용자에게 위험 상황을 알리고 트레드밀 사용 중 갑자기 카메라 앵글에서 벗어났을 경우 주변에 위험 상황을 알림으로써 사용자의 심장마비등의 응급 상황에서의 골든타임을 확보할 수 있다.
도 1은 일 실시예에 있어서, 인공지능 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 있어서, 인공지능 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 있어서, 사용자의 위험도를 판단하는 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 있어서, 사용자의 위험도를 판단하는 기준을 설명하기 위한 도면이다.
도 5는 일 실시예에 있어서, 사용자와 위험도 판단 서비스 간의 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 있어서, 인공지능 모델의 학습 동작을 설명하기 위한 도면이다.
도 7은 일 실시예에 있어서, 인공지능 모델을 이용하여 위험도 점수를 계산하는 동작을 설명하기 위한 도면이다.
도 8 내지 도 11은 일 실시예에 있어서, 인공지능 모델을 이용한 사용자의 움직임을 파악을 통해 사용자의 위험도를 판단하는 동작을 설명하기 위한 예이다.
도 12는 일 실시예에 있어서, 사용자의 행동을 예측하는 동작을 설명하기 위한 예이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 있어서, 인공지능 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
인공지능 시스템은 트레드밀(러닝머신)에 행동 인식 기술을 탑재하여 사용자의 움직임에 따라 경고 알림을 전달하기 위한 관한 것으로, 인공지능 모델을 이용하여 트레드밀을 사용하는 전 연령대의 움직임을 파악하여 움직임의 변화에 따라 위험 경고 알림을 발생시킬 수 있다.
사용자가 트레드밀 작동을 시작하면 트레드밀에 장착된 복수 개의 카메라가 동시에 작동을 시작할 수 있다(101). 예를 들면, 2대의 카메라가 트레드밀에 좌/우 또는 상/하로 설치되어 있을 수 있다. 실시예에서는 설명의 편의를 위하여 트레드밀에 좌/우로 2대의 카메라(카메라 1, 카메라 2)가 설치된 것을 예를 들어 설명하기로 한다. 트레드밀에 장착된 복수 개의 카메라에서 사용자의 좌우 모습을 각각 촬영한 영상 데이터가 실시간으로 인공지능 시스템(서버)에 연결된 인공지능 모델에 전송될 수 있다(102). 다시 말해서, 인공지능 시스템은 사용자에 의한 트레드밀 작동이 시작됨에 따라 작동된 트레드밀에 설치된 복수 개의 카메라를 이용하여 사용자의 좌우 모습을 촬영한 복수 개의 영상 데이터를 획득할 수 있다. 인공지능 시스템은 각 카메라에서 촬영된 실시간 모습(좌측 모습, 우측 모습)에 대해 인공지능 모델을 이용한 행동 인식(행동인식 1, 행동인식 2)을 통해 현재 사용자의 위험도를 파악하여 점수로 환산할 수 있다(103). 이때, 인공지능 모델은 하나의 인공지능 모델을 통해 좌측 모습에 대한 행동 인식과 우측 모습에 대한 행동 인식을 각각 수행할 수 있으며, 또는, 각각의 인공지능 모델을 통해 좌측 모습에 대한 행동 인식을 수행하고, 우측 모습에 대한 행동 인식을 수행할 수 있다. 인공지능 시스템은 획득된 복수 개의 영상 데이터를 인공지능 모델을 이용한 각각의 행동 인식을 통해 사용자에 대한 각각의 위험도를 판단할 수 있다. 인공지능 시스템은 사용자의 행동을 정상, 비정상 또는 낙상으로 분류할 수 있다. 인공지능 시스템은 인공지능 모델을 이용하여 판단된 각각의 위험도로부터 환산된 점수를 합산할 수 있다(104). 인공지능 시스템은 합산된 점수가 임계치(기준점)를 초과할 경우, 트레드밀을 사용하는 사용자에게 위험도에 따르는 알람을 생성할 수 있다. 인공지능 시스템은 합산한 점수와 임계치에 따라 트레드밀을 사용하는 사용자에게 위험 예방 알람을 전송할 수 있다(105). 예를 들면, 인공지능 시스템은 합산한 점수가 임계치보다 작을 경우, 사용자의 행동을 정상으로 판단할 수 있고, 합산한 점수가 임계치보다 클 경우, 사용자의 행동을 비정상으로 판단할 수 있다. 또한, 인공지능 시스템은 사용자가 갑자기 카메라 앵글에서 벗어났을 경우, 사용자가 트레드밀에서 낙상하여 응급 상황인 것으로 판단하여 주변의 도움을 요청하는 알람을 울리도록 설정할 수 있다.
도 2는 일 실시예에 있어서, 인공지능 시스템의 구성을 설명하기 위한 블록도이고, 도 3은 일 실시예에 있어서, 사용자의 위험도를 판단하는 방법을 설명하기 위한 흐름도이다.
인공지능 시스템(100)의 프로세서는 영상 획득부(210), 위험도 판단부(220) 및 알람 발생부(230)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 인공지능 시스템에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 3의 사용자의 위험도를 판단하는 방법이 포함하는 단계들(310 내지 330)을 수행하도록 인공지능 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
프로세서는 사용자의 위험도를 판단하는 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 인공지능 시스템에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 인공지능 시스템을 제어할 수 있다. 이때, 영상 획득부(210), 위험도 판단부(220) 및 알람 발생부(230) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(310 내지 330)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.
단계(310)에서 영상 획득부(210)는 사용자에 의한 트레드밀 작동이 시작됨에 따라 트레드밀에 설치된 복수 개의 카메라를 이용하여 사용자의 모습을 촬영한 복수 개의 영상 데이터를 획득할 수 있다.
단계(320)에서 위험도 판단부(220)는 획득된 복수 개의 영상 데이터에 대하여 인공지능 모델을 이용한 행동 인식을 통해 사용자에 대한 각각의 위험도를 판단할 수 있다. 위험도 판단부(220)는 획득된 복수 개의 영상 데이터에 대하여 인공지능 모델을 통해 트레드밀에 설정된 각 구역에 기초하여 사용자에 대한 각각의 위험도를 판단할 수 있다. 이때, 트레드밀에 설정된 각 구역은, 트레드밀의 중앙을 기준으로 카메라와 사용자의 거리에 따라 복수 개의 구역으로 설정된 것일 수 있다. 위험도 판단부(220)는 인공지능 모델을 통해 획득된 복수 개의 영상 데이터로부터 사용자의 움직임 변화를 파악하여 인공지능 모델에 학습된 레이블의 이외의 행동과 비정상적인 사용자의 위치 데이터를 파악할 수 있다. 위험도 판단부(220)는 인공지능 모델을 통해 획득된 복수 개의 영상 데이터로부터 1)'걷다' or '뛰다', 2)'뛰다', 3)'넘어지다' 또는 4)'넘어지다' or '사용자 없음'의 레이블을 식별하고, 식별된 레이블에 대응되는 위험도의 점수를 계산할 수 있다.
단계(330)에서 알람 발생부(230)는 판단된 사용자에 대한 각각의 위험도를 합산한 점수를 임계치에 따라 알람을 발생시킬 수 있다. 알람 발생부(230)는 판단된 사용자에 대한 각각의 위험도를 합산한 점수를 상황마다 정의된 임계치에 따라 알람을 발생시킬 수 있다. 알람 발생부(230)는 합산한 점수가 0~4점일 경우, 안전 단계로 판단하여 알람을 미발생시키고, 4~6점일 경우, 경고 단계로 판단하여 트레드밀 네온사인으로 알람을 발생시키고, 7~8점일 경우, 위험 단계로 판단하여 특정 크기의 알람을 발생시키고, 9~10점일 경우, 위급 단계로 판단하여 특정 크기 이상의 알람을 발생시킬 수 있다. 알람 발생부(230)는 합산된 점수를 임계치와의 비교를 통해 합산된 점수가 임계치 이상일 경우, 트레드밀 알람을 생성할 수 있다. 알람 발생부(230)는 생성된 트레드밀 알람을 트레드밀 또는 트레드밀을 사용하는 사용자에게 전송할 수 있다. 이에, 사용자는 알람을 수신할 수 있다. 이때, 인공지능 시스템은 '위급' 상황을 제외하고 사용자가 트레드밀 사용을 종료할 때까지 프로세스를 반복할 수 있다.
도 4는 일 실시예에 있어서, 사용자의 위험도를 판단하는 기준을 설명하기 위한 도면이다.
인공지능 시스템은 사용자의 위험도를 판단하기 위해서 트레드밀을 구역별로 구분하고, 구분된 구역에 따라 인공지능 모델을 이용하여 위험도를 계산할 수 있다. 트레드밀의 안전 구역도는 트레드밀의 중앙을 기준으로 하되, 각 구역은 트레드밀과 카메라와 사용자의 거리에 따라 다르게 정의될 수 있다. 이때, 트레드밀의 중앙은 사전에 관리자에 의해 위치 데이터가 설정될 수 있다. 구역 1은 사용자와 좌우 카메라 간의 거리가 1m, 트레드밀 중앙에서 좌우로 30cm 떨어진 거리로 정의하고, 구역 2는 좌우 카메라와 사용자 간의 거리가 1.3m, 트레드밀 중앙에서 좌우로 50cm 떨어진 거리로 정의하고, 구역 3은 좌우 카메라와 사용자 간의 거리가 1.5m, 트레드밀 중앙에서 좌우로 60cm 떨어진 거리로 정의하고, 구역 4는 트레드밀 외의 공간으로 정의하여 사용자가 트레드밀 내에 보이지 않는 구역으로 정의할 수 있다.
인공지능 시스템은 인공지능 모델을 이용하여 영상 데이터에서 인식된 사용자의 위치가 트레드밀 중앙 또는 구역 1에 위치할 경우, 현재 사용자가 안전한 범위에 있다고 판단하여 중앙을 1점, 구역 1을 2점으로 계산할 수 있다. 여기서, 인공지능 모델은 트레드밀에 설정된 각 구역에 기초하여 사용자에 대한 각각의 위험도를 판단하기 위한 기준이 학습된 것일 수 있다. 다시 말해서, 인공지능 모델은 표 1의 구역 및 구역 별 점수가 학습되어 영상 데이터로부터 사용자의 위험도를 판단할 수 있다. 인공지능 시스템은 인공지능 모델을 이용하여 영상 데이터에서 인식된 사용자의 위치가 구역 2에 위치할 경우, 경고를 의미하는 3점을 부여할 수 있다. 마찬가지로, 인공지능 시스템은 구역 3의 경우 위험을 의미하는 4점, 구역 4의 경우 위급을 의미하는 5점을 부여할 수 있다. 이때, 인공지능 시스템은 카메라 당 0~5점 범위로 점수를 부여하여 각각의 영상 데이터(좌측 영상, 우측 영상)에 대해 위험도를 판단할 수 있다.
표 1:
도 5는 일 실시예에 있어서, 사용자와 위험도 판단 서비스 간의 동작을 설명하기 위한 도면이다.
사용자 인터페이스 측에서 사용자가 트레드밀 사용을 시작함과 동시에 트레드밀에 장착된 카메라가 작동하기 시작한다. 이러한 카메라를 통해 실시간으로 사용자의 움직임이 촬영되고, 촬영된 영상 데이터가 인공지능 모델에 실시간으로 전달될 수 있다. 인공지능 모델은 트레드밀에 장착된 각 2개의 카메라에 매칭되어 사용자의 좌우 모습을 각각 실시간으로 인식하고, 인식된 영상 데이터에 따라 사용자의 현재 위험도를 계산할 수 있다. 2개의 인공지능 모델에서 계산된 점수를 합산하여 사전에 정의된 임계치에 따라 사용자에게 위험 알람을 전달할 수 있다. 사용자는 자신의 움직임에 대한 위험도를 파악할 수 있으며, 사전에 정의된 위급 상황의 경우 주변에서 알람 소리를 듣고 사용자의 응급 상황에 도움을 자동으로 요청할 수 있게 된다.
도 6은 일 실시예에 있어서, 인공지능 모델의 학습 동작을 설명하기 위한 도면이다.
인공지능 모델(600)은 행동을 포함하는 데이터 셋을 이용하여 사전 학습(pre-trained)된 타임스포머(Timesformer)로 구성된 것일 수 있다. 예를 들면, 인공지능 모델(600)은 약 400개의 행동을 포함하고 있는 kinetics 데이터 셋으로 사전 학습된 타임스포머를 사용할 수 있다. 또한, 인공지능 모델(600)은 AIHub의 사람동작 영상의 데이터 셋에서 '걷다', '뛰다', '넘어지다'의 영상과 비어있는 트레드밀의 영상에서 '사용자 없음'을 포함하는 4가지 레이블로 미세조정(fine-tuning)이 진행된 것일 수 있다. 또한, 인공지능 모델(600)은 행동과 사람 동작에 대해 학습된 이후, '천천히 걷기(기설정된 기준 이하의 속도로 걷기)', '빠르게 걷기(기설정된 기준 이상의 속도로 걷기)' 등과 같은 레이블을 추가하여 미세 조정이 진행될 수 있다.
도 7은 일 실시예에 있어서, 인공지능 모델을 이용하여 위험도 점수를 계산하는 동작을 설명하기 위한 도면이다.
인공지능 시스템은 복수 개의 영상 데이터에 대하여 인공지능 모델을 이용한 행동 인식을 통해 각 상황에 따라 위험도를 계산할 수 있다. 일례로, 인공지능 시스템은 2대의 카메라와 연결된 2개의 인공지능 모델이 부여한 점수를 합산하여 임계치마다 트레드밀에서 사용자에게 알람을 발생시킬 수 있다. 인공지능 시스템은 표 1에서 계산된 위험도를 합산한 점수를 임계치와의 비교를 통해 트레드밀에서 사용자에게 알람을 발생시킬 수 있다.
표 2를 참고하면, 인공지능 시스템은 0~4점의 경우 안전 단계로 판단하여 사용자에게 알람을 전송하지 않는다. 인공지능 시스템은 4~6점의 경우, 경고 단계로 판단하여 사용자가 볼 수 있게 트레드밀의 네오 사인으로만 알람을 전송할 수 있다. 인공지능 시스템은 7~8점의 경우, 위험 단계로 판단하여 트레드밀 사용 중에도 사용자가 들을 수 있도록 특정 크기(예를 들면, 60dB)의 알람을 전송할 수 있다. 인공지능 시스템은 9~10점의 경우, 위급 단계로 판단하여 사용자가 트레드밀에서 갑자기 사라진 것으로 감지하여, 사용자의 위급한 상황을 주변에 알릴 수 있도록 특정 크기 이상(예를 들면, 70dB)의 알람이 전송할 수 있다. 이에, 트레드밀에서 전송된 알람이 울릴 수 있다.
표 2: 알람을 발생시키는 기준
다른 예로서, 인공지능 시스템은 미세 조정된 가중치를 기반으로 사용자의 움직임을 인공지능 모델을 통해 실시간으로 분류할 수 있다. 인공지능 시스템은 미세 조정되어 학습된 레이블에 따라 점수를 환산할 수 있다. 예를 들면, 인공지능 시스템은 복수 개의 영상 데이터에 대하여 인공지능 모델에 학습된 레이블이 인식될 경우, 표 3에 설정된 점수를 부여할 수 있다. 표 3을 참고하면, 인공지능 시스템은 획득된 복수 개의 영상 데이터에 대하여 인공지능 모델을 이용하여 1)'건다'or '뛰다'가 식별된 경우, 0~4점을 부여하고, 2)'뛰다'가 식별된 경우, 4~6점을 부여하고, 3)'넘어지다'가 식별된 경우 7~8점을 부여하고, 4)'넘어지다' or '사용자 없음'이 식별된 경우, 9~10점을 부여할 수 있다.
표 3:
표 2에서 설명한 바와 마찬가지로, 인공지능 시스템은 0~4점의 경우 안전 단계로 판단하여 사용자에게 알람을 전송하지 않는다. 인공지능 시스템은 4~6점의 경우, 경고 단계로 판단하여 사용자가 볼 수 있게 트레드밀의 네오 사인으로만 알람을 전송할 수 있다. 인공지능 시스템은 7~8점의 경우, 위험 단계로 판단하여 트레드밀 사용 중에도 사용자가 들을 수 있도록 특정 크기(예를 들면, 60dB)의 알람을 전송할 수 있다. 인공지능 시스템은 9~10점의 경우, 위급 단계로 판단하여 사용자가 트레드밀에서 갑자기 사라진 것으로 감지하여, 사용자의 위급한 상황을 주변에 알릴 수 있도록 특정 크기 이상(예를 들면, 70dB)의 알람이 전송할 수 있다. 이에, 트레드밀에서 전송된 알람이 울릴 수 있다.
도 7에서는 프레임 1, 프레임 2는 안전, 프레임 3, 프레임 4는 경고, 프레임 5는 위험, 프레임 6, 프레임 7은 위급으로 판단될 수 있다.
도 8 내지 도 11은 일 실시예에 있어서, 인공지능 모델을 이용한 사용자의 움직임을 파악을 통해 사용자의 위험도를 판단하는 동작을 설명하기 위한 예이다.
인공지능 시스템은 트레드밀 위에서 정상적으로 걷고 있는 사람의 모습을 2대의 카메라에서 실시간으로 촬영된 2 개의 영상 데이터를 수신할 수 있다. 인공지능 시스템은 2대의 카메라와 연동된 각 인공지능 모델을 이용하여 실시간으로 사용자의 움직임을 분석할 수 있다. 인공지능 시스템은 영상 데이터에 대하여 인공지능 모델을 통해 사용자의 움직임을 파악할 수 있다. 이때, 영상 데이터가 빨간색일수록 인공지능 모델이 더 많은 가중치를 두어 집중하는 것을 의미한다. 도 8을 참고하면, 사용자가 정상적으로 트레드밀을 사용할 경우, 사용자의 위치와 동작을 정확하게 포착하는 것을 확인할 수 있다. 또는, 도 9를 참고하면, 사용자가 비정상적으로 트레드밀을 사용할 경우, 사용자의 위치와 동작을 정확하게 포착하지 못할뿐더러, 사용자의 움직임이 인공지능 모델에 미세조정된 레이블 이외의 행동과 비정상적인 사용자의 위치를 실시간으로 파악할 수 있다. 인공지능 시스템은 실시간으로 파악된 사용자의 모습에 대한 행동 분류를 진행하고, 진행된 행동 분류에 따른 점수를 부여할 수 있다. 인공지능 시스템은 사용자의 위험도를 도 8에서는 안전으로, 도 9에서는 위험으로 판단할 수 있다.
도 10을 참고하면, 인공지능 시스템은 사용자가 트레드밀을 사용하기 전과 걷기 시작하는 모습의 동영상을 프레임별로 추출하고, 추출된 프레임별로 타임스포머 기반의 인공지능 모델에 입력받을 수 있다. 인공지능 시스템은 타임스포머 기반의 인공지능 모델을 이용하여 프레임별로 사용자의 움직임 변화를 파악할 수 있다. 일반 센서로 사용자의 보행 속도, 움직임을 파악하는 것과 다르게 실시간으로 사용자의 움직임을 카메라로 촬영하고, 촬영된 영상 데이터를 인공지능 모델이 분석함으로써 사용자의 움직임의 변화를 실시간으로 파악할 수 있게 된다. 또한, 움직임을 포착하는 인공지능 모델이기 때문에 남녀노소의 움직임을 연령과 성별에 따른 속도에 상관없이 파악이 가능하다.
인공지능 시스템은 인공지능 모델을 통해 획득된 복수 개의 영상 데이터로부터 연령과 성별에 따라 사용자의 움직임 변화를 파악하여 사용자에 대한 각각의 위험도를 판단할 수 있다. 도 11을 참고하면, 모든 연령대의 움직임을 파악하는 동작을 설명하기 위한 예이다. 이때, 인공지능 모델은 연령 및/또는 성별이 구분된 움직임 데이터 셋을 이용하여 연령대 및/또는 성별에 따라 움직임 변화를 파악하도록 학습된 것일 수 있다. 11(a)는 어린아이가 트레드밀을 사용하는 예이고, 도 11(b)는 노인이 트레드밀을 사용하는 예이다. 인공지능 시스템은 인공지능 모델을 이용하여 어린아이의 움직임을 파악할 수 있다. 또한, 인공지능 시스템은 인공지능 모델을 이용하여 노인의 움직임을 파악할 수 있다. 더 나아가, 치료목적으로 트레드밀이 사용될 수 있다. 인공지능 모델에 치료목적으로 행동 레이블이 재정의될 수 있다. 예를 들면, 인공지능 모델에 애완견의 행동이 학습될 수 있다. 이에, 애완견 트레드밀에 적용이 가능하다. 인공지능 시스템은 애완견 트레드밀에서 걷고있는 개의 실제 모습과 걷고있는 개가 움직이는 것을 실시간으로 포착할 수 있다.
도 12는 일 실시예에 있어서, 사용자의 행동을 예측하는 동작을 설명하기 위한 예이다.
도 12(a)와 같이, 사용자가 걷다가, 멈춤을 반복하는 과정에서 사용자가 트레드밀에서 점점 벗어난다면 인공지능 모델과 사용자의 구역에 따른 위험도 점수가 점점 올라갈 것이다. 인공지능 시스템은 인공지능 모델을 통해 사용자가 계속 멈추거나 갑자기 쓰러진다는 행동을 예측할 수 있다.
도 12(b)와 같이, 사용자가 뛰고, 걷고는 자연스러운 운동을 하는 과정에서 트레드밀 안전 구역에서 점점 멀어지게 되면 위험도 점수가 함께 올라가게 된다. 인공지능 시스템은 트레드밀의 위험 구역에서 사용자가 갑자기 멈추게 된다면 인공지능 모델을 통해 트레드밀의 안전 구역을 벗어나 사용자가 갑자기 쓰러지는 것을 예측할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

  1. 사용자의 위험도를 판단하기 위한 인공지능 시스템에 있어서,
    사용자에 의한 트레드밀 작동이 시작됨에 따라 상기 트레드밀에 설치된 복수 개의 카메라를 이용하여 사용자의 모습을 촬영한 복수 개의 영상 데이터를 획득하는 영상 획득부;
    상기 획득된 복수 개의 영상 데이터에 대하여 인공지능 모델을 이용한 행동 인식을 통해 사용자에 대한 각각의 위험도를 판단하는 위험도 판단부; 및
    상기 판단된 사용자에 대한 각각의 위험도를 합산한 점수를 임계치에 따라 알람을 발생시키는 알람 발생부
    를 포함하는 인공지능 시스템.
  2. 제1항에 있어서,
    상기 인공지능 모델은, 행동을 포함하는 데이터 셋을 이용하여 사전 학습된 타임스포머(timesformer) 기반으로 구성된 것이고, 사람동작 영상의 데이터 셋에서 '걷다', '뛰다', '넘어지다'의 영상과, 비어있는 트레드밀 영상의 '사용자 없음'의 영상에 포함된 복수 개의 레이블을 이용하여 상기 인공지능 모델의 미세 조정이 진행된
    것을 특징으로 하는 인공지능 시스템.
  3. 제1항에 있어서,
    상기 인공지능 모델은, 트레드밀에 설정된 각 구역에 기초하여 사용자에 대한 각각의 위험도를 판단하기 위한 구역 별 점수를 포함하는 기준이 학습된 것을 특징으로 하는 인공지능 시스템.
  4. 제1항에 있어서,
    상기 위험도 판단부는,
    상기 획득된 복수 개의 영상 데이터에 대하여 상기 인공지능 모델을 통해 상기 트레드밀에 설정된 각 구역에 기초하여 사용자에 대한 각각의 위험도를 판단하는 것을 포함하고,
    상기 트레드밀에 설정된 각 구역은, 트레드밀의 중앙을 기준으로 카메라와 사용자의 거리에 따라 복수 개의 구역으로 설정된
    것을 특징으로 하는 인공지능 시스템.
  5. 제1항에 있어서,
    상기 위험도 판단부는,
    상기 인공지능 모델을 통해 상기 획득된 복수 개의 영상 데이터로부터 사용자의 움직임 변화를 파악하여 상기 인공지능 모델에 학습된 레이블의 이외의 행동과 비정상적인 사용자의 위치 데이터를 파악하는
    것을 특징으로 하는 인공지능 시스템.
  6. 제5항에 있어서,
    상기 위험도를 판단하는 단계는,
    상기 인공지능 모델을 통해 상기 획득된 복수 개의 영상 데이터로부터 1)'걷다' or '뛰다', 2)'뛰다', 3)'넘어지다' 또는 4)'넘어지다' or '사용자 없음' 중 어느 하나의 레이블을 식별하고, 상기 식별된 레이블에 대응되는 위험도의 점수를 계산하는
    것을 특징으로 하는 인공지능 시스템.
  7. 제1항에 있어서,
    상기 알람 발생부는,
    상기 합산한 점수가 0~4점일 경우, 안전 단계로 판단하여 알람을 미발생시키고, 4~6점일 경우, 경고 단계로 판단하여 트레드밀 네온사인으로 알람을 발생시키고, 7~8점일 경우, 위험 단계로 판단하여 특정 크기의 알람을 발생시키고, 9~10점일 경우, 위급 단계로 판단하여 특정 크기 이상의 알람을 발생시키는
    것을 특징으로 하는 인공지능 시스템.
  8. 인공지능 시스템에 의해 수행되는 사용자의 위험도를 판단하는 방법에 있어서,
    사용자에 의한 트레드밀 작동이 시작됨에 따라 상기 트레드밀에 설치된 복수 개의 카메라를 이용하여 사용자의 모습을 촬영한 복수 개의 영상 데이터를 획득하는 단계;
    상기 획득된 복수 개의 영상 데이터에 대하여 인공지능 모델을 이용한 행동 인식을 통해 사용자에 대한 각각의 위험도를 판단하는 단계; 및
    상기 판단된 사용자에 대한 각각의 위험도를 합산한 점수를 임계치에 따라 알람을 발생시키는 단계
    를 포함하는 사용자의 위험도를 판단하는 방법.
KR1020220150313A 2022-11-11 트레드밀에서 사용자의 움직임을 파악하여 위험을 알리는 인공지능 시스템 KR20240069132A (ko)

Publications (1)

Publication Number Publication Date
KR20240069132A true KR20240069132A (ko) 2024-05-20

Family

ID=

Similar Documents

Publication Publication Date Title
US11923092B2 (en) Deep-learning-based fall detection based on human keypoints
Mirmahboub et al. Automatic monocular system for human fall detection based on variations in silhouette area
US7667596B2 (en) Method and system for scoring surveillance system footage
US20140304236A1 (en) Hash value generation apparatus, system, determination method, program, and storage medium
Fan et al. Fall detection via human posture representation and support vector machine
WO2018179202A1 (ja) 情報処理装置、制御方法、及びプログラム
KR101862986B1 (ko) 스마트 폰을 사용하며 보행중인 사용자 경보 시스템 및 방법
KR102129771B1 (ko) Cctv 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 cctv 관리 시스템 장치 및 그 동작 방법
KR102294695B1 (ko) 실시간 동작추적을 통한 인공지능 기반의 낙상 예방 장치 및 방법
KR20180077683A (ko) 영상 분석 기반의 트레드밀 감시 장치 및 그것을 이용한 위험 상황 감지 방법
Taghvaei et al. Image-based fall detection and classification of a user with a walking support system
KR102156279B1 (ko) 반려 동물의 위험 행동의 검출 및 억제 방법 및 이를 위한 자동화된 카메라-기반 시스템
KR20240069132A (ko) 트레드밀에서 사용자의 움직임을 파악하여 위험을 알리는 인공지능 시스템
KR20210034216A (ko) 보행 분석 장치 및 방법
Merrouche et al. Fall detection using head tracking and centroid movement based on a depth camera
Nguyen et al. Extracting silhouette-based characteristics for human gait analysis using one camera
CN117238120A (zh) 安全监控方法、装置、设备及介质
KR20220030583A (ko) 동물의 상황인지를 통한 캡션 생성 시스템
KR102188868B1 (ko) 반려 동물의 분리 불안을 검출하는 서포트 벡터 머신 및 복잡 이벤트 처리를 사용하는 IoT 기반의 모니터링 방법 및 시스템
KR102648004B1 (ko) 폭력감지장치 및 방법, 이를 포함하는 스마트 폭력감시시스템
KR20230055352A (ko) 컨텐츠 제공 및 사용자 평가 방법, 그리고 컨텐츠 제공 및 사용자 평가 시스템
KR20220107920A (ko) 카메라 영상을 이용한 딥러닝 기술 기반 전방 보행자의 자세 예측 및 이를 활용한 충돌 위험도 추정 기술
Tran et al. Video surveillance for near-fall detection at home
KR101794456B1 (ko) 승강기에서의 접촉 행위를 탐지하는 장치 및 방법
Abedi Unconsciousness detection supervision system using faster RCNN architecture