KR102477479B1 - 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법 - Google Patents

복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법 Download PDF

Info

Publication number
KR102477479B1
KR102477479B1 KR1020210191176A KR20210191176A KR102477479B1 KR 102477479 B1 KR102477479 B1 KR 102477479B1 KR 1020210191176 A KR1020210191176 A KR 1020210191176A KR 20210191176 A KR20210191176 A KR 20210191176A KR 102477479 B1 KR102477479 B1 KR 102477479B1
Authority
KR
South Korea
Prior art keywords
information
participant
behavior
participants
game
Prior art date
Application number
KR1020210191176A
Other languages
English (en)
Inventor
김문상
이덕원
이상협
전국성
이원준
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020210191176A priority Critical patent/KR102477479B1/ko
Application granted granted Critical
Publication of KR102477479B1 publication Critical patent/KR102477479B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H04N5/225—
    • H04N9/07—

Abstract

본 발명의 일 실시예에 따른 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템은 상기 다자 게임에 참여하는 참가자의 외형 특징 정보를 신원정보로 등록하는 신원 등록부; 적어도 하나 이상의 참가자의 관절정보를 적어도 한 개 이상의 방향에서 촬영한 영상들로부터 운동 형상학적 정보를 추출하고, 가려짐에 의한 오류를 보정하여 획득하는 운동형상정보 획득부; 상기 운동 형상학적 정보를 기반으로 자극에 의한 반응 행동, 지시형 행동, 앉기/서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류하는 행동 인식 및 분류부; 및 등록된 참가자의 신원정보와 인식된 행동을 기반으로 게임 참가자의 행동에 따라 반응하는 상기 다자 게임의 진행을 제어하는 다자 게임 진행 제어부를 포함한다.

Description

복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법{system and method for enabling content-based multi-party games by recognizing and classifying omnidirectional movements of multiple participants without errors using multiple sensors or devices}
본 발명은 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법에 관한 것이다.
행동 인식(action recognition) 기술은 동영상 또는 카메라를 통하여 관측된 영상 데이터를 이용하여 사람, 동물 및 사물에 대한 행동을 인식하고, 분류하는 기술이다. 이 기술은 주로 영상 데이터에서 추출 가능한 시각적 특징(visual feature)을 이용하여, 특정한 행동 패턴을 인식하고, 행동을 분류한다. 그러므로 행동 인식 기술 은 감시 시스템, 사람-컴퓨터 상호 작용 및 엔터테인먼트 등의 다양한 분야에서 활용되고 있다.
공개특허공보 제10-2018-0020376호
본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법을 제공하는 데 그 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템은 상기 다자 게임에 참여하는 참가자의 외형 특징 정보를 기 등록한 신원정보로 등록하는 신원 등록부; 적어도 하나 이상의 참가자의 관절정보를 적어도 한 개 이상의 방향에서 촬영한 영상들로부터 운동 형상학적 정보를 추출하고, 가려짐에 의한 오류를 보정하여 획득하는 운동형상정보 획득부; 상기 운동 형상학적 정보를 기반으로 자극에 의한 반응 행동, 지시형 행동, 앉기, 서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류하는 행동 인식 및 분류부; 및 등록된 참가자의 신원정보와 인식된 행동을 기반으로 게임 참가자의 행동에 따라 반응하는 상기 다자 게임의 진행을 제어하는 다자 게임 진행 제어부를 포함하고, 상기 운동형상 정보 획득부는 한 개 이상의 센서들로부터 획득한 참가자의 운동 형상학적 정보들을 병합하고, 센서의 센싱 범위 제한에 의해 센싱할 수 없는 부분, 또는 사용자 본인이나 타인에 의해 가려진 부분의 정보를 복원하고, 상기 행동인식부는 상기 자극에 의한 반응 행동, 지시형 행동, 앉기, 서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류시에, 상기 운동형상 정보 획득부에서 획득한 참가자의 손/팔의 움직임, 다리/발의 움직임, 몸의 움직임 또는 진행 방향, 각 관절의 위치, 각 관절의 각도를 포함하는 사용자의 운동형상정보를 이용하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 방법은 상기 다자 게임에 참여하는 참가자의 외형 특징 정보를 기 등록한 신원정보로 등록하는 단계; 적어도 하나 이상의 참가자의 관절정보를 적어도 한 개 이상의 방향에서 촬영한 영상들로부터 운동 형상학적 정보를 추출하고, 가려짐에 의한 오류를 보정하여 획득하는 단계; 상기 운동 형상학적 정보를 기반으로 자극에 의한 반응 행동, 지시형 행동, 앉기, 서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류하는 단계; 및 등록된 참가자의 신원정보와 인식된 행동을 기반으로 게임 참가자의 행동에 따라 반응하는 상기 다자 게임의 진행을 제어하는 단계를 포함하고, 상기 획득하는 단계는 한 개 이상의 센서 또는 장치들로부터 획득한 참가자의 운동 형상학적 정보들을 병합하고, 상기 센서 또는 장치의 센싱 범위 제한에 의해 센싱할 수 없는 부분, 또는 사용자 본인이나 타인에 의해 가려진 부분의 정보를 복원하는 단계를 포함하고, 상기 행동을 인식하고 분류하는 단계는 상기 자극에 의한 반응 행동, 지시형 행동, 앉기, 서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류시에, 획득한 참가자의 손/팔의 움직임, 다리/발의 움직임, 몸의 움직임 또는 진행 방향, 각 관절의 위치, 각 관절의 각도를 포함하는 사용자의 운동형상정보를 이용하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법을 이용하면, 다자 게임 내에서 참여한 복수의 참가자들의 외형특징을 기반으로 개별적 행동(제스쳐)을 정확하게 인식할 수 있고, 더 나아가, 게임공간의 전방향에서 게임 참가자들의 외형특징을 추출 및 추적이 가능하다는 이점을 제공한다.
상술한 행동인식 및 추적을 통해 게임 참가자 개개인의 동작에 실시간으로 반응하는 게임 제어에 상술한 기술을 적용할 수 있다는 이점이 있다.
도 1a 및 도 1b는 본 발명의 일 실시예에 따른 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템의 장치 구성도이다.
도 2는 도 1a에 도시된 신원등록부를 설명하기 위한 예시도이다.
도 3은 도 1a에 도시된 정보획득부를 설명하기 위한 예시도이다.
도 4는 도 1a에 도시된 행동 인식 및 분류부를 설명하기 위한 예시도이다.
도 5는 도 1a에 도시된 게임 진행 제어부를 설명하기 위한 예시도이다.
도 6 내지 도 8은 다자 게임의 다양한 예시도이다.
도 9는 본 발명의 일 실시예에 따른 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 방법을 설명한 흐름도이다.
도 10은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.
이하, 본 명세서의 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 명세서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 명세서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 명세서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다
이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 전방향 행동 인식 시스템 및 방법을 보다 상세하게 설명하도록 한다.
도 1a 및 도 1b는 본 발명의 일 실시예에 따른 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템의 장치 구성도이고, 도 2는 도 1a에 도시된 신원등록부를 설명하기 위한 예시도이고, 도 3은 도 1a에 도시된 정보획득부를 설명하기 위한 예시도이고, 도 4는 도 1a에 도시된 행동 인식 및 분류부를 설명하기 위한 예시도이고, 도 5는 도 1a에 도시된 게임 진행 제어부를 설명하기 위한 예시도이고, 도 6 내지 도 8은 다자 게임의 다양한 예시도이다.
먼저, 도 1a 및 도 1b에 도시된 바와 같이, 본 발명의 일 실시예에 따른 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템(100)은 복수 개의 센서 또는 장비(S1~Sn), 정보수집부(110), 신원등록부(120), 운동형상정보 획득부(130), 행동 인식 및 분류부(140) 및 다자 게임 진행 제어부(150)를 포함한다.
상기 복수 개의 센서 또는 장비(S1~Sn)는 한 개 이상의 RGB-D 카메라, 또는 2D 또는 깊이(Depth, 3D) 카메라 또는 모션 캡처 장비 중 적어도 하나로서, 다자 게임 공간 내에서 게임을 수행하는 적어도 하나 이상의 게임 참가자의 신체정보, 액세서리정보, 의류정보가 포함된 참가자의 동작정보를 촬영 및/또는 감지하는 구성일 수 있다.
여기서, 깊이(Depth) 카메라는 Kinect, Realsense, Astra 등일 수 있으며, 3차원 공간 정보를 획득할 수 있는 관성 센서 또는 모션 캡쳐 장비도 그 역할을 대신하여 사용할 수 있다.
상기 복수 개의 센서 또는 장비(S1~Sn)는 다자 게임 공간의 전방향에서 게임공간에 참여한 참여자들의 동작을 촬영 및/또는 감지하도록 배치된다.
또한, 센서 또는 장비는 게임공간 내에서 게임 중인 게임 참가자의 운동형상학정 정보(2차원 또는 3차원 골격정보 및 관절정보 등)를 획득한다.
상기 정보수집부(110)는 복수 개의 센서 또는 장치(S1~Sn)에서 수집한 게임 참여자들의 동작을 촬영 및 감지한 정보를 시계열 또는 비시계열 방식으로 수집한다.
상기 신원등록부(120)는 상기 다자 게임에 참여하는 참가자의 외형 특징 정보를 기 등록한 신원정보로 등록하는 구성일 수 있다.
상기 신원등록부(120)는 센서 또는 장비(S1~Sn)에서 측정한 2차원 및/또는 3차원 정보 상에서 게임 참여자 각각의 외형특징을 추출한다. 여기서, 외형특징은 게임 참여자의 신장 또는 체형을 포함하는 3차원 정보, 상의/하의를 포함하는 의류의 종류 및/또는 색상정보, 머리카락 길이 또는 색깔을 포함하는 신체특징, 가방, 모자, 신발, 악세서리의 착용여부 및 종류 및/또는 색상정보를 포함하는 정보일 수 있다.
상기 기 등록한 신원정보는 관리자 또는 개임 참가자가 입력(제공)하는 개인 신상정보로서, 사용자의 나이, 성별, 생년월일, 가족관계, 취미, 질병기록을 포함하는 참가자 개인을 특정하는 정보라면 모두 포함된다.
상기 신원 등록부(120)는 초기 획득한 게임 참여자들의 외형특징이 주변환경(조명, 시간의 흐름에 따른 자연광 변화 등) 변화에 강인하도록 초기 정해진 시간마다 또는 실기간으로 참가자들의 외형 특징을 재 등록한다.
다음으로, 운영형상정보 획득부(130)는 적어도 하나 이상의 참가자의 관절정보를 적어도 한 개 이상의 방향에서 촬영한 영상들로부터 운동 형상학적 정보를 추출하고, 추출된 운동형상학적 정보 내에 가려짐에 의한 오류를 보정하여 획득하는 구성일 수 있다.
상기 운동형상 정보 획득부(130)는 한 개 이상의 센서 또는 장치로부터 획득한 게임공간의 전면에서 수집된 참가자의 운동 형상학적 정보들을 병합하고, 센서 또는 장치의 센싱(감지) 범위 제한에 의해 센싱할 수 없는 부분, 또는 사용자 본인이나 타인에 의해 가려진 부분의 정보를 보정 또는 복원하는 구성일 수 있다.
여기서, 가려지거나 센싱할 수 없는 부분을 복원하는 과정은 다수의 센서에서 추출된 운동 형상학적 정보를 확률 및 신뢰도 모델로서 재 정의하고 감지된 기준치 이상의 신뢰도를 갖는 운동형상 정보를 하나의 운동형상 정보로 병합처리 하거나, 추적 또는 예측 알고리즘을 적용하여 잡음을 제거하고 병합하는 과정일 수 있다.
또한, 각각의 센서 또는 장치(S1~Sn)로부터 촬영 또는 감지된 운동형상 정보들을 이용하여 얻고자 하는 운동현상학적 정보를 재 구축 하는 과정일 수 있다.
여기서, 캘리브레이션(병합수정) 과정은 2차원 또는 3차원 영상 내의 3개 또는 그 이상의 촬영된 축점을 기반으로 각 프레임을 좌표축을 변환하고, 변환된 좌표축의 3차원 및/또는 2차원 행렬을 계산한 후, 복수 개의 영상에서 추출된 운동형상학정보(3차원 및/또는 2차원 골격정보 및 관절정보)를 하나의 좌표축(x, y, z)으로 오버랩하는 과정일 수 있다.
한편, 본 발명의 캘리브레이션 과정에서 축점을 추출하기 위하여 실내 공간 내에 단수 또는 복수의 카메라의 촬영지점을 식별하도록 공간 상에 고정되거나 영상으로 투사되거나, 이동하는 2차원 및/또는 3차원 마커를 더 포함할 수 있다. 상기 2차원 마커는 평면상에 놓여진 인쇄물이거나 또는 프로젝터 / 영상 재생장치(모니터 등)에서 투사된 2D 영상이고, 상기 3차원 마커는 공간 상에 위치하거나 움직이는 3차원 오브젝트 또는 구조물일 수 있다. 또한, 2차원 또는 3차원 마커는 일반적으로 알고 있거나 공지된 형상 또는 패턴을 포함할 수 있다.
또한, 캘리브레이션 과정은 오버랩된 카메라(센서) 좌표계에서 상기 공간상에 고정되거나 이동하는 2차원 및/또는 3차원 마커를 실시간으로 추적 또는 인식하는 마커 트래킹부를 더 포함할 수 있다.
따라서, 캘리브레이션 과정은 상기 2차원 및/또는 3차원 마커를 촬영하는 상기 단수 또는 복수의 카메라(센서)의 위치가 기 설정된 위치를 벗어나 상기 대상의 위치, 마커의 위치가 기존의 정보와 상이하도록 가변된 경우, 가변된 위치, 마커의 위치, 또는 마커의 특징점을 새롭게 추출하여 축점을 재생성하고 재생성된 축점을 기준으로 카메라(센서) 좌표계를 보정할 수 있다.
다음으로, 상기 행동 인식 및 분류부(140)는 상기 운동 형상학적 정보를 기반으로 자극에 의한 반응 행동, 지시형 행동, 앉기/서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류하는 구성일 수 있다.
상기 행동 인식 및 분류부(140)는 상기 자극에 의한 반응 행동, 지시형 행동, 앉기/서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류시에, 상기 운동형상 정보 획득부에서 획득한 참가자의 손/팔의 움직임, 다리/발의 움직임, 몸의 움직임 또는 진행 방향, 각 관절의 위치, 각 관절의 각도를 포함하는 사용자의 운동형상정보를 이용한다.
본원에서 언급하는 참가자의 행동 중 앉기/서기 또는 걸음걸이와 같은 동적행동은 모션인식(앉기, 팔/다리 움직임/ 주먹쥐기 등) 뿐만 아니라, 명령 제스쳐의 의미를 인공지능 기반으로 실시간 인식한 제스쳐 동작(물건 방향 가리키기, 오라, 가라 원, 퍼져라, 모여라, OK 등)을 포함할 수 있다.
다자 게임 진행 제어부(150)는 등록된 참가자의 신원정보와 인식된 행동을 기반으로 게임 참가자의 행동에 따라 반응하는 상기 다자 게임의 진행을 제어하는 구성일 수 있다.
도 6 내지 도 8 참조, 본원에서 언급한 행동인식을 기반으로 운영되는 다자 게임의 일 예로는 양몰이 게임, 쥐 잡기 게임, 그룹 체조 등일 수 있다. 양몰이 게임은 팔을 벌려 기 설정된 위치의 우리 안으로 양들을 몰아넣는 게임으로 인지 능력 향상을 기대할 수 있는 게임이다.
쥐 잡기 게임은 구멍에서 나온 쥐를 잡는 게임(두더지 게임)으로, 특정 조건에 맞는 쥐만 잡도록 고도화된 게임으로 인지 능력 향상을 기대할 수 있는 게임이다.
그룹 체조는 제시된 체조 동작을 따라하면 점수를 획득하는 게임으로, 경쟁/협력으로 몰입도를 향상시킬 수 있고, 서로 다른 장소에 위치한 사용자도 함께 게임 참여가 가능한 원격지 참여 지원 게임일 수 있다.
본원에서 언급한 다자 게임의 일 예는 예시에 불과한 것으로, 행동인식을 기반으로 운영되는 모든 게임이라면 본원에서 언급하는 기술 적용이 가능할 것이다.
도 9는 본 발명의 일 실시예에 따른 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 방법을 설명한 흐름도이다.
도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 방법(S700)은 먼저, 상기 다자 게임에 참여하는 참가자의 외형 특징 정보를 기 등록한 신원정보를 등록(S710)한다.
상기 S710 과정은 센서 또는 장비에서 측정한 2차원 및/또는 3차원 정보 상에서 상기 외형특징을 추출하는 단계를 포함하고, 상기 외형특징은 사용자 신장 또는 체형을 포함하는 3차원 정보, 상의/하의를 포함하는 의류의 종류 및/또는 색상정보, 머리카락 길이 또는 색깔을 포함하는 신체특징, 가방, 모자, 신발, 악세서리의 착용여부 및 종류 및/또는 색상정보를 포함할 수 있다.
상기 기 등록한 신원정보는 사용자의 나이, 성별, 생년월일, 가족관계, 취미, 질병기록을 포함하는 참가자 개인을 특정하는 정보일 수 있다.
또한, 상기 S710 과정은 정해진 시간마다 또는 실기간으로 참가자들의 외형 특징을 재 등록하는 단계를 포함한다.
이후, 적어도 하나 이상의 참가자의 관절정보를 적어도 한 개 이상의 방향에서 촬영한 영상들로부터 운동 형상학적 정보를 추출하고, 가려짐에 의한 오류를 보정하여 획득(S720)한다.
상기 S720 과정은 한 개 이상의 RGB-D 카메라, 또는 2D 카메라 또는 모션 캡처 장비 등 인체의 공간 형상학적 정보를 추출할 수 있는 센서 또는 장치를 이용하여 촬영된 게임 참가자의 동작영상을 획득하는 단계로서, 한 개 이상의 센서 또는 장치들로부터 획득한 참가자의 운동 형상학적 정보들을 병합하고, 상기 센서 또는 장치의 센싱 범위 제한에 의해 센싱할 수 없는 부분, 또는 사용자 본인이나 타인에 의해 가려진 부분의 정보를 복원하는 단계를 포함한다.
또한, 각각의 센서 또는 장치로부터 촬영된 기준치 이상의 신뢰도를 갖는 운동형상 정보를 하나의 운동형상 정보로 병합하는 단계를 포함한다.
상기 S720 과정이 완료되면, 상기 운동 형상학적 정보를 기반으로 자극에 의한 반응 행동, 지시형 행동, 앉기/서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류(S730)한다.
상기 S730 과정은 상기 자극에 의한 반응 행동, 지시형 행동, 앉기/서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류시에, 획득한 참가자의 손/팔의 움직임, 다리/발의 움직임, 몸의 움직임 또는 진행 방향, 각 관절의 위치, 각 관절의 각도를 포함하는 사용자의 운동형상정보를 이용하는 과정일 수 있다.
최종적으로, 등록된 참가자의 신원정보와 인식된 행동을 기반으로 게임 참가자의 행동에 따라 반응하는 상기 다자 게임의 진행을 제어(S740)한다.
본 발명의 일 실시예에 따른 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법을 이용하면, 다자 게임 내에서 참여한 복수의 참가자들의 외형특징을 기반으로 개별적 행동(제스쳐)을 정확하게 인식할 수 있고, 더 나아가, 게임공간의 전방향에서 게임 참가자들의 외형특징을 추출 및 추적이 가능하다는 이점을 제공한다.
상술한 행동인식 및 추적을 통해 게임 참가자 개개인의 동작에 실시간으로 반응하는 게임 제어에 상술한 기술을 적용할 수 있다는 이점이 있다.
도 10은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다. 또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다.
여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.
또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다.
여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다. 상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.
예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템
S1~Sn: 센서 및 장치
110: 정보수집부
120: 신원 등록부
130: 운동형상정보 획득부
140: 행동 인식 및 분류부
150: 게임진행 제어부

Claims (16)

  1. 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템에 있어서,
    상기 다자 게임에 참여하는 참가자의 외형 특징 정보를 기 등록한 신원정보로 등록하는 신원 등록부;
    적어도 하나 이상의 참가자의 관절정보를 적어도 한 개 이상의 방향에서 촬영한 영상들로부터 운동 형상학적 정보를 추출하고, 가려짐에 의한 오류를 보정하여 획득하는 운동형상정보 획득부;
    상기 운동 형상학적 정보를 기반으로 자극에 의한 반응 행동, 지시형 행동, 앉기, 서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류하는 행동 인식 및 분류부; 및
    등록된 참가자의 신원정보와 인식된 행동을 기반으로 게임 참가자의 행동에 따라 반응하는 상기 다자 게임의 진행을 제어하는 다자 게임 진행 제어부를 포함하고,
    상기 운동형상 정보 획득부는
    한 개 이상의 센서들로부터 획득한 참가자의 운동 형상학적 정보들을 병합하고, 센서의 센싱 범위 제한에 의해 센싱할 수 없는 부분, 또는 사용자 본인이나 타인에 의해 가려진 부분의 정보를 복원하고,
    상기 행동 인식 및 분류부는
    상기 자극에 의한 반응 행동, 지시형 행동, 앉기, 서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류시에, 상기 운동형상 정보 획득부에서 획득한 참가자의 손/팔의 움직임, 다리/발의 움직임, 몸의 움직임 또는 진행 방향, 각 관절의 위치, 각 관절의 각도를 포함하는 사용자의 운동형상정보를 이용하는 시스템.
  2. 제1항에 있어서,
    상기 신원 등록부는
    센서에서 측정한 2차원 또는 3차원 정보 상에서 상기 외형 특징 정보를 추출하고,
    상기 외형 특징 정보는 사용자 신장 또는 체형을 포함하는 3차원 정보, 상의/하의를 포함하는 의류의 종류 또는 색상정보, 머리카락 길이 또는 색깔을 포함하는 신체특징, 가방, 모자, 신발, 악세서리의 종류, 착용여부 또는 색상정보를 포함하는 시스템.
  3. 제1항에 있어서,
    상기 기 등록한 신원정보는
    사용자의 나이, 성별, 생년월일, 가족관계, 취미, 질병기록 중에 어느 하나 이상을 포함하는 참가자 개인을 특정하는 정보인 것을 특징으로 하는 시스템.
  4. 제1항에 있어서,
    상기 신원 등록부는
    정해진 시간마다 또는 실기간으로 참가자들의 외형 특징을 재 등록하는 것을 특징으로 하는 시스템.
  5. 제1항에 있어서,
    상기 운동형상 정보 획득부는,
    한 개 이상의 RGB-D 카메라, 또는 2D 카메라 또는 모션 캡처 장비를 이용하여 참가자의 동작을 촬영하여, 인체의 공간 형상학적 정보를 추출하는 것을 특징으로 하는 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 운동형상 정보 획득부는
    각각의 센서로부터 촬영된 기준치 이상의 신뢰도를 갖는 운동형상 정보를 하나의 운동 형상학적 정보로 병합하는 것을 특징으로 하는 시스템.
  8. 삭제
  9. 복수의 센서를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 방법에 있어서,
    상기 다자 게임에 참여하는 참가자의 외형 특징 정보를 기 등록한 신원정보로 등록하는 단계;
    적어도 하나 이상의 참가자의 관절정보를 적어도 한 개 이상의 방향에서 촬영한 영상들로부터 운동 형상학적 정보를 추출하고, 가려짐에 의한 오류를 보정하여 획득하는 단계;
    상기 운동 형상학적 정보를 기반으로 자극에 의한 반응 행동, 지시형 행동, 앉기, 서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류하는 단계; 및
    등록된 참가자의 신원정보와 인식된 행동을 기반으로 게임 참가자의 행동에 따라 반응하는 상기 다자 게임의 진행을 제어하는 단계를 포함하고,
    상기 획득하는 단계는
    한 개 이상의 센서 또는 장치들로부터 획득한 참가자의 운동 형상학적 정보들을 병합하고, 상기 센서 또는 장치의 센싱 범위 제한에 의해 센싱할 수 없는 부분, 또는 사용자 본인이나 타인에 의해 가려진 부분의 정보를 복원하는 단계를 포함하고,
    상기 행동을 인식하고 분류하는 단계는
    상기 자극에 의한 반응 행동, 지시형 행동, 앉기, 서기 또는 걸음걸이를 포함하는 동적 행동 중 어느 하나로 참가자의 행동을 인식하고 분류시에, 획득한 참가자의 손/팔의 움직임, 다리/발의 움직임, 몸의 움직임 또는 진행 방향, 각 관절의 위치, 각 관절의 각도를 포함하는 사용자의 운동형상정보를 이용하는 방법.
  10. 제9항에 있어서,
    상기 등록하는 단계는
    센서 또는 장비에서 측정한 2차원 또는 3차원 정보 상에서 상기 외형 특징 정보를 추출하는 단계를 포함하고,
    상기 외형 특징 정보는 사용자 신장 또는 체형을 포함하는 3차원 정보, 상의/하의를 포함하는 의류의 종류 또는 색상정보, 머리카락 길이 또는 색깔을 포함하는 신체특징, 가방, 모자, 신발, 악세서리의 종류, 착용여부 또는 색상정보를 포함하는 방법.
  11. 제9항에 있어서,
    상기 기 등록한 신원정보는
    사용자의 나이, 성별, 생년월일, 가족관계, 취미, 질병기록 중에 어느 하나 이상을 포함하는 참가자 개인을 특정하는 정보인 것을 특징으로 하는 방법.
  12. 제9항에 있어서,
    상기 등록하는 단계는
    정해진 시간마다 또는 실기간으로 참가자들의 외형 특징 정보를 재 등록하는 것을 특징으로 하는 방법.
  13. 제9항에 있어서,
    상기 획득하는 단계는,
    한 개 이상의 RGB-D 카메라, 또는 2D 카메라 또는 모션 캡처 장비를 이용하여 게임 참가자의 동작영상을 촬영하고, 인체의 공간 형상학적 정보를 추출하는 단계인 것을 특징으로 하는 방법.
  14. 삭제
  15. 제9항에 있어서,
    상기 획득하는 단계는
    각각의 센서로부터 촬영된 기준치 이상의 신뢰도를 갖는 운동형상 정보를 하나의 운동 형상학적 정보로 병합하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 삭제
KR1020210191176A 2021-12-29 2021-12-29 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법 KR102477479B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210191176A KR102477479B1 (ko) 2021-12-29 2021-12-29 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210191176A KR102477479B1 (ko) 2021-12-29 2021-12-29 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102477479B1 true KR102477479B1 (ko) 2022-12-14

Family

ID=84438491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210191176A KR102477479B1 (ko) 2021-12-29 2021-12-29 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102477479B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120049218A (ko) * 2009-07-09 2012-05-16 마이크로소프트 코포레이션 플레이어의 표현에 기반하는 비주얼 형상의 표현 방법
KR20130068191A (ko) * 2011-12-14 2013-06-26 한국전자통신연구원 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
KR20180020376A (ko) 2016-08-18 2018-02-28 고려대학교 산학협력단 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법
KR102297110B1 (ko) * 2020-05-07 2021-09-03 광주과학기술원 보행 분석 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120049218A (ko) * 2009-07-09 2012-05-16 마이크로소프트 코포레이션 플레이어의 표현에 기반하는 비주얼 형상의 표현 방법
KR20130068191A (ko) * 2011-12-14 2013-06-26 한국전자통신연구원 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
KR20180020376A (ko) 2016-08-18 2018-02-28 고려대학교 산학협력단 행동 패턴 인식 장치, 행동 패턴 인식 방법 및 행동 패턴 분류기 생성 방법
KR102297110B1 (ko) * 2020-05-07 2021-09-03 광주과학기술원 보행 분석 시스템 및 방법

Similar Documents

Publication Publication Date Title
Chen et al. A survey of depth and inertial sensor fusion for human action recognition
Zhang et al. Martial arts, dancing and sports dataset: A challenging stereo and multi-view dataset for 3d human pose estimation
González-Ortega et al. A Kinect-based system for cognitive rehabilitation exercises monitoring
CN107466411B (zh) 二维红外深度感测
Hu et al. Cyberphysical system with virtual reality for intelligent motion recognition and training
Ye et al. A depth camera motion analysis framework for tele-rehabilitation: Motion capture and person-centric kinematics analysis
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
Ding et al. STFC: Spatio-temporal feature chain for skeleton-based human action recognition
JP2012518236A (ja) ジェスチャー認識のための方法及びシステム
Luo et al. Intelligent carpet: Inferring 3d human pose from tactile signals
CN102184020A (zh) 用于操纵用户界面的姿势和姿势修改
KR20150116897A (ko) Ｎｕｉ 관여의 검출
CN113658211B (zh) 一种用户姿态的评估方法、装置以及处理设备
US20150193686A1 (en) Static posture based person identification
CN110633004A (zh) 基于人体姿态估计的交互方法、装置和系统
JPWO2019049298A1 (ja) ３ｄデータシステム及び３ｄデータ処理方法
Nouredanesh et al. Chasing feet in the wild: a proposed egocentric motion-aware gait assessment tool
Zainordin et al. Human pose recognition using Kinect and rule-based system
CN110910426A (zh) 动作过程和动作趋势识别方法、存储介质和电子装置
Planinc et al. Computer vision for active and assisted living
Bhola et al. A review of vision-based indoor HAR: state-of-the-art, challenges, and future prospects
CN113986093A (zh) 互动方法及相关装置
CN105468249B (zh) 智能互动系统及其控制方法
KR102477479B1 (ko) 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법
Tu et al. Face and gesture based human computer interaction

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant