KR20210079138A - 사용자 동작 인식 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 사용자 동작 인식 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 사용자 동작 인식 시스템은 사용자 동작 영상을 수신하는 입력부와, 사용자 동작 영상을 분석하여 사용자 동작을 인식하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하되, 프로세서는 지면에 놓여진 이미지 마커가 포함된 영상으로부터 카메라 포즈를 계산하고, 계산된 결과를 이용하여 사용자 동작을 인식하는 것을 특징으로 한다.

Description

사용자 동작 인식 시스템 및 그 방법{SYSTEM AND METHOD FOR RECOGNIZING USER'S GESTURE}

본 발명은 사용자 동작 인식 시스템 및 그 방법에 관한 것이다.

영상 데이터를 분석하여 사용자의 동작을 인식하고, 그 결과에 따라 컴퓨터를 제어하는 것은 편리한 컴퓨터 제어 기술 중 하나이다.

종래 기술에 따르면, 동작 인식의 정확도가 확보되지 못하는 문제점이 있고, 크기의 객체 또는 다양한 각도에서 촬영된 영상을 고려하여 동작을 인식하는 경우, 그 인식률이 떨어지는 문제점이 있다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 카메라 입력 영상으로부터 카메라의 포즈(위치 및 방향) 및 지면 바닥을 인식하고 이를 활용하여 딥러닝 기반 사용자 동작 인식 시스템의 인식 성능을 향상시키는 것이 가능한 사용자 동작 인식 시스템 및 방법을 제공하는데 그 목적이 있다.

본 발명에 따른 사용자 동작 인식 시스템은 사용자 동작 영상을 수신하는 입력부와, 사용자 동작 영상을 분석하여 사용자 동작을 인식하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하되, 프로세서는 지면에 놓여진 이미지 마커가 포함된 영상으로부터 카메라 포즈를 계산하고, 계산된 결과를 이용하여 사용자 동작을 인식하는 것을 특징으로 한다.

프로세서는 지면 바닥에 놓여진 이미지 마커가 포함된 카메라 영상으로부터 카메라의 위치 및 방향을 계산하여, 카메라 포즈를 인식한다.

프로세서는 이미지 마커가 위치한 지면에 대한 평면의 법선 벡터를 구하여, 지면을 인식한다.

프로세서는 사용자가 현재 서 있는 3차원 위치 정보를 계산하고, 사용자의 키를 계산한다.

프로세서는 카메라의 높이, 방향 제어에 따른 인식률을 학습 데이터베이스 테이블에 저장시키고, 학습 데이터베이스 테이블을 고려하여 학습 상황에 맞는 데이터를 선택한다.

프로세서는 사용자 정보에 부합되는 데이터베이스가 없는 경우, 인접한 데이터를 활용하여 사용자 동작 인식을 수행한다.

본 발명에 따른 사용자 동작 인식 방법은 (a) 영상을 획득하는 단계와, (b) 영상을 분석하여 카메라의 포즈를 계산하고, 지면을 인식하는 단계 및 (c) 사용자 포지션 정보를 인식하고, 학습 데이터를 선택하는 단계를 포함하는 것을 특징으로 한다.

(b) 단계는 이미지 마커를 이용하여 카메라의 포즈를 계산하고, 지면을 인식한다.

(b) 단계는 카메라의 위치 및 방향을 계산하고, 사용자가 위치한 지면에 대한 평면의 법선 벡터와 평면상의 한 점을 구하여, 지면을 인식한다.

(c) 단계는 사용자의 3차원 위치 정보를 계산하고, 그 결과를 이용하여 사용자의 키 높이를 계산한다.

(c) 단계는 카메라의 높이와 방향을 제어하고, 제어에 따른 인식률을 학습 데이터베이스 테이블에 저장하고, 현재 상황에 맞는 데이터를 선택하여 모션 인식을 수행한다.

본 발명의 실시예에 따르면, 사용자와 카메라 각도에 따라 다양한 학습 데이터를 이용하되, 모션 인식 환경에 적합한 학습 데이터를 선택/활용함으로써, 딥 러닝 기반 모션 인식의 정확도를 높이는 효과가 있다.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시예에 따른 사용자 동작 인식 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 사용자 동작 인식 방법을 도시한다.
도 3은 본 발명의 실시예에 따른 이미지 마커를 이용한 사용자 포즈 계산을 도시한다.
도 4는 본 발명의 실시예에 따른 카메라 각도와 사용자 키 정보를 사용한 DB 테이블의 예시이다.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.

이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다.

카메라의 영상으로부터 사용자의 동작을 인식하고 이를 통해 컴퓨터를 제어하는 기술은 마우스, 키보드, 터치패드 등의 디바이스를 사용하지 않고 컴퓨터를 제어할 수 있는 가장 편리한 기술 중 하나이다.

그러나 종래 기술에 따르면, 동작 인식의 정확도가 많이 떨어져 제한된 환경에서 단지 몇 가지의 동작만을 인식하는 수준이어서, 많이 사용되지 못하였다.

그러나, 최근 인공지능 기술의 발전과 더불어 딥러닝 기술을 활용한 사용자 동작 인식 기술들이 많이 소개되고 있다.

이러한 인공지능 기반 동작 인식 기술은 종래의 동작 인식에 비해 훨씬 더 정확도가 높아 많은 분야에서 활용되고 있다.

이러한 인공지능 기반 동작 인식 기술의 경우 다양한 크기의 사람, 다양한 각도의 영상을 고려하여 동작을 인식하게 되면 인식률이 떨어지는 문제점이 있다.

일반적으로 카메라로부터 만들어지는 영상은 카메라와 대상 피사체와 이루는 각도가 달라짐에 따라 크게 달라진다.

이 때문에 카메라 영상을 사용한 동작 인식에 있어서 피사체와의 카메라가 이루는 각도를 각도를 고려하지 않고 동작을 인식하게 되면 동작 인식의 정확도가 떨어지게 된다.

또한 동작 인식을 하고자 하는 대상의 크기 역시 동작 인식의 정확도에 많은 영향을 미치는 요소 중 하나이다.

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 다양한 크기의 사람, 다양한 각도의 영상에서도 동작 인식의 정확도를 높이는 것이 가능한 사용자 동작 인식 시스템 및 그 방법을 제안한다.

본 발명의 실시예에 따르면, 종래의 카메라 영상 기반 동작 인식 기술이 사용자의 크기나 카메라의 포즈를 고려하지 않아 동작 인식의 정확도가 떨어지는 문제점을 해결하고, 사용자의 크기와 카메라의 포즈를 고려하여 보다 정확한 사용자 동작 인식이 가능한 효과가 있다.

본 발명의 실시예에 따르면, 카메라로부터 입력되는 영상으로부터 카메라의 포즈, 지면, 사용자의 키 등의 주변 환경을 자동으로 인식하고, 이를 바탕으로 학습 데이터를 선택함으로써, 모션 인식의 정확도를 높이는 것이 가능하다.

도 1은 본 발명의 실시예에 따른 사용자 동작 인식 시스템을 도시한다.

본 발명에 따른 사용자 동작 인식 시스템은 사용자 동작 영상을 수신하는 입력부(110)와, 사용자 동작 영상을 분석하여 사용자 동작을 인식하는 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하되, 프로세서(130)는 지면에 놓여진 이미지 마커가 포함된 영상으로부터 카메라 포즈를 계산하고, 계산된 결과를 이용하여 사용자 동작을 인식하는 것을 특징으로 한다.

프로세서(130)는 지면 바닥에 놓여진 이미지 마커가 포함된 카메라 영상으로부터 카메라의 위치 및 방향을 계산하여, 카메라 포즈를 인식한다.

프로세서(130)는 이미지 마커가 위치한 지면에 대한 평면의 법선 벡터를 구하여, 지면을 인식한다.

프로세서(130)는 사용자가 현재 서 있는 3차원 위치 정보를 계산하고, 사용자의 키를 계산한다.

프로세서(130)는 카메라의 높이, 방향 제어에 따른 인식률을 학습 데이터베이스 테이블에 저장시키고, 학습 데이터베이스 테이블을 고려하여 학습 상황에 맞는 데이터를 선택한다.

프로세서(130)는 사용자 정보에 부합되는 데이터베이스가 없는 경우, 인접한 데이터를 활용하여 사용자 동작 인식을 수행한다.

본 발명의 실시예에 따른 사용자 동작 인식 방법은 (a) 영상을 획득하는 단계와, (b) 영상을 분석하여 카메라의 포즈를 계산하고, 지면을 인식하는 단계 및 (c) 사용자 포지션 정보를 인식하고, 학습 데이터를 선택하는 단계를 포함하는 것을 특징으로 한다.

(b) 단계는 이미지 마커를 이용하여 카메라의 포즈를 계산하고, 지면을 인식한다.

(b) 단계는 카메라의 위치 및 방향을 계산하고, 사용자가 위치한 지면에 대한 평면의 법선 벡터와 평면상의 한 점을 구하여, 지면을 인식한다.

(c) 단계는 사용자의 3차원 위치 정보를 계산하고, 그 결과를 이용하여 사용자의 키 높이를 계산한다.

(c) 단계는 카메라의 높이와 방향을 제어하고, 제어에 따른 인식률을 학습 데이터베이스 테이블에 저장하고, 현재 상황에 맞는 데이터를 선택하여 모션 인식을 수행한다.

도 2는 본 발명의 실시예에 따른 사용자 동작 인식 방법을 도시한다.

S210 단계는 카메라로부터 입력된 입력 영상을 제어하는 단계로서, 현재 상태를 판단하여 입력 영상을 전달한다.

이 때, S210 단계는 입력 영상을 카메라 포즈를 위한 단계로 전달하거나, 사용자의 키 및 위치 인식을 위한 단계로 전달하거나, 특징 추출을 위한 단계로 전달한다.

S220 단계는 카메라의 포즈를 계산하는 단계이고, S230 단계는 지면(바닥)을 인식하는 단계로서, 카메라가 설치/고정된 후 최초 1번 수행되면 충분한 단계이다.

S220 단계는 입력된 카메라 영상으로부터 카메라의 포즈(위치, 방향)을 계산하고, S230 단계는 사용자가 위치한 지면에 대한 평면의 법선(도 3의 220으로 도시) 벡터와 평면상의 한 점을 구한다.

본 발명의 실시예에 따르면, S220 단계에서 카메라의 포즈를 계산하고, S230 단계에서 지면(바닥)을 인식함에 있어서, 증강현실 분야에서 많이 사용되는 이미지 마커 사용 방식을 적용한다.

S240 단계는 사용자의 키 및 위치를 인식하는 단계로서, 입력된 영상을 분석하여 사용자가 현재 서 있는 3차원 위치 정보를 계산하고, 이를 바탕으로 사용자의 키 높이를 계산한다.

S250 단계는 사용자 동작의 인식률을 높이기 위해, 카메라의 높이, 방향 등을 조절한다.

본 발명의 실시예에 따르면, 카메라 제어에 따른 인식률을 학습 DB 테이블(도 4에 도시됨, 340)에 저장하여 둔다.

S260 단계는 학습 DB 테이블(340)에 저장된 복수의 데이터 중 현재 상황에 맞는 DB 데이터를 선택한다.

본 발명의 실시예에 따른 S240 단계, S250 단계 및 S260 단계는 사용자가 변경되는 경우마다 수행되는 것으로, 사용자가 변경되는 것을 인지한 시점에서 최초 1번만 수행되고, 그 이후에는 수행되지 않는다.

S270 단계는 카메라로부터 입력된 영상으로부터, 딥 러닝(Deep Running) 기법에 기반한 특징 정보를 추출한다.

S280 단계는 S270 단계에서 추출된 특징 정보를 이용하여 사용자 모션을 인식하고, 사용자 동작을 분류한다.

도 3은 본 발명의 실시예에 따른 이미지 마커를 이용한 사용자 포즈 계산을 도시한다.

도 3은 전술한 바와 같이, S220 단계 및 S230 단계를 설명하기 위한 것으로, 이미지 마커를 이용한 카메라 포즈 계산을 예를 들어 도시한다.

마커 기반 증강현실 기술은 카메라에서 들어오는 영상을 분석하여 이미지 마커(210)를 인식하고, 이를 바탕으로 카메라의 포즈(위치와 방향)와 평면 법선(220)을 계산한 후, 실사의 영상 위에 가상의 객체를 정합한다.

본 발명의 실시예에 따르면, 전술한 마커 기반의 증강현실 기술 뿐 아니라, slam 기반 증강현실 기술을 적용하여 카메라의 포즈를 계산하고, 지면(바닥)을 인식하는 것 역시 가능하다.

도 4는 본 발명의 실시예에 따른 카메라 각도와 사용자 키 정보를 사용한 DB 테이블의 예시이다.

도 4는 지면과 카메라 각도(310) 및 사용자 키(320) 정보를 반영하여 구성한 DB 테이블을 예를 들어 도시한다.

도 4를 참조하면, 지면과 카메라가 이루는 각도를 10도 단위로 구분하여 DB 테이블이 생성되고, 사람의 키는 20cm 단위로 구분하여 DB 테이블이 생성된다.

사용자의 키가 140cm 일 경우 "X" 로 표시하였는데, 이는 DB 데이터가 없는 것을 의미하며, 이 경우는 인접한 데이터(120cm 또는 160cm)를 활용한다.

각 DB 테이블은 각각의 경우에 맞는 파일과 모션 인식의 정확도 정보가 포함된다.

도 4를 참조하면, 사용자 키(320)가 160cm 이고 지면과 카메라 각도(310)가 10 인 경우 Db60_1 파일을 선택하여 모션을 인식하게 되고, 이 파일의 일반적인 모션 인식율은 94% 임을 알 수 있다.

전술한 예는 사용자의 키를 이용한 DB 테이블을 예를 들어 설명한 것이나, 본 발명의 실시예에 따른 DB 테이블은 그 외에도 다양하게 구성될 수 있다.

즉, 도 4는 사용자 키(320)와 지면과 카메라 각도(310)를 고려한 테이블 이지만, 여기에 카메라와 사용자와의 거리 정보를 추가하여 구성하는 것이 가능하고, 또한 사용자 키(320) 정보를 빼고 DB 테이블을 구성하는 것 역시 가능하다.

한편, 본 발명의 실시예에 따른 사용자 동작 인식 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.

컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 사용자 동작 인식 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 사용자 동작 인식 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 사용자 동작 인식 방법을 수행할 수 있다.

한편, 상술한 본 발명에 따른 사용자 동작 인식 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

1. 사용자 동작 영상을 수신하는 입력부;
   상기 사용자 동작 영상을 분석하여 사용자 동작을 인식하는 프로그램이 저장된 메모리; 및
   상기 프로그램을 실행시키는 프로세서를 포함하되,
   상기 프로세서는 지면에 놓여진 이미지 마커가 포함된 영상으로부터 카메라 포즈를 계산하고, 계산된 결과를 이용하여 상기 사용자 동작을 인식하는 것
   인 사용자 동작 인식 시스템.
   
2. 제1항에 있어서,
   상기 프로세서는 상기 지면에 놓여진 이미지 마커가 포함된 영상으로부터 카메라의 위치 및 방향을 계산하여, 상기 카메라 포즈를 인식하는 것
   인 사용자 동작 인식 시스템.
   
3. 제1항에 있어서,
   상기 프로세서는 상기 이미지 마커가 위치한 지면에 대한 평면의 법선 벡터를 구하여, 지면을 인식하는 것
   인 사용자 동작 인식 시스템.
   
4. 제1항에 있어서,
   상기 프로세서는 사용자가 현재 서 있는 3차원 위치 정보를 계산하고, 사용자의 키를 계산하는 것
   인 사용자 동작 인식 시스템.
   
5. 제1항에 있어서,
   상기 프로세서는 카메라의 높이, 방향 제어에 따른 인식률을 학습 데이터베이스 테이블에 저장시키고, 상기 학습 데이터베이스 테이블을 고려하여 학습 상황에 맞는 데이터를 선택하는 것
   인 사용자 동작 인식 시스템.
   
6. 제1항에 있어서,
   상기 프로세서는 사용자 정보에 부합되는 데이터베이스가 없는 경우, 인접한 데이터를 활용하여 사용자 동작 인식을 수행하는 것
   인 사용자 동작 인식 시스템.
   
7. (a) 영상을 획득하는 단계;
   (b) 상기 영상을 분석하여 카메라의 포즈를 계산하고, 지면을 인식하는 단계; 및
   (c) 사용자 포지션 정보를 인식하고, 학습 데이터를 선택하는 단계
   를 포함하는 사용자 동작 인식 방법.
   
8. 제7항에 있어서,
   상기 (b) 단계는 이미지 마커를 이용하여 상기 카메라의 포즈를 계산하고, 지면을 인식하는 것
   인 사용자 동작 인식 방법.
   
9. 제8항에 있어서,
   상기 (b) 단계는 카메라의 위치 및 방향을 계산하고, 사용자가 위치한 지면에 대한 평면의 법선 벡터와 평면상의 한 점을 구하여, 지면을 인식하는 것
   인 사용자 동작 인식 방법.
   
10. 제7항에 있어서,
    상기 (c) 단계는 사용자의 3차원 위치 정보를 계산하고, 그 결과를 이용하여 사용자의 키 높이를 계산하는 것
    인 사용자 동작 인식 방법.
    
11. 제7항에 있어서,
    상기 (c) 단계는 카메라의 높이와 방향을 제어하고, 제어에 따른 인식률을 학습 데이터베이스 테이블에 저장하고, 현재 상황에 맞는 데이터를 선택하여 모션 인식을 수행하는 것
    인 사용자 동작 인식 방법.

Images