KR102251142B1 - 제스처 데이터 수집 및 관리 시스템 - Google Patents

Abstract

본 발명의 실시 예에 따른 제스처 데이터 수집 및 관리 시스템은 데이터 수집부, 제어부 및 모니터부를 포함하여 구성될 수 있으며, 상기 데이터 수집부는 사용자가 수행한 제스처 동작에 대한 촬영 데이터 및 신체 동작을 센싱한 센서 데이터를 수집하여 제어부로 제공하고, 상기 제어부는 상기 데이터 수집부로부터 획득된 제스처 데이터에 대한 특성값을 자동으로 부여하는 라벨링 동작을 수행하되, 촬영 데이터와 센서 데이터가 타임스탬프와 함께 기록되도록 제어하며, 상기 모니터부는 상기 제어부를 통해 수신되는 데이터 수집 및 관리 동작의 수행 정보를 표시하며, 상기 데이터 수집부는 사용자의 신체에 착용되어 사용자의 움직임을 센싱하는 센서 데이터 수집부 및 센서 데이터를 보조하기 위한 메타 데이터를 센싱하는 메타 데이터 수집부를 포함하여 구성될 수 있다.

Description

제스처 데이터 수집 및 관리 시스템{Gesture data collection and management system}

본 발명은 사용자의 제스처를 구분하여 인식하기 위하여 착용형 제스처 수집 장치로부터 제스처 데이터를 수집하고 이를 관리하는 시스템에 관한 것이다.

제스처 인식을 수행하는 데 있어서, 정확한 제스처 데이터 수집은 인식 정확도에 영향을 미치는 중요한 과정이다. 제스처 데이터는 카메라, EMG, IMU 센서, 키넥트 등의 다양한 장치를 이용해 수집할 수 있다. 이와 같이 다양한 장치를 통해 수집된 사용자 데이터는 실험에 사용하기 전에 데이터를 수정하거나 잘라내는 작업이 필요하다. 지도학습을 이용하여 제스처를 인식하는 경우, 제스처의 시작 지점이나 끝점 같은 시간적인 경계를 구분하고, 구분한 구간에 정답을 표시하는 라벨링 과정이 필요하다. 제스처 데이터를 라벨링하기 위해 토글 스위치를 사용하거나, 관찰자를 두고 기록하는 방법이 있지만, 사후에 제스처 부분을 확인할 수 없다. 따라서 정확한 라벨링을 위해서는 실험자가 직접 라벨링해야 하고, 라벨링 작업을 위한 직관적인 단서가 필요하다.

그러나 종래에는 이러한 제스처 데이터에 대한 라벨링을 자동으로 수행하는 방법을 제시하지 못하였으며, 이에 따라 제스처 데이터를 이용한 작업을 수행하는 데 많은 불편함이 존재하였다.

본 발명은 카메라와 무선 센서 장치를 이용한 IMU 센서 데이터 수집 및 관리 시스템을 제안하기 위해 고안되었다. 구체적으로 본 발명에서는 제스처 데이터 수집 시 IMU 센서 데이터와 영상이 타임스탬프와 함께 기록되도록 하며, 이에 따라 직관적인 정보를 얻을 수 있도록 하며, 실험자는 저장된 영상을 통해 라벨링의 단서를 찾고, 타임스탬프로 영상에 해당하는 IMU 센서 데이터를 검색할 수 있게 하려는 목적이 있다.

상기와 같은 목적을 달성하기 위하여, 본 발명의 실시 예에 따른 제스처 데이터 수집 및 관리 시스템은 데이터 수집부, 제어부 및 모니터부를 포함하여 구성될 수 있으며, 상기 데이터 수집부는 사용자가 수행한 제스처 동작에 대한 촬영 데이터 및 신체 동작을 센싱한 센서 데이터를 수집하여 제어부로 제공하고, 상기 제어부는 상기 데이터 수집부로부터 획득된 제스처 데이터에 대한 특성값을 자동으로 부여하는 라벨링 동작을 수행하되, 촬영 데이터와 센서 데이터가 타임스탬프와 함께 기록되도록 제어하며, 상기 모니터부는 상기 제어부를 통해 수신되는 데이터 수집 및 관리 동작의 수행 정보를 표시하며, 상기 데이터 수집부는 사용자의 신체에 착용되어 사용자의 움직임을 센싱하는 센서 데이터 수집부 및 센서 데이터를 보조하기 위한 메타 데이터를 센싱하는 메타 데이터 수집부를 포함하여 구성될 수 있다.

본 발명에서는 제스처 데이터 수집 시 IMU 센서 데이터와 영상이 타임스탬프와 함께 기록되도록 한다. 이에 따라 본 발명은 데이터 수집 프로그램에서 IMU 센서 데이터의 물리적인 정보를 시각화한 그래프와 카메라 영상을 통해 직관적인 정보를 제공하므로 실험자는 저장된 영상을 통해 라벨링의 단서를 찾고, 타임스탬프로 영상에 해당하는 IMU 센서 데이터를 용이하게 검색할 수 있게 된다.

또한 본 발명에 의하면, 데이터 수집 시 실험 참여자는 푸시 버튼과 모니터 화면을 통해 수집한 데이터의 그래프와 영상을 실시간으로 확인할 수 있게 되며, 자동화된 수집 프로그램으로 제스처 데이터를 저장할 수 있기 때문에 데이터 오류를 확인하고 수정하는 시간을 줄일 수 있게 된다.

도 1은 본 발명의 실시 예에 따른 제스처 데이터 수집 및 관리 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 제어부의 구성을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 제스처 입력을 위한 카메라와 사용자간 위치 설정값에 관하여 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 제스처 수집 동작의 순서를 도시한 순서도이다.
도 5 내지 도 7은 본 발명의 실시 예에 따른 제스처 관리 동작의 예시를 도시한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.

도 1은 본 발명의 실시 예에 따른 제스처 데이터 수집 및 관리 시스템의 구성을 도시한 도면이다.

도 1에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 제스처 데이터 수집 및 관리 시스템은 데이터 제어부 100와 데이터 수집부 110, 모니터부 120를 포함하여 구성될 수 있다. 그리고 이 때 상기 데이터 수집부 110는 메타 데이터 수집부 111와 센서 데이터 수집부 112를 포함할 수 있다.

상기 도 1에 도시되지는 않았지만, 상기 시스템은 저장부 및 통신부를 더 포함할 수 있고, 각 구성요소들은 제어부 100와 연결되어 동작할 수 있다.

메타 데이터는 센서 데이터(IMU 센서에 의해 센싱된 사용자 움직임 감지 데이터)와 함께 저장되는 보조 입력 데이터로, 카메라를 통해 촬영되는 영상 데이터, 푸시 버튼을 통해 입력되는 버튼 입력 데이터 등을 의미할 수 있다. 상기 메타 데이터 수집부 111는 이러한 메타 데이터를 수집하는 장치로, 예컨대, 푸시 버튼, 카메라 등을 포함할 수 있다. 상기 푸시 버튼은 실험 참여자의 활동범위를 충분히 확보하기 위해 선으로 길게 연결되도록 설계될 수 있다. 그리고 상기 카메라의 경우, 일 실시 예에 따라 실험 참여자의 상반신이 전부 보이는 위치에 설치될 수 있다.

상기 센서 데이터 수집부 112는 IMU(Inertial Measurement Unit, 관성 측정 유닛) 센서를 포함할 수 있다. IMU 센서는 실험 참여자의 동작을 제한하지 않기 위해 무선으로 연결될 수 있다. 즉, 상기 센서 데이터 수집부 112는 제어부 100와의 무선 데이터 송수신을 수행할 수 있다.

일 실시 예에 따라, 상기 IMU센서는 입력장치로 스마트 폰, myo armband(팔 착용형 움직임 감지 센서), 아두이노와 MPU-6050 6축 자이로 센서, 블루투스 모듈로 조립한 장치가 사용될 수 있다. 그리고 일 실시 예에 따라 상기 IMU센서는 50ms의 간격으로 샘플링되도록 설정될 수 있다.

그리고 상기 제어부 100는 상기 데이터 수집부 110(메타 데이터 수집부 111, 센서 데이터 수집부 112)로부터 메타 데이터 및 센서 데이터를 획득할 수 있으며, 획득된 데이터를 분류 및 관리할 수 있다. 그리고 상기 제어부 100는 획득하고자 하는 특정 제스처 데이터를 임의로 선택하여 모니터부 120에 출력하고, 이에 대응하는 사용자의 제스처 데이터를 데이터 수집부 110를 통해 수집할 수 있다. 다양한 실시 예에 따라 상기 제어부 100는 사용자가 카메라, IMU센서 등의 데이터 수집부 110를 통해 제스처 데이터를 입력할 시, 요구되는 설정값 정보를 상기 데이터 수집부 110측에 직접 전송하여 센서 설정값을 변경하도록 요청할 수 있다.

또한, 상기 제어부 100는 모니터부 120에 다양한 정보를 제공하여 표시할 수 있다. 예를 들어, 상기 제어부 100는 모니터부 120에 촬영된 카메라 영상, 사용자가 입력해야 하는 제스처 안내 정보, 획득된 제스처 데이터(그래프 정보)를 전송하여 출력할 수 있다.

상기 제어부 100에 관하여 보다 상세하게 설명하기 위해, 도 2를 참조하기로 한다.

도 2는 본 발명의 실시 예에 따른 제어부의 구성을 도시한 도면이다.

도 2에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 제어부 100는 센서 설정부 101, 제스처 선택부 102, 데이터 관리부 103, 출력 데이터 매칭부 104 및 저장부 105를 포함하여 구성될 수 있다.

상기 제어부 100의 센서 설정부 101는 사용자의 제스처 데이터를 수집하는 데 요구되는 센서(또는 데이터 수집부)의 각종 설정값을 확인하고 이를 조정할 수 있다. 예를 들어, 상기 센서 설정부 101는 메타 데이터 수집부 111에 해당하는 카메라 장치의 촬영 밝기, 초당 프레임 수 등의 설정값을 조정할 수 있다.

상기 센서 설정부 101는 적정 카메라의 위치를 설정하기 위한 설정값을 산출하고 이를 모니터부 120에 출력하여 카메라의 적정 위치를 확인할 수 있도록 요청할 수 있다. 예컨대, 카메라의 적정 위치는 실험 참여자(제스처를 입력할 사용자)의 상반신이 전부 보이도록 하는 위치가 될 수 있다. 즉 상기 센서 설정부 101는 제스처 데이터의 수집동작이 개시되기 전, 카메라를 통해 입력되는 사용자(실험 참여자)의 얼굴, 사용자의 어깨선, 사용자의 팔 등의 이미지를 검출할 수 있으며, 이를 기준으로 사용자(실험 참여자)의 상반신이 전부 보이는지 여부를 판단할 수 있다. 상기 센서 설정부 101는 사용자(실험 참여자)의 상반신이 확인되는 것으로 판단한 경우, 카메라가 해당 위치가 적정 위치에 놓인 것으로 판단하고, 해당 위치가 적정 위치인 것으로 판단된 경우, 제스처 촬영 을 승인하는 사인을 모니터부 120에 전송하여 표시할 수 있다.

상기 센서 설정부 101는 또한 카메라의 위치뿐 아니라, 카메라의 촬영 컨디션이 제스처를 촬영하기에 적합한지 여부를 판단할 수 있다. 예를 들어, 상기 센서 설정부 101는 카메라를 통해 촬영되는 영상이 조도, 해상도, 초점 등의 요소가 적합하지 않도록 설정되었는지 여부를 판단하고 이에 대한 조정 요청 메시지를 모니터부 120로 제공할 수 있다.

카메라를 촬영되는 영상의 경우, 화면의 밝기가 어둡거나, 초점이 맞지 않도록 설정되어 사용자(실험 참여자)의 제스처를 특정하지 못할 수 있다. 따라서, 이러한 조건이 제대로 설정되어 있는지를 제스처 수행 전 미리 감지하고, 이러한 설정값을 미리 보정할 수 있도록 하는 작업이 필수적이다. 따라서 상기 센서 설정부 101는 카메라의 영상 설정값(조도, 해상도, 초점 등)의 조정의 필요성을 미리 판단할 수 있고, 조정 필요성이 판단되는 경우에, 모니터부 120에서 조정 요청 메시지가 출력되도록 제어할 수 있다.

다양한 실시 예에 따라 상기 센서 설정부 101는 카메라 영상의 프레임 수, 샘플링 간격 등의 정보를 설정할 수 있다. 예컨대, 상기 센서 설정부 101는 카메라 영상을 5 frames/s로 샘플링하며, 샘플링 간격을 조정할 수 있다. 이 때 상기 센서 설정부 101는 샘플링 간격을 다양한 조건에 의해 다르게 조정할 수 있다. 예를 들어, 상기 센서 설정부 101는 촬영 영상의 밝기, 사용자(실험 참여자)와 카메라 사이의 예상 거리에 기반하여 영상 샘플링 간격을 조정할 수 있다.

상기 센서 설정부 101는 도 3에서 도시되는 바와 같이, 카메라와 사용자의 거리, 사용자가 공중에 손으로 텍스트를 그리는 제스처를 취할 영역의 사이즈 등의 정보를 미리 설정하고 사용자의 위치를 적정 위치로 조정하기 위한 안내 동작을 수행할 수 있다.

도 3은 본 발명의 실시 예에 따른 제스처 입력을 위한 카메라와 사용자간 위치 설정값에 관하여 도시한 도면이다.

상기 센서 설정부 101가 설정하는 카메라와 사용자간 위치 설정값은, 사용자와 카메라간 거리가 특정 값(예, 1m)가 되도록 지정될 수 있다. 또한 상기 센서 설정부 101는 사용자의 신체 특정 지점(예, 어깨선 중심)을 중심점으로 하고 가로 길이와 세로 길이가 특정값(예, 1.2m)로 지정된 정사각형의 공중 영역을 제스처가 입력될 수 있는 영역으로 설정할 수 있다. 또는 상기 센서 설정부 101는 상기 공중 영역의 중심부분이 바닥에서 일정 높이(예, 130츠)에 있도록 설정할 수 있다. 이에 따라 상기 센서 설정부 101는 상기와 같은 카메라와 사용자간 위치 설정값이 만족되지 않는 것으로 판단되는 경우, 카메라와 사용자의 거리 또는 카메라의 높이를 조정하도록 사용자에게 요청할 수 있다.

다양한 실시 예에 따라 사용자가 제스처를 입력하는 영역인 상기 공중 영역은 구조물을 통해 가시적으로 표현될 수 있으며, 이 때 구조물은 9개의 칸이 나누어진 형태로 구현될 수 있다. 이에 따라 상기 센서 설정부 101는 공중영역의 위치를 상기 구조물을 통해 확인하고, 상기 구조물의 사이즈 및 카메라와의 이격 거리를 먼저 확인하는 동작을 수행하여 제스처를 입력할 준비가 되었는지 여부를 판단할 수 있다. 그리고 상기 센서 설정부 101는 상기 구조물의 사이즈와, 상기 구조물과 카메라 간의 이격 거리 등을 토대로 제스처 입력 조건이 만족된 것으로 판단되면, 이를 알리는 승인 신호를 화면에 표시할 수 있다.

또한 상기 센서 설정부 101는 푸시 버튼과 관련된 설정값을 지정하고 이의 보정을 요구할 수 있다. 참고로 상기 푸시 버튼은 다양한 종류의 입력 값을 구분하여 수신할 수 있도록 설계된 장치일 수 있다. 예를 들어, 상기 푸시 버튼은 1회 입력(푸시 버튼 누름), 2회 입력(두번 누름), 긴 시간 입력(길게 누름)을 구분하여 인식하도록 구현될 수 있다. 그에 따라 상기 센서 설정부 101는 푸시 버튼을 1회 입력한 경우 그에 해당하는 설정값(예, 제스처 입력 확인)과 2회 입력한 경우 그에 해당하는 설정값(예, 제스처 입력 취소)을 각각 설정할 수 있으며, 해당 설정값을 변경할 수도 있다.

또한 상기 센서 설정부 101는 메타 데이터 수집부 111뿐 아니라 센서 데이터 수집부 112와 관련된 설정값을 지정 및 제어할 수도 있다.

상기 센서 설정부 101는 센서 데이터 수집부 112(예, IMU센서)의 샘플링 간격(예, 디폴트 50ms로 설정되어 있을 수 있음), IMU센서의 센싱 감도 등에 관한 설정값을 지정 또는 변경할 수 있다.

상기 센서 설정부 101는 다양한 실시 예에 따라 카메라를 통해 촬영된 사용자(실험 참여자)의 신체 사이즈를 기반으로 사용자(실험 참여자)의 연령대, 또는 팔 길이 등을 판단할 수 있으며, 이를 기반으로(또는 사용자에 의해 직접 입력된 사용자의 신체 사이즈 또는 연령정보를 기반으로) 해당 사용자(실험 참여자)에 대하여 적합할 것으로 예상되는 제스처 사이즈를 예측하고 그에 대응하여 센서 데이터 수집부(IMU센서)의 센싱 감도를 조정할 것을 요청할 수 있다. 예를 들어, 센서 데이터 수집부(예, IMU센서)의 센싱 감도가 유아용으로 설정되어, 상대적으로 적은 움직임만으로도 유의미한 제스처인 것으로 감지되는 문제를 방지하기 위해, 카메라를 통해 확인되는 사용자(실험 참여자)의 신체 사이즈(키, 어깨 넓이, 팔 길이 등)에 대응하는 적정 센싱 감도를 산출하고 이를 센서 데이터 수집부에 적용할 수 있다.

상기 제스처 선택부 102는 수집하고자 하는 임의의 제스처를 선택하고 이를 모니터부 120에 출력할 수 있다. 이에 따라 상기 제스처 선택부 102는 사용자(실험 참여자)로부터 모니터부 120에 출력된 데이터에 해당하는 제스처가 수집되도록 지원할 수 있다.

이 때, 수집될 수 있는 제스처는, 공중에 쓴 텍스트 데이터, 수화 및 그 밖의 다양한 손동작과 몸동작들이 해당될 수 있다.

일 실시 예에 따라, 상기 제스처 선택부 102는 저장부(미도시)에 기 저장되어 있는 제스처의 의미들 중 수집하고자 하는 항목을 순차적으로 선택하여 모니터부 120에 표시할 수 있다. 예컨대, 상기 저장부에 기 저장되어 있는 제스처의 의미 항목들은 숫자 항목(예, 1, 2, 3, 4 등), 글자 항목(예, 가, 나, 다, 라 등), 수화 항목 등을 포함하여 구성될 수 있다. 이에 따라, 상기 제스처 선택부 102는 숫자 항목을 수집할 제스처 의미 항목으로 선택한 경우, 화면에 순차적으로 오름차순으로 0부터 1씩 증가하는 수치의 값을 표시할 수 있다. 이와 같은 방법으로 상기 제스처 선택부 102는 화면에 임의의 숫자를 표시하도록 모니터부 120를 제어할 수 있고, 사용자(실험 참여자)로 하여금 화면에 표시되는 의미를 갖는 제스처를 수행하도록 요청하게 된다.

이 때 상기 제스처 선택부 102는 사용자(실험 참여자)의 반응에 대응하여 제스처 의미 항목을 변경하여 선택할 수 있다. 사용자는 제스처를 입력하는 동작을 1회 수행한 후 자신이 제스처 입력 동작을 완료했음을 의미하는 동작을 취할 수 있는데, 이 때 상기 제스처 선택부 102는 이와 같은 사용자(실험 참여자)의 동작을 판단할 수 있다. 본 발명의 실시 예에 따라 사용자(실험 참여자)는 푸시 버튼을 입력하는 방법으로 자신이 제스처 입력 동작을 완료하였는지 여부를 알릴 수 있다.

이 밖에도 상기 제스처 선택부 102는 사용자의 움직임이 감지되지 않는 시점이 기 설정된 시간을 초과하는 것으로 판단될 경우, 입력 요청하는 제스처의 항목을 변경하는 등의 동작을 수행할 수 있다.

상기 제스처 관리부 103는 데이터 수집부 110를 통해 획득된 제스처 데이터를 관리하는 동작을 수행할 수 있다.

구체적으로, 상기 제스처 관리부 103는 상기 제스처 선택부 102에 의해 일 제스처의 입력을 사용자에게 요청한 이후, 사용자로부터 제스처가 입력되면, 해당 제스처를 기 표시한 의미 항목과 매칭하여 저장할 수 있다.

구체적으로, 상기 제스처 관리부 103는 도 4에서 도시되는 바와 같이, 제스처 수집 동작을 수행할 수 있다.

도 4는 본 발명의 실시 예에 따른 제스처 수집 동작의 순서를 도시한 순서도이다.

상기 제스처 관리부 103는 도 4에서 도시되는 바와 같이, 화면에서 설정 메뉴를 표시할 수 있고, 이 때 사용자가 푸시 버튼을 입력하면, 수집하고자 하는 제스처 및 방향을 안내하는 동작을 수행하도록 제어할 수 있다. 이에 대응하여 상기 제스처 선택부 102는 수집하고자 하는 제스처 항목(예, 숫자 1을 그리는 제스처)을 기 저장된 제스처의 의미 항목(예, 1, 2, 3 등 숫자 항목)들 중에서 선택하고 이를 표시할 수 있다. 예를 들면, 숫자 1에 대한 제스처를 수집하고자 할 경우, 상기 제스처 선택부 102는 숫자 '1' 에 대한 텍스트를 모니터부 120에 표시하도록 제어할 수 있다. 그리고 상기 제스처 관리부 103는 제스처 및 방향 안내(제스처 입력 방향 등) 동작과 함께 데이터 수집 동작을 시작할 수 있다.

이후 상기 제스처 관리부 103는 사용자의 푸시 버튼 입력을 수신함에 따라 제스처 데이터를 획득하고, 해당 데이터를 저장하는 동작을 수행할 수 있다. 그리고 이와 함께, 해당 제스처 데이터에 관한 그래프를 표시할 수 있다. 그 상태에서 사용자의 푸시 버튼의 입력이 발생되면, 상기 제스처 관리부 103는 수집한 데이터의 카메라 영상을 재생하도록 제어할 수 있다.

한편, 데이터 저장 동작 단계에서 푸시 버튼에 대한 제 2 입력(예, 두 번 누는 동작)을 수행하면 대상 제스처를 다시 수집하기 위한 동작(제스처 재수집 동작)을 수행할 수 있다. 그리고 상기 데이터 저장 동작 단계에서 푸시 버튼에 대한 제 3입력(예, 푸시 버튼을 길게 누르는 동작)을 수행하면, 상기 제스처 관리부 103는 수집할 제스처의 항목을 다음 항목으로 변경하도록 제스처 선택부 102를 제어하며, 이에 따라 상기 제스처 선택부 102는 다음 제스처 항목을 선택하여 표시할 수 있다.

상기 제스처 관리부 103는 획득된 제스처 데이터를 저장할 시, 파일 이름에 실험 참여자 ID, 제스처 번호, 제스처 위치, 시행 시간, 센서 착용 위치, 샘플링 간격 등의 항목을 포함하여 저장할 수 있다. 예컨대, 상기 제스처 데이터는 CSV 파일로 저장될 수 있으며, 이 때 저장되는 데이터는 시간 인덱스, 가속도 3축, 자이로 3축, 버튼 활성화 태그가 포함될 수 있다. 상기 버튼 활성화 태그는 실험자의 라벨링 작업에 추가적인 정보를 제공하기 위해 기록될 수 있다. 그리고 상기 제스처 관리부 103는 도 제스처에 해당하는 구간은 제스처의 여부에 따라 구분하여 저장할 수 있는데, 제스처가 취해진 데이터 구간은 1, 제스처가 취해지지 않은 구간은 0으로 구분할 수 있다.

상기 제스처 관리부 103에서 수행하는 제스처 데이터 획득 및 저장 동작은 도 5내지 도 7을 통해 보다 상세히 설명하기로 한다.

도 5 내지 도 7은 본 발명의 실시 예에 따른 제스처 관리 동작의 예시를 도시한 도면이다.

먼저, 도 5와 도 6은 제스처 데이터의 수집 프로그램 및 제스처 데이터 관리 프로그램의 화면을 도시하고 있다.

도 5에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 제스처 관리부 103는 제스처 수집 프로그램의 동작을 지원할 수 있다. 이 때 상기 제스처 관리부 103는 상기 수집 프로그램을 통해, 사용자의 신체에 착용된 IMU센서, 사용자의 전면에 위치된 카메라 등을 통해 사용자의 제스처를 획득하게 되면, 해당 제스처에 해당하는 신호 데이터를 그대로 수집하고 이를 가공할 수 있다. 이 때 신호 데이터란 자이로 센싱값, 가속도 센싱값 등의 수치, 그래프 픽(peak)의 위치, 픽(peak)의 간격 등을 포함할 수 있다.

일 실시 예에 따라 상기 제스처 관리부 103는 제스처 수집 프로그램을 통해 제스처 그래프, 카메라 영상, 제스처 표시기를 표시하도록 지원할 수 있다. 상기 제스처 관리부 103는 화면에 표시되는 카메라 영상을 통해서 사용자가 제스처 수집 상황을 실시간으로 확인할 수 있도록 지원한다. 또한 상기 제스처 관리부 103는 제스처 표시기를 표시하여, 사용자(실험 참여자)에게 수집할 제스처와, 제스처를 향할 방향을 세분화하여 알릴 수 있다. 상기 제스처 표시기는 화면상에서 9개의 칸을 나누고 특정 칸에 제스처의 의미 정보를 제공하는 장치일 수 있다. 또한 상기 제스처 관리부 103는 제스처 표시기의 배경 색상을 변경하는 방식으로 제스처 데이터의 수집 여부를 사용자에게 알릴 수 있다.

또한 상기 제스처 관리부 103는 사용자가 수집할 제스처의 의미를 직접 선택한 후 해당 의미에 대응하는 제스처 동작을 수행하도록 지원할 수 있다. 이를 위해 상기 제스처 관리부 103는 상기 수집 프로그램에서 사용자가 직접 숫자나 문자를 입력하도록 하고, 이후 IMU센서, 카메라 등의 데이터 수집부의 준비가 완료된 것으로 판단되면, 사용자의 제스처 동작을 수집할 수 있다.

또한 도 6은 데이터 관리 프로그램을 도시하고 있는데, 상기 제스처 관리부 103는 수집된 제스처에 대한 라벨링 동작을 수행할 수 있다. 수집되는 제스처 데이터는 카메라 데이터와 센서 데이터가 조합된 형태일 수 있다. 그리고 이와 같은 조합된 형태의 데이터는 시간정보와 함께 기록되어 카메라 영상 정보와 동일 시점에서 발생된 센서 데이터를 확인할 수 있도록 한다. 이에 따라 상기 제스처 관리부 103는 수집된 센서 데이터에 대하여 라벨링할 시, 동일 시점에 촬영된 카메라 정보로부터 검출된 제스처 입력 특성 정보(예, 제스처 입력 시작 위치, 사용자 신체 사이즈 정보(소아, 성인 등))를 라벨링 정보로 활용할 수 있다.

또한 상기 제스처 관리부 103는 데이터 관리 프로그램을 통해 도 7에서 도시되는 바와 같이, 수집된 제스처 데이터의 시작 지점과 종료지점을 그래프를 기반으로 판단할 수 있다. 이를 통해 상기 제스처 관리부 103는 특정 제스처의 수행 시간, 특정 제스처의 시작지점과 종료지점 부근의 데이터 수치를 추출할 수 있다.

상기 출력 데이터 매칭부 104는 데이터 수집 동작에 대응하여 출력할 데이터의 값을 매칭하는 동작을 수행할 수 있다. 예를 들어, 상기 출력 데이터 매칭부 104는 일 제스처의 입력 사이즈를 판단하고, 해당 사이즈에 대응하여 출력되는 데이터의 표시 사이즈를 설정하도록 제어할 수 있다.

다양한 실시 예에 따라 상기 출력 데이터 매칭부 104는 수집된 데이터가 기준 조건을 만족하였는지 여부를 판단하고, 기준 조건을 만족하지 않은 경우, 사용자(실험 참여자)에게 이전 수행된 제스처의 수집이 무효화 되었음을 알리고 제스처를 다시 입력하도록 요청할 수 있다. 그리고 이 때 상기 출력 데이터 매칭부 104는 이전 수행된 제스처의 무효화를 알리는 알림음을 매칭할 수 있다.

이 때 상기 출력 데이터 매칭부 104는 수행된 제스처의 무효화 사유에 대응하여 각기 다른 알림음을 매칭하여 출력할 수 있다. 예컨대, 제스처 동작 사이즈가 기준 영역을 초과한 것으로 판단되는 경우(예, 카메라의 촬영 영역 밖으로 사용자의 움직임이 감지되는 경우) 상기 출력 데이터 매칭부 104는 제 1알림음을 매칭하여, 사용자의 움직임 범위를 축소하도록 요청할 수 있다.

이와 유사하게 상기 출력 데이터 매칭부 104는 사용자가 수행한 제스처의 사이즈가 기준 영역 이하의 범위에서 수행된 것으로 판단된 경우(예, IMU 센서에서는 감지되나 카메라에서는 사용자의 움직임이 감지되지 않는 경우), 상기 출력 데이터 매칭부 104는 제 2알림음을 매칭하여, 사용자의 움직임 범위를 확대하도록 요청할 수 있다.

그리고 상기 출력 데이터 매칭부 104는 데이터 관리부 103에 의해 특정 제스처 데이터에 부여된 라벨링 정보(예, 실험 참여자 ID, 제스처 번호, 제스처 위치, 시행 시간, 센서 착용 위치, 샘플링 간격, 등)에 기반하여, 수집된 데이터의 쏠림 현상과 관련된 요청사항을 매칭하고 이를 출력하도록 제어할 수 있다. 제스처 인식률을 높이기 위해서는 다양한 종류의 데이터를 수집하는 과정이 필수적이다. 동일한 의미를 갖는 제스처(예, 숫자 1을 공중에 그리는 동작 제스처)라 하더라도 해당 동작을 수행하는 속도, 해당 동작의 시작점 위치, 해당 제스처의 길이, 사용자의 센서 착용 위치 등의 제스처 입력 특성이 모두 상이할 수 있다. 그러나 앞서 언급한 조건들이 모두 기준 범위 내로 유사한 데이터들만 수집될 경우, 추후 제스처 인식률 향상에 걸림돌이 될 수 있기에, 다양한 종류의 제스처를 수집하려는 노력이 요구될 수 있다.

이에 따라, 상기 출력 데이터 매칭부 104는 이전에 수집된 제스처 데이터들의 라벨링 정보 내지 그 외 제스처 입력 특성(예, 동작 시작점 위치, 제스처의 동작 길이 등)의 분류 정보가 기준 횟수 이상 동일한 것으로 판단되는 경우, 사용자(실험 참여자)에게 다른 종류의 제스처를 입력하도록 요청할 수 있다. 일 실시 예에 따라, 본 발명의 실시 예에 따른 실험은 일 사용자에게 동일한 숫자를 공중에 쓰는 동작을 10회 이상 반복하도록 제안할 수 있다. 따라서, 사용자는 자신도 모르는 사이에, 기준 사이즈(예, 10cm*10cm)이하로만 숫자를 그리는 등 동일한 제스처 입력 특성을 유지할 수 있다. 이와 같은 문제를 사용자에게 자각하도록 하기 위해, 상기 출력 데이터 매칭부 104는 기준 횟수(예, 5회) 이상 제스처 입력 특성이 동일한 제스처가 수집된 것으로 판단되면, 제스처 입력 특성을 변경할 것을 제안하는 안내문구를 매칭하고 이를 출력하도록 제어할 수 있다.

예컨대, 상기 출력 데이터 매칭부 104는 일 사용자가 기준 사이즈(예, 10cm*10cm 영역) 이하로 제스처 동작을 수행한 누적횟수가 기준 횟수(예, 5회) 이상인 것으로 판단되는 경우, 이후 시행할 제스처의 동작 사이즈를 확대하도록 요청하고, 일 사용자가 기준 시간(예, 1초)이하로 제스처 동작을 시행한 누적횟수가 기준 횟수(예, 5회) 이상인 것으로 판단되는 경우, 이후 시행할 제스처의 동작 시행 시간을 증가하도록 요청할 수 있다.

요컨대, 본 발명의 실시 예에 따른 제스처 데이터 수집 및 관리 시스템은 데이터 수집부, 제어부 및 모니터부를 포함하여 구성될 수 있으며, 상기 데이터 수집부는 사용자가 수행한 제스처 동작에 대한 촬영 데이터 및 신체 동작을 센싱한 센서 데이터를 수집하여 제어부로 제공하고, 상기 제어부는 상기 데이터 수집부로부터 획득된 제스처 데이터에 대한 특성값을 자동으로 부여하는 라벨링 동작을 수행하되, 촬영 데이터와 센서 데이터가 타임스탬프와 함께 기록되도록 제어하며, 상기 모니터부는 상기 제어부를 통해 수신되는 데이터 수집 및 관리 동작의 수행 정보를 표시하며, 상기 데이터 수집부는 사용자의 신체에 착용되어 사용자의 움직임을 센싱하는 센서 데이터 수집부 및 센서 데이터를 보조하기 위한 메타 데이터를 센싱하는 메타 데이터 수집부를 포함하여 구성될 수 있다.

이 때, 상기 센서 데이터 수집부는 사용자의 신체 일부에 착용되는IMU(Inertial Measurement Unit) 센서를 포함하고, 상기 메타 데이터 수집부는 제스처 동작의 수행 완료 여부에 관한 정보를 입력하기 위한 푸시 버튼 및 사용자의 전면에 비치되어 사용자의 제스처 수행 영상을 촬영하는 카메라를 포함하여 구성될 수 있다.

그리고, 상기 제어부는 제스처 데이터를 수집하는 데 요구되는 데 요구되는 데이터 수집부의 설정값을 확인하고 이를 조정하되, 카메라 촬영 영상을 기반으로 사용자와 카메라 간 거리, 촬영 영상에서 사용자의 상반신의 감지 여부를 기반으로 카메라가 적정 위치에 놓여 있는지 여부를 판단하고, 적정 위치에 설치된 것으로 판단된 경우, 촬영을 승인하는 사인을 표시하도록 모니터부를 제어하는 센서 설정부를 포함할 수 있다.

그리고 상기 센서 설정부는 사용자의 신체 사이즈 및 연령 정보에 대응하여 사용자의 적합 제스처 사이즈를 예측하고, 예측된 적합 제스처 사이즈에 대응하여 센서 데이터 수집부의 제스처 센싱 감도를 조정할 수 있다.

그리고 상기 제어부는 수집하고자 하는 제스처의 의미 항목들을 순차적으로 선택하여 모니터부에 표시하도록 제어하되, 상기 푸시 버튼의 입력이 감지됨에 따라 수집할 제스처의 항목을 다음 항목으로 변경하도록 제어하는 제스처 선택부를 포함할 수 있다.

상기 제어부는 획득된 제스처 데이터를 저장할 시, 파일 이름에 실험 참여자 ID, 제스처 번호, 제스처 위치, 시행 시간, 센서 착용 위치, 샘플링 간격을 포함하는 제스처 입력 특성 정보를 포함하여 저장하고, 수행된 일 제스처에 대하여 제스처 입력 특성 정보로 라벨링을 수행하되, 메타 데이터 수집부에 의해 수집된 데이터와, 센서 데이터 수집부에 의해 수집된 센서 데이터를 타임 스탬프와 함께 함께 기록하여, 추후 검색에 용이하도록 제스처 데이터를 관리하는 데이터 관리부를 포함할 수 있다.

그리고 상기 제어부는 기준 횟수 이상 제스처 입력 특성이 동일한 제스처가 수집된 것으로 판단되면 사용자에게 이후 수행할 제스처의 입력 특성을 변경할 것을 제안하는 안내 문구를 매칭하고 이를 출력하는 출력 데이터 매칭부를 포함할 수 있으며, 상기 제스처 입력 특성은 제스처 시행 속도, 제스처 동작의 시작점 위치, 제스처의 길이 및 센서 착용 위치 중 적어도 하나를 포함할 수 있다.

상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.

100 : 제어부
101 : 센서 설정부
102 : 제스처 선택부
103 : 데이터 관리부
104 : 출력 데이터 매칭부
110 : 데이터 수집부
111 : 메타 데이터 수집부
112 : 센서 데이터 수집부
120 : 모니터부

Claims (1)

1. 데이터 수집부, 제어부 및 모니터부를 포함하여 구성되는 제스처 데이터 수집 및 관리 시스템에 있어서,
   상기 데이터 수집부는
   사용자가 수행한 제스처 동작에 대한 촬영 데이터 및 신체 동작을 센싱한 센서 데이터를 수집하여 제어부로 제공하고,
   상기 제어부는
   상기 데이터 수집부로부터 획득된 제스처 데이터에 대한 특성값을 자동으로 부여하는 라벨링 동작을 수행하되, 촬영 데이터와 센서 데이터가 타임스탬프와 함께 기록되도록 제어하며
   상기 모니터부는
   상기 제어부를 통해 수신되는 데이터 수집 및 관리 동작의 수행 정보를 표시하며,
   상기 제어부는
   제스처 데이터를 수집하는 데 요구되는 데이터 수집부의 설정값을 확인하고 이를 조정하되,
   카메라 촬영 영상을 기반으로 사용자와 카메라 간 거리, 촬영 영상에서 사용자의 상반신의 감지 여부를 기반으로 카메라가 적정 위치에 놓여 있는지 여부를 판단하고, 적정 위치에 설치된 것으로 판단된 경우, 촬영을 승인하는 사인을 표시하도록 모니터부를 제어하는 센서 설정부;를 포함하고,
   상기 센서 설정부는
   사용자의 신체 사이즈 및 연령 정보에 대응하여 사용자의 적합 제스처 사이즈를 예측하고, 예측된 적합 제스처 사이즈에 대응하여 센서 데이터 수집부의 제스처 센싱 감도를 조정하고,
   상기 제어부는
   기준 횟수 이상 제스처 입력 특성이 동일한 제스처가 수집된 것으로 판단되면 사용자에게 이후 수행할 제스처의 입력 특성을 변경할 것을 제안하는 안내 문구를 매칭하고 이를 출력하는 출력 데이터 매칭부;를 더 포함하고,
   상기 제스처 입력 특성은 제스처 시행 속도, 제스처 동작의 시작점 위치, 제스처의 길이 및 센서 착용 위치 중 적어도 하나를 포함하는 것을 특징으로 하는 제스처 데이터 수집 및 관리 시스템.

Images