KR102346294B1

KR102346294B1 - 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Info

Publication number: KR102346294B1
Application number: KR1020200026774A
Authority: KR
Inventors: 김석중; 정직한
Original assignee: 주식회사 브이터치
Priority date: 2020-03-03
Filing date: 2020-03-03
Publication date: 2022-01-04
Also published as: US20220415094A1; CN115461794A; KR20210111619A; WO2021177674A1

Abstract

본 발명의 일 태양에 따르면, 2차원 이미지로부터 사용자의 제스처를 추정하는 방법으로서, 2차원 카메라로부터 사용자의 신체에 관한 2차원 이미지를 획득하는 단계, 상기 2차원 이미지 내에서 동적으로 정의되는 상대 좌표계에서 상기 사용자의 제1 신체 부위 및 제2 신체 부위 각각에 대응하는 2차원 상대 좌표를 특정하고, 제1 시점(時點)에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계와, 제2 시점(時點)에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계를 비교하는 단계, 및 상기 비교 결과 및 상기 2차원 이미지로부터 획득되는 문맥 정보를 참조하여 상기 사용자가 상기 제1 시점 및 상기 제2 시점 사이에 행한 제스처를 추정하는 단계를 포함하는 방법이 제공된다.

Description

2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체{METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR ESTIMATING USER'S GESTURE FROM 2D IMAGES}

본 발명은 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.

근래에 들어, 모바일 디바이스, 태블릿, 랩탑, PC, 가전 디바이스, 자동차 등 다양한 사용 환경에서 사용자의 제스처를 인식하여 객체를 제어하거나 명령을 실행할 수 있도록 하는 기술들이 소개되고 있다.

이에 관한, 종래 기술의 일 예로서, 한국공개특허공보 제2012-126508호에 개시된 기술을 예로 들 수 있는데, 이에 따르면, 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되며 상기 표시면 전방의 사용자 신체를 촬영하는 영상 획득부와, 상기 영상 획득부로부터 수신한 영상을 이용하여 상기 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부와, 상기 공간 좌표 산출부로부터 수신한 제1 공간 좌표와 제2 공간 좌표를 이용하여 상기 제1 공간 좌표와 제2 공간 좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부 및 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령 코드를 생성하여 상기 전자 기기의 주 제어부로 입력하는 가상 터치 처리부로 구성되는 가상 터치 장치를 통해, (A) 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면(C)과, 손가락 끝점(B)과, 한쪽 눈의 접점(A)을 각각 검출하는 단계와, (B) 상기 검출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지시간 및 변화의 속도 중 적어도 하나를 산출하는 단계와, (C) 산출된 손가락 끝점의 깊이 변화, 궤적의 변화, 유지 시간 및 변화의 속도 중 적어도 하나를 기반으로 전자 기기의 조작이 가능하고, 또한 터치 패널의 특정 부분을 터치하는 것과 같이 해당 영역을 선택하는 단계를 포함하는 것을 특징으로 하는 포인터를 사용하지 않는 가상 터치 장치에서의 터치 인식 방법이 소개된 바 있다.

위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 객체를 선택하거나 제어하기 위한 사용자의 제스처를 인식하려면 3차원 카메라를 이용하여 사용자 신체 부위의 3차원 좌표를 획득하는 과정이 필수적으로 요구되었다. 하지만, 3차원 카메라는 그 자체 가격이 비쌀 뿐만 아니라 3차원 데이터 처리 과정에서 많은 지연이 발생하였고, 그 지연을 해결하기 위해서는 더 높은 성능의 연산 처리 장치(CPU) 등이 요구되어 전체적으로 효율이 낮아지게 되는 한계가 존재한다.

대안으로서, RGB 카메라, IR 카메라 등 2차원 카메라를 이용하여 사용자의 제스처를 인식하는 기술이 소개되기도 하였지만, 2차원 카메라는 촬영 대상까지의 거리나 촬영 대상들 사이의 깊이 차이를 검출하기 어렵기 때문에, 2차원 카메라로부터 획득되는 2차원 이미지를 이용하여 사용자의 전/후 방향 움직임에 기반한 제스처를 인식하기는 어렵다는 기술적 한계가 여전히 존재한다.

이에 본 발명자는, 2차원 카메라에 의해 촬영되는 2차원 이미지만을 이용하면서도 3차원 공간에서 행해지는 사용자의 제스처를 정확하게 추정할 수 있도록 지원하는 신규하고도 진보된 기술을 제안하는 바이다.

본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은, 3차원 카메라 등 정밀한 센싱 수단을 이용하지 않고 전자기기에 통상적으로 구비되어 있는 2차원 카메라를 통해 획득되는 정보만을 이용하여 3차원 공간에서 행해지는 사용자의 제스처를 정확하게 추정하는 것을 다른 목적으로 한다.

또한, 본 발명은, 적은 리소스를 이용하여 사용자의 제스처를 효율적으로 추정하고 이에 따라 사용자의 제어 의도를 효율적으로 인식하는 것을 또 다른 목적으로 한다.

또한, 본 발명은, 2차원 이미지로부터 획득되는 정보에 기초하여 학습되는 머신 러닝 모델을 이용하여 사용자의 제스처를 보다 더 정확하게 추정하는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 다른 태양에 따르면, 2차원 이미지로부터 사용자의 제스처를 추정하는 시스템으로서, 2차원 카메라로부터 사용자의 신체에 관한 2차원 이미지를 획득하는 이미지 획득부, 및 상기 2차원 이미지 내에서 동적으로 정의되는 상대 좌표계에서 상기 사용자의 제1 신체 부위 및 제2 신체 부위 각각에 대응하는 2차원 상대 좌표를 특정하고, 제1 시점(時點)에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계와, 제2 시점(時點)에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계를 비교하고, 상기 비교 결과 및 상기 2차원 이미지로부터 획득되는 문맥 정보를 참조하여 상기 사용자가 상기 제1 시점 및 상기 제2 시점 사이에 행한 제스처를 추정하는 제스처 추정부를 포함하는 시스템 이 제공된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명에 의하면, 3차원 카메라 등 정밀한 센싱 수단을 이용하지 않고 전자기기에 통상적으로 구비되어 있는 2차원 카메라를 통해 획득되는 정보만을 이용하여 3차원 공간에서 행해지는 사용자의 제스처를 정확하게 추정할 수 있게 된다.

또한, 본 발명에 의하면, 적은 리소스를 이용하여 사용자의 제스처를 효율적으로 추정하고 사용자의 제어 의도를 효율적으로 인식할 수 있게 된다.

또한, 본 발명에 의하면, 2차원 이미지로부터 획득되는 정보에 기초하여 학습되는 머신 러닝 모델을 이용하여 사용자의 제스처를 보다 더 정확하게 추정할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 제스처 추정 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따라 2차원 카메라에 대하여 제스처를 행하는 사용자의 모습을 포함하는 2차원 이미지를 예시적으로 나타내는 도면이다.
도 4 내지 도 6은 본 발명의 일 실시예에 따라 2차원 카메라에 대하여 제스처를 행하는 사용자의 모습을 포함하는 2차원 이미지를 극 좌표계를 기준으로 하여 예시적으로 나타내는 도면이다.
도 7은 본 발명의 일 실시예에 따라 사용자가 2차원 카메라에 대하여 자신의 손가락을 전진시키는 제스처를 행하는 모습이 촬영된 2차원 이미지를 예시적으로 나타내는 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따라 주변 객체에 대하여 제스처를 행하는 사용자의 모습을 포함하는 2차원 이미지를 예시적으로 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따라 사용자가 주변 객체에 대하여 자신의 손가락을 전진시키는 제스처를 행하는 모습이 촬영된 2차원 이미지를 예시적으로 나타내는 도면이다.
도 11 내지 도 14는 본 발명의 일 실시예에 따라 주변 객체에 대하여 제스처를 행하는 사용자의 모습을 포함하는 2차원 이미지를 예시적으로 나타내는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

전체 시스템의 구성

본 발명의 일 실시예에 따른 전체 시스템은 통신망, 제스처 추정 시스템(100) 및 2차원 카메라를 포함하여 구성될 수 있다.

먼저, 본 발명의 일 실시예에 따른 통신망은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.

예를 들면, 통신망은 무선 데이터 통신망으로서, 무선주파수(RF; Radio Frequency) 통신, 와이파이(WiFi) 통신, 셀룰러(LTE 등) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy)), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.

다음으로, 본 발명의 일 실시예에 따른 제스처 추정 시스템(100)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 디바이스일 수 있다. 이러한 제스처 추정 시스템(100)은 서버 시스템일 수 있다.

본 발명의 일 실시예에 따르면, 제스처 추정 시스템(100)은, 후술할 2차원 카메라와 통신망 또는 소정의 프로세서(미도시됨)를 통하여 서로 연결될 수 있으며, 2차원 카메라로부터 사용자의 신체에 관한 2차원 이미지를 획득하고, 2차원 이미지 내에서 동적으로 정의되는 상대 좌표계에서 사용자의 제1 신체 부위 및 제2 신체 부위 각각에 대응하는 2차원 상대 좌표를 특정하고, 제1 시점(時點)에서의 제1 신체 부위의 2차원 상대 좌표 및 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계와, 제2 시점에서의 제1 신체 부위의 2차원 상대 좌표 및 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계를 비교하고, 위의 비교 결과 및 2차원 이미지로부터 획득되는 문맥 정보를 참조하여 사용자가 제1 시점 및 제2 시점 사이에 행한 제스처를 추정하는 기능을 수행할 수 있다.

여기서, 본 발명의 일 실시예에 따른 2차원 상대 좌표는, 2차원 카메라로부터 획득되는 2차원 이미지 내에서 동적으로 정의되는 상대 좌표계에서 특정되는 좌표일 수 있다.

예를 들어, 본 발명의 일 실시예에 따른 상대 좌표계는 2차원 카메라에 의해 촬영되는 2차원 이미지에 나타나는 사용자의 제1 신체 부위의 위치를 기준으로 하여 동적으로 정의되는 2차원 직교 좌표계 또는 2차원 극 좌표계일 수 있다.

구체적으로, 본 발명의 일 실시예에 따르면, 2차원 이미지 내에서 동적으로 정의되는 상대 좌표계가 2차원 직교 좌표계인 경우에 제1 신체 부위 및 제2 신체 부위의 2차원 상대 좌표는 (x, y)와 같은 형식으로 특정될 수 있고, 2차원 이미지 내에서 동적으로 정의되는 상대 좌표계가 2차원 극 좌표계인 경우에 제1 신체 부위 및 제2 신체 부위의 2차원 상대 좌표는 (r, θ)와 같은 형식으로 특정될 수 있다.

한편, 본 발명의 일 실시예에 따르면, 2차원 이미지 내에서 특정될 수 있는 제1 신체 부위 또는 제2 신체 부위에는, 머리, 눈(우세안), 코, 입, 손, 손 끝, 손가락, 팔(전완 및 상완), 발, 발 끝, 발가락, 다리 등이 포함될 수 있으며, 위의 열거된 신체 부위에만 한정되지 않고 본 발명의 목적을 달성할 수 있는 범위 내에서 다양한 신체 부위로 변경될 수 있다. 나아가, 본 발명의 일 실시예에 따르면, 사용자의 신체 부위가 아니라고 하더라도 사용자의 제스처를 추정하기 위해 필요한 객체(예를 들면, 사용자가 손으로 들고 있는 포인터 등)라면, 사용자의 신체 부위와 마찬가지로 취급되어 2차원 이미지 내에서 그 객체에 대한 2차원 상태 좌표가 특정될 수도 있음을 밝혀 둔다.

본 발명에 따른 제스처 추정 시스템(100)의 구성과 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다. 한편, 제스처 추정 시스템(100)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 제스처 추정 시스템(100)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 외부 디바이스(예를 들면, 사용자가 소지하고 있는 모바일 디바이스, 웨어러블 디바이스 등) 또는 외부 시스템(예를 들면, 클라우드 서버 등) 내에서 실현되거나 외부 디바이스 또는 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.

다음으로, 본 발명의 일 실시예에 따른 2차원 카메라(미도시됨)는 통신망 또는 소정의 프로세서에 의하여 제스처 추정 시스템(100)과 통신이 이루어질 수 있으며, 사용자의 신체에 관한 2차원 이미지를 획득하는 기능을 수행할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 위의 2차원 카메라에는 RGB 카메라, IR 카메라 등의 다양한 유형의 촬영 모듈이 포함될 수 있다.

제스처 추정 시스템의 구성

이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 제스처 추정 시스템(100)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.

도 1은 본 발명의 일 실시예에 따른 제스처 추정 시스템(100)의 내부 구성을 상세하게 도시하는 도면이다.

도 1에 도시된 바와 같이, 제스처 추정 시스템(100)은, 이미지 획득부(110), 제스처 추정부(120), 통신부(130) 및 제어부(140)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 이미지 획득부(110), 제스처 추정부(120), 통신부(130) 및 제어부(140)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 제스처 추정 시스템(100)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 제스처 추정 시스템(100)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

먼저, 본 발명의 일 실시예에 따른 이미지 획득부(110)는 2차원 카메라로부터 사용자의 신체를 촬영한 2차원 이미지를 획득하는 기능을 수행할 수 있다.

예를 들어, 본 발명의 일 실시예에 따르면, 이미지 획득부(110)는 사용자의 제1 신체 부위인 눈(예를 들어, 양안 또는 우세안)과 사용자의 제2 신체 부위인 손가락 끝(예를 들어, 검지 손가락 끝)을 포함하는 신체를 촬영한 2차원 이미지를 획득할 수 있다.

다음으로, 본 발명의 일 실시예에 따르면, 제스처 추정부(120)는, 2차원 이미지 내에서 동적으로 정의되는 상대 좌표계에서 사용자의 제1 신체 부위 및 제2 신체 부위 각각에 대응하는 2차원 상대 좌표를 특정할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 제스처 추정부(120)는, 제1 시점(時點)에서의 제1 신체 부위의 2차원 상대 좌표 및 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계와, 제2 시점에서의 제1 신체 부위의 2차원 상대 좌표 및 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계를 비교할 수 있다.

여기서, 본 발명의 일 실시예에 따르면, 제1 신체 부위의 2차원 상대 좌표와 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계는, 2차원 이미지 내에서 제1 신체 부위의 2차원 상대 좌표와 제2 신체 부위의 2차원 상대 좌표를 잇는 직선과 2차원 이미지 내에서 설정되는 기준선 사이의 각도에 의하여 특정될 수 있다. 구체적으로, 본 발명의 일 실시예에 따르면, 제1 신체 부위의 2차원 상대 좌표와 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계는, 2차원 이미지 내에서 제1 신체 부위의 2차원 상대 좌표와 제2 신체 부위의 2차원 상대 좌표를 잇는 직선의 길이(즉, 2차원 이미지 내에서 나타나는 제1 신체 부위와 제2 신체 부위 사이의 거리)를 포함하는 개념일 수 있다.

나아가, 본 발명의 일 실시예에 따르면, 2차원 이미지 내에서 동적으로 정의되는 상대 좌표계가 2차원 이미지 내에서 제1 신체 부위의 2차원 상대 좌표를 중심으로 하여 동적으로 정의되는 극 좌표계인 경우에, 제1 신체 부위의 2차원 상대 좌표와 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계는, 극 좌표계에서 특정되는 제2 신체 부위의 2차원 상대 좌표에 의하여 결정될 수 있다. 예를 들면, 사용자의 손가락 끝의 2차원 상대 좌표인 (r, θ)는, 사용자의 제1 신체 부위로부터 사용자의 제2 신체 부위까지의 거리를 가리키는 r과 소정의 기준선에 대한 사용자의 제2 신체 부위의 방향각 θ로서 특정될 수 있다.

또한, 본 발명의 일 실시예에 따르면, 제스처 추정부(120)는, 위의 제1 시점에서의 위치 관계와 제2 시점에서의 위치 관계를 비교한 결과를 참조하는 것과 함께, 2차원 이미지로부터 획득되는 문맥 정보를 더 참조함으로써, 사용자가 제1 시점 및 제2 시점 사이에 행한 제스처를 추정할 수 있다.

여기서, 본 발명의 일 실시예에 따르면, 문맥 정보에는, 2차원 이미지 내에서 나타나는 제1 신체 부위 및 제2 신체 부위 사이 거리의 변화에 관한 정보가 포함될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 문맥 정보에는, 2차원 이미지 내에서 나타나는 제2 신체 부위 또는 제2 신체 부위와 연관된 다른 신체 부위의 크기, 밝기 및 포즈(pose) 중 적어도 하나의 변화에 관한 정보가 포함될 수 있다. 예를 들면, 문맥 정보와 연관되는 제2 신체 부위는 사용자의 손(또는 손가락)일 수 있고, 위의 제2 신체 부위와 연관되는 다른 신체 부위는 위의 손과 연결되는 팔(전완 또는 상완)일 수 있다.

예를 들면, 사용자가 2차원 카메라에 대하여 손을 전진시키거나 후진시키는 제스처를 행하는 경우에, 원근법에 따라 2차원 이미지 내에서 나타나는 사용자의 손의 크기가 커지거나 작아질 수 있고, 사용자의 손과 2차원 카메라의 광원 사이의 거리가 변화함에 따라 2차원 이미지 내에서 나타나는 사용자의 손의 밝기가 밝아지거나 어두워질 수 있다.

계속하여 예를 들면, 사용자가 2차원 카메라와 손 사이의 거리를 실질적으로 동일하게 유지한 채로 손을 평행 이동시키는 제스처를 행하는 경우에, 2차원 이미지 내에서 사용자의 손의 크기, 밝기 등에 별다른 변화가 나타나지 않을 수 있다.

다른 예를 들면, 사용자가 주변 객체에 대하여 손을 전진시키거나 후진시키는 제스처를 행하는 경우에, 2차원 이미지 내에서 나타나는 눈과 손 사이 거리가 커지거나 작아질 수 있고, 사용자의 손목, 팔꿈치, 어깨 등의 자세가 달라짐에 따라 2차원 이미지 내에서 나타나는 사용자의 손의 포즈가 접는 포즈에서 뻗는 포즈로 바뀌거나 뻗는 포즈에서 접는 포즈로 바뀔 수 있고, 사용자의 손과 연결된 팔이 접힌 상태에서 펴진 상태로 바뀌거나 펴진 상태에서 접힌 상태로 바뀔 수 있다.

본 발명의 일 실시예에 따른 제스처 추정부(120)는, 위와 같이 예시된 문맥 정보를 참조함으로써, 사용자의 신체 부위에 관한 2차원 상대 좌표만을 참조하는 경우에 비하여 사용자의 제스처를 더 구체적이고도 정확하게 추정할 수 있다.

구체적으로, 본 발명의 일 실시예에 따르면, 제스처 추정부(120)는, 제1 시점에서의 제1 신체 부위 및 제2 신체 부위 간 위치 관계와 제2 시점에서의 제1 신체 부위 및 제2 신체 부위 간 위치 관계 사이의 차이가 소정 임계 수준 이하이고, 문맥 정보로부터 제2 신체 부위가 2차원 카메라에 대하여 가까워지거나 멀어진 것으로 판단되면, 해당 사용자가 2차원 카메라에 대하여 제2 신체 부위를 전진시키거나 후진시키는 제스처를 행한 것으로 추정할 수 있다.

예를 들면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 사용자의 제2 신체 부위를 촬영한 2차원 이미지 내에서 제2 신체 부위의 크기가 커지는 정도가 소정 수준 이상이거나, 제2 신체 부위의 밝기가 밝아지는 정도가 소정 수준 이상이면, 제2 신체 부위가 2차원 카메라에 대하여 가까워진 것으로 판단할 수 있다. 반대로, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 사용자의 제2 신체 부위를 촬영한 2차원 이미지 내에서 제2 신체 부위의 크기가 작아진 정도가 소정 수준 이상이거나, 제2 신체 부위의 밝기가 어두워진 정도가 소정 수준 이상이면, 제2 신체 부위가 2차원 카메라에 대하여 멀어진 것으로 판단할 수 있다.

반면에, 본 발명의 일 실시예에 따르면, 제스처 추정부(120)는, 제1 시점에서의 제1 신체 부위 및 제2 신체 부위 간 위치 관계와 제2 시점에서의 제1 신체 부위 및 제2 신체 부위 간 위치 관계 사이의 차이가 소정 임계 수준 이하임에도 불구하고, 문맥 정보로부터 제2 신체 부위가 2차원 카메라에 대하여 가까워지거나 멀어지지 않은 것으로 판단되면, 해당 사용자가 2차원 카메라에 대하여 제2 신체 부위를 전진시키거나 후진시키는 제스처를 행하지 않은 것으로 추정할 수 있다.

예를 들면, 본 발명의 일 실시예에 따르면, 제스처 추정부(120)는, 사용자의 제2 신체 부위를 촬영한 2차원 이미지 내에서 제2 신체 부위의 크기 및 밝기의 변화가 소정 수준 미만이면, 제2 신체 부위가 2차원 카메라에 대하여 가까워지거나 멀어지지 않은 것으로 판단할 수 있고, 나아가 2차원 카메라와 제2 신체 부위 사이의 거리가 유의미하게 바뀌지 않은 것으로 판단할 수 있다.

한편, 본 발명의 일 실시예에 따르면, 제스처 추정부(120)는, 제1 시점에서의 제1 신체 부위 및 제2 신체 부위 간 위치 관계와 제2 시점에서의 제1 신체 부위 및 제2 신체 부위 간 위치 관계 사이의 차이가 소정 임계 수준 이하이고, 문맥 정보로부터 제2 신체 부위가 사용자의 주변 객체에 대하여 가까워지거나 멀어진 것으로 판단되면, 해당 사용자가 해당 주변 객체 대하여 제2 신체 부위를 전진시키거나 후진시키는 제스처를 행한 것으로 추정할 수 있다.

예를 들면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 사용자를 촬영한 2차원 이미지 내에서 제1 신체 부위와 제2 신체 부위 사이의 거리가 커지는 정도가 소정 수준 이상이거나, 제2 신체 부위와 연결된 팔이 펴지는 정도가 소정 수준 이상이거나, 제2 신체 부위의 포즈가 뻗는 포즈로 변화하는 정도가 소정 수준 이상이면, 제2 신체 부위가 주변 객체에 대하여 가까워진 것으로 판단할 수 있다. 반대로, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 사용자를 촬영한 2차원 이미지 내에서 제1 신체 부위와 제2 신체 부위 사이의 거리가 작아지는 정도가 소정 수준 이상이거나, 제2 신체 부위와 연결된 팔이 접히는 정도가 소정 수준 이상이거나, 제2 신체 부위의 포즈가 접는 포즈로 변화하는 정도가 소정 수준 이상이면, 제2 신체 부위가 주변 객체에 대하여 멀어진 것으로 판단할 수 있다.

한편, 본 발명의 일 실시예에 따르면, 제스처 추정부(120)는, 머신 러닝에 기반하여 학습되는 모델을 이용하여 사용자가 제1 시점 및 제2 시점 사이에 행한 제스처를 추정할 수 있다.

여기서, 본 발명의 일 실시예에 따르면, 위의 학습은 소정의 머신 러닝(machine learning)을 이용하여 수행될 수 있으며, 보다 구체적으로, 인공 신경망 기반의 기계 학습을 이용하여 수행될 수 있다. 예를 들면, 위와 같은 인공 신경망을 구성하기 위하여, 합성곱 신경망(Convolutional Neural Network; CNN), 순환 신경망(Recurrent Neural Network; RNN), 오토 인코더(auto-encoder) 등의 다양한 신경망 알고리즘이 활용될 수 있다.

나아가, 본 발명의 일 실시예에 따르면, 제스처 추정 시스템(100)은, 위와 같이 추정되는 사용자의 제스처를 참조하여 사용자가 의도한 제어 명령을 특정하고 그 제어 명령이 실행되도록 할 수 있다.

한편, 본 발명의 일 실시예에 따른 통신부(130)는 이미지 획득부(110) 및 제스처 추정부(120) 로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.

마지막으로, 본 발명의 일 실시예에 따른 제어부(140)는 이미지 획득부(110), 제스처 추정부(120) 및 통신부(130) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(140)는 제스처 추정 시스템(100)의 외부로부터의/로의 데이터 흐름 또는 제스처 추정 시스템(100)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 이미지 획득부(110), 제스처 추정부(120) 및 통신부(130)에서 각각 고유 기능을 수행하도록 제어할 수 있다.

실시예

도 2 및 도 3은 본 발명의 일 실시예에 따라 2차원 카메라에 대하여 제스처를 행하는 사용자의 모습을 포함하는 2차원 이미지를 예시적으로 나타내는 도면이다.

도 2 및 도 3의 실시예에서, 2차원 카메라(201) 쪽을 바라보고 있는 사용자가 자신의 손가락 끝(221, 222)을 움직임으로써 객체 제어 또는 명령 입력을 위한 제스처를 행하는 경우를 가정할 수 있다.

도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 2차원 카메라(201)에 의해 촬영되는 2차원 이미지(200, 300) 내에서 특정되는 사용자의 눈(211)(즉, 제1 신체 좌표)의 2차원 상대 좌표와 사용자의 손가락 끝(221, 222)(즉, 제2 신체 좌표)의 2차원 상대 좌표를 서로 잇는 직선(232, 233)과 2차원 이미지 내에서 설정되는 기준선(231) 사이의 각도를 사용자의 눈 및 손가락 끝 사이의 위치 관계로서 특정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 2차원 이미지(200, 300) 내에서 설정되는 기준선(231)은, 2차원 이미지(200, 300)의 가로축(또는 세로축)에 의해 특정되는 수평선(또는 수직선)이거나, 2차원 이미지(200, 300) 내에서 사용자의 양안을 잇는 직선과 평행한 직선일 수 있다.

도 2 및 도 3의 실시예에서 확인할 수 있는 바와 같이, 사용자가 자신의 손가락 끝(221, 222)을 2차원 카메라(201)에 대하여 전진시키거나 후진시키는 제스처를 행하는 동안에 2차원 카메라(201)로부터 획득되는 2차원 이미지(200, 300) 내에서 나타나는 사용자의 눈(211) 및 손가락 끝(221, 222) 사이의 상대적인 위치 관계(즉, 앞서 설명된 각도)가 별다른 변화 없이 실질적으로 동일하게 유지된다는 것을 확인할 수 있다. 도 2 및 도 3의 실시예에서는 위의 각도가 약 150도로 유지되는 경우를 가정하였음을 밝혀 둔다.

구체적으로, 도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 2차원 이미지(200, 300) 내에서 나타나는 제1 시점(T1)에서의 사용자의 눈(211) 및 손가락 끝(221) 사이의 위치 관계와 제2 시점(T2)에서의 사용자의 눈(211) 및 손가락 끝(222) 사이의 위치 관계를 비교하여 두 위치 관계가 서로 소정 임계 수준 이하의 차이를 보이는(즉, 실질적으로 동일한) 것으로 판단되면, (1) 제1 시점 및 제2 시점 사이에 사용자가 2차원 카메라(201)에 대하여 손가락 끝(221, 222)을 전진시키거나 후진시키는 제스처를 행했을 가능성과 (2) 제1 시점 및 제2 시점 사이에 사용자가 2차원 카메라(201)와 손가락 끝 사이의 거리를 실질적으로 일정하게 유지한 상태에서 손가락 끝을 평행 이동시키는 제스처를 행했을 가능성이 높다고 추정할 수 있다.

나아가, 도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 제1 시점에서의 사용자의 눈(211) 및 손가락 끝(221) 사이의 위치 관계와 제2 시점에서의 사용자의 눈(211) 및 손가락 끝(222) 사이의 위치 관계가 실질적으로 동일하게 나타나는 경우에, 2차원 이미지(200, 300)로부터 획득되는 문맥 정보를 더 참조하여 사용자의 제스처를 구체적이고도 정확하게 추정할 수 있다.

구체적으로, 위와 같은 경우에, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, (1-1) 2차원 이미지(200) 내에서 사용자의 손(241, 242)의 크기가 커지거나 사용자의 손(241, 242)의 밝기가 밝아지는 등 사용자의 손(241, 242)이 2차원 카메라(201)에 대하여 가까워졌다는 것을 뒷받침하는 문맥 정보가 획득되면, 제1 시점 및 제2 시점 사이에 사용자가 2차원 카메라(201)에 대하여 손가락 끝(221, 222)을 전진시키는 제스처를 행하였다고 추정할 수 있고(도 2 참조), (1-2) 2차원 이미지(300) 내에서 사용자의 손(241, 242)의 크기가 작아지거나 사용자의 손(241, 242)의 밝기가 어두워지는 등 사용자의 손(241, 242)이 2차원 카메라(201)에 대하여 멀어졌다는 것을 뒷받침하는 문맥 정보가 획득되면, 제1 시점 및 제2 시점 사이에 사용자가 2차원 카메라(201)에 대하여 손가락 끝(221, 222)을 후진시키는 제스처를 행하였다고 추정할 수 있고(도 3 참조), (2) 2차원 이미지 내에서 사용자의 손의 크기 및 밝기에 별다른 변화가 나타나지 않는 등 사용자의 손과 2차원 카메라(201) 사이의 거리가 유의미하게 변하지 않았다는 것을 뒷받침하는 문맥 정보가 획득되면, 제1 시점 및 제2 시점 사이에 사용자가 2차원 카메라(201)와 손가락 끝 사이의 거리를 실질적으로 일정하게 유지한 상태에서 손가락 끝을 평행 이동시키는 제스처(즉, 2차원 카메라(201)에 대하여 손가락 끝을 전진시키거나 후진시키는 제스처와는 다른 종류의 제스처)를 행했다고 추정할 수 있다(미도시됨).

한편, 도 4 내지 도 6은 본 발명의 일 실시예에 따라 2차원 카메라에 대하여 제스처를 행하는 사용자의 모습을 포함하는 2차원 이미지를 극 좌표계를 기준으로 하여 예시적으로 나타내는 도면이다.

도 4 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 2차원 카메라(201)로부터 획득되는 2차원 이미지(400, 500, 600) 내에서 특정되는 사용자의 눈(211)(즉, 제1 신체 좌표)을 중심(원점)으로 하여 동적으로 정의되는 극 좌표계에서 특정되는 사용자의 손가락 끝(221, 222)(즉, 제2 신체 좌표)의 2차원 상대 좌표 값을 사용자의 눈(211) 및 손가락 끝(221, 222) 사이의 위치 관계로서 특정할 수 있다. 여기서, 본 발명의 일 실시예에 따르면, 사용자의 손가락 끝의 2차원 상대 좌표 값은, 사용자의 눈(즉, 원점)으로부터 사용자의 손가락 끝까지의 거리를 가리키는 r과 2차원 이미지(400, 500, 600) 내에서 설정되는 기준선에 대한 사용자의 손가락 끝의 방향각 θ로서 특정될 수 있다.

구체적으로, 도 4 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 2차원 이미지(400, 500, 600) 내에서 나타나는 제1 시점(T1)에서의 사용자의 손가락 끝(221)의 2차원 상대 좌표의 방향각과 제2 시점(T2)에서의 사용자의 손가락 끝(222)의 2차원 상대 좌표의 방향각을 비교하여 두 방향각이 서로 소정 임계 수준 이하의 차이를 보이는(즉, 실질적으로 동일한) 것으로 판단되면, (1) 제1 시점 및 제2 시점 사이에 사용자가 2차원 카메라(201)에 대하여 손가락 끝(221, 222)을 전진시키거나 후진시키는 제스처를 행했을 가능성과 (2) 제1 시점 및 제2 시점 사이에 사용자가 2차원 카메라(201)와 손가락 끝(221, 222) 사이의 거리를 실질적으로 일정하게 유지한 상태에서 사용자의 손가락 끝(221)의 2차원 상대 좌표의 방향각에 해당하는 방향으로 손가락 끝(221, 222)을 평행 이동시키는 제스처를 행했을 가능성이 높다고 추정할 수 있다.

나아가, 도 4 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 제1 시점(T1)에서의 사용자의 손가락 끝(221)의 2차원 상대 좌표의 방향각(약 150도)과 제2 시점(T2)에서의 사용자의 손가락 끝(222)의 2차원 상대 좌표의 방향각(약 150도)이 실질적으로 동일하게 나타나는 경우에, 2차원 이미지(400, 500, 600)로부터 획득되는 문맥 정보를 더 참조하여 사용자의 제스처를 구체적이고도 정확하게 추정할 수 있다.

구체적으로, 위와 같은 경우에, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, (1-1) 2차원 이미지(400) 내에서 사용자의 손(241, 242)의 크기가 커지거나 사용자의 손(241, 242)의 밝기가 밝아지는 등 사용자의 손(241, 242)이 2차원 카메라(201)에 대하여 가까워졌다는 것을 뒷받침하는 문맥 정보가 획득되면, 제1 시점 및 제2 시점 사이에 사용자가 2차원 카메라(201)에 대하여 손가락 끝(221, 222)을 전진시키는 제스처를 행하였다고 추정할 수 있고(도 4 참조), (1-2) 2차원 이미지(500) 내에서 사용자의 손(241, 242)의 크기가 작아지거나 사용자의 손(241, 242)의 밝기가 어두워지는 등 사용자의 손(241, 242)이 2차원 카메라(201)에 대하여 멀어졌다는 것을 뒷받침하는 문맥 정보가 획득되면, 제1 시점 및 제2 시점 사이에 사용자가 2차원 카메라(201)에 대하여 손가락 끝(221, 222)을 후진시키는 제스처를 행하였다고 추정할 수 있고(도 5 참조), (2) 2차원 이미지(600) 내에서 사용자의 손의 크기 및 밝기에 별다른 변화가 나타나지 않는 등 사용자의 손과 2차원 카메라(201) 사이의 거리가 유의미하게 변하지 않았다는 것을 뒷받침하는 문맥 정보가 획득되면, 제1 시점 및 제2 시점 사이에 사용자가 2차원 카메라(201)와 손가락 끝 사이의 거리를 실질적으로 일정하게 유지한 상태에서 손가락 끝을 평행 이동시키는 제스처(즉, 2차원 카메라(201)에 대하여 손가락 끝을 전진시키거나 후진시키는 제스처와는 다른 종류의 제스처)를 행했다고 추정할 수 있다(도 6 참조).

도 7은 본 발명의 일 실시예에 따라 사용자가 2차원 카메라에 대하여 자신의 손가락을 전진시키는 제스처를 행하는 모습이 촬영된 2차원 이미지를 예시적으로 나타내는 도면이다.

도 7의 (a)는 제1 시점(T1)에 사용자를 촬영한 2차원 이미지를 나타내고, 도 7의 (b)는 제2 시점(T2)에 사용자를 촬영한 2차원 이미지를 나타낸다.

도 7을 참조하면, 제1 시점으로부터 제2 시점까지 이르는 시간 동안 사용자가 손가락 끝(221)을 앞으로 전진시키는 제스처를 행하는 경우에, 제1 시점에 사용자를 촬영한 2차원 이미지(701)와 제2 시점에 사용자를 촬영한 2차원 이미지(702)를 비교한 결과, 2차원 이미지(701, 702) 내에서 나타나는 사용자의 손(241)에 해당하는 영역의 크기가 커지고 사용자의 손(241)의 밝기가 밝아진 것을 확인할 수 있다.

도 8 및 도 9는 본 발명의 일 실시예에 따라 주변 객체에 대하여 제스처를 행하는 사용자의 모습을 포함하는 2차원 이미지를 예시적으로 나타내는 도면이다.

도 8 및 도 9를 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 2차원 이미지(800, 900) 내에서 나타나는 제1 시점(T1)에서의 사용자의 손가락 끝(221)의 2차원 상대 좌표의 방향각과 제2 시점(T2)에서의 사용자의 손가락 끝(222)의 2차원 상대 좌표의 방향각을 비교하여 두 방향각이 서로 소정 임계 수준 이하의 차이를 보이는(즉, 실질적으로 동일한) 것으로 판단되면, 제1 시점 및 제2 시점 사이에 사용자가 주변 객체(미도시됨)에 대하여 손가락 끝(221, 222)을 전진시키거나 후진시키는 제스처를 행했을 가능성이 높다고 추정할 수 있다.

나아가, 도 8 및 도 9를 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 제1 시점(T1)에서의 사용자의 손가락 끝(221)의 2차원 상대 좌표의 방향각(약 150도)과 제2 시점(T2)에서의 사용자의 손가락 끝(222)의 2차원 상대 좌표의 방향각(약 150도)이 실질적으로 동일하게 나타나는 경우에, 2차원 이미지(800, 900)로부터 획득되는 문맥 정보를 더 참조하여 사용자의 제스처를 구체적이고도 정확하게 추정할 수 있다.

구체적으로, 위와 같은 경우에, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 사용자의 눈(211)과 손가락 끝(221, 222) 사이의 거리 변화, 사용자의 손(241, 242)의 포즈 변화, 사용자의 손(241, 242)과 연결된 팔의 자세 변화 등에 관한 문맥 정보를 참조하여 사용자의 제스처를 추정할 수 있다.

예를 들면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 2차원 이미지(800) 내에서 사용자의 눈(211)과 손가락 끝(221, 222) 사이의 거리가 커지거나 사용자의 손(241, 242)의 포즈가 뻗는 포즈로 변하거나 사용자의 손(241, 242)과 연관된 팔이 펴지는 등 사용자의 손(241, 242)이 주변 객체(미도시됨)에 대하여 가까워졌다는 것을 뒷받침하는 문맥 정보가 획득되면, 제1 시점 및 제2 시점 사이에 사용자가 주변 객체(미도시됨)에 대하여 손가락 끝(221, 222)을 전진시키는 제스처를 행하였다고 추정할 수 있다(도 8 참조).

계속하여 예를 들면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 2차원 이미지 내에서 사용자의 눈(211)과 손가락 끝(221, 222) 사이의 거리가 작아지거나 사용자의 손(241, 242)의 포즈가 접는 포즈로 변하거나 사용자의 손(241, 242)과 연관된 팔이 접히는 등 사용자의 손(241, 242)이 주변 객체(미도시됨)에 대하여 멀어졌다는 것을 뒷받침하는 문맥 정보가 획득되면, 제1 시점 및 제2 시점 사이에 사용자가 주변 객체(미도시됨)에 대하여 손가락 끝(221, 222)을 후진시키는 제스처를 행하였다고 추정할 수 있다.

계속하여 예를 들면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 2차원 이미지(900) 내에서 사용자의 눈(211)과 손가락 끝(221, 222) 사이의 거리, 사용자의 손(241, 242)의 포즈 및 사용자의 손(241, 242)과 연관된 팔이 자세에 변화가 없는 등 사용자의 손(241, 242)과 주변 객체(미도시됨) 사이의 거리에 유의미한 변화가 없다는 것을 뒷받침하는 문맥 정보가 획득되면, 제1 시점 및 제2 시점 사이에 사용자가 주변 객체(미도시됨)에 대하여 손가락 끝(221, 222)을 전진시키거나 후진시키는 제스처와는 다른 종류의 제스처(예를 들면, 주변 객체(미도시됨)와 손가락 끝(221, 222) 사이의 거리를 실질적으로 일정하게 유지한 상태에서 손가락 끝(221, 222)을 평행 이동시키는 제스처 등)를 행했다고 추정할 수 있다(도 9 참조).

도 10은 본 발명의 일 실시예에 따라 사용자가 주변 객체에 대하여 자신의 손가락을 전진시키는 제스처를 행하는 모습이 촬영된 2차원 이미지를 예시적으로 나타내는 도면이다.

도 10의 (a) 내지 (d)에 각각 도시된 2차원 이미지(1001 내지 1004)에는 제1 시점(T1)에 촬영된 사용자의 모습과 제2 시점(T2)에 촬영된 사용자의 모습이 중첩되어 표시되어 있다. 도 10의 실시예에서, 사용자가 제스처를 행하는 대상이 되는 객체(미도시됨)는 사용자를 기준으로 할 때 2차원 카메라 쪽에 위치해 있을 수 있다.

도 10의 (a) 내지 (d)를 참조하면, 제1 시점으로부터 제2 시점까지 이르는 시간 동안 사용자가 손가락 끝(221, 222)을 특정 객체(미도시됨)에 대하여 전진시키는 제스처를 행하는 경우에, 사용자의 눈(211)의 2차원 상대 좌표와 사용자의 손가락 끝(221, 222)의 2차원 상대 좌표 사이의 위치 관계가 실질적으로 동일하게 유지되는 상태에서, 사용자의 손(241, 242)과 연결된 팔이 펴짐에 따라 2차원 이미지(1001 내지 1004) 내에서 나타나는 팔이 상대적으로 더 펴진 것을 확인할 수 있다.

한편, 이상의 실시예에서, 사용자를 촬영한 2차원 이미지에서 나타나는 사용자의 눈 및 손가락 끝 사이의 위치 관계에 관한 정보와 사용자의 눈 및 손 사이의 거리, 사용자의 손의 크기, 포즈, 밝기, 팔(상완 및 전완)의 자세의 변화에 관한 문맥 정보를 참조하여 사용자의 제스처를 추정하는 실시예에 대하여 주로 설명되어 있지만, 본 발명의 실시예가 반드시 이상에서 설명된 바에 한정되는 것이 아님을 밝혀 둔다.

예를 들면, 본 발명의 일 실시예에 따르면, 제스처 추정부(120)는, 복수의 시점에서 사용자를 촬영한 복수의 2차원 이미지에 기초하여 머신 러닝(딥 러닝)을 수행함으로써 사용자 제스처를 추정할 수 있는 소정의 분류 모델 또는 추정 모델을 학습시킬 수 있고, 이렇게 학습된 분류 모델 또는 추정 모델을 이용하여 사용자의 제스처를 추정할 수 있다.

한편, 도 11 내지 도 14는 본 발명의 일 실시예에 따라 주변 객체에 대하여 제스처를 행하는 사용자의 모습을 포함하는 2차원 이미지를 예시적으로 나타내는 도면이다.

도 11 내지 도 14의 실시예에서, 2차원 카메라(201)에 의하여 촬영되고 있는 사용자가 자신의 손가락 끝(221, 222)을 움직임으로써 자신의 주변에 존재하는 객체(270)에 대한 제어 또는 명령 입력을 위한 제스처를 행하는 경우를 가정할 수 있다.

도 11 내지 도 14를 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 사용자가 자신의 손가락 끝(221, 222)을 객체(270)에 대하여 전진시키거나 후진시키는 제스처를 행하는 동안에, 그 모습을 촬영하는 2차원 카메라(201)에 의해 촬영되는 2차원 이미지(1100 및 도 12, 1300 및 도 14) 내에서 나타나는 사용자의 눈(211) 및 손가락 끝(221, 222) 사이 거리, 사용자의 손가락 끝(221, 222)과 연결된 팔의 자세, 사용자의 손가락 끝(221, 222)에 연결된 손의 포즈에서 유의미한 변화가 나타날 수 있고, 이런 변화에 기초하여 결정되는 문맥 정보를 참조하여 사용자의 제스처를 추정할 수 있다.

구체적으로, 도 11 및 도 12를 참조하면, 제1 시점(T1)과 제2 시점(T2) 사이의 시간 동안 사용자가 2차원 카메라(201) 너머에 위치하는 객체(270)에 대하여 자신의 손가락 끝(221, 222)을 전진시키는 제스처를 행하는 경우를 가정할 수 있는데(도 11 참조), 이러한 경우에 사용자가 팔을 뻗어서 손가락 끝(221, 222)을 객체(270) 쪽으로 이동시킴에 따라, 2차원 이미지(1100 및 도 12) 내에서 사용자의 눈(211) 및 손가락 끝(221, 222) 사이 거리가 길어지는 변화가 나타날 수 있고, 사용자의 손가락 끝(221, 222)과 연결된 팔이 펴지는 변화가 나타날 수 있고, 사용자의 손가락 끝(221, 222)에 연결된 손이 접는 포즈에서 뻗는 포즈로 바뀌는 변화가 나타날 수 있다.

계속하여 도 11 및 도 12를 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 위와 같은 변화에 관한 문맥 정보를 참조하여 사용자가 2차원 카메라(201) 너머에 위치하는 객체(270)에 대하여 손가락 끝(221, 222)을 전진시키는 제스처를 행하였다고 추정할 수 있다.

다음으로, 도 13 및 도 14를 참조하면, 제1 시점(T1)과 제2 시점(T2) 사이의 시간 동안 사용자가 자신의 왼쪽에 위치하는 객체(270)에 대하여 자신의 손가락 끝(221, 222)을 전진시키는 제스처를 행하는 경우를 가정할 수 있는데(도 13 참조), 이러한 경우에 사용자가 팔을 뻗어서 손가락 끝(221, 222)을 객체(270) 쪽으로 이동시킴에 따라, 2차원 이미지(1300 및 도 14) 내에서 사용자의 눈(211) 및 손가락 끝(221, 222) 사이 거리가 길어지는 변화가 나타날 수 있고, 사용자의 손가락 끝(221, 222)과 연결된 팔이 펴지는 변화가 나타날 수 있고, 사용자의 손가락 끝(221, 222)에 연결된 손이 접는 포즈에서 뻗는 포즈로 바뀌는 변화가 나타날 수 있다.

계속하여 도 13 및 도 14를 참조하면, 본 발명의 일 실시예에 따른 제스처 추정부(120)는, 위와 같은 변화에 관한 문맥 정보를 참조하여 사용자가 자신의 왼쪽에 위치하는 객체(270)에 대하여 손가락 끝(221, 222)을 전진시키는 제스처를 행하였다고 추정할 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 제스처 추정 시스템
110: 이미지 획득부
120: 제스처 추정부
130: 통신부
140: 제어부

Claims

2차원 이미지로부터 사용자의 제스처를 추정하는 방법으로서,
2차원 카메라로부터 사용자의 신체에 관한 2차원 이미지를 획득하는 단계,
상기 2차원 이미지 내에서 동적으로 정의되는 상대 좌표계에서 상기 사용자의 제1 신체 부위 및 제2 신체 부위 각각에 대응하는 2차원 상대 좌표를 특정하고, 제1 시점(時點)에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계와, 제2 시점(時點)에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계를 비교하는 단계, 및
상기 비교 결과 및 상기 2차원 이미지로부터 획득되는 문맥 정보를 참조하여 상기 사용자가 상기 제1 시점 및 상기 제2 시점 사이에 행한 제스처를 추정하는 단계를 포함하고,
상기 추정 단계에서, 상기 제1 시점에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계와 상기 제2 시점에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계의 차이가 소정 임계 수준 이하인 경우에 상기 문맥 정보를 참조하여 상기 사용자가 상기 제1 시점 및 상기 제2 시점 사이에 행한 제스처를 추정하고,
상기 문맥 정보에는, 2차원 이미지 내에서 나타나는 제1 신체 부위 및 제2 신체 부위 사이 거리의 변화 및 상기 2차원 이미지 내에서 나타나는 상기 제2 신체 부위 또는 상기 제2 신체 부위와 연관된 다른 신체 부위의 크기, 밝기 또는 포즈에서 나타나는 변화 중 적어도 하나에 관한 정보가 포함되는
방법.
제1항에 있어서,
상기 위치 관계는, 상기 2차원 이미지 내에서 상기 제1 신체 부위의 2차원 상대 좌표와 상기 제2 신체 부위의 2차원 상대 좌표를 잇는 직선과 상기 2차원 이미지 내에서 설정되는 기준선 사이의 각도에 의하여 특정되는
방법.
제1항에 있어서,
상기 상대 좌표계는, 상기 2차원 이미지 내에서 상기 제1 신체 부위의 2차원 상대 좌표를 중심으로 하여 동적으로 정의되는 극 좌표계이고,
상기 위치 관계는, 상기 극 좌표계에서 특정되는 상기 제2 신체 부위의 2차원 상대 좌표에 의하여 결정되는
방법.
삭제
제1항에 있어서,
상기 추정 단계에서, 상기 제1 시점에서의 상기 위치 관계와 상기 제2 시점에서의 상기 위치 관계 사이의 차이가 소정 임계 수준 이하이고, 상기 문맥 정보에 기초하여 상기 제1 시점으로부터 상기 제2 시점까지의 시간 동안 상기 제2 신체 부위가 상기 2차원 카메라에 대하여 가까워지거나 멀어지는 것으로 판단되면, 상기 사용자가 상기 2차원 카메라에 대하여 상기 제2 신체 부위를 전진시키거나 후진시키는 제스처를 행한 것으로 추정하는
방법.
제5항에 있어서,
상기 추정 단계에서, 상기 제1 시점으로부터 상기 제2 시점까지의 시간 동안, 상기 2차원 이미지 내에서 나타나는 상기 제2 신체 부위의 크기가 커지는 정도가 소정 수준 이상이거나, 상기 2차원 이미지 내에서 나타나는 상기 제2 신체 부위의 밝기가 밝아지는 정도가 소정 수준 이상이면, 상기 제2 신체 부위가 상기 2차원 카메라에 대하여 가까워진 것으로 판단되는
방법.
제5항에 있어서,
상기 추정 단계에서, 상기 제1 시점으로부터 상기 제2 시점까지의 시간 동안, 상기 2차원 이미지 내에서 나타나는 상기 제2 신체 부위의 크기가 작아지는 정도가 소정 수준 이상이거나, 상기 2차원 이미지 내에서 나타나는 상기 제2 신체 부위의 밝기가 어두워지는 정도가 소정 수준 이상이면, 상기 제2 신체 부위가 상기 2차원 카메라에 대하여 멀어진 것으로 판단되는
방법.
제1항에 있어서,
상기 추정 단계에서, 상기 제1 시점에서의 상기 위치 관계와 상기 제2 시점에서의 상기 위치 관계 사이의 차이가 소정 임계 수준 이하이고, 상기 문맥 정보에 기초하여 상기 제1 시점으로부터 상기 제2 시점까지의 시간 동안 상기 제2 신체 부위가 상기 사용자의 주변에 위치하는 객체에 대하여 가까워지거나 멀어지는 것으로 판단되면, 상기 사용자가 상기 객체에 대하여 상기 제2 신체 부위를 전진시키거나 후진시키는 제스처를 행한 것으로 추정하는
방법.
제8항에 있어서,
상기 추정 단계에서, 상기 제1 시점으로부터 상기 제2 시점까지의 시간 동안, 상기 2차원 이미지 내에서 나타나는 상기 제1 신체 부위와 상기 제2 신체 부위 사이의 거리가 커지는 정도가 소정 수준 이상이거나, 상기 2차원 이미지 내에서 나타나는 상기 사용자의 상기 제2 신체 부위와 연결된 팔이 펴지는 정도가 소정 수준 이상이거나, 상기 2차원 이미지 내에서 나타나는 상기 사용자의 상기 제2 신체 부위의 포즈가 뻗는 포즈로 변화하는 정도가 소정 수준 이상이면, 상기 사용자의 상기 제2 신체 부위가 상기 객체에 대하여 가까워진 것으로 판단되는 방법.
제8항에 있어서,
상기 추정 단계에서, 상기 제1 시점으로부터 상기 제2 시점까지의 시간 동안, 상기 2차원 이미지 내에서 나타나는 상기 제1 신체 부위와 상기 제2 신체 부위 사이의 거리가 작아지는 정도가 소정 수준 이상이거나, 상기 2차원 이미지 내에서 나타나는 상기 사용자의 상기 제2 신체 부위와 연결된 팔이 접히는 정도가 소정 수준 이상이거나, 상기 2차원 이미지 내에서 나타나는 상기 사용자의 상기 제2 신체 부위의 포즈가 접는 포즈로 변화하는 정도가 소정 수준 이상이면, 상기 사용자의 상기 제2 신체 부위가 상기 객체에 대하여 멀어진 것으로 판단되는
방법.
제1항에 있어서,
상기 추정 단계에서, 머신 러닝에 기반하여 학습되는 모델을 이용하여 상기 사용자가 상기 제1 시점 및 상기 제2 시점 사이에 행한 제스처를 추정하는
방법.
제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
2차원 이미지로부터 사용자의 제스처를 추정하는 시스템으로서,
2차원 카메라로부터 사용자의 신체에 관한 2차원 이미지를 획득하는 이미지 획득부, 및
상기 2차원 이미지 내에서 동적으로 정의되는 상대 좌표계에서 상기 사용자의 제1 신체 부위 및 제2 신체 부위 각각에 대응하는 2차원 상대 좌표를 특정하고, 제1 시점(時點)에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계와, 제2 시점(時點)에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계를 비교하고, 상기 비교 결과 및 상기 2차원 이미지로부터 획득되는 문맥 정보를 참조하여 상기 사용자가 상기 제1 시점 및 상기 제2 시점 사이에 행한 제스처를 추정하는 제스처 추정부를 포함하고,
상기 제스처 추정부는, 상기 제1 시점에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계와 상기 제2 시점에서의 상기 제1 신체 부위의 2차원 상대 좌표 및 상기 제2 신체 부위의 2차원 상대 좌표 사이의 위치 관계의 차이가 소정 임계 수준 이하인 경우에 상기 문맥 정보를 참조하여 상기 사용자가 상기 제1 시점 및 상기 제2 시점 사이에 행한 제스처를 추정하고,
상기 문맥 정보에는, 2차원 이미지 내에서 나타나는 제1 신체 부위 및 제2 신체 부위 사이 거리의 변화 및 상기 2차원 이미지 내에서 나타나는 상기 제2 신체 부위 또는 상기 제2 신체 부위와 연관된 다른 신체 부위의 크기, 밝기 또는 포즈에서 나타나는 변화 중 적어도 하나에 관한 정보가 포함되는
시스템.