KR102187525B1

KR102187525B1 - 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치 및 그 동작 방법

Info

Publication number: KR102187525B1
Application number: KR1020180134159A
Authority: KR
Inventors: 안치연; 윤영주; 정우석
Original assignee: 주식회사 한글과컴퓨터
Priority date: 2018-11-05
Filing date: 2018-11-05
Publication date: 2020-12-07
Also published as: KR20200051166A

Abstract

제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치 및 그 동작 방법이 개시된다. 본 발명은 카메라를 통해 촬영된 사용자의 손(hand)이 포함된 이미지를 복수의 영역들로 분할한 후 상기 복수의 영역들 중 상기 사용자의 손이 위치하는 제1 영역을 확인하여 상기 확인된 제1 영역에 대응하는 제어 명령을 실행함으로써, 사용자가 손을 특정 지점에 위치시키는 것만으로 전자 단말 장치를 제어할 수 있도록 지원하는 제스처 인식 기반의 인터페이싱 기술을 제공할 수 있다.

Description

제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치 및 그 동작 방법{ELECTRONIC TERMINAL DEVICE CAPABLE OF EXECUTING A GESTURE RECOGNITION-BASED CONTROL COMMAND AND OPERATING METHOD THEREOF}

본 발명은 카메라를 통해 촬영된 사용자의 제스처 이미지를 분석하여 사용자의 제스처에 대응하는 제어 명령을 실행할 수 있는 전자 단말 장치 및 그 동작 방법에 대한 것이다.

최근, 다양한 전자 단말 장치가 출시됨에 따라 이러한 전자 단말 장치를 인터페이싱하기 위한 다양한 인터페이싱 기술도 등장하고 있다.

최근에 가장 많이 사용되는 인터페이싱 기술로는 터치스크린을 전자 단말 장치에 탑재함으로써, 사용자가 터치 기반의 제스처를 인가하여 전자 단말 장치를 제어할 수 있도록 하는 기술이 존재한다.

이렇게, 전자 단말 장치를 제어하기 위한 다양한 인터페이싱 기술이 도입됨에 따라, 최근에는 별도의 콘트롤러 없이 전자 단말 장치를 제어할 수 있도록 하는 제스처 인식 기반의 인터페이싱 기술의 연구가 활발하게 진행되고 있다.

제스처 인식 기반의 인터페이싱 기술로는 소정의 카메라를 통해 사용자의 제스처를 인식해서 인식된 제스처에 대응하는 제어 명령을 전자 단말 장치에 인가하는 방식이 활용될 수 있다.

이렇게, 별도의 콘트롤러 없이 전자 단말 장치를 제어할 수 있는 제스처 인식 기반의 인터페이싱 기술은 사용자가 몸짓만으로 전자 단말 장치에 소정의 제어 명령을 인가할 수 있다는 점에서, 전자 단말 장치 사용의 편의성을 높일 수 있고, 별도의 콘트롤러 사용이 어려운 VR(Virtual Reality) 기기에서의 활용성이 높다는 점에서 기술에 대한 수요가 점점 증가하고 있는 추세이다.

본 발명은 카메라를 통해 촬영된 사용자의 손(hand)이 포함된 이미지를 복수의 영역들로 분할한 후 상기 복수의 영역들 중 상기 사용자의 손이 위치하는 제1 영역을 확인하여 상기 확인된 제1 영역에 대응하는 제어 명령을 실행함으로써, 사용자가 손을 특정 지점에 위치시키는 것만으로 전자 단말 장치를 제어할 수 있도록 지원하는 제스처 인식 기반의 인터페이싱 기술을 제공하고자 한다.

본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치는 카메라로부터 상기 카메라를 통해 촬영된 사용자의 손(hand)이 포함된 이미지를 수신하는 이미지 수신부, 상기 이미지가 수신되면, 상기 이미지를 미리 정해진 복수의 영역들로 분할하고, 상기 복수의 영역들 각각에 대해 상기 이미지에서의 위치에 기초하여 상기 복수의 영역들 각각을 식별하기 위한 고유 식별자를 할당하는 식별자 할당부, 상기 복수의 영역들 중 손의 색상으로 미리 정해진 화소 값의 범위에 속하는 화소들의 각 영역 내에서의 존재 비율이 미리 정해진 기준 비율을 초과하는 것으로 확인되는 제1 영역을 선별하는 영역 선별부 및 상기 제1 영역이 선별되면, 상기 제1 영역에 할당되어 있는 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 제어 명령을 실행하는 제어 명령 실행부를 포함한다.

또한, 본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법은 카메라로부터 상기 카메라를 통해 촬영된 사용자의 손이 포함된 이미지를 수신하는 단계, 상기 이미지가 수신되면, 상기 이미지를 미리 정해진 복수의 영역들로 분할하고, 상기 복수의 영역들 각각에 대해 상기 이미지에서의 위치에 기초하여 상기 복수의 영역들 각각을 식별하기 위한 고유 식별자를 할당하는 단계, 상기 복수의 영역들 중 손의 색상으로 미리 정해진 화소 값의 범위에 속하는 화소들의 각 영역 내에서의 존재 비율이 미리 정해진 기준 비율을 초과하는 것으로 확인되는 제1 영역을 선별하는 단계 및 상기 제1 영역이 선별되면, 상기 제1 영역에 할당되어 있는 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 제어 명령을 실행하는 단계를 포함한다.

본 발명은 카메라를 통해 촬영된 사용자의 손(hand)이 포함된 이미지를 복수의 영역들로 분할한 후 상기 복수의 영역들 중 상기 사용자의 손이 위치하는 제1 영역을 확인하여 상기 확인된 제1 영역에 대응하는 제어 명령을 실행함으로써, 사용자가 손을 특정 지점에 위치시키는 것만으로 전자 단말 장치를 제어할 수 있도록 지원하는 제스처 인식 기반의 인터페이싱 기술을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법을 도시한 순서도이다.

이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.

한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.

도 1은 본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 구조를 도시한 도면이다.

도 1을 참조하면, 본 발명에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치(110)는 이미지 수신부(111), 식별자 할당부(112), 영역 선별부(113) 및 제어 명령 실행부(114)를 포함한다.

먼저, 전자 단말 장치(110)는 카메라(100)와 연결될 수 있고, 이미지 수신부(111)는 카메라(100)로부터 카메라(100)를 통해 촬영되는 이미지를 수신할 수 있다.

이때, 카메라(100)는 카메라(100)를 통해서 촬영되는 영상을 실시간으로 보여주는 디스플레이 장치(미도시)와도 연결될 수 있고, 상기 디스플레이 장치는 카메라(100)를 통해 촬영되는 영상을 실시간으로 화면 상에 표시할 수 있다.

이때, 상기 디스플레이 장치는 카메라(100)를 통해서 촬영되는 영상에 대해 도 2에 도시된 그림과 같이 복수의 영역들(211, 212, 213, 214)을 구분해서 표시할 수 있으며, 사용자는 자신의 손(hand)을 복수의 영역들(211, 212, 213, 214) 중 어느 하나의 영역에 위치시킴으로써, 전자 단말 장치(110)를 제어하기 위한 소정의 제어 명령을 인가할 수 있다.

이러한 상황 하에서 카메라(100)가 사용자의 손이 포함된 이미지를 촬영함에 따라 카메라(100)를 통해 이미지 수신부(111)에 상기 이미지가 수신되면, 식별자 할당부(112)는 상기 이미지를 미리 정해진 복수의 영역들로 분할하고, 상기 복수의 영역들 각각에 대해 상기 이미지에서의 위치에 기초하여 상기 복수의 영역들 각각을 식별하기 위한 고유 식별자를 할당한다.

이때, 본 발명의 일실시예에 따르면, 식별자 할당부(112)는 상기 복수의 영역들 각각의 상기 이미지에서의 좌측에서 우측 방향으로의 배치 순서에 따른 순번을 상기 복수의 영역들 각각을 식별하기 위한 고유 식별자로 할당할 수 있다.

이렇게, 상기 복수의 영역들에 대해 고유 식별자의 할당이 완료되면, 영역 선별부(113)는 상기 복수의 영역들 중 손의 색상으로 미리 정해진 화소 값의 범위에 속하는 화소들의 각 영역 내에서의 존재 비율이 미리 정해진 기준 비율을 초과하는 것으로 확인되는 제1 영역을 선별할 수 있다.

그리고, 제어 명령 실행부(114)는 상기 제1 영역이 선별되면, 상기 제1 영역에 할당되어 있는 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 제어 명령을 실행한다.

관련해서, 도 2에 도시된 그림을 참조하여 본 발명에 따른 전자 단말 장치(110)의 동작을 예를 들어 설명하면 다음과 같다.

먼저, 사용자가 카메라(100)를 통해 촬영되는 영상을 디스플레이 장치를 통해 보면서 자신의 손을 복수의 영역들(211, 212, 213, 214) 중 영역 1(211) 상에 위치시켰다고 하고, 이러한 상황 하에서 카메라(100)가 이미지를 촬영함에 따라 전자 단말 장치(110)에 수신된 이미지가 도면부호 210으로 표시한 이미지라고 하는 경우, 식별자 할당부(112)는 이미지(210)를 복수의 영역들(211, 212, 213, 214)로 분할할 수 있다.

그러고 나서, 식별자 할당부(112)는 복수의 영역들(211, 212, 213, 214)에 대해 좌측에서 우측 방향으로의 순서에 따른 순번을 고유 식별자로 할당할 수 있다. 구체적으로 식별자 할당부(112)는 영역 1(211)에 대해 '1'이라고 하는 순번을 고유 식별자로 할당할 수 있고, 영역 2(212)에 대해 '2'라고 하는 순번을 고유 식별자로 할당할 수 있으며, 영역 3(213)에 대해 '3'이라고 하는 순번을 고유 식별자로 할당할 수 있고, 영역 4(214)에 대해 '4'라고 하는 순번을 고유 식별자로 할당할 수 있다.

그 이후, 영역 선별부(113)는 복수의 영역들(211, 212, 213, 214) 중 손의 색상으로 미리 정해진 화소 값의 범위에 속하는 화소들의 각 영역 내에서의 존재 비율이 미리 정해진 기준 비율을 초과하는 것으로 확인되는 제1 영역을 선별할 수 있다.

일반적으로 사람의 손은 분홍색 계열의 색상을 가지고 있기 때문에 손의 색상으로 미리 정해진 화소 값 범위는 분홍색 계열의 색상에 대응하는 화소 값 범위가 될 수 있다.

관련해서, 사용자는 자신의 손(220)을 복수의 영역들(211, 212, 213, 214) 중 영역 1(211) 상에 위치시킨 후 카메라(100)를 통해 이미지 촬영을 수행하였기 때문에, 손(220)의 색상으로 미리 정해진 화소 값 범위에 속하는 화소들의 존재 비율이 상기 기준 비율을 초과하는 영역은 복수의 영역들(211, 212, 213, 214) 중 영역 1(211)이 될 것이다.

따라서, 영역 선별부(113)는 이미지(210)를 구성하는 상기 복수의 영역들(211, 212, 213, 214) 중 영역 1(211)을 상기 제1 영역으로 선별할 수 있다.

이렇게, 영역 1(211)이 상기 제1 영역으로 선별되면, 제어 명령 실행부(114)는 영역 1(211)에 할당되어 있는 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 제어 명령을 실행할 수 있다.

예컨대, 영역 1(211)에 할당되어 있는 제1 고유 식별자에 대응하여 미리 규정되어 있는 상기 제1 제어 명령이 전자 단말 장치(110)의 특정 기능을 실행하도록 하는 제어 명령이라고 하는 경우, 제어 명령 실행부(114)는 상기 제1 제어 명령을 실행하여 상기 특정 기능을 실행시킬 수 있다.

결국, 본 발명에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치(110)는 카메라(100)를 통해 촬영된 이미지를 복수의 영역들로 분할하고, 각 영역들의 화소 값을 기초로 사용자의 손에 대응하는 색상을 갖는 화소 값이 포함된 영역을 선별한 후 선별된 영역에 매칭되는 소정의 제어 명령을 실행함으로써, 사용자가 특정 영역에 손을 위치시키는 제스처를 취하는 것만으로 전자 단말 장치(110)를 손쉽게 제어할 수 있도록 지원할 수 있다.

본 발명의 일실시예에 따르면, 제어 명령 실행부(114)는 사용자의 손이 위치하는 것으로 확인되는 영역을 선별하고, 선별된 영역에 대응하는 제어 명령을 실행시키기 위한 구체적인 구성으로, 제어 명령 저장부(115), 랜덤 비트열 생성부(116), 제어 명령 추출부(117) 및 제어 명령 실행 처리부(118)를 포함할 수 있다.

제어 명령 저장부(115)에는 미리 정해진 서로 다른 복수의 해밍 무게(Hamming Weight)들과 상기 복수의 해밍 무게들 각각에 대응하는 미리 정해진 서로 다른 제어 명령이 저장되어 있다.

여기서, 해밍 무게란 '0'과 '1'의 코드로 구성된 데이터에서 '1'의 개수를 의미한다.

이때, 제어 명령 저장부(115)에는 하기의 표 1과 같이 정보가 저장되어 있을 수 있다.

복수의 해밍 무게들	제어 명령
2	제어 명령 1
3	제어 명령 2
4	제어 명령 3
...	...

랜덤 비트열 생성부(116)는 상기 제1 영역이 선별되면, 상기 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 해밍 무게를 가지면서, 미리 정해진 길이를 갖는 제1 랜덤 비트열을 랜덤하게 생성한다.

이때, 본 발명의 일실시예에 따르면, 랜덤 비트열 생성부(116)는 함수 저장부(119), 함수 추출부(120), 결과값 생성부(121) 및 비트열 생성 처리부(122)를 포함할 수 있다.

함수 저장부(119)에는 상기 복수의 영역들 각각에 할당 가능한 복수의 고유 식별자들과 상기 복수의 고유 식별자들 각각에 대한 미리 정해진 서로 다른 확률 질량 함수가 대응되어 저장되어 있다.

여기서 확률 질량 함수란 이산 확률 변수에서 특정 값에 대한 확률을 나타내는 함수를 의미한다.

예컨대, 복수의 영역들 각각에 할당 가능한 복수의 고유 식별자들이 '1, 2, 3, 4'라고 하는 경우, 함수 저장부(119)에는 하기의 표 2와 같이 정보가 저장되어 있을 수 있다.

복수의 고유 식별자들	확률 질량 함수
1	확률 질량 함수 1
2	확률 질량 함수 2
3	확률 질량 함수 3
4	확률 질량 함수 4

함수 추출부(120)는 상기 제1 영역이 선별되면, 함수 저장부(119)로부터 상기 제1 영역에 할당되어 있는 상기 제1 고유 식별자에 대응하는 제1 확률 질량 함수를 추출한다.

결과값 생성부(121)는 상기 제1 확률 질량 함수를 기초로 정보 엔트로피를 연산하고, 상기 정보 엔트로피에 대한 연산 결과값에서 소수점 자리를 버림함으로써 0 이상의 정수에 해당되는 보정 결과값을 생성한다.

정보 엔트로피란 특정 확률을 갖는 사건들에 대한 불확실성 정도를 나타내는 정보량을 수치화한 것을 의미한다. 관련해서, 이산 확률 변수에서 특정 값에 대한 확률을 나타내는 함수인 확률 질량 함수를 p(x)라고 하고, x의 개수가 K개라고 하였을 때, 상기 이산 확률 변수에 대한 정보 엔트로피 H[X]는 하기의 수학식 1과 같이 연산될 수 있다.

관련해서, 결과값 생성부(121)는 상기 제1 확률 질량 함수를 기초로 상기 수학식 1에 따른 연산을 통해 정보 엔트로피를 연산할 수 있고, 상기 정보 엔트로피에 대한 연산 결과값에서 소수점 자리를 버림함으로써, 0 이상의 정수에 해당되는 보정 결과값을 생성할 수 있다. 예컨대, 상기 정보 엔트로피가 '2.4'로 연산되었다고 하는 경우, 결과값 생성부(121)는 소수점 자리를 버림함으로써, '2'라고 하는 보정 결과값을 생성할 수 있다.

비트열 생성 처리부(122)는 상기 보정 결과값을 상기 제1 고유 식별자에 대응하는 상기 제1 해밍 무게로 결정한 후 상기 제1 해밍 무게를 가지면서, 상기 미리 정해진 길이를 갖는 비트열을 랜덤하게 생성함으로써, 상기 제1 랜덤 비트열을 생성한다.

이렇게, 상기 제1 랜덤 비트열이 생성되면, 제어 명령 추출부(117)는 상기 제1 랜덤 비트열에 대한 상기 제1 해밍 무게를 확인한 후 제어 명령 저장부(115)로부터 상기 제1 해밍 무게에 대응되어 저장되어 있는 상기 제1 제어 명령을 추출한다.

제어 명령 실행 처리부(118)는 상기 제1 제어 명령이 추출되면, 상기 제1 제어 명령의 실행을 처리한다.

이하에서는 제어 명령 실행부(114)에 포함된 각 구성의 동작을 예를 들어 상세히 설명하기로 한다.

우선, 제어 명령 저장부(115)에 상기 표 1과 같이 정보가 저장되어 있다고 하고, 함수 저장부(119)에 상기 표 2와 같이 정보가 저장되어 있다고 하며, 카메라(100)로부터 도 2에 도시된 그림과 같은 이미지(210)가 수신됨에 따라 영역 선별부(113)가 손(220)이 존재하는 제1 영역을 선별한 결과, 영역 1(211)이 선별되었다고 하는 경우, 함수 추출부(120)는 표 2와 같은 함수 저장부(119)로부터 영역 1(211)에 할당되어 있는 고유 식별자인 '1'에 대응하는 확률 질량 함수인 확률 질량 함수 1을 추출할 수 있다.

그러고 나서, 결과값 생성부(121)는 상기 확률 질량 함수 1에 대해 상기 수학식 1에 따른 연산을 수행함으로써, 정보 엔트로피를 연산하고, 상기 정보 엔트로피에 대한 연산 결과값에서 소수점 자리를 버림함으로써 0 이상의 정수에 해당되는 보정 결과값을 생성할 수 있다.

만약, 상기 정보 엔트로피가 '3.4'로 연산되었다고 하는 경우, 결과값 생성부(121)는 '3.4'에서 소수점 자리를 버림함으로써, '3'이라고 하는 보정 결과값을 생성할 수 있다.

그 이후, 비트열 생성 처리부(122)는 '3'이라고 하는 보정 결과값을 '1'이라고 하는 고유 식별자에 대응하는 제1 해밍 무게로 결정한 후 상기 제1 해밍 무게를 가지면서 미리 정해진 길이를 갖는 비트열를 랜덤하게 생성함으로써, 제1 랜덤 비트열을 생성할 수 있다.

관련해서, 상기 미리 정해진 길이가 '10'이라고 하는 경우, 비트열 생성 처리부(122)는 소정의 비트열을 랜덤하게 생성함으로써, '1'이라는 코드의 개수가 3개이면서 10비트의 크기를 갖는 '1010100000'이라고 하는 제1 랜덤 비트열을 생성할 수 있다.

이렇게, '1010100000'이라고 하는 제1 랜덤 비트열이 생성되면, 제어 명령 추출부(117)는 상기 제1 랜덤 비트열에 대한 제1 해밍 무게인 '3'을 확인한 후 상기 표 1과 같은 제어 명령 저장부(115)로부터 '3'이라고 하는 제1 해밍 무게에 대응되어 저장되어 있는 제1 제어 명령인 '제어 명령 2'를 추출할 수 있다.

이렇게, '제어 명령 2'가 추출되면, 제어 명령 실행 처리부(118)는 '제어 명령 2'의 실행을 처리함으로써, 전자 단말 장치(110)가 '제어 명령 2'에 따른 동작을 수행하도록 제어할 수 있다.

결국, 본 발명에 따른 전자 단말 장치(110)는 이미지를 구성하는 복수의 영역들 각각에 대해 각 영역에 대응하는 서로 다른 해밍 무게가 연산되도록 하는 확률 질량 함수와 각 해밍 무게에 따른 소정의 제어 명령을 미리 지정해 둔 후 카메라(100)를 통해 촬영된 이미지에서 사용자의 손이 위치하는 제1 영역이 확인되면, 상기 제1 영역에 대응하여 지정되어 있는 확률 질량 함수를 기초로 해밍 무게를 연산하고, 상기 연산된 해밍 무게에 대응하는 제어 명령을 추출하여 실행하는 기술적 구성을 포함함으로써, 사용자의 손이 위치하는 영역에 대응하는 적절한 제어 명령이 전자 단말 장치(110)에서 실행되도록 지원할 수 있다.

본 발명의 일실시예에 따르면, 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치(110)는 제어 명령 실행 취소부(123)를 더 포함할 수 있다.

제어 명령 실행 취소부(123)는 상기 제1 제어 명령이 실행된 이후 미리 정해진 취소 가능 시간 이내에 사용자로부터 제어 명령의 실행 취소를 지시하는 미리 정해진 음성 명령이 인가되면, 상기 음성 명령을 인식하여 상기 제1 제어 명령의 실행을 취소하기 위한 되돌리기 명령을 실행한다.

예컨대, 도 2의 실시예와 같이 사용자가 영역 1(211)에 손(220)을 위치시킴에 따라 전자 단말 장치(110)에서 특정 기능이 실행되도록 하는 제어 명령이 실행된 후, 상기 취소 가능 시간 이내에 상기 사용자로부터 제어 명령의 실행 취소를 지시하는 음성 명령이 인가되는 경우, 제어 명령 실행 취소부(123)는 상기 음성 명령을 인식하여 상기 특정 기능이 실행되기 이전의 상태로 전자 단말 장치(110)를 복원시킬 수 있다.

도 3은 본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법을 도시한 순서도이다.

단계(S310)에서는 카메라로부터 상기 카메라를 통해 촬영된 사용자의 손이 포함된 이미지를 수신한다.

단계(S320)에서는 상기 이미지가 수신되면, 상기 이미지를 미리 정해진 복수의 영역들로 분할하고, 상기 복수의 영역들 각각에 대해 상기 이미지에서의 위치에 기초하여 상기 복수의 영역들 각각을 식별하기 위한 고유 식별자를 할당한다.

단계(S330)에서는 상기 복수의 영역들 중 손의 색상으로 미리 정해진 화소 값의 범위에 속하는 화소들의 각 영역 내에서의 존재 비율이 미리 정해진 기준 비율을 초과하는 것으로 확인되는 제1 영역을 선별한다.

단계(S340)에서는 상기 제1 영역이 선별되면, 상기 제1 영역에 할당되어 있는 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 제어 명령을 실행한다.

이때, 본 발명의 일실시예에 따르면, 단계(S320)에서는 상기 복수의 영역들 각각의 상기 이미지에서의 좌측에서 우측 방향으로의 배치 순서에 따른 순번을 상기 복수의 영역들 각각을 식별하기 위한 고유 식별자로 할당할 수 있다.

또한, 본 발명의 일실시예에 따르면, 단계(S340)에서는 미리 정해진 서로 다른 복수의 해밍 무게들과 상기 복수의 해밍 무게들 각각에 대응하는 미리 정해진 서로 다른 제어 명령이 저장되어 있는 제어 명령 저장부를 유지하는 단계, 상기 제1 영역이 선별되면, 상기 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 해밍 무게를 가지면서, 미리 정해진 길이를 갖는 제1 랜덤 비트열을 랜덤하게 생성하는 단계, 상기 제1 랜덤 비트열이 생성되면, 상기 제1 랜덤 비트열에 대한 상기 제1 해밍 무게를 확인한 후 상기 제어 명령 저장부로부터 상기 제1 해밍 무게에 대응되어 저장되어 있는 상기 제1 제어 명령을 추출하는 단계 및 상기 제1 제어 명령이 추출되면, 상기 제1 제어 명령의 실행을 처리하는 단계를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 랜덤하게 생성하는 단계는 상기 복수의 영역들 각각에 할당 가능한 복수의 고유 식별자들과 상기 복수의 고유 식별자들 각각에 대한 미리 정해진 서로 다른 확률 질량 함수가 대응되어 저장되어 있는 함수 저장부를 유지하는 단계, 상기 제1 영역이 선별되면, 상기 함수 저장부로부터 상기 제1 영역에 할당되어 있는 상기 제1 고유 식별자에 대응하는 제1 확률 질량 함수를 추출하는 단계, 상기 제1 확률 질량 함수를 기초로 정보 엔트로피를 연산하고, 상기 정보 엔트로피에 대한 연산 결과값에서 소수점 자리를 버림함으로써 0 이상의 정수에 해당되는 보정 결과값을 생성하는 단계 및 상기 보정 결과값을 상기 제1 고유 식별자에 대응하는 상기 제1 해밍 무게로 결정한 후 상기 제1 해밍 무게를 가지면서, 상기 미리 정해진 길이를 갖는 비트열을 랜덤하게 생성함으로써, 상기 제1 랜덤 비트열을 생성하는 단계를 포함할 수 있다.

또한, 본 발명의 일실시예에 따르면, 상기 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법은 상기 제1 제어 명령이 실행된 이후 미리 정해진 취소 가능 시간 이내에 사용자로부터 제어 명령의 실행 취소를 지시하는 미리 정해진 음성 명령이 인가되면, 상기 음성 명령을 인식하여 상기 제1 제어 명령의 실행을 취소하기 위한 되돌리기 명령을 실행하는 단계를 더 포함할 수 있다.

이상, 도 3을 참조하여 본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법은 도 1 내지 도 2를 이용하여 설명한 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.

본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.

또한, 본 발명의 일실시예에 따른 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100: 카메라
110: 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치
111: 이미지 수신부 112: 식별자 할당부
113: 영역 선별부 114: 제어 명령 실행부
115: 제어 명령 저장부 116: 랜덤 비트열 생성부
117: 제어 명령 추출부 118: 제어 명령 실행 처리부
119: 함수 저장부 120: 함수 추출부
121: 결과값 생성부 122: 비트열 생성 처리부
123: 제어 명령 실행 취소부

Claims

카메라로부터 상기 카메라를 통해 촬영된 사용자의 손(hand)이 포함된 이미지를 수신하는 이미지 수신부;
상기 이미지가 수신되면, 상기 이미지를 미리 정해진 복수의 영역들로 분할하고, 상기 복수의 영역들 각각에 대해 상기 이미지에서의 위치에 기초하여 상기 복수의 영역들 각각을 식별하기 위한 고유 식별자를 할당하는 식별자 할당부;
상기 복수의 영역들 중 손의 색상으로 미리 정해진 화소 값의 범위에 속하는 화소들의 각 영역 내에서의 존재 비율이 미리 정해진 기준 비율을 초과하는 것으로 확인되는 제1 영역을 선별하는 영역 선별부; 및
상기 제1 영역이 선별되면, 상기 제1 영역에 할당되어 있는 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 제어 명령을 실행하는 제어 명령 실행부
를 포함하고,
상기 제어 명령 실행부는
미리 정해진 서로 다른 복수의 해밍 무게(Hamming Weight)들과 상기 복수의 해밍 무게들 각각에 대응하는 미리 정해진 서로 다른 제어 명령이 저장되어 있는 제어 명령 저장부;
상기 제1 영역이 선별되면, 상기 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 해밍 무게를 가지면서, 미리 정해진 길이를 갖는 제1 랜덤 비트열을 랜덤하게 생성하는 랜덤 비트열 생성부;
상기 제1 랜덤 비트열이 생성되면, 상기 제1 랜덤 비트열에 대한 상기 제1 해밍 무게를 확인한 후 상기 제어 명령 저장부로부터 상기 제1 해밍 무게에 대응되어 저장되어 있는 상기 제1 제어 명령을 추출하는 제어 명령 추출부; 및
상기 제1 제어 명령이 추출되면, 상기 제1 제어 명령의 실행을 처리하는 제어 명령 실행 처리부
를 포함하는 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치.
제1항에 있어서,
상기 식별자 할당부는
상기 복수의 영역들 각각의 상기 이미지에서의 좌측에서 우측 방향으로의 배치 순서에 따른 순번을 상기 복수의 영역들 각각을 식별하기 위한 고유 식별자로 할당하는 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치.
삭제
제1항에 있어서,
상기 랜덤 비트열 생성부는
상기 복수의 영역들 각각에 할당 가능한 복수의 고유 식별자들과 상기 복수의 고유 식별자들 각각에 대한 미리 정해진 서로 다른 확률 질량 함수가 대응되어 저장되어 있는 함수 저장부;
상기 제1 영역이 선별되면, 상기 함수 저장부로부터 상기 제1 영역에 할당되어 있는 상기 제1 고유 식별자에 대응하는 제1 확률 질량 함수를 추출하는 함수 추출부;
상기 제1 확률 질량 함수를 기초로 정보 엔트로피를 연산하고, 상기 정보 엔트로피에 대한 연산 결과값에서 소수점 자리를 버림함으로써 0 이상의 정수에 해당되는 보정 결과값을 생성하는 결과값 생성부; 및
상기 보정 결과값을 상기 제1 고유 식별자에 대응하는 상기 제1 해밍 무게로 결정한 후 상기 제1 해밍 무게를 가지면서, 상기 미리 정해진 길이를 갖는 비트열을 랜덤하게 생성함으로써, 상기 제1 랜덤 비트열을 생성하는 비트열 생성 처리부
를 포함하는 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치.
제1항에 있어서,
상기 제1 제어 명령이 실행된 이후 미리 정해진 취소 가능 시간 이내에 사용자로부터 제어 명령의 실행 취소를 지시하는 미리 정해진 음성 명령이 인가되면, 상기 음성 명령을 인식하여 상기 제1 제어 명령의 실행을 취소하기 위한 되돌리기 명령을 실행하는 제어 명령 실행 취소부
를 더 포함하는 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치.
카메라로부터 상기 카메라를 통해 촬영된 사용자의 손(hand)이 포함된 이미지를 수신하는 단계;
상기 이미지가 수신되면, 상기 이미지를 미리 정해진 복수의 영역들로 분할하고, 상기 복수의 영역들 각각에 대해 상기 이미지에서의 위치에 기초하여 상기 복수의 영역들 각각을 식별하기 위한 고유 식별자를 할당하는 단계;
상기 복수의 영역들 중 손의 색상으로 미리 정해진 화소 값의 범위에 속하는 화소들의 각 영역 내에서의 존재 비율이 미리 정해진 기준 비율을 초과하는 것으로 확인되는 제1 영역을 선별하는 단계; 및
상기 제1 영역이 선별되면, 상기 제1 영역에 할당되어 있는 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 제어 명령을 실행하는 단계
를 포함하고,
상기 제1 제어 명령을 실행하는 단계는
미리 정해진 서로 다른 복수의 해밍 무게(Hamming Weight)들과 상기 복수의 해밍 무게들 각각에 대응하는 미리 정해진 서로 다른 제어 명령이 저장되어 있는 제어 명령 저장부를 유지하는 단계;
상기 제1 영역이 선별되면, 상기 제1 고유 식별자에 대응하여 미리 규정되어 있는 제1 해밍 무게를 가지면서, 미리 정해진 길이를 갖는 제1 랜덤 비트열을 랜덤하게 생성하는 단계;
상기 제1 랜덤 비트열이 생성되면, 상기 제1 랜덤 비트열에 대한 상기 제1 해밍 무게를 확인한 후 상기 제어 명령 저장부로부터 상기 제1 해밍 무게에 대응되어 저장되어 있는 상기 제1 제어 명령을 추출하는 단계; 및
상기 제1 제어 명령이 추출되면, 상기 제1 제어 명령의 실행을 처리하는 단계
를 포함하는 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법.
제6항에 있어서,
상기 고유 식별자를 할당하는 단계는
상기 복수의 영역들 각각의 상기 이미지에서의 좌측에서 우측 방향으로의 배치 순서에 따른 순번을 상기 복수의 영역들 각각을 식별하기 위한 고유 식별자로 할당하는 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법.
삭제
제6항에 있어서,
상기 랜덤하게 생성하는 단계는
상기 복수의 영역들 각각에 할당 가능한 복수의 고유 식별자들과 상기 복수의 고유 식별자들 각각에 대한 미리 정해진 서로 다른 확률 질량 함수가 대응되어 저장되어 있는 함수 저장부를 유지하는 단계;
상기 제1 영역이 선별되면, 상기 함수 저장부로부터 상기 제1 영역에 할당되어 있는 상기 제1 고유 식별자에 대응하는 제1 확률 질량 함수를 추출하는 단계;
상기 제1 확률 질량 함수를 기초로 정보 엔트로피를 연산하고, 상기 정보 엔트로피에 대한 연산 결과값에서 소수점 자리를 버림함으로써 0 이상의 정수에 해당되는 보정 결과값을 생성하는 단계; 및
상기 보정 결과값을 상기 제1 고유 식별자에 대응하는 상기 제1 해밍 무게로 결정한 후 상기 제1 해밍 무게를 가지면서, 상기 미리 정해진 길이를 갖는 비트열을 랜덤하게 생성함으로써, 상기 제1 랜덤 비트열을 생성하는 단계
를 포함하는 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법.
제6항에 있어서,
상기 제1 제어 명령이 실행된 이후 미리 정해진 취소 가능 시간 이내에 사용자로부터 제어 명령의 실행 취소를 지시하는 미리 정해진 음성 명령이 인가되면, 상기 음성 명령을 인식하여 상기 제1 제어 명령의 실행을 취소하기 위한 되돌리기 명령을 실행하는 단계
를 더 포함하는 제스처 인식 기반의 제어 명령의 실행이 가능한 전자 단말 장치의 동작 방법.
제6항, 제7항, 제9항 또는 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
제6항, 제7항, 제9항 또는 제10항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.