KR102438736B1 - 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법 - Google Patents
제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법 Download PDFInfo
- Publication number
- KR102438736B1 KR102438736B1 KR1020200172706A KR20200172706A KR102438736B1 KR 102438736 B1 KR102438736 B1 KR 102438736B1 KR 1020200172706 A KR1020200172706 A KR 1020200172706A KR 20200172706 A KR20200172706 A KR 20200172706A KR 102438736 B1 KR102438736 B1 KR 102438736B1
- Authority
- KR
- South Korea
- Prior art keywords
- shape
- information
- multimedia device
- finger
- pattern
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템은 영상 및 음성 중 선택된 적어도 어느 하나 이상을 출력하도록 구비되는 멀티미디어 장치(100)와; 사용자의 제스처를 나타내는 형상 정보인 형상 정보를 적어도 하나 이상 수집하도록 마련되는 영상 수집부(200)와; 상기 형상 정보로부터, 사용자의 손이 나타내는 형상의 위치점을 포함하는 정보인 형상 정보를 생성하는 형상 정보 생성 모듈을 포함하면서, 상기 형상 정보의 분류를 패턴별로 진행한 이후, 패턴별로 분류된 상기 형상 정보를 기반으로 상기 멀티미디어 장치를 제어하는 정보인 제어 정보를 생성하도록 마련되는 서비스 서버(300); 및 상기 형상 정보를 패턴별로 분류를 진행하기 위한 정보인 적어도 하나 이상의 기준 패턴 정보가 입력되도록 마련되면서, 상기 멀티미디어 장치를 제어하는 제어 기준을 나타내는 정보인 기준 패턴 정보를 적어도 하나 이상 입력받아, 상기 서비스 서버 측으로 전송하도록 구비되는 모델 생성 장치(400);를 포함하는 것을 특징으로 한다.
Description
본 발명은 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법에 관한 것으로, 보다 상세하게는, 디스플레이를 포함하는 각종 멀티미디어 장치에 대한 제어를 사용자가 접촉하지 않고도 제어할 수 있도록 구축되는 제어 시스템 및 기기 제어 방법에 관한 것이다.
인간-기계 상호작용 영역에서, 디바이스 컨트롤러는 인간 사용자와 하드웨어 플랫폼 사이의 인터페이스로서 다년간 사용되어 왔다. 이러한 인터페이스를 통해, 사용자는 명령에 따라 액션을 수신하고, 처리하고 실행하기 위한 수단을 갖는 컴퓨터화된 시스템에 명령을 제공할 수 있었다. 디바이스 컨트롤러는 유선 또는 무선일 수 있고 컴퓨터용 마우스 장치, 컴퓨터 키보드, TV 리모트 컨트롤러, 게임 컨트롤러, 패드, 가상 현실 글로브등을 포함할 수 있다. 이러한 디바이스 컨트롤러 시스템 모두는 예를 들어, 트리거 버튼, 다방향 패드, 관성 센서 유닛등과 같은 공지된 감지 장치를 사용하는 하나의 공통 사양을 공유하고 있다.
또한, 가전 영역은 물론 가상 현실 영역에서의 기술의 발전으로 인해, 이러한 장치들 또는 이들의 조합을 사용하는 다수의 시스템이 개발되었다. 특히, 가상 현실 환경으로의 몰입을 향상시키거나 컴퓨터화된 시스템과의 상호작용을 위한 사용자 경험을 향상시키기 위해 사용자가 디바이스 컨트롤러를 휴대하거나, 착용하거나 다루는 것은 필수가 되었다.
그러나 이러한 방법은 사용자로 하여금 별도의 컨트롤러를 착용하여야만 사용할 수 있도록 구성되었음에 따라, 사용자의 움직임에 있어 불편함을 느끼게 하는 문제점이 존재하였으며, 상기 컨트롤러의 착용에 의해, 사용자가 원하는 제스처의 정확한 구현이 어려움에 따른 명령어 생성시의 정확도 또한 다소 떨어지는 문제점 또한 존재하였다.
본 발명은 상술한 문제점을 해결하기 위한 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법을 제공하는 것이다.
보다 상세하게는, 사용자가 파지하거나 장착하여야 하는 별도의 컨트롤러를 구비하지 않고도 상기 멀티미디어 장치의 제어를 간편하게 제어할 수 있어 보다 향상된 사용 편의성을 제공할 수 있는 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템은 영상 및 음성 중 선택된 적어도 어느 하나 이상을 출력하도록 구비되는 멀티미디어 장치(100)와; 사용자의 제스처를 나타내는 형상 정보를 적어도 하나 이상 수집하도록 마련되는 영상 수집부(200)와; 상기 형상 정보로부터, 사용자의 손이 나타내는 형상 및 적어도 하나 이상의 관절 위치점을 포함하는 정보인 형상 정보를 생성하는 형상 정보 생성 모듈을 포함하면서, 상기 형상 정보의 분류를 패턴별로 진행한 이후, 패턴별로 분류된 상기 형상 정보를 기반으로 상기 멀티미디어 장치를 제어하는 정보인 제어 정보를 생성하도록 마련되는 제어부를 포함하는 서비스 서버(300); 및 상기 형상 정보를 패턴별로 분류를 진행하기 위한 정보인 적어도 하나 이상의 기준 패턴 정보가 입력되도록 마련되면서, 상기 멀티미디어 장치를 제어하는 제어 기준을 나타내는 정보인 기준 패턴 정보를 적어도 하나 이상 입력받고, 상기 기준 패턴 정보를 수집하여 상기 형상 정보를 판단하는 신경망 모델을 생성하여 상기 서비스 서버 측으로 전송하도록 구비되는 모델 생성 장치(400);를 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 서비스 서버는, 상기 형상 정보를 분류하도록 구비되며, 기계 학습을 진행하여 상기 형상 정보를 분류하도록 구비되는 형상 정보 분류 모듈과; 상기 형상 정보 분류 모듈을 통해 분류된 형상 정보를 상기 기준 패턴 정보와 매칭하여 상기 멀티미디어 장치를 제어하는 정보인 제어 정보를 생성하도록 구비되는 제어 정보 생성 모듈; 및 상기 형상 정보를 구성하는 상기 사용자 손 형상의 단부 위치점 및 관절 위치점 중 선택된 어느 하나 이상의 위치점을 트래킹한 정보인 커서를 생성하는 커서 생성 모듈;을 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 기준 패턴 정보는, 상기 제어 정보를 생성하기 위해, 적어도 하나 이상의 손가락 형상, 손바닥 형상, 손등 형상, 손등 형상의 인식 면적, 손바닥 형상의 인식 면적 및 손가락 형상의 단부가 향하는 방향 중 선택된 적어도 어느 하나 이상의 형상을 포함하고, 상기 손가락 형상은 엄지, 검지, 중지, 약지, 소지 중 선택된 적어도 어느 하나 이상의 형상을 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 제어 정보는, 상기 커서를 생성하여 출력하도록 하면서, 상기 커서를 통해, 상기 멀티미디어 장치에 출력되는 임의의 요소에 대한 선택을 진행하는 명령어인 제 1 명령어를 포함하고, 상기 기준 패턴 정보는, 상기 제 1 명령어와 매칭되는 제 1 기준 패턴 정보를 포함하고, 상기 제 1 기준 패턴 정보는, 상기 손가락 형상 중 엄지 형상과 검지 형상이 소정방향으로 연장된 상태를 나타내는 패턴인 커서 출력 패턴과; 상기 적어도 하나 이상의 손가락 형상 중, 엄지 형상의 단부 위치가 이웃한 중지 형상 위치측으로 이동된 이후, 상기 엄지 형상이 원위치 되는 패턴인 제 1 클릭 패턴; 및 상기 적어도 하나 이상의 손가락 형상 중 엄지 형상의 위치가 중지 형상 측으로 이동되고 기설정된 시간 경과 이후 상기 엄지 형상이 원위치 되는 패턴인 제 2 클릭 패턴;을 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 제어 정보는, 상기 멀티미디어 장치의 제어를 시작하도록 진행되는 시작 신호 및 상기 멀티미디어 장치를 제어하기 위한 복수의 명령어를 확정하여 실행하는 선택 확정 신호 중 선택된 어느 하나 이상을 포함하는 제 2 명령어를 포함하고, 상기 기준 패턴 정보는, 상기 제 2 명령어와 매칭되는 제 2 기준 패턴 정보를 포함하고, 상기 제 2 기준 패턴 정보는, 상기 손가락 형상, 상기 손바닥 형상 및 상기 손등 형상 중 선택된 적어도 어느 하나 이상의 형상을 포함하며, 상기 손가락 형상을 구성하는 모든 손가락이 펼쳐진 형상을 보유하는 제 1 명령 패턴; 및 상기 손가락 형상, 상기 손바닥 형상 및 상기 손등 형상 중 선택된 적어도 어느 하나 이상의 형상을 포함하며, 상기 손가락 형상을 구성하는 모든 손가락이 접혀진 형상을 보유하는 제 2 명령 패턴;을 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 제어 정보는, 상기 멀티미디어 장치의 메뉴 출력 신호, 평가 신호, 취소 신호, 이동 신호 중 선택된 적어도 어느 하나 이상의 신호로 구성되는 제 3 명령어를 포함하고, 상기 기준 패턴 정보는, 상기 손가락 형상, 상기 손바닥 형상 및 상기 손등 형상 중 선택된 적어도 어느 하나 이상의 형상을 포함하며, 상기 제 3 명령어와 매칭되도록 생성되는 제 3 기준 패턴 정보;를 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 제어 정보는, 상기 멀티미디어 장치에 숫자, 문자 및 도형 중 선택된 적어도 어느 하나 이상의 요소를 입력하기 위한 입력 신호로 구성되는 제 4 명령어를 포함하고, 상기 기준 패턴 정보는, 상기 손가락 형상, 상기 손바닥 형상 및 상기 손등 형상 중 선택된 적어도 어느 하나 이상의 형상을 포함하며, 상기 제 4 명령어와 매칭되도록 생성되는 제 4 기준 패턴 정보;를 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 제 4 기준 패턴 정보는, 상기 손바닥 형상이 인식되는 패턴인 경우, 0 내지 5 까지의 숫자 중 선택된 어느 하나의 제 4 명령어와 대응되는 것을 특징으로 하고, 상기 손등 형상이 인식되는 패턴인 경우, 6 내지 9 까지의 숫자 중 선택된 어느 하나의 제 4 명령어와 대응되는 것을 특징으로 한다.
보다 상세하게는, 상기 서비스 서버는, 상기 커서 생성 모듈에 의해 생성되는 커서의 이동 경로 정확도 향상을 위해, 상기 커서의 이동 거리를 변경하여 상기 멀티미디어 장치 측으로 출력하도록 마련되는 변경 출력 모듈;을 더 포함하고, 상기 커서는, 상기 멀티미디어 장치에 출력되는 커서의 이동거리가 상기 형상 정보를 구성하는 위치점의 이동거리보다 길거나 같은 것을 특징으로 한다.
보다 상세하게는, 상기 서비스 서버는, 형상 정보의 인식 시간을 기준으로 가중치를 설정하며, 가장 장시간 인식된 형상 정보를 기반으로 상기 제어 정보를 확정하는 가중치 설정 모듈;을 더 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 서비스 서버는, 상기 형상 정보를 시각화한 제스처 시각화 영상을 생성하여 상기 멀티미디어 장치 측으로 전송하여 출력하도록 구비되는 시각화 영상 생성모듈;을 포함하는 것을 특징으로 한다.
본 발명의 비접촉 멀티미디어 장치 제어 시스템을 이용한 비접촉 멀티 미디어 기기 제어 방법은, 멀티미디어 장치, 영상 수집부, 서비스 서버 및 적어도 하나 이상의 기준 패턴 정보를 입력받아 신경망 모델을 생성하는 모델 생성 장치를 포함하는 비접촉 멀티미디어 장치 제어 시스템을 이용한 비접촉 멀티 미디어 기기 제어 방법에 있어서, 상기 비접촉 멀티 미디어 기기 제어 방법은, 상기 영상 수집부를 통해, 사용자의 제스처를 나타내는 정보인 형상 정보를 적어도 하나 이상 취득하는 형상 정보 취득 단계(S100)와; 상기 모델 생성 장치를 통해 수집되며, 손가락 형상, 손바닥 형상 및 손등 형상 중 선택된 적어도 어느 하나 이상으로 구성되는 형상을 포함하는 적어도 하나 이상의 기준 패턴 정보를 분류 기준으로 하여 상기 형상 정보를 분류하면서, 상기 분류 기준을 학습하여 상기 형상 정보의 분류를 진행하는 형상 정보 분류 단계(S200)와; 상기 형상 정보 분류 단계 이후, 상기 서비스 서버에서, 상기 형상 정보와 대응되는 기준 패턴 정보의 종류를 판단하도록 진행되는 패턴 판단 단계를 포함하면서, 상기 형상 정보와 상기 기준 패턴 정보를 매칭한 정보인 제어 정보를 생성하는 제어 정보 생성 단계(S300); 및 상기 제어 정보를 기반으로 상기 멀티미디어 장치의 제어를 진행하는 기기 제어 단계(S400);를 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 패턴 판단 단계는, 상기 형상 정보와 매칭되는 기준 패턴이 상기 멀티미디어 장치에 커서를 출력하는 패턴인지의 유무를 판단하고, 상기 제어 정보 생성 단계는, 상기 기기 제어 단계 이전에, 상기 패턴 판단 단계에서 상기 형상 정보가, 사용자 손 형상의 관절 위치점 중 선택된 어느 하나 이상의 관절 위치점을 트래킹한 커서를 출력하는 제 1 기준 패턴 정보인 것으로 판단되는 경우, 상기 커서를 생성하는 제 1 제어 정보 확정 단계;를 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 기기 제어 단계는, 상기 제 1 제어 정보 확정 단계 이후, 상기 멀티미디어 장치 측으로 커서를 출력하되, 상기 커서의 이동 거리를 변경하며, 상기 커서의 이동거리가 상기 형상 정보를 구성하는 위치점의 이동거리보다 길거나 같도록 출력하는 변경 출력 단계;를 더 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 패턴 판단 단계는, 상기 형상 정보와 매칭되는 기준 패턴이 상기 멀티미디어 장치에 커서를 출력하는 패턴인지의 유무를 판단하고, 상기 제어 정보 생성 단계는, 상기 기기 제어 단계 이전에, 상기 패턴 판단 단계에서, 상기 형상 정보가 상기 형상 정보를 구성하는 사용자 손 형상의 관절 위치점 중 선택된 어느 하나 이상의 관절 위치점을 트래킹한 커서를 호출하는 제 1 기준 패턴 정보가 아닌 것으로 판단하는 경우에 진행되는 제 2 제어 정보 확정 단계;를 포함하는 것을 특징으로 한다.
보다 상세하게는, 상기 제 2 제어 정보 확정 단계는, 상기 멀티미디어 장치의 제어를 시작하도록 진행되는 시작 신호, 상기 멀티미디어 장치를 제어하기 위한 복수의 명령어를 확정하여 실행하도록 하는 선택 확정 신호, 상기 멀티미디어 장치의 메뉴 출력 신호, 평가 신호, 취소 신호, 이동 신호 및 숫자, 문자 및 도형 중 선택된 적어도 어느 하나 이상의 요소를 입력하기 위한 입력 신호 중 선택된 적어도 어느 하나 이상의 신호를 포함하는 명령어를 기반으로 제어 정보를 생성하는 것을 특징으로 한다.
보다 상세하게는, 상기 제어 정보 생성 단계는, 소정 시간 동안 상기 형상 정보를 적어도 하나 이상 취득하는 형상 정보 인식 단계와; 상기 형상 정보 인식 단계에서 인식된 적어도 하나 이상의 상기 형상 정보에 대해, 인식 시간을 기준으로 가중치를 부여하는 가중치 설정 단계; 및 상기 가중치 설정 단계에서 가장 높은 가중치가 부여된 형상 정보와 상기 기준 패턴 정보를 상호 매칭하는 매칭 단계;를 포함하는 것을 특징으로 한다.
본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법은, 영상 수집부를 통해, 사용자의 제스처를 인식하고 이를 기반으로 멀티미디어 장치의 제어를 진행하도록 함으로써, 별도의 컨트롤러를 구비하지 않고도 상기 멀티미디어 장치의 제어를 간편하게 제어할 수 있어 보다 향상된 사용 편의성을 제공할 수 있다.
덧붙여, 멀티미디어 장치에 대한 접촉을 진행하지 않고도 상기 멀티미디어 장치의 제어를 진행할 수 있도록 구성됨에 따라, 접촉에 의해 발생할 수 있는 감염병 또한 예방가능한 효과를 제공할 수 있다.
그리고, 기계 학습을 통해 형상 정보의 분류를 진행하도록 함으로써, 관리자가 개별적인 형상 정보 분류 기준을 직접 입력하지 않고, 최소한의 형상 정보 분류 기준 만을 입력하더라도 형상 정보에 대한 분류를 명확하게 진행할 수 있도록 함에 따라, 작동 신뢰성의 향상을 기대할 수 있다.
커서 생성 모듈을 통해, 커서의 생성을 진행할 수 있도록 함으로써, 별도의 마우스 컨트롤러를 구비하지 않고도, 사용자의 손만으로도 마우스의 동작을 모사할 수 있음에 따라 보다 향상된 멀티미디어 장치의 제어 편의성을 확보할 수 있다.
또한, 손가락 및 손바닥 뿐만 아니라, 손등의 형상까지 기준 패턴 정보로써 설정할 수 있도록 함으로써, 한 손 만으로도 다양한 제어를 진행할 수 있어, 보다 향상된 사용 편의성을 제공할 수 있다.
그리고, 손등, 손바닥의 인식 면적과, 손가락의 단부 방향 중 선택된 어느 하나 이상의 요소를 조합하여 다양한 제어 명령 패턴을 생성할 수 있어, 보다 향상된 사용 편의성을 제공할 수 있다.
또한, 커서의 출력을 진행하도록 함으로써, 사용자의 현재 손 위치를 보다 명확하게 파악할 수 있도록 보조할 수 있으며, 이를 통해 제어 정확도를 현저히 향상시킬 수 있는 효과를 제공 가능하다.
그리고, 단순한 동작만으로도 마우스 컨트롤러의 동작을 모사할 수 있도록 함으로써, 멀티미디어 장치에 대해, 보다 직관적인 제어를 진행할 수 있는 효과를 제공할 수 있다.
그리고, 사용자의 동작 반경을 줄일 수 있도록 함으로써, 대형 스크린에 대한 제어 진행 시에도 보다 간편한 제어를 진행할 수 있어, 보다 향상된 사용 편의성을 확보할 수 있다.
덧붙여, 별도로 형성되는 시각화 출력 섹션(VS) 내에서 시각화 영상의 출력을 진행하도록 함으로써, 사용자의 현재 손 형상을 보다 명확하게 파악할 수 있도록 보조할 수 있으며, 이를 통해 제스처를 기반으로 하는 제어 정확도를 현저히 향상시킬 수 있는 효과를 제공 가능하다.
도 1은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템의 전체 구성을 도식화한 예시도이다.
도 2는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템을 구성하는 서비스 서버를 도식화한 블록선도이다.
도 3은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템의 사용 상태도이다.
도 4는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템의 사용 상태도이다.
도 5는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템을 통해 생성되는 제 1 기준 패턴 정보를 도식화한 예시도이다.
도 6은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템을 통해 생성되는 기준 패턴 정보들을 도식화한 예시도이다.
도 7은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 방법의 진행 순서를 도식화한 블록 순서도이다.
도 8은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 방법의 진행 순서를 도식화한 블록 순서도이다.
도 9는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 방법의 진행 순서를 도식화한 플로우 차트이다.
도 2는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템을 구성하는 서비스 서버를 도식화한 블록선도이다.
도 3은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템의 사용 상태도이다.
도 4는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템의 사용 상태도이다.
도 5는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템을 통해 생성되는 제 1 기준 패턴 정보를 도식화한 예시도이다.
도 6은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템을 통해 생성되는 기준 패턴 정보들을 도식화한 예시도이다.
도 7은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 방법의 진행 순서를 도식화한 블록 순서도이다.
도 8은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 방법의 진행 순서를 도식화한 블록 순서도이다.
도 9는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 방법의 진행 순서를 도식화한 플로우 차트이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
또한, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 이외의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다.
먼저, 도 1 내지 도 2를 참조하여, 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템(1000)에 대해 설명하도록 한다.
도 1은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템(1000)의 전체 구성을 도식화한 예시도이며, 도 2는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템(1000)을 구성하는 서비스 서버를 도식화한 블록선도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템(1000)은, 멀티미디어 장치(100), 영상 수집부(200), 서비스 서버(300) 및 모델 생성 장치(400)를 포함하는 것을 특징으로 한다.
먼저, 상기 멀티미디어 장치(100)는 영상 및 음성 중 적어도 어느 하나 이상의 요소에 대한 출력이 가능하도록 마련되는 것으로, TV, 휴대 단말기, PC, 노트북, 모니터, 사이니지, 프로젝터 및 전자칠판을 포함하며, 이에 한정되지는 않는다.
그리고, 상기 영상 수집부(200)는 사용자의 제스처를 나타내는 형상 정보인 형상 정보를 적어도 하나 이상 수집하도록 마련되는 것으로, RGB 카메라, IR 카메라 중 선택된 적어도 어느 하나 이상을 포함할 수 있다.
특히, 상기 영상 수집부(200)는 사용자의 제스처를 나타내는 형상 정보인 형상 정보를 적어도 하나 이상 수집하도록 마련되는 것이 바람직하다.
그리고, 상기 서비스 서버(300)는 각종 정보의 송수신과 함께 정보의 생성을 진행하는 것으로, 상술한 멀티미디어 장치(100)와 상기 영상 수집부(200) 및 상기 모델 생성 장치(400)와 통신 연결되도록 구비된다.
특히, 상기 서비스 서버(300)는 상기 형상 정보로부터, 사용자의 손이 나타내는 형상의 위치점을 포함하는 정보인 형상 정보를 생성하도록 마련된다.
이때, 상기 서비스 서버(300)는 상기 형상 정보의 분류를 패턴별로 진행한 이후, 패턴별로 분류된 상기 형상 정보를 기반으로 상기 멀티미디어 장치를 제어하는 정보인 제어 정보를 생성하도록 마련되는 제어부를 포함한다.
그리고, 상기 모델 생성 장치(400)는, 상기 서비스 서버(300)와 유/무선 통신 연결되어, 상기 멀티미디어 장치를 제어하는 제어 기준을 나타내는 정보인 기준 패턴 정보를 적어도 하나 이상 입력받아 상기 서비스 서버(300)측으로 제공할 수 있도록 구비된다.
여기서, 상기 기준 패턴 정보는, 상기 제어 정보를 생성하기 위해, 적어도 하나 이상의 손가락 형상, 손바닥 형상 및 손등 형상 중 선택된 적어도 어느 하나 이상으로 구성되는 형상을 포함한다.
이때, 상기 기준 패턴 정보의 입력은 상기 모델 생성 장치(400) 뿐만 아니라, 상기 영상 수집부(200)를 통해서도 입력 가능하다.
덧붙여, 상기 기준 패턴 정보는 적어도 하나 이상의 형상을 포함할 수 있으며, 상기 기준 패턴 정보에 대해서는 후술할 도 5를 참조하여 보다 상세히 설명하도록 한다.
다음으로, 도 2를 참조하여 보다 상세하게 상기 서비스 서버(300)에 대해 설명하면, 상기 서비스 서버(300)는 제어부(C), 통신부(310), 위치점 생성 모듈(320), 형상 정보 분류 모듈(330), 제어 정보 생성 모듈(340), 커서 생성 모듈(350), 변경 출력 모듈(360), 시각화 영상 생성 모듈(370) 및 가중치 설정 모듈(380)을 포함하는 것을 특징으로 한다.
먼저, 상기 제어부(C)는 상술한 생성 모듈들을 기반으로 생성되는 각종 정보들을 기반으로, 상기 멀티미디어 장치를 제어하는 정보인 제어 정보를 생성하도록 마련된다.
또한, 상기 제어부(C)는 메모리부에 저장된 응용 프로그램을 구동하기 위하여, 전술한 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(C)는 상기 서비스의 구동을 위하여, 본 발명의 비접촉 멀티미디어 장치 제어 시스템(1000)을 구성하는 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
그리고, 상기 통신부(310)는 상기 모델 생성 장치(400)와의 통신연결을 진행하기 위해 마련되는 것으로, 이동통신 모듈 및 근거리 통신 모듈을 포함할 수 있다.
덧붙여, 상기 통신부(310)는 상기 서비스 서버와 통신 연결되어, 상기 모델 생성 장치와 상기 서비스 서버를 통신 연결하는 별도의 리시버를 포함할 수 있다.
이때, 상기 리시버는 블루투스 및 WIFI 통신 방식을 포함한 무선 통신 방식을 이용할 수 있으며, 이에 한정되지는 않는다.
추가적으로, 도면에는 특별히 도시하지는 않았으나, 상기 서비스 서버의 통신부는 상기 모델 생성 장치와의 통신연결을 진행하기 위해, 정보 수신 모듈 및 정보 발신 모듈을 더 포함할 수 있다.
보다 상세하게는, 상기 정보 수신 모듈 및 상기 정보 발신 모듈은 적외선을 이용한 IR 수신 모듈 및 IR 발신 모듈일 수 있으며, 이에 한정되지는 않는다.
여기서, 상기 정보 수신 모듈은, 상술한 각종 정보들의 수신을 진행하기 위해 구비되며, 상기 서비스 서버와 결합 가능하도록 구비될 수 있다.
그리고, 상기 정보 발신 모듈은 상기 정보 수신 모듈과 인접한 위치에 형성되는 것을 특징으로 하며, 상기 서비스 서버와 결합 가능하도록 구비될 수 있다.
이때, 상기 정보 발신 모듈은 상술한 리시버와 통신 연결되도록 구비됨으로써, 상기 정보 발신 모듈에서 발생되는 신호를 상기 정보 수신 모듈 측으로 전송하는 방식으로 각종 정보의 송수신을 진행하도록 구축될 수 있다.
상술한 통신 방식을 통해, 상기 멀티미티어 장치와 모델 생성 장치 사이에 장애물이 존재하더라도 보다 명확한 정보의 송수신을 진행할 수 있으며, 결과적으로 시스템의 작동 신뢰성을 향상시킬 수 있게 되는 것이다.
그리고, 상기 위치점 생성 모듈(320)은, 상기 형상 정보로부터, 사용자의 손이 나타내는 형상 및 적어도 하나 이상의 관절 위치점을 포함하는 정보인 형상 정보를 생성하도록 마련된다.
여기서, 상기 관절 위치점은 사용자의 손목 관절, 사용자 손가락 마디에 형성되는 복수의 관절을 포함하는 사용자의 손을 구성하는 모든 관절의 위치점이며, 적어도 21개의 위치점을 포함할 수 있다.
그리고, 상기 형상 정보 분류 모듈(330)은, 사용자의 손이 나타내는 형상을 기준으로 상기 형상 정보를 분류하도록 구비되며, 기계 학습을 진행하여 상기 형상 정보를 분류하도록 구비된다.
여기서, 상기 형상 정보 분류 모듈(330)은 상술한 위치점의 3차원 좌표와 배치 각도를 기준으로 상기 형상 정보를 분류할 수 있다.
특히, 상기 기계 학습을 진행하기 위한 기계 학습방식의 종류로, 서포트벡터머신 또는 랜덤포레스트를 포함할 수 있으나, 이에 한정되지는 않는다.
위와 같이, 기계 학습을 통해 상기 형상 정보의 분류를 진행하도록 함으로써, 관리자가 상기 모델 생성 장치(400)를 통해, 개별적인 형상 정보 분류 기준을 직접 입력하지 않고, 최소한의 형상 정보 분류 기준만을 입력하더라도 형상 정보에 대한 분류를 명확하게 진행할 수 있도록 함에 따라, 상기 시스템의 작동 신뢰성의 향상을 기대할 수 있다.
그리고, 상기 제어 정보 생성 모듈(340)은 상기 형상 정보 분류 모듈(340)을 통해 분류된 형상 정보를 상기 기준 패턴 정보와 매칭하여 상기 멀티미디어 장치를 제어하는 정보인 제어 정보를 생성하도록 구비된다.
그리고, 상기 커서 생성 모듈(350)은 상기 형상 정보를 구성하는 상기 위치점 중, 선택된 어느 하나 이상의 위치점을 이미지화한 정보인 커서를 생성하도록 구비된다.
보다 상세하게는, 상기 커서 생성 모듈(350)은 상기 형상 정보를 구성하는 상기 사용자 손 형상의 단부 위치점 및 관절 위치점 중 선택된 어느 하나 이상의 위치점을 트래킹한 커서를 생성하도록 구비된다.
이때, 상기 사용자 손 형상의 단부 위치점은, 사용자의 손가락 형상 중, 검지 형상의 단부 위치점인 것을 특징으로 한다.
그리고, 상기 변경 출력 모듈(360)은 상기 커서 생성 모듈에 의해 생성되는 커서의 이동 경로 정확도 향상을 위해, 상기 커서의 이동 거리를 변경하여 상기 멀티미디어 장치 측으로 출력하도록 마련된다.
그리고, 상기 시각화 영상 생성 모듈(370)은 상기 형상 정보를 시각화한 제스처 시각화 영상을 생성하여 상기 멀티미디어 장치 측으로 전송하여 출력하도록 구비되는 것을 특징으로 한다.
그리고, 상기 가중치 설정 모듈(380)은 상기 형상 정보의 인식 시간을 기준으로 가중치를 설정하며, 가장 장시간 인식된 형상 정보를 기반으로 상기 제어 정보를 확정하도록 구비된다.
덧붙여, 상기 서비스 서버(300)는 데이터베이스(DB)를 포함할 수 있으며, 상기 데이터베이스(DB)는 본 발명의 비접촉 멀티미디어 장치 제어 시스템에서 생성되는 각종 정보의 저장을 진행하도록 마련된다.
그리고, 도 3 내지 도 5를 참조하여, 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템의 작동 상태에 대해 보다 상세히 설명하도록 한다.
도 3은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템의 사용 상태도이며, 도 4는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템의 사용 상태도이고, 도 5는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템을 통해 생성되는 제 1 기준 패턴 정보를 도식화한 예시도이며, 도 6은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템을 통해 생성되는 기준 패턴 정보들을 도식화한 예시도이다
상술한 바와 같이, 본 발명을 구성하는 서비스 서버는 커서 생성 모듈 및 변경 출력 모듈을 더 포함한다.
이때, 도 3에 도시된 바와 같이, 상기 상기 커서 생성 모듈에 의해 생성되는 커서(C)가 상기 멀티미디어 장치(100) 상에 출력되며, 상기 커서(C)는 사용자의 손(H)의 움직임과 연동되어 움직일 수 있게 된다.
이처럼 상기 커서(C)의 출력을 진행하도록 함으로써, 사용자의 현재 손 위치를 보다 명확하게 파악할 수 있도록 보조할 수 있으며, 이를 통해 제어 정확도를 현저히 향상시킬 수 있는 효과를 제공 가능하다
그리고, 상술한 변경 출력 모듈을 통해, 사용자의 동작 반경을 줄일 수 있도록 할 수 있다.
보다 상세하게는, 상기 커서(C)는, 상기 커서(C)의 이동거리(l2)가 사용자의 임의의 손가락의 이동거리 즉, 상술한 위치점 중 선택된 임의의 위치점의 이동거리(l2)보다 길거나 같은 것을 특징으로 한다.
덧붙여, 상기 위치점의 동일방향 이동거리가 누적된 만큼 상기 커서의 이동 거리가 결정될 수 있으며, 상기 위치점의 이동거리에 임의의 값이 곱해진 값만큼 상기 커서의 이동거리가 결정될 수 있음은 물론이다.
위와 같이, 사용자의 손 동작 반경을 줄일 수 있도록 함으로써, 대형 스크린에 대한 제어 진행 시에도 보다 간편한 제어를 진행할 수 있어, 보다 향상된 사용 편의성을 확보할 수 있다.
그리고, 도 4에 도시된 바와 같이, 상기 서비스 서버에서 상기 형상 정보를 시각화한 제스처 시각화 영상을 생성하여 상기 멀티미디어 장치(100)의 출력 화면 상에 형성되는 시각화 출력 섹션(VS)내에서 사용자의 손(H)에 의해 형성되는 제스처를 시각화 하여 출력할 수도 있다.
위와 같이, 별도로 형성되는 시각화 출력 섹션(VS) 내에서 시각화 영상의 출력을 진행하도록 함으로써, 사용자의 현재 손 형상을 보다 명확하게 파악할 수 있도록 보조할 수 있으며, 이를 통해 제스처를 기반으로 하는 제어 정확도를 현저히 향상시킬 수 있는 효과를 제공 가능하다
도 5 및 도 6a에 도시된 바와 같이, 상기 기준 패턴 정보들은, 적어도 하나 이상의 형상을 포함하도록 형성된다.
특히, 상기 기준 패턴 정보는, 상술한 제어 정보를 생성하기 위해, 적어도 하나 이상의 손가락 형상, 손바닥 형상 및 손등 형상 중 선택된 적어도 어느 하나 이상으로 구성되는 형상을 포함한다.
더불어, 상기 기준 패턴 정보는, 상기 제어 정보를 생성하기 위해, 손등 형상의 인식 면적, 손바닥 형상의 인식 면적 및 손가락 형상의 단부가 향하는 방향 중 선택된 어느 하나 이상의 요소를 기반으로 하는 적어도 하나 이상의 명령 패턴을 포함한다.
보다 상세하게는, 상기 기준 패턴 정보의 상기 손가락 형상은 엄지, 검지, 중지, 약지, 소지 중 선택된 적어도 어느 하나 이상의 형상을 포함한다.
이처럼, 사용자의 손을 구성하는 모든 손가락의 형상을 파악하여 이를 기준으로 삼을 수 있도록 함으로써, 이를 기반으로, 상기 멀티미디어 장치에 대한 보다 다양한 제어 명령을 생성할 수 있게 되는 것이다.
그리고, 상기 제어 정보는 제 1 명령어 내지 제 4 명령어를 포함할 수 있다.
먼저, 제 1 명령어는 상기 멀티미디어 장치에 커서를 생성하여 출력하도록 하면서, 상기 커서를 통해, 상기 멀티미디어 장치에 출력되는 임의의 요소에 대한 선택을 진행하는 명령어이다.
특히, 도 5에 도시된 바와 같이, 상기 제 1 명령어를 생성하기 위한 기준 패턴 정보는 제 1 기준 패턴 정보를 포함할 수 있다.
덧붙여, 상기 제 1 기준 패턴 정보는, 사용자의 제스처를 마우스처럼 모사할 수 있도록, 커서 출력 패턴, 제 1 클릭 패턴 및 제 2 클릭 패턴을 포함할 수 있다.
여기서, 상기 커서 출력 패턴은 상기 손가락 형상 중 엄지 형상(T)과 검지 형상(F1)이 소정방향으로 연장된 상태를 나타내는 패턴인 것을 특징으로 한다.
예를 들어, 사용자가 엄지와 검지만을 펼치고, 다른 손가락을 접은 상태로 상술한 영상 수집부측으로 노출시키면, 상기 서비스 서버는 상기 사용자의 손에 대한 형상 정보를 수집하면, 이를 상기 커서 출력 패턴으로 판단하여 상기 사용자의 제스처를 마우스처럼 모사하여 상기 멀티미디어 장치상에 커서를 출력하도록 진행되는 것이다.
그리고, 상기 제 1 클릭 패턴은, 마우스의 좌클릭과 유사한 기능을 구현하며, 상기 제 2 클릭 패턴은 마우스의 우클릭과 유사한 기능을 구현하도록 생성될 수 있다.
그리고, 상기 제 1 클릭 패턴은, 상기 적어도 하나 이상의 손가락 형상 중 선택된 어느 하나의 손가락 형상이 이웃한 손가락 형상 측으로 이동된 이후, 상기 선택된 어느 하나의 손가락 형상이 원위치 되는 패턴인 것을 특징으로 한다.
보다 상세하게는, 상기 제 1 클릭 패턴은 상기 적어도 하나 이상의 손가락 형상 중, 엄지 형상(T)의 단부 위치가 이웃한 중지 형상(F2) 위치측으로 이동된 이후, 상기 엄지 형상이 원위치 되는 패턴인 것을 특징으로 한다.
그리고, 상기 제 2 클릭 패턴은, 상기 적어도 하나 이상의 손가락 형상 중 선택된 어느 하나의 손가락이 이웃한 손가락 형상 측으로 이동되고, 기설정된 시간 경과 이후 상기 선택된 어느 하나의 손가락 형상이 원위치 되는 패턴인 것을 특징으로 한다.
보다 상세하게는, 상기 제 2 클릭 패턴은 상기 적어도 하나 이상의 손가락 형상 중 엄지 형상(T)의 위치가 접혀진 상태의 중지 형상(F2) 측으로 이동되고 기설정된 시간 경과 이후 상기 엄지 형상이 원위치 되는 패턴인 것을 특징으로 한다.
그리고, 상기 제어 정보를 구성하는 상기 제 2 명령어는 상기 멀티미디어 장치의 제어를 시작하도록 진행되는 시작 신호 및 상기 멀티미디어 장치를 제어하기 위한 복수의 명령어를 확정하여 실행하도록 하는 선택 확정 신호 중 선택된 어느 하나 이상을 포함한다.
다음으로, 도 6b에 도시된 바와 같이, 상기 제 2 명령어를 생성하기 위한 기준 패턴 정보는 제 2 기준 패턴 정보를 포함할 수 있다.
이때, 상기 제 2 기준 패턴은 제 1 명령 패턴 및 제 2 명령 패턴을 포함하는 것을 특징으로 한다.
먼저, 제 1 명령 패턴은 손바닥 형상이 완전 노출된 상태이면서, 상기 손가락 형상의 단부가 모두 동일한 방향을 향하면서, 상기 손바닥 형상과 소정거리 이격되어 있는 형상을 나타내는 형성된다.
그리고, 제 2 명령 패턴은 손바닥 형상이 일부 노출된 상태이면서, 상기 손가락 형상의 단부가 모두 상기 손바닥 형상을 향하고, 상기 손바닥 형상을 덮는 형상을 나타내도록 형성된다.
그리고, 도 6c에 도시된 바와 같이 상기 제 3 명령어는 상기 멀티미디어 장치의 메뉴 출력, 평가, 선택, 취소, 이동 중 선택된 적어도 어느 하나 이상을 포함한다.
특히, 상기 제 3 명령어를 생성하기 위한 기준 패턴 정보는 상기 손가락 형상, 상기 손바닥 형상 및 상기 손등 형상 중 선택된 적어도 어느 하나 이상의 형상을 포함하며, 상기 제 3 명령어와 매칭되도록 생성되는 제 3 기준 패턴 정보를 포함할 수 있다.
보다 상세하게는, 제 3 기준 패턴 정보는, 제 3 명령 패턴 내지 제 6 명령 패턴을 포함한다.
여기서, 제 3 명령 패턴은 손바닥 형상이 완전 노출된 상태이면서, 상기 손가락 형상 중 선택된 어느 하나의 손가락 형상과 이웃한 다른 하나의 손가락 형상이 접한 상태에서, 나머지 형상의 단부는 상부를 향하는 형상을 나타내도록 형성된다.
그리고, 제 4 명령 패턴은 손바닥 형상이 일부 노출된 상태이면서, 상기 손가락 형상 중 선택된 어느 하나의 손가락 형상은 그 단부가 좌측 또는 우측을 향하는 형상을 나타내도록 형성된다.
그리고, 제 5 명령 패턴은 손바닥 형상 및 손등 형상이 노출되지 않은 상태이면서, 상기 손가락 형상 중 선택된 어느 하나의 손가락 형상의 단부가 상방을 향하는 형상을 나타내도록 형성된다.
그리고 제 6 명령 패턴은 손등 형상이 일부 노출된 상태이면서, 상기 손가락 형상 중 선택된 어느 하나의 손가락 형상은 그 단부가 좌측 또는 우측을 향하는 형상을 나타내도록 형성되는 것을 특징으로 한다.
이처럼, 손가락 및 손바닥 뿐만 아니라, 손등의 형상까지 기준 패턴 정보로써 설정할 수 있도록 함으로써, 한 손 만으로도 다양한 제어를 진행할 수 있어, 보다 향상된 사용 편의성을 제공할 수 있다.
그리고, 도 6d에 도시된 바와 같이 상기 제 4 명령어는 상기 멀티미디어 장치에 숫자, 문자 및 도형 중 선택된 적어도 어느 하나 이상의 요소를 입력하기 위한 것들을 포함한다.
이어서, 상기 제 4 명령어를 생성하기 위한 기준 패턴 정보는 상기 손가락 형상, 상기 손바닥 형상 및 상기 손등 형상 중 선택된 적어도 어느 하나 이상의 형상을 포함하며, 상기 제 4 명령어와 매칭되도록 생성되는 제 4 기준 패턴 정보를 포함할 수 있다.
보다 상세하게는, 상기 도 6의 (d)에 도시된 바와 같이 상기 제 4 기준 패턴 정보는, 상기 손바닥 형상이 인식되는 패턴인 경우, 0 내지 5 까지의 숫자 중 선택된 어느 하나의 제 4 명령어와 대응되는 것을 특징으로 한다.
그리고, 상기 손등 형상이 인식되는 패턴인 경우, 6 내지 9 까지의 숫자 중 선택된 어느 하나의 제 4 명령어와 대응되도록 구성된다.
이와 같이, 손가락 및 손바닥 뿐만 아니라, 손등의 형상까지 기준 패턴 정보로써 설정할 수 있도록 함으로써, 한 손 만으로도 다양한 제어를 진행할 수 있어, 보다 향상된 사용 편의성을 제공할 수 있다.
다음으로, 도 7 내지 도 9를 참조하여, 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 방법(S1000)에 대해 보다 상세히 설명하도록 한다.
도 7은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 방법의 진행 순서를 도식화한 블록 순서도이며, 도 8은 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 방법의 진행 순서를 도식화한 블록 순서도이고, 도 9는 본 발명의 제스처 기반의 비접촉 멀티미디어 장치 제어 방법의 진행 순서를 도식화한 플로우 차트이다.
본 발명의 비접촉 멀티 미디어 기기 제어 방법(S1000)은 상술한 멀티미디어 장치, 영상 수집부, 서비스 서버 및 적어도 하나 이상의 기준 패턴 정보를 입력받아 신경망 모델을 생성하는 모델 생성 장치를 포함하는 비접촉 멀티미디어 장치 제어 시스템을 이용하여 진행된다.
상기 비접촉 멀티 미디어 기기 제어 방법(S1000)은 형상 정보 취득 단계(S100), 형상 정보 분류 단계(S200), 제어 정보 생성 단계(S300) 및 기기 제어 단계(S400)를 포함하는 것을 특징으로 한다.
먼저, 상기 형상 정보 취득 단계(S100)는 상기 영상 수집부를 통해, 사용자의 제스처 및 상기 사용자의 손 형상을 적어도 하나 이상 취득하는 단계이다.
그리고, 상기 형상 정보 취득 단계(S100)는 상기 사용자의 손 형상을 좌표화한 형상 정보를 상기 제어부에서 적어도 하나 이상 생성하는 단계이다.
특히, 상기 형상 정보 취득 단계(S100)는, 적어도 하나 이상의 관절 위치점을 포함하는 형상 정보를 취득하도록 진행되는 단계이다.
이때, 상기 형상 정보 취득 단계(S100)에서는, 상기 영상 수집부를 통해, 상기 제어부에서 사용자의 손바닥, 손등 및 손가락의 관절 위치점을 기준점으로 선정하여 상기 형상 정보를 취득하는 것을 특징으로 한다.
그리고, 형상 정보 분류 단계(S200)는 사용자의 손 형상 및 손가락 형상 중 선택된 적어도 어느 하나 이상을, 상기 형상 정보의 분류를 위한 분류 기준으로 하여 상기 형상 정보를 분류하면서, 상기 서비스 서버에서 상기 분류 기준을 학습하여 상기 형상 정보의 분류를 진행하도록 진행된다.
이어서, 상기 제어 정보 생성 단계(S300)는 상기 형상 정보 분류 단계(S200) 이후, 상기 서비스 서버의 제어부에서 상기 형상 정보와 상기 기준 패턴 정보를 매칭한 정보인 제어 정보를 생성하도록 진행된다.
보다 상세하게는, 상기 제어 정보 생성 단계(S300)는 상기 형상 정보 분류 단계(S200) 이후, 상기 서비스 서버에서, 상기 형상 정보와 상기 기준 패턴 정보를 매칭한 정보인 제어 정보를 생성하는 단계이다.
특히, 상기 제어 정보 생성 단계(S300)는, 형상 정보 인식 단계(S310), 가중치 설정 단계(S320) 매칭 단계(S330) 패턴 판단 단계(S340) 및 제 1 제어 정보 확정 단계(S350), 제 2 제어 정보 확정 단계(S360)를 포함한다.
여기서, 형상 정보 인식 단계(S310)는 소정 시간 동안 상기 형상 정보를 적어도 하나 이상 취득하는 단계로, 상기 영상 수집부를 통해 인식되는 제스쳐 정보의 인식을 진행한 이후에 진행된다.
그리고, 상기 가중치 설정 단계(S330)는 상기 형상 정보 인식 단계(S430)에서 인식된 적어도 하나 이상의 상기 형상 정보에 대해, 상기 제어부에서, 인식 시간 또는 인식 횟수 중 선택된 적어도 어느 하나 이상의 요소를 기준으로 가중치를 부여하도록 진행된다.
이어서, 상기 매칭 단계(S330)는, 상기 가중치 설정 단계(S330)에서 가장 높은 가중치가 부여된 형상 정보와 상기 기준 패턴 정보를 상호 매칭하도록 진행되며, 여기서 상기 기준 패턴 정보와 매칭된 형상 정보는 상기 제어부에서 상기 멀티미디어 장치의 제어를 진행하기 위한 정보인 제어 정보로 재생성된다.
그리고, 상기 패턴 판단 단계(S340)는, 상기 형상 정보와 대응되는 기준 패턴 정보의 종류를 판단하도록 진행될 수 있다.
이때, 상기 패턴 판단 단계(S340)는 상기 형상 정보와 매칭되는 기준 패턴이 상기 멀티미디어 장치에 커서를 출력하는 패턴인지의 유무를 판단하도록 진행된다.
상기 패턴 판단 단계(S340)에 대해서는 아래에서 보다 상세히 설명하도록 한다.
한편, 상기 패턴 판단 단계(S340)에서, 상기 기준 패턴이 상기 멀티미디어 장치에 커서를 출력하는 패턴인 것으로 판단되는 경우, 상기 제 1 제어 정보 확정 단계(S350)를 진행할 수 있다.
그리고, 상기 제 1 제어 정보 확정 단계(S350)는, 상기 기기 제어 단계 이전에, 진행되는 단계로, 커서를 생성하기 위해 진행된다.
보다 상세하게는, 상기 제 1 제어 정보 확정 단계(S350)는 상기 패턴 판단 단계에서 상기 형상 정보가 제 1 기준 패턴 정보인 것으로 판단되는 경우, 상기 커서를 생성하도록 진행된다.
여기서, 상기 제 1 기준 패턴 정보는 사용자 손 형상의 관절 위치점 중 선택된 어느 하나 이상의 관절 위치점을 트래킹한 커서를 출력하도록 생성되는 기준 패턴 정보이다.
그리고, 상기 패턴 판단 단계(S340)에서, 상기 기준 패턴이 상기 멀티미디어 장치에 커서를 출력하는 패턴이 아닌 것으로 판단되는 경우, 상기 제 2 제어 정보 확정 단계를 진행할 수 있다.
그리고, 상기 제 2 제어 정보 확정 단계(S360)는, 상기 패턴 판단 단계(S320)에서, 상기 형상 정보가 상기 형상 정보를 구성하는 사용자 손 형상의 관절 위치점 중 선택된 어느 하나 이상의 관절 위치점을 트래킹한 커서를 호출하는 제 1 기준 패턴 정보가 아닌 것으로 판단하는 경우에 진행되는 것을 특징으로 한다.
보다 상세하게는, 상기 제 2 제어 정보 확정 단계(S360)는 상기 멀티미디어 장치의 제어를 시작하도록 진행되는 시작 신호, 상기 멀티미디어 장치를 제어하기 위한 복수의 명령어를 확정하여 실행하도록 하는 선택 확정 신호, 상기 멀티미디어 장치의 메뉴 출력 신호, 평가 신호, 취소 신호, 이동 신호 및 숫자, 문자 및 도형 중 선택된 적어도 어느 하나 이상의 요소를 입력하기 위한 입력 신호 중 선택된 적어도 어느 하나 이상의 신호를 포함하는 명령어를 기반으로 제어 정보를 생성하도록 진행된다.
다음으로, 상기 기기 제어 단계(S400)는 상기 제어 정보를 기반으로 상기 멀티미디어 장치의 제어를 진행하도록 진행되며, 변경 출력 단계(S410) 및 이미지 출력 단계(S420)를 더 포함할 수 있다.
먼저, 상기 변경 출력 단계(S410)는 상기 커서의 이동 거리를 변경하여 상기 멀티미디어 장치 측으로 출력하도록 진행된다.
이때, 상기 변경 출력 단계(S410)는 상기 제 1 제어 정보 확정 단계 이후 진행되는 것으로, 상기 멀티미디어 장치 측으로 커서를 출력하도록 진행된다.
그리고, 상기 변경 출력 단계(S410)는 상기 커서의 이동 거리를 변경하며, 상기 커서의 이동거리가 상기 형상 정보를 구성하는 위치점의 이동거리보다 길거나 같도록 출력하는 것을 특징으로 한다.
덧붙여, 상기 위치점의 동일방향 이동거리가 누적된 만큼 상기 커서의 이동 거리가 결정될 수 있으며, 상기 위치점의 이동거리에 임의의 값이 곱해진 값만큼 상기 커서의 이동 거리가 결정될 수 있음은 물론이다.
그리고, 이미지 출력 단계(S420)는, 상기 변경 출력 단계(S410) 이후, 진행되는 단계로, 상기 제어 정보 생성 단계(S300)에서 생성되는 형상 정보를 구성하는 위치점 중, 선택된 어느 하나 이상의 위치점을 이미지화한 커서를 생성하여 상기 멀티미디어 장치측으로 출력하도록 진행된다.
이처럼, 상기 영상 수집부를 통해, 사용자의 제스처를 인식하고 이를 기반으로 멀티미디어 장치의 제어를 진행하도록 함으로써, 별도의 컨트롤러를 구비하지 않고도 상기 멀티미디어 장치의 제어를 간편하게 제어할 수 있어 보다 향상된 사용 편의성을 제공할 수 있다.
이상과 같이 본 발명을 도면에 도시한 실시예들을 참고하여 설명하였으나, 이는 발명을 설명하기 위한 것일 뿐이며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면 발명의 상세한 설명으로부터 다양한 변형 또는 균등한 실시예가 가능하다는 것을 이해할 수 있을 것이다.
따라서 본 발명의 진정한 권리범위는 특허 청구범위의 기술적 사상에 의해 결정되어야 한다.
1000 : 비접촉 멀티미디어 장치 제어 시스템
100 : 멀티미디어 장치
200 : 영상 수집부
300 : 서비스 서버
400 : 모델 생성 장치
S1000 : 비접촉 멀티미디어 장치 제어 방법
S100 : 형상 정보 취득 단계
S200 : 형상 정보 분류 단계
S300 : 제어 정보 생성 단계
S310 : 형상 정보 인식 단계
S320 : 가중치 설정 단계
S330 : 매칭 단계
S340 : 패턴 판단 단계
S350 : 제 1 제어 정보 확정 단계
S360 : 제 2 제어 정보 확정 단계
S400 : 기기 제어 단계
S410 : 변경 출력 단계
S420 : 이미지 출력 단계
100 : 멀티미디어 장치
200 : 영상 수집부
300 : 서비스 서버
400 : 모델 생성 장치
S1000 : 비접촉 멀티미디어 장치 제어 방법
S100 : 형상 정보 취득 단계
S200 : 형상 정보 분류 단계
S300 : 제어 정보 생성 단계
S310 : 형상 정보 인식 단계
S320 : 가중치 설정 단계
S330 : 매칭 단계
S340 : 패턴 판단 단계
S350 : 제 1 제어 정보 확정 단계
S360 : 제 2 제어 정보 확정 단계
S400 : 기기 제어 단계
S410 : 변경 출력 단계
S420 : 이미지 출력 단계
Claims (17)
- 영상 및 음성 중 선택된 적어도 어느 하나 이상을 출력하도록 구비되는 멀티미디어 장치(100)와;
사용자의 제스처를 나타내는 형상 정보를 적어도 하나 이상 수집하도록 마련되는 영상 수집부(200)와;
상기 형상 정보로부터, 사용자의 손이 나타내는 형상 및 적어도 하나 이상의 관절 위치점을 포함하는 정보인 형상 정보를 생성하는 형상 정보 생성 모듈을 포함하면서, 상기 형상 정보의 분류를 패턴별로 진행한 이후, 패턴별로 분류된 상기 형상 정보를 기반으로 상기 멀티미디어 장치를 제어하는 정보인 제어 정보를 생성하도록 마련되는 제어부를 포함하는 서비스 서버(300); 및
상기 형상 정보를 패턴별로 분류를 진행하기 위한 정보인 적어도 하나 이상의 기준 패턴 정보가 입력되도록 마련되면서, 상기 멀티미디어 장치를 제어하는 제어 기준을 나타내는 정보인 기준 패턴 정보를 적어도 하나 이상 입력받고, 상기 기준 패턴 정보를 수집하여 상기 형상 정보를 판단하는 신경망 모델을 생성하여 상기 서비스 서버 측으로 전송하도록 구비되는 모델 생성 장치(400);를 포함하며,
상기 서비스 서버는,
상기 형상 정보를 구성하는 상기 사용자 손 형상의 단부 위치점 및 관절 위치점 중 선택된 어느 하나 이상의 위치점을 트래킹한 정보인 커서를 생성하는 커서 생성 모듈;을 포함하고,
상기 기준 패턴 정보는,
상기 제어 정보를 생성하기 위해, 적어도 하나 이상의 손가락 형상, 손바닥 형상, 손등 형상, 손등 형상의 인식 면적, 손바닥 형상의 인식 면적 및 손가락 형상의 단부가 향하는 방향 중 선택된 적어도 어느 하나 이상의 형상을 포함하고, 상기 손가락 형상은 엄지, 검지, 중지, 약지, 소지 중 선택된 적어도 어느 하나 이상의 형상을 포함하며,
상기 제어 정보는,
상기 커서를 생성하여 출력하도록 하면서, 상기 커서를 통해, 상기 멀티미디어 장치에 출력되는 임의의 요소에 대한 선택을 진행하는 명령어인 제 1 명령어를 포함하고,
상기 기준 패턴 정보는,
상기 제 1 명령어와 매칭되는 제 1 기준 패턴 정보를 포함하고,
상기 제 1 기준 패턴 정보는,
상기 손가락 형상 중 엄지 형상과 검지 형상이 소정방향으로 연장된 상태를 나타내는 패턴인 커서 출력 패턴;
상기 적어도 하나 이상의 손가락 형상 중, 엄지 형상의 단부 위치가 이웃한 중지 형상 위치측으로 이동된 이후, 상기 엄지 형상이 원위치 되는 패턴인 제 1 클릭 패턴; 및
상기 적어도 하나 이상의 손가락 형상 중 엄지 형상의 위치가 중지 형상 측으로 이동되고 기설정된 시간 경과 이후 상기 엄지 형상이 원위치 되는 패턴인 제 2 클릭 패턴;을 포함하는 것을 특징으로 하는 비접촉 멀티미디어 장치 제어 시스템. - 제 1 항에 있어서,
상기 서비스 서버는,
상기 형상 정보를 분류하도록 구비되며, 기계 학습을 진행하여 상기 형상 정보를 분류하도록 구비되는 형상 정보 분류 모듈; 및
상기 형상 정보 분류 모듈을 통해 분류된 형상 정보를 상기 기준 패턴 정보와 매칭하여 상기 멀티미디어 장치를 제어하는 정보인 제어 정보를 생성하도록 구비되는 제어 정보 생성 모듈;을 포함하는 것을 특징으로 하는 비접촉 멀티미디어 장치 제어 시스템. - 삭제
- 삭제
- 제 1 항에 있어서,
상기 제어 정보는,
상기 멀티미디어 장치의 제어를 시작하도록 진행되는 시작 신호 및 상기 멀티미디어 장치를 제어하기 위한 복수의 명령어를 확정하여 실행하는 선택 확정 신호 중 선택된 어느 하나 이상을 포함하는 제 2 명령어를 포함하고,
상기 기준 패턴 정보는,
상기 제 2 명령어와 매칭되는 제 2 기준 패턴 정보를 포함하고,
상기 제 2 기준 패턴 정보는,
상기 손가락 형상, 상기 손바닥 형상 및 상기 손등 형상 중 선택된 적어도 어느 하나 이상의 형상을 포함하며, 상기 손가락 형상을 구성하는 모든 손가락이 펼쳐진 형상을 보유하는 제 1 명령 패턴; 및
상기 손가락 형상, 상기 손바닥 형상 및 상기 손등 형상 중 선택된 적어도 어느 하나 이상의 형상을 포함하며, 상기 손가락 형상을 구성하는 모든 손가락이 접혀진 형상을 보유하는 제 2 명령 패턴;을 포함하는 것을 특징으로 하는 비접촉 멀티미디어 장치 제어 시스템. - 제 1 항에 있어서,
상기 제어 정보는,
상기 멀티미디어 장치의 메뉴 출력 신호, 평가 신호, 취소 신호, 이동 신호 중 선택된 적어도 어느 하나 이상의 신호로 구성되는 제 3 명령어를 포함하고,
상기 기준 패턴 정보는,
상기 손가락 형상, 상기 손바닥 형상 및 상기 손등 형상 중 선택된 적어도 어느 하나 이상의 형상을 포함하며, 상기 제 3 명령어와 매칭되도록 생성되는 제 3 기준 패턴 정보;를 포함하는 것을 특징으로 하는 비접촉 멀티미디어 장치 제어 시스템. - 제 1 항에 있어서,
상기 제어 정보는,
상기 멀티미디어 장치에 숫자, 문자 및 도형 중 선택된 적어도 어느 하나 이상의 요소를 입력하기 위한 입력 신호로 구성되는 제 4 명령어를 포함하고,
상기 기준 패턴 정보는,
상기 손가락 형상, 상기 손바닥 형상 및 상기 손등 형상 중 선택된 적어도 어느 하나 이상의 형상을 포함하며, 상기 제 4 명령어와 매칭되도록 생성되는 제 4 기준 패턴 정보;를 포함하는 것을 특징으로 하는 비접촉 멀티미디어 장치 제어 시스템. - 제 7 항에 있어서,
상기 제 4 기준 패턴 정보는,
상기 손바닥 형상이 인식되는 패턴인 경우, 0 내지 5 까지의 숫자 중 선택된 어느 하나의 제 4 명령어와 대응되는 것을 특징으로 하고,
상기 손등 형상이 인식되는 패턴인 경우, 6 내지 9 까지의 숫자 중 선택된 어느 하나의 제 4 명령어와 대응되는 것을 특징으로 하는 비접촉 멀티미디어 장치 제어 시스템. - 제 1 항에 있어서,
상기 서비스 서버는,
상기 커서 생성 모듈에 의해 생성되는 커서의 이동 경로 정확도 향상을 위해, 상기 커서의 이동 거리를 변경하여 상기 멀티미디어 장치 측으로 출력하도록 마련되는 변경 출력 모듈;을 더 포함하고,
상기 커서는,
상기 멀티미디어 장치에 출력되는 커서의 이동거리가 상기 형상 정보를 구성하는 위치점의 이동거리보다 길거나 같은 것을 특징으로 하는 비접촉 멀티미디어 장치 제어 시스템. - 제 1 항에 있어서,
상기 서비스 서버는,
형상 정보의 인식 시간을 기준으로 가중치를 설정하며, 가장 장시간 인식된 형상 정보를 기반으로 상기 제어 정보를 확정하는 가중치 설정 모듈;을 더 포함하는 것을 특징으로 하는 비접촉 멀티미디어 장치 제어 시스템. - 제 1 항에 있어서,
상기 서비스 서버는,
상기 형상 정보를 시각화한 제스처 시각화 영상을 생성하여 상기 멀티미디어 장치 측으로 전송하여 출력하도록 구비되는 시각화 영상 생성모듈;을 포함하는 것을 특징으로 하는 비접촉 멀티미디어 장치 제어 시스템. - 멀티미디어 장치, 영상 수집부, 서비스 서버 및 적어도 하나 이상의 기준 패턴 정보를 입력받아 신경망 모델을 생성하는 모델 생성 장치를 포함하는 비접촉 멀티미디어 장치 제어 시스템을 이용한 비접촉 멀티 미디어 기기 제어 방법에 있어서,
상기 비접촉 멀티 미디어 기기 제어 방법은,
상기 영상 수집부를 통해, 사용자의 제스처를 나타내는 정보인 형상 정보를 적어도 하나 이상 취득하는 형상 정보 취득 단계(S100);
상기 모델 생성 장치를 통해 수집되며, 손가락 형상, 손바닥 형상 및 손등 형상 중 선택된 적어도 어느 하나 이상으로 구성되는 형상을 포함하는 적어도 하나 이상의 기준 패턴 정보를 분류 기준으로 하여 상기 형상 정보를 분류하면서, 상기 분류 기준을 학습하여 상기 형상 정보의 분류를 진행하는 형상 정보 분류 단계(S200);
상기 형상 정보 분류 단계 이후, 상기 서비스 서버에서, 상기 형상 정보와 대응되는 기준 패턴 정보의 종류를 판단하도록 진행되는 패턴 판단 단계를 포함하면서, 상기 형상 정보와 상기 기준 패턴 정보를 매칭한 정보인 제어 정보를 생성하는 제어 정보 생성 단계(S300); 및
상기 제어 정보를 기반으로 상기 멀티미디어 장치의 제어를 진행하는 기기 제어 단계(S400);를 포함하며,
상기 손가락 형상은,
엄지, 검지, 중지, 약지, 소지 중 선택된 적어도 어느 하나 이상의 형상을 포함하며,
상기 기준 패턴 정보는,
제 1 기준 패턴 정보를 포함하고,
상기 제 1 기준 패턴 정보는.
상기 손가락 형상 중 엄지 형상과 검지 형상이 소정방향으로 연장된 상태를 나타내는 패턴인 커서 출력 패턴;
상기 적어도 하나 이상의 손가락 형상 중, 엄지 형상의 단부 위치가 이웃한 중지 형상 위치측으로 이동된 이후, 상기 엄지 형상이 원위치 되는 패턴인 제 1 클릭 패턴; 및
상기 적어도 하나 이상의 손가락 형상 중 엄지 형상의 위치가 중지 형상 측으로 이동되고 기설정된 시간 경과 이후 상기 엄지 형상이 원위치 되는 패턴인 제 2 클릭 패턴;을 포함하는 것을 특징으로 하는 제스처 기반의 비접촉 멀티미디어 장치 제어 방법. - 제 12 항에 있어서,
상기 패턴 판단 단계는,
상기 형상 정보와 매칭되는 기준 패턴이 상기 멀티미디어 장치에 커서를 출력하는 패턴인지의 유무를 판단하고,
상기 제어 정보 생성 단계는,
상기 기기 제어 단계 이전에, 상기 패턴 판단 단계에서 상기 형상 정보가, 사용자 손 형상의 관절 위치점 중 선택된 어느 하나 이상의 관절 위치점을 트래킹한 커서를 출력하는 제 1 기준 패턴 정보인 것으로 판단되는 경우, 상기 커서를 생성하는 제 1 제어 정보 확정 단계;를 포함하는 것을 특징으로 하는 제스처 기반의 비접촉 멀티미디어 장치 제어 방법. - 제 13 항에 있어서,
상기 기기 제어 단계는,
상기 제 1 제어 정보 확정 단계 이후, 상기 멀티미디어 장치 측으로 커서를 출력하되, 상기 커서의 이동 거리를 변경하며, 상기 커서의 이동거리가 상기 형상 정보를 구성하는 위치점의 이동거리보다 길거나 같도록 출력하는 변경 출력 단계;를 더 포함하는 것을 특징으로 하는 제스처 기반의 비접촉 멀티미디어 장치 제어 방법. - 제 12 항에 있어서,
상기 패턴 판단 단계는,
상기 형상 정보와 매칭되는 기준 패턴이 상기 멀티미디어 장치에 커서를 출력하는 패턴인지의 유무를 판단하고,
상기 제어 정보 생성 단계는,
상기 기기 제어 단계 이전에, 상기 패턴 판단 단계에서, 상기 형상 정보가 상기 형상 정보를 구성하는 사용자 손 형상의 관절 위치점 중 선택된 어느 하나 이상의 관절 위치점을 트래킹한 커서를 호출하는 제 1 기준 패턴 정보가 아닌 것으로 판단하는 경우에 진행되는 제 2 제어 정보 확정 단계;를 포함하는 것을 특징으로 하는 제스처 기반의 비접촉 멀티미디어 장치 제어 방법. - 제 15 항에 있어서,
상기 제 2 제어 정보 확정 단계는,
상기 멀티미디어 장치의 제어를 시작하도록 진행되는 시작 신호, 상기 멀티미디어 장치를 제어하기 위한 복수의 명령어를 확정하여 실행하도록 하는 선택 확정 신호, 상기 멀티미디어 장치의 메뉴 출력 신호, 평가 신호, 취소 신호, 이동 신호 및 숫자, 문자 및 도형 중 선택된 적어도 어느 하나 이상의 요소를 입력하기 위한 입력 신호 중 선택된 적어도 어느 하나 이상의 신호를 포함하는 명령어를 기반으로 제어 정보를 생성하는 것을 특징으로 하는 제스처 기반의 비접촉 멀티미디어 장치 제어 방법. - 제 12 항에 있어서,
상기 제어 정보 생성 단계는,
소정 시간 동안 상기 형상 정보를 적어도 하나 이상 취득하는 형상 정보 인식 단계;
상기 형상 정보 인식 단계에서 인식된 적어도 하나 이상의 상기 형상 정보에 대해, 인식 시간을 기준으로 가중치를 부여하는 가중치 설정 단계; 및
상기 가중치 설정 단계에서 가장 높은 가중치가 부여된 형상 정보와 상기 기준 패턴 정보를 상호 매칭하는 매칭 단계;를 포함하는 것을 특징으로 하는 제스처 기반의 비접촉 멀티미디어 장치 제어 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200172706A KR102438736B1 (ko) | 2020-12-10 | 2020-12-10 | 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200172706A KR102438736B1 (ko) | 2020-12-10 | 2020-12-10 | 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220082632A KR20220082632A (ko) | 2022-06-17 |
| KR102438736B1 true KR102438736B1 (ko) | 2022-08-30 |
Family
ID=82269016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200172706A KR102438736B1 (ko) | 2020-12-10 | 2020-12-10 | 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102438736B1 (ko) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101731935B1 (ko) | 2015-11-11 | 2017-05-02 | 한국과학기술연구원 | 손 동작 인식을 이용한 3차원 가상 컨트롤러 인터페이스 제공 장치 및 방법 |
| KR101751237B1 (ko) | 2016-01-18 | 2017-06-28 | 한국과학기술연구원 | 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120051212A (ko) * | 2010-11-12 | 2012-05-22 | 엘지전자 주식회사 | 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치 |
| JP6074170B2 (ja) * | 2011-06-23 | 2017-02-01 | インテル・コーポレーション | 近距離動作のトラッキングのシステムおよび方法 |
| KR20150027608A (ko) | 2013-09-04 | 2015-03-12 | 현대자동차주식회사 | 제스처 기반의 원격 조작 시스템 및 그 조작 방법 |
| KR101745406B1 (ko) * | 2015-09-03 | 2017-06-12 | 한국과학기술연구원 | 깊이 영상 기반의 손 제스처 인식 장치 및 방법 |
-
2020
- 2020-12-10 KR KR1020200172706A patent/KR102438736B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101731935B1 (ko) | 2015-11-11 | 2017-05-02 | 한국과학기술연구원 | 손 동작 인식을 이용한 3차원 가상 컨트롤러 인터페이스 제공 장치 및 방법 |
| KR101751237B1 (ko) | 2016-01-18 | 2017-06-28 | 한국과학기술연구원 | 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220082632A (ko) | 2022-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
| USRE40891E1 (en) | Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom | |
| US5670987A (en) | Virtual manipulating apparatus and method | |
| CN115443445A (zh) | 用于可穿戴系统的手部手势输入 | |
| EP3283938B1 (en) | Gesture interface | |
| CN105824431A (zh) | 信息输入装置与方法 | |
| CN107896508A (zh) | 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统 | |
| KR20100106203A (ko) | 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법 | |
| CN113826058A (zh) | 具有自触觉虚拟键盘的人工现实系统 | |
| KR101318244B1 (ko) | 3차원 사용자 인터페이스 구현 시스템 및 구현 방법 | |
| JP2002278673A (ja) | バイオフィードバックを用いた情報入力システム及び情報入力方法 | |
| CN110389659A (zh) | 针对增强或虚拟现实环境提供动态触觉回放的系统和方法 | |
| CN113785262A (zh) | 具有手指映射自触觉输入方法的人工现实系统 | |
| Gallotti et al. | v-Glove: A 3D virtual touch interface | |
| JP2004078977A (ja) | インターフェイス装置 | |
| CN108159697A (zh) | 虚拟对象传送方法及装置、存储介质、电子设备 | |
| WO2014106862A2 (en) | A method and system enabling control of different digital devices using gesture or motion control | |
| KR20110097504A (ko) | 사용자 모션 인식 방법 및 장치 | |
| KR102438736B1 (ko) | 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법 | |
| Hsieh et al. | Developing hand-worn input and haptic support for real-world target finding | |
| Wongphati et al. | Gestures for manually controlling a helping hand robot | |
| Liu et al. | COMTIS: Customizable touchless interaction system for large screen visualization | |
| KR101962464B1 (ko) | 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치 | |
| KR20110033318A (ko) | 영상인식을 이용한 가상마우스 시스템 | |
| JP6815359B2 (ja) | ゲームプログラム、方法、および情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |