KR101724108B1 - 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치 - Google Patents

손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치 Download PDF

Info

Publication number
KR101724108B1
KR101724108B1 KR1020150148912A KR20150148912A KR101724108B1 KR 101724108 B1 KR101724108 B1 KR 101724108B1 KR 1020150148912 A KR1020150148912 A KR 1020150148912A KR 20150148912 A KR20150148912 A KR 20150148912A KR 101724108 B1 KR101724108 B1 KR 101724108B1
Authority
KR
South Korea
Prior art keywords
hand
gesture
hand shape
image
shape
Prior art date
Application number
KR1020150148912A
Other languages
English (en)
Inventor
손명규
김현덕
김동주
이상헌
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020150148912A priority Critical patent/KR101724108B1/ko
Application granted granted Critical
Publication of KR101724108B1 publication Critical patent/KR101724108B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치가 제공된다. 본 발명의 실시예에 따른 손 모양 및 제스처에 의한 기기 제어 장치는, 손 영상을 인식하여 차량의 기기를 제어하는 장치에 있어서, 상기 차량의 기어 또는 리어뷰 미러 주변에 구비되어 깊이 카메라를 이용하여 상기 손 영상을 촬영하는 영상 촬영부; 및 상기 촬영된 영상을 분석하여 손 모양과 제스처의 조합에 해당하는 인식값을 생성하고, 상기 인식값에 해당하는 기기 제어를 수행하는 동작 인식 제어 장치;를 포함한다.

Description

손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치{Device control method by hand shape and gesture and control device thereby}
본 발명은 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치에 관한 것으로, 특히, 손 영상을 촬영하여 손 모양 및 제스처를 획득함으로써 차량에 설치된 기기의 제어를 수행하는 장치 및 방법에 관한 것이다.
일반적으로 차량에 탑승함에 있어서, 차량에 구비된 기기를 제어하기 위해서는 제어 장치가 집중되어 있는 센터페시아의 제어 장치를 조작하여야 한다. 이때, 차량 내 기기는 운전자가 직접 제어 장치를 조작하거나, 보조석에 위치한 사용자가 제어 장치를 조작함으로써 제어될 수 있다.
하지만, 운전자가 혼자 차량에 탑승하는 경우, 주행 중 제어 장치를 조작하기 위해 시선과 손을 센터페시아로 향하는 경우, 사고의 위험이 급격히 높아진다. 따라서, 이러한 문제점을 해결하기 위한 동작 인식에 의한 차량 제어 시스템이 한국 등록특허 1199144 B1에 개시되고 있다.
그러나 이러한 동작 인식에 의한 차량 제어 시스템은, 적외선 LED를 사용하여 손을 인식함으로써 다양한 광원 환경에서의 손의 검출률이 낮으며, 손 모양 및 제스처의 인식에 있어서 다양한 모양이나 제스처를 지원하지 못한다. 또, 적외선 장치의 제한된 설치 위치로 인하여 제스처를 인식시키기 위해서는 운전자가 손을 들어야 하는 문제점이 존재한다.
KR 1199144 B1
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 다양한 조명 변화에 영향을 받지 않고 높은 손 검출률을 가지며, 다양한 모양이나 제스처를 보다 정확히 인식할 수 있는 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치를 제공하고자 한다.
또, 본 발명의 일 실시예는 손 모양뿐만 아니라 손 제스처를 동시에 인식함으로써 각종 기기를 한 번의 동작으로 자연스럽게 제어할 수 있는 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치를 제공하고자 한다.
또한, 본 발명의 일 실시예는 운전자가 손을 들지 않고 자연스러운 상태로 제스처를 인식시킬 수 있는 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치를 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 손 모양 및 제스처에 의한 기기 제어 장치가 제공된다. 상기 손 모양 및 제스처에 의한 기기 제어 장치는, 손 영상을 인식하여 차량의 기기를 제어하는 장치에 있어서, 상기 손 영상을 촬영하는 영상 촬영부; 및 상기 촬영된 영상을 분석하여 손 모양, 제스처, 손 모양과 제스처의 조합 중 적어도 하나를 이용하여 제어 명령을 전달하는 동작 인식 제어 장치;를 포함한다.
상기 동작 인식 제어 장치는, 상기 손 영상을 생성하며, 관절의 좌표를 획득하고, 상기 영상 촬영부를 제어하는 손 영상 검출부; 상기 손 영상 및 상기 관절의 좌표를 이용하여 상기 손 모양을 인식하는 손 모양 인식부; 상기 손 영상 및 상기 관절의 좌표를 이용하여 상기 제스처를 인식하는 제스처 인식부; 기 학습된 손 모양 및 제스처를 저장하는 손 모양 및 제스처 저장부; 상기 제어 명령을 저장하는 제어 명령 저장부; 및 상기 손 모양, 상기 제스처, 상기 손 모양과 제스처의 조합 중 적어도 하나를 상기 기 학습된 손 모양 및 제스처와 일치 여부를 판단하여, 일치하는 경우 상기 제어 명령을 이용하여 상기 차량의 기기를 제어하고, 그 결과를 사용자에게 출력하는 제어 명령 판단부;를 더 포함할 수 있다.
상기 관절의 좌표는, 관절의 공간 좌표 및 동작 포인트 좌표를 포함하고, 상기 손 영상 검출부는, 상기 영상 촬영부의 촬영 범위를 정의하며, 상기 영상 촬영부의 동작 모드를 제어할 수 있다.
상기 손 모양 인식부는, 상기 관절의 공간 좌표 및 상기 공간 좌표를 연결하는 선을 이용하여 상기 손 모양을 인식할 수 있다.
상기 제스처 인식부는, 상기 관절의 공간 좌표를 이용하여 상기 손 모양이 변하더라도 움직이지 않는 중심 값을 획득하고, 특정 관절의 공간 좌표 및 상기 중심 값 중 적어도 하나를 이용하여 상기 제스처를 인식할 수 있다.
본 발명의 일 측면에 따르면, 손 모양 및 제스처에 의한 기기 제어 방법이 제공된다. 상기 손 모양 및 제스처에 의한 기기 제어 방법은, 손 영상을 인식하여 차량의 기기를 제어하는 장치에 있어서, a) 손 모양 및 제스처를 인식하는 단계; b) 상기 손 모양 및 제스처와 기 학습된 손 모양 및 제스처가 일치하는지 여부를 확인하는 단계; 및 c) 상기 손 모양, 상기 제스처 및 상기 손 모양과 제스처의 조합 중 적어도 하나를 이용하여 기기 제어를 수행하는 단계;를 포함한다.
상기 단계 a)는, 상기 손 영상으로부터 관절 공간 좌표를 획득하는 단계를 더 포함할 수 있다.
상기 단계 a)는 상기 손 영상과 상기 손 영상의 관절 공간 좌표를 이용하여 상기 손 모양을 인식하며, 상기 손 모양이 변하더라도 고정된 좌표를 가지는 위치의 중심 값 및 상기 손 영상의 특정 관절 공간 좌표 중 적어도 하나를 이용하여 상기 제스처를 인식할 수 있다.
상기 단계 b) 내지 상기 단계 c)는, 1) 상기 제스처의 시작 여부를 판단하는 단계; 2) 상기 제스처가 시작된 경우, 상기 제스처를 인식하고, 기 학습 여부를 판단하는 단계; 3) 상기 제스처가 기 학습된 경우, 상기 손 모양을 인식하고, 상기 손 모양의 기 저장 여부를 판단하는 단계; 및 4) 상기 손 모양이 기 저장된 경우, 상기 손 모양, 상기 제스처 및 상기 손 모양과 제스처의 조합 중 적어도 하나를 이용하여 상기 기기 제어를 수행하는 단계;를 더 포함할 수 있다.
상기 단계 1)은, 상기 제스처가 시작되지 않은 경우, 상기 손 모양을 인식하고 상기 인식한 손 모양을 저장하는 단계를 더 포함할 수 있다.
상기 단계 3)은, 상기 제스처가 기 학습되지 않은 경우, 상기 단계 1)을 수행하는 단계를 더 포함할 수 있다.
상기 단계 4)는, 상기 단계 1)에서 인식되어 저장된 상기 손 모양과의 일치 여부를 확인하는 단계; 및 상기 기 학습 된 손 모양과의 일치 여부를 판단하는 단계;를 더 포함하며, 것을 더 포함할 수 있다.
본 발명의 일 실시예에 따른 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치는 깊이 카메라를 이용하여 영상을 획득함으로써 조명의 변화에 영향을 받지 않고 높은 손 검출률을 가지는 효과가 있다.
또, 본 발명의 일 실시예에 따른 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치는 깊이 카메라를 이용하여 제스처를 손 모양과 함께 인식함으로써 제스처와 손 모양 각각 또는 이들의 다양한 조합을 기기 제어를 위한 명령으로 사용할 수 있어, 사용 가능한 명령의 개수를 크게 증가시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치는 의도하지 않은 제스처와 손 모양이 명령으로 오인되는 것을 방지할 수 있어 기기 제어의 정확도를 담보할 수 있다.
또한, 본 발명의 일 실시예에 따른 손 모양 및 제스처에 의한 기기 제어 장치 및 방법은 제스처를 손 모양과 함께 인식함으로써, 각종 기기를 한 번의 동작으로 자연스럽게 제어할 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따른 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치는 깊이 카메라의 촬영 범위를 정의함으로써 운전자가 자연스러운 상태에서 동작을 인식시켜 기기를 제어할 수 있는 효과가 있다.
도 1은 본 발명의 손 모양 및 제스처에 의한 기기 제어 장치를 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따라 손 모양 및 제스처에 의한 기기 제어 장치의 영상 촬영부가 (a) 기어 주변부, (b) 리어뷰 미러 주변부에 손 모양 및 제스처에 의한 기기 제어 장치가 구비된 모습을 나타낸 도이다.
도 3은 본 발명의 손 모양 및 제스처에 의한 기기 제어 장치를 통해 획득한 손 영상을 관절 및 뼈로 변환한 모습을 나타낸 도이다.
도 4는 본 발명의 손 모양 및 제스처에 의한 기기 제어 장치를 통해 획득된 손 영상을 3D 랜더링 툴을 사용하여 나타낸 도이다.
도 5는 본 발명의 손 모양 및 제스처에 의한 기기 제어 장치를 통해 획득한 손 영상의 손 모양에 의한 공간 지시 모습을 나타낸 도이다.
도 6은 본 발명의 손 모양의 변화에 따른 손의 무게 중심 값의 변화와 손 영상의 동작 포인트 값의 변화를 나타낸 그래프이다.
도 7은 본 발명의 손 모양 및 제스처에 의한 기기 제어 방법을 나타낸 순서도이다.
도 8은 본 발명의 손 모양 및 제스처에 의한 기기 제어 방법 중 손 모양 및 제스처를 인식하고 일치 여부를 판단 하는 단계를 보다 상세히 나타낸 순서도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
본 발명의 손 모양 및 제스처에 의한 기기 제어 장치는 차량 내에 구비된 카메라를 이용하여 손 영상을 획득하고, 획득한 손 영상을 분석하여 손 모양 및 제스처를 검출함으로써 기 저장된 정보와 일치하는지 확인하여 일치하는 경우 해당 손 모양 및 제스처와 일치하는 기기 제어를 수행하며, 그 수행 결과를 사용자에게 출력하는 것이다.
본 발명의 손 모양 및 제스처에 의한 기기 제어 장치의 한 실시예가 도 1에 도시되어 있다. 도 1을 참조하면, 본 발명의 손 모양 및 제스처에 의한 기기 제어 장치(100)는 영상 촬영부(110) 및 동작 인식 제어 장치(130)를 포함한다.
영상 촬영부(110)는 손 영상을 촬영하여 동작 인식 제어 장치(130)로 전달한다. 일 예로, 영상 촬영부(110)는 도 2a 및 도 2b에 도시된 바와 같이 차량의 기어 주변부 또는 리어뷰 미러의 주변부에 구비될 수 있다. 이때, 영상 촬영부(110)는 사용자가 팔을 들지 않은 상태에서도 손 영상을 촬영할 수 있도록 기어부(도면 미도시) 주변을 촬영할 수 있도록 구비될 수 있다.
또, 영상 촬영부(110)는 깊이 카메라를 이용하여 손 영상을 촬영한다. 깊이 카메라는 물체의 깊이 정보를 획득하여 입체 영상을 생성한다. 따라서, 영상 촬영부(110)는 깊이 카메라를 이용함으로써 손 모양 및 제스처에 대한 입체적인 영상을 획득할 수 있다.
동작 인식 제어 장치(130)는 영상 촬영부(110)의 깊이 카메라로부터 획득한 손 영상을 분석하여 손 모양 및 제스처를 인식하여 기기 제어 명령과의 대응 여부를 판단하고, 대응하는 기기 제어 명령을 수행한다. 이때, 동작 인식 제어 장치(130)는 손 영상 검출부(131), 손 모양 인식부(132), 제스처 인식부(133), 손 모양 및 제스처 저장부(134), 제어 명령 저장부(135) 및 제어 명령 판단부(136)를 더 포함할 수 있다.
손 영상 검출부(131)는 영상 촬영부(110)를 제어하고, 영상 촬영부(110)로부터 획득한 영상으로부터 손 영상을 검출하고, 손 영상의 관절을 찾아 관절 정보 및 동작 포인트 정보를 손 모양 인식부(132) 및 제스처 인식부(133)로 전달한다.
여기서, 관절 정보는 손의 모든 관절에 대한 각각의 공간 좌표를 포함하며, 동작 포인트 정보는 동작 인지를 위해 기준이 되는 동작 포인트에 대한 공간 좌표를 포함한다.
또, 손 영상 검출부(131)는 기 정의된 영상 촬영부(110)의 촬영 범위 내의 영상을 검출한다. 촬영 범위는 사용자의 손 영상을 촬영할 수 있는 실제 공간이다. 이를테면, 영상 촬영부(110)가 상술한 기어부(도면 미도시)에 설치된다면, 촬영 범위는 사용자가 제어 명령을 전달하기 위해 사용할 공간으로 기어부 주변에 정의하게 된다.
이때, 손 영상 검출부(131)는 영상 촬영부(110)의 깊이 카메라에서 획득한 정보를 이용하여 카메라와 촬영된 영상 사이의 실제 거리를 확인할 수 있기 때문에, 영상 촬영부(110)의 촬영 범위를 정의할 수 있다.
일 예로, 영상 검출부(131)는 영상 촬영부(110)의 카메라로부터 50cm 이상, 1m 미만의 거리, 카메라 중앙으로부터 사방 50cm 거리 등을 동작 가능한 실제 공간인 촬영 범위로 정의할 수 있다. 즉, 일 예의 영상 검출부(131)는 영상 촬영부(110)에서 획득한 영상에서 촬영 범위를 벗어나는 위치에서의 영상을 인식하지 않음으로써 사용자의 비 의도적인 행동에 의한 오작동을 감소시킬 수 있다.
한편, 이러한 촬영 범위 주변의 제어 명령 대상이 되는 차량 기기(이를 테면 에어컨 등)가 있다면 제어 명령의 인식률을 높이기 위해 해당 차량 기기의 공간 좌표가 입력되어 저장될 수 있다.
또, 손 영상 검출부(131)는 촬영 범위에 영상 정보가 없는 경우 영상 촬영부(110)를 대기모드로 전환할 수 있다. 이때, 영상 정보는 바람직하게는 촬영 범위 내의 움직임일 수 있다. 즉, 손 영상 검출부(131)는 촬영 범위 내에서 움직임이 감지되지 않는 경우, 영상 촬영부(110)를 대기모드로 전환할 수 있다.
또한, 영상 촬영부(110)가 대기모드 상태일 때, 촬영 범위 내에서 움직임이 감지되는 경우, 즉 영상 정보가 존재하는 경우, 손 영상 검출부(131)는 영상 촬영부(110)를 촬영모드로 전환하여 촬영 범위의 영상을 촬영하도록 할 수 있다.
한편, 손 영상 검출부(131)는 영상 촬영부(110)에서 검출한 손 영상으로부터 관절의 좌표를 검출하여 손 모양 인식부(132) 및 제스처 인식부(133)에 전달할 수 있다. 이때, 손 영상은 깊이 카메라를 이용하여 3차원으로 검출되기 때문에 검출되는 관절의 좌표 역시 3차원 좌표인 공간 좌표로 표현될 수 있다.
손 모양 인식부(132)는 손 영상 검출부(131)로부터 손 영상 및 관절을 획득하여 손 모양을 추출하여 인식한다. 손 모양 인식부(132)는 획득한 손 영상으로부터 관절의 위치 및 관절 사이를 연결하는 뼈의 구조를 포함하는 손 정보를 이용하여 검출된 손 영상의 손 모양을 도 3과 같이 인식할 수 있다.
도 3을 살펴보면, 4개의 손 모양이 관절의 위치 및 관절 사이를 연결하는 뼈의 구조를 포함하는 손 정보로 표현된다. 이때, 뼈의 구조는 일반적으로 인접한 관절 사이를 연결하도록 구성될 수 있다.
이 경우, 서로 다른 손가락의 인접한 관절끼리 연결되어 뼈의 구조가 나타나는 문제점이 발생할 수 있다. 이러한 문제점을 해결하기 위해, 본 발명의 한 실시예에서는, 손 정보를 도 4에 도시된 바와 같이 3D랜더링 툴을 사용하여 만들어 낸 모델 데이터에 랜덤 포레스트를 적용함으로써 미리 획득하여 손 모양 및 제스처 저장부에 저장하였다.
한편, 손 영상 인식부(132)는 인식한 손 모양 및 관절 정보로부터 손 모양이 지시하는 방향을 확인할 수 있다. 도 5에는 화살표 방향을 검지로 지시하는 손 모양이 나타나 있다.
손 영상 인식부(132)는 각각의 손가락에 포함되는 관절의 좌표를 이용하여 각각의 손가락의 모양을 인식할 수 있다. 이때, 인식한 손가락의 모양 중 구부러져 있지 않은, 즉 관절이 모여있지 않은 손가락의 관절의 좌표를 이용하여 해당 손가락이 향하는 위치를 확인할 수 있고, 이를 이용하여 손 모양이 지시하는 방향을 확인할 수 있다.
제스처 인식부(133)는 손 영상 검출부(131)에서 검출한 동작 포인트 값의 이동 경로를 인식하여 제스처를 인식할 수 있다. 이러한 동작 포인트로는 손 모양이 변화하더라도 그 위치가 변하지 않는 위치가 바람직하게 사용된다. 이러한 위치의 일 예는 손바닥의 중앙부일 수 있다. 손바닥의 중앙부가 동작 포인트가 되면, 손 영상이 이동하지 않는 상태로 손 모양만이 변하더라도 동작 포인트 값은 동일한 위치에 존재할 수 있다. 따라서, 동작 포인트 값은 손 모양이 아닌 제스처에만 영향을 받기 때문에 동작 포인트 값의 변화를 추적함으로써 제스처를 인식할 수 있다.
그러나 이러한 동작 포인트 값은 필요에 따라 다른 관절로 변경될 수 있다. 일 예로, 동작 포인트 값은 필요에 따라 특정 손가락의 마지막 관절로 설정할 수 있다. 이 경우, 해당 관절 좌표의 변화를 추적함으로써 제스처를 인지할 수 있게 된다.
일 예로, 손 영상이 검지 손가락만 편 상태로 원을 그리는 경우, 동작 포인트 값을 가지는 검지 손가락의 마지막 관절의 좌표가 원을 그리며 이동하게 되고, 제스처 인식부(133)는 이러한 동작 포인트 값을 추적하여 해당 제스처를 인식할 수 있다.
도 6은 종래의 제스처를 확인하는 방법에서 사용하는 무게 중심 값의 손 모양에 따른 위치 변화와, 본 발명의 제스처를 확인하는 방법에서 사용하는 위치가 변하지 않는 동작 포인트 값의 손 모양에 따른 위치 변화를 비교하여 도시한 그래프이다.
도 6에서 확인할 수 있듯이, 무게 중심 값은 손 모양 1 내지 손 모양 13에서 일정하지 않게 나타났지만, 동작 포인트 값은 손 모양 1 내지 손 모양 13에서 거의 일정하게 나타났다. 본 발명의 제스처 인식부(133)는 이러한 손 모양의 변화에 관계없이 일정한 위치를 가지는 동작 포인트 값을 이용함으로써 제스처를 보다 정확히 인식할 수 있다.
손 모양 및 제스처 저장부(134)는 손 모양 및 제스처를 저장하고, 후술되는 제어 명령 판단부(136)로 저장된 손 모양 및 제스처를 전달한다. 손 모양 및 제스처 저장부(134)는 상술한 바와 같이, 도 4를 이용하여 획득한 손 영상에 포함되는 관절을 저장하고, 기기 제어를 위한 손 모양 및 제스처를 저장한다.
여기서, 기기 제어를 위한 손 모양 및 제스처는 기 학습되어 저장될 수도 있고, 사용자의 설정에 따라 새로운 손 모양 및 제스처를 업데이트함으로써 저장될 수도 있다. 이때, 손 모양 및 제스처 저장부(134)에 저장되는 손 모양 및 제스처는 후술되는 제어 명령 저장부(135)에 저장되는 제어 명령과 대응할 수 있다.
제어 명령 저장부(135)는 손 모양 및 제스처 저장부(134)에 저장되는 손 모양 및 제스처와 대응하는 제어 명령을 저장한다. 제어 명령은 차량에 설치된 기기를 제어하는 명령으로써, 손 모양 및 제스처 각각에 대응하도록 저장된다.
일 예로, 제어 명령 저장부(135)는 기기 종류 결정 명령을 손 모양에 대응시킬 수 있고, 제어 명령을 제스처에 대응시킬 수 있다. 즉, 제어 명령 저장부(135)는 손 모양이 검지 손가락만 편 모양인 경우, 에어컨을 제어하도록 설정할 수 있고, 제스처가 시계방향으로 원을 그리는 경우 전원을 켜도록 설정할 수 있다. 이를 통해, 손 모양 및 제스처의 조합을 이용하여 다양한 기기를 제어할 수 있는 제어 명령을 저장할 수 있다.
또, 제어 명령 저장부(135)는 기기 종류 결정 명령을 손 모양이 지시하는 방향에 대응시킬 수도 있다.
제어 명령 판단부(136)는 손 모양 인식부(132) 및 제스처 인식부(133)에서 인식된 손 모양 및 제스처가 제어 명령 저장부(135)에 저장된 제어 명령과 대응하는지 여부를 판단한다.
제어 명령 판단부(136)는 제어 명령 저장부(135)에 저장된 제어 명령과 손 모양 인식부(132) 및 제스처 인식부(133)에서 인식한 손 모양 및 제스처의 대응 여부를 판단한다. 이때, 제어 명령과 손 모양 및 제스처가 대응하는 경우, 제어 명령 판단부(136)는 해당 손 모양 및 제스처가 대응하는 제어 명령을 출력하여 기기를 제어하고, 기기 제어가 종료되면 해당 기기 제어 결과를 사용자에게 출력한다.
또, 제어 명령 판단부(136)는 제어 명령 저장부(135)에 저장된 제어 명령과 손 모양 인식부(132) 및 제스처 인식부(133)에서 인식한 손 모양 및 제스처가 대응하지 않는 경우, 해당 손 모양 및 제스처를 노이즈로 판단하고 기기 제어 명령을 출력하지 않으며 사용자에게 노이즈 발생 메시지를 출력할 수 있다.
한편, 상술한 손 모양 및 제스처에 의한 기기 제어 장치(100)를 이용하여 손 모양 및 제스처를 인식하고 기기를 제어할 수 있는 손 모양 및 제스처에 의한 기기 제어 방법이 도 7 및 도 8에 도시되어 있다.
도 7을 살펴보면, 본 발명의 한 실시예에 따른 손 모양 및 제스처에 의한 기기 제어 방법(700)은 영상 촬영부에서 카메라를 이용하여 영상을 획득하는 단계(S710), 획득한 영상에 손 영상이 포함되는지 여부를 확인하는 단계(S720), 손 영상으로부터 손 모양 및 제스처를 인식하는 단계(S730), 획득한 손 모양 및 제스처가 기 학습된 손 모양 및 제스처와 일치하는지 판단하는 단계(S740), 및 해당 손 모양 및 제스처와 일치하는 기기를 제어하고, 제어 결과를 출력하는 단계(S750)를 포함한다.
이하에서는 도 1 내지 도 6에 도시된 손 모양 및 제스처에 의한 기기 제어 장치(100)를 이용하여 본 발명의 한 실시예에 따른 손 모양 및 제스처에 의한 기기 제어 방법(700)을 보다 상세히 설명하도록 한다.
본 발명의 한 실시예에 따른 손 모양 및 제스처에 의한 기기 제어 방법(700)은 먼저, 영상 촬영부에서 깊이 카메라를 이용하여 영상을 획득한다(단계 S710).
영상 촬영부는 깊이 카메라를 이용하여 영상을 획득한다. 이때, 바람직하게는 영상 촬영부는 깊이 카메라의 촬영 범위을 지정하여 해당 촬영 공간에서의 영상만을 촬영할 수 있다. 깊이 카메라는 차량의 기어 주변부 또는 리어뷰 미러의 주변부에 구비되어 영상을 촬영할 수 있고, 기어부와 센터페시아 사이의 공간을 촬영 범위로 지정할 수 있다. 또, 깊이 카메라를 이용하여 영상을 획득함으로써, 획득한 영상은 3차원 입체 영상 정보로 획득될 수 있다.
다음으로, 획득한 영상에 손 영상이 포함되는지 여부를 확인한다(단계 S720).
단계 S710에서 획득한 영상은 손 영상 검출부로 전달되어 손 영상이 검출된다. 이때, 손 영상 검출부에서 손 영상을 검출하지 못한 경우, 단계 S710으로 돌아가 깊이 카메라로부터 영상을 획득하고, 손 영상을 검출한 경우, 손 영상 검출부에서 관절 정보 및 동작 포인트 정보를 검출한다(단계 S721).
여기서, 관절 정보는 손의 모든 관절에 대한 각각의 공간 좌표를 포함하며, 동작 포인트 정보는 동작 인지를 위해 기준이 되는 동작 포인트에 대한 공간 좌표를 포함한다.
또, 본 발명의 한 실시예에서, 관절 정보는 도 3에 도시된 바와 같이 3D랜더링 툴을 사용하여 만들어낸 손 모델 데이터에 랜덤 포레스트를 적용함으로써 획득하였다.
한편, 영상 검출부는 사용자의 설정에 따라 단계 S710 및 단계 S720을 하나의 단계로 수행할 수도 있다. 이때, 영상 검출부는 촬영 범위를 촬영하는 깊이 카메라의 촬영 범위 내에서 손 영상이 획득되지 않는 경우, 즉 획득하는 영상의 변화가 없는 경우 영상 촬영부를 대기모드로 전환함으로써 단계 S710 및 단계 S720을 하나의 "손 영상을 획득하는 단계"로 수행할 수도 있다.
다음으로, 손 영상으로부터 손 모양 및 제스처를 인식한다(S730).
단계 S721에서 검출된 손 영상의 관절 정보 및 동작 포인트 정보는 손 모양 인식부 및 제스처 인식부로 전달되고, 손 모양 인식부는 관절 정보를 이용하여 손 모양을 인식하고, 제스처 인식부는 동작 포인트 정보를 이용하여 제스처를 인식할 수 있다. 이때, 손 모양 인식부는 손 모양이 지시하는 방향에 대한 정보를 추가로 획득할 수도 있고, 제스처 인식부는 동작 포인트 정보로써 손 모양이 변하더라도 그 위치가 변하지 않는 좌표인 동작 포인트 값을 포함할 수 있다. 이때, 제스처 인식부는 동작 포인트 값을 위치가 변하지 않는 좌표로 이용할 수도 있지만, 필요에 따라 다른 관절로 변경하여 제스처를 인식할 수도 있다.
다음으로, 인식한 손 모양 및 제스처가 기 저장된 손 모양 및 제스처와 일치하는지의 여부를 판단한다(단계 S740).
인식한 손 모양 및 제스처가 기 저장된 손 모양 및 제스처와 일치하지 않는 경우, 손 모양 및 제스처에 의한 기기 제어 장치는 단계 S710으로 돌아가 영상을 계속해서 획득할 수 있다.
한편, 인식한 손 모양 및 제스처가 기 저장된 손 모양 및 제스처와 일치하는 경우, 제어 명령 판단부에서 해당 손 모양 및 제스처와 대응하는 기기 제어 명령을 출력하여 기기를 제어하고, 기기의 제어 결과를 사용자에게 출력함으로써 피드백 한다.(단계 S750).
도 8에는 상술한 단계 S730 내지 단계 S740의 손 모양 및 제스처 인식 및 일치 여부를 확인하는 방법에 대해 보다 상세히 도시되어 있다. 도 8을 참조하면 손 모양 및 제스처 인식 및 일치 여부를 확인하는 보다 상세한 방법은 제스처를 감지하는 단계(S810), 제스처를 인식하는 단계(S820), 등록된 동작인지 판단하는 단계(S830), 손 모양을 인식하는 단계(S840), 및 저장 모양과 일치하는지 판단하는 단계(S850)를 포함한다.
먼저, 손 영상 검출부는 손 영상을 검출하면 제스처의 감지 여부를 확인한다(단계 S810). 이때, 제스처를 감지하지 못하는 경우, 손 모양 인식부는 손 모양을 인식하고(단계 S811), 인식한 손 모양을 저장한 후(단계 S813), 다시 손 영상을 획득하여 손 영상 검출부에서 제스처를 감지하는 단계(단계 S810)를 반복한다.
한편, 손 영상 검출부에서 제스처를 감지한 경우, 제스처 인식부는 해당 제스처를 인식한다(단계 S820). 제스처 인식부는 손 영상 검출부에서 제스처를 감지한 경우, 해당 손 영상의 관절 정보 및 동작 포인트 정보를 획득하여 동작 포인트 값의 변화를 인식함으로써 제스처를 인식할 수 있다.
다음으로, 제어 명령 판단부에서는 인식한 제스처가 기 저장된 제스처와 일치하는지, 즉 등록된 제스처인지 판단한다(단계 S830). 이때, 등록된 제스처와 기 저장된 제스처가 일치하지 않는 경우, 다시 손 영상을 검출하여 제스처를 감지하는 단계(S810)를 반복한다.
한편, 인식한 제스처가 등록된 제스처와 일치하는 경우, 손 모양 인식부는 손 영상 검출부에서 획득한 손 영상 및 관절 정보를 이용하여 손 모양을 인식한다(단계 S840).
마지막으로, 손 모양을 인식한 후, 제어 명령 판단부는 인식한 손 모양이 저장된 손 모양과 일치하는지를 판단하고(단계 S850), 일치하지 않는 경우, 단계 S810을 반복한다. 이때, 인식한 손 모양과 저장된 손 모양이 일치하는 경우, 제어 명령 판단부는 해당 기기 제어 명령을 출력하여 기기 제어를 수행하고, 그 결과를 사용자에게 출력하여 피드백 한다(단계 S851).
여기서, 저장된 손 모양은 단계 S813에서 획득한 제스처가 감지되지 않은 상태의 손 모양 및 기 학습된 손 모양일 수 있다. 즉, 등록된 제스처를 수행하는 과정에서의 손 모양이 제스처를 시작할 때 획득한 손 모양과 일치하는 경우, 제어 명령 판단부는 해당 손 모양 및 제스처를 노이즈가 아닌 것으로 판단하며, 노이즈가 아닌 해당 손 모양이 기 학습된 손 모양과 일치하는지를 판단할 수 있다.
따라서, 제어 명령 판단부는 손 모양 및 제스처가 노이즈이거나, 노이즈가 아니더라도 기 학습된 손 모양과 일치하지 않는 경우, 단계 S810으로 돌아가 제스처를 감지하고, 노이즈가 아니면서 기 학습된 손 모양과 일치하는 경우, 해당 기기 제어 명령을 출력하여 기기 제어를 수행하고 그 결과를 사용자에게 출력하여 피드백한다(단계 S851).
상기와 같은 방법들은 도 1에 도시된 바와 같은 손 모양 및 제스처에 의한 기기 제어 장치(100)에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독 가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
이 때, 컴퓨터 판독 가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함하며, 예를 들면, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등일 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
100: 손 모양 및 제스처에 의한 기기 제어 장치
110: 영상 촬영부 130: 동작 인식 제어 장치
131: 손 영상 검출부 132: 손 모양 인식부
133: 제스처 인식부 134: 손 모양 및 제스처 저장부
135: 제어 명령 저장부 136: 제어 명령 판단부

Claims (12)

  1. 손 영상을 인식하여 차량의 기기를 제어하는 장치에 있어서,
    상기 손 영상을 촬영하는 영상 촬영부; 및
    상기 촬영된 영상을 분석하여 손 모양, 제스처, 손 모양과 제스처의 조합 중 적어도 하나를 이용하여 제어 명령을 전달하는 동작 인식 제어 장치;를 포함하며,
    상기 동작 인식 제어 장치는,
    상기 손 영상을 생성하고, 관절의 3차원 공간 좌표와 동작 포인트의 좌표를 획득하며, 상기 영상 촬영부를 제어하는 손 영상 검출부;
    상기 손 영상 및 상기 관절의 3차원 공간 좌표를 이용하여 상기 손 모양을 인식하는 손 모양 인식부; 및
    상기 동작 포인트의 좌표를 이용하여 제스처를 인식하는 제스처 인식부;를 포함하며,
    상기 동작 포인트는,
    손 중에 손 모양이 변화하더라도 일정한 위치를 가지는 지점인 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 장치.
  2. 제1항에 있어서,
    상기 동작 인식 제어 장치는,
    기 학습된 손 모양 및 제스처를 저장하는 손 모양 및 제스처 저장부;
    상기 제어 명령을 저장하는 제어 명령 저장부; 및
    상기 손 모양, 상기 제스처, 상기 손 모양과 제스처의 조합 중 적어도 하나를 상기 기 학습된 손 모양 및 제스처와 일치 여부를 판단하여, 일치하는 경우 상기 제어 명령을 이용하여 상기 차량의 기기를 제어하고, 그 결과를 사용자에게 출력하는 제어 명령 판단부;를 더 포함하며,
    상기 동작 포인트는,
    손바닥의 중앙부인 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 장치.
  3. 제1항에 있어서,
    상기 손 영상 검출부는,
    상기 영상 촬영부의 촬영 범위를 정의하며, 상기 영상 촬영부의 동작 모드를 제어하고,
    상기 동작모드는,
    상기 촬영 범위에 영상 정보가 없는 경우에 전환되는 대기모드와, 대기모드 중에 상기 촬영 범위 내에서 영상 정보가 존재하는 경우에 전환되는 촬영모드를 포함하는 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 장치.
  4. 제3항에 있어서,
    상기 손 모양 인식부는,
    상기 관절의 3차원 공간 좌표 및 상기 관절의 3차원 공간 좌표를 연결하는 선을 이용하여 상기 손 모양을 인식하는 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 장치.
  5. 제1항에 있어서,
    상기 손 모양 인식부는,
    인식한 손 모양 및 관절의 3차원 공간 좌표를 이용하여 손 모양의 지시 방향을 확인하는 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 장치.
  6. 손 영상을 인식하여 차량의 기기를 제어하는 방법에 있어서,
    a) 손 모양 및 제스처를 인식하는 단계;
    b) 상기 손 모양 및 제스처와 기 학습된 손 모양 및 제스처가 일치하는지 여부를 확인하는 단계; 및
    c) 상기 손 모양, 상기 제스처 및 상기 손 모양과 제스처의 조합 중 적어도 하나를 이용하여 기기 제어를 수행하는 단계;를 포함하며,
    상기 단계 a)는,
    상기 손 영상으로부터 관절의 3차원 공간 좌표와 동작 포인트의 좌표를 획득하고, 상기 손 영상 및 상기 관절의 3차원 공간 좌표를 이용하여 상기 손 모양을 인식하며, 상기 동작 포인트의 좌표를 이용하여 상기 제스처를 인시하고,
    상기 동작 포인트는,
    손 중에 손 모양이 변화하더라도 일정한 위치를 가지는 지점인 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 방법.
  7. 제6항에 있어서,
    상기 동작 포인트는,
    손바닥의 중앙부인 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 방법.
  8. 삭제
  9. 제6항 또는 제7항에 있어서,
    상기 단계 b) 내지 상기 단계 c)는,
    1) 상기 제스처의 시작 여부를 판단하는 단계;
    2) 상기 제스처가 시작된 경우, 상기 제스처를 인식하고, 기 학습 여부를 판단하는 단계;
    3) 상기 제스처가 기 학습된 경우, 상기 손 모양을 인식하고, 상기 손 모양의 기 저장 여부를 판단하는 단계; 및
    4) 상기 손 모양이 기 저장된 경우, 상기 손 모양, 상기 제스처 및 상기 손 모양과 제스처의 조합 중 적어도 하나를 이용하여 상기 기기 제어를 수행하는 단계;
    를 더 포함하는 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 방법.
  10. 제9항에 있어서,
    상기 단계 1)은,
    상기 제스처가 시작되지 않은 경우, 상기 손 모양을 인식하고 상기 인식한 손 모양을 저장하는 단계를 더 포함하는 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 방법.
  11. 제10항에 있어서,
    상기 단계 3)은,
    상기 제스처가 기 학습되지 않은 경우, 상기 단계 1)을 수행하는 단계를 더 포함하는 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 방법.
  12. 제11항에 있어서,
    상기 단계 4)는,
    상기 단계 1)에서 인식되어 저장된 상기 손 모양과의 일치 여부를 확인하는 단계; 및
    상기 기 학습 된 손 모양과의 일치 여부를 판단하는 단계;를 더 포함하며,
    상기 저장된 손 모양 또는 상기 기 학습된 손 모양 중 어느 하나와 일치하지 않는 경우, 단계 1)을 수행하는 것을 더 포함하는 것을 특징으로 하는 손 모양 및 제스처에 의한 기기 제어 방법.
KR1020150148912A 2015-10-26 2015-10-26 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치 KR101724108B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150148912A KR101724108B1 (ko) 2015-10-26 2015-10-26 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150148912A KR101724108B1 (ko) 2015-10-26 2015-10-26 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치

Publications (1)

Publication Number Publication Date
KR101724108B1 true KR101724108B1 (ko) 2017-04-06

Family

ID=58584054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150148912A KR101724108B1 (ko) 2015-10-26 2015-10-26 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치

Country Status (1)

Country Link
KR (1) KR101724108B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180130869A (ko) * 2017-05-30 2018-12-10 주식회사 케이티 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
KR20190076202A (ko) * 2017-12-22 2019-07-02 주식회사 알체라 3차원 손 자세 인식 장치 및 방법
CN111124117A (zh) * 2019-12-19 2020-05-08 芋头科技（杭州）有限公司 基于手绘草图的增强现实交互方法和设备
KR20200063727A (ko) * 2018-11-28 2020-06-05 전자부품연구원 제스처 인식 방법 및 장치
WO2021035646A1 (zh) * 2019-08-29 2021-03-04 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050019036A (ko) * 2003-08-11 2005-02-28 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
KR20110097504A (ko) * 2010-02-25 2011-08-31 삼성전자주식회사 사용자 모션 인식 방법 및 장치
KR101199144B1 (ko) 2010-06-28 2012-11-09 현대자동차주식회사 동작 인식에 의한 차량 제어 시스템
KR101513540B1 (ko) * 2014-07-14 2015-04-21 연세대학교 산학협력단 손 제스처 인식에 의한 차량 제어 장치 및 방법
KR20150067680A (ko) * 2013-12-10 2015-06-18 현대자동차주식회사 차량용 제스처 인식 시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050019036A (ko) * 2003-08-11 2005-02-28 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
KR20110097504A (ko) * 2010-02-25 2011-08-31 삼성전자주식회사 사용자 모션 인식 방법 및 장치
KR101199144B1 (ko) 2010-06-28 2012-11-09 현대자동차주식회사 동작 인식에 의한 차량 제어 시스템
KR20150067680A (ko) * 2013-12-10 2015-06-18 현대자동차주식회사 차량용 제스처 인식 시스템 및 그 방법
KR101513540B1 (ko) * 2014-07-14 2015-04-21 연세대학교 산학협력단 손 제스처 인식에 의한 차량 제어 장치 및 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180130869A (ko) * 2017-05-30 2018-12-10 주식회사 케이티 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
KR102343963B1 (ko) * 2017-05-30 2021-12-24 주식회사 케이티 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템
KR20190076202A (ko) * 2017-12-22 2019-07-02 주식회사 알체라 3차원 손 자세 인식 장치 및 방법
KR102382883B1 (ko) * 2017-12-22 2022-04-06 주식회사 알체라 3차원 손 자세 인식 장치 및 방법
KR20200063727A (ko) * 2018-11-28 2020-06-05 전자부품연구원 제스처 인식 방법 및 장치
KR102335212B1 (ko) * 2018-11-28 2021-12-07 한국전자기술연구원 제스처 인식 방법 및 장치
WO2021035646A1 (zh) * 2019-08-29 2021-03-04 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统
US11782514B2 (en) 2019-08-29 2023-10-10 SZ DJI Technology Co., Ltd. Wearable device and control method thereof, gesture recognition method, and control system
CN111124117A (zh) * 2019-12-19 2020-05-08 芋头科技（杭州）有限公司 基于手绘草图的增强现实交互方法和设备
CN111124117B (zh) * 2019-12-19 2024-03-29 芋头科技（杭州）有限公司 基于手绘草图的增强现实交互方法和设备

Similar Documents

Publication Publication Date Title
KR101724108B1 (ko) 손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치
US9524554B2 (en) Control device with passive reflector
US9367138B2 (en) Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
US10642372B2 (en) Apparatus and method for remote control using camera-based virtual touch
EP2876484B1 (en) Maintenance assistant system
RU2455676C2 (ru) Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
EP2920672B1 (en) Associating an object with a subject
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
WO2019176308A1 (ja) 情報処理装置、情報処理方法、および、プログラム
WO2013103410A1 (en) Imaging surround systems for touch-free display control
JP4968922B2 (ja) 機器制御装置及び制御方法
US10534426B2 (en) Interactive system, remote controller and operating method thereof
KR101662022B1 (ko) 제스쳐를 이용한 디바이스 제어 장치 및 그 방법
CN107272902A (zh) 基于体感交互的智能家居服务端、控制系统及控制方法
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
JP2017097608A (ja) 画像認識装置
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
US20210064334A1 (en) Device operation apparatus, device operation system and device operation method
CN106951077B (zh) 一种提示方法及第一电子设备
KR101812605B1 (ko) 제스처를 이용한 사용자 입력 표시 장치 및 방법
TWI737588B (zh) 拍照系統及方法
US20230140030A1 (en) Method, system and recording medium for accessory pairing
CN111796740A (zh) 基于可穿戴智能设备的无人车控制方法、装置及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 4