KR101611709B1 - 핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법 - Google Patents

핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR101611709B1
KR101611709B1 KR1020140089857A KR20140089857A KR101611709B1 KR 101611709 B1 KR101611709 B1 KR 101611709B1 KR 1020140089857 A KR1020140089857 A KR 1020140089857A KR 20140089857 A KR20140089857 A KR 20140089857A KR 101611709 B1 KR101611709 B1 KR 101611709B1
Authority
KR
South Korea
Prior art keywords
hand
display
coordinate system
document
point
Prior art date
Application number
KR1020140089857A
Other languages
English (en)
Other versions
KR20160009777A (ko
Inventor
신동규
신동일
전창현
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020140089857A priority Critical patent/KR101611709B1/ko
Publication of KR20160009777A publication Critical patent/KR20160009777A/ko
Application granted granted Critical
Publication of KR101611709B1 publication Critical patent/KR101611709B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법이 개시된다. 멀티-모달 시스템의 제어 방법은, 디스플레이의 x-방향 및 y-방향을 각각 기설정된 값들로 등분한 가상의 격자좌표계를 상기 디스플레이에 설정하는 단계; 상기 가상의 격자좌표계에 대응하는 다른 가상의 격자좌표계를 손 영상에 설정하는 단계; 상기 손 영상에 포함된 손에서 하나의 포인트를 설정하는 단계; 및 상기 포인트의 상기 다른 가상의 격자좌표계에서의 좌표를 이용하여 상기 디스플레이를 제어하는 단계를 포함할 수 있다.

Description

핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법{MULTI-MODAL SYSTEM FOR DISPLAYING HAND MOUSE RECOGNITION REGION AND MAPPING BETWEEN HAND MOUSE AND MONITOR USER INTERFACE AND CONTROL METHOD THEREOF}
본 발명의 실시예들은 핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법에 관한 것이다.
사람과 컴퓨터간의 인터페이스로 키보드와 마우스가 주로 사용되어 왔다. 최근, 유비쿼터스 시대가 도래하면서 스마트폰의 활용이 대두 되었고, 각 디바이스들은 하나로 통합되고 있다. 이에 따라, 인터페이스도 NUI(Natural User Interface) 또는 NUX(Natural User eXperience)로 발전하였고 터치, 모션 트래킹, 음성, 표정 인식과 같은 멀티 모달 형식으로 더욱 높은 인지 능력과 직관적인 인터페이스가 되도록 각 디바이스 단계에서 개발되고 있다.
영상 디스플레이 장치의 다양화로 새로운 인터페이스의 수요가 늘고 있으며, 컴퓨터와 인간과의 의사 전달을 위해서, 현재 상용되고 있는 마우스, 키보드, 더 나아가 직접적 시각 제어장치인 터치스크린, 심지어 몸동작과 손동작을 통해 제어되는 공간 터치 등 단순하면서도 직관적인 제어방법으로 연구가 점차 증가하는 추세이다.
음성과 몸동작은 인간과 인간의 의사소통에 중요한 수단이며 컴퓨터 비젼 관련 분야에서 음성 및 몸동작을 인식하기 위한 다양한 기술이 개발되어 왔다. 이러한 기술은 인간-컴퓨터 상호작용(Hunan-Computer Interaction, HCI)의 한 분야이며 더 정확한 표현으로 사람의 신체기관으로 컴퓨터와 상호작용하는 기술을 상술한 NUI 또는 NUX라 한다.
손동작을 이용하여 직관적인 NUI(Natural User Interface)를 제공할 수 있는 멀티-모달 시스템 및 그 제어 방법을 제공한다.
멀티-모달 시스템의 제어 방법에 있어서, 디스플레이의 x-방향 및 y-방향을 각각 기설정된 값들로 등분한 가상의 격자좌표계를 상기 디스플레이에 설정하는 단계; 상기 가상의 격자좌표계에 대응하는 다른 가상의 격자좌표계를 손 영상에 설정하는 단계; 상기 손 영상에 포함된 손에서 하나의 포인트를 설정하는 단계; 및 상기 포인트의 상기 다른 가상의 격자좌표계에서의 좌표를 이용하여 상기 디스플레이를 제어하는 단계를 포함하는 제어 방법이 제공된다.
일측에 따르면, 상기 좌표는, 상기 디스플레이에서 마우스 포인트의 위치와 연관되고, 상기 디스플레이를 제어하는 단계는, 상기 좌표를 상기 디스플레이에 설정된 격자좌표계의 좌표에 대응시켜 상기 좌표의 이동에 따라 상기 마우스 포인트를 이동시키는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 디스플레이에 설정된 격자좌표계 및 상기 손 영상에 설정된 격자좌표계 각각은, x-방향이 n 등분되고, y-방향이 m 등분되며, 상기 n 및 상기 m은 2 이상의 자연수인 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 손 이미지에서 설정된 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 상기 손의 손가락이 접하는 개수에 기반하여 상기 손의 손동작을 인식하는 단계를 더 포함하고, 상기 디스플레이를 제어하는 단계는, 상기 손의 손동작에 따라 서로 다른 기능이 수행되도록 상기 디스플레이를 제어하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 디스플레이에 설정하는 단계, 손 영상에 설정하는 단계, 상기 하나의 포인트를 설정하는 단계 및 상기 디스플레이를 제어하는 단계 중 적어도 하나의 단계는, XML(eXtensible Markup Language) 스크립트를 이용하여 생성되는 XML 문서 또는 상기 XML 문서가 상기 멀티-모달 시스템의 특성에 따라 변환된 문서에 포함된 명령에 기반하여 수행되는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 XML 문서 또는 상기 변환된 문서는, 클라우드 시스템에 저장 및 관리되고, 상기 제어 방법은, 상기 클라우드 시스템으로부터 상기 XML 문서 또는 상기 변환된 문서를 다운로드하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 하나의 포인트는, 상기 손의 중심점을 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 손 영상은, 상기 멀티-모달 시스템이 포함하는 카메라를 통해 생성되는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 손 영상은, 상기 멀티-모달 시스템이 포함하는 깊이 센서의 출력을 더 포함하고, 상기 디스플레이를 제어하는 단계는, 상기 출력의 깊이에 대한 정보를 더 이용하여 상기 디스플레이를 제어하는 것을 특징으로 할 수 있다.
클라우드 시스템의 문서 배포 방법에 있어서, XML(eXtensible Markup Language) 스크립트를 이용하여 생성되는 XML 문서 또는 상기 XML 문서가 장치의 특성에 따라 변환된 문서를 수신하는 단계; 상기 XML 문서 또는 상기 변환된 문서를 스토리지 유닛에 저장 및 관리하는 단계; 및 상기 장치의 요청에 따라 상기 XML 문서 또는 상기 변환된 문서를 네트워크를 통해 상기 장치로 전송하는 단계를 포함하고, 상기 XML 문서 또는 상기 변환된 문서는, 상기 장치가 포함하는 디스플레이의 x-방향 및 y-방향을 각각 기설정된 값들로 등분한 가상의 격자좌표계를 상기 디스플레이에 설정하도록 상기 장치를 제어하는 기능; 상기 가상의 격자좌표계에 대응하는 다른 가상의 격자좌표계를 손 영상에 설정하도록 상기 장치를 제어하는 기능; 상기 손 영상에 포함된 손에서 하나의 포인트를 설정하도록 상기 장치를 제어하는 기능; 및 상기 포인트의 상기 다른 가상의 격자좌표계에서의 좌표를 이용하여 상기 디스플레이를 제어하도록 상기 장치를 제어하는 기능을 포함하는 것을 특징으로 하는 문서 배포 방법이 제공된다.
멀티-모달 시스템에 있어서, 디스플레이의 x-방향 및 y-방향을 각각 기설정된 값들로 등분한 가상의 격자좌표계를 상기 디스플레이에 설정하고, 상기 가상의 격자좌표계에 대응하는 다른 가상의 격자좌표계를 손 영상에 설정하는 좌표계 설정부; 상기 손 영상에 포함된 손에서 하나의 포인트를 설정하는 포인트 설정부; 및 상기 포인트의 상기 다른 가상의 격자좌표계에서의 좌표를 이용하여 상기 디스플레이를 제어하는 디스플레이 제어부를 포함하는 멀티-모달 시스템이 제공된다.
클라우드 시스템에 있어서, XML(eXtensible Markup Language) 스크립트를 이용하여 생성되는 XML 문서 또는 상기 XML 문서가 장치의 특성에 따라 변환된 문서를 수신하는 문서 수신부; 상기 XML 문서 또는 상기 변환된 문서를 스토리지 유닛에 저장 및 관리하는 문서 관리부; 및 상기 장치의 요청에 따라 상기 XML 문서 또는 상기 변환된 문서를 네트워크를 통해 상기 장치로 전송하는 문서 전송부를 포함하고, 상기 XML 문서 또는 상기 변환된 문서는, 상기 장치가 포함하는 디스플레이의 x-방향 및 y-방향을 각각 기설정된 값들로 등분한 가상의 격자좌표계를 상기 디스플레이에 설정하도록 상기 장치를 제어하는 기능; 상기 가상의 격자좌표계에 대응하는 다른 가상의 격자좌표계를 손 영상에 설정하도록 상기 장치를 제어하는 기능; 상기 손 영상에 포함된 손에서 하나의 포인트를 설정하도록 상기 장치를 제어하는 기능; 및 상기 포인트의 상기 다른 가상의 격자좌표계에서의 좌표를 이용하여 상기 디스플레이를 제어하도록 상기 장치를 제어하는 기능을 포함하는 것을 특징으로 하는 클라우드 시스템이 제공된다.
손동작을 이용하여 직관적인 NUI(Natural User Interface)를 제공할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 손동작을 이용한 NUI의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 손가락 개수 인식 방법의 예를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 도 1의 제6 사진(160)을 확대한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 손 또는 손가락의 구부림을 체크하는 방법의 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 손가락의 구부림을 체크하는 방법의 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 있어서, 모니터와 카메라 손 영상간의 매칭 예를 도시한 도면이다.
도 7은 본 발명의 일실시예에 있어서, XML 문서를 각 디바이스별로 변환하는 예를 도시한 도면이다.
도 8은 본 발명의 일실시예에 있어서, NUI를 위한 클라우드 환경의 예를 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 있어서, 멀티-모달 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 10은 본 발명의 일실시예에 있어서, 멀티-모달 시스템의 제어 방법을 도시한 흐름도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 있어서, 손동작을 이용한 NUI의 예를 도시한 도면이다. 도 1은 사용자의 손(110)이 이동함에 따라 디스플레이 장치(120)에 표시중인 객체(130)가 손(110)의 이동에 대응하여 이동하는 직관적인 NUI의 예를 나타내고 있다. 일례로, 적어도 카메라를 포함하는 센서(140)는 손(110)의 이동과 관련된 손 영상을 생성할 수 있으며, 이러한 손 영상에서 손(110)의 위치 변화를 통해 손(110)의 이동이 감지될 수 있다.
이러한 직관적인 NUI의 예로, 본 실시예에 따른 멀티-모달 시스템은, 사용자가 사진기의 셔터를 누르는 손동작을 장치에 포함된 카메라의 촬영 명령으로 인식하거나, 또는 윈도우 창 틀을 잡아 늘리는 손동작을 모니터에 표시된 윈도우 창의 크기를 키우기 위한 명령으로 인식할 수 있다.
이러한 핸드 마우스를 위한 손동작을 인식하기 위해서는, 손가락 인식이 선행될 수 있다.
도 2는 본 발명의 일실시예에 있어서, 손가락 개수 인식 방법의 예를 설명하기 위한 도면이다. 하나의 손으로 표현할 수 있는 손가락의 개수는 도 2의 사진들(210 내지 260)에 도시된 바와 같이 '0~5'의 총 6 가지의 경우이다. 본 실시예에 따른 멀티-모달 시스템에서는, 손의 중심점을 기준(원점)으로 하는 가상의 원과 손가락과의 접점의 수(가상의 원과 손가락이 접하는 개수)를 이용하여 펼쳐진 손가락의 개수를 인식할 수 있다. 도 2의 예에서, 제1 사진(210)은 0개, 제2 사진(220)은 1개, 제3 사진(230)은 2개, 제4 사진(240)은 3개, 제5 사진(250)은 4개, 그리고 제6 사진(260)은 5개의 손가락이 각각 펼쳐진 경우를 나타내고 있다. 이때, 기설정된 값(스레스홀드 값)을 반지름으로 하는 가상의 원과 손가락이 접하는 개수가 펼쳐진 손가락의 개수를 나타낼 수 있다.
도 3은 본 발명의 일실시예에 있어서, 도 2의 제6 사진(260)을 확대한 도면이다. 도 3에서 제6 사진(260)은 사용자의 손에 대한 중심점(310)을 기준으로, 스레스홀드 값을 반지름으로 하는 가상의 원(320), 그리고 중심점(310)과 사용자의 손가락 끝점을 잊는 선들과의 접점들(331 내지 335)을 나타내고 있다. 이때, 접점들의 수는 총 5개로, 제6 사진(260)에서 펼쳐진 손가락의 수에 대응됨을 알 수 있다.
더욱 섬세한 손동작 인식을 위해, 사용자 손 영상에서 손의 중심점(310)을 기준으로 하는 가상의 원은 다양하게 이용될 수 있다.
도 4는 본 발명의 일실시예에 있어서, 손의 구부림을 체크하는 방법의 예를 설명하기 위한 도면이다. 도 4의 제1 사진(410)은 손을 펼친 상태를 나타내는 영상으로, 손의 중심점과 집게 손가락(검지)의 끝점을 연결하는 선을 반지름으로 하는 제1 가상의 원(420)을 나타내고 있다. 또한, 도 4의 제2 사진(430)은 손목을 굽힌 상태를 나타내는 영상으로, 역시 손의 중심점과 집게 손가락(검지)의 끝점을 연결하는 선을 반지름으로 하는 제2 가상의 원(440)을 나타내고 있다. 이때, 제1 가상의 원(420)과 제2 가상의 원(440)을 비교하면, 제1 가상의 원(420)의 반지름이 제2 가상의 원(440)의 반지름보다 큼을 알 수 있다. 이는, 손이 구부려지는 경우, 사용자의 손 영상상에서 중심점부터 손가락 끝점까지의 거리가 짧아짐을 의미할 수 있다. 따라서, 본 발명의 실시예들에서는 이러한 사실을 이용하여 손의 구부림 정도를 확인할 수 있다.
도 5는 본 발명의 일실시예에 있어서, 손가락의 구부림을 체크하는 방법의 예를 설명하기 위한 도면이다. 도 5의 제1 사진(510)은 손의 중심점을 기준으로 기설정된 값을 반지름으로 하는 제1 가상의 원(511)을 나타내고 있으며, 이러한 제1 가상의 원(511)과 손가락이 접하는 개수가 5개임을 알 수 있다. 이러한 접하는 개수는 손에서 펼쳐진 손가락의 개수를 의미할 수 있다. 도 5의 제2 사진(520)은 집게 손가락이 구부러진 상태의 손 영상을 나타내고 있다. 본 실시예에서 멀티-모달 시스템은 가상의 원의 반지름을 중심점으로부터 증가시켜가면서, 가상의 원과 손가락이 접하는 개수를 인식할 수 있다. 예를 들어, 제2 가상의 원(521)에서 접하는 개수는 5개인 반면, 제3 가상의 원(522)에서 접하는 개수는 4개이다. 동적인 환경에서, 손 영상이 제1 사진(510)에서 제2 사진(520)으로 변경된 것이라면, 본 실시예에 따른 멀티-모달 시스템은 하나의 손가락의 일부가 구부러진 것임을 인식할 수 있다. 예를 들어, 제2 가상의 원(521)에서 접하는 개수가 5개라는 것은 손가락이 모두 펴진 상태를 의미하나, 제3 가상의 원(522)이 제1 가상의 원(511)과 동일한 원임에도 제3 가상의 원(522)에서 접하는 개수가 4개라는 것은, 하나의 손가락이 구부러져 있음을 의미할 수 있다.
또한, 본 실시예에 따른 멀티-모달 시스템은 손가락의 끝점을 인식하기 때문에, 손가락의 끝점들간의 관계를 통해 집게 손가락이 구부러져 있음을 간편하게 인식할 수 있다.
이와 같이, 손가락 개수의 인식 이후에는, 손과 모니터의 매핑이 필요하다.
도 6은 본 발명의 일실시예에 있어서, 모니터와 카메라 손 영상간의 매칭 예를 도시한 도면이다. 도 6의 실시예에서, 제1 격자(610)는 모니터의 x 방향을 8등분하고, 모니터의 y 방향을 9등분한 가상의 격자좌표의 모습을 나타내고 있다. 이때, 제2 격자(620)는 카메라를 통해 입력되는 영상에 가상의 격자좌표를 설정한 것으로, 제2 격자(620)의 포인트들은 제1 격자(610)의 포인트들과 매칭될 수 있다. 이때, 손 영상의 중심점(621)이 모니터에서 마우스 포인터(611)의 위치에 대응될 수 있다.
이와 같이, 모니터와 영상의 실제 크기와는 무관하게 x 방향과 y 방향을 기설정된 값으로 등분한 격자를 이용함으로써, 장치의 디스플레이 크기나 카메라 성능 등과는 무관하게 어떠한 장치에서건 본 실시예에 따른 멀티-모달 인터페이스가 이용될 수 있다.
이때, 도 2 내지 도 5를 통해 설명한 손동작에 따라 장치에서 다양한 멀티-모달 인터페이스가 이용될 수도 있다. 예를 들어, 집게 손가락의 구부리는 손동작은, 손의 중심점의 위치에 대응하는 마우스 포인트 위치에서의 마우스 클릭 이벤트를 발생시킬 수 있다. 다른 예로, 집게 손가락을 구부린 상태로 손을 이동하는 동작은, 집게 손가락이 구부러지는 위치에 대응하는 객체에 대한 드래그 & 드롭 이벤트나 범위설정 이벤트 등을 발생시킬 수 있다.
또한, 매핑을 위해 필요한 기능과 및 인식된 손동작에 대응하는 처리를 위한 기능은, XML(eXtensible Markup Language) 스크립트를 이용하여 생성되는 XML 문서에 포함될 수 있다. 일례로, 서로 다른 손동작에 대응하는 처리를 위한 기능은 서로 다른 XML 문서로 제작될 수 있다. 따라서, 본 실시예에 따른 멀티-모달 인터페이스를 이용하고자 하는 장치는, 원하는 기능이 포함된 XML 문서를 이용하여 원하는 멀티-모달 인터페이스를 활용할 수 있다.
도 7은 본 발명의 일실시예에 있어서, XML 문서를 각 디바이스별로 변환하는 예를 도시한 도면이다. 생성된 XML 문서는 도 7에 도시된 XSL 변환기와 같은 변환기능을 통해 각 장치의 특성에 알맞은 문서 포맷으로 변환될 수 있다. 예를 들어, XML 문서는 웹브라우저를 위해 HTML 문서로 변환될 수 있고, 스마트폰을 위해 WML 문서로 변환되어, 각 장치의 특성에 알맞게 활용될 수 있다.
도 8은 본 발명의 일실시예에 있어서, NUI를 위한 클라우드 환경의 예를 설명하기 위한 도면이다. 도 8에서는, 다양한 포맷으로 생성된 문서들을 FTP(File Transfer Protocol)를 이용하여 클라우드 시스템(810)에 저장하고, 각 장치에서 필요한 문서를 다운로드하여 활용하는 환경의 예를 나타내고 있다. 각 장치들은, 클라우드 시스템(810)에서 원하는 문서를 다운로드 받아 유효성을 검사한 후, 문서를 파싱하여 활용할 수 있다. 이때, 장치들은 직관적인 손동작에 따라 기설정된 기능들을 실행하기 위한 멀티-모달 인터페이스를 각 문서들에 따라 활용할 수 있게 된다.
도 9는 본 발명의 일실시예에 있어서, 멀티-모달 시스템의 내부 구성을 설명하기 위한 블록도이고, 도 10은 본 발명의 일실시예에 있어서, 멀티-모달 시스템의 제어 방법을 도시한 흐름도이다.
본 실시예에 따른 멀티-모달 시스템(900)은 프로세서(910), 버스(920), 네트워크 인터페이스(930) 및 메모리(940)를 포함할 수 있다. 메모리(940)는 운영체제(941) 및 제어 루틴(942)을 포함할 수 있다. 프로세서(910)는 좌표계 설정부(911), 포인트 설정부(912) 및 디스플레이 제어부(913)를 포함할 수 있다. 다른 실시예들에서 멀티-모달 시스템(900)은 도 9의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 멀티-모달 시스템(900)은 카메라나 디스플레이 또는 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다. 일례로, 디스플레이는 스마트폰에서와 같이 멀티-모달 시스템(900)에 포함될 수도 있으나, PC에서와 같이 멀티-모달 시스템(900)과 연계되는 별도의 장치로 구현될 수도 있다.
메모리(940)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(940)에는 운영체제(941)와 제어 루틴(942)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(940)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(930)를 통해 메모리(940)에 로딩될 수도 있다. 예를 들어, 제어 루틴(942)는 이후 설명될 문서 파일을 이용하여 메모리(940)에 로딩될 수 있다.
버스(920)는 멀티-모달 시스템(900)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(920)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(930)는 멀티-모달 시스템(900)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(930)는 멀티-모달 시스템(900)을 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다. 일례로, 디스플레이가 별도의 장치로 구현된 예에서, 멀티-모달 시스템(900)은 네트워크 인터페이스(930)를 통해 디스플레이와 연결되어 통신할 수 있다.
프로세서(910)는 기본적인 산술, 로직 및 멀티-모달 시스템(900)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(940) 또는 네트워크 인터페이스(930)에 의해, 그리고 버스(920)를 통해 프로세서(910)로 제공될 수 있다. 프로세서(910)는 좌표계 설정부(911), 포인트 설정부(912) 및 디스플레이 제어부(913)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드(일례로, 상술한 제어 루틴(942))는 메모리(940)와 같은 기록 장치에 저장될 수 있다.
이때, 프로세서(910)가 포함하는 좌표계 설정부(911), 포인트 설정부(912) 및 디스플레이 제어부(913)는 도 10에 도시된 제어 방법의 단계들(1010 내지 1040)를 수행하기 위해 구성될 수 있다.
단계(1010)에서 좌표계 설정부(911)는, 디스플레이의 x-방향 및 y-방향을 각각 기설정된 값들로 등분한 가상의 격자좌표계를 디스플레이에 설정할 수 있다. 예를 들어, x-방향은 n(n은 2 이상의 자연수) 등분될 수 있으며, y-방향은 m(m은 2 이상의 자연수) 등분될 수 있다. 이때, 좌표계 설정부(911)는, n-by-m으로 등분된 가상의 격자좌표계를 디스플레이에 설정할 수 있다.
단계(1020)에서 좌표계 설정부(911)는, 가상의 격자좌표계에 대응하는 다른 가상의 격자좌표계를 손 영상에 설정할 수 있다. 이 경우에도, 손 영상에 설정되는 가상의 격자좌표계는 x-방향은 n(n은 2 이상의 자연수) 등분될 수 있으며, y-방향은 m(m은 2 이상의 자연수) 등분될 수 있다. 일례로, 손 영상에 설정된 가상의 격자좌표계에서 포인트 (1, 1)는 디스플레이에 설정되는 가상의 격자좌표계의 포인트 (1, 1)에 대응될 수 있다.
단계(1030)에서 포인트 설정부(912)는, 손 영상에 포함된 손에서 하나의 포인트를 설정할 수 있다. 일례로, 설정되는 포인트는, 손의 중심점을 포함할 수 있다.
단계(1040)에서 디스플레이 제어부(913)는, 포인트의 다른 가상의 격자좌표계에서의 좌표를 이용하여 디스플레이를 제어할 수 있다.
일실시예로, 이미 설명한 바와 같이, 손 영상에 설정되는 가상의 격자좌표계에서의 좌표는, 디스플레이에 설정되는 가상의 격자좌표계에서의 좌표에 대응될 수 있다. 이때, 포인트의 좌표는 디스플레이에서 마우스 포인트의 위치와 연관될 수 있다. 이때, 디스플레이 제어부(913)는 단계(1040)에서, 상기 좌표를 디스플레이에 설정된 격자좌표계의 좌표에 대응시켜 좌표의 이동에 따라 마우스 포인트를 이동시킬 수 있다.
다른 실시예로, 본 실시예에 따른 제어 방법은, 도 10에 도시된 단계들 외에, 손 이미지에서 설정된 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 손의 손가락이 접하는 개수에 기반하여 손의 손동작을 인식하는 단계(미도시)를 더 포함할 수 있다. 이와 같이 손동작을 인식하는 과정은 도 2 내지 도 5를 통해 이미 자세히 설명한 바 있다. 이러한 미도시 단계는 프로세서(910)가 더 포함할 수 있는 손동작 인식부(미도시)에 의해 수행될 수 있다. 이때, 디스플레이 제어부(913)는, 손의 손동작에 따라 서로 다른 기능이 수행되도록 디스플레이를 제어할 수 있다. 이미 단순히 마우스 포인트의 이동뿐만 아니라, 집게 손가락의 구부리는 손동작이나 집게 손가락을 구부린 상태로 손을 이동하는 동작 등과 같이 다양한 손동작을 이용하여 디스플레이에 대한 보다 다양한 제어가 가능함을 이미 설명한 바 있다.
이상에서 설명한 제어 방법의 단계들 중 적어도 하나는, XML(eXtensible Markup Language) 스크립트를 이용하여 생성되는 XML 문서 또는 XML 문서가 멀티-모달 시스템의 특성에 따라 변환된 문서에 포함된 명령에 기반하여 수행될 수 있다.
이러한 XML 문서 또는 변환된 문서는, 멀티-모달 시스템(900)이 상술한 제어 방법의 단계들 중 적어도 하나를 수행하도록 제어하기 위한 기능을 포함할 수 있다. 예를 들어, XML 문서 또는 변환된 문서는, (1) 디스플레이의 x-방향 및 y-방향을 각각 기설정된 값들로 등분한 가상의 격자좌표계를 디스플레이에 설정하도록 멀티-모달 시스템(900)을 제어하는 기능, (2) 가상의 격자좌표계에 대응하는 다른 가상의 격자좌표계를 손 영상에 설정하도록 멀티-모달 시스템(900)을 제어하는 기능, (3) 손 영상에 포함된 손에서 하나의 포인트를 설정하도록 멀티-모달 시스템(900)을 제어하는 기능 및 (4) 상기 포인트의 다른 가상의 격자좌표계에서의 좌표를 이용하여 디스플레이를 제어하도록 멀티-모달 시스템(900)을 제어하는 기능을 포함할 수 있다.
이러한 XML 문서 또는 변환된 문서는, 클라우드 시스템에 저장 및 관리될 수 있다. 이러한 클라우드 시스템은 도 8을 통해 설명한 클라우드 시스템(810)에 대응될 수 있다. 이때, 제어 방법은, 클라우드 시스템으로부터 XML 문서 또는 변환된 문서를 다운로드하는 단계(미도시)를 더 포함할 수 있다. 이러한 미도시 단계는 프로세서(910)가 더 포함할 수 있는 문서 다운로드부(미도시)를 통해 수행될 수 있다.
클라우드 시스템은, XML(eXtensible Markup Language) 스크립트를 이용하여 생성되는 XML 문서 또는 XML 문서가 장치의 특성에 따라 변환된 문서를 수신하는 단계(미도시), XML 문서 또는 변환된 문서를 스토리지 유닛에 저장 및 관리하는 단계(미도시) 및 장치의 요청에 따라 XML 문서 또는 변환된 문서를 네트워크를 통해 장치로 전송하는 단계(미도시)를 포함하는 문서 배포 방법에 따라 XML 문서나 변환된 문서를 멀티-모달 시스템(900)으로 제공할 수 있다. 이러한 미도시 단계들은, 클라우드 시스템이 포함하는 문서 수신부(미도시), 문서 관리부(미도시) 및 문서 전송부(미도시)에 의해 수행될 수 있다.
또 다른 실시예로, 손 영상은, 멀티-모달 시스템(900)이 더 포함할 수 있는 카메라를 통해 생성될 수 있다. 또한, 멀티-모달 시스템(900)은 카메라 외에도, 깊이 센서를 더 포함할 수 있다. 이 경우, 손 영상은, 깊이(depth)에 대한 정보를 더 포함할 수 있고, 디스플레이 제어부(913)는 단계(1040)에서 깊이에 대한 정보를 더 이용하여 디스플레이를 제어할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 손동작을 이용하여 직관적인 NUI(Natural User Interface)를 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 멀티-모달 시스템의 제어 방법에 있어서,
    디스플레이의 x-방향 및 y-방향을 각각 기설정된 값들로 등분한 가상의 격자좌표계를 상기 디스플레이에 설정하는 단계;
    상기 가상의 격자좌표계에 대응하는 다른 가상의 격자좌표계를 손 영상에 설정하는 단계;
    상기 손 영상에 포함된 손에서 하나의 포인트를 설정하는 단계; 및
    상기 포인트의 상기 다른 가상의 격자좌표계에서의 좌표를 이용하여 상기 디스플레이를 제어하는 단계
    를 포함하고,
    손 이미지에서 설정된 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 상기 손의 손가락이 접하는 개수에 기반하여 상기 손의 손동작을 인식하는 단계
    를 더 포함하고,
    상기 디스플레이를 제어하는 단계는,
    상기 손의 손동작에 따라 서로 다른 기능이 수행되도록 상기 디스플레이를 제어하는 것을 특징으로 하는 제어 방법.
  2. 제1항에 있어서,
    상기 좌표는, 상기 디스플레이에서 마우스 포인트의 위치와 연관되고,
    상기 디스플레이를 제어하는 단계는,
    상기 좌표를 상기 디스플레이에 설정된 격자좌표계의 좌표에 대응시켜 상기 좌표의 이동에 따라 상기 마우스 포인트를 이동시키는 것을 특징으로 하는 제어 방법.
  3. 제1항에 있어서,
    상기 디스플레이에 설정된 격자좌표계 및 상기 손 영상에 설정된 격자좌표계 각각은, x-방향이 n 등분되고, y-방향이 m 등분되며,
    상기 n 및 상기 m은 2 이상의 자연수인 것을 특징으로 하는 제어 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 디스플레이에 설정하는 단계, 손 영상에 설정하는 단계, 상기 하나의 포인트를 설정하는 단계 및 상기 디스플레이를 제어하는 단계 중 적어도 하나의 단계는,
    XML(eXtensible Markup Language) 스크립트를 이용하여 생성되는 XML 문서 또는 상기 XML 문서가 상기 멀티-모달 시스템의 특성에 따라 변환된 문서에 포함된 명령에 기반하여 수행되는 것을 특징으로 하는 제어 방법.
  6. 제5항에 있어서,
    상기 XML 문서 또는 상기 변환된 문서는, 클라우드 시스템에 저장 및 관리되고,
    상기 클라우드 시스템으로부터 상기 XML 문서 또는 상기 변환된 문서를 다운로드하는 단계
    를 더 포함하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 하나의 포인트는, 상기 손의 중심점을 포함하는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 손 영상은, 상기 멀티-모달 시스템이 포함하는 카메라를 통해 생성되는 것을 특징으로 하는 제어 방법.
  9. 제1항에 있어서,
    상기 손 영상은, 상기 멀티-모달 시스템이 포함하는 깊이 센서의 출력을 더 포함하고,
    상기 디스플레이를 제어하는 단계는,
    상기 출력의 깊이에 대한 정보를 더 이용하여 상기 디스플레이를 제어하는 것을 특징으로 하는 제어 방법.
  10. 삭제
  11. 삭제
  12. 제1항 내지 제3항 또는 제5항 내지 제9항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
  13. 멀티-모달 시스템에 있어서,
    디스플레이의 x-방향 및 y-방향을 각각 기설정된 값들로 등분한 가상의 격자좌표계를 상기 디스플레이에 설정하고, 상기 가상의 격자좌표계에 대응하는 다른 가상의 격자좌표계를 손 영상에 설정하는 좌표계 설정부;
    상기 손 영상에 포함된 손에서 하나의 포인트를 설정하는 포인트 설정부; 및
    상기 포인트의 상기 다른 가상의 격자좌표계에서의 좌표를 이용하여 상기 디스플레이를 제어하는 디스플레이 제어부
    를 포함하고,
    손 이미지에서 설정된 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 상기 손의 손가락이 접하는 개수에 기반하여 상기 손의 손동작을 인식하는 손동작 인식부
    를 더 포함하고,
    상기 디스플레이 제어부는,
    상기 손의 손동작에 따라 서로 다른 기능이 수행되도록 상기 디스플레이를 제어하는 것을 특징으로 하는 멀티-모달 시스템.
  14. 제13항에 있어서,
    상기 좌표는, 상기 디스플레이에서 마우스 포인트의 위치와 연관되고,
    상기 디스플레이 제어부는,
    상기 좌표를 상기 디스플레이에 설정된 격자좌표계의 좌표에 대응시켜 상기 좌표의 이동에 따라 상기 마우스 포인트를 이동시키는 것을 특징으로 하는 멀티-모달 시스템.
  15. 제13항에 있어서,
    상기 디스플레이에 설정된 격자좌표계 및 상기 손 영상에 설정된 격자좌표계 각각은, x-방향이 n 등분되고, y-방향이 m 등분되며,
    상기 n 및 상기 m은 2 이상의 자연수인 것을 특징으로 하는 멀티-모달 시스템.
  16. 삭제
  17. 제13항에 있어서,
    상기 좌표계 설정부, 상기 포인트 설정부 및 상기 디스플레이 제어부 중 적어도 하나는,
    XML(eXtensible Markup Language) 스크립트를 이용하여 생성되는 XML 문서 또는 상기 XML 문서가 상기 멀티-모달 시스템의 특성에 따라 변환된 문서에 포함된 명령에 기반하여 동작하는 것을 특징으로 하는 멀티-모달 시스템.
  18. 제17항에 있어서,
    상기 XML 문서 또는 상기 변환된 문서는, 클라우드 시스템에 저장 및 관리되고,
    상기 클라우드 시스템으로부터 상기 XML 문서 또는 상기 변환된 문서를 다운로드하는 문서 다운로드부
    를 더 포함하는 것을 특징으로 하는 멀티-모달 시스템.
  19. 클라우드 시스템에 있어서,
    XML(eXtensible Markup Language) 스크립트를 이용하여 생성되는 XML 문서 또는 상기 XML 문서가 디스플레이 장치의 특성에 따라 변환된 문서를 수신하는 문서 수신부;
    상기 XML 문서 또는 상기 변환된 문서를 스토리지 유닛에 저장 및 관리하는 문서 관리부; 및
    상기 디스플레이 장치의 요청에 따라 상기 XML 문서 또는 상기 변환된 문서를 네트워크를 통해 상기 디스플레이 장치로 전송하는 문서 전송부
    를 포함하고,
    상기 XML 문서 또는 상기 변환된 문서는,
    상기 디스플레이 장치가 포함하는 디스플레이의 x-방향 및 y-방향을 각각 기설정된 값들로 등분한 가상의 격자좌표계를 상기 디스플레이에 설정하도록 상기 디스플레이 장치를 제어하는 기능;
    상기 가상의 격자좌표계에 대응하는 다른 가상의 격자좌표계를 손 영상에 설정하도록 상기 디스플레이 장치를 제어하는 기능;
    상기 손 영상에 포함된 손에서 하나의 포인트를 설정하도록 상기 디스플레이 장치를 제어하는 기능; 및
    상기 포인트의 상기 다른 가상의 격자좌표계에서의 좌표를 이용하여 상기 디스플레이를 제어하도록 상기 디스플레이 장치를 제어하는 기능
    을 포함하고,
    상기 XML 문서 또는 상기 변환된 문서는,
    손 이미지에서 설정된 손의 중심점을 기준으로 스레스홀드 값을 반지름으로 하는 가상의 원과 상기 손의 손가락이 접하는 개수에 기반하여 상기 손의 손동작을 인식하는 기능
    을 더 포함하고,
    상기 디스플레이를 제어하도록 상기 디스플레이 장치를 제어하는 기능은,
    상기 손의 손동작에 따라 상기 디스플레이와 관련된 서로 다른 기능이 수행되도록 상기 디스플레이 장치를 제어하는 것을 특징으로 하는 클라우드 시스템.
  20. 제19항에 있어서,
    상기 디스플레이에 설정된 격자좌표계 및 상기 손 영상에 설정된 격자좌표계 각각은, x-방향이 n 등분되고, y-방향이 m 등분되며,
    상기 n 및 상기 m은 2 이상의 자연수인 것을 특징으로 하는 클라우드 시스템.
KR1020140089857A 2014-07-16 2014-07-16 핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법 KR101611709B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140089857A KR101611709B1 (ko) 2014-07-16 2014-07-16 핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140089857A KR101611709B1 (ko) 2014-07-16 2014-07-16 핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20160009777A KR20160009777A (ko) 2016-01-27
KR101611709B1 true KR101611709B1 (ko) 2016-04-12

Family

ID=55309158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140089857A KR101611709B1 (ko) 2014-07-16 2014-07-16 핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR101611709B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200135079A (ko) * 2019-05-24 2020-12-02 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471541A (zh) * 2018-10-09 2019-03-15 深圳市奥拓电子股份有限公司 基于虚拟画面的空中鼠标追踪方法、系统及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:대한전기학회 2009년도 제40회 하계학술대회*

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200135079A (ko) * 2019-05-24 2020-12-02 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2020242103A1 (ko) * 2019-05-24 2020-12-03 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102249639B1 (ko) * 2019-05-24 2021-05-10 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Also Published As

Publication number Publication date
KR20160009777A (ko) 2016-01-27

Similar Documents

Publication Publication Date Title
US10866632B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
KR101872426B1 (ko) 깊이 기반 사용자 인터페이스 제스처 제어
KR101494556B1 (ko) 전자 디바이스 디스플레이 위의 공중에서 오브젝트를 이동시킴으로써 전자 디바이스 어플리케이션과 상호작용하는 방법들 및 장치
EP3335214B1 (en) Method and electronic device for playing a virtual musical instrument
CN106845335B (zh) 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
JP5900393B2 (ja) 情報処理装置、操作制御方法及びプログラム
KR101800182B1 (ko) 가상 객체 제어 장치 및 방법
EP2631739A2 (en) Method and device for contact-free control by hand gesture
US20130010071A1 (en) Methods and systems for mapping pointing device on depth map
WO2016090888A1 (zh) 图标的移动方法、装置、设备及非易失性计算机存储介质
KR20130100353A (ko) 웹 브라우저 상의 콘텐츠와 상호작용하기 위한 방법, 장치 및 시스템
JPWO2012011263A1 (ja) ジェスチャ入力装置およびジェスチャ入力方法
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
JP2020067999A (ja) ジェスチャー認識に基づく仮想ユーザー・インターフェース対話の方法および関係した装置
KR101548872B1 (ko) 영상처리를 이용한 손가락 인식 방법 및 시스템
CN104508599A (zh) 要素选择装置、要素选择方法、及程序
CN108549487A (zh) 虚拟现实交互方法与装置
JP6433923B2 (ja) デバイスへの特定のオブジェクト位置の提供
CN106598422B (zh) 混合操控方法及操控系统和电子设备
KR101488662B1 (ko) Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
KR101611709B1 (ko) 핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법
CN103558913A (zh) 一种具有振动反馈的虚拟输入手套键盘
CN112534390A (zh) 用于提供虚拟输入工具的电子装置及其方法
CN110908568A (zh) 一种虚拟对象的控制方法和装置
CN104951211A (zh) 一种信息处理方法和电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190329

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200219

Year of fee payment: 5