KR101353465B1 - 가상 평면을 구성하는 방법, 이를 수행하는 장치 및 이 시스템 - Google Patents

가상 평면을 구성하는 방법, 이를 수행하는 장치 및 이 시스템 Download PDF

Info

Publication number
KR101353465B1
KR101353465B1 KR1020120062195A KR20120062195A KR101353465B1 KR 101353465 B1 KR101353465 B1 KR 101353465B1 KR 1020120062195 A KR1020120062195 A KR 1020120062195A KR 20120062195 A KR20120062195 A KR 20120062195A KR 101353465 B1 KR101353465 B1 KR 101353465B1
Authority
KR
South Korea
Prior art keywords
user interfaces
host
user
virtual plane
screen
Prior art date
Application number
KR1020120062195A
Other languages
English (en)
Other versions
KR20130138528A (ko
Inventor
김상식
정성관
이원겸
박준석
신용철
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020120062195A priority Critical patent/KR101353465B1/ko
Publication of KR20130138528A publication Critical patent/KR20130138528A/ko
Application granted granted Critical
Publication of KR101353465B1 publication Critical patent/KR101353465B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor

Abstract

가상 평면의 영역을 구성하는 방법은 관리 모듈이 호스트로부터 출력된 화면 정보로부터, 상기 호스트의 화면에 디스플레이된 제1유저 인터페이스들 각각의 위치를 추출하고 상기 각각의 위치에 대응되는 각각의 위치정보를 출력하는 단계, 및 보정 모듈이 상기 관리 모듈로부터 출력된 상기 각각의 위치정보에 기초하여 상기 제1유저 인터페이스들 각각과 사용자와 상기 호스트 사이에 설정된 가상 평면에 포함된 제2유저 인터페이스들 각각을 매핑하는 단계를 포함할 수 있다.

Description

가상 평면을 구성하는 방법, 이를 수행하는 장치 및 이 시스템{CONSTRUCTING METHOD FOR VIRTUAL PLANE, DEVICE OF OPERATING THE SAME, AND SYSTEM THEREOF}
본 발명의 개념에 따른 실시 예는 가상 평면에 관한 것으로, 특히 가상 평면을 구성하는 방법, 이를 수행하는 장치, 및 이 시스템에 관한 것이다.
최근 전자 기기는 중앙처리장치(central processing unit)와 운영체제(operating system)를 이용해 상기 전자 기기의 원래 기능에 추가적으로 다양한 활용이 가능하도록 발전하고 있다.
예컨대, 사용자는 TV(television)를 통해 방송을 시청하는 것뿐만 아니라 웹 서핑(web surfing) 등 다양한 응용 프로그램을 통해 추가적인 활용을 할 수 있다. 즉, 상기 사용자는 상기 TV를 쌍방향 콘텐츠 정보 단말기로 활용할 수 있다.
상기 사용자는 일반적으로 멀리 떨어져 있는 상기 TV를 제어할 때 리모컨(remote control)을 사용한다. 상기 사용자는 상기 리모컨을 이용해 상기 TV를 통해 상기 다양한 응용 프로그램을 실행할 때 불편함을 느낄 수 있다. 왜냐하면 상기 리모컨은 버튼의 개수가 제한적이므로 상기 사용자가 상기 리모컨을 이용해 다양한 명령어를 입력하는 것은 어렵기 때문이다.
오늘날에는 상기 리모컨과 같은 원격 조정 장치 없이 원격의 기기를 제어하기 위한 방법들이 연구되고 있다. 예컨대, 상기 리모컨 없이 상기 원격의 기기를 제어하기 위한 방법들에는 음성 인식 기술 또는 제스처(gesture) 인식 기술이 있다.
종래의 제스처 인식 기술에서는 상기 사용자의 정확한 제스처가 인식되어야 상기 원격의 기기를 제어할 수 있다.
본 발명이 이루고자 하는 기술적인 과제는 사용자의 제스처를 인식하는 가상평면을 상기 사용자의 습관에 상응하도록 구성하는 방법, 이를 수행하는 장치, 및 이 시스템을 제공하는 것이다.
본 발명의 실시 예에 따른 가상 평면을 구성하는 방법은 관리 모듈이 호스트로부터 출력된 화면 정보로부터, 상기 호스트의 화면에 디스플레이된 제1유저 인터페이스들 각각의 위치를 추출하고 상기 각각의 위치에 대응되는 각각의 위치정보를 출력하는 단계, 및 보정 모듈이 상기 관리 모듈로부터 출력된 상기 각각의 위치정보에 기초하여 상기 제1유저 인터페이스들 각각과 사용자와 상기 호스트 사이에 설정된 가상 평면에 포함된 제2유저 인터페이스들 각각을 매핑하는 단계를 포함할 수 있다.
상기 보정 모듈이 상기 제2유저 인터페이스들 각각과 상기 제2유저 인터페이스들을 제외한 영역들 각각에 대한 HCI들(human-computer interactions) 각각을 분석하는 단계, 상기 보정 모듈이 분석 결과에 기초하여 상기 제2유저 인터페이스들 각각을 재구성하는 단계, 및 상기 보정 모듈이 재구성된 제2유저 인터페이스들 각각과 상기 제1유저 인터페이스들 각각을 재매핑하는 단계를 더 포함할 수 있다.
상기 재구성된 제2유저 인터페이스들 각각은 상기 제2유저 인터페이스들 중에서 대응되는 하나와 상기 영역들 중에서 대응되는 하나를 포함할 수 있다.
본 발명의 실시 예에 따른 가상 평면을 구성하는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있다.
본 발명의 실시 예에 따른 공간 인식 장치는 호스트로부터 출력된 화면 정보로부터 상기 호스트의 화면에 디스플레이된 제1유저 인터페이스들 각각의 위치를 추출하고 상기 각각의 위치에 대응되는 각각의 위치정보를 출력하는 관리 모듈, 및 상기 관리 모듈로부터 출력된 상기 각각의 위치정보에 기초하여 상기 제1유저 인터페이스들 각각과 사용자와 상기 호스트 사이에 설정된 가상 평면에 포함된 제2유저 인터페이스들 각각을 매핑하는 보정모듈을 포함할 수 있다.
상기 보정모듈은 상기 제2유저 인터페이스들 각각과 상기 제2유저 인터페이스들을 제외한 영역들 각각에 대한 HCI들(human-computer interactions) 각각을 분석하하고, 분석 결과에 기초하여 상기 제2유저 인터페이스들 각각을 재구성하고, 재구성된 제2유저 인터페이스들 각각과 상기 제1유저 인터페이스들 각각을 재매핑할 수 있다.
상기 재구성된 제2유저 인터페이스들 각각은 상기 제2유저 인터페이스들 중에서 대응되는 하나와 상기 영역들 중에서 대응되는 하나를 포함할 수 있다.
본 발명의 실시 예에 따른 공간 인식 시스템은 화면이 전환되는 것을 감지하고, 상기 화면의 화면 정보를 출력하는 호스트, 및 상기 호스트로부터 출력된 상기 화면 정보로부터 상기 화면에 디스플레이된 제1유저 인터페이스들 각각의 위치를 추출하고, 상기 각각의 위치에 대응되는 위치정보에 기초하여 상기 제1유저 인터페이스들 각각과 사용자와 상기 호스트 사이에 설정된 가상 평면에 포함된 제2유저 인터페이스들 각각을 매핑하는 공간 인식 장치를 포함할 수 있다.
상기 공간 인식 장치는 상기 제2유저 인터페이스들 각각과 상기 제2유저 인터페이스들을 제외한 영역들 각각에 대한 HCI들(human-computer interactions) 각각을 분석하고, 분석결과에 기초하여 상기 제2유저 인터페이스들 각각을 재구성하고, 재구성된 제2유저 인터페이스들 각각과 상기 제1유저 인터페이스들 각각을 재매핑할 수 있다.
상기 재구성된 제2유저 인터페이스들 각각은 상기 제2유저 인터페이스들 중에서 대응되는 하나와 상기 영역들 중에서 대응되는 하나를 포함할 수 있다.
본 발명의 실시 예에 따른 사용자의 제스처를 인식하는 가상 평면의 영역을 구성하는 방법, 이를 수행하는 장치, 및 이 시스템은 상기 사용자의 습관에 상응하는 상기 가상 평면의 상기 영역을 구성하여 상기 사용자의 편의성을 향상시킬 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 공간 인식 시스템을 설명하기 위한 도면이다.
도 2는 도 1에 도시된 공간 인식 장치를 설명하기 위한 블락도를 나타낸다.
도 3은 공간 인식 장치가 도 1에 도시된 가상 평면을 구성하는 방법을 설명하기 위한 도면을 나타낸다.
도 4는 가상 평면을 구성하는 방법을 설명하기 위한 흐름도이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 공간 인식 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 공간 인식 시스템(10)은 호스트(100), 및 공간 인식 장치(200)를 포함할 수 있다.
호스트(100)는 네트워크(미도시)를 통해 공간 인식 장치(200)와 연결될 수 있다. 호스트(100)는 호스트(100)의 화면(110)이 전환되는 것을 감지하고, 화면(110)의 화면 정보(DI)를 상기 네트워크를 통해서 공간 인식 장치(200)로 출력할 수 있다.
화면 정보(DI)는 호스트(100)의 화면(110)에 현재 디스플레이되고 있는 제1유저 인터페이스들(user interfaces, UI1 내지 UI2)의 정보를 포함하고 있다.
호스트(100)는 스마트 TV(smart television), 인터넷 TV(internet television), 커넥티드 TV(connected television), 오픈 하이브리드 TV(open hybrid television), 터치스크린(touchscreen)을 갖춘 전자기기(electric device) 등 일 수 있고, 반드시 이에 한정되지는 않는다.
사용자(User)는 호스트(100)의 정면에 위치하고, 가상 평면(300)은 호스트(100)와 사용자(User) 사이에 위치할 수 있다.
가상 평면(300)은 호스트(100)의 화면(110)에 디스플레이되고 있는 제1유저 인터페이스들(UI1 내지 UI3)을 제어하기 위해 인터페이스(interface)의 역할을 수행할 수 있는 공간상의 가상적인 평면(virtual plane)을 의미한다.
가상 평면(300)은 가상평면 영역(301)과 기준 깊이 범위(303)을 포함할 수 있다.
가상평면 영역(301)은 호스트(100)의 화면(110)에 디스플레이되고 있는 제1유저 인터페이스들(UI1 내지 UI3)과 매핑(mapping)되는 영역일 수 있다.
가상 평면(300)의 기준 깊이 범위(303)는 공간 인식 장치(200)가 사용자(User)의 터치를 인식할 수 있는 범위를 의미한다.
예컨대, 사용자(User)가 가상 평면(300)의 기준 깊이 범위(303) 밖을 터치하는 때, 공간 인식 장치(200)는 사용자(User)의 터치를 인식할 수 없다.
공간 인식 장치(200)는 사용자(User)를 센싱(sensing)할 수 있는 지역이면 어느 곳에라도 위치할 수 있다. 따라서, 공간 인식 장치(200)는 사용자(User)의 위치에 제한받지 않고 가상 평면(300)을 설정할 수 있다.
공간 인식 장치(200)는 가상 평면(300)을 생성한 이후, 가상 평면(300)을 터치하는 사용자(User)의 제스처를 센싱하고, 상기 제스처의 제스처 정보에 기초하여 호스트(100)의 화면(110)에 디스플레이되고 있는 제1유저 인터페이스들(UI1 내지 UI3) 중 어느 하나(예컨대, UI1, UI2, 또는 UI3)를 실행할 수 있는 제어 신호를 호스트(100)로 출력할 수 있다.
다만, 사용자(User)는 제1유저 인터페이스들 각각(UI1, UI2, 또는 UI3)과 매핑(mapping)하는 가상평면(300)의 위치들 각각(X, Y, 또는 Z)을 터치해야 한다.
따라서, 공간 인식 장치(200)는 호스트(100)로부터 출력된 화면(110)의 화면 정보(DI), 또는 HCI들(human computer interactions)에 기초하여 화면(110)에 디스플레이되고 있는 제1유저 인터페이들 각각(UI1, UI2, 또는 UI3)과 매핑되도록 가상 평면(300)의 가상 평면 영역(301)을 구성할 수 있다.
상기 HCI들은 사용자(User)가 가상 평면(300)을 터치하는 상호 작용들을 의미한다. 본 발명의 실시 예인 가상 평면(300)을 구성하는 방법은 도 2 및 도 3을 참조하여 상세히 설명한다.
즉, 사용자(User)가 가상 평면(300)의 정확한 위치들 각각을(X, Y, 또는 Z) 터치하지 않더라도, 공간 인식 장치(200)는 호스트(100)의 화면(110)에 디스플레이되고 있는 제1유저 인터페이스들(UI1, UI2, 및 UI3) 중 어느 하나(예컨대, UI1, UI2, 또는 UI3)를 실행할 수 있는 제어 신호를 출력할 수 있다.
호스트(100)는 상기 제어 신호에 응답하여 화면(110)에 디스플레이되고 있는 제1유저 인터페이스들(UI1, UI2, 및 UI3) 중 어느 하나(예컨대, UI1, UI2, 또는 UI3)를 실행할 수 있다.
도 2는 도 1에 도시된 공간 인식 장치를 설명하기 위한 블락도를 나타내고, 도 3은 공간 인식 장치가 도 1에 도시된 가상 평면을 구성하는 방법을 설명하기 위한 도면을 나타낸다.
도 2 및 도 3을 참조하면, 공간 인식 장치(200)는 관리 모듈, 보정 모듈, 및 사용자 제스처 인식 모듈을 포함할 수 있다.
본 명세서에서의 모듈(module)이라 함은 본 명세서에서 설명되는 각각의 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 또는 특정한 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수 있고, 또는 특정한 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예컨대 프로세서를 의미할 수 있다.
다시 말해, 모듈이란 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다. 각 모듈은 장치로 불릴 수도 있다.
사용자 제스처 인식 모듈(250)은 사용자(User)를 센싱하고, 사용자(usre)와 호스트(100) 사이에 가상 평면(300)을 설정할 수 있다..
가상 평면(300)을 생성한 이후, 사용자 제스처 인식 모듈(250)은 가상 평면(300)을 터치하는 사용자(User)의 제스처를 센싱하고, 상기 제스처의 제스처 정보에 기초하여 호스트(100)의 화면(110)에 디스플레이되고 있는 제1유저 인터페이스들(UI1, UI2, 및 UI3) 중 어느 하나(예컨대 UI1, UI2, 또는 UI3)를 실행할 수 있는 제어 신호(CS)를 호스트(100)로 출력할 수 있다.
관리 모듈(210)은 호스트(100)로부터 출력된 화면 정보(DI)를 수신할 수 있다. 관리 모듈(210)은 화면 정보(DI)로부터 호스트(100)의 화면(110)에 디스플레이된 제1유저 인터페이스들 각각(UI1, UI2, 또는 UI3)의 위치를 추출하고 상기 각각의 위치에 대응되는 각각의 위치정보(PI)를 출력할 수 있다.
보정 모듈(230)은 관리 모듈(210)로부터 출력된 각각의 위치 정보(PI)를 수신할 수 있다.
보정 모듈(230)은 각각의 위치 정보(PI)에 기초하여 제1유저 인터페이스들 각각(UI1, UI2, 또는 UI3)과 사용자(User)와 호스트(100) 사이에 설정된 가상 평면(300)에 포함된 제2유저 인터페이스들 각각(VI1, VI2, 또는 VI3)을 매핑할 수 있다.
즉, 보정 모듈(230)은 호스트(100)의 화면(110)에 디스플레이되고 있는 제1유저 인터페이들 각각(UI1, UI2, 또는 UI3)과 대응되는 가상 평면(300)에 포함된 제2유저 인터페이스들 각각(VI1, VI2, 또는 VI3)을 제1유저 인터페이스들 각각각(UI1, UI2, 또는 UI3)과 매핑되도록 가상 평면(300)의 가상 평면 영역(301)을 구성할 수 있다.
보정 모듈(230)은 제2유저 인터페이스들 정보(II1)를 사용자 제스처 인식 모듈(250)로 출력할 수 있다.
따라서, 사용자(User)가 제2유저 인터페이스들 각각(VI1, VI2, 또는 VI3)을 터치하는 때, 사용자 제스처 인식 모듈(250)은 사용자(User)의 제스처를 센싱하고, 상기 제스처의 제스처 정보와 제2유저 인터페이스들 정보(II1)에 기초하여 제1유저 인터페이스들 각각(UI1, UI2, 또는 UI3)을 실행하는 제어 신호(CS)를 호스트(100)로 출력할 수 있다.
또한, 보정 모듈(230)은 제2유저 인터페이스들 각각(VI1, VI2, 또는 VI3)과 제2유저 인터페이스들(VI1, VI2, 및 VI3)을 제외한 영역들 각각(RR1, RR2, 또는 RR3)에 대한 HCI들 각각(HCI1, HCI2, HCI3, HCI4, HCI5, 또는 HCI6)을 분석할 수 있다.
보정 모듈(230)은 분석 결과에 기초하여 제2유저 인터페이스들 각각(VI1, VI2, 또는 VI3)을 재구성할 수 있다.
보정 모듈(230)은 재구성된 제2유저 인터페이스들 각각(RVI1, RVI2, 또는 RVI3)과 제1유저 인터페이스들 각각(UI1, UI2, 또는 UI3)을 재매핑할 수 있다.
재구성된 제2유저 인터페이스들 각각(RVI1, RVI2, 또는 RVI3)은 제2유저 인터페이스들(VI1, VI2, 및 VI3) 중에서 대응되는 하나(예컨대, VI1, VI2, 또는 VI3)와 영역들(RR1, RR2, 및 RR3) 중에서 대응되는 하나(예컨대, RR1, RR2, 또는 RR3)를 포함할 수 있다. 도 3에 도시된 재구성된 제2유저 인터페이스들(RVI1, RVI2, 및 RVI3)의 모습은 이에 한정되는 것은 아니다.
또한, 보정 모듈(230)은 분석 결과에 기초하여 가상 평면(300)의 기준 깊이 범위(303), 사용자(User)와 호스트(100)사이의 거리, 및 사용자(User)와 호스트(100)사이의 위치를 조절할 수 있다.
즉, 보정 모듈 HCI들(HCI1 내지 HCI6)에 기초하여 사용자(User)의 과거 습관에 상응하는 가상 평면(300)을 구성할 수 있다.
보정 모듈(230)은 재구성된 제2유저 인터페이스들 정보(II2)를 사용자 제스처 인식 모듈(250)로 출력할 수 있다.
따라서, 사용자(User)가 재구성된 제2유저 인터페이스들 각각(RVI1, RVI2, 또는 RVI3)을 터치하는 때, 사용자 제스처 인식 모듈(250)은 사용자(User)의 제스처를 센싱하고, 상기 제스처의 제스처 정보와 재구성된 제2유저 인터페이스들 정보(II2)에 기초하여 제1유저 인터페이스들 각각(UI1, UI2, 또는 UI3)을 실행하는 제어 신호(CS)를 호스트(100)로 출력할 수 있다.
도 4는 가상 평면을 구성하는 방법을 설명하기 위한 흐름도이다.
도 1 내지 도 4를 참조하면, 관리 모듈(210)은 호스트(100)로부터 출력된 화면 정보(DI)로부터 호스트(100)의 화면(110)에 디스플레이된 제1유저 인터페이스들 각각(UI1, UI2, 또는 UI3)의 위치를 추출하고 상기 각각의 위치에 대응되는 각각의 위치정보(PI)를 출력할 수 있다(S100).
보정 모듈(230)은 관리 모듈(210)로부터 출력된 각각의 위치정보(PI)에 기초하여 제1유저 인터페이스들 각각(UI1, UI2, 또는 UI3)과 사용자(User)와 호스트(100) 사이에 설정된 가상 평면(300)에 포함된 제2유저 인터페이스들 각각(VI1, VI2, 또는 VI3)을 매핑할 수 있다.
또한, 보정 모듈(230)은 제2유저 인터페이스들 각각(VI1, VI2, 또는 VI3)과 제2유저 인터페이스들(VI1, VI2, 및 VI3)을 제외한 영역들 각각(RR1, RR2, 또는 RR3)에 대한 HCI들 각각(HCI1, HCI2, HCI3, HCI4, HCI5, 또는 HCI6)을 분석할 수 있다.
보정 모듈(230)은 분석 결과에 기초하여 제2유저 인터페이스들 각각(VI1, VI2, 또는 VI3)을 재구성할 수 있다.
보정 모듈(230)은 재구성된 제2유저 인터페이스들 각각(RVI1, RVI2, 또는 RVI3)과 제1유저 인터페이스들 각각(UI1, UI2, 또는 UI3)을 재매핑할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10: 공간 인식 시스템
100: 호스트
200: 공간 인식 장치
300: 가상 평면
DS: 화면 정보
PI: 위치 정보
CS: 제어 신호

Claims (10)

  1. 관리 모듈이 호스트로부터 출력된 화면 정보로부터, 상기 호스트의 화면에 디스플레이된 제1유저 인터페이스들 각각의 위치를 추출하고 상기 각각의 위치에 대응되는 각각의 위치정보를 출력하는 단계;
    보정 모듈이 상기 관리 모듈로부터 출력된 상기 각각의 위치정보에 기초하여 상기 제1유저 인터페이스들 각각과 사용자와 상기 호스트 사이에 설정된 가상 평면에 포함된 제2유저 인터페이스들 각각을 매핑하는 단계;
    상기 보정 모듈이 상기 제2유저 인터페이스들 각각과 상기 제2유저 인터페이스들을 제외한 영역들 각각에 대한 HCI들(human-computer interactions) 각각을 분석하는 단계;
    상기 보정 모듈이 분석 결과에 기초하여 상기 제2유저 인터페이스들 각각을 재구성하는 단계; 및
    상기 보정 모듈이 재구성된 제2유저 인터페이스들 각각과 상기 제1유저 인터페이스들 각각을 재매핑하는 단계를 포함하는 가상 평면을 구성하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 재구성된 제2유저 인터페이스들 각각은 상기 제2유저 인터페이스들 중에서 대응되는 하나와 상기 영역들 중에서 대응되는 하나를 포함하는 가상 평면을 구성하는 방법.
  4. 제1항 및 제3항 중 어느 한 항에 기재된 가상 평면을 구성하는 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 읽을 수 있는 기록매체.
  5. 호스트로부터 출력된 화면 정보로부터 상기 호스트의 화면에 디스플레이된 제1유저 인터페이스들 각각의 위치를 추출하고 상기 각각의 위치에 대응되는 각각의 위치정보를 출력하는 관리 모듈; 및
    상기 관리 모듈로부터 출력된 상기 각각의 위치정보에 기초하여 상기 제1유저 인터페이스들 각각과 사용자와 상기 호스트 사이에 설정된 가상 평면에 포함된 제2유저 인터페이스들 각각을 매핑하는 보정모듈을 포함하고,
    상기 보정모듈은,
    상기 제2유저 인터페이스들 각각과 상기 제2유저 인터페이스들을 제외한 영역들 각각에 대한 HCI들(human-computer interactions) 각각을 분석하고, 분석 결과에 기초하여 상기 제2유저 인터페이스들 각각을 재구성하고, 재구성된 제2유저 인터페이스들 각각과 상기 제1유저 인터페이스들 각각을 재매핑하는 공간 인식 장치.
  6. 삭제
  7. 제5항에 있어서,
    상기 재구성된 제2유저 인터페이스들 각각은 상기 제2유저 인터페이스들 중에서 대응되는 하나와 상기 영역들 중에서 대응되는 하나를 포함하는 공간 인식 장치.
  8. 화면이 전환되는 것을 감지하고, 상기 화면의 화면 정보를 출력하는 호스트; 및
    상기 호스트로부터 출력된 상기 화면 정보로부터 상기 화면에 디스플레이된 제1유저 인터페이스들 각각의 위치를 추출하고, 상기 각각의 위치에 대응되는 위치정보에 기초하여 상기 제1유저 인터페이스들 각각과 사용자와 상기 호스트 사이에 설정된 가상 평면에 포함된 제2유저 인터페이스들 각각을 매핑하는 공간 인식 장치를 포함하고,
    상기 공간 인식 장치는,
    상기 제2유저 인터페이스들 각각과 상기 제2유저 인터페이스들을 제외한 영역들 각각에 대한 HCI들(human-computer interactions) 각각을 분석하고, 분석결과에 기초하여 상기 제2유저 인터페이스들 각각을 재구성하고, 재구성된 제2유저 인터페이스들 각각과 상기 제1유저 인터페이스들 각각을 재매핑하는 공간 인식 시스템.
  9. 삭제
  10. 제8항에 있어서,
    상기 재구성된 제2유저 인터페이스들 각각은 상기 제2유저 인터페이스들 중에서 대응되는 하나와 상기 영역들 중에서 대응되는 하나를 포함하는 공간 인식 시스템.
KR1020120062195A 2012-06-11 2012-06-11 가상 평면을 구성하는 방법, 이를 수행하는 장치 및 이 시스템 KR101353465B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120062195A KR101353465B1 (ko) 2012-06-11 2012-06-11 가상 평면을 구성하는 방법, 이를 수행하는 장치 및 이 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120062195A KR101353465B1 (ko) 2012-06-11 2012-06-11 가상 평면을 구성하는 방법, 이를 수행하는 장치 및 이 시스템

Publications (2)

Publication Number Publication Date
KR20130138528A KR20130138528A (ko) 2013-12-19
KR101353465B1 true KR101353465B1 (ko) 2014-01-24

Family

ID=49984222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120062195A KR101353465B1 (ko) 2012-06-11 2012-06-11 가상 평면을 구성하는 방법, 이를 수행하는 장치 및 이 시스템

Country Status (1)

Country Link
KR (1) KR101353465B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080045510A (ko) * 2006-11-20 2008-05-23 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
KR20080113881A (ko) * 2007-06-26 2008-12-31 문창선 가상 인터페이스를 제공하기 위한 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080045510A (ko) * 2006-11-20 2008-05-23 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
KR20080113881A (ko) * 2007-06-26 2008-12-31 문창선 가상 인터페이스를 제공하기 위한 시스템 및 방법

Also Published As

Publication number Publication date
KR20130138528A (ko) 2013-12-19

Similar Documents

Publication Publication Date Title
US9052817B2 (en) Mode sensitive processing of touch data
KR101484529B1 (ko) 터치스크린 장치 사용자 인터페이스 프로세싱 방법 및 터치스크린 장치
CN102810023B (zh) 识别手势动作的方法及终端设备
EP2778849A1 (en) Method and apparatus for operating sensors of user device
US20160196034A1 (en) Touchscreen Control Method and Terminal Device
US20140267025A1 (en) Method and apparatus for operating sensors of user device
US9374547B2 (en) Input apparatus, display apparatus, and control methods thereof
CN105190494A (zh) 用于触摸感知优化自适应阈值转换方法
JP5846129B2 (ja) 情報処理端末およびその制御方法
KR20150134674A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
WO2017012378A1 (zh) 用于操作电脑的系统、穿戴设备及其操作电脑的方法
US9678608B2 (en) Apparatus and method for controlling an interface based on bending
US20140300558A1 (en) Electronic apparatus, method of controlling electronic apparatus, and program for controlling electronic apparatus
CN106569716B (zh) 单手操控方法及操控系统
KR20170042953A (ko) 디스플레이 장치 및 이의 제어 방법
KR20140069660A (ko) 이미지 중첩 기반의 사용자 인터페이스 장치 및 방법
US20100271300A1 (en) Multi-Touch Pad Control Method
KR20160096645A (ko) 컴퓨팅 디바이스에 대한 장치의 결합
CN104169858A (zh) 一种终端设备识别用户手势的方法和设备
KR101353465B1 (ko) 가상 평면을 구성하는 방법, 이를 수행하는 장치 및 이 시스템
US20190056857A1 (en) Resizing an active region of a user interface
US9740923B2 (en) Image gestures for edge input
CN102622178B (zh) 基于触屏电子设备使平面图像扭曲的方法
US20160252983A1 (en) Simulation keyboard shortcuts with pen input
KR102353919B1 (ko) 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee