KR101242481B1 - 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법 - Google Patents

사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법 Download PDF

Info

Publication number
KR101242481B1
KR101242481B1 KR1020110000496A KR20110000496A KR101242481B1 KR 101242481 B1 KR101242481 B1 KR 101242481B1 KR 1020110000496 A KR1020110000496 A KR 1020110000496A KR 20110000496 A KR20110000496 A KR 20110000496A KR 101242481 B1 KR101242481 B1 KR 101242481B1
Authority
KR
South Korea
Prior art keywords
user
touch
breathing
input
command
Prior art date
Application number
KR1020110000496A
Other languages
English (en)
Other versions
KR20120079285A (ko
Inventor
최종명
Original Assignee
목포대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 목포대학교산학협력단 filed Critical 목포대학교산학협력단
Priority to KR1020110000496A priority Critical patent/KR101242481B1/ko
Priority to PCT/KR2011/009607 priority patent/WO2012093779A2/ko
Publication of KR20120079285A publication Critical patent/KR20120079285A/ko
Application granted granted Critical
Publication of KR101242481B1 publication Critical patent/KR101242481B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법에 관한 것으로, 본 발명에 따른 사용자 단말은 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말은 사용자 터치를 입력받는 터치입력부, 사용자 입김을 입력받는 입김입력부, 그리고 상기 사용자 터치 및 상기 사용자 입김에 대응되는 사용자 명령을 수행하는 제어부를 포함한다. 본 발명에 의하면 핸드폰, PDA, 태블릿 패드 등의 소형 컴퓨터 시스템에서 한 손으로 사용자 단말을 쥐고 다른 손은 자유로운 상태에서 사용자 입김을 통해 멀티 터치 제스처와 유사한 기능을 제공할 수 있다. 따라서 사용자는 한 손만으로 사용자 단말을 멀티 터치 제스처와 유사한 기능을 통해 제어하면서, 동시에 다른 손은 다른 일을 할 수 있는 장점이 있다. 한편 한 손이 불편한 사용자도 멀티 터치 제스처와 유사하게 사용자 단말을 제어할 수 있는 장점이 있다.

Description

사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법{Multimodal Interface Support User Device Using User Touch and Breath, and Control Method Thereof}
본 발명은 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법에 관한 것으로, 보다 상세하게는 소형 단말기(핸드폰, PDA, PMP, 패드 등)에서 멀티 터치를 사용하지 않고, 여러 개의 입력 장치(터치스크린과 마이크)를 이용해서 멀티 터치와 유사하게 편리한 사용자 명령어 입력을 지원할 수 있게 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법에 관한 것이다.
터치 스크린의 멀티 터치 기술을 애플리 아이폰에 적용하면서 스마트폰에서 사용자 인터페이스에 획기적인 변화와 발전이 있었다. 예를 들어 사용자는 화면을 확대하기 위해서 터치 스크린에 손가락 두 개를 대고 펼치는 동작을 하면 확대가 이루어지고, 역으로 손가락 두 개를 대고 오므리는 동작을 취하면 화면이 축소되는 사용자 인터페이스가 개발되었다. 이러한 제스처를 통한 사용자 인터페이스는 사용자가 직감적으로 쉽게 배우고 편리하게 사용할 수 있기 때문에 스마트폰 시장에서 아이폰의 시장 점유율에 지대한 영향을 미쳤다.
그런데 멀티 터치 제스처를 활용한 사용자 인터페이스는 매우 편리하지만 항상 두 손을 사용해야 한다는 문제점이 있다. 현재 터치스크린과 멀티 터치 입력을 지원하는 스마트폰, 패드(아이패드, 갤럭시 등) 등은 응용프로그램을 제어할 때 화면 내용의 확대, 축소, 이동 등의 명령을 터치스크린에서 두 개 이상의 손가락 동작을 통해서 입력한다. 예를 들어, 애플사의 아이폰의 경우에 두 개 손가락을 터치스크린에 붙이고, 두 손가락을 벌리면, 화면이 확대된다.
그러나 대부분의 사용자들이 핸드폰을 한 손을 이용해서 사용하는 경향이 있다. 예를 들어 한 손으로 핸드폰을 쥐고, 핸드폰을 쥔 손의 엄지 손가락으로 제스처를 사용하는 경향이 많다. 그런데 멀티 터치 제스처를 사용하기 위해서는 한 손으로는 핸드폰을 들고, 다른 손의 두 개 손가락으로 핸드폰에 제스처를 취해야 한다. 따라서 두 손이 모두 자유로운 경우에는 불편함이 덜하겠지만, 핸드폰을 쥐고 있지 않은 다른 손에 짐이 있거나 또는 한 손이 불편한 경우에는 여러 개의 손가락을 사용하는 멀티 터치 기반의 사용자 인터페이스를 사용하기 곤란한 문제점이 있었다.
한편 이러한 멀티 터치 제스처의 문제점을 해결하기 위해서 개발된 버추얼 썸(Virtual Thumb) 기술이 있다. 버추얼 썸은 터치 스크린에 한 손가락을 대면 해당 위치에 가상의 손가락이 나타나도록 하는 방법이다. 즉 사용자는 가상 손가락과 실제 손가락을 이용해서 멀티 터치 제스처 기능을 사용할 수 있다. 그런데 버추얼 썸은 한 개의 손가락으로 멀티 터치 제스처의 기능을 제공할 수 있는 장점은 있으나, 사용자가 일단 터치 스크린을 눌러서 마스크를 만들고 다시 한번 손가락을 이용해서 제스처를 수행해야 하는 번거로움이 있다.
따라서 본 발명이 이루고자 하는 기술적 과제는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법을 제공하는 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법은 사용자 터치를 입력받는 단계, 사용자 입김을 입력받는 단계, 그리고 상기 사용자 터치 및 상기 사용자 입김에 대응되는 사용자 명령을 수행하는 단계를 포함한다.
상기 방법은, 상기 사용자 입김 형태를 검출하는 단계를 더 포함하고, 상기 사용자 명령은 상기 사용자 입김 형태에 대응될 수 있다.
상기 사용자 입김 형태 검출은 상기 사용자 입김의 강도 및 횟수 중 적어도 하나에 기초하여 수행될 수 있다.
상기 사용자 명령은 상기 사용자 입김 형태 및 상기 사용자 터치 위치의 조합에 대응될 수 있다.
상기 사용자 터치 위치가 화면의 중심에서 좌측인 경우 상기 사용자 명령은 화면을 시계 반대 방향으로 회전하는 명령이고, 상기 사용자 터치 위치가 화면의 중심에서 우측인 경우 상기 사용자 명령은 화면을 시계 방향으로 회전하는 명령일 수 있다.
상기 사용자 입김의 강도 또는 횟수에 따라 상기 화면의 회전 각도가 커질 수 있다.
상기 방법에서 상기 사용자 명령을 수행하는 단계는 상기 사용자 입김 입력이 상기 사용자 터치 입력 후 소정 시간 이내에 이루어진 경우 수행될 수 있다.
본 발명의 다른 실시예에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에 실행시키기 위한 프로그램을 기록한다.
본 발명의 한 실시예에 따른 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말은 사용자 터치를 입력받는 터치입력부, 사용자 입김을 입력받는 입김입력부, 그리고 상기 사용자 터치 및 상기 사용자 입김에 대응되는 사용자 명령을 수행하는 제어부를 포함한다.
상기 제어부는 상기 사용자 입김 형태를 검출하고, 상기 사용자 명령은 상기 사용자 입김 형태에 대응될 수 있다.
본 발명에 의하면, 핸드폰, PDA, 태블릿 패드 등의 소형 컴퓨터 시스템에서 한 손으로 사용자 단말을 쥐고 다른 손은 자유로운 상태에서 사용자 입김을 통해 멀티 터치 제스처와 유사한 기능을 제공할 수 있다.
따라서 사용자는 한 손만으로 사용자 단말을 멀티 터치 제스처와 유사한 기능을 통해 제어하면서, 동시에 다른 손은 다른 일을 할 수 있는 장점이 있다. 한편 한 손이 불편한 사용자도 멀티 터치 제스처와 유사하게 사용자 단말을 제어할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말의 멀티 모달 인터페이스를 통한 사용자 명령 입력을 예시한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에 입력되는 사용자 입김 형태를 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 사용자 단말의 제어 방법을 설명하기 위해 제공되는 흐름도이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 사용자 단말에 입력되는 사용자 터치의 위치를 예시한 도면이다.
이하 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말의 멀티 모달 인터페이스를 통한 사용자 명령 입력을 예시한 개념도이다.
여기서, 멀티모달(multi-modal) 인터페이스란 여러 개의 입력 장치(터치스크린과 마이크 등)를 동시에 사용하는 입력 방법을 나타낸다.
도 1을 참고하면, 사용자(10)가 사용자 단말(20)을 잡고 있는 손의 손가락(11)을 터치입력부(21)에 접촉하면, 사용자 단말(20)은 소정 시간 동안 사용자 입김(13)이 입력되는 것을 대기한다. 사용자 입김(13)이 입력되면 사용자 단말(20)은 사용자 입김 형태를 검출하고 그에 따른 동작을 수행한다. 한편 소정 시간 동안 사용자 입김 입력이 없으면 사용자 단말(20)은 터치 입력에 따른 동작을 수행한다. 실시예에 따라서는 사용자 손가락(11)이 터치입력부(21)에 접촉된 상태에서만 사용자 입김 형태를 검출하고 그에 따른 동작을 수행하도록 구현할 수도 있다. 그러면 도 2를 참고하여 본 발명의 일 실시예에 따른 사용자 단말에 대해 보다 자세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성을 나타낸 블록도이다.
도 2를 참고하면, 본 발명의 일 실시예에 따른 사용자 단말(20)은 터치입력부(21), 입김입력부(22), 표시부(23), 저장부(24), 제어부(25)를 포함할 수 있다.
터치입력부(21)는 접촉에 의한 사용자 입력을 수신한다. 터치입력부(21)는 표시부(23)의 위에 배치되어 사용자의 손가락이 접촉된 위치를 확인하여 제어부(25)에 전달할 수 있다. 터치입력부(21)는 정전식, 저항식 등 어떠한 방식으로 구현되어도 무방하다.
입김입력부(22)는 사용자 입김에 의한 사용자 입력을 수신한다. 입김입력부(22)는 사용자 입김 형태에 대한 정보를 제어부(25)에 전달할 수 있다. 이를 위해 입김입력부(22)는 마이크로 구현될 수 있다. 마이크는 사용자 입김으로 인한 소리에 의해서 진동판이 진동하고 이 진동에 따라서 전기 신호를 출력할 수 있다. 마이크에서 출력되는 전기 신호는 사용자 입김의 강도 및 횟수에 따라 다른 형태를 가질 수 있으며, 사용자 입김 형태에 대응될 수 있다.
표시부(23)는 사용자 단말(20)의 동작과 관련된 각종 정보를 화면에 표시하는 기능을 수행한다. 표시부(23)는 LCD(liquid crystal display) 패널, OLED(Organic Light Emitting Diodes) 패널 등으로 구현될 수 있다.
저장부(24)는 사용자 단말(20)의 동작과 관련된 각종 데이터 및 프로그램을 저장하고 제어부(25)의 요청에 따라 제공하는 기능을 수행한다. 저장부(24)는 램(RAM), 롬(ROM), 하드디스크(HARDDISK) 등의 저장매체로 구현될 수 있다.
제어부(25)는 사용자 단말(20)의 전체적인 동작을 제어하며, 특히 본 발명에 따른 제어부(25)는 터치입력부(21)와 입김입력부(22)에 의해 입력되는 사용자 터치 및 사용자 입김에 대응되는 사용자 명령을 수행한다. 보다 자세하게는 제어부(25)는 사용자 입김 형태를 검출하고 그에 따라 사용자 명령을 수행할 수 있는데, 사용자 입김 형태는 사용자 입김의 강도 또는 사용자 입김의 횟수 등을 분석하여 검출될 수 있다.
이하 도 3을 참고하여 사용자 입김 형태 검출에 대해 설명한다.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에 입력되는 사용자 입김 형태를 예시한 도면이다.
도 3을 참고하면, 사용자 입김 형태는 사용자가 입김을 한 번 세게 부는 형태(A), 입김을 길게 부는 형태(B), 입김을 세게 두 번 부는 형태(C) 또는 입김을 중간을 이어지게 하면서 세게 두 번 부는 형태(D) 등으로, 사용자 입김의 강도 또는 사용자 입김의 횟수 등에 따라 다른 형태로 구분될 수 있다. 도 3에 예시된 사용자 입김 형태는 예시일 뿐이며 그 외에 다양한 형태가 이용될 수 있음은 물론이다.
도 4는 본 발명의 일 실시예에 따른 사용자 단말의 제어 방법을 설명하기 위해 제공되는 흐름도이다.
도 4를 참고하면, 먼저 터치입력부(21)에 사용자 터치 입력이 입력되면(S410-Y), 제어부(25)는 미리 정해진 시간 동안 사용자 입김 입력을 대기한다(S420). 단계(S420)에서 대기 시간은 사용자 단말 제조사 또는 본 발명에 따른 멀티모달 인터페이스 애플리케이션 제작자에 의해 디폴트로 설정되거나 사용자에 의해 설정되도록 구현될 수도 있다. 한편 대기 시간이 없거나 '0'으로 설정된 경우에는 사용자 터치 입력이 입력되는 동안 사용자 입김이 입력되어야 아래 단계(S420 ~ S440)의 동작을 사용자 단말(20)이 수행하도록 구현될 수도 있다.
대기 시간 동안 입김입력부(22)에 사용자 입김 입력이 입력되면(S420-Y), 제어부(25)는 입력된 사용자 입김 형태를 검출한다(S430). 사용자 입김 형태는 사용자 입김의 강도 또는 사용자 입김의 횟수 등에 따라 다른 형태로 구분되어 검출될 수 있다.
다음으로 제어부(25)는 검출된 사용자 입김 형태에 대응되는 사용자 명령을 수행한다(S440). 예를 들어, 도 3에서 예시한 사용자 입김 형태 중에서 입김 형태(A)가 검출된 경우 화면 확대를 수행하고, 입김 형태(B)가 검출된 경우 화면 이동을 수행하며, 입김 형태(C)가 검출된 경우 화면 축소를 수행하고, 입김 형태(D)가 검출된 경우 화면 회전을 수행하도록 구현할 수 있다. 여기서 입김 형태에 따라 수행되는 사용자 명령은 예시일 뿐이며 다른 사용자 명령이 수행되도록 구현될 수 있고, 아울러 예시된 형태 이외의 사용자 입김 형태가 이용될 수도 있다.
한편 대기 시간 동안 입김입력부(22)에 사용자 입김 입력이 입력되지 않으면(S420-N), 제어부(25)는 사용자 터치 입력에 따른 사용자 명령을 수행할 수 있다(S450).
한편 실시예에 따라 사용자 명령을 사용자 입김 형태 및 사용자 터치 위치의 조합에 대응되도록 구현될 수도 있다. 이하에서 도 5를 참고하여 사용자 명령을 사용자 입김 형태 및 사용자 터치 위치의 조합에 대응되도록 구현하는 예에 대해 설명한다.
도 5(a) 및 도 5(b)는 본 발명의 일 실시예에 따른 사용자 터치 위치에 따라 사용자 입김 입력 시 화면의 회전을 설명하기 위해 제공되는 도면이다.
도 5(a)를 참고하면, 사용자 터치 위치(Ptouch)가 화면의 중심에서 좌측인 상태에서 사용자 입김이 입력되면 사용자 단말(20)은 화면을 시계 반대 방향(L)으로 회전시킬 수 있다.
도 5(b)를 참고하면, 사용자 터치 위치(Ptouch)가 화면의 중심에서 우측인 상태에서 사용자 입김이 입력되면 사용자 단말(20)은 화면을 시계 방향(R)으로 회전시킬 수 있다.
한편 사용자 입김의 강도 또는 횟수에 따라 화면의 회전 각도가 커지도록 구현할 수도 있다. 예컨대 사용자 터치 위치(Ptouch)가 화면의 중심에서 좌측인 상태(또는 우측인 상태)에서 사용자 입김이 입력되면, 사용자 입김의 강도에 비례하여 화면이 시계 반대 방향(또는 시계 방향)으로 더 많이 회전하도록 구현할 수 있다.
또한 사용자 입김 1회 당 화면이 회전하는 각도를 설정해놓고 그에 따라 화면을 회전시킬 수 있다. 예컨대 사용자 입김 1회 당 화면 회전 각도가 10°로 설정된 경우에 사용자 입김이 5회 입력되면 화면을 50°회전하도록 구현할 수도 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말의 제어 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 사용자 터치를 입력받는 단계,
    사용자 입김을 입력받는 단계, 그리고
    상기 사용자 터치 및 상기 사용자 입김에 대응되는 사용자 명령을 수행하는 단계를 포함하고,
    상기 사용자 명령은 상기 사용자 터치 위치가 화면의 중심에서 좌측인 경우 화면을 시계 반대 방향으로 회전하는 명령이고, 상기 사용자 터치 위치가 화면의 중심에서 우측인 경우 화면을 시계 방향으로 회전하는 명령인 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.
  2. 제 1 항에서,
    상기 사용자 입김 형태를 검출하는 단계를 더 포함하고,
    상기 사용자 명령은 상기 사용자 입김 형태에 대응되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.
  3. 제 2 항에서,
    상기 사용자 입김 형태 검출은 상기 사용자 입김의 강도 및 횟수 중 적어도 하나에 기초하여 수행되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.
  4. 제 2 항에서,
    상기 사용자 명령은 상기 사용자 입김 형태 및 상기 사용자 터치 위치의 조합에 대응되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.
  5. 삭제
  6. 제 1 항에서,
    상기 사용자 입김의 강도 또는 횟수에 비례하여 상기 화면의 회전 각도가 커지는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.
  7. 제 1 항에서,
    상기 사용자 명령을 수행하는 단계는,
    상기 사용자 입김 입력이 상기 사용자 터치 입력 후 소정 시간 이내에 이루어진 경우 수행되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.
  8. 컴퓨터에 제1항 내지 제4항 또는 제6항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.
  9. 사용자 터치를 입력받는 터치입력부,
    사용자 입김을 입력받는 입김입력부, 그리고
    상기 사용자 터치 및 상기 사용자 입김에 대응되는 사용자 명령을 수행하는 제어부를 포함하고,
    상기 사용자 명령은 상기 사용자 터치 위치가 화면의 중심에서 좌측인 경우 화면을 시계 반대 방향으로 회전하는 명령이고, 상기 사용자 터치 위치가 화면의 중심에서 우측인 경우 화면을 시계 방향으로 회전하는 명령인 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.
  10. 제 9 항에서,
    상기 제어부는 상기 사용자 입김 형태를 검출하고,
    상기 사용자 명령은 상기 사용자 입김 형태에 대응되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.
  11. 제 10 항에서,
    상기 사용자 입김 형태 검출은 상기 사용자 입김의 강도 및 횟수 중 적어도 하나에 기초하여 수행되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.
  12. 제 10 항에서,
    상기 사용자 명령은 상기 사용자 입김 형태 및 상기 사용자 터치 위치의 조합에 대응되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.
  13. 삭제
  14. 제 9 항에서,
    상기 사용자 입김의 강도 또는 횟수에 비례하여 상기 화면의 회전 각도가 커지는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.
  15. 제 9 항에서,
    상기 제어부는,
    상기 사용자 입김 입력이 상기 사용자 터치 입력 후 소정 시간 이내에 이루어진 경우 상기 사용자 명령을 수행하는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.
KR1020110000496A 2011-01-04 2011-01-04 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법 KR101242481B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110000496A KR101242481B1 (ko) 2011-01-04 2011-01-04 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법
PCT/KR2011/009607 WO2012093779A2 (ko) 2011-01-04 2011-12-14 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110000496A KR101242481B1 (ko) 2011-01-04 2011-01-04 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20120079285A KR20120079285A (ko) 2012-07-12
KR101242481B1 true KR101242481B1 (ko) 2013-03-13

Family

ID=46457787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110000496A KR101242481B1 (ko) 2011-01-04 2011-01-04 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법

Country Status (2)

Country Link
KR (1) KR101242481B1 (ko)
WO (1) WO2012093779A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100676988B1 (ko) * 1998-07-21 2007-01-31 아이엔에이 뵐즈라거 쉐플러 오하게 허브와 슬리브가이드를 구비하는 수동변속기용 동기장치의 동기요소

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
KR101984583B1 (ko) * 2012-08-22 2019-05-31 엘지전자 주식회사 이동단말기 및 그 제어방법
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9832452B1 (en) 2013-08-12 2017-11-28 Amazon Technologies, Inc. Robust user detection and tracking
US11199906B1 (en) * 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
CN105812506A (zh) * 2014-12-27 2016-07-27 深圳富泰宏精密工业有限公司 操作方式控制系统与方法
CN109981887B (zh) * 2019-02-19 2021-09-07 合肥京东方光电科技有限公司 对终端屏幕通电状态的控制方法、装置、介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006204877A (ja) 2005-04-13 2006-08-10 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
US20090244003A1 (en) * 2008-03-26 2009-10-01 Pierre Bonnat Method and system for interfacing with an electronic device via respiratory and/or tactual input
KR20100077982A (ko) * 2008-12-29 2010-07-08 엘지전자 주식회사 단말기 및 그 제어 방법
KR20100128265A (ko) * 2010-11-17 2010-12-07 표현숙 소형 단말기에서 손가락 터치와 입김을 활용한 멀티 모달 인터페이스를 이용한 사용자 인터페이스

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006204877A (ja) 2005-04-13 2006-08-10 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
US20090244003A1 (en) * 2008-03-26 2009-10-01 Pierre Bonnat Method and system for interfacing with an electronic device via respiratory and/or tactual input
KR20100077982A (ko) * 2008-12-29 2010-07-08 엘지전자 주식회사 단말기 및 그 제어 방법
KR20100128265A (ko) * 2010-11-17 2010-12-07 표현숙 소형 단말기에서 손가락 터치와 입김을 활용한 멀티 모달 인터페이스를 이용한 사용자 인터페이스

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100676988B1 (ko) * 1998-07-21 2007-01-31 아이엔에이 뵐즈라거 쉐플러 오하게 허브와 슬리브가이드를 구비하는 수동변속기용 동기장치의 동기요소

Also Published As

Publication number Publication date
WO2012093779A3 (ko) 2012-09-07
KR20120079285A (ko) 2012-07-12
WO2012093779A2 (ko) 2012-07-12

Similar Documents

Publication Publication Date Title
KR101242481B1 (ko) 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법
KR101995278B1 (ko) 터치 디바이스의 ui 표시방법 및 장치
JP5796004B2 (ja) 携帯用機器のタッチ入力方法及び装置
CN105630298B (zh) 一种文件夹的管理方法和设备
KR102020345B1 (ko) 터치스크린을 구비하는 단말에서 홈 화면의 구성 방법 및 장치
US8856688B2 (en) Pinch gesture to navigate application layers
KR101329584B1 (ko) 멀티터치 기반의 텍스트블록 설정에 따른 편집제공 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
JP2014510337A (ja) 少なくとも２つのタッチスクリーンを含む情報表示装置及びその情報表示方法
US8902187B2 (en) Touch input method and apparatus of portable terminal
JP5837955B2 (ja) 電子装置の機能の実行方法及びその電子装置
US20150012880A1 (en) Moving an object displayed on a display screen
CN105518609A (zh) 用于提供多个应用的方法和设备
JP2011076588A (ja) ゲーム運営を制御するためのユーザインターフェース提供方法
US10572144B2 (en) Input processing method and apparatus of electronic device
CN102929556A (zh) 一种基于触摸屏的交互控制方法及设备
US20140215393A1 (en) Touch-based multiple selection
US10747362B2 (en) Touch device with suppression band
JP2014116002A (ja) アプリケーション情報提供方法および携帯端末
KR102096070B1 (ko) 터치 인식 개선 방법 및 그 전자 장치
US10908868B2 (en) Data processing method and mobile device
US8830194B2 (en) Touchscreen virtual track control
US9338666B2 (en) Binding of an apparatus to a computing device
US9329627B2 (en) Method of recognizing a control command based on finger motion on a touch input device
KR20150131542A (ko) 입력 제어 객체 운용 방법 및 이를 지원하는 전자 장치
CN103809794A (zh) 一种信息处理方法以及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160229

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170306

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee