KR20150049936A - 디스플레이 장치의 기능 수행 방법 및 디스플레이 장치 - Google Patents

디스플레이 장치의 기능 수행 방법 및 디스플레이 장치 Download PDF

Info

Publication number
KR20150049936A
KR20150049936A KR1020130131141A KR20130131141A KR20150049936A KR 20150049936 A KR20150049936 A KR 20150049936A KR 1020130131141 A KR1020130131141 A KR 1020130131141A KR 20130131141 A KR20130131141 A KR 20130131141A KR 20150049936 A KR20150049936 A KR 20150049936A
Authority
KR
South Korea
Prior art keywords
user
gesture input
level
function
input
Prior art date
Application number
KR1020130131141A
Other languages
English (en)
Inventor
문민정
조주연
김도형
김선화
정연희
최선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130131141A priority Critical patent/KR20150049936A/ko
Publication of KR20150049936A publication Critical patent/KR20150049936A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)

Abstract

디스플레이 장치의 기능 수행 방법을 개시한다. 본 발명의 일 실시 예에 따른 디스플레이 장치의 기능 수행 방법은, 제1사용자 입력이 수신되면, 디스플레이 장치를 멀티 레벨 입력 모드로 설정하는 단계와, 멀티 레벨 입력 모드에서 제1 레벨의 사용자 제스처 입력이 수신되면, 디스플레이 장치를 제1 레벨의 기능으로 설정하는 단계와, 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이라고 판단되면, 설정된 제1 레벨의 기능에 대응되는 화면을 출력하는 단계를 포함한다.

Description

디스플레이 장치의 기능 수행 방법 및 디스플레이 장치{METHOD FOR PERFORMING FUNCTION OF DISPLAY APPARATUS AND DISPLAY APPARATUS}
본 발명은 디스플레이 장치의 인터페이스에 대한 것으로, 좀 더 구체적으로는 복잡한 기능을 갖는 디스플레이 장치에서 쉽고 직관적인 인터페이스를 통해 기능을 수행하기 위한 디스플레이 장치 및 디스플레이 장치의 기능 수행 방법에 대한 것이다.
최근 들어 개별 전자 장치의 기능들이 하나의 전자 장치로 통합되어 가는 경향은 더욱 심화되고 있다. 예를 들어, 스마트 폰은 디지털 카메라를 대체할 수 있을 정도의 카메라 모듈을 제공하고, 데스크톱 컴퓨터와 유사한 웹 브라우저를 제공한다. 또한, 디지털 액자, 전자사전, MP3 플레이어, 스케줄러, 이메일 송수신 기능을 수행하는 다양한 애플리케이션을 제공한다.
이처럼 전자 장치의 기능은 다양해지는 반면, 사용자 인터페이스는 더 쉽고 직관적인 방향으로 설계되고 있다. 이는 사용자가 전자 장치의 다양하고 복잡한 기능에 좀 더 쉽게 접근할 수 있도록 하기 위한 것이다.
대표적인 예로 윈도우 타입의 인터페이스를 들 수 있다. 윈도우 타입 인터페이스는 터치 스크린 상의 메뉴 아이콘을 통해 사용자 인터렉션을 수행하는 방식으로 근래에 출시되는 대부분의 전자 장치가 채택하고 있는 방식이다.
윈도우 타입 인터페이스에서는 터치 스크린 상에 디스플레이 된 메뉴 아이콘 상에 사용자가 터치 입력을 하면 메뉴 아이콘에 대응되는 애플리케이션이 실행된다. 그런데, 현실적으로 화면의 크기가 제약이 있고, 메뉴 아이콘의 식별을 위해 한 화면에 표시될 수 있는 메뉴 아이콘의 수가 제약이 따르는 경우가 많다. 전자 장치가 제공하는 기능이 많아지면서, 표시해야 할 메뉴 아이콘의 수가 많아지게 되므로 메뉴 아이콘은 여러 화면에 나누어 표시될 수 있다. 이 경우 사용자는 원하는 메뉴 아이콘을 찾기 위해 여러 화면을 옮겨 다녀야 한다. 이로 인해 사용자는 전자 장치에서 자신이 원하는 기능을 실행시키는데 어려움을 느끼게 된다.
이를 해결하기 위해 근래에 음성 인식 기술이 개발되고 있다. 이 기술을 이용하면 사용자는 음성을 통해 자신이 원하는 애플리케이션을 빠르고 간편하게 실행시킬 수 있다. 그러나, 음성 인식 기술은 소음이 많은 환경에서 음성의 인식률이 현저하게 떨어지는 문제가 있다. 이 때문에 사용자는 디바이스의 기능 실행을 위해 큰 소리로 또박또박 음성을 발화해야 하므로 디바이스 사용상 프라이버시 문제가 발생하기도 한다.
따라서, 사용자가 복잡한 디바이스의 기능을 좀더 직관적이면서 쉽고 간편하게 사용할 수 있도록 하는 인터페이스 기술이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 사용자가 복잡한 디바이스의 기능을 좀더 직관적이면서 쉽고 간편하게 사용할 수 있도록 하는 인터페이스 기술을 제공하기 위함이다.
좀더 구체적으로 본 발명의 목적은, 터치 제스처나 모션 제스처 등을 결합하여 멀티 제스처를 사용함으로써, 디바이스의 기능을 쉽고 간편하게 실행할 수 있는 인터페이스 기술을 제공하기 위함이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치의 기능 수행 방법은, 제1사용자 입력이 수신되면, 상기 디스플레이 장치를 멀티 레벨 입력 모드로 설정하는 단계와, 상기 멀티 레벨 입력 모드에서 제1 레벨의 사용자 제스처 입력이 수신되면, 상기 디스플레이 장치를 상기 제1 레벨의 기능으로 설정하는 단계와, 상기 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이라고 판단되면, 상기 설정된 제1 레벨의 기능에 대응되는 화면을 출력하는 단계를 포함한다.
또한, 제1사용자 입력은 핀치 아웃(pinch-out)에 의한 터치 제스처 입력인 것일 수 있다.
상기 제1 레벨의 사용자 제스처 입력은 사용자 터치 제스처 입력 및 사용자 모션 제스처 입력 중 어느 하나일 수 있다.
상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘V’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치를 기 설정된 각도로 기울이는 사용자 모션 제스처 입력 중 어느 하나이고, 상기 설정된 제1 레벨의 기능은 음성 녹음 기능일 수 있다.
상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘S’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린을 사용자 객체로 근접시키는 사용자 모션 제스처 입력 중 어느 하나이고, 상기 설정된 제1 레벨의 기능은 디바이스의 셋팅 기능일 수 있다.
상기 디스플레이 장치의 기능 수행 방법은, 상기 디스플레이 장치가 상기 제1 레벨의 기능으로 설정된 상태에서, 제2 레벨의 사용자 제스처 입력이 수신되면, 상기 디스플레이 장치를 상기 제2 레벨의 기능으로 설정하는 단계와, 상기 제2 레벨의 사용자 제스처 입력이 상기 최종 레벨의 사용자 입력이라고 판단되면, 상기 설정된 제2 레벨의 기능에 대응되는 화면을 출력하는 단계를 더 포함할 수 있다.
상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘C’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린을 사용자 객체로 근접시키는 사용자 모션 제스처 입력 중 어느 하나이고, 상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 상기 설정된 제2 레벨의 기능은 최근 통화 목록 표시 기능일 수 있다.
또한, 상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘M’또는 ‘m’ 형태를 나타내는 사용자 터치 제스처 입력이고, 상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 상기 설정된 제2 레벨의 기능은 메시지 리스트 표시 기능일 수 있다.
또한, 상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘A’또는 ‘a’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린 하단을 좌우로 드래그하는 터치 제스처 입력 중 어느 하나이고, 상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 상기 설정된 제2 레벨의 기능은 알람 리스트 표시 기능일 수 있다.
상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘A’또는 ‘a’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린 하단을 좌우로 드래그하는 터치 제스처 입력 중 어느 하나이고, 상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘C’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 상기 설정된 제2 레벨의 기능은 알람 시간 설정 기능일 수 있다.
또한, 상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘E’또는 ‘e’ 형태를 나타내는 사용자 터치 제스처 입력이고, 상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘r’또는 ‘R’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 상기 설정된 제2 레벨의 기능은 이메일 수신함을 표시하는 기능일 수 있다.
또한, 상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘E’또는 ‘e’ 형태를 나타내는 사용자 터치 제스처 입력이고, 상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘w’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 상기 설정된 제2 레벨의 기능은 이메일 작성 기능일 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는, 디스플레이부와, 제1사용자 입력을 수신하는 입력부와, 상기 입력부를 통해 상기 제1사용자 입력이 수신되면, 상기 디스플레이 장치를 멀티 레벨 입력 모드로 설정하고, 상기 멀티 레벨 입력 모드에서 제1 레벨의 사용자 제스처 입력이 수신되면, 상기 디스플레이 장치를 상기 제1 레벨의 기능으로 설정하며, 상기 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이라고 판단되면, 상기 설정된 제1 레벨의 기능에 대응되는 화면을 출력하도록 상기 디스플레이부를 제어하는 제어부를 포함한다.
상기 제1사용자 입력은 핀치 아웃에 의한 터치 제스처 입력일 수 있다.
상기 제1 레벨의 사용자 제스처 입력은 사용자 터치 제스처 입력 및 사용자 모션 제스처 입력 중 어느 하나일 수 있다.
상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘V’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치를 기 설정된 각도로 기울이는 사용자 모션 제스처 입력 중 어느 하나이고, 상기 설정된 제1 레벨의 기능은 음성 녹음 기능일 수 있다.
상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘S’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린을 사용자 객체로 근접시키는 사용자 모션 제스처 입력 중 어느 하나이고, 상기 설정된 제1 레벨의 기능은 디바이스의 셋팅 기능일 수 있다.
상기 디스플레이 장치는, 상기 디스플레이 장치가 상기 제1 레벨의 기능으로 설정된 상태에서, 제2 레벨의 사용자 제스처 입력이 수신되면, 상기 디스플레이 장치를 상기 제2 레벨의 기능으로 설정하는 단계와, 상기 제2 레벨의 사용자 제스처 입력이 상기 최종 레벨의 사용자 입력이라고 판단되면, 상기 설정된 제2 레벨의 기능에 대응되는 화면을 출력하는 단계를 더 포함할 수 있다.
상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘C’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린을 사용자 객체로 근접시키는 사용자 모션 제스처 입력 중 어느 하나이고, 상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 상기 설정된 제2 레벨의 기능은 최근 통화 목록 표시 기능일 수 있다.
상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘M’또는 ‘m’ 형태를 나타내는 사용자 터치 제스처 입력이고, 상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 상기 설정된 제2 레벨의 기능은 메시지 리스트 표시 기능일 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은, 사용자가 복잡한 디바이스의 기능을 좀더 직관적이면서 쉽고 간편하게 사용할 수 있도록 하는 인터페이스 기술을 제공한다.
좀더 구체적으로 본 발명은, 터치 제스처나 모션 제스처 등을 결합하여 멀티 제스처를 사용함으로써, 디바이스의 기능을 쉽고 간편하게 실행할 수 있는 인터페이스 기술을 제공한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 도시한 블록도,
도 2는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 구성을 도시한 블록도,
도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치의 기능 수행 방법의 흐름도,
도 4 및 5는 본 발명의 일 실시 예에 따른 시나리오를 도시한 도면,
도 6은 본 발명의 다른 실시 예에 따른 디스플레이 장치의 기능 수행 방법의 흐름도, 그리고,
도 7 내지 10은 본 발명의 다른 실시 예에 따른 시나리오를 도시한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 도시한 블록도이고, 도 2는 본 발명의 다른 실시 예에 따른 디스플레이 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)는 입력부(110)와 디스플레이부(120)와 제어부(130)를 포함한다.
입력부(110)는 다양한 사용자 입력을 수신하는 구성이다. 즉, 사용자는 입력부(110)를 통해 터치 입력 또는 근접 입력을 수행할 수 있다. 또한, 사용자가 디스플레이 장치(100)를 일정 각도로 기울이는 경우, 디스플레이 장치(100)가 기울어진 각도는 사용자 입력이 될 수 있다. 이 경우 입력부(110)는 디스플레이 장치(100)의 기울기를 감지할 수 있는 기술적 수단을 구비한다. 또한, 필요에 따라 입력부(100)는 디스플레이 장치(100)가 놓여진 방향을 감지할 수 있고, 사용자가 디스플레이 장치(100)를 특정 방향으로 놓는 경우 놓여진 방향은 사용자 입력이 될 수 있다.
도 2를 더 참조하면, 입력부(110)는 버튼/마이크(111), 터치센서(112), 근접센서(113), 지자기센서(114), 가속도 센서(115)를 포함한다.
버튼(111)은 적어도 하나가 구비되며, 디스플레이 장치(100)의 하우징의 전면, 측면 또는 후면에 푸쉬형 혹은 터치형으로 형성될 수 있다. 전원/잠금 버튼, 볼륨 조절 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다. 버튼(111)이 눌러지는 경우, 대응되는 제어명령이 생성되어 제어부(130)로 전달되고, 제어부(130)는 대응되는 제어명령에 따라 디스플레이 장치(100)의 동작을 제어한다. 마이크(111)는 사용자의 발화 음성을 수집하며, 제어부(130)는 발화 음성을 분석하여 대응되는 제어 명령을 생성할 수 있다. 이에 따라 대응되는 기능을 수행한다.
터치센서(112)는 디스플레이 장치(100)의 터치스크린 상에 사용자 객체의 접촉을 감지할 수 있는 센서이다. 즉, 터치 센서(112)는 손가락과 같은 신체 또는 감지 가능한 입력 수단으로 터치스크린을 접촉하여 디스플레이 화면 상에 표시된 객체를 선택하는 입력을 감지할 수 있는 센서를 의미한다. 터치 센서(112)는 사용자의 터치를 감지하는 방식에 따라 정전 방식과 압전 방식으로 나뉠 수 있다. 본 발명의 일 실시 예에 따른 터치 센서(112)는 두 가지 방식 중 어느 방식으로도 구현될 수 있다. 터치 센서(112)는 디스플레이 패널과 함께 디스플레이부(120)에 포함되어 구성될 수 있다.
또한, 터치 센서(112)를 통해 사용자 터치 제스처 입력이 감지된다. 사용자는 터치 스크린 상에 터치를 수행한 상태에서 터치를 종료함 없이 제스처 입력을 수행할 수 있는데, 이를 터치 제스처 입력이라고 한다. 후술하는 것처럼 제어부(130)는 디스플레이 장치(100)를 터치 제스처 입력에 대응되는 기능으로 설정할 수 있다.
근접센서(113)는 사용자가 디스플레이 장치(100)에 직접 터치하지 않고, 손가락이나 기타 객체를 접근시키는 동작을 감지하는 센서이다. 근접 센서(113)는 디스플레이 스크린의 표면 방향으로 적외선을 조사한다. 구체적으로, 영상 또는 이미지를 표시하는 디스플레이 스크린의 하부에 배치된 적외선 조사부(미도시)가 적외선을 디스플레이 스크린의 표면 방향으로 조사한다. 디스플레이 스크린의 표면 위로 사용자 객체의 접근을 인식할 수 있는 일정한 영역이 존재한다. 이 영역이 근접 터치를 인식할 수 있는 유효 인식 영역이다. 사용자 객체가 유효 인식 영역 안으로 근접하면 적외선 센싱부는 사용자 객체의 근접에 의하여 반사되는 적외선을 감지하여 적외선 스캔 이미지를 생성한다. 디스플레이 장치(100)는 생성된 적외선 스캔 이미지를 이용하여 근접 터치 입력을 감지한다. 다만, 근접 센서(113)는 본 명세서에서 기술하는 방식 외에 다른 방식으로 근접을 감지하는 것도 가능할 것이다. 즉, 본 발명은 다른 기술 수단에 의한 근접 입력 감지를 배제하지 않는다.
본 발명의 후술하는 실시 예에서 디스플레이 장치(100)의 디스플레이 스크린에 손바닥을 가져다 대는 등으로 사용자 객체를 근접시키는 사용자 모션 제스처 입력 을 수행하는 경우 디스플레이 장치가 이를 감지하기 위해 상기 기술 수단이 사용된다. 즉, 사용자 객체가 디스플레이 스크린에 근접한 경우 근접 센서(113)가 생성된 적외선 스캔 이미지를 이용하여 디스플레이 장치(100)의 기능을 실행한다.
마찬가지로 사용자가 디스플레이 장치(100)의 스크린에 귀를 가져다 대는 등의 사용자 객체를 근접시키는 모션 제스쳐 동작을 수행하는 경우 근접 센서(113)가 생성된 적외선 스캔 이미지를 이용하여 디스플레이 장치(100)의 대응되는 기능을 실행시킨다.
가속도 센서(145)는 디스플레이 장치(100)의 가속도를 검출하는 센서로 디스플레이 장치(100) 상의 가상의 x,y,z축을 설정하고, 각 축의 기울어진 정도에 따라 변화하는 중력 가속도값을 검출할 수 있다. 가속도 센서(145)는 이동하는 물체의 가속도(동적인 가속도)를 검출하는데도 사용되지만, 중력가속도를 검출하는데 활용될 수 있다. 따라서, 디스플레이 장치(100)의 기울기 검출수단이 될 수 있다.
따라서, 가속도 센서(145)의 센싱값을 이용하여 제어부(130)는 디스플레이 장치(100)가 기울어진 정도를 판단할 수 있다. 다만, 디스플레이 장치(100)의 기울기는 가속도 센서(145)외에 중력 센서, 자이로 센서, 지자기 센서 중 적어도 하나를 더 이용하는 것도 가능하다.
지자기 센서(144)는 자기장의 흐름을 검출하여 방위각을 탐지할 수 있는 센서이다. 지자기 센서(144)는 디스플레이 장치(100)의 방위좌표를 검출하게 되고, 방위좌표를 토대로 디스플레이 장치(100)가 놓여진 방향을 검출할 수 있다. 놓여진 방향은 그에 상응되는 제어 입력으로 인식되어 제어부(130)가 대응되는 출력을 수행한다.
디스플레이부(120)는 다양한 오브젝트를 포함하는 화면을 표시할 수 있다. 여기서 오브젝트란, 화면 상에 표시되는 특정한 기능 또는 콘텐츠에 대응되는 이미지를 의미한다. 디스플레이부(120)는 하나의 전체 이미지를 디스플레이하고 하나의 전체 이미지는 적어도 하나의 오브젝트를 포함할 수 있다.
오브젝트의 종류는 제한이 없다. 즉, 오브젝트는, 어플리케이션 아이콘, 콘텐츠 아이콘, 썸네일 이미지(thumbnail image), 폴더 아이콘, 위젯, 리스트 아이템, 메뉴 및 콘텐츠 이미지 중 적어도 하나일 수 있다. 어플리케이션 아이콘은 대응되는 이미지를 선택하는 경우 디스플레이 장치(100)에 포함되는 어플리케이션을 실행시키는 아이콘이다. 콘텐츠 아이콘은 대응되는 이미지를 선택하는 경우 콘텐츠를 재생시키는 아이콘이다. 썸네일 이미지는 이미지를 작은 사이즈로 축소하여 한 눈에 볼 수 있도록 표시한 이미지이고, 폴더 아이콘은 대응되는 이미지를 선택하는 경우 폴더 내의 파일을 디스플레이 하는 아이콘이다. 위젯은 어플리케이션 아이콘을 여러 단계의 메뉴 선택 없이 곧바로 실행시킬 수 있도록 사용자 인터페이스를 제공하는 아이콘이고, 리스트 아이템은, 파일을 리스트 형태로 표시하는 구성이고, 메뉴 이미지는 선택할 수 있는 메뉴를 표시하는 구성이다.
특히, 디스플레이부(120)는 본원발명의 멀티 레벨 사용자 제스처 입력에서 최종 레벨의 사용자 입력이 이루어지면, 그에 대한 화면을 출력한다. 최종 레벨의 사용자 입력이 이루어졌는지는 제어부(130)가 판단한다.
디스플레이부(120)는 다양한 디스플레이 패널로 설계될 수 있다. 즉, 디스플레이부(120)는 유기발광 다이오드 OLED(Organic Light Emitting Diodes), 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), VFD(Vacuum Fluorescent Display), FED(Field EmissionDisplay), ELD(Electro Luminescence Display)등 다양한 디스플레이 기술로 구현될 수 있다. 디스플레이 패널은 주로 발광형으로 이루어질 것이지만, 반사형 디스플레이(E-ink, P-ink, Photonic Crystal)를 배제하는 것은 아니다. 또한, 플렉서블 디스플레이(flexible display), 투명 디스플레이(transparent display) 등으로 구현 가능할 것이다. 또한, 디스플레이 장치(100)는 두 개 이상의 디스플레이 패널을 구비하는 멀티 디스플레이 장치(100)로 구현 가능할 것이다.
스피커(160)는 제어부(130)의 제어에 따라 사운드를 디스플레이 장치(100)의 외부로 출력할 수 있다. 스피커(160)는 디스플레이 장치(100)가 수행하는 기능에 대응되는 사운드(예, 전화 통화에 대응되는 버튼 조작음, 또는 통화 연결음)를 출력할 수 있다. 스피커(160)는 디스플레이 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다. 일 예로 스피커(160)는 통화 중 사용자의 귀에 근접하기에 적합한 위치에 배치되는 내부 스피커 모듈과, 오디오/비디오 파일의 재생이나 방송의 시청 시에 사용되기에 적합한 보다 높은 출력을 가지며 멀티 디스플레이 장치(100)의 하우징의 적절한 위치에 배치되는 외부 스피커 모듈을 포함하여 구성될 수 있다.
전원부(180)는 디스플레이 장치(100)에서 사용되는 전원을 공급한다. 전원부(180)는 충전 가능한 배터리로 구현될 수 있고, 외부 공급 전원을 변환하여 충전 가능한 배터리에 공급하는 전압 변환기를 더 포함할 수 있다.
전원부(180)는 제어부(130)의 전원 관리 제어에 따라 디스플레이 장치(100)에 최대 성능 모드, 일반 모드, 절전 모드, 대기 모드 등 다양한 모드로 전원을 공급할 수 있다.
제어부(130)는 디스플레이 장치(100)의 동작 전반을 제어한다.
제어부(130)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성과, 운영체제, 특정 목적을 수행하는 어플리케이션의 소프트웨어 구성을 포함한다. 시스템 클럭에 따라 디스플레이 장치(100)의 동작을 위한 각 구성요소에 대한 제어 명령이 메모리에서 읽혀지며, 읽혀진 제어 명령에 따라 전기 신호를 발생시켜 하드웨어의 각 구성요소들을 동작시킨다.
특히, 제어부(130)는 상기 입력부(110)를 통해 제1사용자 입력이 수신되면, 상기 디스플레이 장치(100)를 멀티 레벨 입력 모드로 설정한다. 여기서 멀티 레벨 입력 모드란, 여러 단계의 입력을 거쳐 디스플레이 장치(100)의 최종적인 기능을 수행할 수 있는 입력 모드를 말한다. 예를 들어, 상위 메뉴에서 하위 메뉴를 통해 최종적인 기능을 수행하는 방식이다.
이때, 제어부(130)는, 상기 멀티 레벨 입력 모드에서 제1 레벨의 사용자 제스처 입력이 수신되면, 상기 디스플레이 장치(100)를 제1 레벨의 기능으로 설정한다.
그리고, 제어부(130)는 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이라고 판단되면, 상기 설정된 제1 레벨의 기능에 대응되는 화면을 출력하도록 상기 디스플레이부(120)를 제어한다.
그러나, 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이 아니라고 판단되면, 제2 레벨의 사용자 제스처 입력을 기다린다.
그리고, 제2 레벨의 사용자 제스처 입력이 수신되면, 디스플레이 장치(100)를 제2 레벨의 기능으로 설정한다.
만일 제2 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이라고 판단되면, 상기 설정된 제2 레벨의 기능에 대응되는 화면을 출력하도록 상기 디스플레이부(120)를 제어한다. 그러나, 제2 레벨의 사용자 제스처 입력도 최종 레벨의 사용자 입력이라고 판단되지 않는다면, 다음의 레벨의 사용자 제스처 입력을 기다릴 것이다. 이에 대한 구체적인 실시 예에 대해서는 뒤에서 좀더 자세하게 설명한다.
전술한 디스플레이 장치(100)는 일반적인 전자 계산 장치가 갖는 필수적인 구성을 포함한다. 즉, 충분한 제어 및 연산 능력을 갖는 CPU 외에도, 하드 디스크나 블루레이 디스크와 같은 대용량 보조 기억 장치, 근거리 통신 모듈, HDMI, USB를 포함하는 다양한 유무선 통신부(140), 모션 센서, 영상 센서, GPS 모듈, 섀시 등의 하드웨어 구성을 더 포함한다.
본 발명에 따른 디스플레이 장치(100)는 다양한 전자 장치로 구현될 수 있다. 특히, 다양한 모바일 장치로 구현될 수 있는데, 예를 들어, 스마트 폰, 태블릿 PC, 스마트 워치(smart watch), PMP, MP3 플레이어, PDA, 셀 폰, 기타 이동성 있는 단말 장치 중 하나로 구현 가능하다.
이하에서는 본 발명의 다양한 실시 예에 따른 디스플레이 장치(100)의 기능 수행 방법과 본 발명의 다양한 시나리오를 설명한다.
도 3은 본 발명의 일 실시 예에 따른 디스플레이 장치의 기능 수행 방법의 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 디스플레이 장치의 기능 수행 방법은, 먼저 제1 사용자 입력을 수신한다(S310). 제1 사용자 입력을 수신하면 디스플레이 장치를 멀티 레벨 입력 모드로 설정한다(S320). 전술한 것처럼 멀티 레벨 입력 모드란, 여러 단계의 입력을 거쳐 디스플레이 장치(100)의 최종적인 기능을 수행할 수 있는 입력 모드를 말한다. 예를 들어, 상위 메뉴에서 하위 메뉴를 통해 최종적인 기능을 수행하는 방식이다.
다음으로, 제1 레벨의 사용자 제스처 입력이 수신되면(S330-Y), 디스플레이 장치를 제1 레벨의 기능으로 설정한다(S340).
그리고, 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이면(S350-Y), 설정된 제1 레벨의 기능에 대응되는 화면을 출력한다(S360).
도 4 및 5는 전술한 제어부(130)의 동작과 도 3의 시나리오를 도시한다.
즉, 도 4 및 5는 본 발명의 다양한 실시 예에 따른 시나리오를 도시한 도면이다.
제1 사용자 입력이 수신되어 디스플레이 장치를 멀티 레벨 입력 모드로 설정하는 경우, 도 4 및 5에 도시된 것처럼 제1사용자 입력은 핀치 아웃에 의한 터치 제스처 입력이 될 수 있다(41, 51). 물론, 이와 다른 제스처 입력이 될 수도 있고, 전술한 디스플레이 장치(100)의 다른 입력부(110)를 통한 사용자 입력이 이루어질 수도 있다.
제1 레벨의 사용자 제스처 입력은 사용자 터치 제스처 입력 및 사용자 모션 제스처 입력 중 어느 하나가 될 수 있는데, 도 4 및 5에 도시된 것처럼 한정될 수도 있다.
즉, 도 4를 참조하면, 제1 레벨의 사용자 제스처 입력은 알파벳 ‘V’자 형태를 나타내는 사용자 터치 제스처 입력(42) 및 상기 디스플레이 장치(100)를 기 설정된 각도로 기울이는 사용자 모션 제스처 입력(43) 중 어느 하나가 될 수 있다.
전술한 것처럼 터치 센서(112)는 사용자 터치 제스처 입력을 감지할 수 있고, 제어부(130)는 ‘V’자 형태의 사용자 터치 제스처 입력을 식별할 수 있다. 제어부(130)는 이를 VOICE RECORDING에 매핑한다. 디스플레이 장치(100)를 기 설정된 각도로 기울이는 경우 가속도 센서(114)나 자이로 센서는 디스플레이 장치(100)의 기울기를 감지하며, 제어부(130)는 이러한 입력을 VOICE RECORDING에 매핑한다.
그리고, 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이라고 판단되므로, 제어부(130)는 디스플레이 장치(100)에 녹음 애플리케이션 기능을 실행한다(44).
도 5를 참조하면, 제1 레벨의 사용자 제스처 입력은 알파벳 ‘S’ 형태를 나타내는 사용자 터치 제스처 입력(52) 및 상기 디스플레이 장치(100)의 디스플레이 스크린을 사용자 객체로 근접시키는 사용자 모션 제스처 입력(53) 중 어느 하나가 될 수 있다.
전술한 것처럼 터치 센서(112)는 사용자 터치 제스처 입력을 감지할 수 있고, 제어부(130)는 ‘S’ 형태의 사용자 터치 제스처 입력을 식별할 수 있다. 제어부(130)는 이를 디바이스 셋팅 기능에 매핑하여 이 기능을 활성화시킨다(54). 디스플레이 장치(100)의 스크린 상에 손바닥을 올려놓는 등 사용자 객체를 근접시키는 경우 근접 센서(113)는 사용자 객체의 근접을 감지하며, 제어부(130)는 이러한 근접 입력을 감지하여 디바이스 셋팅 기능을 활성화시킨다(54). 물론, 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력임이 전제되어야 한다.
도 6은 본 발명의 다른 실시 예에 따른 디스플레이 장치의 기능 수행 방법의 흐름도이다.
도 6을 참조하면, 본 발명의 다른 실시 예에 따른 디스플레이 장치의 기능 수행 방법은, 먼저 제1 사용자 입력을 수신한다(S610). 제1 사용자 입력을 수신하면 디스플레이 장치를 멀티 레벨 입력 모드로 설정한다(S620). 전술한 것처럼 멀티 레벨 입력 모드란, 여러 단계의 입력을 거쳐 디스플레이 장치(100)의 최종적인 기능을 수행할 수 있는 입력 모드를 말한다. 예를 들어, 상위 메뉴에서 하위 메뉴를 통해 최종적인 기능을 수행하는 방식이다.
다음으로, 제1 레벨의 사용자 제스처 입력이 수신되면(S630-Y), 디스플레이 장치를 제1 레벨의 기능으로 설정한다(S640).
그리고, (제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이 아니라고판단되고) 제2 레벨의 사용자 제스처 입력이 수신되면(S650-Y), 디스플레이 장치를 제2 레벨의 기능으로 설정한다(S660).
제2 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력으로 판단되면, (S670-Y), 설정된 제2 레벨의 기능에 대응되는 화면을 출력한다(S680).
도 7 내지 10은 전술한 제어부(130)의 동작과 도 6의 시나리오를 도시한다.
즉, 도 7 내지 10은 본 발명의 다양한 실시 예에 따른 시나리오를 도시한 도면이다.
제1 사용자 입력이 수신되어 디스플레이 장치를 멀티 레벨 입력 모드로 설정하는 경우, 도 7 내지 10에 도시된 것처럼 제1사용자 입력은 핀치 아웃에 의한 터치 제스처 입력이 될 수 있다(71, 81, 91, 1010). 물론, 이와 다른 제스처 입력이 될 수도 있고, 전술한 디스플레이 장치(100)의 다른 입력부(110)를 통한 사용자 입력이 이루어질 수도 있다.
도 7은 전화 걸기 화면을 표시하는 시나리오를 도시한다.
제1 레벨의 사용자 제스처 입력은 사용자 터치 제스처 입력 및 사용자 모션 제스처 입력 중 어느 하나가 될 수 있는데, 도 7 내지 10에 도시된 것처럼 한정될 수도 있다.
제1 레벨의 사용자 제스처 입력은 알파벳 ‘C’ 형태를 나타내는 사용자 터치 제스처 입력 및 디스플레이 장치(100)의 디스플레이 스크린을 사용자 객체로 근접시키는 사용자 모션 제스처 입력 중 어느 하나일 수 있다.
전술한 것처럼 터치 센서(112)는 사용자 터치 제스처 입력을 감지할 수 있고, 제어부(130)는 ‘C’자 형태의 사용자 터치 제스처 입력을 식별할 수 있다. 제어부(130)는 이를 ‘전화 걸기’ 기능에 매핑하여 이를 디스플레이 장치(100)에 설정한다(72). 또는 디스플레이 장치(100)의 스크린 상에 귀를 가까이 하는 등 사용자 객체를 근접시키는 경우 근접 센서(113)는 사용자 객체의 근접을 감지하며, 제어부(130)는 이러한 근접 입력을 감지하여 이를 ‘전화 걸기’ 기능에 매핑하여 이를 디스플레이 장치에 설정한다(73). 구현에 따라 제어부(130)는 사용자 객체를 식별할 수 있는데, 예를 들어, 근접의 정도에 따라 사용자 객체의 모양을 식별할 수 있다. 이 경우 손바닥으로 근접한 경우와 사용자 귀를 근접한 경우를 구별할 수 있도록 구현도 가능할 것이다.
제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이 아니라고 판단될 것이므로, 계속해서 제2 레벨의 사용자 제스처 입력을 수신한다.
제2 레벨의 사용자 제스처 입력이 알파벳 소문자‘l’ 형태를 나타내는 사용자 터치 제스처 입력이면, 설정된 제2 레벨의 기능은 최근 통화 목록 표시 기능일 수 있다.
즉, 제어부(130)는 ‘l’자 형태의 사용자 터치 제스처 입력을 식별할 수 있다(74). 제어부(130)는 이를 ‘list’에 매핑하는데, 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이라고 판단되므로, 최근 통화 목록을 표시하도록 제어한다(75).
도 8은 메시지 리스트를 표시하는 시나리오를 도시한다.
도 8을 참조하면, 제1 레벨의 사용자 제스처 입력은 알파벳 ‘m’또는‘M’ 형태를 나타내는 사용자 터치 제스처 입력이고, 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력이다.
전술한 것처럼 터치 센서(112)는 사용자 터치 제스처 입력을 감지할 수 있고, 제어부(130)는 ‘m’또는‘M’ 형태의 사용자 터치 제스처 입력과 ‘l’ 형태의 사용자 터치 제스처 입력을 각각 식별할 수 있다. 제어부(130)는 ‘m’또는‘M’ 형태의 사용자 터치 제스처 입력을 ‘메시지 보내기’ 기능에 매핑하여 디스플레이 장치(100)를 설정한다(82). 또한, 제어부(130)는 ‘l’ 형태의 사용자 터치 제스처 입력을 ‘메시지 리스트’ 기능에 매핑하며, 제2 사용자 터치 제스처 입력이 최종 레벨의 사용자 입력이므로, 상기 설정된 제2 레벨의 기능인 ‘메시지 리스트’ 기능에 대응되는 화면을 표시한다(84).
도 9는 알람을 설정하는 화면을 표시하는 시나리오를 도시한다.
제1 레벨의 사용자 제스처 입력은 알파벳 ‘A’또는 ‘a’ 형태를 나타내는 사용자 터치 제스처 입력 및 디스플레이 장치(100)의 디스플레이 스크린 하단을 좌우로 드래그하는 터치 제스처 입력 중 어느 하나일 수 있다.
전술한 것처럼 터치 센서(112)는 사용자 터치 제스처 입력을 감지할 수 있고, 제어부(130)는 ‘A’또는‘a’ 형태의 사용자 터치 제스처 입력과 디스플레이 장치(100)의 디스플레이 스크린 하단을 좌우로 드래그하는 터치 제스처 입력을 각각 식별할 수 있다. 제어부(130)는 ‘A’또는‘a’ 형태의 사용자 터치 제스처 입력을 ‘알람(alarm)’ 기능에 매핑하여 이를 활성화시킨다(92). 디스플레이 장치(100)의 디스플레이 스크린 하단을 좌우로 드래그하는 터치 제스처 입력도 동일한 기능으로 매핑된다.
제2 레벨의 사용자 제스처 입력이 알파벳 소문자‘l’ 형태를 나타내는 사용자 터치 제스처 입력이면, 설정된 제2 레벨의 기능은 알람 리스트 표시 기능일 수 있다.
즉, 제어부(130)는 ‘l’자 형태의 사용자 터치 제스처 입력을 ‘알람 리스트’ 기능에 매핑하며, 제2 사용자 터치 제스처 입력이 최종 레벨의 사용자 입력이므로, 최종적으로 알람 리스트를 표시해준다(97).
반면, 제2 레벨의 사용자 제스처 입력이 알파벳 ‘C’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 설정된 제2 레벨의 기능은 알람 시간 설정 기능이다. 즉, 제어부(130)는 이 경우에는 ‘C’ 형태를 나타내는 사용자 터치 제스처 입력을 ‘알람 시간 설정’기능으로 매핑하여 제2 사용자 터치 제스처 입력이 최종 레벨의 사용자 입력이므로, 이러한 기능을 실행시킨다(96).
도 10은 이메일을 작성하거나 읽는 기능을 실행하는 시나리오를 나타내는 도면이다.
도 10을 참조하면, 제1 레벨의 사용자 제스처 입력은 알파벳 ‘E’또는 ‘e’ 형태를 나타내는 사용자 터치 제스처 입력이고, 상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘r’또는 ‘R’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 상기 설정된 제2 레벨의 기능은 이메일 수신함을 표시하는 기능일 수 있다.
제1 레벨의 사용자 제스처 입력은 알파벳 ‘E’또는 ‘e’ 형태를 나타내는 사용자 터치 제스처 입력이면, 제어부(130)는 알파벳 ‘E’또는 ‘e’ 형태를 나타내는 사용자 터치 제스처 입력을 이메일 기능으로 매핑하여 디스플레이 장치(100)를 이메일 기능으로 설정한다(102).
그리고, 제어부(130)는 제2 레벨의 사용자 제스처 입력은 알파벳 ‘r’또는 ‘R’ 형태를 나타내는 사용자 터치 제스처 입력을 이메일 읽기(read e-mail)로 매핑하고(103), 제2 사용자 터치 제스처 입력이 최종 레벨의 사용자 입력이므로, 이러한 기능을 실행시켜 이메일 수신함을 디스플레이 한다(105).
반면, 상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘w’ 형태를 나타내는 사용자 터치 제스처 입력인 경우, 상기 설정된 제2 레벨의 기능은 이메일 작성 기능일 수 있다.
즉, 제어부(130)는 제2 레벨의 사용자 제스처 입력은 알파벳 ‘w’ 형태를 나타내는 사용자 터치 제스처 입력을 이메일 쓰기(write e-mail)로 매핑하고(104), 제2 사용자 터치 제스처 입력이 최종 레벨의 사용자 입력이므로, 이러한 기능을 실행시켜 이메일 쓰기 화면을 디스플레이 한다(106).
이상과 같은 본 발명의 다양한 실시 예에 따르면, 본 발명은, 사용자가 복잡한 디바이스의 기능을 좀더 직관적이면서 쉽고 간편하게 사용할 수 있도록 하는 인터페이스 기술을 제공한다.
좀더 구체적으로 본 발명은, 터치 제스처나 모션 제스처 등을 결합하여 멀티 제스처를 사용함으로써, 디바이스의 기능을 바로 실행할 수 있는 인터페이스 기술을 제공한다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100, 100-1 : 디스플레이 장치
110 : 입력부 120 : 디스플레이부
130 : 제어부 140 : 통신부
160 : 스피커 170 : 저장부
180 : 전원부

Claims (20)

  1. 디스플레이 장치의 기능 수행 방법에 있어서,
    제1사용자 입력이 수신되면, 상기 디스플레이 장치를 멀티 레벨 입력 모드로 설정하는 단계;
    상기 멀티 레벨 입력 모드에서 제1 레벨의 사용자 제스처 입력이 수신되면, 상기 디스플레이 장치를 상기 제1 레벨의 기능으로 설정하는 단계; 및
    상기 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이라고 판단되면, 상기 설정된 제1 레벨의 기능에 대응되는 화면을 출력하는 단계;를 포함하는 디스플레이 장치의 기능 수행 방법.
  2. 제1항에 있어서,
    상기 제1사용자 입력은 핀치 아웃(pinch-out)에 의한 터치 제스처 입력인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  3. 제1항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 사용자 터치 제스처 입력 및 사용자 모션 제스처 입력 중 어느 하나인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  4. 제1항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘V’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치를 기 설정된 각도로 기울이는 사용자 모션 제스처 입력 중 어느 하나이고,
    상기 설정된 제1 레벨의 기능은 음성 녹음 기능인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  5. 제1항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘S’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린을 사용자 객체로 근접시키는 사용자 모션 제스처 입력 중 어느 하나이고,
    상기 설정된 제1 레벨의 기능은 디바이스의 셋팅 기능인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  6. 제1항에 있어서,
    상기 디스플레이 장치가 상기 제1 레벨의 기능으로 설정된 상태에서, 제2 레벨의 사용자 제스처 입력이 수신되면, 상기 디스플레이 장치를 상기 제2 레벨의 기능으로 설정하는 단계; 및
    상기 제2 레벨의 사용자 제스처 입력이 상기 최종 레벨의 사용자 입력이라고 판단되면, 상기 설정된 제2 레벨의 기능에 대응되는 화면을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  7. 제1항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘C’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린을 사용자 객체로 근접시키는 사용자 모션 제스처 입력 중 어느 하나이고,
    상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력인 경우,
    상기 설정된 제2 레벨의 기능은 최근 통화 목록 표시 기능인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  8. 제6항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘M’또는 ‘m’ 형태를 나타내는 사용자 터치 제스처 입력이고,
    상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력인 경우,
    상기 설정된 제2 레벨의 기능은 메시지 리스트 표시 기능인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  9. 제6항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘A’또는 ‘a’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린 하단을 좌우로 드래그하는 터치 제스처 입력 중 어느 하나이고,
    상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력인 경우,
    상기 설정된 제2 레벨의 기능은 알람 리스트 표시 기능인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  10. 제6항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘A’또는 ‘a’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린 하단을 좌우로 드래그하는 터치 제스처 입력 중 어느 하나이고,
    상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘C’ 형태를 나타내는 사용자 터치 제스처 입력인 경우,
    상기 설정된 제2 레벨의 기능은 알람 시간 설정 기능인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  11. 제6항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘E’또는 ‘e’ 형태를 나타내는 사용자 터치 제스처 입력이고,
    상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘r’또는 ‘R’ 형태를 나타내는 사용자 터치 제스처 입력인 경우,
    상기 설정된 제2 레벨의 기능은 이메일 수신함을 표시하는 기능인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  12. 제6항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘E’또는 ‘e’ 형태를 나타내는 사용자 터치 제스처 입력이고,
    상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘w’ 형태를 나타내는 사용자 터치 제스처 입력인 경우,
    상기 설정된 제2 레벨의 기능은 이메일 작성 기능인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
  13. 디스플레이 장치에 있어서,
    디스플레이부;
    제1사용자 입력을 수신하는 입력부; 및
    상기 입력부를 통해 상기 제1사용자 입력이 수신되면, 상기 디스플레이 장치를 멀티 레벨 입력 모드로 설정하고,
    상기 멀티 레벨 입력 모드에서 제1 레벨의 사용자 제스처 입력이 수신되면, 상기 디스플레이 장치를 상기 제1 레벨의 기능으로 설정하며,
    상기 제1 레벨의 사용자 제스처 입력이 최종 레벨의 사용자 입력이라고 판단되면, 상기 설정된 제1 레벨의 기능에 대응되는 화면을 출력하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 디스플레이 장치.
  14. 제13항에 있어서,
    상기 제1사용자 입력은 핀치 아웃에 의한 터치 제스처 입력인 것을 특징으로 하는 디스플레이 장치.
  15. 제13항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 사용자 터치 제스처 입력 및 사용자 모션 제스처 입력 중 어느 하나인 것을 특징으로 하는 디스플레이 장치.
  16. 제13항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘V’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치를 기 설정된 각도로 기울이는 사용자 모션 제스처 입력 중 어느 하나이고,
    상기 설정된 제1 레벨의 기능은 음성 녹음 기능인 것을 특징으로 하는 디스플레이 장치.
  17. 제13항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘S’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린을 사용자 객체로 근접시키는 사용자 모션 제스처 입력 중 어느 하나이고,
    상기 설정된 제1 레벨의 기능은 디바이스의 셋팅 기능인 것을 특징으로 하는 디스플레이 장치.
  18. 제13항에 있어서,
    상기 디스플레이 장치가 상기 제1 레벨의 기능으로 설정된 상태에서, 제2 레벨의 사용자 제스처 입력이 수신되면, 상기 디스플레이 장치를 상기 제2 레벨의 기능으로 설정하는 단계; 및
    상기 제2 레벨의 사용자 제스처 입력이 상기 최종 레벨의 사용자 입력이라고 판단되면, 상기 설정된 제2 레벨의 기능에 대응되는 화면을 출력하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 장치.
  19. 제13항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘C’ 형태를 나타내는 사용자 터치 제스처 입력 및 상기 디스플레이 장치의 디스플레이 스크린을 사용자 객체로 근접시키는 사용자 모션 제스처 입력 중 어느 하나이고,
    상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력인 경우,
    상기 설정된 제2 레벨의 기능은 최근 통화 목록 표시 기능인 것을 특징으로 하는 디스플레이 장치.
  20. 제18항에 있어서,
    상기 제1 레벨의 사용자 제스처 입력은 알파벳 ‘M’또는 ‘m’ 형태를 나타내는 사용자 터치 제스처 입력이고,
    상기 제2 레벨의 사용자 제스처 입력은 알파벳 ‘l’ 형태를 나타내는 사용자 터치 제스처 입력인 경우,
    상기 설정된 제2 레벨의 기능은 메시지 리스트 표시 기능인 것을 특징으로 하는 디스플레이 장치의 기능 수행 방법.
KR1020130131141A 2013-10-31 2013-10-31 디스플레이 장치의 기능 수행 방법 및 디스플레이 장치 KR20150049936A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130131141A KR20150049936A (ko) 2013-10-31 2013-10-31 디스플레이 장치의 기능 수행 방법 및 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130131141A KR20150049936A (ko) 2013-10-31 2013-10-31 디스플레이 장치의 기능 수행 방법 및 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR20150049936A true KR20150049936A (ko) 2015-05-08

Family

ID=53387925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130131141A KR20150049936A (ko) 2013-10-31 2013-10-31 디스플레이 장치의 기능 수행 방법 및 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR20150049936A (ko)

Similar Documents

Publication Publication Date Title
US10401964B2 (en) Mobile terminal and method for controlling haptic feedback
ES2748044T3 (es) Aparato de pantalla y procedimiento de control del mismo
US10698564B2 (en) User terminal device and displaying method thereof
US10891005B2 (en) Electronic device with bent display and method for controlling thereof
KR102144553B1 (ko) 다중 디스플레이 방법, 저장 매체 및 전자 장치
RU2677595C2 (ru) Способ и аппаратура для отображения интерфейса приложения и электронное устройство
AU2014200924B2 (en) Context awareness-based screen scroll method, machine-readable storage medium and terminal therefor
JP6184497B2 (ja) フレキシブル装置及びその制御方法
KR102063952B1 (ko) 멀티 디스플레이 장치 및 멀티 디스플레이 방법
JP6254147B2 (ja) 透明ディスプレイを有するデバイスにおけるオブジェクト制御方法、該デバイス及び該記録媒体
KR20180031373A (ko) 전자 장치 및 그의 동작 방법
US9658762B2 (en) Mobile terminal and method for controlling display of object on touch screen
TW201510844A (zh) 用於電子元件中的方法、電腦程式產品以及非暫時性電腦可讀記錄媒體
US10963011B2 (en) Touch input method and mobile terminal
KR101559091B1 (ko) 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
KR102183445B1 (ko) 투과 영역을 포함하는 커버를 가지는 휴대 단말기의 디스플레이 방법 및 장치
US10055092B2 (en) Electronic device and method of displaying object
KR20150131542A (ko) 입력 제어 객체 운용 방법 및 이를 지원하는 전자 장치
KR20140105352A (ko) 상황인지 기반의 화면 스크롤 방법, 저장 매체 및 단말
KR102353919B1 (ko) 터치의 압력에 응답하여 지정된 동작을 수행하는 전자 장치 및 방법
EP3128397B1 (en) Electronic apparatus and text input method for the same
KR20160027886A (ko) 벤디드 디스플레이와 커버를 갖는 휴대단말 및 그 어플리케이션 실행 방법
KR20150049936A (ko) 디스플레이 장치의 기능 수행 방법 및 디스플레이 장치
KR20160027856A (ko) 벤디드 디스플레이와 커버를 갖는 휴대단말 및 그 어플리케이션 실행 방법
KR20170009688A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application