KR20160134080A - 단말기 및 그 동작 방법 - Google Patents

단말기 및 그 동작 방법 Download PDF

Info

Publication number
KR20160134080A
KR20160134080A KR1020150067511A KR20150067511A KR20160134080A KR 20160134080 A KR20160134080 A KR 20160134080A KR 1020150067511 A KR1020150067511 A KR 1020150067511A KR 20150067511 A KR20150067511 A KR 20150067511A KR 20160134080 A KR20160134080 A KR 20160134080A
Authority
KR
South Korea
Prior art keywords
terminal
user input
user
intelligent agent
display
Prior art date
Application number
KR1020150067511A
Other languages
English (en)
Inventor
백범현
최경동
장혁재
김지은
황금성
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150067511A priority Critical patent/KR20160134080A/ko
Priority to US14/850,786 priority patent/US10156978B2/en
Priority to EP15188886.4A priority patent/EP3076279A1/en
Priority to CN201510726347.9A priority patent/CN106020660B/zh
Publication of KR20160134080A publication Critical patent/KR20160134080A/ko

Links

Images

Classifications

    • H04M1/72522—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시예에 따른 단말기는 단말기의 사용자가 의도하는 단말기의 기능 또는 동작을 제공하는 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하고, 다른 단말기에 대응하는 제2 단말기로부터, 상기 제2 단말기에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 연동 정보를 수신한다. 단말기는 상기 수신된 연동 정보를 기초로, 상기 단말기와 상기 제2 단말기의 연동 허용 여부를 판단하고, 상기 연동 허용 여부에 대한 판단 결과 및 상기 사용자 입력에 대응하는 동작을 수행한다.

Description

단말기 및 그 동작 방법{TERMINAL AND OPERATING METHOD THEREOF}
본 발명은 단말기 및 그 동작 방법에 관한 것으로, 사용자에게 다양한 기능을 제공할 수 있는 지능형 에이전트를 구비한 단말기에 관한 것이다.
단말기는 이동 가능 여부에 따라 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
한편, 최근에는 단말기에 대한 입력 방식으로 단말기에 구비된 터치 스크린에 대한 터치 입력이 주로 사용되고 있으며, 추가적으로 사용자의 음성을 인식하는 음성 입력 방식, 사용자의 움직임을 인식하는 모션 입력 방식 등도 사용되고 있다.
그리고 사용자의 자연 언어를 인식하는 음성 인식 기술이 발전함에 따라, 사용자의 질문에 답변하고, 사용자의 지시에 대한 동작을 수행하는 자연 언어 처리를 이용하는 응용 소프트웨어가 단말기에 제공되고 있다.
이에 따라 사용자는 단말기에 자연 언어로 된 음성으로 명령이나 질문을 하고, 이를 통해 단말기로부터 원하는 정보를 획득하고, 원하는 동작을 단말기가 수행하도록 할 수 있다.
하지만, 이러한 단말기의 자연 언어 처리 정도는 사용자의 자연 언어를 인식하는 인식률이 사용자가 만족할 정도로 높지 않아서, 사용자가 실제 사용하는 빈도가 높지 않은 단점이 있다.
또한, 단말기의 음성 인식을 통한 자연 언어 인식 기능은 사용자들의 다양한 언어, 다양한 발음에 영향을 받기 때문에 음성 명령을 하는 사용자에 따라 단말기의 음성 인식률이 달라지는 문제도 있다.
그리고 사용자가 음성을 통해 단말기에 지시할 수 있는 단말기의 동작, 기능 등이 다양하지 않아서, 사용자가 단말기의 음성 입력 방식을 통해 사용할 수 있는 단말기의 동작, 기능이 한정되는 문제도 있다.
따라서, 사용자의 의도하는 단말기의 기능, 단말기의 동작을 다양한 입력 방식을 통해 효율적이고 지능적으로 사용자에게 제공할 수 있는 단말기가 필요하다.
본 발명은 단말기에 구비된 지능형 에이전트를 통해, 사용자에게 사용자가 의도하는 적절한 기능 및 동작을 제공하는데 목적이 있다.
또한, 본 발명은 다양한 입력 방식을 통해 사용자 입력을 획득하고, 획득된 사용자 입력에 대응하는 단말기의 기능 및 동작을 제공하는 지능형 에이전트를 제공하는데 목적이 있다.
본 발명의 일 실시 예에 따른 단말기의 동작 방법에 있어서, 단말기의 사용자가 의도하는 상기 단말기의 기능 또는 동작을 제공하는 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하는 단계; 다른 단말기에 대응하는 제2 단말기로부터, 상기 제2 단말기에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 연동 정보를 수신하는 단계; 상기 수신된 연동 정보를 기초로, 상기 단말기와 상기 제2 단말기의 연동 허용 여부를 판단하는 단계; 및 상기 연동 허용 여부에 대한 판단 결과 및 상기 사용자 입력에 대응하는 동작을 수행하는 단계를 포함한다.
본 발명의 다른 실시 예에 따른 단말기의 동작 방법에 있어서, 상기 단말기의 사용자가 의도하는 상기 단말기의 기능 또는 동작을 제공하는 지능형 에이전트를 실행하기 위한 사용자 입력으로, 상기 단말기의 화면의 일부 영역을 문지르는 사용자 입력을 획득하는 단계; 상기 지능형 에이전트를 실행하는 단계; 상기 사용자 입력에 대응하는 사용자를 인식하는 단계; 및 상기 실행된 지능형 에이전트를 기초로, 상기 인식된 사용자 및 상기 사용자 입력에 대응하는 동작을 수행하는 단계를 포함한다.
본 발명의 일 실시 예에 따른 단말기는 디스플레이부; 상기 디스플레이부에 대한 터치 입력을 센싱하는 터치 센서를 포함하는 센싱부; 및 상기 다른 단말기에 대응하는 제2 단말기로부터, 상기 제2 단말기에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 연동 정보를 수신하는 무선 통신부; 및 상기 단말기의 사용자가 의도하는 상기 단말기의 기능 또는 동작을 제공하는 지능형 에이전트를 실행하기 위한 사용자 입력으로, 상기 터치 센서를 통해 상기 디스플레이부의 화면의 일부 영역을 문지르는 사용자 입력을 획득하고, 상기 수신된 연동 정보를 기초로, 상기 단말기와 상기 제2 단말기의 허용 여부를 판단하고, 상기 연동 허용 여부에 대한 판단 결과 및 상기 일부 영역을 문지르는 사용자 입력에 대응하는 동작을 수행하는 제어부를 포함한다.
본 발명의 실시 예에 따른 단말기 및 그 동작 방법에 따르면, 사용자는 지능형 에이전트를 통해 사용자가 원하는 단말기의 기능 및 동작을 제공받을 수 있어서 단말기를 보다 편리하게 사용할 수 있다.
또한, 본 발명의 단말기는 다양한 입력 방식을 통해 지능형 에이전트에 대한 사용자 입력을 획득할 수 있어서, 지능형 에이전트 이용에 대한 사용자의 접근성 및 활용성을 향상시킬 수 있다.
또한, 본 발명의 단말기는 사용자의 다양한 입력을 기초로 사용자가 원하는 단말기의 동작 및 기능을 정확하게 판단할 수 있다.
도 1은 본 발명의 일 실시 예와 관련된 단말기의 블록 구성도(block diagram)이다.
도 2a 내지 도 2b는 본 발명의 일 실시 예에 따른 문지르는 터치를 설명하기 위한 개념도이다.
도 3a 내지 도 3b는 본 발명의 다른 실시 예에 따른 문지르는 터치를 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시 예에 따른 단말기의 후면 키에 대한 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 단말기의 동작 방법을 나타내는 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 7은 본 발명의 다른 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 8은 본 발명의 또 다른 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 9는 본 발명의 또 다른 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 10은 본 발명의 일 실시 예에 따른 제1 사용자 입력에 대응하는 비쥬얼 효과를 나타내는 예시도이다.
도 11은 본 발명의 일 실시 예에 따른 지능형 에이전트 아이콘이 표시된 화면을 나타내는 예시도이다.
도 12는 본 발명의 일 실시 예에 따른 지능형 에이전트 상태바가 표시된 화면을 나타내는 예시도이다.
도 13은 본 발명의 일 실시 예에 따른 지능형 에이전트 실행 효과가 표시된 화면을 나타내는 예시도이다.
도 14a는 본 발명의 일 실시 예에 따른 심플 화면 표시에 대한 예시도이다.
도 14b는 본 발명의 다른 실시 예에 따른 심플 화면 표시에 대한 예시도이다.
도 15a는 본 발명의 일 실시 예에 따른 심플 메뉴를 회전하는 사용자 입력에 대한 예시도이다.
도 15b는 본 발명의 일 실시 예에 따른 새로운 아이콘 표시에 대한 예시도이다.
도 16a는 본 발명의 일 실시 예에 따른 지능형 에이전트 아이콘에 대한 사용자 입력을 나타내는 예시도이다.
도 16b는 본 발명의 일 실시 예에 따른 특정 애플리케이션에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 17은 본 발명의 일 실시 예에 따른 메뉴창을 선택하는 터치 입력에 대한 예시도이다.
도 18은 본 발명의 일 실시 예에 따른 메뉴창을 선택하는 음성 입력에 대한 예시도이다.
도 19는 본 발명의 일 실시 예에 따른 메뉴창을 선택하기 위한 단말기 움직임에 대한 예시도이다.
도 20은 본 발명의 일 실시 예에 따른 열차 경로 정보 표시에 대한 예시도이다.
도 21은 본 발명의 다른 실시 예에 따른 지능형 에이전트 아이콘에 대한 사용자 입력을 나타내는 예시도이다.
도 22는 본 발명의 다른 실시 예에 따른 특정 애플리케이션에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 23은 본 발명의 일 실시 예에 따른 홈 화면을 나타내는 예시도이다.
도 24는 본 발명의 일 실시 예에 따른 카메라 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 25는 본 발명의 일 실시 예에 따른 카메라 애플리케이션 화면에서 문지르는 사용자 입력에 대한 예시도이다.
도 26은 본 발명의 일 실시 예에 따른 사진 폴더 표시 화면을 나타내는 예시도이다.
도 27은 본 발명의 일 실시 예에 따른 메시지 전송 화면을 나타내는 예시도이다.
도 28은 본 발명의 다른 실시 예에 따른 홈 화면을 나타내는 예시도이다.
도 29는 본 발명의 일 실시 예에 따른 일정 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 30은 본 발명의 일 실시 예에 따른 일정 입력 화면을 나타내는 예시도이다.
도 31은 본 발명의 일 실시 예에 따른 일정 표시 화면을 나타내는 예시도이다.
도 32는 본 발명의 일 실시 예에 따른 일정 입력 커서 표시 화면을 나타내는 예시도이다.
도 33은 본 발명의 일 실시 예에 따른 일정 입력 커서에 대한 사용자 입력을 나타내는 예시도이다.
도 34는 본 발명의 또 다른 실시 예에 따른 홈 화면을 나타내는 예시도이다.
도 35는 본 발명의 일 실시 예에 따른 사진 애플리케이션에 대한 터치 입력 및 음성 입력을 나타내는 예시도이다.
도 36은 본 발명의 일 실시 예에 따른 수집된 사진을 폴더로 분류한 화면을나타내는 예시도이다.
도 37은 본 발명의 일 실시 예에 따른 사진 표시 화면을 나타내는 예시도이다.
도 38은 본 발명의 일 실시 예에 따른 날씨 위젯에 대한 사용자 입력을 나타내는 예시도이다.
도 39는 본 발명의 일 실시 예에 따른 날씨 정보 표시 화면을 나타내는 예시도이다.
도 40은 본 발명의 일 실시 예에 따른 시간 위젯에 대한 사용자 입력을 나타내는 예시도이다.
도 41은 본 발명의 일 실시 예에 다른 일정 정보 표시 화면을 나타내는 예시도이다.
도 42는 본 발명의 다른 실시 예에 따른 지능형 에이전트 아이콘에 대한 사용자 입력을 나타내는 예시도이다.
도 43은 본 발명의 또 다른 실시 예에 따른 홈 화면을 나타내는 예시도이다.
도 44는 본 발명의 일 실시 예에 따른 심플 화면에 대한 사용자 입력에 대한 예시도이다.
도 45는 본 발명의 일 실시 예에 따른 음악 애플리케이션에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 46은 본 발명의 다른 실시 예에 따른 심플 화면에 대한 사용자 입력에 대한 예시도이다.
도 47은 본 발명의 일 실시 예에 따른 웹 브라우저 애플리케이션에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 48은 본 발명의 일 실시 예에 따른 현재 위치에 대응하는 추천 애플리케이션 표시 화면을 나타내는 예시도이다.
도 49는 본 발명의 다른 실시 예에 따른 현재 위치에 대응하는 추천 애플리케이션 표시 화면을 나타내는 예시도이다.
도 50은 본 발명의 또 다른 실시 예에 따른 현재 위치에 대응하는 추천 애플리케이션 표시 화면을 나타내는 예시도이다.
도 51은 본 발명의 또 다른 실시 예에 따른 현재 위치에 대응하는 추천 애플리케이션 표시 화면을 나타내는 예시도이다.
도 52는 본 발명의 일 실시 예에 따른 통화 중 화면을 나타내는 예시도이다.
도 53은 본 발명의 일 실시 예에 따른 통화 중 화면에 대한 사용자 입력을 나타내는 예시도이다.
도 54는 본 발명의 일 실시 예에 따른 통화 중 화면에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 55는 본 발명의 일 실시 예에 따른 지도 애플리케이션 동작 화면을 나타내는 예시도이다.
도 56은 본 발명의 일 실시 예에 따른 지도 애플리케이션 동작 화면에 대한 사용자 입력을 나타내는 예시도이다.
도 57는 본 발명의 일 실시 예에 따른 지도 애플리케이션 동작 화면에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 58은 본 발명의 일 실시 예에 따른 메뉴창에 대한 사용자 입력을 나타내는 예시도이다.
도 59는 본 발명의 일 실시 예에 따른 카페 위치 표시를 나타내는 예시도이다.
도 60은 본 발명의 일 실시 예에 따른 웹 브라우저 화면에 대한 사용자 입력을 나타내는 예시도이다.
도 61은 본 발명의 일 실시 예에 따른 웹 브라우저 화면에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 62는 본 발명의 다른 실시 예에 따른 웹 브라우저 화면에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 63은 본 발명의 다른 실시 예에 따른 웹 브라우저 화면에 대한 사용자 입력을 나타내는 예시도이다.
도 64a는 본 발명의 일 실시 예에 따른 키워드 자동 입력을 나타내는 예시도이다.
도 64b는 본 발명의 다른 실시 예에 따른 키워드 자동 입력을 나타내는 예시도이다.
도 65는 본 발명의 일 실시 예에 따른 음성 명령 내역 화면을 나타내는 예시도이다.
도 66은 본 발명의 일 실시 예에 따른 음성 인식 표시를 나타내는 예시도이다.
도 67은 본 발명의 다른 실시 예에 따른 음성 인식 표시를 나타내는 예시도이다.
도 68은 본 발명의 일 실시 예에 따른 지능형 에이전트 응용 프로그램을 종료하기 위한 사용자 입력에 대한 예시도이다.
도 69는 본 발명의 다른 실시 예에 따른 지능형 에이전트 응용 프로그램을 종료하기 위한 사용자 입력에 대한 예시도이다.
도 70은 본 발명의 일 실시 예에 따른 가이드 라인 표시에 대한 예시도이다.
도 71은 본 발명의 일 실시 예에 따른 지능형 에이전트 응용 프로그램에 대해 지원 가능한 응용 프로그램 추가에 대한 예시도이다.
도 72는 본 발명의 다른 실시 예에 따른 지능형 에이전트 응용 프로그램에 대해 지원 가능한 응용 프로그램 추가에 대한 예시도이다.
도 73은 본 발명의 다른 실시 예에 따른 단말기의 동작 방법을 나타내는 흐름도이다.
도 74는 본 발명의 일 실시 예에 따른 잠금 화면 표시에 대한 예시도이다.
도 75는 본 발명의 일 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 76은 본 발명의 일 실시 예에 따른 인식된 사용자에 대한 알람 정보 표시의 화면에 대한 예시도이다.
도 77은 본 발명의 일 실시 예에 따른 등록된 사용자에 대응하는 홈 화면에 대한 예시도이다.
도 78은 본 발명의 일 실시 예에 따른 등록되지 않은 사용자에 대한 메시지창에 대한 예시도이다.
도 79는 본 발명의 다른 실시 예에 따른 잠금 화면에 대한 예시도이다.
도 80은 본 발명의 또 다른 실시 예에 따른 잠금 화면에 대한 예시도이다.
도 81은 본 발명의 다른 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 82는 본 발명의 일 실시 예에 따른 인식된 사용자의 일정 정보 표시 화면에 대한 예시도이다.
도 83은 본 발명의 일 실시 예에 따른 홈 화면을 나타낸다.
도 84는 본 발명의 일 실시 예에 따른 전화 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 85는 본 발명의 일 실시 예에 따른 등록된 사용자에 대응하는 전화 메뉴 표시 화면을 나타낸다.
도 86은 본 발명의 따른 실시 예에 따른 등록되지 않은 사용자에 대응하는 전화 메뉴 표시 화면을 나타낸다.
도 87은 본 발명의 일 실시 예에 따른 뱅킹 애플리케이션 아이콘을 포함하는홈 화면을 나타낸다.
도 88은 본 발명의 일 실시 예에 따른 뱅킹 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 89는 본 발명의 일 실시 예에 따른 등록된 사용자에 대응하는 뱅킹 메뉴 표시 화면을 나타낸다.
도 90은 본 발명의 따른 실시 예에 따른 등록되지 않은 사용자에 대응하는 뱅킹 로그인 화면을 나타낸다.
도 91은 본 발명의 다른 일 실시 예와 관련된 와치 타입의 단말기(900)의 일 예를 보인 사시도이다.
도 92는 본 발명의 일 실시 예에 따른 심플 화면 표시에 대한 예시도이다.
도 93은 본 발명의 일 실시 예에 따른 와치 타입의 단말기의 화면을 문지르는 사용자 입력에 대한 예시도이다.
도 94는 본 발명의 일 실시 예에 따른 일정 입력 화면을 나타내는 예시도이다.
도 95는 본 발명의 다른 실시 예에 따른 와치 타입의 단말기의 화면을 문지르는 사용자 입력에 대한 예시도이다.
도 96은 본 발명의 일 실시 예에 따른 메시지 입력 화면을 나타내는 예시도이다.
도 97은 본 발명의 일 실시 예에 따른 웹 브라우저 화면에 대한 사용자 입력을 나타내는 예시도이다.
도 98은 본 발명의 일 실시 예에 따른 선택된 영역에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 99는 본 발명의 다른 실시 예에 따른 메시지 입력 화면에 대한 예시도이다.
도 100은 본 발명의 일 실시 예에 따른 복수의 단말기의 동작 방법을 나타내는 흐름도이다.
도 101은 본 발명의 일 실시 예에 따른 복수의 단말기에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 102는 본 발명의 다른 실시 예에 따른 복수의 단말기에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 103은 본 발명의 일 실시 예에 따른 파일 전송을 위한 사용자 입력에 대한 예시도이다.
도 104는 본 발명의 일 실시 예에 따른 애플리케이션 설치를 위한 사용자 입력에 대한 예시도이다.
도 105는 본 발명의 일 실시 예에 따른 일정 전송을 위한 사용자 입력에 대한 예시도이다.
도 106은 본 발명의 일 실시 예에 따른 동기화를 위한 사용자 입력에 대한 예시도이다.
도 107은 본 발명의 일 실시 예에 따른 배경 화면 이미지 전송에 대한 예시도이다.
도 108은 본 발명의 다른 실시 예에 따른 배경 화면 이미지 전송에 대한 예시도이다.
도 109는 본 발명의 또 다른 실시 예에 따른 배경 화면 이미지 전송에 대한 예시도이다.
도 110은 본 발명의 일 실시 예에 따른 복수의 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 111은 본 발명의 다른 실시 예에 따른 복수의 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 112는 본 발명의 일 실시 예에 따른 상단바를 문지르는 사용자 입력을 나타내는 예시도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
다음은 도 1을 참고하여 본 발명의 일 실시예에 따른 단말기의 구조를 설명한다.
도 1은 본 발명의 일 실시 예와 관련된 단말기의 블록 구성도(block diagram)이다.
상기 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 단말기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는, 단말기(100)와 무선 통신 시스템 사이, 단말기(100)와 다른 단말기(100) 사이, 단말기(100)와 다른 디바이스 사이 또는 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등이 이용될 수 있다.
위치정보 모듈(115)은 단말기의 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다. 예를 들어, 단말기는 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 단말기의 위치를 획득할 수 있다. 다른 예로서, 단말기는 Wi-Fi모듈을 활용하면, Wi-Fi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 단말기의 위치를 획득할 수 있다. 필요에 따라서, 위치정보모듈(115)은 치환 또는 부가적으로 단말기의 위치에 관한 데이터를 얻기 위해 무선 통신부(110)의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈(115)은 단말기의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 단말기의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다.
도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
사용자 입력부(130)는 상술한 사용자 입력부(123)와 동일한 구성일 수 있다.
센싱부(140)는 단말기 내 정보, 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 햅틱모듈(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
디스플레이부(151)는 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)(144)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서(144)는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서(144)는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서(144)는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력 및 정전용량까지도 검출할 수 있도록 구성될 수 있다.
터치 센서(144)에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
또한, 제어부(180)는 터치 시의 면적, 압력 및 정전용량을 기초로 사용자의 터치 입력의 종류를 판단할 수 있다. 이에 따라, 제어부(180)는 사용자의 손가락 터치, 손톱 터치, 손가락 마디 터치, 복수의 손가락을 이용한 멀티 터치를 구분할 수 있다.
또한, 제어부(180)는 사용자가 디스플레이부(151)의 특정 부위를 문지르는 터치 입력을 인식할 수도 있다. 여기서 문지르는 터치 입력은 디스플레이부(151)의 특정 부위를 일 방향으로 회전하는 터치 입력을 의미할 수 있고, 디스플레이부(151)의 특정 부위를 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력을 의미할 수도 있다.
예를 들면, 제어부(180)는 디스플레이부(151)의 특정 부위의 일정 면적 범위에서 일정한 크기의 터치가 지속적으로 인식되면, 인식된 터치를 문지르는 터치로 인식할 수 있다.
이에 대해 도 2a 내지 도 3b를 참조하여 설명한다.
도 2a 내지 도 2b는 본 발명의 일 실시 예에 따른 문지르는 터치를 설명하기 위한 개념도이다.
도 2a를 참조하면, 디스플레이부(151)의 일부 영역(151a)는 터치를 인식하는 기준인 복수의 센싱 포인트를 포함한다. 여기서 복수의 센싱 포인트는 일정한 간격으로 디스플레이부(151)의 일부 영역(151a)에 위치할 수 있고, 각각의 센싱 포인트에 대한 사용자 터치 입력을 인식하는 기준이 될 수 있다. 이에 따라 상술한 터치 센서(144)는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 발생되는 정전 용량 등의 변화를 전기적인 입력신호로 변환할 수 있다. 터치 스크린의 센싱 포인트에 대한 내용은 공지된 내용이므로 자세한 설명은 생략한다.
도 2a를 참조하면, 디스플레이부(151)의 일부 영역(151a)은 일정한 크기의 제1 영역(401), 제2 영역(402), 제3 영역(403)을 포함할 수 있다. 제2 영역(402)은 제1 영역(401)보다 넓은 영역이고, 제2 영역(402)은 제1 영역(401)을 포함할 수 있다. 제3 영역(403)은 제2 영역(402)보다 넓은 영역이고, 제3 영역(403)은 제2 영역(402)을 포함할 수 있다.
도 2a에 대한 설명을 기초로 도 2b를 참조하여, 사용자가 디스플레이부(151)의 일부 영역(151a)의 제1 영역(401)을 중심으로 문지르는 터치 입력인 시계 방향으로 회전하는 터치 입력을 하는 경우, 제어부(180)의 문지르는 터치 입력 인식을 설명한다.
도 2b를 참조하면, 제어부(180)는 디스플레이부(151)의 일부 영역(151a)의 제1 영역(401) 내의 센싱 포인트들로부터 터치 상태가 계속 감지되고, 제2 영역(402) 내의 센싱 포인트들로부터 터치 상태가 감지되었다가 일시적으로 터치되지 않는 상태가 감지되고, 제3 영역(403) 내의 센싱 포인트들로부터 터치되지 않는 상태 또는 일시적으로 터치되는 상태가 감지되면, 일부 영역(151a)에 대한 터치 입력을 문지르는 터치 입력을 인식할 수 있다.
여기서 제2 영역(402) 내의 센싱 포인트들의 터치 상태 감지 유무는 사용자의 문지르는 터치의 회전 방향, 사용자의 문지르는 터치의 터치 입력 속도, 사용자의 터치 면적 등에 따라 변동될 수 있다.
한편, 도 2b의 문지르는 터치 입력에 대한 설명은 설명을 위한 예시로, 제어부(180)는 시계 방향으로 회전하는 터치 입력 이외에도 반시계 방향, 일 방향에서 타 방향으로 회전하는 터치 입력도 인식할 수 있다.
도 3a 내지 도 3b는 본 발명의 다른 실시 예에 따른 문지르는 터치를 설명하기 위한 개념도이다.
도 3a를 참조하면, 디스플레이부(151)의 일부 영역(151a)는 터치를 인식하는 기준인 복수의 센싱 포인트를 포함한다. 여기서 복수의 센싱 포인트는 일정한 간격으로 디스플레이부(151)의 일부 영역(151a)에 위치할 수 있고, 각각의 센싱 포인트에 대한 사용자 터치 입력을 인식하는 기준이 될 수 있다. 이에 따라 상술한 터치 센서(144)는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 발생되는 정전 용량 등의 변화를 전기적인 입력신호로 변환할 수 있다. 터치 스크린의 센싱 포인트에 대한 내용은 공지된 내용이므로 자세한 설명은 생략한다.
도 3a를 참조하면, 디스플레이부(151)의 일부 영역(151a)은 일정한 크기의 제4 영역(404), 제5 영역(405), 제6 영역(406)을 포함할 수 있다. 제5 영역(405)은 제4 영역(404)보다 넓은 영역이고, 제5 영역(405)은 제4 영역(404)을 포함할 수 있다. 제6 영역(406)은 제5 영역(405)보다 넓은 영역이고, 제6 영역(406)은 제5 영역(405)를 포함할 수 있다.
도 3a에 대한 설명을 기초로 도 3b를 참조하여, 사용자가 디스플레이부(151)의 일부 영역(151a)의 제4 영역(404)을 중심으로 좌우 방향으로 문지르는 터치 입력을 하는 경우, 제어부(180)의 문지르는 터치 입력 인식을 설명한다.
도 3b를 참조하면, 제어부(180)는 디스플레이부(151)의 일부 영역(151a)의 제4 영역(404) 내의 센싱 포인트들로부터 터치 상태가 계속 감지되고, 제5 영역(405) 내의 센싱 포인트들로부터 터치 상태가 감지되었다가 일시적으로 터치되지 않는 상태가 감지되고, 제6 영역(406) 내의 센싱 포인트들로부터 터치되지 않는 상태 또는 일시적으로 터치되는 상태가 감지되면, 일부 영역(151a)에 대한 터치 입력을 문지르는 터치 입력으로 인식할 수 있다.
여기서 제5 영역(405) 내의 센싱 포인트들의 터치 상태 감지 유무는 사용자의 문지르는 터치의 터치 입력 방향, 사용자의 문지르는 터치의 터치 입력 속도, 사용자의 터치 면적 등에 따라 변동될 수 있다.
한편, 도 3b의 문지르는 터치 입력에 대한 설명은 설명을 위한 예시로, 제어부(180)는 좌우 방향으로 문지르는 터치 입력 이외에도 상하 방향 등과 같이 일 방향에서 타 방향으로 문지르는 터치 입력도 인식할 수 있다.
한편, 제어부(180)는 터치 입력 면적이 일정 면적 이상이거나, 터치 입력 시간이 일정 시간 이상이면 문지르는 터치 입력이 아닌 것으로 판단할 수도 있다.
또한, 제어부(180)는 단말기(100)가 슬립 모드인 경우, 문지르는 터치 입력을 획득하면 슬립 모드에서 정상 동작하는 정상 모드로 동작할 수 있다. 여기서 슬립 모드는 단말기(100)의 디스플레이부(151)가 턴 오프된 모드를 의미할 수 있고, 단말기(100)의 일부 구성이 턴 오프된 모드를 의미할 수도 있다. 예를 들면 슬립 모드는 단말기(100)의 디스플레이부(151), 센싱부(140) 중 하나 이상이 턴 오프된 모드일 수 있다.
그리고 슬립 모드는 센싱부(140)의 근접 센서(141), 터치 센서(144)의 동작 주기, 센싱 감도, 전력 소모 정도가 정상 모드와 다른 모드일 수 있다. 한편 슬립 모드(Sleep Mode)는 도즈 모드(Doze Mode)라고 할 수도 있다. 예를 들면, 슬립 모드에서는 근접 센서(141) 및 터치 센서(144)의 센싱 감도가 정상 모드일 때의 센싱 감도보다 둔감해질 수 있고, 동작 주기가 정상 모드일 때의 동작 주기보다 길어질 수 있다. 구체적으로, 제어부(180)는 디스플레이부가 턴 오프된 경우인 슬립 모드인 경우에, 근접 센서(141)가 센싱한 센싱값이 기준값 이상이면, 제2 슬립 모드로 동작할 수 있다. 제2 슬립 모드는 근접 센서(141) 및 터치 센서(144)의 동작 주기가 제1 슬립 모드보다 길고, 근접 센서(141) 및 터치 센서(144)의 센싱 감도가 제1 슬립 모드보다 둔감하게 동작하는 모드일 수 있다. 이에 따라 제2 슬립 모드에서의 근접 센서(144) 및 터치 센서(144)의 전력 소모가 제1 슬립 모드에서의 근접 센서(144) 및 터치 센서(144)의 전력 소모보다 적을 수 있다. 그리고 제어부(180)는 디스플레이부가 턴 오프된 경우인 슬립 모드인 경우에, 근접 센서(141)가 센싱한 센싱값이 기준값 미만이면, 제1 슬립 모드로 동작할 수 있다. 제1 슬립 모드는 근접 센서(141) 및 터치 센서(144)의 동작 주기가 제2 슬립 모드보다 짧고, 근접 센서(141) 및 터치 센서(144)의 센싱 감도가 제2 슬립 모드보다 민감하게 동작하는 모드일 수 있다. 이에 따라 일반적인 터치는 제1 슬립 모드에서는 인식될 수 있으나 제2 슬립 모드에서 인식되지 않을 수 있고, 문지르는 터치 입력은 제1 슬립 모드 및 제2 슬립 모드에서도 인식될 수 있다.
다시 도 1을 참조한다.
도 1을 참조하면, 상기 터치스크린에 의해 감싸지는 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. 상기 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서(141)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)(144)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어 가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
또한, 햅틱 모듈(154)은 진동을 발생시킬 수 있는 진동 소자를 포함할 수 있다. 예를 들면, 햅틱 모듈(154)에는 하나 이상의 진동 모터가 포함될 수 있으며, 진동 모터는 바 타임, 코인 타입 등 다양한 형태일 수 있다.
그리고 햅틱 모듈(154)은 단말기(100)의 형태에 따라 다양한 위치에 구비될 수 있다.
또한, 메모리(160)는 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(160)는 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(160)에 저장되고, 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 단말기(100)에 연결되는 모든 홈 디바이스와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 단말기(100) 내부의 각 구성 요소에 전달하거나, 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identity Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.
상기 인터페이스부(170)는 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller, 180)는 통상적으로 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
제어부(180)는 지능형 에이전트(Intelligent Agent) 응용 프로그램을 구동할 수 있다.
여기서 지능형 에이전트는 특정한 목적을 위해 사용자를 대신해서 작업을 수행하는 자율적 프로세스를 수행하는 응용 프로그램을 의미할 수 있다.
한편, 본 발명의 단말기(100)에서 구동되는 지능형 에이전트 응용 프로그램은 지니(Genie) 에이전트라고 명명할 수 있으며, 여기서 지니는 아라비안 나이트의 알라딘과 요술램프에 나오는 요정을 의미한다. 그래서 본 발명의 단말기(100)에서 구동되는 지능형 에이전트 응용 프로그램이 램프의 요정 지니처럼 사용자가 원하는 기능 또는 동작을 수행할 수 있음을 의미할 수 있다.
이에 따라 제어부(180)는 구동된 지능형 에이전트 응용 프로그램을 통해, 사용자가 의도하는 단말기(100)의 기능 또는 단말기(100)의 동작을 제공할 수 있다. 이에 대해서는 후술한다.
이하, 단말기(100)가 지능형 에이전트를 통해 기능을 수행한다는 표현은 제어부(180)가 지능형 에이전트 응용 프로그램을 처리하여 기능을 수행하는 것을 의미할 수 있으며, 지능형 에이전트는 지능형 에이전트 응용 프로그램을 의미할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
한편, 단말기(100)는 단말기(100)의 후면에 하나 이상의 물리적인 키(Key)를 구비할 수 있다. 여기서 물리적인 키는 사용자 입력부(123)에 포함되는 터치키, 푸시키 중 하나 이상일 수 있다. 이에 대해 도 4를 참조하여 설명한다.
도 4는 본 발명의 일 실시 예에 따른 단말기의 후면 키에 대한 예시도이다.
도 4를 참조하면, 단말기(100)의 후면에 후면 키(124)를 구비할 수 있다. 여기서 단말기(100)의 후면은 단말기(100)의 디스플레이부(151)와 반대되는 면을 의미할 수 있다. 후면 키(124)는 복수의 키로 구성될 수도 있고 하나의 키로 구성될 수도 있다. 예를 들면 도 4에 도시된 바와 같이, 후면 키(124)는 상단키(124a), 중단키(124b), 하단키(124c)를 포함할 수 있다. 후면 키(124)는 물리적인 키일 수도 있고, 터치키일 수도 있다. 또한, 후면 키(124)는 물리적인 푸쉬 입력이 가능한 터치키일 수도 있다. 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 그러한 실시예들이 제어부(180)에 의해 구현될 수 있다.
소프트웨어적인 구현에 의하면, 절차나 기능과 같은 실시예들은 적어도 하나의 기능 또는 작동을 수행하게 하는 별개의 소프트웨어 모듈과 함께 구현될 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다. 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
상술한 단말기(100)는 휴대형 단말기일 수도 있고, 거치형 단말기일 수도 있다. 따라서 단말기(100)는 사용자가 직접 휴대하는 형태일 수 있으며, 일정 영역에 거치된 형태일 수도 있다.
상술한 내용을 기초로 지능형 에이전트를 구비한 단말기의 동작에 대한 내용을 설명한다.
도 5는 본 발명의 일 실시 예에 따른 단말기의 동작 방법을 나타내는 흐름도이다.
도 5를 참조하면, 단말기(100)의 제어부(180)는 지능형 에이전트를 실행하기는 위한 제1 사용자 입력을 획득한다(S110).
제어부(180)는 사용자 입력부(123), 터치 센서(144), 카메라(121), 마이크(122) 중 하나 이상을 통해 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득할 수 있다.
일 실시 예로, 제어부(180)는 디스플레이부(151)의 일부 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 제1 사용자 입력으로 획득할 수 있다.
다른 실시 예로, 제어부(180)는 사용자 입력부(123)에 포함된 터치키, 푸시키 등을 통해 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득할 수 있다.
또 다른 실시 예로, 제어부(180)는 마이크(122)를 통해 지능형 에이전트를 실행하기 위한 제1 사용자 입력인 사용자 음성을 획득할 수 있다.
또 다른 실시 예로, 제어부(180)는 카메라(121)를 통해 지능형 에이전트를 실행하기 위한 제1 사용자 입력인 특정 이미지를 획득할 수 있다.
또 다른 실시 예로, 제어부(180)는 센싱부(140)에 포함된 모션 센서를 통해 지능형 에이전트를 실행하기 위한 제1 사용자 입력인 단말기에 대한 특정 움직임을 획득할 수 있다.
이에 대해 도 6 내지 도 9를 참조하여 설명한다.
도 6은 본 발명의 일 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 6을 참조하면, 제어부(180)는 디스플레이부(151)의 화면의 일부 영역에 하나 이상의 애플리케이션 아이콘을 표시할 수 있다. 여기서 디스플레이부(151)의 화면에서 애플리케이션 아이콘이 표시된 영역을 애플리케이션 영역(430)이라고 할 수 있다. 그리고 제어부(180)는 디스플레이부(151)의 화면의 일부 영역에 특정 정보를 나타내는 위젯(widget)을 표시할 수 있다. 여기서 디스플레이부(151)의 화면에서 위젯이 표시된 영역을 위젯 영역(450)이라고 할 수 있다. 그리고 디스플레이부(151)의 화면에서 애플리케이션 아이콘이나 위젯 같은 특정 오브젝트가 표시되지 않은 영역을 여백 영역(410)이라고 할 수 있다. 다만, 여백 영역(410)에는 배경 이미지가 표시될 수도 있다. 제어부(180)는 디스플레이부(151)의 여백 영역(410)을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 제1 사용자 입력으로 획득할 수 있다. 여기서 문지르는 터치 입력은 상술한 바와 같이, 일 방향으로 회전하는 터치 입력일 수도 있고, 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력일 수도 있다. 한편, 제어부(180)는 여백 영역(410)을 문지르는 터치 입력에 대응하여, 사용자가 자주 사용하는 하나 이상의 애플리케이션에 대응하는 기능을 표시할 수 있다. 이에 대해서는 후술한다.
도 7은 본 발명의 다른 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 7을 참조하면, 제어부(180)는 디스플레이부(151)의 화면에서 애플리케이션 영역(430)에 표시된 하나 이상의 애플리케이션 아이콘 중 하나의 애플리케이션 아이콘을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 제1 사용자 입력으로 획득할 수 있다. 여기서 문지르는 터치 입력은 상술한 바와 같이, 일 방향으로 회전하는 터치 입력일 수도 있고, 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력일 수도 있다. 한편, 제어부(180)는 특정 애플리케이션 아이콘을 문지르는 터치 입력에 대응하여, 터치된 애플리케이션 아이콘에 대응하는 특정 애플리케이션과 관련된 기능을 표시할 수 있다. 이에 대해서는 후술한다.
도 8은 본 발명의 또 다른 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 8을 참조하면, 제어부(180)는 단말기(100)의 후면에 구비된 후면 키(124)를 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 제1 사용자 입력으로 획득할 수 있다. 여기서 후면 키(124)는 상술한 바와 같이 터치 입력이 가능한 터치키일 수 있고, 복수의 키인 상단키(124a), 중단키(124b), 하단키(124c)를 포함할 수 있다. 이에 따라 제어부(180)는 상단키(124a), 중단키(124b), 하단키(124c) 중 하나 이상을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득할 수 있다. 여기서 문지르는 터치 입력은 상술한 바와 같이, 일 방향으로 회전하는 터치 입력일 수도 있고, 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력일 수도 있다. 한편, 제어부(180)는 후면 키(124)를 문지르는 터치 입력에 대응하여, 사용자가 자주 사용하는 하나 이상의 애플리케이션에 대응하는 기능을 표시할 수 있다. 이에 대해서는 후술한다.
도 9는 본 발명의 또 다른 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 9를 참조하면, 제어부(180)는 디스플레이부(151)의 여백 영역(410)을 문지르는 터치 입력 및 단말기(100)를 흔드는 움직임을 지능형 에이전트를 실행하기 위한 제1 사용자 입력으로 획득할 수 있다. 여기서 문지르는 터치 입력은 상술한 바와 같이, 일 방향으로 회전하는 터치 입력일 수도 있고, 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력일 수도 있다. 그리고 제어부(180)는 센싱부(140)를 통해 단말기(100)를 흔드는 움직임 입력을 획득할 수 있다. 예를 들면, 센싱부(140)는 센싱부(140)에 포함된 가속도 센서, 중력 센서, 자이로스코프 센서, 모션 센서 중 하나 이상을 통해 단말기(100)를 흔드는 사용자의 움직임을 센싱할 수 있다. 그리고 제어부(180)는 센싱부(140)로부터 센싱된 단말기(100)의 움직임을 획득할 수 있다. 한편, 제어부(180)는 여백 영역(410)을 문지르는 터치 입력 및 단말기(100)를 흔드는 움직임에 대응하여, 사용자의 현재 위치에 대응하는 추천 애플리케이션의 기능을 표시할 수 있다. 여기서 사용자의 현재 위치는 단말기(100)의 위치정보 모듈(115)이 획득한 단말기(100)의 위치일 수 있다. 또한, 사용자의 현재 위치는 단말기(100)의 무선 통신부(110)에 포함된 방송 수신 모듈(111), 이동 통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치 정보 모듈(115) 중 하나 이상의 통신 상태를 기초로 획득된 단말기(100)의 위치일 수 있다. 예를 들면, 사용자의 현재 위치는 단말기(100)의 Wi-Fi 모듈이 수신한 무선 AP 정보를 기반으로 획득한 단말기(100)의 위치 정보일 수 있다.
또한, 제어부(180)는 디스플레이부(151)에 특정 애플리케이션에 대한 화면이 표시된 상태에서, 표시된 화면의 특정 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 제1 사용자 입력으로 획득할 수 있다. 이에 따라 제어부(180)는 화면에 표시 중인 특정 애플리케이션과 관련된 기능을 표시하거나 동작을 수행할 수 있다. 이에 대해서는 후술한다.
또한, 제어부(180)는 마이크(122)를 통해 지능형 에이전트를 실행하기 위한 제1 사용자 입력인 음성을 획득할 수 있다. 예를 들면, 마이크(122)는 특정 음성 또는 특정 문장을 발화하는 사용자 음성을 획득할 수 있고, 제어부(180)는 마이크(122)가 획득한 특정 음성 또는 특정 문장을 지능형 에이전트를 실행하기 위한 제1 사용자 입력으로 획득할 수 있다.
또한, 제어부(180)는 카메라(121)를 통해 지능형 에이전트를 실행하기 위한 제1 사용자 입력인 특정 이미지를 획득할 수 있다. 예를 들면, 카메라(121)는 특정 이미지를 획득할 수 있고, 제어부(180)는 카메라(121)가 획득한 특정 이미지를 지능형 에이전트를 실행하기 위한 제1 사용자 입력으로 획득할 수 있다.
한편, 제어부(180)는 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득할 때, 비쥬얼 효과, 오디오 효과 중 하나 이상을 출력할 수도 있다. 예를 들면, 제어부(180)는 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득하면, 디스플레이부(151)에 비쥬얼 효과를 출력할 수 있다. 또한, 제어부(180)는 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득하면, 음향 출력 모듈(152)에 오디오 효과를 출력할 수 있다.
이에 대해 도 10을 참조하여 설명한다.
도 10은 본 발명의 일 실시 예에 따른 제1 사용자 입력에 대응하는 비쥬얼 효과를 나타내는 예시도이다.
도 10을 참조하면, 제어부(180)는 상술한 바와 같이, 디스플레이부(151)의 여백 영역(410)을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 지능형 에이전트를 실행하기 위한 제1 사용자 입력으로 획득할 수 있다. 제어부(180)는 문지르는 터치 입력을 획득하면, 문지르는 터치 입력이 감지되는 디스플레이부(180)의 특정 영역에 연기가 피어오르는 듯한 비쥬얼 효과(210)를 출력할 수 있다. 이에 따라 지능형 에이전트인 지니(Genie) 에이전트가 실행될 것을 암시할 수 있다.
다시 도 5를 참조한다.
단말기(100)의 제어부(180)는 획득된 제1 사용자 입력을 기초로, 지능형 에이전트 응용 프로그램을 실행한다(S130).
제어부(180)는 획득된 제1 사용자 입력을 기초로, 메모리(160)에 저장된 지능형 에이전트 응용 프로그램을 실행할 수 있다.
그리고 제어부(180)는 지능형 에이전트가 실행 중임을 나타내는 지능형 에이전트 아이콘(200), 지능형 에이전트 상태바(205), 지능형 에이전트 실행 효과(207) 중 하나 이상을 디스플레이부(151)에 표시할 수 있다.
이에 대해 도 11 내지 도 13을 참조하여 설명한다.
도 11은 본 발명의 일 실시 예에 따른 지능형 에이전트 아이콘이 표시된 화면을 나타내는 예시도이다.
도 11을 참조하면, 제어부(180)는 지능형 에이전트를 실행하면, 지능형 에이전트가 실행되었음을 나타내는 지능형 에이전트 아이콘(200)을 디스플레이부(151)에 표시할 수 있다. 예를 들면, 제어부(180)는 디스플레이부(151)에 표시되는 화면에서 지능형 에이전트 아이콘(200)을 제1 사용자 입력이 획득된 영역에 표시할 수 있다. 지능형 에이전트 아이콘(200)은 다양한 모양, 색상으로 구성될 수 있다. 예를 들면 도 11에 도시된 바와 같이, 지능형 에이전트 아이콘(200)은 램프가 그려진 원형 형태의 아이콘일 수 있다. 그리고 제어부(180)는 표시되는 지능형 에이전트 아이콘(200)에 대한 사용자 입력을 기초로, 지능형 에이전트 아이콘(200)을 이동시킬 수 있다. 또한, 제어부(180)는 지능형 에이전트 아이콘(200)에 대한 드래그 앤 드랍 입력, 탭 입력 등에 대응하는 단말기(100)의 특정 동작을 수행할 수 있다. 이에 대해서는 후술한다.
도 12는 본 발명의 일 실시 예에 따른 지능형 에이전트 상태바가 표시된 화면을 나타내는 예시도이다.
도 12를 참조하면, 제어부(180)는 지능형 에이전트를 실행하면, 지능형 에이전트가 실행되었음을 나타내는 지능형 에이전트 상태바(205)를 디스플레이부(151)에 표시할 수 있다. 예를 들면, 제어부(180)는 디스플레이부(151)에 표시되는 화면 상단에 지능형 에이전트 상태바(205)를 표시할 수 있다. 지능형 에이전트 상태바(205)는 다양한 모양, 색상으로 구성될 수 있다. 그리고 제어부(180)는 지능형 에이전트 상태바(205)에 대한 사용자 입력을 기초로, 단말기(100)의 특정 동작을 수행할 수 있다. 또한, 제어부(180)는 지능형 에이전트의 동작 상태에 따라 디스플레이부(151)에 표시되는 지능형 에이전트 상태바(205)의 모양, 색상 중 하나 이상을 변경할 수 있다. 이에 대해서는 후술한다.
도 13은 본 발명의 일 실시 예에 따른 지능형 에이전트 실행 효과가 표시된 화면을 나타내는 예시도이다.
도 13을 참조하면, 제어부(180)는 지능형 에이전트를 실행하면, 지능형 에이전트가 실행되었음을 나타내는 지능형 에이전트 실행 효과(207)를 디스플레이부(151)에 표시할 수 있다. 예를 들면, 제어부(180)는 디스플레이부(151)에 표시되는 화면의 외곽 영역에 빛줄기가 비추는 듯한 지능형 에이전트 실행 효과(207)를 표시할 수 있다. 여기서 지능형 에이전트 실행 효과(207)는 다양한 형태, 색상으로 구성될 수 있다. 그리고 제어부(180)는 지능형 에이전트 실행 효과(207)에 대한 사용자 입력을 기초로, 단말기(100)의 특정 동작을 수행할 수 있다. 또한, 제어부(180)는 지능형 에이전트의 동작 상태에 따라 디스플레이부(151)에 표시되는 지능형 에이전트 실행 효과(207)의 형태, 색상 중 하나 이상을 변경할 수 있다. 이에 대해서는 후술한다.
한편, 제어부(180)는 지능형 에이전트가 실행되면, 지능형 에이전트에 대한 심플 메뉴를 디스플레이부(151)에 표시할 수 있다. 그리고 제어부(180)는 지능형 에이전트에 대한 심플 메뉴를 표시하는 심플 화면(이하, '심플 화면'이라고 한다. 220)을 디스플레이부(151)에 표시할 수도 있다. 심플 화면(220)은 제어부(180)가 지능형 에이전트 응용 프로그램을 통해 사용자에게 추천하는 단말기(100)의 기능, 동작 등이 표시되는 화면을 의미할 수 있다. 제어부(180)는 화면은 획득된 제1 사용자 입력의 종류 및 제1 사용자 입력이 획득될 때의 단말기(100)의 동작 상태에 따라 심플 화면(220)을 디스플레이부(151)에 표시할 수도 있고, 상술한 지능형 에이전트 아이콘(200), 지능형 에이전트 상태바(205), 지능형 에이전트 실행 효과(207) 중 하나 이상을 디스플레이부(151)에 표시할 수도 있다.
이에 대해 도 14a 내지 도 14b를 참조하여 설명한다.
도 14a는 본 발명의 일 실시 예에 따른 심플 화면 표시에 대한 예시도이다.
도 14a를 참조하면, 제어부(180)는 지능형 에이전트를 실행하면, 지능형 에이전트에 대한 심플 화면(220)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 심플 화면(220)에 지능형 에이전트 아이콘(200), 하나 이상의 추천 기능에 대한 애플리케이션 아이콘 및 하나 이상의 추천 기능에 대한 메뉴창 중 하나 이상을 표시할 수 있다. 제어부(180)는 사용자의 단말기(100)의 사용 패턴 및 단말기(100)의 상태에 대응하는 추천 기능에 대한 아이콘을 표시할 수 있다. 여기서 사용자의 단말기(100)의 사용 패턴은 사용자가 이용한 응용 애플리케이션의 이용 빈도, 이용 기능, 이용 시간 등을 포함할 수 있다. 그리고 단말기(100)의 상태는 단말기(100)의 디스플레이부(151)에 표시된 화면, 단말기(100)의 입력 상태, 단말기(100)가 획득한 위치 정보, 단말기(100)의 통신 상태 등을 포함할 수 있다. 예를 들면 도 14a에 도시된 바와 같이, 제어부(180)는 심플 화면(220)에 추천 기능에 대한 애플리케이션 아이콘으로, 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 웹 브라우저 아이콘(305), 이메일 애플리케이션 아이콘(307)을 표시할 수 있다.
도 14b는 본 발명의 다른 실시 예에 따른 심플 화면 표시에 대한 예시도이다.
도 14b를 참조하면, 제어부(180)는 디스플레이부(151)의 화면에 단말기(100)의 기본 화면인 홈 화면을 표시할 수 있다. 홈 화면에는 상술한 바와 같이, 위젯, 애플리케이션 아이콘 등 다양한 오브젝트가 표시될 수 있다. 그리고 제어부(180)는 지능형 에이전트를 실행하면, 지능형 에이전트에 대한 심플 메뉴를 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 심플 메뉴에 지능형 에이전트 아이콘(200), 하나 이상의 추천 기능에 대한 애플리케이션 아이콘 및 하나 이상의 추천 기능에 대한 메뉴창 중 하나 이상을 표시할 수 있다. 제어부(180)는 사용자의 단말기(100)의 사용 패턴 및 단말기(100)의 상태에 대응하는 추천 기능에 대한 아이콘을 표시할 수 있다. 여기서 사용자의 단말기(100)의 사용 패턴은 사용자가 이용한 응용 애플리케이션의 이용 빈도, 이용 기능, 이용 시간 등을 포함할 수 있다. 그리고 단말기(100)의 상태는 단말기(100)의 디스플레이부(151)에 표시된 화면, 단말기(100)의 입력 상태, 단말기(100)가 획득한 위치 정보, 단말기(100)의 통신 상태 등을 포함할 수 있다. 예를 들면 도 14b에 도시된 바와 같이, 제어부(180)는 심플 메뉴에 추천 기능에 대한 애플리케이션 아이콘으로, 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 웹 브라우저 아이콘(305), 이메일 애플리케이션 아이콘(307)을 표시할 수 있다. 한편, 제어부(180)는 지능형 에이전트 실행에 따른 심플 메뉴에 표시된 하나 이상의 아이콘 또는 메뉴창을 회전시키는 사용자 입력을 획득하면, 심플 메뉴에 표시된 아이콘 또는 메뉴창이 아닌 다른 아이콘 또는 메뉴창을 표시할 수도 있다.
이에 대해 도 15a 내지 도 15b를 참조하여 설명한다.
도 15a는 본 발명의 일 실시 예에 따른 심플 메뉴를 회전하는 사용자 입력에 대한 예시도이다.
도 15b는 본 발명의 일 실시 예에 따른 새로운 아이콘 표시에 대한 예시도이다.
도 15a를 참조하면, 제어부(180)는 디스플레이부(151)의 화면에 실행된 지능형 에이전트에 대한 심플 메뉴를 표시할 수 있다. 제어부(180)는 심플 메뉴에 지능형 에이전트 아이콘(200), 하나 이상의 추천 기능에 대한 애플리케이션 아이콘으로, 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 웹 브라우저 아이콘(305), 이메일 애플리케이션 아이콘(307)을 표시할 수 있다. 그리고 제어부(180)는 디스플레이부(151)의 화면에 표시된 심플 메뉴에 포함된 하나의 아이콘인 음악 애플리케이션 아이콘(303)을 시계 방향으로 회전시키는 사용자 입력을 획득할 수 있다. 이에 따라 제어부는 심플 메뉴에 새로운 애플리케이션 아이콘을 표시할 수 있다. 도 15b에 도시된 바와 같이, 제어부(180)는 심플 메뉴에 포함된, 하나 이상의 추천 기능에 대한 애플리케이션 아이콘으로 일정 애플리케이션(327), 카메라 애플리케이션 아이콘(337), 웹 브라우저 아이콘(305), 이메일 애플리케이션 아이콘(307)을 표시할 수 있다. 여기서 일정 애플리케이션(327) 및 카메라 애플리케이션(337)은 심플 메뉴에 포함된 하나의 아이콘을 회전시키는 사용자 입력 이전에 표시되지 않던, 새로운 추천 기능에 대한 애플리케이션 아이콘이며, 하나의 아이콘을 회전시키는 사용자 입력의 입력 정도에 따라 새로운 추천 기능에 대한 애플리케이션 아이콘의 수는 달라질 수 있다. 또한, 심플 메뉴에 표시된 하나 이상의 아이콘 또는 메뉴창을 회전시키는 사용자 입력은 시계 방향뿐만 아니라 반시계 방향으로 입력될 수도 있다.
한편, 제어부(180)는 심플 메뉴에 포함되는 하나 이상의 추천 기능에 대한 아이콘을 사용자 선택에 따라 고정된 위치에 표시할 수도 있다. 예를 들어, 제어부(180)는 사용자의 사용 여부에 관계 없이 특정 애플리케이션에 대한 애플리케이션 아이콘을 지능형 에이전트 실행에 따른 심플 메뉴에 표시할 수 있다. 또한, 제어부(180)는 사용자 설정에 따라 심플 메뉴에 표시되는 특정 애플리케이션에 대한 애플리케이션 아이콘의 위치를 심플 메뉴의 특정 위치에 고정시켜 디스플레이부(151)에 표시할 수도 있다.
또한, 제어부(180)는 사용자의 단말기(100)의 사용 패턴 및 단말기(100)의 상태에 대응하는 추천 기능에 대한 아이콘을 표시할 수 있다. 제어부(180)는 사용자의 단말기(100)의 사용 패턴을 기초로, 지능형 에이전트 실행에 따라 사용자에게 추천하는 기능 또는 추천하는 애플리케이션에 대해 학습할 수 있다. 이에 대해 표 1을 참조하여 설명한다.
표 1은 본 발명의 일 실시 예에 따른 사용자의 애플리케이션 사용 횟수 및 설정된 추천 우선 순위를 나타내는 표이다.
우선 순위 실행 횟수 (1주간)
제1 애플리케이션 1 50
제2 애플리케이션 3 30
제3 애플리케이션 2 45
제4 애플리케이션 5 10
제5 애플리케이션 4 10
제6 애플리케이션 0 3
표 1을 참조하면, 제어부(180)는 일정 기간인 1주 동안, 복수의 애플리케이션인 애플리케이션 1 내지 애플리케이션 6의 실행 횟수를 카운트할 수 있다. 그리고 복수의 애플리케이션 각각은 사용자 추천에 대한 우선 순위가 설정될 수 있다. 여기서 사용자 추천에 대한 우선 순위는 사용자의 사용 패턴에 따른 실행 횟수에 대한 가중치를 의미할 수 있다. 제어부(180)는 지능형 에이전트 실행에 따른 추천 애플리케이션을, 우선 순위가 높고, 실행 횟수가 많은 애플리케이션 순서대로 추천할 수 있다. 이에 따라 제어부(180)는 우선 순위 및 실행 횟수를 기초로 지능형 에이전트 실행에 따라 사용자에게 추천하는 애플리케이션으로, 제1 애플리케이션, 제3 애플리케이션, 제2 애플리케이션, 제5 애플리케이션, 제4 애플리케이션 순서로 사용자에게 추천할 수 있다. 그리고 상술한 바와 같이, 제어부(180)는 새로운 애플리케이션 아이콘을 표시하기 위한 사용자 입력을 획득하면, 우선 순위 및 실행 횟수를 기초로 추천된 애플리케이션들의 순서에 따라 새로운 애플리케이션 아이콘을 표시할 수 있다. 이에 따라 제어부(180)는 디스플레이부(151)에 추천하는 애플리케이션으로 제1 애플리케이션 아이콘, 제3 애플리케이션 아이콘, 제2 애플리케이션 아이콘 및 제5 애플리케이션 아이콘을 표시한 경우, 새로운 애플리케이션을 표시하기 위한 사용자 입력을 획득하면, 제4 애플리케이션 아이콘을 표시할 수 있다. 또한, 제어부(180)는 사용자 설정 또는 사용자 선택을 기초로 지능형 에이전트 실행에 따라, 우선 순위 또는 사용 횟수와 관계 없이 특정 애플리케이션을 실행하거나, 특정 애플리케이션에 대한 특정 애플리케이션 아이콘을 디스플레이부(151)에 표시할 수도 있다. 예를 들면, 제어부(180)는 우선 순위가 0인 제6 애플리케이션에 대한 아이콘인 제6 애플리케이션 아이콘은 지능형 에이전트 실행에 따른 심플 메뉴의 특정 위치에 고정시켜 표시할 수 있다.
상술한 사용자의 단말기(100)의 사용 패턴에 대응하는 추천 기능에 대한 아이콘에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서, 사용자 또는 설계자의 설정에 따라 다양한 기준을 기초로 사용자의 사용자 패턴을 학습하고, 사용자에게 지능형 에이전트 실행에 따른 추천 기능을 제공할 수 있다.
또한, 상술한 심플 메뉴 및 심플 화면에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 사용자 또는 설계자의 설정에 따라 다양한 화면이 지능형 에이전트의 실행에 따라 단말기(100)의 디스플레이부(151)에 표시될 수 있다. 그리고 지능형 에이전트 실행에 따른 심플 메뉴는 다양한 화면에 표시될 수 있다. 심플 화면에 대한 자세한 내용은 후술한다. 또한, 심플 메뉴에 표시되는 애플리케이션의 아이콘 수 또는 메뉴창의 수는 사용자 또는 설계자의 선택에 따라 다양하게 설정될 수 있다. 이하, 용이한 설명을 위해 추천되는 애플리케이션에 대한 애플리케이션 아이콘은 4개인 것으로 설명한다.
한편, 제어부(180)는 지능형 에이전트가 실행되면, 카메라(121), 마이크(122), 센싱부(140)에 포함된 하나 이상의 센서, 위치정보 모듈(115) 중 하나 이상을 동작시킬 수 있다. 지능형 에이전트 실행에 따라 동작되는 단말기(100)의 구성은 사용자 또는 설계자의 선택에 따라 다양하게 설정될 수 있다. 그래서 제어부(180)는 사용자의 설정을 기초로, 카메라(121), 마이크(122), 센싱부(140)에 포함된 하나 이상의 센서, 위치정보 모듈(115) 중 하나 이상을 동작시킬 수 있다.
다시 도 5을 참조한다.
단말기(100)의 제어부(180)는 획득된 제1 사용자 입력에 대응하는 기능을 수행한다(S150).
일 실시 예로, 제어부(180)는 획득된 제1 사용자 입력의 입력 방식, 입력 시의 단말기(100)의 동작, 단말기(100)의 상태 중 하나 이상을 기초로, 획득된 제1 사용자 입력에 대응하는 하나 이상의 기능을 디스플레이부(151)에 표시할 수 있다.
여기서 획득된 제1 사용자 입력에 대응하는 하나 이상의 기능은 단말기(100)의 동작, 단말기(100)의 기능을 의미할 수 있고, 단말기(100)에 구비된 응용 프로그램에 의한 동작, 기능을 의미할 수 있다.
구체적으로, 제어부(180)는 획득된 제1 사용자 입력에 대응하는 복수의 기능 각각에 대응하는 아이콘 또는 메뉴창을 디스플레이부(151)에 표시할 수 있다. 그리고 제어부(180)는 표시된 복수의 기능 각각에 대응하는 아이콘 또는 메뉴창 중 하나를 선택하기 위한 제2 사용자 입력을 획득하면, 선택된 아이콘 또는 메뉴창에 대응하는 기능을 수행할 수 있다.
이하, 이에 대한 다양한 실시예를 바탕으로 상세히 설명한다.
제1 실시예로, 본 발명에 따른 단말기(100)의 표시된 지능형 에이전트 아이콘(200)에 대한 사용자 입력에 따른 기능 수행에 대해 설명한다. 제어부(180)는 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 특정 애플리케이션 아이콘에 드래그 앤 드랍하는 사용자 입력에 대응하여, 특정 애플리케이션에 대응하는 특정 기능을 수행하거나 특정 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창을 표시할 수 있다.
도 16ba는 본 발명의 일 실시 예에 따른 지능형 에이전트 아이콘에 대한 사용자 입력을 나타내는 예시도이다.
도 16b은 본 발명의 일 실시 예에 따른 특정 애플리케이션에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 16a를 참조하면, 제어부(180)는 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 열차 애플리케이션 아이콘(309)에 드래그 앤 드랍하는 사용자 입력을 획득할 수 있다. 이에 따라 제어부(180)는 열차 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창을 디스플레이부(151)에 표시할 수 있다. 도 16b을 참조하면, 제어부(180)는 열차 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창으로, 복수의 열차역에 대한 메뉴창(491, 492, 493, 494)을 디스플레이부(151)에 표시할 수 있다. 복수의 열차역에 대한 메뉴창(491, 492, 493, 494)은 목적지를 선택하기 위한 메뉴창일 수 있다. 이에 따라 제1 메뉴창(491)은 A역을 목적지로 선택하기 위한 메뉴창일 수 있고, 제2 메뉴창(492)은 B역을 목적지로 선택하기 위한 메뉴창일 수 있고, 제3 메뉴창(493)은 C역을 목적지로 선택하기 위한 메뉴창일 수 있고, 제4 메뉴창(494)는 D역을 목적지로 선택하기 위한 메뉴창일 수 있다.
그리고 제어부(180)는 디스플레이부(151)에 표시된 복수의 열차역에 대한 메뉴창(491, 492, 493, 494) 중 어느 하나의 메뉴창을 선택하는 제2 사용자 입력을 획득할 수 있다. 일 실시 예로, 제어부(180)는 표시된 복수의 열차역에 대한 메뉴창(491, 492, 493, 494) 중 어느 하나의 메뉴창을 터치하는 사용자 입력을 획득할 수 있다.
이에 대해 도 17을 참조하여 설명한다.
도 17은 본 발명의 일 실시 예에 따른 메뉴창을 선택하는 터치 입력에 대한 예시도이다.
도 17을 참조하면, 제어부(180)는 디스플레이부(151)에 표시된 복수의 열차역에 대한 메뉴창(491, 492, 493, 494) 중 제2 메뉴창(492)을 탭 터치하는 사용자 입력을 B역을 목적지로 선택하기 위한 사용자 입력으로 획득할 수 있다.
다른 실시 예로, 제어부(180)는 표시된 복수의 열차역에 대한 메뉴창(491, 492, 493, 494) 중 어느 하나의 메뉴창을 선택하기 위한 사용자 음성을 획득할 수 있다.
이에 대해 도 18을 참조하여 설명한다.
도 18은 본 발명의 일 실시 예에 따른 메뉴창을 선택하는 음성 입력에 대한 예시도이다.
도 18을 참조하면, 제어부(180)는 마이크(122)를 통해, 디스플레이부(151)에 표시된 복수의 열차역에 대한 메뉴창(491, 492, 493, 494) 중 제2 메뉴창(492)에 대응하는 열차역인 B 역을 말하는 사용자 음성을 B역을 목적지로 선택하기 위한 사용자 입력으로 획득할 수 있다.
또 다른 실시 예로, 제어부(180)는 표시된 복수의 열차역에 대한 메뉴창(491, 492, 493, 494) 중 어느 하나의 메뉴창을 선택하기 위한 단말기(100)의 움직임을 획득할 수 있다.
이에 대해 도 19를 참조하여 설명한다.
도 19는 본 발명의 일 실시 예에 따른 메뉴창을 선택하기 위한 단말기 움직임에 대한 예시도이다.
도 19를 참조하면, 제어부(180)는 센싱부(140)를 통해, 디스플레이부(151)에 표시된 복수의 열차역에 대한 메뉴창(491, 492, 493, 494) 중 제2 메뉴창(492)에 대응하는 방향인 좌측 방향으로 움직이는 단말기(100)의 움직임을 B역을 목적지로 선택하기 위한 사용자 입력으로 획득할 수 있다.
한편, 제어부(180)는 선택된 메뉴창에 대응하는 기능을 수행할 수 있다. 예를 들면, 제어부(180)는 복수의 열차역에 대한 메뉴창(491, 492, 493, 494) 중 제2 메뉴창(492)을 선택하는 제2 사용자 입력을 기초로, 선택된 B역을 목적지로 하는 열차 경로에 대한 경로 정보를 제공할 수 있다.
이에 대해 도 20을 참조하여 설명한다.
도 20은 본 발명의 일 실시 예에 따른 열차 경로 정보 표시에 대한 예시도이다.
도 20을 참조하면, 제어부(180)는 상술한 제2 메뉴창(492)을 선택하는 제2 사용자 입력을 기초로, 현재 위치에서 선택된 B역을 목적지로 하는 열차 경로에 대한 경로 정보를 디스플레이부(151)에 표시할 수 있다. 여기서 현재 위치는 사용자의 현재 위치를 의미하고, 단말기(100)의 위치정보 모듈(115)이 획득한 현재 위치일 수 있다. 그리고 경로 정보에는 현재 위치에 대응하는 열차역, 경유역 및 목적역이 표시될 수 있고, 각각의 구간에 대한 소요 시간, 열차 시간 등이 포함될 수 있다.
상술한 특정 애플리케이션에 대응하는 기능에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 열차 애플리케이션 이외에도 다양한 애플리케이션에 대해 적용될 수 있으며, 해당 애플리케이션에서 수행할 수 있는 다양한 기능이 지능형 에이전트 아이콘에 대응하여 제공될 수 있다.
한편, 표시된 지능형 에이전트 아이콘(200)에 대한 사용자 입력에 따른 기능 수행에 있어서, 제어부(180)는 디스플레이부(151)에 표시된 폴더에 포함된 특정 애플리케이션에 대응하는 기능을 수행하거나 특정 애플리케이션에 대응하는 기능에 대한 메뉴창을 표시할 수 있다. 여기서 디스플레이부(151)에 표시된 폴더는 하나 이상의 애플리케이션 아이콘을 포함하는 폴더를 의미할 수 있다.
이에 대해 도 21 내지 도 22를 참조하여 설명한다.
도 21은 본 발명의 다른 실시 예에 따른 지능형 에이전트 아이콘에 대한 사용자 입력을 나타내는 예시도이다.
도 22는 본 발명의 다른 실시 예에 따른 특정 애플리케이션에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 21을 참조하면, 제어부(180)는 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 제1 폴더(381)에 드래그 앤 드랍하는 사용자 입력을 획득할 수 있다. 여기서 제1 폴더(381)는 버스 애플리케이션 아이콘 및 열차 애플리케이션 아이콘을 포함하는 폴더일 수 있다. 이에 따라 제어부(180)는 제1 폴더(381)에 대응하는 하나 이상의 기능에 대한 메뉴창을 디스플레이부(151)에 표시할 수 있다. 여기서 선택된 폴더인 제1 폴더(381)에 대응하는 하나 이상의 기능은 제1 폴더(381)에 포함된 복수의 애플리케이션 아이콘 중 특정 애플리케이션 아이콘에 대응하는 특정 애플리케이션의 기능일 수 있다. 구체적으로, 제어부(180)는 제1 폴더(381)에 포함된 복수의 애플리케이션 아이콘 중 사용자의 단말기(100)의 사용 패턴 및 단말기(100)의 상태에 대응하는 특정 애플리케이션 아이콘에 대응하는 기능에 대한 메뉴창을 표시할 수 있다. 여기서 사용자의 단말기(100)의 사용 패턴은 사용자가 이용한 응용 애플리케이션의 이용 빈도, 이용 기능, 이용 시간 등을 포함할 수 있다. 그리고 단말기(100)의 상태는 단말기(100)의 디스플레이부(151)에 표시된 화면, 단말기(100)의 입력 상태, 단말기(100)가 획득한 위치 정보, 단말기(100)의 통신 상태 등을 포함할 수 있다. 도 22를 참조하면, 제어부(180)는 제1 폴더(381)에 포함된 복수의 애플리케이션 아이콘 중 열차 애플리케이션 아이콘에 대응하는 기능에 대한 메뉴창으로, 복수의 열차역에 대한 메뉴창(491, 492, 493, 494)을 디스플레이부(151)에 표시할 수 있다. 복수의 열차역에 대한 메뉴창(491, 492, 493, 494)은 목적지를 선택하기 위한 메뉴창일 수 있다. 이에 따라 제1 메뉴창(491)은 A역을 목적지로 선택하기 위한 메뉴창일 수 있고, 제2 메뉴창(492)은 B역을 목적지로 선택하기 위한 메뉴창일 수 있고, 제3 메뉴창(493)은 C역을 목적지로 선택하기 위한 메뉴창일 수 있고, 제4 메뉴창(494)는 D역을 목적지로 선택하기 위한 메뉴창일 수 있다. 그리고 제어부(180)는 디스플레이부(151)에 표시된 복수의 열차역에 대한 메뉴창(491, 492, 493, 494) 중 어느 하나의 메뉴창을 선택하는 제2 사용자 입력을 획득하고, 선택된 메뉴창에 대응하는 목적지에 대한 열차 경로 정보를 제공할 수 있다. 이에 대해서는 상술한 바 있어 자세한 설명은 생략한다.
제2 실시예로, 본 발명에 따른 단말기(100)의 지능형 에이전트 아이콘(200)이 표시되지 않은 상태에서 획득된 사용자 입력에 따른, 지능형 에이전트를 통한 기능 수행에 대해 설명한다.
제어부(180)는 디스플레이부(151)의 화면에 표시된 애플리케이션 아이콘을 문지르는 사용자 입력을 획득하면, 사용자 입력에 대응하는 애플리케이션 아이콘에 대응하는 특정 애플리케이션의 특정 기능을 수행하거나 특정 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창을 표시할 수 있다.
또한, 제어부(180)는 디스플레이부(151)에 특정 애플리케이션이 실행된 화면에서 특정 영역을 문지르는 사용자 입력을 획득하면, 실행된 애플리케이션의 특정 기능을 수행하거나 실행된 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창을 표시할 수 있다.
이에 대해 도 23 내지 도 27을 참조하여 설명한다.
도 23은 본 발명의 일 실시 예에 따른 홈 화면을 나타내는 예시도이다.
도 23을 참조하면, 제어부(180)는 디스플레이부(151)의 화면에 단말기(100)의 기본 화면인 홈 화면을 표시할 수 있다. 홈 화면에는 상술한 바와 같이, 위젯, 애플리케이션 아이콘 등 다양한 오브젝트가 표시될 수 있다. 예를 들면 도 23에 도시된 바와 같이, 제어부(180)는 홈 화면에 카메라 애플리케이션 아이콘(337)을 표시할 수 있다. 여기서 카메라 애플리케이션 아이콘(337)은 카메라 애플리케이션에 대응하는 아이콘일 수 있다.
도 24는 본 발명의 일 실시 예에 따른 카메라 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 24를 참조하면, 제어부(180)는 디스플레이부(151)에 표시된 카메라 애플리케이션 아이콘(337)을 문지르는 사용자 입력을 획득할 수 있다. 카메라 애플리케이션 아이콘(337)을 문지르는 사용자 입력은 상술한 바와 같이, 카메라 애플리케이션 아이콘(337)을 중심으로 일 방향으로 회전하는 터치 입력을 의미할 수 있고, 카메라 애플리케이션 아이콘(337)을 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력을 의미할 수도 있다. 제어부(180)는 카메라 애플리케이션 아이콘(337)을 문지르는 사용자 입력을 획득하면, 카메라 애플리케이션의 특정 기능을 수행하거나 카메라 애플리케이션의 하나 이상의 기능에 대한 메뉴창을 표시하기 위해 지능형 에이전트를 실행할 수 있다.
도 25는 본 발명의 일 실시 예에 따른 카메라 애플리케이션 화면에서 문지르는 사용자 입력에 대한 예시도이다.
도 25를 참조하면, 제어부(180)는 카메라 애플리케이션을 실행할 수 있고, 실행된 카메라 애플리케이션에 대한 카메라 동작 화면(221)을 디스플레이부(151)에 표시할 수 있다. 그리고 제어부(180)는 카메라 동작 화면(211)의 특정 영역을 문지르는 사용자 입력을 획득할 수 있다. 카메라 동작 화면(211)의 특정 영역을 문지르는 사용자 입력은 상술한 바와 같이, 특정 영역을 일 방향으로 회전하는 터치 입력을 의미할 수 있고, 특정 영역을 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력을 의미할 수도 있다. 제어부(180)는 카메라 동작 화면(211)의 특정 영역을 문지르는 사용자 입력을 획득하면, 카메라 애플리케이션의 특정 기능을 수행하거나 카메라 애플리케이션의 하나 이상의 기능에 대한 메뉴창을 표시하기 위해 지능형 에이전트를 실행할 수 있다.
제어부(180)는 상술한 카메라 애플리케이션 아이콘(337) 또는 카메라 동작 화면(211)을 문지르는 사용자 입력을 기초로 카메라 애플리케이션의 특정 기능을 수행하거나 카메라 애플리케이션의 하나 이상의 기능에 대한 메뉴창을 표시하기 위해 지능형 에이전트를 실행할 수 있다. 그리고 제어부(180)는 실행된 지능형 에이전트를 통해, 카메라 애플리케이션의 특정 기능을 수행하거나 카메라 애플리케이션의 하나 이상의 기능에 대한 메뉴창을 표시할 수 있다.
일 실시예를 도 26을 참조하여 설명한다.
도 26은 본 발명의 일 실시 예에 따른 사진 폴더 표시 화면을 나타내는 예시도이다.
도 26을 참조하면, 제어부(180)는 카메라 애플리케이션 아이콘(337) 또는 카메라 동작 화면(221)을 문지르는 사용자 입력을 획득하면, 카메라 애플리케이션을 통해 촬영되는 사진을 저장할 폴더를 지정하기 위한 사진 폴더 표시 화면(212)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 사진 폴더 표시 화면(212)에 복수의 폴더(441, 442, 443, 444, 445, 446, 447, 448)을 표시할 수 있다. 복수의 폴더 각각(441, 442, 443, 444, 445, 446, 447, 448)에는 촬영된 사진이 분류될 수 있다. 제어부(180)는 사진 폴더 화면(212)에 표시된 복수의 폴더(441, 442, 443, 444, 445, 446, 447, 448) 중 하나의 폴더인 G 폴더(447)를 선택하는 사용자 입력을 획득하면, 이후 카메라(121)를 통해 촬영되는 사진을 선택된 G 폴더(447)로 분류하여 메모리(160)에 저장할 수 있다.
다른 실시 예를 도 27을 참조하여 설명한다.
도 27은 본 발명의 일 실시 예에 따른 메시지 전송 화면을 나타내는 예시도이다.
도 27을 참조하면, 제어부(180)는 카메라 애플리케이션 아이콘(337) 또는 카메라 동작 화면(221)을 문지르는 사용자 입력을 기초로, 촬영된 사진을 전송하기 위한 메시지 화면(213)을 디스플레이부(151)에 표시할 수 있다. 그리고 제어부(180)는 메시지 화면(213)에 메시지 입력창(420)을 표시할 수 있고, 표시된 메시지 입력창(420)에 카메라 애플리케이션을 통해 촬영된 사진(421)을 첨부할 수 있다.
상술한 카메라 애플리케이션에 대한 단말기(100)의 지능형 에이전트 동작에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 설정에 따라 카메라 애플리케이션과 관련된 다양한 동작 및 기능이 단말기(100)의 지능형 에이전트를 통해 실행될 수 있다.
한편, 본 발명에 따른 단말기(100)의 지능형 에이전트 아이콘(200)이 표시되지 않은 상태에서 획득된 사용자 입력에 따른 지능형 에이전트를 통한 기능 수행에 대한 다른 실시 예를 일정 애플리케이션에 대하여 설명한다.
도 28은 본 발명의 다른 실시 예에 따른 홈 화면을 나타내는 예시도이다.
도 28을 참조하면, 제어부(180)는 디스플레이부(151)의 화면에 단말기(100)의 기본 화면인 홈 화면을 표시할 수 있다. 제어부(180)는 홈 화면에 일정 애플리케이션 아이콘(327)을 표시할 수 있다. 여기서 일정 애플리케이션 아이콘(327)은 일정 애플리케이션에 대응하는 아이콘일 수 있다.
도 29는 본 발명의 일 실시 예에 따른 일정 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 29를 참조하면, 제어부(180)는 디스플레이부(151)에 표시된 일정 애플리케이션 아이콘(327)을 문지르는 사용자 입력을 획득할 수 있다. 일정 애플리케이션 아이콘(327)을 문지르는 사용자 입력은 상술한 바와 같이, 일정 애플리케이션 아이콘(327)을 중심으로 일 방향으로 회전하는 터치 입력을 의미할 수 있고, 일정 애플리케이션 아이콘(327)을 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력을 의미할 수도 있다. 제어부(180)는 일정 애플리케이션 아이콘(327)을 문지르는 사용자 입력을 획득하면, 일정 애플리케이션의 특정 기능을 수행하거나 일정 애플리케이션의 하나 이상의 기능에 대한 메뉴창을 표시하기 위해 지능형 에이전트를 실행할 수 있다.
일 실시예를 도 30을 참조하여 설명한다.
도 30은 본 발명의 일 실시 예에 따른 일정 입력 화면을 나타내는 예시도이다.
도 30을 참조하면, 제어부(180)는 일정 애플리케이션 아이콘(327)을 문지르는 사용자 입력을 획득하면, 일정 애플리케이션에 새로운 일정을 추가하기 위한 일정 입력 화면(214)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 일정 입력 화면(214)에 일정 입력창(425)를 표시할 수 있다. 일정 입력창(425)은 새로운 일정의 날짜, 시간, 내용 등이 입력될 수 있다.
다른 실시예를 도 31 내지 도 33을 참조하여 설명한다.
도 31은 본 발명의 일 실시 예에 따른 일정 표시 화면을 나타내는 예시도이다.
도 32는 본 발명의 일 실시 예에 따른 일정 입력 커서 표시 화면을 나타내는 예시도이다.
도 33은 본 발명의 일 실시 예에 따른 일정 입력 커서에 대한 사용자 입력을 나타내는 예시도이다.
도 31을 참조하면, 제어부(180)는 일정 애플리케이션 아이콘(327)을 문지르는 사용자 입력을 획득하면, 일정 애플리케이션에 저장된 일정 내용을 표시하는 일정 표시 화면(215)을 디스플레이부(151)에 표시할 수 있다. 그리고 제어부(180)는 지능형 에이전트 아이콘(200)을 일정 표시 화면(215)에 표시할 수 있다. 도 32에 도시된 바와 같이, 제어부(180)는 일정 표시 화면(215)에 표시된 지능형 에이전트 아이콘(200)는 기준 시간 이상 터치하는 사용자 입력을 획득하면, 지능형 에이전트 아이콘(200)을 일정 입력 기간을 입력하기 위한 일정 입력 커서(203)로 변환하여 표시할 수 있다. 그리고 도 33에 도시된 바와 같이, 제어부(180)는 일정 입력 커서(203)을 드래그하는 사용자 입력에 대응하는, 일정 입력 기간을 선택하는 사용자 입력을 획득할 수 있다. 예를 들어, 제어부(180)는 일정 입력 커서(203)를 6월 3일 칸에서 6월 5일 칸까지 드래그하는 사용자 입력을 획득하면, 6월 3일부터 6월 5일까지의 새로운 일정을 입력받기 위한 입력창을 표시하고, 6월 3일부터 6월 5일까지의 새로운 일정을 입력받을 수 있다.
상술한 일정 애플리케이션에 대한 단말기(100)의 지능형 에이전트 동작에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 설정에 따라 일정 애플리케이션과 관련된 다양한 동작 및 기능이 단말기(100)의 지능형 에이전트를 통해 실행될 수 있다.
제3 실시예로, 본 발명에 따른 단말기(100)의 지능형 에이전트를 실행하기 위한 터치 입력 및 음성 입력에 따른 기능 수행에 대해 설명한다. 제어부(180)는 디스플레이부(151)에 표시된 특정 애플리케이션 아이콘을 문지르는 터치 입력과 특정 문장을 발화하는 사용자 음성을 획득하면, 특정 애플리케이션 및 특정 문장에 대응하는 기능을 수행할 수 있다. 여기서 특정 문장은 자연 언어로 된 명령이나 질문일 수 있다.
이에 대해 도 34 내지 도 37을 참조하여 설명한다.
도 34는 본 발명의 또 다른 실시 예에 따른 홈 화면을 나타내는 예시도이다.
도 34를 참조하면, 제어부(180)는 디스플레이부(151)의 화면에 단말기의 기본 화면인 홈 화면을 표시할 수 있다. 제어부(180)는 홈 화면에 사진 애플리케이션 아이콘(325)을 표시할 수 있다. 여기서 사진 애플리케이션 아이콘(325)는 사진 애플리케이션에 대응하는 아이콘일 수 있다.
도 35는 본 발명의 일 실시 예에 따른 사진 애플리케이션에 대한 터치 입력 및 음성 입력을 나타내는 예시도이다.
도 35를 참조하면, 제어부(180)는 디스플레이부(151)에 표시된 사진 애플리케이션 아이콘(325)을 문지르는 사용자 입력 및 "제시카에 대한 사진을 수집해"라는 사용자 음성을 획득할 수 있다. 여기서 애플리케이션 아이콘(325)를 문지르는 사용자 입력과 제시카에 대한 사진을 수집하라는 사용자 음성은 동시 또는 일정 시간 이내 단말기(100)에 입력된 경우일 수 있다. 그리고 사진 애플리케이션 아이콘(325)을 문지르는 사용자 입력은 상술한 바와 같이, 사진 애플리케이션 아이콘(325)을 중심으로 일 방향으로 회전하는 터치 입력을 의미할 수 있고, 사진 애플리케이션 아이콘(325)을 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력을 의미할 수도 있다. 제어부(180)는 획득된 사용자 입력 및 사용자 음성에 따라 메모리(160)에 저장된 제시카에 대한 사진을 특정 폴더에 모을 수 있다. 또한, 제어부(180)는 획득된 사용자 입력 및 사용자 음성에 따라 메모리(160)에 저장된 제시카에 대한 사진을 디스플레이부(151)에 표시할 수 있다.
일 실시 예를 도 36을 참조하여 설명한다.
도 36은 본 발명의 일 실시 예에 따른 수집된 사진을 폴더로 분류한 화면을나타내는 예시도이다.
도 36을 참조하면, 제어부(180)는 사진 폴더 표시 화면(212)을 디스플레이부(151)에 표시할 수 있고, 사진 폴더 표시 화면(212)에 복수의 폴더(441, 442, 443, 444, 445, 446, 447, 448, 449)을 표시할 수 있다. 제어부(180)는 복수의 폴더(441, 442, 443, 444, 445, 446, 447, 448, 449) 중 하나인 제시카 폴더(449)에 제시카에 대한 하나 이상의 사진을 분류할 수 있다. 이에 따라 제시카 폴더(449)에는 메모리(160)에 저장된 제시카에 대한 사진만이 포함될 수 있다. 그리고 제시카 폴더(449)는 획득된 사용자 입력 및 사용자 음성에 따라 새로 생성된 폴더일 수 있다.
다른 실시 예를 도 37을 참조하여 설명한다.
도 37은 본 발명의 일 실시 예에 따른 사진 표시 화면을 나타내는 예시도이다.
도 37을 참조하면, 제어부(180)는 획득된 사용자 입력 및 사용자 음성에 대응하여, 제시카에 대한 하나 이상의 사진을 표시하는 사진 표시 화면(215)을 디스플레이부(151)에 표시할 수 있다. 그래서 제어부(180)는 사진 표시 화면(215)에 제시카가 촬영된 복수의 사진(461, 462, 463, 464, 465, 466, 467)을 일정 크기로 표시할 수 있다. 여기서 제시카가 촬영된 사진(461, 462, 463, 464, 465, 466, 467)은 메모리(160)에 저장된 사진일 수 있다.
상술한 사진 애플리케이션에 대한 단말기(100)의 지능형 에이전트 동작에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 설정에 따라 사진 애플리케이션과 관련된 다양한 동작 및 기능이 단말기(100)의 지능형 에이전트를 통해 실행될 수 있다. 또한, 단말기(100)의 애플리케이션 아이콘을 문지르는 사용자 입력 및 사용자 음성 획득에 따른 특정 문장에 대응하는 기능 수행은 상술한 사진 애플리케이션 이외에도 다양한 애플리케이션에 적용될 수 있다.
제4 실시예로, 본 발명에 따른 단말기(100)의 표시된 지능형 에이전트 아이콘(200) 또는 표시된 위젯에 대한 사용자 입력에 따른 기능 수행에 대해 설명한다. 제어부(180)는 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 특정 위젯에 드래그 앤 드랍하는 사용자 입력에 대응하여, 특정 위젯에 대응하는 특정 기능을 수행하거나 특정 위젯에 대응하는 하나 이상의 기능에 대한 메뉴창을 표시할 수 있다. 또한, 제어부(180)는 디스플레이부(151)에 표시된 위젯을 문지르는 사용자 입력에 대응하여, 특정 위젯에 대응하는 특정 기능을 수행하거나 특정 위젯에 대응하는 하나 이상의 기능에 대한 메뉴창을 표시할 수 있다.
일 실시예로 도 38 내지 도 39를 참조하여, 날씨 위젯에 대응하는 기능 수행을 설명한다.
도 38은 본 발명의 일 실시 예에 따른 날씨 위젯에 대한 사용자 입력을 나타내는 예시도이다.
도 39는 본 발명의 일 실시 예에 따른 날씨 정보 표시 화면을 나타내는 예시도이다.
도 38을 참조하면, 제어부(180)는 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 날씨 위젯(253)에 드래그 앤 드랍하는 사용자 입력을 획득할 수 있다. 여겨서 날씨 위젯(253)은 날씨에 대한 정보를 표시하는 위젯을 의미할 수 있다. 이에 따라 제어부(180)는 날씨 위젯(253)에 대응하는 기능으로 주간 날씨 정보를 표시할 수 있다. 도 39에 도시된 바와 같이, 제어부(180)는 현재 위치인 서울 지역의 주간 날씨 정보를 표시하는 날씨 정보 표시 화면(216)을 디스플레이부(151)에 표시할 수 있다. 이에 따라 제어부(180)는 날씨 정보 화면(216)에 특정 지역의 일정 기간 동안의 날씨 예보를 디스플레이부(151)에 표시할 수 있다.
다른 실시 예로 도 40 내지 도 41을 참조하여, 시간 위젯에 대응하는 기능 수행을 설명한다.
도 40은 본 발명의 일 실시 예에 따른 시간 위젯에 대한 사용자 입력을 나타내는 예시도이다.
도 41은 본 발명의 일 실시 예에 다른 일정 정보 표시 화면을 나타내는 예시도이다.
도 40을 참조하면, 제어부(180)는 디스플레이부(151)에 시간 위젯(251)을 표시할 수 있다. 그리고 제어부(180)는 표시된 시간 위젯(251)을 문지르는 사용자 입력을 획득할 수 있다. 여겨서 시간 위젯(251)은 시간에 대한 정보를 표시하는 위젯을 의미할 수 있다. 이에 따라 제어부(180)는 시간 위젯(251)에 대응하는 기능으로 일정 정보를 표시할 수 있다. 도 41에 도시된 바와 같이, 제어부(180)는 현재 시간 이후의 일정을 표시하는 일정 정보 표시 화면(217)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 일정 정보 표시 화면(217)에 현재 시간 이후의 일정에 대한 일정표(471) 및 주요 일정 팝업창(472)을 표시할 수 있다. 제어부(180)는 주요 일정 팝업창(472)에 현재 시간부터 주요 일정까지 남은 시간, 일정 내용을 표시할 수 있다. 그리고 제어부(180)는 주요 일정 팝업창(472)에 주요 일정까지 남은 시간을 디데이(D-day) 형식으로 표시할 수도 있다.
상술한 위젯에 대한 단말기(100)의 지능형 에이전트 동작에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 설정에 따라 위젯과 관련된 다양한 동작 및 기능이 단말기(100)의 지능형 에이전트를 통해 실행될 수 있다.
제5 실시예로, 본 발명에 따른 단말기(100)의 표시된 지능형 에이전트 아이콘(200)에 대한 사용자 입력에 따른 기능 수행에 대해 설명한다.
도 42는 본 발명의 다른 실시 예에 따른 지능형 에이전트 아이콘에 대한 사용자 입력을 나타내는 예시도이다.
도 42를 참조하면, 제어부(180)는 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 문지르는 사용자 입력을 획득할 수 있다. 지능형 에이전트 아이콘(200)을 문지르는 사용자 입력은 상술한 바와 같이, 지능형 에이전트 아이콘(200)을 중심으로 일 방향으로 회전하는 터치 입력을 의미할 수 있고, 지능형 에이전트 아이콘(200)을 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력을 의미할 수도 있다.
제어부(180)는 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 문지르는 사용자 입력에 대응하여, 홈 화면 정리, 애플리케이션 정리 중 하나 이상을 수행할 수 있다. 여기서 홈 화면 정리는 홈 화면에 표시되는 하나 이상의 애플리케이션 아이콘, 하나 이상의 위젯의 추가, 삭제, 이동을 의미할 수 있다. 애플리케이션 정리는 제어부(180)에 의해 실행되거나 메모리(160)에 저장된 하나 이상의 애플리케이션의 추가, 삭제, 이동을 의미할 수 있다.
일 실시 예로, 제어부(180)는 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 문지르는 사용자 입력에 대응하여, 사용자가 사용하지 않는 애플리케이션을 알려주는 애플리케이션 정리 정보창을 디스플레이부(151)에 표시할 수 있다. 그리고 제어부(180)는 애플리케이션 정리 정보창에 포함된 하나 이상의 애플리케이션을 삭제하기 위한 사용자 입력을 획득하면, 애플리케이션 정리 정보창에 포함된 하나 이상의 애플리케이션을 메모리(160)에서 삭제할 수 있다. 한편, 제어부(180)는 애플리케이션 정리 정보창을 주기적으로 디스플레이부(151)에 표시할 수 있고, 사용자 설정에 따라 애플리케이션 정리 정보창을 디스플레이부(151)에 표시하지 않을 수도 있다.
다른 실시 예로, 제어부(180)는 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 문지르는 사용자 입력에 대응하여, 홈 화면에 표시된 하나 이상의 애플리케이션 아이콘을 일정한 기준에 따라 구분하여 표시할 수 있다.
예를 들면, 제어부(180)는 사용자가 자주 사용하는 애플리케이션은 애플리케이션 아이콘의 크기를 크게 표시하고, 사용자가 자주 사용하지 않는 애플리케이션은 애플리케이션 아이콘을 작게 표시할 수 있다.
이에 대해 도 43을 참조하여 설명한다.
도 43은 본 발명의 또 다른 실시 예에 따른 홈 화면을 나타내는 예시도이다.
도 43에 도시된 바와 같이, 제어부(180)는 제어부(180)는 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 문지르는 사용자 입력에 대응하여, 사용자의 사용 빈도에 대응하여, 표시되는 복수의 애플리케이션 아이콘(391)의 크기를 구분하여 표시할 수 있다. 이에 따라 사용자가 자주 사용하는 애플리케이션의 애플리케이션 아이콘은 사용자가 자주 사용하지 않는 애플리케이션의 애플리케이션 아이콘보다 크게 표시될 수 있다. 그리고 제어부(180)는 기본 애플리케이션에 해당하는 복수의 애플리케이션 아이콘(393)의 크기는 사용자의 사용 빈도와 무관하게 일정 크기로 표시할 수도 있다.
다른 예를 들면, 예를 들면, 제어부(180)는 사용자가 자주 사용하는 애플리케이션은 애플리케이션 아이콘은 활성화하여 표시하고, 사용자가 자주 사용하지 않는 애플리케이션은 애플리케이션 아이콘은 비활성화하여 표시할 수 있다.
상술한 애플리케이션 정리, 애플리케이션 아이콘 정리에 대한 단말기(100)의 지능형 에이전트 동작에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 설정에 따라 애플리케이션 정리, 애플리케이션 아이콘 정리와 관련된 다양한 동작 및 기능이 단말기(100)의 지능형 에이전트를 통해 실행될 수 있다.
제6 실시예로, 본 발명에 따른 단말기(100)의 표시된 심플 화면(220)에 대한 사용자 입력에 따른 기능 수행에 대해 설명한다.
제어부(180)는 지능형 에이전트가 실행되면, 지능형 에이전트에 대한 심플 화면(220)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 심플 화면(220)에 지능형 에이전트 아이콘(200) 및 하나 이상의 추천 기능에 대한 아이콘을 표시할 수 있다. 제어부(180)는 사용자의 단말기(100)의 사용 패턴 및 단말기(100)의 상태에 대응하는 추천 기능에 대한 아이콘을 표시할 수 있다. 이에 대해서는 상술한 바 있다. 그리고 제어부(180)는 심플 화면(220)에 표시된 지능형 에이전트 아이콘(200), 하나 이상의 추천 기능에 대한 아이콘, 하나 이상의 추천 기능에 대한 메뉴창 중 하나 이상에 대한 사용자 입력에 대응하여, 단말기(100)의 특정 기능 또는 특정 동작을 수행할 수 있다.
일 실시 예를 도 44 내지 도 45를 참조하여 설명한다.
도 44는 본 발명의 일 실시 예에 따른 심플 화면에 대한 사용자 입력에 대한 예시도이다.
도 45는 본 발명의 일 실시 예에 따른 음악 애플리케이션에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 44를 참조하면, 제어부(180)는 심플 화면(220)에 지능형 에이전트 아이콘(200), 하나 이상의 추천 기능에 대한 애플리케이션 아이콘으로 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 웹 브라우저 아이콘(305), 이메일 애플리케이션 아이콘(307)을 표시할 수 있다. 그리고 제어부(180)는 심플 화면(200)에 표시된 지능형 에이전트 아이콘(200)을 음악 애플리케이션 아이콘(303)에 드래그 앤 드랍하는 사용자 입력을 획득할 수 있다. 이에 따라 제어부(180)는 음악 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창을 디스플레이부(151)에 표시할 수 있다. 도 45를 참조하면, 제어부(180)는 음악 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창으로, 이전 트랙(431), 재생/정지(432), 다음 트랙(433), 재생 목록(435), 재생 정보창(437)을 디스플레이부(151)에 표시할 수 있다. 여기서 이전 트랙(431)은 이전 곡으로 이동하기 위한 메뉴일 수 있고, 재생/정지(432)는 곡 재생 또는 정지하기 위한 메뉴일 수 있고, 다음 트랙(433)은 다음 곡으로 이동하기 위한 메뉴일 수 있고, 재생 목록(435)은 재생 대상인 하나 이상의 곡에 대한 목록을 편집하기 위한 메뉴일 수 있고, 재생 정보창(437)은 재생 중인 곡에 대한 정보를 표시하기 위한 메뉴일 수 있다. 그리고 제어부(180)는 디스플레이부(151)에 표시된 음악 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창(431, 432, 433, 435, 437) 중 어느 하나의 메뉴창을 선택하는 제2 사용자 입력을 획득할 수 있다. 제어부(180)는 획득된 제2 사용자 입력에 대응하는 음악 애플리케이션의 기능을 수행할 수 있다.
다른 실시 예를 도 46 내지 도 47을 참조하여 설명한다.
도 46은 본 발명의 다른 실시 예에 따른 심플 화면에 대한 사용자 입력에 대한 예시도이다.
도 47은 본 발명의 일 실시 예에 따른 웹 브라우저 애플리케이션에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 46을 참조하면, 제어부(180)는 심플 화면(220)에 지능형 에이전트 아이콘(200), 하나 이상의 추천 기능에 대한 애플리케이션 아이콘으로 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 웹 브라우저 아이콘(305), 이메일 애플리케이션 아이콘(307)을 표시할 수 있다. 그리고 제어부(180)는 심플 화면(200)에 표시된 지능형 에이전트 아이콘(200)을 웹 브라우저 아이콘(305)에 드래그 앤 드랍하는 사용자 입력을 획득할 수 있다. 이에 따라 제어부(180)는 웹 브라우저 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창을 디스플레이부(151)에 표시할 수 있다. 도 47을 참조하면, 제어부(180)는 웹 브라우저 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창으로, 복수의 추천 사이트 아이콘(451, 452, 453, 454)을 디스플레이부(151)에 표시할 수 있다. 여기서 복수의 추천 사이트 아이콘(451, 452, 453, 454) 각각은 사용자가 자주 방문하는 웹 사이트, 사용자가 저장한 웹 사이트 중 하나에 접속하기 위한 아이콘일 수 있다. 그리고 제어부(180)는 디스플레이부(151)에 표시된 웹 브라우저 애플리케이션에 대응하는 복수의 추천 사이트 아이콘(451, 452, 453, 454) 중 어느 하나의 아이콘을 선택하는 제2 사용자 입력을 획득할 수 있다. 제어부(180)는 획득된 제2 사용자 입력에 대응하는 사이트에 대한 웹 브라우저 화면을 디스플레이부(151)에 표시할 수 있다. 예를 들어, 제어부(180)는 제2 사이트 아이콘(452)을 선택하는 제2 사용자 입력을 획득하면, 디스플레이부(151)에 wheather.com에 대한 웹 브라우저 화면을 표시할 수 있다.
상술한 심플 화면에 대한 단말기(100)의 지능형 에이전트 동작에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 설정에 따라 심플 화면과 관련된 다양한 동작 및 기능이 단말기(100)의 지능형 에이전트를 통해 실행될 수 있다.
제7 실시예로, 본 발명에 따른 단말기(100)의 현재 위치 및 획득된 사용자 입력에 따른 기능 수행에 대해 설명한다.
제어부(180)는 지능형 에이전트가 실행될 때, 사용자의 현재 위치 정보를 획득할 수 있다. 여기서 사용자의 현재 위치 정보는 단말기(100)의 현재 위치 정보를 의미할 수 있다. 그래서 제어부(180)는 단말기(100)의 현재 위치 및 지능형 에이전트 아이콘(200)에 대한 사용자 입력에 대응하는 하나 이상의 추천 기능에 대한 아이콘을 표시할 수 있다. 여기서 하나 이상의 추천 기능에 대한 아이콘은 특정 애플리케이션 아이콘, 특정 기능에 대한 메뉴창을 의미할 수 있다.
일 실시 예를 도 48 내지 도 49를 참조하여 설명한다.
도 48은 본 발명의 일 실시 예에 따른 현재 위치에 대응하는 추천 애플리케이션 표시 화면을 나타내는 예시도이다.
도 49는 본 발명의 다른 실시 예에 따른 현재 위치에 대응하는 추천 애플리케이션 표시 화면을 나타내는 예시도이다.
도 48을 참조하면, 제어부(180)는 지능형 에이전트가 실행될 때, 사용자의 현재 위치 정보를 획득할 수 있다. 제어부(180)는 획득된 현재 위치 정보가 사용자의 집 실내이면, 사용자가 집 실내에서 자주 사용하는 하나 이상의 애플리케이션에 대한 아이콘을 심플 화면(220)에 표시할 수 있다. 그래서 제어부(180)는 디스플레이부(151)에 표시되는 심플 화면(220)에 지능형 에이전트 아이콘(200), 집 실내 위치에 대한 추천 애플리케이션 아이콘으로 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 인터넷 전화 애플리케이션 아이콘(311), 동영상 애플리케이션 아이콘(314)을 표시할 수 있다. 여기서 인터넷 전화 애플리케이션 아이콘(311)은 인터넷 전화(VoIP) 애플리케이션에 대응하는 아이콘일 수 있고, 동영상 애플리케이션 아이콘(314)는 동영상을 재생하기 위한 애플리케이션에 대응하는 아이콘일 수 있다. 한편, 제어부(180)는 심플 화면(220)이 아닌, 홈 화면에도 획득된 현재 위치 정보에 대응하는 애플리케이션 아이콘을 표시할 수 있다. 도 49에 도시된 바와 같이, 제어부(180)는 디스플레이부(151)에 표시된 홈 화면에 지능형 에이전트 아이콘(200), 집 실내에 대한 추천 애플리케이션 아이콘으로 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 인터넷 전화 애플리케이션 아이콘(311), 동영상 애플리케이션 아이콘(314)을 표시할 수 있다. 이 때 제어부(180)는 지능형 에이전트 실행에 따른 지능형 에이전트 아이콘(200), 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 인터넷 전화 애플리케이션 아이콘(311), 동영상 애플리케이션 아이콘(314)을 홈 화면의 다른 오브젝트와 구분하여 표시할 수 있다. 예를 들면, 제어부(180)는 지능형 에이전트 실행에 따른 지능형 에이전트 아이콘(200), 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 인터넷 전화 애플리케이션 아이콘(311), 동영상 애플리케이션 아이콘(314)을 활성화하여 표시하고, 홈 화면의 다른 오브젝트는 비활성화하여 표시할 수 있다.
다른 실시 예를 도 50 내지 도 51을 참조하여 설명한다.
도 50은 본 발명의 또 다른 실시 예에 따른 현재 위치에 대응하는 추천 애플리케이션 표시 화면을 나타내는 예시도이다.
도 51은 본 발명의 또 다른 실시 예에 따른 현재 위치에 대응하는 추천 애플리케이션 표시 화면을 나타내는 예시도이다.
도 50을 참조하면, 제어부(180)는 지능형 에이전트가 실행될 때, 사용자의 현재 위치 정보를 획득할 수 있다. 제어부(180)는 획득된 현재 위치 정보가 특정되지 않은 실외이면, 사용자가 실외에서 자주 사용하거나, 이동 중에 자주 사용하는 하나 이상의 애플리케이션에 대한 아이콘을 심플 화면(220)에 표시할 수 있다. 그래서 제어부(180)는 디스플레이부(151)에 표시되는 심플 화면(220)에 지능형 에이전트 아이콘(200), 실외 위치에 대한 추천 애플리케이션 아이콘으로 전화 애플리케이션 아이콘(315), 지도 애플리케이션 아이콘(317), 게임 애플리케이션 아이콘(319), 웹 브라우저 아이콘(312)을 표시할 수 있다. 여기서 전화 애플리케이션 아이콘(315)은 전화 애플리케이션에 대응하는 아이콘일 수 있고, 지도 애플리케이션 아이콘(317)는 지도 애플리케이션에 대응하는 아이콘일 수 있다. 그리고 게임 애플리케이션 아이콘(319)는 게임 애플리케이션에 대응하는 아이콘일 수 있다. 한편, 제어부(180)는 심플 화면(220)이 아닌, 홈 화면에도 획득된 현재 위치 정보에 대응하는 애플리케이션 아이콘을 표시할 수 있다. 도 51에 도시된 바와 같이, 제어부(180)는 디스플레이부(151)에 표시된 홈 화면에 지능형 에이전트 아이콘(200), 실외에 대한 추천 애플리케이션 아이콘으로 전화 애플리케이션 아이콘(315), 지도 애플리케이션 아이콘(317), 게임 애플리케이션 아이콘(319), 웹 브라우저 아이콘(312)을 표시할 수 있다. 이 때 제어부(180)는 지능형 에이전트 실행에 따른 지능형 에이전트 아이콘(200), 전화 애플리케이션 아이콘(315), 지도 애플리케이션 아이콘(317), 게임 애플리케이션 아이콘(319), 웹 브라우저 아이콘(321)을 홈 화면의 다른 오브젝트와 구분하여 표시할 수 있다. 예를 들면, 제어부(180)는 지능형 에이전트 실행에 따른 지능형 에이전트 아이콘(200), 전화 애플리케이션 아이콘(315), 지도 애플리케이션 아이콘(317), 게임 애플리케이션 아이콘(319), 웹 브라우저 아이콘(321)을 활성화하여 표시하고, 홈 화면의 다른 오브젝트는 비활성화하여 표시할 수 있다.
또 다른 실시 예로, 제어부(180)는 지능형 에이전트가 실행될 때, 단말기(100)의 현재 위치 정보 및 단말기(100)의 움직임에 대한 정보를 획득할 수 있다. 그리고 제어부(180)는 획득된 현재 위치 정보 및 단말기(100)의 움직임에 대한 정보에 대응하는 하나 이상의 추천 기능에 대한 아이콘을 표시하거나 하나 이상의 기능, 애플리케이션을 실행할 수도 있다. 여기서 하나 이상의 추천 기능에 대한 아이콘은 특정 애플리케이션 아이콘, 특정 기능에 대한 메뉴창을 의미할 수 있다.
일 실시 예로, 제어부(180)는 지능형 에이전트가 실행될 때, 획득된 단말기(100)의 현재 위치가 사용자의 조깅 코스이고, 획득된 단말기(100)의 움직임에 대한 정보가 사용자가 달리는 속도이면, 조깅 애플리케이션을 실행할 수 있다. 그리고 제어부(180)는 실행된 조깅 애플리케이션을 기초로 사용자의 조깅 내역을 트래킹할 수 있다. 그리고 제어부(180)는 조깅 운동에 적합한 음악을 재생할 수도 있다.
다른 실시 예로, 제어부(180)는 지능형 에이전트가 실행될 때, 획득된 단말기(100)의 현재 위치가 자동차 도로이고, 획득된 단말기(100)의 움직임에 대한 정보가 차량이 달리는 속도이면, 네비게이션 애플리케이션을 실행할 수 있다. 그리고 제어부(180)는 실행된 네비게이션 애플리케이션 화면에서 사용자의 주요 목적지에 대한 하나 이상의 선택창을 표시할 수 있다. 그리고 제어부(180)는 표시된 선택창에 대한 사용자 입력을 기초로, 실행된 네비게이션 애플리케이션을 통해 선택된 목적지에 대한 경로를 안내할 수 있다.
상술한 현재 위치에 대응하는 추천 애플리케이션에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 설정, 획득된 현재 위치 등에 따라 다양한 애플리케이션 및 다양한 기능이 단말기(100)의 지능형 에이전트를 통해 실행될 수 있다.
제8 실시예로, 본 발명에 따른 단말기(100)의 특정 애플리케이션 화면에서 사용자 입력에 따른 지능형 에이전트의 기능 수행에 대해 설명한다. 제어부(180)는 실행된 특정 애플리케이션에 대한 화면을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 특정 애플리케이션에 대한 화면에서 지능형 에이전트에 대응하는 사용자 입력을 획득할 수 있다. 제어부(180)는 특정 애플리케이션 및 획득된 사용자 입력에 대응하는 하나 이상의 기능에 대한 메뉴창을 표시하거나 하나 이상의 기능을 수행할 수 있다.
일 실시예를 도 52 내지 도 54를 참조하여 설명한다.
도 52는 본 발명의 일 실시 예에 따른 통화 중 화면을 나타내는 예시도이다.
도 53은 본 발명의 일 실시 예에 따른 통화 중 화면에 대한 사용자 입력을 나타내는 예시도이다.
도 54는 본 발명의 일 실시 예에 따른 통화 중 화면에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 52를 참조하면, 제어부(180)는 전화 애플리케이션 실행에 따른 통화 중 화면(221)을 디스플레이부(151)에 표시할 수 있다. 도 53에 도시된 바와 같이, 제어부(180)는 통화 중 화면(221)의 일부 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득할 수 있다. 제어부(180)는 통화 중 화면(221)의 일부 영역을 문지르는 사용자 입력을 획득하면, 통화 중에 사용 가능한 기능에 대한 메뉴창 또는 통화 중에 사용자가 사용한 애플리케이션에 대한 아이콘을 디스플레이부(151)에 표시하기 위해 지능형 에이전트를 실행할 수 있다. 그리고 제어부(180)는 통화 중에 사용 가능한 기능에 대한 메뉴창 또는 통화 중에 사용자가 사용한 애플리케이션에 대한 아이콘을 디스플레이부(151)에 표시할 수 있다. 예를 들면 도 54에 도시된 바와 같이, 제어부(180)는 통화 중 화면(221)에 지능형 에이전트 아이콘(200) 및 통화 중 사용 가능한 기능에 대한 하나 이상의 애플리케이션으로 메시지 애플리케이션 아이콘(301), 메모 애플리케이션 아이콘(326), 일정 애플리케이션 아이콘(327), 연락처 애플리케이션 아이콘(329)를 표시할 수 있다. 여기서 메모 애플리케이션 아이콘(326)은 메모 애플리케이션에 대응하는 아이콘일 수 있고, 연락처 애플리케이션 아이콘(329)는 연락처 애플리케이션에 대응하는 아이콘일 수 있다. 그리고 제어부(180)는 통화 중 화면(221)에 표시된 지능형 에이전트 아이콘(200), 메시지 애플리케이션 아이콘(301), 메모 애플리케이션 아이콘(326), 일정 애플리케이션 아이콘(327), 연락처 애플리케이션 아이콘(329) 중 어느 하나의 애플리케이션 아이콘을 선택하는 사용자 입력을 획득할 수 있다. 제어부(180)는 선택된 애플리케이션 아이콘에 대응하는 애플리케이션을 실행할 수 있다. 또한, 제어부(180)는 선택된 애플리케이션 아이콘에 대응하는 특정 기능 또는 특정 동작을 수행할 수 있다.
다른 실시예를 도 55 내지 도 59를 참조하여 설명한다.
도 55는 본 발명의 일 실시 예에 따른 지도 애플리케이션 동작 화면을 나타내는 예시도이다.
도 56은 본 발명의 일 실시 예에 따른 지도 애플리케이션 동작 화면에 대한 사용자 입력을 나타내는 예시도이다.
도 57는 본 발명의 일 실시 예에 따른 지도 애플리케이션 동작 화면에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 58은 본 발명의 일 실시 예에 따른 메뉴창에 대한 사용자 입력을 나타내는 예시도이다.
도 59는 본 발명의 일 실시 예에 따른 카페 위치 표시를 나타내는 예시도이다.
도 55를 참조하면, 제어부(180)는 지도 애플리케이션 실행에 따른 지도 애플리케이션 동작 화면(222)를 디스플레이부(151)에 표시할 수 있다. 지도 애플리케이션 동작 화면(222)은 현재 위치 또는 특정 위치에 대한 지도를 표시할 수 있다. 도 56에 도시된 바와 같이, 제어부(180)는 지도 애플리케이션 동작 화면(222)의 일부 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득할 수 있다. 제어부(180)는 지도 애플리케이션 동작 화면(222)의 일부 영역을 문지르는 사용자 입력을 획득하면, 지도 애플리케이션에 대응하는 하나 이상의 기능을 디스플레이부(151)에 표시하기 위해 지능형 에이전트를 실행할 수 있다. 그리고 제어부(180)는 지도 애플리케이션에 대응하는 하나 이상의 기능에 대한 메뉴창을 디스플레이부(151)에 표시할 수 있다. 예를 들면 도 57에 도시된 바와 같이, 제어부(180)는 지도 애플리케이션 동작 화면(222)에 지능형 에이전트 아이콘(200) 및 검색 가능한 복수의 카테고리 각각을 나타내는 카테고리 아이콘(331, 332, 333, 334)를 표시할 수 있다. 제어부(180)는 복수의 카테고리 아이콘(331, 332, 333, 334)으로 레스토랑 아이콘(331), 건물 아이콘(332), 카페 아이콘(333), 대중 교통 아이콘(334)을 표시할 수 있다. 여기서 레스토랑 아이콘(331)은 지도 애플리케이션 동작 화면(222)에 레스토랑 위치를 표시하기 위한 아이콘일 수 있다. 건물 아이콘(332)은 지도 애플리케이션 동작 화면(222)에 특정 건물 위치를 표시하기 위한 아이콘일 수 있다. 카페 아이콘(333)은 지도 애플리케이션 동작 화면(222)에 카페 위치를 표시하기 위한 아이콘일 수 있다. 대중 교통 아이콘(334)는 지도 애플리케이션 동작 화면(222)에 대중 교통 위치를 표시하기 위한 아이콘일 수 있다. 그리고 제어부(180)는 지도 애플리케이션 동작 화면(222)에 표시된 지능형 에이전트 아이콘(200), 레스토랑 아이콘(331), 건물 아이콘(332), 카페 아이콘(333), 대중 교통 아이콘(334) 중 어느 하나의 아이콘을 선택하는 사용자 입력을 획득할 수 있다. 제어부(180)는 선택된 아이콘에 대응하는 동작을 수행할 수 있다. 예를 들어 도 58에 도시된 바와 같이, 제어부(180)는 지도 애플리케이션 동작 화면(222)에 표시된 카페 아이콘(333)을 선택하는 사용자 입력을 획득할 수 있다. 이에 따라 도 59에 도시된 바와 같이, 제어부(180)는 선택된 카페 아이콘(333)에 대응하여, 지도 애플리케이션 동작 화면(222)에 표시된 지도 상의 카페 위치에 마커를 표시할 수 있다.
다른 실시예를 도 60 내지 도 65를 참조하여 설명한다.
도 60은 본 발명의 일 실시 예에 따른 웹 브라우저 화면에 대한 사용자 입력을 나타내는 예시도이다.
도 61은 본 발명의 일 실시 예에 따른 웹 브라우저 화면에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 62는 본 발명의 다른 실시 예에 따른 웹 브라우저 화면에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 63은 본 발명의 다른 실시 예에 따른 웹 브라우저 화면에 대한 사용자 입력을 나타내는 예시도이다.
도 64a는 본 발명의 일 실시 예에 따른 키워드 자동 입력을 나타내는 예시도이다.
도 64b는 본 발명의 다른 실시 예에 따른 키워드 자동 입력을 나타내는 예시도이다.
도 60을 참조하면, 제어부(180)는 웹 브라우저 애플리케이션 실행에 따른 웹 브라우저 화면(223)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 웹 브라우저 화면(223)의 특정 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 제1 사용자 입력으로 획득할 수 있다. 제어부(180)는 웹 브라우저 화면(223)의 특정 영역을 문지르는 사용자 입력을 획득하면, 웹 브라우징과 관련된 기능에 대한 메뉴창을 디스플레이부(151)에 표시하기 위해 지능형 에이전트를 실행할 수 있다. 제어부(180)는 웹 브라우징과 관련된 기능에 대한 메뉴창을 디스플레이부(151)에 표시할 수 있다.
일 실시 예로, 제어부(180)는 제1 사용자 입력에 대응하는 웹 브라우저 화면(223)의 특정 영역이 텍스트 영역이면, 텍스트와 관련된 기능에 대한 메뉴창을 디스플레이부(151)에 표시할 수 있다. 이에 따라 도 61에 도시된 바와 같이, 제어부(180)는 지능형 에이전트 아이콘(200) 및 텍스트와 관련된 기능에 대한 메뉴창으로, URL 저장(481), URL 전송(482), 텍스트 복사(483), SNS 전송(484)를 웹 브라우저 화면(223)에 표시할 수 있다. 여기서 URL 저장(481)은 제1 사용자 입력에 대응하는 텍스트의 URL(Uniform Resource Locator)을 저장하기 위한 메뉴창일 수 있고, URL 전송(482)은 제1 사용자 입력에 대응하는 텍스트의 URL을 전송하기 위한 메뉴창일 수 있고, 텍스트 복사(483)은 제1 사용자 입력에 대응하는 텍스트를 복사하기 위한 메뉴창일 수 있고, SNS 전송(484)는 제1 사용자 입력에 대응하는 텍스트를 SNS(Social Networking Service)에 전송하기 위한 메뉴창일 수 있다.
다른 실시 예로, 제어부(180)는 제1 사용자 입력에 대응하는 웹 브라우저 화면(223)의 특정 영역이 이미지 영역이면, 이미지와 관련된 기능에 대한 메뉴창을 디스플레이부(151)에 표시할 수 있다. 이에 따라 도 62에 도시된 바와 같이, 제어부(180)는 지능형 에이전트 아이콘(200) 및 이미지와 관련된 기능에 대한 메뉴창으로, URL 복사(485), 이미지 저장(486), 이미지 전송(487), SNS 전송(484)를 웹 브라우저 화면(223)에 표시할 수 있다. 여기서 URL 복사(485)는 제1 사용자 입력에 대응하는 이미지의 URL(Uniform Resource Locator)을 복사하기 위한 메뉴창일 수 있고, 이미지 저장(486)은 제1 사용자 입력에 대응하는 이미지를 저장하기 위한 메뉴창일 수 있고, 이미지 전송(487)은 제1 사용자 입력에 대응하는 이미지를 전송하기 위한 메뉴창일 수 있고, SNS 전송(484)는 제1 사용자 입력에 대응하는 이미지를 SNS(Social Networking Service)에 전송하기 위한 메뉴창일 수 있다.
또 다른 실시 예로, 제어부(180)는 제1 사용자 입력에 대응하는 웹 브라우저 화면(223)의 특정 영역이 입력창(370)이면, 입력창(370)에 특정 키워드를 입력할 수 있다. 여기서 입력창(370)는 문자를 입력하기 위한 창을 의미할 수 있다. 그리고 제어부(180)는 입력창(370)에 사용자가 설정한 키워드를 입력할 수도 있고, 사용자가 자주 입력하는 키워드를 입력할 수도 있다. 예를 들어 제어부(180)는 특정 시간, 특정 장소에서 사용자가 자주 입력하는 키워드를 입력창(370)에 입력할 수 있다. 또한, 제어부(180)는 사용자의 키워드 입력 내역을 기초로 입력창(370)에 입력되는 특정 키워드를 입력할 수도 있다. 예를 들어 도 63에 도시된 바와 같이, 제어부(180)는 지능형 에이전트 아이콘(200)을 입력창(370)으로 이동시키는 사용자 입력을 획득하면, 입력창(370)에 특정 키워드를 입력할 수 있다. 도 64a에 도시된 바와 같이, 제어부(180)는 사용자의 키워드 입력 내역을 기초로, 특정 요일의 특정 시간대에 사용자가 주기적으로 입력한 키워드인 로또 번호를 입력창(370)에 입력할 수 있다. 또한, 도 64b에 도시된 바와 같이, 제어부(180)는 사용자의 키워드 입력 내역을 기초로, 사용자가 저장한 키워드인 주가 지수를 입력창(370)에 입력할 수도 있다.
상술한 웹 브라우저 화면에 대응하는 단말기(100)의 지능형 에이전트 동작에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 설정, 사용자의 키워드 입력 내역에 따라 웹 브라우저와 관련된 다양한 기능이 단말기(100)의 지능형 에이전트를 통해 실행될 수 있다.
제9 실시예로, 본 발명에 따른 단말기(100)의 지능형 에이전트 실행에 따라 음성 명령 내역을 표시하고, 표시된 내역에 대한 사용자 입력을 기초로 한 지능형 에이전트의 기능 수행에 대해 설명한다. 제어부(180)는 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득하면, 사용자의 음성 명령 내역에 대한 음성 명령 내역 화면(210)을 디스플레이부(151)에 표시할 수 있다. 그리고 제어부(180)는 음성 명령 내역 화면(210)에 이전에 사용자로부터 음성 명령된 음성 명령 내역 및 사용자의 음성 명령에 대응하는 응답 내역을 표시할 수 있다. 제어부(180)는 디스플레이부(151)에 표시된 음성 명령 내역 중 하나의 메시지를 선택하는 사용자 입력을 획득하면, 선택된 메시지에 대응하는 동작을 지능형 에이전트를 통해 수행할 수 있다. 이에 대해 도 65를 참조하여 자세히 설명한다.
도 65는 본 발명의 일 실시 예에 따른 음성 명령 내역 화면을 나타내는 예시도이다.
도 65를 참조하면, 제어부(180)는 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득할 수 있다. 예를 들면 제어부(180)는 디스플레이부(151)의 화면의 일부 영역을 문지르는 제1 사용자 입력을 획득할 수 있고, 상술한 다양한 방식의 제1 사용자 입력을 획득할 수도 있다. 제어부(180)는 제1 사용자 입력을 획득하면, 사용자의 음성 명령 내역에 대한 음성 명령 내역 화면(210)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 음성 명령 내역 화면(210)에 사용자가 음성 명령한 내역에 대한 제1 음성 입력(475), 제2 음성 입력(477) 및 사용자의 음성 명령에 대한 단말기(100)의 응답인 제1 음성 응답(476)을 표시할 수 있다. 예를 들면 도 65에 도시된 바와 같이, 음성 명령 내역 화면(210)은 사용자의 유행하는 음악을 재생해달라는 제1 음성 입력(475)에 대해 단말기(100)가 탑 100 음악을 재생하겠다는 제1 음성 응답(476) 및 사용자의 감사하다는 제2 음성 입력(477)에 대한 내역을 포함할 수 있다. 그리고 제어부(180)는 음성 명령 내역 화면(210)에 표시된 제1 음성 입력(475), 제2 음성 입력(477) 및 제1 음성 응답(476) 중 하나를 선택하는 사용자 입력을 기초로, 선택된 메시지에 대응하는 동작을 지능형 에이전트를 통해 수행할 수 있다. 예를 들면, 제어부(180)는 제1 음성 입력(475) 또는 제1 음성 응답(476)을 선택하는 사용자 입력을 획득하면, 탑 100 음악을 재생할 수 있다. 한편, 제어부(180)는 디스플레이부(151)에 표시된 음성 명령 내역 화면(210)을 스크롤하는 사용자 입력을 획득하면, 획득된 사용자 입력에 대응하여 음성 명령 내역 화면(210)에 표시되는 음성 명령 내역에 대한 메시지를 변경할 수 있다. 예를 들어, 제어부(180)는 디스플레이부(151)에 표시된 음성 명령 내역 화면(210)을 하단으로 스크롤하는 사용자 입력을 획득하면, 디스플레이부(151)에 표시된 음성 명령 내역에 대한 메시지의 이전 내역에 대한 메시지를 표시할 수 있고, 음성 명령 내역 화면(210)을 상단으로 스크롤하는 사용자 입력을 획득하면, 디스플레이부(151)에 표시된 음성 명령 내역에 대한 메시지의 이후 내역에 대한 메시지를 표시할 수 있다.
상술한 음성 명령 내역 화면에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서, 지능형 에이전트 실행에 따른 음성 명령 내역 화면 표시 및 이에 대한 동작은 사용자 또는 설계자의 설정에 따라 다양하게 설정될 수 있다. 따라서, 본 발명에 따른 단말기(100)는 다양한 조건에서 음성 명령 내역에 대한 음성 명령 내역 화면을 표시하고, 표시된 음성 명령 내역에 대한 사용자 입력을 기초로 다양하게 동작할 수 있다.
한편, 제어부(180)는 지능형 에이전트 응용 프로그램 동작 중에 단말기(100)의 마이크(122)의 동작에 대한 사용자 입력을 획득하고, 획득된 사용자 입력에 따라 마이크(122)를 동작할 수도 있다. 그리고 제어부(180)는 마이크(122) 동작 여부를 나타내는 음성 인식 표시를 디스플레이부(151)에 표시할 수도 있다.
이에 대해 도 66 내지 도 67을 참조하여 설명한다.
도 66은 본 발명의 일 실시 예에 따른 음성 인식 표시를 나타내는 예시도이다.
도 67은 본 발명의 다른 실시 예에 따른 음성 인식 표시를 나타내는 예시도이다.
일 실시 예로 도 66을 참조하면, 제어부(180)는 지능형 에이전트 실행에 따른 심플 화면(220)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 마이크(122) 동작 중을 나타내는 음성 인식 표시(202)를 지능형 에이전트 아이콘(200)에 대응하여 표시할 수 있다. 제어부(180)는 마이크(122) 동작 중에는 음성 인식 표시(202)가 지능형 에이전트 아이콘(200)의 둘레를 회전하도록 표시할 수도 있다. 여기서, 음성 인식 표시(202)는 단말기(100)가 사용자의 음성을 인식 가능한 상태임을 나타내는 표시일 수 있다.
다른 실시 예로 도 67을 참조하면, 제어부(180)는 지능형 에이전트 실행에 따른 심플 화면(220)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 마이크(122) 동작 중인 경우, 지능형 에이전트 아이콘(200)의 위치에 마이크 아이콘(201)을 표시할 수 있다. 마이크 아이콘(201)은 상술한 지능형 에이전트 아이콘(200)과 동일한 동작 및 기능을 수행할 수 있다. 또한, 제어부(180)는 마이크 동작 중을 나타내는 음성 인식 표시(202)를 마이크 아이콘(201)에 대응하여 표시할 수 있다. 제어부(180)는 마이크(122) 동작 중에는 음성 인식 표시(202)가 지능형 에이전트 아이콘(200)의 둘레를 회전하도록 표시할 수도 있다. 여기서, 음성 인식 표시(202)는 단말기(100)가 사용자의 음성을 인식 가능한 상태임을 나타내는 표시일 수 있다.
한편, 제어부(180)는 마이크(122)가 동작 중이지 않은 경우, 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200) 또는 아이크 아이콘(201)을 터치하는 사용자 입력을 획득하면, 마이크(122)가 동작하도록 할 수 있다. 이에 따라 제어부(180)는 사용자의 음성을 인식 가능한 상태로 동작할 수 있다.
또한, 제어부(180)는 마이크(122)가 동작 중이지 않은 경우, 센싱부(140)를 통해 단말기(100)의 움직임을 획득하면, 마이크(122)가 동작하도록 할 수 있다. 이에 따라 제어부(180)는 사용자의 음성을 인식 가능한 상태로 동작할 수 있다. 예를 들면, 제어부(180)는 단말기(100)를 흔드는 사용자 입력을 단말기(100)가 사용자의 음성을 인식 가능한 상태로 동작하기 위한 사용자 입력으로 획득할 수 있다.
한편, 제어부(180)는 실행 중인 지능형 에이전트 응용 프로그램을 종료하기 위한 사용자 입력을 획득할 수 있고, 실행 중인 지능형 에이전트 응용 프로그램을 종료할 수 있다.
일 실시 예를 도 68을 참조하여 설명한다.
도 68은 본 발명의 일 실시 예에 따른 지능형 에이전트 응용 프로그램을 종료하기 위한 사용자 입력에 대한 예시도이다.
도 68을 참조하면, 제어부(180)는 실행 중인 지능형 에이전트에 대한 심플 화면(220)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 센싱부(140)를 통해 단말기(100)의 움직임을 획득할 수 있고, 단말기(100)를 흔드는 사용자 입력을 실행 중인 지능형 에이전트를 종료하기 위한 사용자 입력으로 획득할 수 있다. 그리고 제어부(180)는 단말기(100)를 흔드는 사용자 입력을 획득하면, 실행 중인 지능형 에이전트 응용 프로그램을 종료할 수 있다.
다른 실시 예를 도 69를 참조하여 설명한다.
도 69는 본 발명의 다른 실시 예에 따른 지능형 에이전트 응용 프로그램을 종료하기 위한 사용자 입력에 대한 예시도이다.
제어부(180)는 실행 중인 지능형 에이전트에 대한 심플 화면(220)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 심플 화면(220)에 표시된 지능형 에이전트 아이콘(200)을 일정 거리 이상 이동시키는 사용자 입력을 실행 중인 지능형 에이전트를 종료하기 위한 사용자 입력으로 획득할 수 있다. 그리고 제어부(180)는 표시된 지능형 에이전트 아이콘(200)을 일정 거리 이상 이동시키는 사용자 입력을 획득하면, 실행 중인 지능형 에이전트 응용 프로그램을 종료할 수 있다. 여기서 표시된 지능형 에이전트 아이콘(200)을 일정 거리 이상 이동시키는 사용자 입력은 디스플레이부(151)에 표시된 지능형 에이전트 아이콘(200)을 디스플레이부(151)의 화면의 여백 영역으로 이동시키는 사용자 입력을 의미할 수도 있다.
한편, 제어부(180)는 지능형 에이전트 아이콘(200)에 대한 사용자 입력에 따른 지능형 에이전트 아이콘(200)의 이동에 대한 가이드 라인(205)를 표시할 수 있다. 이에 대해 도 70을 참조하여 설명한다.
도 70은 본 발명의 일 실시 예에 따른 가이드 라인 표시에 대한 예시도이다.
도 70을 참조하면, 제어부(180)는 지능형 에이전트 아이콘(200)에 대한 사용자 입력에 따라 이동 중인 지능형 에이전트 아이콘(200)에 대응하여, 가이드 라인(205)을 표시할 수 있다. 예를 들면, 제어부(180)는 지능형 에이전트 아이콘(200)의 이동에 따라 특정 기능 또는 특정 동작을 수행할 수 있으면 가이드 라인(205)을 표시할 수 있다. 그리고 제어부(180)는 지능형 에이전트 아이콘(200)의 이동에 따라 지능형 에이전트 응용 프로그램을 종료할 수 있으면 가이드 라인(205)을 표시하지 않을 수도 있다. 그래서 제어부(180)는 지능형 에이전트 아이콘(200)의 이동에 따라 지능형 에이전트 아이콘(200)이 일정 영역을 벗어나면, 표시되던 가이드 라인(205)이 표시되지 않도록 할 수도 있다.
한편, 제어부(180)는 지능형 에이전트 응용 프로그램에 대응하는 기능 또는 동작과 관련된 애플리케이션을 추가하기 위한 사용자 입력을 획득할 수 있다. 그리고 제어부(180)는 지능형 에이전트 응용 프로그램이 실행된 경우, 추가된 애플리케이션과 관련된 기능 또는 동작을 제공할 수 있다.
도 71 내지 도 72를 참조하여, 실행된 지능형 에이전트 응용 프로그램에 대해 지원 가능한 애플리케이션 추가에 대해 설명한다.
도 71은 본 발명의 일 실시 예에 따른 지능형 에이전트 응용 프로그램에 대해 지원 가능한 응용 프로그램 추가에 대한 예시도이다.
도 71을 참조하면, 제어부(180)는 지능형 에이전트 응용 프로그램에 대해 지원 가능한 응용 프로그램을 추가하기 위한 사용자 입력으로, 추가하고자 하는 애플리케이션인 레스토랑 애플리케이션 아이콘(313)을 지능형 에이전트 아이콘(200)에 드래그 앤 드랍하는 사용자 입력을 획득할 수 있다. 이에 따라 제어부(180)는 지능형 에이전트 응용 프로그램에 대응하는 기능 또는 동작으로 레스토랑 애플리케이션의 기능 또는 동작도 제공할 수 있다.
도 72는 본 발명의 다른 실시 예에 따른 지능형 에이전트 응용 프로그램에 대해 지원 가능한 응용 프로그램 추가에 대한 예시도이다.
도 72를 참조하면, 제어부(180)는 지능형 에이전트 응용 프로그램이 실행 중일 때, 지능형 에이전트 응용 프로그램에 대해 지원 가능한 응용 프로그램을 추가하기 위한 사용자 입력으로, "레스토랑 애플리케이션을 추가해"라는 사용자 음성을 획득할 수 있다. 이에 따라 제어부(180)는 지능형 에이전트 응용 프로그램에 대응하는 기능 또는 동작으로 레스토랑 애플리케이션의 기능 또는 동작도 제공할 수 있다.
한편, 제어부(180)는 지능형 에이전트 응용 프로그램에 대한 설정을 통해, 지능형 에이전트 응용 프로그램에 대응하는 기능 또는 동작과 관련된 애플리케이션을 추가하기 위한 사용자 입력을 획득할 수 있다. 그리고 제어부(180)는 획득된 사용자 입력을 기초로, 지능형 에이전트 응용 프로그램에 대응하는 기능 또는 동작으로 추가된 애플리케이션의 기능 또는 동작을 제공할 수도 있다.
이어서, 본 발명에 따른 단말기(100)가 지능형 에이전트를 실행하기 위한 사용자 입력을 입력하는 사용자를 인식하고, 인식된 사용자에 대응하는 기능 수행에 대해 설명한다.
도 73은 본 발명의 다른 실시 예에 따른 단말기의 동작 방법을 나타내는 흐름도이다.
도 73을 참조하면, 단말기(100)의 제어부(180)는 지능형 에이전트를 실행하기는 위한 사용자 입력을 획득한다(S210).
제어부(180)는 사용자 입력부(123), 터치 센서(144), 카메라(121), 마이크(122) 중 하나 이상을 통해 지능형 에이전트를 실행하기 위한 사용자 입력을 획득할 수 있다. 여기서 지능형 에이전트를 실행하기 위한 사용자 입력은 상술한 제1 사용자 입력과 동일한 입력일 수도 있고, 제1 사용자 입력이 아닌 다른 입력일 수도 있다.
일 실시 예로, 제어부(180)는 디스플레이부(151)의 일부 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다.
다른 실시 예로, 제어부(180)는 사용자 입력부(123)에 포함된 터치키, 푸시키 등을 통해 지능형 에이전트를 실행하기 위한 사용자 입력을 획득할 수 있다.
또 다른 실시 예로, 제어부(180)는 마이크(122)를 통해 지능형 에이전트를 실행하기 위한 사용자 입력인 사용자 음성을 획득할 수 있다.
또 다른 실시 예로, 제어부(180)는 카메라(121)를 통해 지능형 에이전트를 실행하기 위한 사용자 입력인 특정 이미지를 획득할 수 있다.
또 다른 실시 예로, 제어부(180)는 센싱부(140)에 포함된 모션 센서를 통해 지능형 에이전트를 실행하기 위한 사용자 입력인 단말기에 대한 특정 움직임을 획득할 수 있다.
이에 대해 도 74 내지 도 75를 참조하여 구체적으로 설명한다.
도 74는 본 발명의 일 실시 예에 따른 잠금 화면 표시에 대한 예시도이다.
도 75는 본 발명의 일 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 74를 참조하면, 제어부(180)는 디스플레이부(151)의 화면의 잠금 화면(500)을 표시할 수 있다. 여기서 잠금 화면(500)은 단말기(100)가 잠금 상태에 디스플레이부(151)에 표시하는 화면일 수 있다. 그리고 잠금 상태는 단말기(100)의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 상태를 의미할 수 있다. 예를 들면, 제어부(180)는 기 설정된 시간 동안 사용자 입력을 입력 받지 못하면, 상술한 잠금 상태로 동작할 수 있고, 디스플레이부(151)에 일정 시간 동안 잠금 화면(500)을 표시할 수 있다. 그리고 제어부(180)는 잠금 화면(500)에 시간을 나타내는 시계 윈도우(250), 긴급 전화를 위한 긴급 전화 아이콘(540) 중 하나 이상을 표시할 수 있다.
도 75에 도시된 바와 같이, 제어부(180)는 디스플레이부(151)의 화면에 표시된 잠금 화면(500)의 일부 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다. 여기서 문지르는 터치 입력은 상술한 바와 같이, 일 방향으로 회전하는 터치 입력일 수도 있고, 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력일 수도 있다. 한편, 제어부(180)는 잠금 화면(500)의 일부 영역을 문지르는 터치 입력에 대응하여, 단말기(100)의 다양한 동작을 수행할 수 있다. 이에 대해서는 후술한다.
다시 도 73을 참조한다.
도 73을 참조하면, 단말기(100)의 제어부(180)는 획득된 사용자 입력을 기초로, 지능형 에이전트 응용 프로그램을 실행한다(S230).
제어부(180)는 획득된 사용자 입력을 기초로, 메모리(160)에 저장된 지능형 에이전트 응용 프로그램을 실행할 수 있다.
그리고 상술한 바와 같이, 제어부(180)는 지능형 에이전트가 실행 중임을 나타내는 지능형 에이전트 아이콘(200), 지능형 에이전트 상태바(205), 지능형 에이전트 실행 효과(207) 중 하나 이상을 디스플레이부(151)에 표시할 수 있다. 단말기(100)의 지능형 에이전트 응용 프로그램 실행에 대한 내용은 상술한 바 있어 자세한 설명은 생략한다.
단말기(100)의 제어부(180)는 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 사용자를 인식한다(S250).
제어부(180)는 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 사용자의 생체 정보를 기초로 사용자를 인식할 수 있다. 여기서 생체 정보는 사용자의 신체와 관련된 다양한 정보를 의미할 수 있다. 예를 들면, 생체 정보는 사용자의 얼굴, 음성, 지문, 홍채, 심전도 중 하나 이상일 수 있다.
일 실시 예로, 제어부(180)는 카메라(121)를 통해, 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 사용자의 얼굴에 대한 얼굴 이미지를 획득할 수 있다. 그리고 제어부(180)는 획득된 얼굴 이미지를 기초로, 사용자 입력에 대응하는 사용자를 인식할 수 있다. 이에 따라 제어부(180)는 사용자 입력에 대응하는 사용자가 등록된 사용자인지 인식할 수 있다.
다른 실시 예로, 제어부(180)는 마이크(122)를 통해, 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 사용자의 음성을 획득할 수 있다. 그리고 제어부(180)는 획득된 사용자의 음성을 기초로, 사용자 입력에 대응하는 사용자를 인식할 수 있다. 이에 따라 제어부(180)는 사용자 입력에 대응하는 사용자가 등록된 사용자인지 인식할 수 있다.
또 다른 실시 예로, 제어부(180)는 센싱부(140)에 포함된 지문 인식 센서를 통해, 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 사용자의 지문 이미지를 획득할 수 있다. 그리고 제어부(180)는 획득된 지문 이미지를 기초로, 사용자 입력에 대응하는 사용자를 인식할 수 있다. 이에 따라 제어부(180)는 사용자 입력에 대응하는 사용자가 등록된 사용자인지 인식할 수 있다.
상술한 제어부(180)의 사용자 인식에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 선택에 따라 다양한 사용자의 생체 정보를 기초로 사용자를 인식할 수 있다.
한편, 제어부(180)는 사용자의 얼굴 표정, 목소리 톤, 몸짓 등을 기초로, 사용자의 기분, 감정 상태 또는 심리 상태를 인식할 수 있다. 예를 들면, 제어부(180)는 사용자가 기분 좋은 상태인지 기분 나쁜 상태인지 인식할 수 있고, 활기찬 상태인지 피곤한 상태인지 인식할 수도 있다. 이외에도 제어부(180)는 사용자의 다양한 감정 상태를 인식할 수 있다.
일 실시 예로, 제어부(180)는 카메라(121)를 통해, 사용자의 얼굴 표정 또는 몸짓에 대한 하나 이상의 이미지를 획득할 수 있다. 그리고 제어부(180)는 획득된 이미지를 기초로, 사용자의 기분 또는 심리 상태를 인식할 수 있다.
다른 실시 예로, 제어부(180)는 마이크(122)를 통해, 사용자의 음성을 획득할 수 있다. 그리고 제어부(180)는 획득된 음성의 목소리 톤을 기초로, 사용자의 기분 또는 심리 상태를 인식할 수 있다.
사용자의 얼굴 표정, 목소리 톤, 몸짓 등을 기초로 사용자의 기분 또는 심리 상태를 인식하는 기술은 공지된 기술로 자세한 설명은 생략한다. 그리고 상술한 사용자의 기분 또는 심리 상태 인식에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 선택에 따라 다양한 방식을 통해 사용자의 기분 또는 심리 상태를 인식할 수 있다.
단말기(100)의 제어부(180)는 인식된 사용자 및 획득된 사용자 입력에 대응하는 기능을 수행한다(S270).
제어부(180)는 인식된 사용자 및 획득된 사용자 입력에 대응하는 다양한 기능을 수행할 수 있다. 또한, 제어부(180)는 인식된 사용자의 기분, 감정 상태 또는 심리 상태를 기초로, 인식된 사용자 및 획득된 사용자 입력에 대응하는 기능을 수행할 수도 있다.
이하, 이에 대한 다양한 실시예를 바탕으로 상세히 설명한다.
제10 실시 예로, 본 발명에 따른 단말기(100)의 기능 수행으로, 잠금 화면에서의 동작을 설명한다.
먼저, 인식된 사용자가 등록된 사용자인 경우와 등록되지 않은 사용자인 경우 각각에 대한 단말기(100)의 기능 수행에 대한 실시 예를 설명한다.
도 75에 도시된 바와 같이, 제어부(180)는 디스플레이부(151)의 화면에 표시된 잠금 화면(500)의 일부 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다. 그리고 제어부(180)는 상술한 바와 같이, 문지르는 터치 입력을 입력하는 사용자를 인식할 수 있고, 사용자의 기분, 감정 상태 또는 심리 상태를 인식할 수도 있다. 제어부(180)는 잠금 화면(500)의 일부 영역을 문지르는 터치 입력에 대응하여, 단말기(100)의 다양한 동작을 수행할 수 있다.
일 실시 예를 도 76을 참조하여 설명한다.
도 76은 본 발명의 일 실시 예에 따른 인식된 사용자에 대한 알람 정보 표시의 화면에 대한 예시도이다.
제어부(180)는 인식된 사용자가 등록된 사용자인 경우, 잠금 화면(500)의 일부 영역을 문지르는 터치 입력에 대응하여, 인식된 사용자에 대한 알람 정보를 디스플레이부(151)에 표시할 수 있다. 이에 따라 도 10에 도시된 바와 같이, 제어부(180)는 인식된 사용자에 대한 알람 정보를 표시하는 알람창(620)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 알람창(620)에 현재 시간 이후의 주요 일정, 부재중 전화, 부재중 문자, 해야 할 업무 중 하나 이상에 대한 내용을 표시할 수 있다. 상술한 내용 이외에도, 제어부(180)는 사용자와 관련된 다양한 알람 정보를 알람창(620)에 표시할 수 있다.
다른 실시 예를 도 77을 참조하여 설명한다.
도 77은 본 발명의 일 실시 예에 따른 등록된 사용자에 대응하는 홈 화면에 대한 예시도이다.
제어부(180)는 인식된 사용자가 등록된 사용자인 경우, 잠금 화면(500)의 일부 영역을 문지르는 터치 입력에 대응하여, 디스플레이부(151)에 단말기의 기본 화면인 홈 화면을 표시할 수 있고, 홈 화면에 심플 메뉴를 표시할 수 있다. 도 77을 참조하면, 제어부(180)는 심플 메뉴에 지능형 에이전트 아이콘(200), 하나 이상의 추천 기능에 대한 애플리케이션 아이콘 및 하나 이상의 추천 기능에 대한 메뉴창 중 하나 이상을 표시할 수 있다. 제어부(180)는 사용자의 단말기(100)의 사용 패턴 및 단말기(100)의 상태에 대응하는 추천 기능에 대한 아이콘을 표시할 수 있다. 여기서 사용자의 단말기(100)의 사용 패턴은 사용자가 이용한 응용 애플리케이션의 이용 빈도, 이용 기능, 이용 시간 등을 포함할 수 있다. 그리고 단말기(100)의 상태는 단말기(100)의 디스플레이부(151)에 표시된 화면, 단말기(100)의 입력 상태, 단말기(100)가 획득한 위치 정보, 단말기(100)의 통신 상태 등을 포함할 수 있다. 예를 들면 도 77에 도시된 바와 같이, 제어부(180)는 심플 메뉴에 추천 기능에 대한 애플리케이션 아이콘으로, 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 웹 브라우저 아이콘(305), 이메일 애플리케이션 아이콘(307)을 표시할 수 있다. 한편, 제어부(180)는 지능형 에이전트 실행에 따른 심플 메뉴에 표시된 하나 이상의 아이콘 또는 메뉴창을 회전시키는 사용자 입력을 획득하면, 심플 메뉴에 표시된 아이콘 또는 메뉴창이 아닌 다른 아이콘 또는 메뉴창을 표시할 수도 있다. 이에 대해서는 상술한 바 있다.
또 다른 실시 예를 도 78을 참조하여 설명한다.
도 78은 본 발명의 일 실시 예에 따른 등록되지 않은 사용자에 대한 메시지창에 대한 예시도이다.
도 78에 도시된 바와 같이, 제어부(180)는 인식된 사용자가 등록되지 않은 사용자인 경우, 잠금 화면(500)의 일부 영역을 문지르는 터치 입력에 대응하여, 디스플레이부(151)에 등록되지 않은 사용자임을 알리는 메시지창(610)을 표시할 수 있다. 제어부(180)는 메시지창(610)에 등록된 사용자가 아님을 알리는 메시지를 표시할 수 있고, 등록된 사용자가 아님에 따라 게스트 모드로 동작함을 알리는 메시지를 표시할 수도 있다. 여기서 게스트 모드는 등록된 사용자 이외의 다른 사용자가 단말기(100)를 사용하는 경우, 단말기(100)의 전부 또는 일부 기능을 이용할 수 없고, 전부 또는 일부 정보에 접근하는 것을 제한하는 모드를 의미할 수 있다. 이에 따라 제어부(180)는 인식된 사용자가 등록되지 않은 경우, 단말기(100)의 일부 기능, 일부 정보만을 인식된 사용자에 제공할 수 있다.
한편, 상술한 잠금 화면(500)에 대한 내용은 잠금 화면(500)의 잠금 해제 입력 영역(520, 530)을 문지르는 터치 입력에 대응하여, 인식된 사용자에 대응하는 기능을 수행할 수 있다.
이에 대해 도 79 내지 도 80을 참조하여 설명한다.
도 79는 본 발명의 다른 실시 예에 따른 잠금 화면에 대한 예시도이다.
도 80은 본 발명의 또 다른 실시 예에 따른 잠금 화면에 대한 예시도이다.
도 79를 참조하면, 제어부(180)는 디스플레이부(151)에 잠금 화면(501)을 표시할 수 있고, 잠금 화면(501)의 잠금 해제 입력 영역(520)에 잠금 패턴에 대응하는 복수의 잠금 포인트(521 내지 529)를 표시할 수 있다. 제어부(180)는 잠금 패턴에 대응하는 복수의 잠금 포인트(521 내지 529) 중 하나 이상을 거치는 잠금 해제 패턴 입력을 획득할 수 있고, 획득된 잠금 해제 패턴이 등록된 잠금 해제 패턴과 동일하면, 잠금 화면(501)을 해제할 수 있다. 한편, 제어부(180)는 잠금 해제 입력 영역(520)을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다. 제어부(180)는 문지르는 터치 입력에 대응하는 사용자를 인식할 수 있고, 인식된 사용자에 대응하는 동작을 수행할 수 있다. 이에 따라, 제어부(180)는 상술한 바와 같이, 인식된 사용자가 등록된 사용자인지 여부에 따라, 사용자에 대응하는 동작을 수행할 수 있다. 이에 대한 자세한 설명은 생략한다.
도 80을 참조하면, 제어부(180)는 디스플레이부(151)에 잠금 화면(502)을 표시할 수 있고, 잠금 화면(502)의 잠금 해제 입력 영역(530)에 잠금 해제 번호를 입력하기 위한 숫자키를 표시할 수 있다. 제어부(180)는 잠금 해제 번호에 대응하는 하나 이상의 숫자를 숫자키에 대한 사용자 입력을 통해 획득할 수 있고, 획득된 잠금 해제 번호가 등록된 잠금 해제 번호와 동일하면, 잠금 화면(502)을 해제할 수 있다. 한편, 제어부(180)는 잠금 해제 입력 영역(530)을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다. 제어부(180)는 문지르는 터치 입력에 대응하는 사용자를 인식할 수 있고, 인식된 사용자에 대응하는 동작을 수행할 수 있다. 이에 따라, 제어부(180)는 상술한 바와 같이, 인식된 사용자가 등록된 사용자인지 여부에 따라, 사용자에 대응하는 동작을 수행할 수 있다. 이에 대한 자세한 설명은 생략한다.
한편, 제어부(180)는 인식된 사용자가 등록된 사용자인 경우, 잠금 화면(500)의 시계 윈도우(250)에 대응하는 영역을 문지르는 사용자 입력에 대응하여, 인식된 사용자의 일정과 관련된 정보를 디스플레이부(151)에 표시할 수 있다. 이에 대해 도 81 내지 도 82를 참조하여 설명한다.
도 81은 본 발명의 다른 실시 예에 따른 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 82는 본 발명의 일 실시 예에 따른 인식된 사용자의 일정 정보 표시 화면에 대한 예시도이다.
도 81을 참조하면, 제어부(180)는 인식된 사용자가 등록된 사용자인 경우, 잠금 화면(500)의 시계 윈도우(250)에 대응하는 영역을 문지르는 터치 입력에 대응하여, 인식된 사용자의 일정과 관련된 정보를 디스플레이부(151)에 표시할 수 있다. 이에 따라 도 82에 도시된 바와 같이, 제어부(180)는 현재 시간 이후의 일정을 표시하는 일정 정보 표시 화면(217)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 일정 정보 표시 화면(217)에 현재 시간 이후의 일정에 대한 일정표(471) 및 주요 일정 팝업창(472)을 표시할 수 있다. 제어부(180)는 주요 일정 팝업창(472)에 현재 시간부터 주요 일정까지 남은 시간, 일정 내용을 표시할 수 있다. 그리고 제어부(180)는 주요 일정 팝업창(472)에 주요 일정까지 남은 시간을 디데이(D-day) 형식으로 표시할 수도 있다.
한편, 제어부(180)는 지능형 에이전트를 실행하는 사용자 입력에 대응하여, 인식된 사용자의 기분, 감정 상태 또는 심리 상태에 대응하는 동작을 수행할 수도 있다.
일 실시 예로, 제어부(180)는 인식된 사용자의 기분이 좋은 상태이면, 밝은 화면 또는 높은 톤의 음성을 출력할 수 있다.
다른 실시 예로, 제어부(180)는 인식된 사용자가 피곤한 상태이면, 활기찬 상태에 대응하는 화면 또는 음성을 출력할 수 있다.
상술한 인식된 사용자의 기분, 감정 상태 또는 심리 상태에 대응하는 동작에 대한 설명은 설명을 위한 예시로, 사용자 또는 설계자의 설정에 따라 인식된 사용자의 기분, 감정 상태 또는 심리 상태에 대응하는 다양한 동작을 수행할 수 있다.
제11 실시 예로, 본 발명에 따른 단말기(100)의 기능 수행으로, 애플리케이션에 대응하는 동작을 설명한다.
제어부(180)는 하나 이상의 애플리케이션에 대응하여 지능형 에이전트를 실행하기 위한 사용자 입력을 획득할 수 있고, 획득된 사용자 입력에 대응하는 동작을 수행할 수 있다. 그리고 상술한 바와 같이, 제어부(180)는 인식된 사용자가 등록된 사용자인 경우와 등록되지 않은 사용자인 경우 각각에 대해 서로 다른 동작을 수행할 수도 있다.
일 실시 예를 도 83 내지 도 86을 참조하여 설명한다.
도 83은 본 발명의 일 실시 예에 따른 홈 화면을 나타낸다.
도 83을 참조하면, 제어부(180)는 디스플레이부(151)의 화면에 단말기(100)의 기본 화면인 홈 화면을 표시할 수 있다. 홈 화면에는 위젯, 애플리케이션 아이콘 등 다양한 오브젝트가 표시될 수 있다. 예를 들면, 제어부(180)는 홈 화면에 전화 애플리케이션 아이콘(315)을 표시할 수 있다. 여기서 전화 애플리케이션 아이콘(315)은 전화 애플리케이션에 대응하는 아이콘일 수 있다.
도 84는 본 발명의 일 실시 예에 따른 전화 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 84를 참조하면, 제어부(180)는 디스플레이부(151)에 표시된 전화 애플리케이션 아이콘(315)을 문지르는 사용자 입력을 획득할 수 있다. 전화 애플리케이션 아이콘(315)을 문지르는 사용자 입력은 상술한 바와 같이, 전화 애플리케이션 아이콘(315)을 중심으로 일 방향으로 회전하는 터치 입력을 의미할 수 있고, 전화 애플리케이션 아이콘(315)을 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력을 의미할 수도 있다. 제어부(180)는 전화 애플리케이션 아이콘(315)을 문지르는 사용자 입력을 획득하면, 전화 애플리케이션의 특정 기능을 수행하거나 전화 애플리케이션의 하나 이상의 기능에 대한 메뉴창을 표시하기 위해 지능형 에이전트를 실행할 수 있다. 그리고 제어부(180)는 상술한 바와 같이, 전화 애플리케이션 아이콘(315)을 문지르는 사용자 입력에 대응하는 사용자를 인식할 수 있다.
도 85는 본 발명의 일 실시 예에 따른 등록된 사용자에 대응하는 전화 메뉴 표시 화면을 나타낸다.
제어부(180)는 인식된 사용자가 등록된 사용자인 경우, 전화 애플리케이션 아이콘(315)을 문지르는 사용자 입력에 대응하여, 인식된 사용자가 자주 전화하는 상대방과 통화하기 위한 단축키를 표시할 수 있다. 이에 따라 도 85에 도시된 바와 같이, 제어부(180)는 인식된 사용자가 자주 전화하는 상대방과 통화하기 위한 단축키인 제1 단축키(474), 제2 단축키(475), 제3 단축키(476)를 디스플레이부(151)에 표시할 수 있다. 그리고 제1 단축키 내지 제3 단축키(474 내지 476) 각각은 서로 다른 상대방과 통화하기 위한 단축키일 수 있다. 이에 따라 제어부(180)는 디스플레이부(151)에 표시된 제1 단축키 내지 제3 단축키(474 내지 476) 중 하나의 단축키를 선택하는 사용자 입력을 획득하면, 선택된 단축키에 대응하는 상대방에게 전화 연결할 수 있다. 한편, 사용자가 자주 전화하는 상대방과 통화하기 위한 단축키의 수는 사용자 또는 설계자의 선택에 따라 다양하게 설정될 수 있다.
도 86은 본 발명의 따른 실시 예에 따른 등록되지 않은 사용자에 대응하는 전화 메뉴 표시 화면을 나타낸다.
제어부(180)는 인식된 사용자가 등록되지 않은 사용자인 경우, 전화 애플리케이션 아이콘(315)을 문지르는 사용자 입력에 대응하여, 지정된 긴급 연락처와 통화하기 위한 단축키를 표시할 수 있다. 이에 따라 도 20에 도시된 바와 같이, 제어부(180)는 지정된 긴급 연락처와 통화하기 위한 단축키인 제1 긴급 통화 단축키(477), 제2 긴급 통화 단축키(478), 제3 긴급 통화 단축키(479)를 디스플레이부(151)에 표시할 수 있다. 그리고 제1 긴급 통화 단축키 내지 제3 긴급 통화 단축키(477 내지 479) 각각은 서로 다른 긴급 연락처와 통화하기 위한 단축키일 수 있다. 이에 따라 제어부(180)는 디스플레이부(151)에 표시된 제1 긴급 통화 단축키 내지 제3 긴급 통화 단축키(477 내지 479) 중 하나의 단축키를 선택하는 사용자 입력을 획득하면, 선택된 단축키에 대응하는 긴급 연락처에 전화 연결할 수 있다. 한편, 상술한 긴급 연락처는 사용자가 미리 설정한 연락처일 수도 있고, 미리 설정하지 않은 연락처일 수도 있다. 또한, 긴급 연락처와 통화하기 위한 단축키의 수는 사용자 또는 설계자의 선택에 따라 다양하게 설정될 수 있다.
다른 실시 예를 도 87 내지 도 90을 참조하여 설명한다.
도 87은 본 발명의 일 실시 예에 따른 뱅킹 애플리케이션 아이콘을 포함하는홈 화면을 나타낸다.
도 87을 참조하면, 제어부(180)는 디스플레이부(151)의 화면에 단말기(100)의 기본 화면인 홈 화면을 표시할 수 있다. 홈 화면에는 위젯, 애플리케이션 아이콘 등 다양한 오브젝트가 표시될 수 있다. 예를 들면, 제어부(180)는 홈 화면에 뱅킹 애플리케이션 아이콘(328)을 표시할 수 있다. 여기서 뱅킹 애플리케이션 아이콘(328)은 뱅킹 애플리케이션에 대응하는 아이콘일 수 있다.
도 88은 본 발명의 일 실시 예에 따른 뱅킹 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 88을 참조하면, 제어부(180)는 디스플레이부(151)에 표시된 뱅킹 애플리케이션 아이콘(328)을 문지르는 사용자 입력을 획득할 수 있다. 뱅킹 애플리케이션 아이콘(328)을 문지르는 사용자 입력은 상술한 바와 같이, 뱅킹 애플리케이션 아이콘(328)을 중심으로 일 방향으로 회전하는 터치 입력을 의미할 수 있고, 뱅킹 애플리케이션 아이콘(328)을 일 방향으로 터치한 후 연속해서 일 방향의 반대 방향으로 터치하는 터치 입력을 의미할 수도 있다. 제어부(180)는 뱅킹 애플리케이션 아이콘(328)을 문지르는 사용자 입력을 획득하면, 뱅킹 애플리케이션의 특정 기능을 수행하거나 뱅킹 애플리케이션의 하나 이상의 기능에 대한 메뉴창을 표시하기 위해 지능형 에이전트를 실행할 수 있다. 그리고 제어부(180)는 상술한 바와 같이, 뱅킹 애플리케이션 아이콘(328)을 문지르는 사용자 입력에 대응하는 사용자를 인식할 수 있다.
도 89는 본 발명의 일 실시 예에 따른 등록된 사용자에 대응하는 뱅킹 메뉴 표시 화면을 나타낸다.
제어부(180)는 인식된 사용자가 등록된 사용자인 경우, 뱅킹 애플리케이션 아이콘(328)을 문지르는 사용자 입력에 대응하여, 인식된 사용자에 대응하는 뱅킹 화면을 표시할 수 있다. 이에 따라 도 89에 도시된 바와 같이, 제어부(180)는 인식된 사용자에 대응하는 뱅킹 화면(219)를 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 뱅킹 화면(219)에 사용자에 대응하는 뱅킹 메뉴를 표시하는 뱅킹 윈도우(247)을 표시할 수 있다. 뱅킹 윈도우(247)에는 사용자의 계좌 정보 및 계좌와 관련된 메뉴를 표시할 수 있다. 예를 들면, 뱅킹 윈도우(247)에는 사용자의 계좌 번호, 계좌 잔고가 표시될 수 있고, 조회, 이체 및 설정과 같은 메뉴가 표시될 수 있다.
도 90은 본 발명의 따른 실시 예에 따른 등록되지 않은 사용자에 대응하는 뱅킹 로그인 화면을 나타낸다.
제어부(180)는 인식된 사용자가 등록되지 않은 사용자인 경우, 뱅킹 애플리케이션 아이콘(328)을 문지르는 사용자 입력에 대응하여, 뱅킹 로그인 화면(218)을 표시할 수 있다. 이에 따라 도 90에 도시된 바와 같이, 제어부(180)는 인식되지 않은 사용자에 대응하여, 뱅킹을 하기 위한 뱅킹 로그인 화면(218)을 디스플레이부(151)에 표시할 수 있다. 예를 들면, 제어부(180)는 뱅킹 로그인 화면(218)에 뱅킹 사용자의 아이디 및 비밀번호를 입력할 수 있는 뱅킹 로그인 윈도우(426)를 표시할 수 있다.
제12 실시 예로, 본 발명에 따른 단말기(100)의 기능 수행으로, 연계된 다른 단말기에 대응하는 동작을 설명한다.
제어부(180)는 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하면, 연계된 다른 단말기에 대응하는 동작을 수행할 수 있다. 그리고 제어부(180)는 연계된 다른 단말기로부터 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 신호를 획득하고, 획득된 신호에 대응하는 동작을 수행할 수도 있다.
먼저, 단말기(100)와 연계되어 동작할 수 있는 다른 단말기의 구성에 대해 설명한다.
단말기(100)와 연계되어 동작할 수 있는 단말기는 일반적인 형태의 단말기뿐만 아니라, 다양한 형태의 단말기일 수도 있다.
예를 들면, 다른 단말기는 상술한 단말기(100)와 동일 또는 유사한 구성을 갖는 단말기일 수 있다.
다른 예를 들면, 단말기는 사용자가 주로 손에 쥐고 사용하는 차원을 넘어서, 신체에 착용할 수 있는 웨어러블 디바이스(wearable device)로 확장될 수 있다. 이러한 웨어러블 디바이스에는 스마트 워치(smart watch), 스마트 글래스(smart glass), HMD(head mounted display) 등이 있다. 이하, 웨어러블 디바이스로 확장된 단말기의 예들에 대하여 설명하기로 한다.
웨어러블 디바이스는 다른 단말기(100)와 데이터를 상호 교환(또는 연동) 가능하게 이루어질 수 있다. 근거리 통신 모듈(114)은, 단말기(100) 주변에 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(180)는 감지된 웨어러블 디바이스가 단말기(100)와 통신하도록 인증된 디바이스인 경우, 단말기(100)에서 처리되는 데이터의 적어도 일부를, 근거리 통신 모듈(114)을 통하여 웨어러블 디바이스로 전송할 수 있다. 따라서, 사용자는 단말기(100)에서 처리되는 데이터를 웨어러블 디바이스를 통하여 이용할 수 있다. 예를 들어, 단말기(100)에 전화가 수신된 경우 웨어러블 디바이스를 통해 전화 통화를 수행하거나, 단말기(100)에 메시지가 수신된 경우 웨어러블 디바이스를 통해 상기 수신된 메시지를 확인하는 것이 가능하다.
도 91은 본 발명의 다른 일 실시 예와 관련된 와치 타입의 단말기(900)의 일 예를 보인 사시도이다.
도 91을 참조하면, 와치 타입의 단말기(900)는 디스플레이부(951)를 구비하는 본체(901) 및 본체(901)에 연결되어 손목에 착용 가능하도록 구성되는 밴드(902)를 포함한다. 일반적으로 와치 타입의 단말기(900)는 단말기(100)의 특징 또는 그와 유사한 특징을 포함할 수 있다. 따라서, 와치 타입의 단말기(900)는 상술한 단말기(100)에 포함된 구성을 포함할 수 있다.
본체(901)는 외관을 형성하는 케이스를 포함한다. 도시된 바와 같이, 케이스는 각종 전자부품들을 수용하는 내부 공간을 마련하는 제1케이스(901a) 및 제2케이스(901b)를 포함할 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 하나의 케이스가 상기 내부 공간을 마련하도록 구성되어 유니 바디의 와치 타입의 단말기(900)가 구현될 수도 있다.
와치 타입의 단말기(900)는 무선 통신이 가능하도록 구성되며, 본체(901)에는 상기 무선 통신을 위한 안테나가 설치될 수 있다. 한편, 안테나는 케이스를 이용하여 그 성능을 확장시킬 수 있다. 예를 들어, 도전성 재질을 포함하는 케이스가 안테나와 전기적으로 연결되어 그라운드 영역 또는 방사 영역을 확장시키도록 구성될 수 있다.
본체(901)의 전면에는 디스플레이부(951)가 배치되어 정보를 출력할 수 있으며, 디스플레이부(951)에는 터치센서가 구비되어 터치 스크린으로 구현될 수 있다. 도시된 바와 같이, 디스플레이부(951)의 윈도우(951a)는 제1 케이스(901a)에 장착되어 제1 케이스(901a)와 함께 단말기 바디의 전면을 형성할 수 있다.
본체(901)에는 음향 출력부(952), 카메라(921), 마이크로폰(922), 사용자 입력부(923) 등이 구비될 수 있다. 디스플레이부(951)가 터치 스크린으로 구현되는 경우, 사용자 입력부(923)로 기능할 수 있으며, 이에 따라 본체(901)에 별도의 키가 구비되지 않을 수 있다.
밴드(902)는 손목에 착용되어 손목을 감싸도록 이루어지며, 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 그러한 예로서, 밴드(902)는 가죽, 고무, 실리콘, 합성수지 재질 등으로 형성될 수 있다. 또한, 밴드(902)는 본체(901)에 착탈 가능하게 구성되어, 사용자가 취향에 따라 다양한 형태의 밴드로 교체 가능하게 구성될 수 있다.
한편, 밴드(902)는 안테나의 성능을 확장시키는 데에 이용될 수 있다. 예를 들어, 밴드에는 안테나와 전기적으로 연결되어 그라운드 영역을 확장시키는 그라운드 확장부(미도시)가 내장될 수 있다.
밴드(902)에는 파스너(fastener; 902a)가 구비될 수 있다. 파스너(902a)는 버클(buckle), 스냅핏(snap-fit)이 가능한 후크(hook) 구조, 또는 벨크로(velcro; 상표명) 등에 의하여 구현될 수 있으며, 신축성이 있는 구간 또는 재질을 포함할 수 있다. 본 도면에서는, 파스너(902a)가 버클 형태로 구현된 예를 제시하고 있다.
한편, 제어부(980)는 와치 타입의 단말기(900)를 전반적으로 제어하며, 디스플레이부(951), 음향 출력부(952), 햅틱 모듈(954) 중 하나 이상을 통해 이벤트 알람 동작을 수행할 수 있다.
단말기(100)는 상술한 웨어러블 디바이스와 연동하여, 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 동작을 수행할 수 있다.
예를 들면, 제어부(180)는 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하면, 연계된 와치 타입의 단말기(900)에 대응하는 동작을 수행할 수 있다. 그리고 제어부(180)는 연계된 와치 타입의 단말기(900)로부터 획득된 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 신호를 수신하고, 수신된 신호에 대응하는 동작을 수행할 수 있다.
이에 대해 도 92 내지 도 96을 참조하여 설명한다.
도 92는 본 발명의 일 실시 예에 따른 심플 메뉴를 표시하는 홈 화면에 대한 예시도이다.
제어부(180)는 디스플레이부(151)에 표시된 화면의 일부 영역을 문지르는 터치 입력에 대응하여, 디스플레이부(151)에 단말기의 기본 화면인 홈 화면을 표시할 수 있고, 홈 화면에 심플 메뉴를 표시할 수 있다. 제어부(180)는 심플 메뉴에 지능형 에이전트 아이콘(200), 하나 이상의 추천 기능에 대한 애플리케이션 아이콘 및 하나 이상의 추천 기능에 대한 메뉴창 중 하나 이상을 표시할 수 있다. 제어부(180)는 사용자의 단말기(100)의 사용 패턴 및 단말기(100)의 상태에 대응하는 추천 기능에 대한 아이콘을 표시할 수 있다. 여기서 사용자의 단말기(100)의 사용 패턴은 사용자가 이용한 응용 애플리케이션의 이용 빈도, 이용 기능, 이용 시간 등을 포함할 수 있다. 그리고 단말기(100)의 상태는 단말기(100)의 디스플레이부(151)에 표시된 화면, 단말기(100)의 입력 상태, 단말기(100)가 획득한 위치 정보, 단말기(100)의 통신 상태 등을 포함할 수 있다. 예를 들면 도 92에 도시된 바와 같이, 제어부(180)는 심플 메뉴에 추천 기능에 대한 애플리케이션 아이콘으로, 메시지 애플리케이션 아이콘(301), 음악 애플리케이션 아이콘(303), 스마트 와치 아이콘(302), 웹 브라우저 아이콘(305)을 표시할 수 있다. 여기서 스마트 와치 아이콘(302)은 연계된 와치 타입의 단말기(900)에 대응하는 아이콘일 수 있다. 그리고 제어부(180)는 스마트 와치 아이콘(302)을 선택하는 사용자 입력을 획득하면, 연계된 와치 타입의 단말기(900)에 대응하는 동작을 수행할 수 있다.
일 실시 예를 도 93 내지 도 94를 참조하여 설명한다.
도 93은 본 발명의 일 실시 예에 따른 와치 타입의 단말기의 화면을 문지르는 사용자 입력에 대한 예시도이다.
도 94는 본 발명의 일 실시 예에 따른 일정 입력 화면을 나타내는 예시도이다.
도 93을 참조하면, 와치 타입의 단말기(900)의 제어부(980)는 디스플레이부(951)에 달력 화면을 표시할 수 있다. 와치 타입의 단말기(900)의 제어부(980)는 디스플레이부(951)에 표시된 달력 화면에서 특정 일자인 3월 13일을 문지르는 사용자 입력을 획득할 수 있다. 와치 타입의 단말기(900)의 제어부(980)는 달력 화면에서 3월 13일을 문지르는 사용자 입력에 대한 정보를 포함하는 제1 신호를 단말기(100)에 전송할 수 있다. 단말기(100)의 제어부(180)는 통신부(110)를 통해 제1 신호를 획득할 수 있다. 그리고 단말기(100)의 제어부(180)는 획득된 제1 신호에 대응하는 동작으로, 디스플레이부(151)에 일정 입력 화면(214)을 표시할 수 있다. 여기서 일정 입력 화면(214)는 일정 애플리케이션에 새로운 일정을 추가하기 위한 화면을 의미할 수 있다. 이에 따라 도 94에 도시된 바와 같이, 제어부(180)는 획득된 제1 신호에 대응하여, 3월 13일에 대한 새로운 일정을 입력할 수 있는 일정 입력 화면(214)을 디스플레이부(151)에 표시할 수 있다.
다른 실시 예를 도 95 내지 도 96을 참조하여 설명한다.
도 95는 본 발명의 다른 실시 예에 따른 와치 타입의 단말기의 화면을 문지르는 사용자 입력에 대한 예시도이다.
도 96은 본 발명의 일 실시 예에 따른 메시지 입력 화면을 나타내는 예시도이다.
도 95를 참조하면, 와치 타입의 단말기(900)의 제어부(980)는 디스플레이부(951)에 메시지 수신 화면을 표시할 수 있다. 와치 타입의 단말기(900)의 제어부(980)는 디스플레이부(951)에 표시된 메시지 수신 화면에서 수신된 메시지를 문지르는 사용자 입력을 획득할 수 있다. 와치 타입의 단말기(900)의 제어부(980)는 메시지 수신 화면에서 수신된 메시지를 문지르는 사용자 입력에 대한 정보를 포함하는 제2 신호를 단말기(100)에 전송할 수 있다. 단말기(100)의 제어부(180)는 통신부(110)를 통해 제2 신호를 획득할 수 있다. 그리고 단말기(100)의 제어부(180)는 획득된 제2 신호에 대응하는 동작으로, 디스플레이부(151)에 메시지 입력 화면(224)을 표시할 수 있다. 여기서 메시지 입력 화면(224)은 메시지 애플리케이션에서, 수신된 메시지에 대한 응답 메시지를 입력하기 위한 화면을 의미할 수 있다. 이에 따라 도 96에 도시된 바와 같이, 제어부(180)는 획득된 제2 신호에 대응하여, 수신된 메시지에 대한 응답 메시지를 입력할 수 있는 메시지 입력 화면(224)을 디스플레이부(151)에 표시할 수 있다.
제13 실시 예로, 본 발명에 따른 단말기(100)의 기능 수행으로, 선택된 영역에 대응하는 정보 표시 동작에 대해 설명한다.
제어부(180)는 디스플레이부(151)의 화면에 다양한 정보를 표시할 수 있다. 제어부(180)는 디스플레이부(151)의 화면을 복수의 영역으로 분할하고, 분할된 복수의 영역 각각에 서로 다른 정보를 표시할 수도 있다. 그리고 제어부(180)는 복수의 영역 중 하나의 영역에 대해 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하면, 사용자 입력에 대응하는 영역을 활성화하여 표시하고, 나머지 영역을 비활성화하여 표시할 수 있다. 제어부(180)는 사용자 입력에 대응하는 영역에 포함된 정보와 관련된 정보, 메뉴 등을 디스플레이부(151)에 표시할 수 있다.
이에 대해 도 97 내지 도 98을 참조하여 설명한다.
도 97은 본 발명의 일 실시 예에 따른 웹 브라우저 화면에 대한 사용자 입력을 나타내는 예시도이다.
도 98은 본 발명의 일 실시 예에 따른 선택된 영역에 대응하는 기능에 대한 메뉴창 표시를 나타내는 예시도이다.
도 97을 참조하면, 제어부(180)는 웹 브라우저 애플리케이션 실행에 따른 웹 브라우저 화면(223)을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 웹 브라우저 화면(223)의 복수의 영역 각각에 서로 다른 뉴스를 표시할 수 있다. 그리고 제어부(180)는 웹 브라우저 화면(223)의 복수의 영역 중 하나의 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다. 제어부(180)는 웹 브라우저 화면(223)의 특정 영역을 문지르는 사용자 입력을 획득하면, 특정 영역과 관련된 기능에 대한 메뉴창을 디스플레이부(151)에 표시하기 위해 지능형 에이전트를 실행할 수 있다. 또한, 제어부(180)는 특정 영역과 관련된 기능에 대한 메뉴창을 디스플레이부(151)에 표시할 수 있다. 제어부(180)는 선택된 특정 영역은 활성화하여 표시하고, 나머지 영역은 비활성화하여 표시할 수 있다. 예를 들면 도 98에 도시된 바와 같이, 제어부(180)는 디스플레이부(151)에 표시된 웹 브라우저 화면(223)에서 선택된 영역은 활성화하여 표시하고, 나머지 영역은 비활성화하여 표시할 수 있다. 그리고 제어부(180)는 선택된 특정 영역과 관련된 기능에 대한 메뉴창을 디스플레이부(151)에 표시할 수 있다. 이에 따라 도 98에 도시된 바와 같이, 제어부(180)는 지능형 에이전트 아이콘(200) 및 텍스트와 관련된 기능에 대한 메뉴창으로, URL 저장(481), URL 전송(482), 텍스트 복사(483), SNS 전송(484)를 웹 브라우저 화면(223)에 표시할 수 있다. 여기서 URL 저장(481)은 선택된 영역에 대응하는 텍스트의 URL(Uniform Resource Locator)을 저장하기 위한 메뉴창일 수 있고, URL 전송(482)은 선택된 영역에 대응하는 텍스트의 URL을 전송하기 위한 메뉴창일 수 있고, 텍스트 복사(483)은 선택된 영역에 대응하는 텍스트를 복사하기 위한 메뉴창일 수 있고, SNS 전송(484)는 선택된 영역에 대응하는 텍스트를 SNS(Social Networking Service)에 전송하기 위한 메뉴창일 수 있다.
제14 실시 예로, 본 발명에 따른 단말기(100)의 기능 수행으로, 디스플레이부(151)가 턴 오프 된 경우에서의 동작을 설명한다.
단말기(100)는 디스플레이부(151)가 턴 오프된 상태로 동작할 수 있다. 예를 들면, 단말기(100)는 디스플레이부(151)가 턴 오프된 상태에서 정상 동작하는 정상 모드로 동작할 수 있고, 상술한 슬립 모드로 동작할 수도 있다. 이에 따라 단말기(100)의 제어부(180)는 디스플레이부(151)가 턴 오프된 상태에서, 하나 이상의 이벤트를 처리할 수 있고, 하나 이상의 작업을 수행할 수도 있다.
단말기(100)의 제어부(180)는 디스플레이부(151)가 턴 오프된 상태에서, 디스플레이부(151)의 화면의 일부 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다. 이에 따라 제어부(180)는 디스플레이부(151)를 턴 온하고, 디스플레이부(151)가 턴 오프된 상태에서 발생한 하나 이상의 이벤트와 관련된 화면을 디스플레이부(151)에 표시할 수 있다. 또한, 제어부(180)는 하나 이상의 이벤트와 관련된 화면에 지능형 에이전트에 대한 심플 메뉴를 표시할 수도 있다.
일 실시 예를 도 99를 참조하여 설명한다.
도 99는 본 발명의 다른 실시 예에 따른 메시지 입력 화면에 대한 예시도이다.
제어부(180)는 디스플레이부(151)가 턴 오프된 상태에서, 디스플레이부(151)의 화면의 일부 영역을 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다. 이에 따라 도 99에 도시된 바와 같이, 제어부(180)는 디스플레이부(151)에, 디스플레이부(151)가 턴 오프된 상태에서 수신된 메시지에 대한 응답 메시지를 작성할 수 있는 메시지 입력 화면(225)을 디스플레이부(151)의 화면에 표시할 수 있다. 그리고 제어부(180)는 지능형 에이전트 아이콘(200) 및 하나 이상의 애플리케이션에 대한 아이콘을 포함하는 심플 메뉴를 디스플레이부(151)에 표시할 수도 있다. 예를 들면 제어부(180)는 디스플레이부(151)에 표시되는 메시지 입력 화면(225)에 지능형 에이전트 아이콘(200), 사용자에 대응하는 추천 애플리케이션 아이콘으로 전화 애플리케이션 아이콘(315), 지도 애플리케이션 아이콘(317), 게임 애플리케이션 아이콘(319), 웹 브라우저 아이콘(321)을 표시할 수 있다. 여기서 전화 애플리케이션 아이콘(315)은 전화 애플리케이션에 대응하는 아이콘일 수 있고, 지도 애플리케이션 아이콘(317)는 지도 애플리케이션에 대응하는 아이콘일 수 있다. 그리고 게임 애플리케이션 아이콘(319)는 게임 애플리케이션에 대응하는 아이콘일 수 있고, 웹 브라우저 아이콘(321)은 웹 브라우저 애플리케이션에 대응하는 아이콘일 수 있다.
제15 실시 예로, 본 발명에 따른 단말기(100)의 하나 이상의 키(Key)에 대해 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하고, 사용자 입력이 입력된 키(Key)에 대응하는 기능을 수행할 수 있다. 예를 들면, 제어부(180)는 잠금 상태 또는 슬립 모드에서, 단말기(100)의 하나 이상의 키(Key)에 대해 지능형 에이전트를 실행하기 위한 사용자 입력을 획득할 수 있고, 사용자 입력에 대응하는 사용자의 인식에 따라 서로 다른 동작을 수행할 수 있다.
일 실시 예로, 제어부(180)는 후면키(124)에 포함된 하단키(124c)를 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다. 그리고 제어부(180)는 사용자 입력에 대응하는 사용자를 인식할 수 있다. 제어부(180)는 인식된 사용자가 등록된 사용자이면, 단말기(100)의 카메라(121)와 관련된 모든 기능을 사용 가능한 상태로 동작할 수 있고, 인식된 사용자가 등록되지 않은 사용자이면, 단말기(100)의 카메라(121)와 관련된 일부 기능만을 사용 가능한 상태로 동작할 수 있다.
다른 실시 예로, 제어부(180)는 후면키(124)에 포함된 상단키(124a)를 문지르는 터치 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다. 그리고 제어부(180)는 사용자 입력에 대응하는 사용자를 인식할 수 있다. 제어부(180)는 인식된 사용자가 등록된 사용자이면, 메모 애플리케이션과 관련된 모든 기능을 사용 가능한 상태로 동작할 수 있고, 인식된 사용자가 등록되지 않은 사용자이면, 메모 애플리케이션과 관련된 일부 기능만을 사용 가능한 상태로 동작할 수 있다.
상술한 단말기(100)의 키(Key)에 대해 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 기능 수행에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 선택에 따라 단말기(100)에 구비된 다양한 키에 대해 지능형 에이전트를 실행하기 위한 사용자 입력이 입력될 수 있고, 사용자 입력에 대응하는 다양한 기능이 수행될 수 있다.
한편, 복수의 단말기(100) 각각에 대해 동시 또는 일정 시간 내에 지능형 에이전트를 실행하기 위한 사용자 입력이 획득되면, 지능형 에이전트 실행에 따라 복수의 단말기(100)에 대응하는 기능을 수행할 수 있다.
도 100은 본 발명의 일 실시 예에 따른 복수의 단말기의 동작 방법을 나타내는 흐름도이다.
도 100을 참조하면, 제1 단말기(100a)는 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하고(S301), 제2 단말기(100b)는 지능형 에이전트를 실행하기 위한 사용자 입력을 획득한다(S302).
단말기(100)에 대해 상술한 바와 같이, 제1 단말기(100a) 및 제2 단말기(100b)는 사용자 입력부(123), 터치 센서(144), 카메라(121), 마이크(122) 중 하나 이상을 통해 지능형 에이전트를 실행하기 위한 사용자 입력을 획득할 수 있다.
그리고 제1 단말기(100a) 및 제2 단말기(100b) 각각은 동시 또는 일정 시간 내에 지능형 에이전트를 실행하기 위한 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a) 및 제2 단말기(100b) 각각이 동시 또는 일정 시간 내에 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하지 못한 경우, 후술할 지능형 에이전트 실행에 따라 복수의 단말기(100)에 대응하는 기능을 수행하지 못할 수도 있다.
제1 단말기(100a)는 지능형 에이전트 실행에 따른 복수의 단말기(100)에 대응하는 기능을 수행하기 위한, 제1 단말기(100a)에 대한 연동 정보를 제2 단말기(100b)에 전송하고(S311), 제2 단말기(100b)는 지능형 에이전트 실행에 따른 복수의 단말기(100)에 대응하는 기능을 수행하기 위한, 제2 단말기(100b)에 대한 연동 정보를 제1 단말기(100a)에 전송한다(S312).
여기서 연동 정보는 제1 단말기(100a), 제2 단말기(100b) 각각의 기기 정보, 단말기의 사용자 정보, 단말기를 식별하기 위한 고유 정보 중 하나 이상을 포함할 수 있다. 예를 들어, 기기 정보는 단말기(100)의 성능에 대응하는 정보가 포함될 수 있다. 단말기의 사용자 정보는 단말기(100)에 등록된 사용자 정보 및 단말기(100)가 인식한 사용자 정보가 포함될 수 있다. 단말기를 식별하기 위한 고유 정보는 지능형 에이전트를 실행하기 위한 사용자 입력의 입력 형태에 대한 정보, 각각의 단말기(100)가 획득한 음성에 대한 정보, 각각의 단말기(100)의 GPS 정보, WiFi 정보, 자기장 정보, 거리 정보 및 위치 정보 중 하나 이상을 포함할 수 있다. 여기서 단말기(100)의 GPS 정보는 단말기(100)가 획득한 GPS 신호에 대응하는 단말기의 위치 정보일 수 있다. 단말기(100)의 WiFi정보는 단말기(100)와 무선신호를 송수신하는 무선 AP의 종류 및 무선 신호의 강도 정보일 수 있다. 단말기(100)의 자기장 정보는 단말기(100)가 감지한 자기장(magnetic field)에 대한 정보일 수 있다. 단말기(100)의 거리 정보는 다른 단말기(100)와의 거리에 대한 정보일 수 있고, 단말기(100)의 위치 정보는 단말기의 위치에 대한 정보일 수 있다.
상술한 다양한 정보 이외에도, 단말기(100)는 다른 단말기에 연동과 관련된 다양한 정보를 연동 정보로 전송할 수 있다.
제1 단말기(100a)는 제2 단말기(100b)로부터 전송된 연동 정보를 기초로, 제2 단말기(100b)와의 연동 허용 여부를 판단하고(S321), 제2 단말기(100b)는 제1 단말기(100a)로부터 전송된 연동 정보를 기초로, 제1 단말기(100a)와의 연동 허용 여부를 판단한다(S322).
제1 단말기(100a) 및 제2 단말기(100b) 각각의 제어부(180)는 수신된 연동 정보를 기초로, 지능형 에이전트 실행에 따라 복수의 단말기(100)에 대응하는 기능을 수행하기 위한 연동 여부를 판단할 수 있다.
일 실시 예로, 제1 단말기(100a)는 수신된 연동 정보를 기초로, 제2 단말기(100b)와의 거리가 일정 거리 이내인지 판단하고, 일정 거리 이내이면 제2 단말기(100b)와 연동을 허용할 수 있다. 제2 단말기(100b)는 수신된 연동 정보를 기초로, 제1 단말기(100a)와의 거리가 일정 거리 이내인지 판단하고, 일정 거리 이내이면 제1 단말기(100a)와의 연동을 허용할 수 있다. 한편, 제1 단말기(100a) 및 제2 단말기(100b) 각각은 다른 단말기와의 거리를 측정하기 위해 다양한 방식을 이용할 수 있다. 일 실시 예로, 제1 단말기(100a) 및 제2 단말기(100b)는 BLE(Bluetooth Low Energy) 또는 초음파를 이용하여 다른 단말기와의 거리를 측정할 수 있다.
다른 실시 예로, 제1 단말기(100a)는 수신된 연동 정보에 포함된 연결 코드를 기초로, 제2 단말기(100b)가 전송한 연결 코드가 제1 단말기(100a)의 연결 코드와 동일한지 판단하고, 연결 코드가 동일하면 제2 단말기(100b)와 연동을 허용할 수 있다. 제2 단말기(100b)는 수신된 연동 정보에 포함된 연결 코드를 기초로, 제1 단말기(100a)가 전송한 연결 코드가 제2 단말기(100b)의 연결 코드와 동일한지 판단하고, 연결 코드가 동일하면 제1 단말기(100a)와의 연동을 허용할 수 있다. 여기서 연결 코드는 시간, 장소 등에 대한 정보를 포함될 수 있고, 연동과 관련된 고유 정보가 포함될 수도 있다. 또한, 연결 코드는 암호화되어 연동 정보에 포함될 수 있다. 예를 들면 연결 코드는 비가역 함수로 변환되어 연동 정보에 포함될 수도 있다.
또 다른 실시 예로, 제1 단말기(100a)는 수신된 연동 정보를 기초로, 제2 단말기(100b)에 대해 입력된 지능형 에이전트를 실행하기 위한 사용자 입력의 입력 방향과 제1 단말기(100a)에 대해 입력된 지능형 에이전트를 실행하기 위한 사용자 입력의 입력 방향이 동일한지 판단하고, 입력 방향이 동일하면 제2 단말기(100b)와 연동을 허용할 수 있다. 제2 단말기(100b)는 수신된 연동 정보를 기초로, 제1 단말기(100a)에 대해 입력된 지능형 에이전트를 실행하기 위한 사용자 입력의 입력 방향과 제2 단말기(100b)에 대해 입력된 지능형 에이전트를 실행하기 위한 사용자 입력의 입력 방향이 동일한지 판단하고, 입력 방향이 동일하면 제1 단말기(100a)와 연동을 허용할 수 있다.
이에 대해 도 101 및 도 102를 참조하여 설명한다.
도 101은 본 발명의 일 실시 예에 따른 복수의 단말기에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 101을 참조하면, 제1 단말기(100a)는 수신된 연동 정보를 기초로, 제2 단말기(100b)에 대해 입력된 지능형 에이전트를 실행하기 위한 사용자 입력의 입력 방향이 좌우 방향으로 문지르는 사용자 입력이고, 제1 단말기(100a)에 대해 입력된 지능형 에이전트를 실행하기 위한 사용자 입력의 입력 방향이 좌우 방향으로 문지르는 사용자 입력이면, 제2 단말기(100b)와의 연동을 허용할 수 있다. 그리고 제2 단말기(100b)도 동일한 과정을 통해 제1 단말기(100a)와의 연동을 허용할 수 있다.
도 102는 본 발명의 다른 실시 예에 따른 복수의 단말기에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대한 예시도이다.
도 102를 참조하면, 제1 단말기(100a)는 수신된 연동 정보를 기초로, 제2 단말기(100b)에 대해 입력된 지능형 에이전트를 실행하기 위한 사용자 입력의 입력 방향이 상하 방향으로 문지르는 사용자 입력이고, 제1 단말기(100a)에 대해 입력된 지능형 에이전트를 실행하기 위한 사용자 입력의 입력 방향이 좌우 방향으로 문지르는 사용자 입력이면, 제2 단말기(100b)와의 연동을 허용하지 않을 수 있다. 그리고 제2 단말기(100b)도 동일한 과정을 통해 제1 단말기(100a)와의 연동을 허용하지 않을 수 있다.
또 다른 실시 예로, 제1 단말기(100a)는 수신된 연동 정보를 기초로, 제2 단말기(100b)가 획득한 음성의 파형과 제1 단말기(100a)가 획득한 음성 파형을 비교하고, 제2 단말기(100b)가 획득한 음성 파형과 제1 단말기(100a)가 획득한 음성 파형이 유사하면 제2 단말기(100b)와의 연동을 허용할 수 있다. 제2 단말기(100b)는 수신된 연동 정보를 기초로, 제1 단말기(100a)가 획득한 음성의 파형과 제2 단말기(100b)가 획득한 음성 파형을 비교하고, 제1 단말기(100a)가 획득한 음성 파형과 제2 단말기(100b)가 획득한 음성 파형이 유사하면 제1 단말기(100a)와의 연동을 허용할 수 있다.
또 다른 실시 예로, 제1 단말기(100a)는 수신된 연동 정보를 기초로, 제2 단말기(100b)가 획득한 WiFi 신호 파형과 제1 단말기(100a)가 획득한 WiFi 신호 파형을 비교하고, 제2 단말기(100b)가 획득한 WiFi 신호 파형과 제1 단말기(100a)가 획득한 WiFi 신호 파형이 유사하면 제2 단말기(100b)와의 연동을 허용할 수 있다. 제2 단말기(100b)는 수신된 연동 정보를 기초로, 제1 단말기(100a)가 획득한 WiFi 신호 파형과 제2 단말기(100b)가 획득한 WiFi 신호 파형을 비교하고, 제1 단말기(100a)가 획득한 WiFi 신호 파형과 제2 단말기(100b)가 획득한 WiFi 신호 파형이 유사하면 제1 단말기(100a)와의 연동을 허용할 수 있다.
또 다른 실시 예로, 제1 단말기(100a)는 수신된 연동 정보를 기초로, 제2 단말기(100b)가 감지한 자기장의 크기와 제1 단말기(100a)가 감지한 자기장의 크기를 비교하고, 제2 단말기(100b)가 감지한 자기장의 크기와 제1 단말기(100a)가 감지한 자기장의 크기가 유사하면 제2 단말기(100b)와의 연동을 허용할 수 있다. 제2 단말기(100b)는 수신된 연동 정보를 기초로, 제1 단말기(100a)가 감지한 자기장의 크기와 제2 단말기(100b)가 감지한 자기장의 크기를 비교하고, 제1 단말기(100a)가 감지한 자기장의 크기와 제2 단말기(100b)가 감지한 자기장의 크기가 유사하면 제1 단말기(100a)와의 연동을 허용할 수 있다.
또 다른 실시 예로, 제1 단말기(100a)는 수신된 연동 정보에 포함된 제2 단말기(100b)의 전화 번호가 제1 단말기(100a)의 주소록에 포함되어 있는지 판단하고, 제2 단말기(100b)의 전화 번호가 제1 단말기(100a)의 주소록에 포함되어 있으면 제2 단말기(100b)와의 연동을 허용할 수 있다. 제2 단말기(100b)는 수신된 연동 정보에 포함된 제1 단말기(100a)의 전화 번호가 제2 단말기(100b)의 주소록에 포함되어 있는지 판단하고, 제1 단말기(100a)의 전화 번호가 제2 단말기(100b)의 주소록에 포함되어 있으면 제1 단말기(100a)와의 연동을 허용할 수 있다.
또 다른 실시 예로, 제1 단말기(100a)는 수신된 연동 정보를 기초로, 제2 단말기(100b)와의 연동 여부에 대한 사용자 입력을 획득할 수 있는 팝업창을 표시하고, 연동 여부에 대한 사용자 입력을 획득할 수 있다. 그리고 제1 단말기(100a)는 제2 단말기(100b)와의 연동을 허용하는 사용자 입력을 획득하면, 제2 단말기(100b)와의 연동을 허용할 수 있다. 제2 단말기(100b)는 수신된 연동 정보를 기초로, 제1 단말기(100a)와의 연동 여부에 대한 사용자 입력을 획득할 수 있는 팝업창을 표시하고, 연동 여부에 대한 사용자 입력을 획득할 수 있다. 그리고 제2 단말기(100b)는 제1 단말기(100a)와의 연동을 허용하는 사용자 입력을 획득하면, 제1 단말기(100a)와의 연동을 허용할 수 있다.
상술한 연동 허용 여부에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 선택에 따라 다양한 방식을 통해 다른 단말기와의 연동 허용 여부를 판단할 수 있다.
한편, 복수의 단말기(100)는 연동된 경우, 연동된 복수의 단말기(100) 각각의 사용자 정보를 기초로, 복수의 단말기(100)에 대응하는 복수의 사용자에 대한 공통되는 집단이 있는지 판단할 수 있고, 공통되는 집단이 있는 경우, 해당 집단에 대응하는 명칭을 이용할 수 있다.
일 실시 예로, 제1 단말기(100a)의 사용자 및 제2 단말기(100b)의 사용자가 A가족의 일원인 경우, 제1 단말기(100a) 및 제2 단말기(100b)는 공통되는 집단을 A가족으로 판단할 수 있고, A 가족에 대응하는 명칭을 이용할 수 있다. 예를 들면, 제1 단말기(100a) 및 제2 단말기(100b) 각각은 사용자에 대한 문자 또는 음성 메시지에 A 가족이라는 명칭을 출력할 수 있다.
다른 실시 예로, 제1 단말기(100a)의 사용자 및 제2 단말기(100b)의 사용자가 B 팀의 일원인 경우, 제1 단말기(100a) 및 제2 단말기(100b)는 공통되는 집단을 B팀으로 판단할 수 있고, B팀에 대응하는 명칭을 이용할 수 있다. 예를 들면, 제1 단말기(100a) 및 제2 단말기(100b) 각각은 사용자에 대한 문자 또는 음성 메시지에 B팀이라는 명칭을 출력할 수 있다.
상술한 공통되는 집단에 대한 명칭에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 선택에 따라 다양한 명칭이 적용될 수 있다.
다시 도 100을 참조한다.
도 100을 참조하면, 제1 단말기(100a)는 판단된 연동 허용 여부 및 획득된 사용자 입력에 대응하는 제1 동작을 수행하고(S331), 제2 단말기(100b)는 판단된 연동 허용 여부 및 획득된 사용자 입력에 대응하는 제2 동작을 수행한다(S332).
여기서 제1 동작과 제2 동작은 동일한 동작일 수도 있고, 서로 다른 동작일 수도 있다. 그리고 제1 동작과 제2 동작은 서로 연동된 동작일 수도 있다. 이에 대해서는 구체적인 실시 예에서 후술하기로 한다.
제1 단말기(100a)는 수행된 제1 동작에 대한 제1 동작 정보를 제2 단말기(100b)에 전송하고(S341), 제2 단말기(100b)는 수행된 제2 동작에 대한 제2 동작 정보를 제1 단말기(100a)에 전송한다(S342). 제1 단말기(100a)는 전송된 제2 동작 정보를 기초로 제3 동작을 수행하고(S351), 제2 단말기(100b)는 전송된 제1 동작 정보를 기초로 제4 동작을 수행한다(S352).
제1 단말기(100a) 및 제2 단말기(100b) 각각은 수행된 동작에 대한 정보를 다른 단말기에 전송할 수 있고, 전송된 정보를 기초로 다른 동작을 각각 수행할 수 있다. 여기서 제3 동작과 제4 동작은 동일한 동작일 수도 있고, 서로 다른 동작일 수도 있다. 그리고 제3 동작과 제4 동작은 서로 연동된 동작일 수도 있다. 이에 대해서는 구체적인 실시 예에서 후술하기로 한다.
복수의 단말기(100) 각각에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 동작에 대한 구체적인 실시 예를 이하 설명한다.
일 실시 예를 도 103을 참조하여 설명한다.
도 103은 본 발명의 일 실시 예에 따른 파일 전송을 위한 사용자 입력에 대한 예시도이다.
도 103을 참조하면, 제1 단말기(100a)의 제어부(180)는 디스플레이부(151)에 복수의 사진(461 내지 467)을 표시하는 사진 표시 화면(226)을 표시할 수 있다. 그리고 제2 단말기(100b)의 제어부(180)는 디스플레이부(151)에 복수의 사진 폴더(441 내지 448)을 표시하는 사진 폴더 표시 화면(212)를 표시할 수 있다. 제1 단말기(100a)의 제어부(180)는 사진 표시 화면(226)에서 제3 사진(463)을 문지르는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)의 제어부(180)는 사진 폴더 표시 화면(212)에서 H 폴더(448)을 문지르는 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a)는 제3 사진(463)에 대한 데이터를 제2 단말기(100b)에 전송할 수 있고, 제2 단말기(100b)는 전송된 제3 사진(463)에 대한 데이터를 H 폴더(448)에 저장할 수 있다.
다른 실시 예를 도 104를 참조하여 설명한다.
도 104는 본 발명의 일 실시 예에 따른 애플리케이션 설치를 위한 사용자 입력에 대한 예시도이다.
도 104를 참조하면, 제1 단말기(100a)의 제어부(180)는 디스플레이부(151)의 화면에 제1 단말기(100a)의 기본 화면인 홈 화면을 표시할 수 있고, 홈 화면에는 상술한 바와 같이, 위젯, 애플리케이션 아이콘 등 다양한 오브젝트가 표시될 수 있다. 제1 단말기(100a)의 제어부(180)는 홈 화면에 표시된 열차 애플리케이션 아이콘(309)을 문지르는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)의 제어부(180)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a)는 열차 애플리케이션에 대한 정보를 제2 단말기(100b)에 전송할 수 있고, 제2 단말기(100b)는 전송된 열차 애플리케이션에 대한 정보를 기초로, 제2 단말기(100b)에 열차 애플리케이션을 설치할 수 있다.
또 다른 실시 예를 도 105를 참조하여 설명한다.
도 105는 본 발명의 일 실시 예에 따른 일정 전송을 위한 사용자 입력에 대한 예시도이다.
도 105를 참조하면, 제1 단말기(100a)의 제어부(180)는 디스플레이부(151)에 현재 시간 이후의 일정을 표시하는 일정 정보 표시 화면(217)을 디스플레이부(151)에 표시할 수 있다. 제1 단말기(100a)의 제어부(180)는 일정 정보 표시 화면(217)에서 오후3시 일정에 대응하는 영역을 문지르는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)의 제어부(180)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a)는 오후 3시 일정에 대한 정보를 제2 단말기(100b)에 전송할 수 있고, 제2 단말기(100b)는 전송된 오후 3시 일정에 대한 정보를 일정 애플리케이션에 추가할 수 있다. 한편, 상술한 일정 정보 이외에도 메모 정보와 같은 다양한 정보가 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하여 전송될 수도 있다.
또 다른 실시 예를 도 106을 참조하여 설명한다.
도 106은 본 발명의 일 실시 예에 따른 동기화를 위한 사용자 입력에 대한 예시도이다.
도 106을 참조하면, 제1 단말기(100a)의 제어부(180)는 디스플레이부(151)의 화면에 제1 단말기(100a)의 기본 화면인 홈 화면을 표시할 수 있고, 제2 단말기(100b)의 제어부(180)는 디스플레이부(151)의 화면에 제2 단말기(100b)의 기본 화면인 홈 화면을 표시할 수 있다. 제1 단말기(100a)의 제어부(180)는 홈 화면에 표시된 사진 애플리케이션 아이콘(325)을 문지르는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)의 제어부(180)는 홈 화면에 표시된 사진 애플리케이션 아이콘(325)을 문지르는 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a)는 제1 단말기(100a)의 사진 애플리케이션에 포함된 하나 이상의 사진에 대한 데이터를 제2 단말기(100b)에 전송할 수 있고, 제2 단말기(100b)는 제2 단말기(100b)의 사진 애플리케이션에 포함된 하나 이상의 사진에 대한 데이터를 제1 단말기(100a)에 전송할 수 있다. 이에 따라 제1 단말기(100a) 및 제2 단말기(100b) 각각은 제1 단말기(100a) 및 제2 단말기(100b)각각의 사진 애플리케이션에 포함된 하나 이상의 사진 파일을 동기화할 수 있다.
또 다른 실시 예로, 제1 단말기(100a)의 제어부(180)는 디스플레이부(151)에 복수의 사진 폴더를 표시할 수 있고, 제2 단말기(100b)의 제어부(180)는 디스플레이부(151)에 복수의 사진 폴더를 표시할 수 있다. 제1 단말기(100a)의 제어부(180)는 표시된 복수의 사진 폴더 중 하나의 폴더를 문지르는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)의 제어부(180)는 표시된 복수의 사진 폴더 중 하나의 폴더를 문지르는 사용자 입력을 획득할 수 있다. 제1 단말기(100a)는 사용자 입력에 대응하는 폴더인 제1 폴더에 포함된 하나 이상의 사진을 미리보기 위한 프리뷰 데이터를 제2 단말기(100b)에 전송할 수 있고, 제2 단말기(100b)는 사용자 입력에 대응하는 폴더인 제2 폴더에 포함된 하나 이상의 사진을 미리보기 위한 프리뷰 데이터를 제1 단말기(100a)에 전송할 수 있다. 그리고 제1 단말기(100a) 및 제2 단말기(100b) 각각은 제1 폴더 및 제2 폴더에 포함된 하나 이상의 사진을 미리보기 위한 미리보기 화면을 디스플레이부(151)에 각각 표시할 수 있다.
한편, 복수의 단말기(100) 각각은 지능형 에이전트를 실행하기 위한 사용자 입력 및 사용자 입력에 대응하는 동작의 방향성에 대한 사용자 입력을 획득할 수 있고, 획득된 사용자 입력에 대응하는 방향성으로 획득된 사용자 입력에 대응하는 동작을 수행할 수 있다. 여기서 동작의 방향성은 데이터 또는 정보를 전송하고, 수신하는 방향을 의미할 수 있다.
예를 들면, 제1 단말기(100a)에서 제2 단말기(100b)로 특정 파일을 전송하는 경우, 제1 단말기(100a)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 상단 방향으로 스와이프하는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 하단 방향으로 스와이프하는 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a)는 제2 단말기(100b)에 일부 영역에 대응하는 데이터 또는 정보를 전송할 수 있다.
이에 대해 도 107을 참조하여 자세히 설명한다.
도 107은 본 발명의 일 실시 예에 따른 배경 화면 이미지 전송에 대한 예시도이다.
도 107을 참조하면, 제1 단말기(100a)는 디스플레이부(151)에 배경 이미지를 포함하는 홈 화면(228)을 표시할 수 있고, 제2 단말기(100b)는 디스플레이부(151)에 홈 화면(229)를 표시할 수 있다. 제1 단말기(100a)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 상단 방향으로 스와이프하는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 하단 방향으로 스와이프하는 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a)는 배경 이미지 파일을 제2 단말기(100b)에 전송할 수 있고, 제2 단말기(100b)는 전송된 배경 이미지 파일을 홈 화면(229)에 표시할 수 있다.
다른 예를 들면, 제1 단말기(100a)에서 제2 단말기(100b)로 특정 파일을 전송하는 경우, 제1 단말기(100a)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 상단 방향으로 스와이프하는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a)는 제2 단말기(100b)에 일부 영역에 대응하는 데이터 또는 정보를 전송할 수 있다.
이에 대해 도 108을 참조하여 자세히 설명한다.
도 108은 본 발명의 다른 실시 예에 따른 배경 화면 이미지 전송에 대한 예시도이다.
도 108을 참조하면, 제1 단말기(100a)는 디스플레이부(151)에 배경 이미지를 포함하는 홈 화면(228)을 표시할 수 있고, 제2 단말기(100b)는 디스플레이부(151)에 홈 화면(229)를 표시할 수 있다. 제1 단말기(100a)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 상단 방향으로 스와이프하는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a)는 배경 이미지 파일을 제2 단말기(100b)에 전송할 수 있고, 제2 단말기(100b)는 전송된 배경 이미지 파일을 홈 화면(229)에 표시할 수 있다.
또 다른 예를 들면, 제1 단말기(100a)에서 제2 단말기(100b)로 특정 파일을 전송하는 경우, 제1 단말기(100a)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 하단 방향으로 스와이프하는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력을 획득할 수 있다.
한편, 제1 단말기(100a) 및 제2 단말기(100b) 각각은 서로 다른 파일을 각각 전송하는 경우, 제1 단말기(100a)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 상단 방향으로 스와이프 하는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 상단 방향으로 스와이프 하는 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a)는 제2 단말기(100b)에 일부 영역에 대응하는 데이터 또는 정보를 전송할 수 있고, 제2 단말기(100b)는 제1 단말기(100a)에 일부 영역에 대응하는 데이터 또는 정보를 전송할 수 있다.
이에 대해 도 109를 참조하여 자세히 설명한다.
도 109는 본 발명의 또 다른 실시 예에 따른 배경 화면 이미지 전송에 대한 예시도이다.
도 109를 참조하면, 제1 단말기(100a)는 디스플레이부(151)에 제1 배경 이미지를 포함하는 홈 화면(228)을 표시할 수 있고, 제2 단말기(100b)는 디스플레이부(151)에 제2 배경 이미지를 포함하는 홈 화면(229)를 표시할 수 있다. 제1 단말기(100a)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 상단 방향으로 스와이프하는 사용자 입력을 획득할 수 있고, 제2 단말기(100b)는 디스플레이부(151)의 일부 영역을 문지르는 사용자 입력 후 상단 방향으로 스와이프하는 사용자 입력을 획득할 수 있다. 이에 따라 제1 단말기(100a)는 제1 배경 이미지 파일을 제2 단말기(100b)에 전송할 수 있고, 제2 단말기(100b)는 제2 배경 이미지 파일을 제1 단말기(100b)에 전송할 수 있다.
상술한 지능형 에이전트를 실행하기 위한 사용자 입력 및 사용자 입력에 대응하는 동작의 방향성에 대한 사용자 입력에 대응하는 동작에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 선택에 따라 다양한 동작이 지능형 에이전트를 실행하기 위한 사용자 입력 및 사용자 입력에 대응하는 동작의 방향성에 대한 사용자 입력에 대응하여 수행될 수 있다.
또한, 복수의 단말기(100)는 연동된 경우, 다양한 애플리케이션에 대해 지능형 에이전트를 실행하기 위한 사용자 입력을 획득할 수 있고, 사용자 입력에 대응하여 다양한 동작을 수행할 수 있다. 예를 들면, 아래 표 2와 같이, 애플리케이션에 따라 다양한 이벤트 조건이 설정될 수 있고, 연동된 복수의 단말기(100)에 다양한 동작이 연동될 수 있다. 또한, 연동된 복수의 단말기(100) 각각에 동일한 애플리케이션에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하여 다양한 동작을 수행할 수도 있다.
표 2는 본 발명의 일 실시 예에 따른 복수의 단말기가 연동된 경우의 지능형에이전트를 실행하기 위한 사용자 입력에 대응하는 동작을 나타내는 표이다.
이벤트 조건 연동되는 동작 동일한 애플리케이션에 대한 사용자 입력 시 동작
카메라 애플리케이션 사진 촬영 사진 촬영 사진 촬영
사진 애플리케이션 사진 추가 사진 공유 사진 동기화
주소록 애플리케이션 주소록 생성 주소록 공유 주소록 동기화
이메일 애플리케이션 이메일 수신 이메일 전송 이메일 동기화
문자 애플리케이션 메시지 수신 메시지 전송 메시지 동기화
파일 탐색 애플리케이션 파일 생성 파일 복사 파일 동기화
지도 애플리케이션 특정 위치 지도 표시 동일한 위치 표시
웹 브라우저 애플리케이션 실행 웹 페이지 표시 동일한 웹 페이지 표시
날씨 애플리케이션 특정 날씨 날씨 표시 날씨 표시 위치 동기화
시계/알람 애플리케이션 특정 시간 시계/알람 표시 알람 동기화
뉴스 애플리케이션 뉴스 수신 뉴스 표시 동일 뉴스 표시
SNS 애플리케이션 소식 수신 소식 게시 동일 소식 표시
일정 애플리케이션 특정 일정 일정 등록 일정 동기화
한편, 복수의 단말기(100)는 연동된 경우, 연동된 복수의 단말기(100) 각각에서 서로 다른 사용자 입력을 획득하고, 획득된 사용자 입력에 대응하여 연동된 복수의 단말기(100) 각각이 서로 다른 동작을 수행할 수도 있다. 이에 따라 상술한, 단말기(100)에 대해 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 동작 수행과 동일하게 동작할 수 있다.
이어서, 단말기(100)의 디스플레이부(151)의 화면에서, 복수의 영역 각각에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 동작 수행에 대해 설명한다.
단말기(100)의 제어부(180)는 디스플레이부(151)에 표시된 화면에서 서로 다른 복수의 영역 각각에 대해 지능형 에이전트를 실행하기 위한 사용자 입력을 획득할 수 있고, 획득된 사용자 입력에 대응하는 동작을 수행할 수 있다.
일 실시 예를 도 110을 참조하여 설명한다.
도 110은 본 발명의 일 실시 예에 따른 복수의 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 110을 참조하면, 제어부(180)는 디스플레이부(151)의 화면에 단말기(100)의 기본 화면인 홈 화면을 표시할 수 있다. 제어부(180)는 홈 화면에 표시된 카메라 애플리케이션 아이콘(337) 및 이메일 애플리케이션 아이콘(307) 각각을 문지르는 사용자 입력을 지능형 에이전트를 실행하기 위한 사용자 입력을 획득할 수 있다. 이에 따라 제어부(180)는 카메라 애플리케이션을 통해 사진을 촬영하면, 촬영된 사진 파일을 이메일 애플리케이션을 통해 메일로 전송할 수 있다.
다른 실시 예를 도 111을 참조하여 설명한다.
도 111은 본 발명의 다른 실시 예에 따른 복수의 애플리케이션 아이콘을 문지르는 사용자 입력에 대한 예시도이다.
도 111을 참조하면, 제어부(180)는 디스플레이부(151)의 화면에 단말기(100)의 기본 화면인 홈 화면을 표시할 수 있다. 제어부(180)는 홈 화면에 표시된 시계 애플리케이션 아이콘(304) 및 뉴스 애플리케이션 아이콘(306) 각각을 문지르는 사용자 입력을 지능형 에이전트를 실행하기 위한 사용자 입력을 획득할 수 있다. 이에 따라 제어부(180)는 일정 시간이 되면, 뉴스 애플리케이션을 실행할 수 있다.
이와 같이 단말기(100)는 복수의 애플리케이션 아이콘 각각을 문지르는 사용자 입력을 획득하면, 복수의 애플리케이션 각각의 동작을 연동하여 수행할 수 있다.
예를 들면, 아래 표 3과 같이, 애플리케이션에 따라 다양한 이벤트 조건이 설정될 수 있고, 복수의 애플리케이션의 다양한 동작이 연동될 수 있다.
표 3은 본 발명의 일 실시 예에 복수의 애플리케이션에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 동작을 나타내는 표이다.
이벤트 조건 연동되는 동작
카메라 애플리케이션 사진 촬영 사진 촬영
사진 애플리케이션 사진 추가 사진 공유
주소록 애플리케이션 주소록 생성 주소록 공유
이메일 애플리케이션 이메일 수신 이메일 전송
문자 애플리케이션 메시지 수신 메시지 전송
파일 탐색 애플리케이션 파일 생성 파일 복사
지도 애플리케이션 특정 위치 지도 표시
웹 브라우저 애플리케이션 실행 웹 페이지 표시
날씨 애플리케이션 특정 날씨 날씨 표시
시계/알람 애플리케이션 특정 시간 시계/알람 표시
뉴스 애플리케이션 뉴스 수신 뉴스 표시
SNS 애플리케이션 소식 수신 소식 게시
일정 애플리케이션 특정 일정 일정 등록
한편, 단말기(100)는 단말기(100)에 포함된 특정 키(Key) 또는 디스플레이부(151)의 화면의 특정 영역에 대해 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하면, 특정 기능을 수행할 수도 있다.
일 실시 예로, 단말기(100)의 제어부(180)는 단말기(100)에 포함된 특정 키(Key)를 문지르는 사용자 입력을 획득하면, 디스플레이부(151)에 표시된 화면을 캡쳐하는 캡쳐 동작을 수행할 수 있다. 여기서 특정 키(Key)는 홈 화면을 표시하기 위한 홈 키(Key)일 수 있다.
다른 실시 예로, 단말기(100)의 제어부(180)는 디스플레이부(151)에 표시된 특정 영역을 문지르는 사용자 입력을 획득하면, 사용자의 음성 명령을 인식하는 음성 인식 기능을 수행할 수 있다. 이에 대해 도 112를 참조하여 설명한다.
도 112는 본 발명의 일 실시 예에 따른 상단바를 문지르는 사용자 입력을 나타내는 예시도이다.
도 112를 참조하면, 제어부(180)는 디스플레이부(151)의 화면에 단말기(100)의 기본화면인 홈 화면을 표시할 수 있다. 제어부(180)는 홈 화면의 상단에 단말기(100)와 관련된 다양한 정보를 표시하는 상단바(206)를 표시할 수 있다. 예를 들어, 제어부(180)는 상단바(206)에 전파 수신 감도, 현재 시간, 배터리 잔량 중 하나 이상에 대한 정보를 표시할 수 있다. 제어부(180)는 홈 화면에 표시된 상단바(206)를 문지르는 사용자 입력을 지능형 에이전트를 실행하기 위한 사용자 입력으로 획득할 수 있다. 그리고 제어부(180)는 사용자의 음성 명령을 인식하는 음성 인식 기능을 수행할 수 있다. 이에 따라 제어부(180)는 음성 인식 기능 수행에 따른 사용자의 음성 명령을 인식할 수 있고, 인식된 음성 명령에 대응하는 동작을 수행할 수도 있다.
상술한 특정 키(Key) 또는 디스플레이부(151)의 화면의 특정 영역에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 따른 동작 수행에 대한 설명은 설명을 위한 예시로 이에 한정되지 않는다. 따라서 사용자 또는 설계자의 선택에 따라 다양한 동작이 설정될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 하나 이상의 다른 단말기와 연동하여 동작하는 단말기의 동작 방법에 있어서,
    상기 단말기의 사용자가 의도하는 상기 단말기의 기능 또는 동작을 제공하는 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하는 단계;
    상기 다른 단말기에 대응하는 제2 단말기로부터, 상기 제2 단말기에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 연동 정보를 수신하는 단계;
    상기 수신된 연동 정보를 기초로, 상기 단말기와 상기 제2 단말기의 연동 허용 여부를 판단하는 단계; 및
    상기 연동 허용 여부에 대한 판단 결과 및 상기 사용자 입력에 대응하는 동작을 수행하는 단계를 포함하는
    단말기의 동작 방법.
  2. 제1항에 있어서,
    상기 연동 정보는
    상기 제2 단말기의 기기 정보, 사용자 정보, 기기 식별을 위한 고유 정보 중 하나 이상을 포함하고,
    상기 고유 정보는
    상기 제2 단말기가 획득한 음성에 대한 정보, 상기 제2 단말기가 획득한 위치 정보, 상기 제2 단말기가 획득한 무선신호에 대한 정보, 상기 제2 단말기가 감지한 자기장에 대한 정보 중 하나 이상을 포함하는
    단말기의 동작 방법.
  3. 제2항에 있어서,
    상기 단말기와 상기 제2 단말기의 연동 허용 여부를 판단하는 단계는
    상기 제2 단말기의 고유 정보를 상기 단말기의 고유 정보와 비교하는 단계와,
    상기 제2 단말기의 고유 정보가 상기 단말기의 고유 정보와 유사하면, 상기 단말기와 상기 제2 단말기의 연동을 허용하고,
    상기 제2 단말기의 고유 정보가 상기 단말기의 고유 정보와 비유사하면, 상기 단말기와 상기 제2 단말기의 연동을 허용하지 않는 단계를 포함하는
    단말기의 동작 방법.
  4. 제3항에 있어서,
    상기 사용자 입력에 대응하는 동작을 수행하는 단계는
    상기 지능형 에이전트를 실행하는 단계와,
    상기 실행된 지능형 에이전트를 기초로, 연동 허용된 상기 제2 단말기와 연동하여 상기 사용자 입력에 대응하는 동작을 수행하는 단계를 포함하는
    단말기의 동작 방법.
  5. 제4항에 있어서,
    상기 지능형 에이전트를 실행하기 위한 사용자 입력을 획득하는 단계는
    상기 단말기의 화면의 일부 영역에 대해, 상기 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득하는 단계와,
    상기 제1 사용자 입력에 대응하는 동작의 방향성에 대한 제2 사용자 입력을 획득하는 단계를 포함하고,
    상기 동작의 방향성은
    상기 단말기와 상기 제2 단말기 간의 데이터 또는 정보 전송에 대한 방향을 포함하는
    단말기의 동작 방법.
  6. 제5항에 있어서,
    상기 연동 허용된 상기 제2 단말기와 연동하여 상기 사용자 입력에 대응하는 동작을 수행하는 단계는
    상기 제1 사용자 입력에 대응하는 동작을 상기 제2 사용자 입력에 대응하는 방향으로 수행하는 단계를 포함하는
    단말기의 동작 방법.
  7. 단말기의 동작 방법에 있어서,
    상기 단말기의 사용자가 의도하는 상기 단말기의 기능 또는 동작을 제공하는 지능형 에이전트를 실행하기 위한 사용자 입력으로, 상기 단말기의 화면의 일부 영역을 문지르는 사용자 입력을 획득하는 단계;
    상기 지능형 에이전트를 실행하는 단계;
    상기 사용자 입력에 대응하는 사용자를 인식하는 단계; 및
    상기 실행된 지능형 에이전트를 기초로, 상기 인식된 사용자 및 상기 사용자 입력에 대응하는 동작을 수행하는 단계를 포함하는
    단말기의 동작 방법.
  8. 제7항에 있어서,
    상기 사용자 입력에 대응하는 사용자를 인식하는 단계는
    상기 사용자 입력에 대응하는 사용자의 얼굴, 음성, 지문 중 하나 이상을 포함하는 생체 정보를 기초로 상기 사용자가 등록된 사용자인지 인식하는 단계를 포함하는
    단말기의 동작 방법.
  9. 제8항에 있어서,
    상기 인식된 사용자 및 상기 사용자 입력에 대응하는 동작을 수행하는 단계는
    상기 인식된 사용자가 등록된 사용자이면, 상기 단말기의 전체 기능, 전체 정보를 기초로 상기 사용자 입력에 대응하는 동작을 수행하는 단계와,
    상기 인식된 사용자가 등록되지 않은 사용자이면, 상기 단말기의 일부 기능, 일부 정보만을 기초로 상기 사용자 입력에 대응하는 동작을 수행하는 단계를 포함하는
    단말기의 동작 방법.
  10. 하나 이상의 다른 단말기와 연동하여 동작하는 단말기에 있어서,
    디스플레이부;
    상기 디스플레이부에 대한 터치 입력을 센싱하는 터치 센서를 포함하는 센싱부;
    상기 다른 단말기에 대응하는 제2 단말기로부터, 상기 제2 단말기에 대한 지능형 에이전트를 실행하기 위한 사용자 입력에 대응하는 연동 정보를 수신하는 무선 통신부; 및
    상기 단말기의 사용자가 의도하는 상기 단말기의 기능 또는 동작을 제공하는 지능형 에이전트를 실행하기 위한 사용자 입력으로, 상기 터치 센서를 통해 상기 디스플레이부의 화면의 일부 영역을 문지르는 사용자 입력을 획득하고,
    상기 수신된 연동 정보를 기초로, 상기 단말기와 상기 제2 단말기의 허용 여부를 판단하고, 상기 연동 허용 여부에 대한 판단 결과 및 상기 일부 영역을 문지르는 사용자 입력에 대응하는 동작을 수행하는 제어부를 포함하는
    단말기.
  11. 제10항에 있어서,
    상기 연동 정보는
    상기 제2 단말기의 기기 정보, 사용자 정보, 기기 식별을 위한 고유 정보 중 하나 이상을 포함하고,
    상기 고유 정보는
    상기 제2 단말기가 획득한 음성에 대한 정보, 상기 제2 단말기가 획득한 위치 정보, 상기 제2 단말기가 획득한 무선신호에 대한 정보, 상기 제2 단말기가 감지한 자기장에 대한 정보 중 하나 이상을 포함하는
    단말기.
  12. 제11항에 있어서,
    상기 제어부는
    상기 제2 단말기의 고유 정보를 상기 단말기의 고유 정보와 비교하고,
    상기 제2 단말기의 고유 정보가 상기 단말기의 고유 정보와 유사하면, 상기 단말기와 상기 제2 단말기의 연동을 허용하고,
    상기 제2 단말기의 고유 정보가 상기 단말기의 고유 정보와 비유사하면, 상기 단말기와 상기 제2 단말기의 연동을 허용하지 않는
    단말기.
  13. 제12항에 있어서,
    상기 제어부는
    상기 지능형 에이전트를 실행하고,
    상기 실행된 지능형 에이전트를 기초로, 연동 허용된 상기 제2 단말기와 연동하여 상기 사용자 입력에 대응하는 동작을 수행하는
    단말기.
  14. 제13항에 있어서,
    상기 제어부는
    상기 단말기의 화면의 일부 영역에 대해, 상기 지능형 에이전트를 실행하기 위한 제1 사용자 입력을 획득하고,
    상기 제1 사용자 입력에 대응하는 동작의 방향성에 대한 제2 사용자 입력을 획득하고,
    상기 동작의 방향성은
    상기 단말기와 상기 제2 단말기 간의 데이터 또는 정보 전송에 대한 방향을 포함하는
    단말기.
  15. 제14항에 있어서,
    상기 제어부는
    상기 제1 사용자 입력에 대응하는 동작을 상기 제2 사용자 입력에 대응하는 방향으로 수행하는
    단말기.
KR1020150067511A 2015-03-31 2015-05-14 단말기 및 그 동작 방법 KR20160134080A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150067511A KR20160134080A (ko) 2015-05-14 2015-05-14 단말기 및 그 동작 방법
US14/850,786 US10156978B2 (en) 2015-03-31 2015-09-10 Terminal and operating method thereof
EP15188886.4A EP3076279A1 (en) 2015-03-31 2015-10-08 Terminal and operating method thereof
CN201510726347.9A CN106020660B (zh) 2015-03-31 2015-10-30 终端及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150067511A KR20160134080A (ko) 2015-05-14 2015-05-14 단말기 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20160134080A true KR20160134080A (ko) 2016-11-23

Family

ID=57541424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150067511A KR20160134080A (ko) 2015-03-31 2015-05-14 단말기 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR20160134080A (ko)

Similar Documents

Publication Publication Date Title
CN106020660B (zh) 终端及其操作方法
US11340778B2 (en) Restricted operation of an electronic device
US11354034B2 (en) Devices, methods, and graphical user interfaces for selecting and interacting with different device modes
US9983724B2 (en) Mobile terminal and controlling method for displaying information of a wearable device
US10628014B2 (en) Mobile terminal and control method therefor
US9602954B2 (en) Mobile terminal and method for controlling the same
EP2975500B1 (en) Mobile terminal, adapted for executing various functions with only one input while a display is in an off state
US10097494B2 (en) Apparatus and method for providing information
US8774869B2 (en) Mobile terminal and control method thereof
EP2226741B1 (en) Mobile terminal and method of controlling the mobile terminal
EP3128410A2 (en) Mobile terminal and control method thereof
US20100231356A1 (en) Mobile terminal and method of controlling the mobile terminal
US20170199631A1 (en) Devices, Methods, and Graphical User Interfaces for Enabling Display Management of Participant Devices
CN106133784B (zh) 提供活动通知的方法及其设备
CN107977248B (zh) 一种桌面挂件的显示方法及移动终端
US20220335807A1 (en) User interfaces for location tracking
US20170003772A1 (en) Mobile terminal and method for controlling the same
KR20170130417A (ko) 이동 단말기 및 그 제어 방법
KR20160016545A (ko) 정보 제공하는 방법 및 이를 위한 전자기기
KR102404853B1 (ko) 단말기 및 그 동작 방법
KR20160134080A (ko) 단말기 및 그 동작 방법
RU2635246C2 (ru) Способ выполнения функции устройства и устройство для выполнения способа
WO2023239625A1 (en) User interfaces for creating journaling entries
KR20180037952A (ko) 이동단말기