KR102377277B1 - 전자 장치에서 커뮤니케이션 지원 방법 및 장치 - Google Patents

전자 장치에서 커뮤니케이션 지원 방법 및 장치 Download PDF

Info

Publication number
KR102377277B1
KR102377277B1 KR1020150028160A KR20150028160A KR102377277B1 KR 102377277 B1 KR102377277 B1 KR 102377277B1 KR 1020150028160 A KR1020150028160 A KR 1020150028160A KR 20150028160 A KR20150028160 A KR 20150028160A KR 102377277 B1 KR102377277 B1 KR 102377277B1
Authority
KR
South Korea
Prior art keywords
electronic device
area
various embodiments
user
present disclosure
Prior art date
Application number
KR1020150028160A
Other languages
English (en)
Other versions
KR20160105030A (ko
Inventor
이성연
김용학
배윤주
서강현
양진길
임영석
정래건
조현천
진인지
유다혜
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150028160A priority Critical patent/KR102377277B1/ko
Priority to US15/054,796 priority patent/US10802708B2/en
Priority to EP16157673.1A priority patent/EP3062207B1/en
Priority to AU2016224180A priority patent/AU2016224180B2/en
Priority to PCT/KR2016/001973 priority patent/WO2016137299A1/en
Priority to CN201610113232.7A priority patent/CN105930073B/zh
Publication of KR20160105030A publication Critical patent/KR20160105030A/ko
Application granted granted Critical
Publication of KR102377277B1 publication Critical patent/KR102377277B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27467—Methods of retrieving data
    • H04M1/27475—Methods of retrieving data using interactive graphical means or pictorial representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. SMS or e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08—Annexed information, e.g. attachments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42—Mailbox-related aspects, e.g. synchronisation of mailboxes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

본 발명은 전자 장치를 이용한 사용자들 간의 커뮤니케이션(communication)을 직관적이고 빠르게 지원할 수 있는 전자 장치 및 그의 동작 방법에 관한 것이다. 본 발명의 다양한 실시 예에 따르면, 전자 장치에 있어서, 통신 모듈; 터치스크린 디스플레이; 상기 통신 모듈 및 상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서; 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하며, 상기 메모리는, 상기 통신 모듈을 이용하여 외부 전자 장치와 데이터를 송수신하도록 구성된 어플리케이션 프로그램, 및 상기 어플리케이션 프로그램 실행 시에, 상기 프로세서가, 상기 어플리케이션 프로그램의 유저 인터페이스를 상기 터치스크린 디스플레이 상에 표시하도록 하는 명령어들(instructions)을 저장하고, 상기 유저 인터페이스는, 상기 외부 전자 장치와 연관된 사용자와 관련된 이미지 또는 텍스트 중 적어도 하나를 표시하는 제1 영역, 상기 외부 전자 장치와 공유하는 데이터를 표시하는 제2 영역을 포함하고, 상기 제1 영역은 상기 제2 영역에 적어도 일부 중첩되는 것을 포함할 수 있다. 다양한 실시 예들이 가능하다.

Description

전자 장치에서 커뮤니케이션 지원 방법 및 장치{METHOD AND APPARATUS FOR SUPPORTING COMMUNICATION IN ELECTRONIC DEVICE}
본 발명의 다양한 실시 예들은 전자 장치를 이용한 사용자들 간의 커뮤니케이션(communication)을 직관적이고 빠르게 지원할 수 있는 전자 장치 및 그의 동작 방법에 관한 것이다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, 스마트 폰(smart phone), 태블릿(tablet) PC(Personal Computer), PDA(Personal Digital Assistant), 노트북(notebook) 또는 웨어러블 디바이스(wearable device) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 상기 전자 장치는, 다른 장치들의 기능까지 아우르는 모바일 컨버전스(mobile convergence) 단계에 이르고 있다. 예를 들어, 전자 장치는 음성통화 및 영상통화 등과 같은 통화 기능, SMS(Short Message Service)/MMS(Multimedia Message Service) 및 전자메일(e-mail) 등과 같은 메시지 송수신 기능, 전자수첩 기능, 촬영 기능, 방송 재생 기능, 동영상 재생 기능, 음악 재생 기능, 인터넷 기능, 메신저 기능, 게임 기능, 또는 소셜 네트워크 서비스(SNS, Social Networking Service) 기능 등을 제공할 수 있다.
사용자는 전자 장치를 이용하여 다른 사용자와 다양한 방식으로 커뮤니케이션(communication, 의사소통)을 수행할 수 있다. 예를 들어, 사용자들은 전자 장치를 이용하여 구어(oral language)나 문어(written language)를 통한 언어적 요소를 통해 커뮤니케이션을 수행할 수 있다.
종래에서 전자 장치를 이용한 커뮤니케이션(communication)의 경우, 언어적 요소에 기반하여 문장 중심으로 이루어지고 있는 것이 일반적이다. 하지만, 기존 전자 장치에서 사용자들 간의 구어 기반의 커뮤니케이션을 위해 콜 발생을 위한 과정을 진행해야 하고, 문어 기반의 커뮤니케이션을 위해 메시지 작성을 위한 과정을 진행해야 한다. 따라서 사용자는 커뮤니케이션 수행에 있어서 상기한 바와 같은 과정을 진행해야 함에 따라 빠른 커뮤니케이션이 어려운 문제가 있다.
본 발명의 다양한 실시 예들에서는 비언어적 요소에 기반하여 사용자들 간에 보다 신속한 커뮤니케이션을 지원할 수 있는 전자 장치 및 그 동작 방법을 제공할 수 있다.
본 발명의 다양한 실시 예들에서는 전자 장치를 이용한 사용자들 간 커뮤니케이션을 위한 빠르고 직관적인 인터페이스를 지원하는 전자 장치 및 그 동작 방법을 제공할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 통신 모듈; 터치스크린 디스플레이; 상기 통신 모듈 및 상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서; 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하며, 상기 메모리는, 상기 통신 모듈을 이용하여 외부 전자 장치와 데이터를 송수신하도록 구성된 어플리케이션 프로그램, 및 상기 어플리케이션 프로그램 실행 시에, 상기 프로세서가, 상기 어플리케이션 프로그램의 유저 인터페이스를 상기 터치스크린 디스플레이 상에 표시하도록 하는 명령어들(instructions)을 저장하고, 상기 유저 인터페이스는, 상기 외부 전자 장치와 연관된 사용자와 관련된 이미지 또는 텍스트 중 적어도 하나를 표시하는 제1 영역, 상기 외부 전자 장치와 공유하는 데이터를 표시하는 제2 영역을 포함하고, 상기 제1 영역은 상기 제2 영역에 적어도 일부 중첩되는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 통신 모듈; 터치스크린 디스플레이; 상기 통신 모듈 및 상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서; 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하며, 상기 메모리는, 상기 통신 모듈을 이용하여 외부 전자 장치와 데이터를 송수신하도록 구성된 어플리케이션 프로그램, 및 상기 어플리케이션 프로그램 실행 시에, 상기 프로세서가, 상기 외부 전자 장치와 연관된 사용자와 관련된 이미지 또는 텍스트 중 적어도 하나를 표시하는 제1 영역, 및 상기 외부 전자 장치와 공유하는 데이터를 표시하는 제2 영역을 포함하는 상기 어플리케이션 프로그램의 유저 인터페이스를 상기 터치스크린 디스플레이 상에 표시하고, 상기 제 1 영역 또는 상기 제 2 영역의 적어도 일부를 통하여 입력을 수신하고, 상기 수신된 입력에 적어도 일부 기초하여, 상기 통신 모듈을 통하여 데이터를 송신하도록 하는 명령어들(instructions)을 저장하는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 장법은, 외부 전자 장치와 연관된 사용자와 관련된 이미지 또는 텍스트 중 적어도 하나를 표시하는 제1 영역과 상기 외부 전자 장치와 공유하는 데이터를 표시하는 제2 영역을 포함하는 유저 인터페이스를 표시하는 동작, 상기 제1 영역 또는 상기 제2 영역의 적어도 일부를 통하여 입력을 수신하는 동작, 상기 수신된 입력에 대응하는 효과를 표시하는 동작, 상기 수신된 입력에 적어도 일부 기초하여 상기 외부 전자 장치에 데이터를 송신하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치 및 그 동작 방법은, 전자 장치를 이용한 사용자들 간의 커뮤니케이션을 지원하기 위한 직관적인 유저 인터페이스를 제공하고, 상기 유저 인터페이스를 이용한 사용자의 입력에 기반하여 사용자들 간의 의사 신호 전달을 통해 쉽고 빠른 커뮤니케이션을 제공할 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경을 도시하는 도면이다.
도 2는 다양한 실시 예들에 따른 전자 장치의 블록도를 도시하는 도면이다.
도 3은 다양한 실시 예들에 따른 프로그램 모듈의 블록도를 도시하는 도면이다.
도 4는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 5 및 도 6은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스의 다양한 화면 구성 예시를 도시하는 도면들이다.
도 7은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스의 예시를 도시하는 도면이다.
도 8, 도 9 및 도 10은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스에서 대화 상대를 관리하는 예시를 도시하는 도면들이다.
도 11 및 도 12는 본 발명의 다양한 실시 예들에 따른 유저 인터페이스를 전환하는 동작을 설명하기 위해 도시하는 도면들이다.
도 13은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스에서 대화 상대 선택을 위한 멤버 트레이 운영 동작을 설명하기 위해 도시하는 도면이다.
도 14 및 도 15는 본 발명의 다양한 실시 예들에 따른 유저 인터페이스에서 대화 상대 선택을 위한 멤버 트레이 운영 동작을 설명하기 위해 도시하는 도면들이다.
도 16은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스를 이용한 운영 동작 예시를 설명하기 위해 도시하는 도면이다.
도 17은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스에 기반한 커뮤니케이션을 종료하는 동작을 설명하기 위해 도시하는 도면이다.
도 18 및 도 19는 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면들이다.
도 20은 본 발명의 다양한 실시 예들에 따른 노크 이벤트 메시지 포맷의 예시를 도시하는 도면이다.
도 21, 도 22 및 도 23은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 수신 이벤트에 대해 처리하는 화면 예시를 도시하는 도면들이다.
도 24 및 도 25는 발명의 다양한 실시 예들에 따른 전자 장치에서 수신 이벤트에 대해 처리하는 다른 화면 예시를 도시하는 도면들이다.
도 26은 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
도 27은 본 발명의 다양한 실시 예들에 따른 핸드라이팅 이벤트 메시지 포맷의 예시를 도시하는 도면이다.
도 28은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 커뮤니케이션이 수행되는 동작 화면 예시를 도시하는 도면이다.
도 29는 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
도 30은 본 발명의 다양한 실시 예들에 따른 이모티콘 이벤트 메시지 포맷의 예시를 도시하는 도면이다.
도 31은 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
도 32는 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
도 33은 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
도 34는 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
도 35는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 콘텐츠 관리 방법을 도시하는 흐름도이다.
도 36 및 도 37은 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면들이다.
도 38은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 커뮤니케이션을 위해 제공되는 인터페이스의 다른 예시를 도시하는 도면이다.
도 39는 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
도 40은 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
도 41은 본 발명의 다양한 실시 예들에 따른 콘텐츠 이벤트 메시지 포맷의 예시를 도시하는 도면이다.
도 42는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 커뮤니케이션 수행에 대응하여 수신하는 메시지 종류별 화면 예시를 도시하는 도면이다.
도 43은 본 발명의 다양한 실시 예들에 따른 확인 메시지 포맷의 예시를 도시하는 도면이다.
도 44는 본 발명의 다양한 실시 예들에 따른 확인 메시지 포맷의 예시를 도시하는 도면이다.
도 45는 본 발명의 다양한 실시 예에 따른 커뮤니케이션 수행에서 메시지 수신 전자 장치를 결정하는 동작을 도시하는 흐름도이다.
도 46은 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
도 47은 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
도 48은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 커뮤니케이션 수행에 따른 대화 상대를 선택하는 동작 예시를 도시하는 도면이다.
도 49는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 커뮤니케이션이 수행되는 동작 화면 예시를 도시하는 도면이다.
도 50은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 사용자 입력에 대응하는 이벤트 처리 방법을 도시하는 흐름도이다.
도 51은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 이벤트에 대응하는 응답에 대한 처리 방법을 도시하는 흐름도이다.
도 52는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 이벤트에 수신에 대한 처리 방법을 도시하는 흐름도이다.
도 53은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 사용자의 프레즌스 상태에 대한 처리 방법을 도시하는 흐름도이다.
도 54는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 사용자 입력에 기반하여 데이터를 전송하는 동작을 도시하는 흐름도이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어(hardware)적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(central processing unit) 또는 AP(application processor))를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD) 등), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS, global navigation satellite system), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예들에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예에 따른 전자 장치를 포함하는 네트워크 환경을 도시하는 도면이다.
도 1을 참조하여, 다양한 실시 예들에서의, 네트워크 환경 100 내의 전자 장치 101이 기재된다. 전자 장치 101은 버스(bus) 110, 프로세서(processor) 120, 메모리(memory) 130, 입출력 인터페이스(input/output interface) 150, 디스플레이(display) 160, 및 통신 인터페이스(communication interface) 170을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 101은, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스 110은, 예를 들면, 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서 120은, 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서 120은, 예를 들면, 전자 장치 101의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리 130은, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리 130은, 예를 들면, 전자 장치 101의 적어도 하나의 다른 구성요소에 관계된 명령(command) 또는 데이터(data)를 저장할 수 있다. 한 실시 예에 따르면, 메모리 130은 소프트웨어(software) 및/또는 프로그램(program) 140을 저장할 수 있다. 프로그램 140은, 예를 들면, 커널(kernel) 141, 미들웨어(middleware) 143, 어플리케이션 프로그래밍 인터페이스(application programming interface(API)) 145, 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 147 등을 포함할 수 있다. 커널 141, 미들웨어 143, 또는 API 145의 적어도 일부는, 운영 시스템(operating system(OS))으로 지칭될 수 있다.
커널 141은, 예를 들면, 다른 프로그램들(예: 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스 110, 프로세서 120, 또는 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 커널 141은 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147에서 전자 장치 101의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어 143은, 예를 들면, API 145 또는 어플리케이션 프로그램 147이 커널 141과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한 미들웨어 143은 어플리케이션 프로그램 147으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어 143은 어플리케이션 프로그램 147 중 적어도 하나에 전자 장치 101의 시스템 리소스(예: 버스 110, 프로세서 120, 또는 메모리 130 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어 143은 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케쥴링(scheduling) 또는 로드 밸런싱(load balancing) 등을 수행할 수 있다.
API 145는, 예를 들면, 어플리케이션 147이 커널 141 또는 미들웨어 143에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어(file control), 창 제어(window control), 영상 처리(image processing), 또는 문자 제어(character control) 등을 위한 적어도 하나의 인터페이스 또는 함수(function)(예: 명령어)를 포함할 수 있다.
입출력 인터페이스 150은, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치 101의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스 150은 전자 장치 101의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이 160은, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이 160은, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트(text), 이미지(image), 비디오(video), 아이콘(icon), 또는 심볼(symbol) 등)을 표시할 수 있다. 디스플레이 160은, 터치 스크린(touch screen)을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접(proximity), 또는 호버링(hovering) 입력을 수신할 수 있다.
통신 인터페이스 170은, 예를 들면, 전자 장치 101과 외부 장치(예: 제1 외부 전자 장치 102, 제2 외부 전자 장치 104, 또는 서버 106) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스 170은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 외부 장치(예: 제2 외부 전자 장치 104 또는 서버 106)와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신 164를 포함할 수 있다. 근거리 통신 164는, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(global positioning system), Glonass(global navigation satellite system), Beidou Navigation satellite system(이하, “Beidou”) 또는 Galileo, the European global satellite-based navigation system 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크 162는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 네트워크(telephone network) 중 적어도 하나를 포함할 수 있다.
제1 및 제2 외부 전자 장치(102, 104) 각각은 전자 장치 101과 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버 106은 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예들에 따르면, 전자 장치 101에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버 106에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치 101이 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치 101은 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버 106)에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버 106)는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치 101로 전달할 수 있다. 전자 장치 101은 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치의 블록도이다.
전자 장치 201은, 예를 들면, 도 1에 도시된 전자 장치 101의 전체 또는 일부를 포함할 수 있다. 전자 장치 201은 하나 이상의 프로세서(예: AP(application processor)) 210, 통신 모듈 220, 가입자 식별 모듈 224, 메모리 230, 센서 모듈 240, 입력 장치 250, 디스플레이 260, 인터페이스 270, 오디오 모듈 280, 카메라 모듈 291, 전력 관리 모듈 295, 배터리 296, 인디케이터 297, 및 모터 298를 포함할 수 있다.
프로세서 210은, 예를 들면, 운영 체제 또는 어플리케이션 프로그램을 구동하여 프로세서 210에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서 210은, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 프로세서 210은 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서 210은 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈 221)를 포함할 수도 있다. 프로세서 210은 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈 220은, 도 1의 통신 인터페이스 170와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈 220은, 예를 들면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈 228 및 RF(radio frequency) 모듈 229를 포함할 수 있다.
셀룰러 모듈 221은, 예를 들면, 통신 네트워크를 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 가입자 식별 모듈(예: SIM(subscriber identification module) 카드) 224를 이용하여 통신 네트워크 내에서 전자 장치 201의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 프로세서 210이 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227 또는 NFC 모듈 228 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227 또는 NFC 모듈 228 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈 229는, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈 229는, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나(antenna) 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈225, GNSS 모듈 227 또는 NFC 모듈 228 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈 224는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리 230(예: 메모리 130)은, 예를 들면, 내장 메모리 232 또는 외장 메모리 234를 포함할 수 있다. 내장 메모리 232는, 예를 들면, 휘발성 메모리(volatile memory)(예: DRAM(dynamic RAM(random access memory)), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile memory)(예: OTPROM(one time programmable ROM(read only memory)), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리 234는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(MultiMediaCard) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리 234는 다양한 인터페이스를 통하여 전자 장치 201과 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈 240은, 예를 들면, 물리량을 계측하거나 전자 장치 201의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈 240은, 예를 들면, 제스처 센서(gesture sensor) 240A, 자이로 센서(gyro sensor) 240B, 기압 센서(barometer) 240C, 마그네틱 센서(magnetic sensor) 240D, 가속도 센서(acceleration sensor) 240E, 그립 센서(grip sensor) 240F, 근접 센서(proximity sensor) 240G, 컬러 센서(color sensor) 240H(예: RGB(red, green, blue) 센서), 생체 센서(medical sensor) 240I, 온/습도 센서(temperature-humidity sensor) 240J, 조도 센서(illuminance sensor) 240K, 또는 UV(ultra violet) 센서 240M 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서 모듈 240은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서(iris scan sensor) 및/또는 지문 센서(finger scan sensor)를 포함할 수 있다. 센서 모듈 240은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치 201은 프로세서 210의 일부로서 또는 별도로, 센서 모듈 240을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서 210가 슬립(sleep) 상태에 있는 동안, 센서 모듈 240을 제어할 수 있다.
입력 장치 250은, 예를 들면, 터치 패널(touch panel) 252, (디지털) 펜 센서(pen sensor) 254, 키(key) 256, 또는 초음파(ultrasonic) 입력 장치 258를 포함할 수 있다. 터치 패널 252는, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널 252는 제어 회로를 더 포함할 수도 있다. 터치 패널 252는 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서 254는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키 256은, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드(keypad)를 포함할 수 있다. 초음파 입력 장치 258은 마이크(예: 마이크 288)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이 260(예: 디스플레이 160)는 패널 262, 홀로그램 장치 264, 또는 프로젝터 266을 포함할 수 있다. 패널 262는, 도 1의 디스플레이 160과 동일 또는 유사한 구성을 포함할 수 있다. 패널 262는, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널 262는 터치 패널 252와 하나의 모듈로 구성될 수도 있다. 홀로그램 장치 264는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터 266은 스크린(screen)에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치 201의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 디스플레이 260은 패널 262, 홀로그램 장치 264, 또는 프로젝터 266을 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스 270은, 예를 들면, HDMI(high-definition multimedia interface) 272, USB(universal serial bus) 274, 광 인터페이스(optical interface) 276, 또는 D-sub(D-subminiature) 278을 포함할 수 있다. 인터페이스 270은, 예를 들면, 도 1에 도시된 통신 인터페이스 170에 포함될 수 있다. 추가적으로 또는 대체적으로(additionally and alternatively), 인터페이스 270은, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈 280은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈 280의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스 150에 포함될 수 있다. 오디오 모듈 280은, 예를 들면, 스피커 282, 리시버 284, 이어폰 286, 또는 마이크 288 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈 291은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈 295는, 예를 들면, 전자 장치 201의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈 295는 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 296 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리 296의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리 296은, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터 297은 전자 장치 201 또는 그 일부(예: 프로세서 210)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터 298은 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치 201은 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(MediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시 예에 따른 프로그램 모듈의 블록도이다.
한 실시 예에 따르면, 프로그램 모듈 310(예: 프로그램 140)은 전자 장치(예: 전자 장치 101)에 관련된 자원을 제어하는 운영 체제(operating system(OS)) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램 147)을 포함할 수 있다. 운영 체제는, 예를 들면, 안드로이드(android), iOS, 윈도우즈(windows), 심비안(symbian), 타이젠(tizen), 또는 바다(bada) 등이 될 수 있다.
프로그램 모듈 310은 커널 320, 미들웨어 330, 어플리케이션 프로그래밍 인터페이스(application programming interface (API)) 360, 및/또는 어플리케이션 370을 포함할 수 있다. 프로그램 모듈 310의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버 106 등)로부터 다운로드(download) 가능하다.
커널 320(예: 커널 141)은, 예를 들면, 시스템 리소스 매니저 321 및/또는 디바이스 드라이버 323을 포함할 수 있다. 시스템 리소스 매니저 321은 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저 321은 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 디바이스 드라이버 323은, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
미들웨어 330은, 예를 들면, 어플리케이션 370이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션 370이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API 360을 통해 다양한 기능들을 어플리케이션 370으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어 330(예: 미들웨어 143)은 런타임 라이브러리 335, 어플리케이션 매니저(application manager) 341, 윈도우 매니저(window manager) 342, 멀티미디어 매니저(multimedia manager) 343, 리소스 매니저(resource manager) 344, 파워 매니저(power manager) 345, 데이터베이스 매니저(database manager) 346, 패키지 매니저(package manager) 347, 연결 매니저(connectivity manager) 348, 통지 매니저(notification manager) 349, 위치 매니저(location manager) 350, 그래픽 매니저(graphic manager) 351, 또는 보안 매니저(security manager) 352 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리 335는, 예를 들면, 어플리케이션 370이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리 335는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
어플리케이션 매니저 341은, 예를 들면, 어플리케이션 370 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저 342는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저 343은 다양한 미디어 파일들의 재생에 필요한 포맷(format)을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저 344는 어플리케이션 370 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저 345는, 예를 들면, 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저 346은 어플리케이션 370 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저 347은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
연결 매니저 348은, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저 349는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저 350은 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저 351은 사용자에게 제공될 그래픽 효과 또는 이와 관련된 유저 인터페이스를 관리할 수 있다. 보안 매니저 352는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시 예에 따르면, 전자 장치(예: 전자 장치 101)가 전화 기능을 포함한 경우, 미들웨어 330은 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager)를 더 포함할 수 있다.
미들웨어 330은 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 미들웨어 330은 차별화된 기능을 제공하기 위해 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어 330은 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API 360(예: API 145)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼(platform) 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션 370(예: 어플리케이션 프로그램 147)은, 예를 들면, 홈 371, 다이얼러 372, SMS/MMS 373, IM(instant message) 374, 브라우저 375, 카메라 376, 알람 377, 컨택트 378, 음성 다이얼 379, 이메일 380, 달력 381, 미디어 플레이어 382, 앨범 383, 시계 384, 건강 관리(health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공(예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다.
한 실시 예에 따르면, 어플리케이션 370은 전자 장치(예: 전자 장치 101)와 외부 전자 장치(예: 전자 장치(102, 104)) 사이의 정보 교환을 지원하는 어플리케이션(이하, 설명의 편의 상, "정보 교환 어플리케이션")을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치(예: 전자 장치(102, 104))로 전달하는 기능을 포함할 수 있다. 또한, 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치(예: 전자 장치(102, 104))의 적어도 하나의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온(turn-on)/턴-오프(turn-off) 또는 디스플레이의 밝기(또는, 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스 등)를 관리(예: 설치, 삭제, 또는 업데이트)할 수 있다.
한 실시 예에 따르면, 어플리케이션 370은 외부 전자 장치(예: 전자 장치(102, 104))의 속성)에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션 등)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션 370은 외부 전자 장치(예: 서버 106 또는 전자 장치(102, 104))로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션 370은 프리로드 어플리케이션(preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션(third party application)을 포함할 수 있다. 도시된 실시 예에 따른 프로그램 모듈 310의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.
다양한 실시 예들에 따르면, 프로그램 모듈 310의 적어도 일부는 소프트웨어, 펌웨어(firmware), 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 프로그램 모듈 310의 적어도 일부는, 예를 들면, 프로세서(예: 프로세서 210)에 의해 구현(implement)(예: 실행)될 수 있다. 프로그램 모듈 310의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 기록 매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서 120)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들면, 메모리 130이 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예들에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예들에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
제안하는 본 발명의 다양한 실시 예들은 사용자들 간의 커뮤니케이션을 위한 유저 인터페이스, 상기 유저 인터페이스를 제공하는 전자 장치 및 그의 동작 방법에 관한 것이다. 본 발명의 다양한 실시 예들에 따르면, 직관적인 유저 인터페이스를 통해 터치 이벤트 중심으로 사용자들 간의 커뮤니케이션을 지원할 수 있고, 보다 직관적이고 신속하게 콘텐츠를 공유할 수 있다.
이하의 설명에서, 상기 커뮤니케이션은 후술하는 유저 인터페이스에 기반하여 복수의 사용자들 간(예: 일대일, 일대다, 다대다)에 터치 이벤트에 기반하여 서로의 의사 정보를 전달하거나 수신하는 동작을 포함하는 용어로 사용될 수 있다. 이하의 설명에서, 상기 의사 정보는 유저 인터페이스를 통해 입력되는 사용자가 전달하고자 하는 다양한 의사를 나타내는 용어로 사용될 수 있다. 예를 들면, 상기 의사 정보는 사용자가 직접 입력하는 텍스트(text)(예: 핸드라이팅(handwriting), 메시지 등)를 포함할 수 있고, 사용자가 공유(첨부)하는 다양한 콘텐츠(예: 이모티콘, 사진, 이미지, 동영상 등)를 포함할 수 있다.
이하에서 설명되는 본 발명의 다양한 실시 예들에서는, 설명의 편의를 위하여 전자 장치들이 직접 또는 특정 서버(또는 네트워크)에 기반하여 연결된 상태에서, 유저 인터페이스를 기반으로 입력되는 사용자의 터치 이벤트에 따라 커뮤니케이션 기능을 수행하는 동작을 설명한다. 본 발명의 다양한 실시 예들에서 전자 장치는 본 발명의 다양한 실시 예들에 따른 기능을 지원하는 모든 정보통신기기, 멀티미디어기기, 웨어러블 디바이스 및 그에 대한 응용기기와 같이 AP(application processor)), CP(communication processor), GPU(Graphic Processing Unit), 및 CPU(central processing unit) 등의 다양한 프로세서(예: 프로세서(120, 210)) 중 하나 또는 그 이상을 사용하는 모든 장치를 포함할 수 있다.
본 발명의 다양한 실시 예들에서 전자 장치들은 설정된 통신 인터페이스를 통해 연결될 수 있고, 전자 장치는 설정된 통신 인터페이스로 연결된 다른 전자 장치를 제어하거나, 또는 다른 전자 장치에 의해 제어될 수 있다. 본 발명의 다양한 실시 예들에서 전자 장치들 간의 연결은, 무선 네트워크 기술을 이용하는 무선 통신 인터페이스에 의해 무선 연결되는 것을 대표적으로 설명하지만, USB(universal serial bus), 데이터 커넥터(data connector), 파이어와이어(FireWire), 아이링크(i.Link) 등을 이용하는 유선 통신 인터페이스에 의해 유선 연결될 수도 있다. 본 발명의 다양한 실시 예들에서 무선 네트워크 기술은 근거리 통신 기술 또는 이동통신 기술을 바탕으로, 다양한 전자 장치들 간의 통신을 위한 다양한 무선 통신 기술을 포함할 수 있다. 상기 무선 통신은 LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(global system for mobile communications), WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), IrDA(infrared data association), UWB(ultra wideband), 지그비(ZigBee), 또는 RFID(radio frequency identification) 등 중 적어도 하나를 사용할 수 있다.
이하에서, 본 발명의 다양한 실시 예들에서는 터치 이벤트 중심의 커뮤니케이션, 직관적인 콘텐츠 공유 및 이와 관련된 유저 인터페이스와, 상기 유저 인터페이스를 제공하는 전자 장치 및 상기 전자 장치의 동작 방법에 대하여 살펴보기로 한다. 하지만, 본 발명의 다양한 실시 예들이 하기에서 기술하는 내용에 의해 제한되거나 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다. 또한 이하에서 설명되는 본 발명의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 4는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
상기 도 4를 참조하면, 본 발명의 다양한 실시 예들에 따른 전자 장치 400은 무선 통신부 410, 사용자 입력부 420, 터치스크린 430(예: 터치스크린 디스플레이), 오디오 처리부 440, 메모리 450, 인터페이스부 460, 카메라 모듈 470, 제어부 480, 그리고 전원 공급부 490를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 전자 장치 400은 도 4에 도시된 구성들이 필수적인 것은 아니어서, 도 4에 도시된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
상기 무선 통신부 410은 상기 도 2의 통신 모듈 220과 동일 또는 유사한 구성을 가질 수 있다. 상기 무선 통신부 410은 전자 장치 400와 무선 통신 시스템 사이 또는 전자 장치 400와 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버 106) 사이의 무선 통신을 가능하게 하는 하나 또는 그 이상의 모듈들을 포함할 수 있다. 예를 들어, 무선 통신부 410은 이동통신 모듈 411, 무선 랜(WLAN, wireless local area network) 모듈 413, 근거리 통신 모듈 415, 위치 산출 모듈 417, 그리고 방송 수신 모듈 419 등을 포함하여 구성될 수 있다. 본 발명의 다양한 실시 예들에서, 상기 무선 통신부 410은 설정된 통신 방식에 기반하여 다른 전자 장치와 무선 통신을 수행할 수 있다.
상기 이동통신 모듈 411은 이동통신 네트워크 상에서 기지국, 외부의 전자 장치(예: 전자 장치 104), 그리고 다양한 서버들(예: 통합 서버(integration server), 프로바이더 서버(provider server), 콘텐츠 서버(content server), 인터넷 서버(internet server), 또는 클라우드 서버(cloud server) 등) 중 적어도 하나와 무선 신호를 송수신할 수 있다. 상기 무선 신호는 음성통화 신호, 화상통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
상기 이동통신 모듈 411은 하나 또는 그 이상의 데이터들(예: 콘텐츠(contents), 메시지(message), 메일(mail), 이미지(image), 동영상(video), 날씨 정보(weather information), 위치 정보(location information) 또는 시간 정보(time information) 등)을 수신할 수 있다. 한 실시 예에 따르면, 상기 이동통신 모듈 411은 전자 장치 400와 네트워크(예: 이동통신 네트워크)를 통해 연결되어 있는 다른 전자 장치(예: 전자 장치 104 또는 서버 106) 중 적어도 하나와 연결되어 다양한 데이터들을 획득(수신)할 수 있다. 상기 이동통신 모듈 411은 전자 장치 400의 동작에 필요한 다양한 데이터들을 사용자 요청에 응답하여 외부(예: 서버 106, 또는 다른 전자 장치 104 등)로 전송할 수 있다.
상기 이동통신 모듈 411은 통신 기능을 수행할 수 있다. 예를 들어, 이동통신 모듈 411은 제어부 480의 제어 하에 RF(radio frequency) 신호를 기저대역 신호로 변환하여 제어부 480에게 제공하거나, 제어부 480으로부터의 기저대역 신호를 RF 신호로 변환하여 송신할 수 있다. 여기서, 제어부 480은 다양한 통신 방식에 기반하여 기저대역 신호를 처리할 수 있다. 예를 들어, 상기 통신 방식은, 이들에 한정하지는 않지만, LTE(long-term evolution) 통신 방식, LTE-A(LTE advance) 통신 방식, GSM(global system for mobile communication) 통신 방식, EDGE(enhanced data GSM environment) 통신 방식, CDMA(code division multiple access) 통신 방식, W-CDMA(w-Code division multiple access) 통신 방식 또는 OFDMA(orthogonal frequency division multiple access) 통신 방식 등을 포함할 수 있다.
상기 무선 랜 모듈 413은 무선 인터넷 접속 및 다른 전자 장치(예: 전자 장치 102 또는 서버 106)와 무선 랜 링크(link)를 형성하기 위한 모듈을 나타낼 수 있다. 상기 무선 랜 모듈 413은 전자 장치 400에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WiFi(wireless fidelity), Wibro(wireless broadband), WiMax(world interoperability for microwave access), HSDPA(high speed downlink packet access), 또는 mmWave(millimeter wave) 등이 이용될 수 있다.
상기 무선 랜 모듈 413은 사용자로부터 선택된 하나 또는 그 이상의 데이터들을 외부로 전송하거나, 또는 외부로부터 수신할 수 있다. 한 실시 예에 따르면, 상기 무선 랜 모듈 413은 전자 장치 400과 네트워크(예: 무선 인터넷 네트워크)를 통해 연결되어 있는 다른 전자 장치 또는 서버 중 적어도 하나와 연동하여, 전자 장치 400의 다양한 데이터들을 외부(예: 다른 전자 장치 또는 서버)로 전송하거나, 또는 외부로부터 수신할 수 있다. 상기 무선 랜 모듈 413은 상시 온(on) 상태를 유지하거나, 전자 장치 400의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
상기 근거리 통신 모듈 415은 근거리 통신(short range communication)을 수행하기 위한 모듈을 나타낼 수 있다. 근거리 통신 기술로 블루투스(bluetooth), 저전력 블루투스(BLE, bluetooth low energy), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra wideband), 지그비(zigbee), 또는 NFC(near field communication) 등이 이용될 수 있다.
상기 근거리 통신 모듈 415은 하나 또는 그 이상의 데이터들을 수신할 수 있다. 한 실시 예에 따르면, 상기 근거리 통신 모듈 415은 전자 장치 400과 네트워크(예: 근거리 통신 네트워크)를 통해 연결되어 있는 다른 전자 장치와 연동하여 전자 장치 400의 다양한 데이터들을 다른 전자 장치로 전송하거나 수신 받을 수 있다. 상기 근거리 통신 모듈 415은 상시 온 상태를 유지하거나, 전자 장치 400의 설정 또는 사용자 입력에 따라 턴-온(turn-on)될 수 있다.
상기 위치 산출 모듈 417은 전자 장치 400의 위치를 획득하기 위한 모듈로서, 대표적인 예로는 GPS(global position system) 모듈을 포함할 수 있다. 상기 위치 산출 모듈 415은 삼각측량의 원리로 전자 장치 400의 위치를 측정할 수 있다. 예를 들어, 상기 위치 산출 모듈 417은 3개 이상의 기지국들로부터 떨어진 거리 정보와 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도(latitude), 경도(longitude), 및 고도(altitude)에 따른 3차원의 현 위치 정보를 산출할 수 있다. 또는 상기 위치 산출 모듈 417은 3개 이상의 위성들로부터 전자 장치 400의 위치 정보를 실시간으로 계속 수신함으로써 위치 정보를 산출할 수 있다. 전자 장치 400의 위치 정보는 다양한 방법에 의해 획득될 수 있다.
상기 방송 수신 모듈 419은 방송 채널(예: 위성 방송 채널, 지상파 방송 채널 등)을 통하여 외부의 방송 관리 서버로부터 방송 신호(예: TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호 등) 및/또는 방송과 관련된 정보(예: 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보 등)를 수신할 수 있다.
상기 사용자 입력부 420은 전자 장치 400의 동작 제어를 위한 입력 데이터를 사용자 입력에 응답하여 발생할 수 있다. 상기 사용자 입력부 420은 사용자의 다양한 입력을 검출하기 위한 적어도 하나의 입력 수단을 포함할 수 있다. 예를 들어, 상기 사용자 입력부 420은 키패드(key pad), 돔 스위치(dome switch), 물리 버튼, 터치패드(정압/정전), 조그셔틀(jog & shuttle), 그리고 센서(예: 센서 모듈 240) 등을 포함할 수 있다.
상기 사용자 입력부 420은 일부가 전자 장치 400의 외부에 버튼 형태로 구현될 수 있으며, 일부 또는 전체가 터치 패널(touch panel)로 구현될 수도 있다. 상기 사용자 입력부 420은 본 발명의 다양한 실시 예들에 따른 전자 장치 400의 동작을 개시(initiation)하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다. 예를 들어, 상기 사용자 입력부 420은 커뮤니케이션을 위한 유저 인터페이스 실행, 커뮤니케이션을 위한 타겟 사용자(target user) 선택, 의사 정보 전달, 이미지 촬영, 어플리케이션 실행, 데이터 입력(작성, 삽입), 전자 장치 400의 자세 변화, 콘텐츠 표시, 데이터 전송 또는 수신 등을 수행하기 위한 다양한 사용자 입력을 수신할 수 있고, 상기 사용자 입력에 따른 입력 신호를 발생할 수 있다.
상기 터치스크린 430(예: 터치스크린 디스플레이)은 입력 기능과 표시 기능을 동시에 수행할 수 있는 입출력 수단을 나타내며, 디스플레이 431(예: 디스플레이(160, 260))와 터치감지부 433를 포함할 수 있다. 상기 터치스크린 430은 전자 장치 400과 사용자 사이에 입출력 인터페이스를 제공하며, 사용자의 터치 입력을 전자 장치 400에게 전달할 수 있고, 또한 전자 장치 400으로부터의 출력을 사용자에게 보여주는 매개체 역할을 담당할 수 있다. 상기 터치스크린 430은 사용자에게 시각적인 출력(visual output)을 보여줄 수 있다. 상기 시각적 출력은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타날 수 있다. 예를 들어, 본 발명의 실시 예에서 상기 터치스크린 430은 디스플레이 431를 통해 전자 장치 400의 동작에 따른 다양한 화면을 표시할 수 있다. 상기 다양한 화면은 예를 들어, 커뮤니케이션 수행에 따른 동작 화면, 메신저 화면, 통화 화면, 게임 화면, 동영상 재생 화면, 갤러리(gallery) 화면, 웹 페이지 화면, 홈 화면, 또는 네트워크 연결 화면 등 실행하는 어플리케이션에 대응하게 표시 가능한 다양한 유저 인터페이스(UI, user interface) 기반의 화면이 포함될 수 있다.
상기 터치스크린 430은 상기 디스플레이 431를 통해 특정 화면을 표시하는 중에 상기 터치감지부 433를 통해 사용자로부터 터치(touch), 호버링(hovering) 또는 에어 제스처(air gesture) 중 적어도 하나에 기반하는 이벤트(예: 터치 이벤트, 호버링 이벤트, 에어 제스처 이벤트)를 감지할 수 있고, 상기 이벤트에 따른 입력 신호를 상기 제어부 480에게 전달할 수 있다. 상기 제어부 480은 전달되는 이벤트를 구분하고, 구분된 이벤트에 따른 동작 수행을 제어할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 디스플레이 431은 전자 장치 400에서 처리되는 다양한 정보를 표시(출력)할 수 있다. 예를 들어, 상기 디스플레이 431은 전자 장치 400이 커뮤니케이션 기능을 수행하는 동작과 관련된 유저 인터페이스(UI, user interface) 또는 그래픽 유저 인터페이스(GUI, graphical UI)를 표시할 수 있다. 전자 장치 400가 통화 모드로 동작하는 경우 통화와 관련된 UI 또는 GUI를 표시할 수 있다. 또한 상기 디스플레이 431은 전자 장치 400가 화상통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상과 해당 모드 운영과 관련된 UI 또는 GUI를 표시할 수 있다. 상기 디스플레이 431은 전자 장치 400의 사용과 관련된 데이터, 콘텐츠, 또는 네트워크에 연결된 다른 전자 장치들에 대한 정보를 표시할 수 있다. 상기 디스플레이 431은 실행되는 어플리케이션에 대응하는 다양한 어플리케이션 실행화면을 표시할 수 있다.
상기 디스플레이 431은 전자 장치 400의 회전 방향(또는 놓인 방향)에 따라 가로모드에 의한 화면 표시, 세로모드에 의한 화면 표시, 또는 가로모드와 세로모드 간의 변화에 따른 화면 표시를 지원할 수 있다. 상기 디스플레이 431은 다양한 디스플레이(예: 디스플레이 160)가 사용될 수 있다. 일부 디스플레이는 투명형 또는 광투명형으로 구성되는 투명 디스플레이(transparent display)로 구현될 수 있다.
상기 터치감지부 433은 상기 디스플레이 431에 안착될 수 있으며, 상기 터치스크린 430 표면에 접촉 또는 근접하는 사용자 입력을 감지할 수 있다. 상기 사용자 입력은 싱글터치(single-touch), 멀티터치(multi-touch), 호버링(hovering), 또는 에어 제스처 중 적어도 하나에 기반하여 입력되는 터치 이벤트 또는 근접 이벤트를 포함할 수 있다. 예를 들어, 상기 사용자 입력은 탭(tap), 드래그(drag), 스윕(sweep), 플릭(flick), 드래그앤드롭(drag&drop), 또는 드로잉 제스처(drawing gesture)(예: 필기) 등)의 방식으로 입력될 수 있다. 상기 터치감지부 433는 상기 터치스크린 430 표면에서 사용자 입력(예: 터치 이벤트 또는 근접 이벤트)을 감지하고, 감지된 사용자 입력에 대응하는 신호를 생성하여 상기 제어부 480에게 전달할 수 있다. 상기 제어부 480은 상기 터치감지부 433에서 전달되는 신호에 의해 사용자 입력(예: 터치 이벤트 또는 근접 이벤트)이 발생된 영역에 해당하는 기능 실행을 제어할 수 있다.
상기 터치감지부 433은 본 발명의 다양한 실시 예들에서 전자 장치 400의 사용과 관련된 동작을 개시하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다. 상기 터치감지부 433은 디스플레이 431의 특정 부위에 가해진 압력 또는 디스플레이 431의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 상기 터치감지부 433은 입력 수단(예: 사용자 손가락, 전자 펜 등)이 디스플레이 431의 표면 상에 터치 또는 근접되는 위치 및 면적을 검출할 수 있다. 또한 상기 터치감지부 433은 적용한 터치 방식에 따라 터치 시의 압력까지도 검출할 수 있도록 구현될 수 있다. 상기 터치감지부 433에 대한 터치 또는 근접 입력이 있는 경우, 그에 대응하는 신호(들)는 터치스크린 제어기(미도시)로 전달될 수 있다. 상기 터치스크린 제어기(미도시)는 그 신호(들)를 처리한 다음 해당 데이터를 제어부 480에게 전달할 수 있다. 이로써, 제어부 480은 터치스크린 430의 어느 영역이 터치 또는 근접 되었는지 확인할 수 있고, 그에 대응하는 기능 실행 등을 처리할 수 있다.
상기 오디오 처리부 440은 도 2의 오디오 모듈 280과 동일 또는 유사한 구성을 가질 수 있다. 상기 오디오 처리부 440은 상기 제어부 480로부터 입력 받은 오디오 신호를 스피커(SPK, speaker) 441로 전송하고, 마이크(MIC, microphone) 443로부터 입력 받은 음성 등의 오디오 신호를 제어부 480에 전달하는 기능을 수행할 수 있다. 상기 오디오 처리부 440은 음성/음향 데이터를 제어부 480의 제어에 따라 스피커 441를 통해 가청음으로 변환하여 출력하고, 마이크 443로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부 480에게 전달할 수 있다. 상기 오디오 처리부 440은 데이터에 삽입된 오디오 처리 정보(예: 효과음, 음악파일 등)에 따라 사용자 입력에 반응하는 오디오 신호를 출력할 수 있다.
상기 스피커 441은 무선 통신부 410로부터 수신되거나, 또는 메모리 450에 저장된 오디오 데이터를 출력할 수 있다. 상기 스피커 441은 전자 장치 400에서 수행되는 다양한 동작(기능)과 관련된 음향 신호를 출력할 수도 있다. 상기 스피커 441은 음성 인식, 음성 복제, 디지털 레코딩(recording) 및 전화 기능과 같은 오디오 스트림(stream)의 출력을 담당할 수 있다. 본 발명의 다양한 실시 예들에서는 도시하지 않았지만, 상기 스피커 441은 탈부착 가능한(attachable and detachable) 이어폰(ear phone), 헤드폰(head phone) 또는 헤드셋(head set)을 포함할 수 있고, 이들은 외부 포트를 통해 전자 장치 400에 연결될 수 있다.
상기 마이크 443은 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 상기 마이크 443을 통해 처리되는 음성 데이터는 전자 장치 400이 통화 모드인 경우 이동통신 모듈 411을 통하여 외부로 송신 가능한 형태로 변환되어 출력될 수 있다. 상기 마이크 443에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘(noise reduction algorithm)이 구현될 수 있다. 상기 마이크 443은 음성 명령(예: 커뮤니케이션 동작을 개시하기 위한 음성 명령), 음성 인식, 디지털 레코딩(recording) 및 전화 기능과 같은 오디오 스트림의 입력을 담당할 수 있다. 예를 들어, 상기 마이크 443은 음성 신호를 전기 신호로 변환할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 상기 마이크 443은 전자 장치 400에 실장되는 내장 마이크와 전자 장치 400에 연결되는 외장 마이크를 포함할 수 있다.
상기 메모리 450(예: 메모리(130, 230))은 제어부 480에 의해 실행되는 하나 또는 그 이상의 프로그램들(one or more programs)을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 입/출력되는 데이터들은 예를 들어, 콘텐츠, 메신저 데이터(예: 대화 데이터), 컨택트(contact) 정보(예: 유선 또는 무선 전화번호 등), 메시지, 미디어 파일(예: 오디오, 동영상, 이미지 등의 파일) 등이 포함될 수 있다.
상기 메모리 450은 전자 장치들이 연결되어 사용자가 커뮤니케이션을 위해 입력하는 다양한 이벤트에 대응하여 관련 정보를 송수신 하는 것과 관련되는 하나 또는 그 이상의 프로그램들과 데이터를 저장할 수 있다. 예를 들어, 상기 메모리 450은 본 발명의 다양한 실시 예들에서 커뮤니케이션을 위한 유저 인터페이스를 표시하는 동작, 대화 상대를 표시하는 동작, 대화 상대와 공유되는 내용을 표시하는 동작, 터치 이벤트에 대응하는 정보를 전달하거나 수신하는 동작, 콘텐츠 공유 동작 등을 처리하는 하나 또는 그 이상의 프로그램들 및 그에 따라 처리되는 데이터를 저장할 수 있다.
상기 메모리 450은 전자 장치 400의 동작에 따른 사용 빈도(예: 다른 전자 장치의 연결 빈도, 어플리케이션 사용 빈도, 콘텐츠 사용 빈도 등), 중요도 및 우선순위도 함께 저장할 수 있다. 상기 메모리 450에는 터치스크린 430 상의 터치 입력 또는 근접 입력에 응답하여 출력되는 다양한 패턴(pattern)의 진동 및 음향에 관한 데이터를 저장할 수도 있다. 상기 메모리 450은 전자 장치 400의 운영체제(OS, operating system), 터치스크린 430을 이용한 입력 및 표시 제어와 관련된 프로그램, 전자 장치 400의 다양한 동작(기능)들의 제어와 관련된 프로그램, 그리고 각 프로그램들의 동작에 의해 발생되는 다양한 데이터 등을 지속적으로 또는 일시적으로 저장할 수 있다.
상기 메모리 450(예: 메모리(130, 230))은 확장 메모리(예: 외장 메모리 234) 또는 내부 메모리(예: 내장 메모리 232)를 포함할 수 있다. 전자 장치 400은 인터넷 상에서 상기 메모리 450의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
상기 메모리 450은 다양한 소프트웨어를 저장할 수 있다. 예를 들어, 소프트웨어 구성요소는 운영 체제(operating system) 소프트웨어 모듈, 통신 소프트웨어 모듈, 그래픽 소프트웨어 모듈, 유저 인터페이스 소프트웨어 모듈, MPEG(Moving Picture Experts Group) 모듈, 카메라 소프트웨어 모듈, 또는 하나 이상의 어플리케이션 소프트웨어 모듈 등을 포함할 수 있다. 또한 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈을 명령어 세트(instruction set)라고 표현하기도 한다. 모듈은 또한 프로그램으로 표현하기도 한다. 본 발명의 다양한 실시 예들에서 상기 메모리 450은 앞서 기술한 모듈 이외에 추가적인 모듈(명령어들)을 포함할 수 있다. 또는 필요에 따라, 일부의 모듈(명령어들)을 사용하지 않을 수도 있다.
상기 운영 체제 소프트웨어 모듈은 일반적인 시스템 동작(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함할 수 있다. 이러한 일반적인 시스템 작동의 제어는, 예를 들면, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 의미할 수 있다. 또한 운영 체제 소프트웨어 모듈은 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행할 수 있다.
상기 통신 소프트웨어 모듈은 무선 통신부 410 또는 인터페이스부 460을 통해 웨어러블 디바이스, 디바이스, 컴퓨터, 서버 또는 휴대용 단말기 등 다른 전자 장치와 통신을 가능하게 할 수 있다. 그리고, 통신 소프트웨어 모듈은 해당 통신방식에 해당하는 프로토콜 구조로 구성될 수 있다.
상기 그래픽 소프트웨어 모듈은 터치스크린 430(예: 터치스크린 디스플레이) 상에 그래픽(graphics)을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 상기 그래픽이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함하는 의미로 사용될 수 있다.
상기 유저 인터페이스 소프트웨어 모듈은 유저 인터페이스(UI)에 관련한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 유저 인터페이스의 상태가 어떻게 변경되는지 또는 유저 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함할 수 있다.
상기 MPEG 모듈은 디지털 콘텐츠(예: 비디오, 오디오) 관련 프로세스 및 기능들(예: 콘텐츠의 생성, 재생, 배포 및 전송 등)을 가능하게 하는 소프트웨어 구성요소를 포함할 수 있다.
상기 카메라 소프트웨어 모듈은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성요소를 포함할 수 있다.
상기 어플리케이션 모듈은 렌더링 엔진(rendering engine)을 포함하는 웹브라우저(browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 접촉 리스트(touch list), 위젯(widget), 디지털 저작권 관리(DRM, digital right management), 음성 인식(voice recognition), 위치 결정 기능(position determining function), 위치기반 서비스(location based service) 등을 포함할 수 있다. 본 발명의 다양한 실시 예들에 따라, 상기 어플리케이션 모듈은 전자 장치를 이용한 커뮤니케이션을 수행하기 위한 명령어들을 포함할 수 있다. 예를 들어, 상기 어플리케이션 모듈은 커뮤니케이션을 위해 설정된 유저 인터페이스를 제공할 수 있고, 유저 인터페이스를 통해 입력되는 터치 이벤트에 대응하여 사용자가 의도하는 의사 정보를 다른 전자 장치에 전달하거나, 다른 전자 장치로부터 수신하여 출력(표시, 진동 등)하는 동작을 처리할 수 있다.
상기 인터페이스부 460은 도 2의 인터페이스 270과 동일 또는 유사한 구성을 가질 수 있다. 상기 인터페이스부 460은 전자 장치 400에 연결되는 모든 외부 다른 전자 장치와의 인터페이스 역할을 수행할 수 있다. 상기 인터페이스부 460은 외부 다른 전자 장치로부터 데이터를 전송 받거나, 전원을 공급받아 전자 장치 400 내부의 각 구성들에 전달하거나, 전자 장치 400 내부의 데이터가 외부 다른 전자 장치로 전송되도록 할 수 있다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 입/출력(Input/Output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스부 460에 포함될 수 있다.
상기 카메라 모듈 470(예: 카메라 모듈 291)은 전자 장치 400의 촬영 기능을 지원하는 구성을 나타낸다. 상기 카메라 모듈 470은 피사체의 영상(정지 영상 또는 동영상) 촬영을 지원할 수 있다. 상기 카메라 모듈 470은 제어부 480의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 데이터를 디스플레이 431 및 제어부 480에 전달할 수 있다. 상기 카메라 모듈 470은 입력된 광 신호를 전기적 신호로 변환하는 이미지 센서(또는 카메라 센서)(미도시)와, 상기 이미지 센서로부터 입력되는 전기적 신호를 디지털 영상 데이터로 변환하는 이미지 신호 처리부(미도시) 등을 포함하여 구성될 수 있다. 상기 이미지 센서는 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide-semiconductor) 등의 방식을 이용하는 센서를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 카메라 모듈 470은, 예를 들면, 물체가 방사(radiation) 또는 반사(reflection)하는 빛의 파장(wavelength)을 감지하여 색을 판별하기 위한 컬러 센서(color sensor)를 포함할 수 있다. 상기 카메라 모듈 470은 사용자 설정에 따른 다양한 촬영 옵션(예: 주밍(zooming), 화면 비율, 효과(effect)(예: 스케치, 모노, 세피아, 빈티지, 모자이크, 액자 등)에 따른 촬영을 지원하기 위한 이미지 처리 기능을 지원할 수 있다.
상기 제어부 480은 전자 장치 400의 전반적인 동작을 제어할 수 있다. 예를 들어, 상기 제어부 480은 음성 통신, 데이터 통신, 화상 통신 등에 관련된 제어를 수행할 수 있다. 상기 제어부 480은 하나 이상의 프로세서(예: 프로세서 210)를 포함하거나, 또는 제어부 480을 프로세서로 칭할 수도 있다. 예를 들어, 상기 제어부 480은 커뮤니케이션 프로세서(CP, communication processor), 어플리케이션 프로세서(AP, application processor), 인터페이스(예: GPIO(general purpose input/output)), 또는 내부 메모리 등을 별개의 구성요소로 포함하거나, 또는 하나 이상의 집적화된 회로에 집적화될 수 있다. 상기 어플리케이션 프로세서는 여러 가지의 소프트웨어 프로그램을 실행하여 전자 장치 400을 위한 여러 기능을 수행할 수 있고, 상기 커뮤니케이션 프로세서는 음성 통신 및 데이터 통신을 위한 처리 및 제어를 수행할 수 있다. 또한 상기 제어부 480은 메모리 450에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트(instruction set))을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할을 담당할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 제어부 480은 전자 장치들을 연동하여 주어진 유저 인터페이스에 의한 사용자들 간의 커뮤니케이션을 지원하는 것과 관련된 동작을 제어할 수 있다. 예를 들어, 상기 제어부 480은 사용자 입력부 420 또는 무선 통신부 410으로부터 전달되는 데이터를 처리하고 그 결과를 표시하도록 디스플레이 431를 제어할 수 있다. 상기 제어부 480은 사용자 입력부 420으로부터 전달되는 데이터 또는 메모리 450에 저장된 데이터를 기반으로 외부(예: 서버, 다른 전자 장치)와의 통신을 위해 무선 통신부 410을 제어할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 제어부 480은 사용자 입력에 기반하여 이벤트를 다양한 전송 방식에 따라 전송하도록 제어할 수 있다. 상기 제어부 480은 사용자 입력에 대응하여 해당 이벤트를 실시간으로 전송하거나, 또는 사용자 입력에 대응하는 이벤트를 설정된 조건만큼 누적한 후 누적 이벤트를 전송하도록 동작할 수 있다. 상기 제어부 480은 이벤트 전송에 대응하는 다양한 응답을 수신할 수 있고, 수신된 응답에 대응하여 전송 이벤트에 대한 피드백 효과를 다르게 제공할 수 있다. 예를 들어, 상기 제어부 480은 전송 이벤트에 대해 확인 메시지가 수신되는 경우 대화 상대에 의한 읽음 표시를 제공할 수 있고, 전송 이벤트에 대해 프레즌스(presence) 메시지가 수신되는 경우 대화 상대가 프레즌스 상태임을 알리는 프레즌스 정보 표시를 제공할 수 있고, 전송 이벤트에 대해 미확인 메시지가 수신되는 경우 대화 상대에 의해 이벤트가 미확인 됨을 알리는 언리드(unread) 정보 표시를 제공할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 제어부 480은 다른 전자 장치로부터 이벤트를 수신할 시 이벤트 종류에 대응하는 이벤트 출력을 처리할 수 있다. 상기 제어부 480은 수신 이벤트에 대한 사용자의 확인 여부를 판단할 수 있고, 사용자의 이벤트 미확인 시 사용자의 프레즌스 상태를 판단할 수 있다. 상기 제어부 480은 사용자의 프레즌스 상태 여부에 대응하여 이벤트 수신에 대한 알림 또는 미알림 등을 처리할 수 있다.
상기 제어부 480의 본 발명의 다양한 실시 예들에 따른 제어 동작은 후술하는 도면들을 참조하여 설명된다.
본 발명의 다양한 실시 예들에 따르면, 상기 제어부 480은 메모리 450에 저장된 소프트웨어 모듈들과 연동하여 본 발명의 다양한 실시 예들에 따른 전자 장치 400의 커뮤니케이션 기능을 수행할 수 있다. 발명의 다양한 실시 예들에 따르면, 상기 제어부 480은 상기한 다양한 기능들을 처리할 수 있는 하나 이상의 모듈들로 구현될 수 있다. 본 발명의 다양한 실시 예들에 따르면, 상기 제어부 480은 메모리 450에 저장되는 하나 또는 그 이상의 프로그램들을 실행하여 본 발명의 다양한 실시 예들에 따른 전자 장치 400의 동작(예: 유저 인터페이스를 이용한 터치 이벤트에 기반하여 커뮤니케이션 기능을 실행하는 동작)을 제어하는 하나 또는 그 이상의 프로세서들(one or more processors)로 구현될 수 있다.
본 발명의 다양한 실시 예들에 따른 제어부 480은 상기의 기능 외에 전자 장치 400의 통상적인 기능과 관련된 각종 동작을 제어할 수 있다. 예를 들어, 제어부 480은 특정 어플리케이션 실행 시 그의 운영 및 화면 표시를 제어할 수 있다. 또한 제어부 480은 터치 기반 또는 근접 기반의 입력 인터페이스(예: 터치스크린 430)에서 지원하는 다양한 터치 이벤트 또는 근접 이벤트 입력에 대응하는 입력신호를 수신하고 그에 따른 기능 운영을 제어할 수 있다. 또한 제어부 480은 유선 통신 기반 또는 무선 통신 기반으로 각종 데이터의 송수신을 제어할 수도 있다.
상기 전원 공급부 490은 제어부 480의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성 요소들의 동작에 필요한 전원을 공급할 수 있다. 본 발명의 다양한 실시 예들에서 상기 전원 공급부 490은 제어부 480의 제어에 의해 제어부 480의 하나 또는 그 이상의 프로세서들, 디스플레이 431, 무선 통신부 410 등에 전원을 공급 또는 차단(on/off)할 수 있다.
본 발명에서 설명되는 다양한 실시 예들은 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 발명에서 설명되는 다양한 실시 예들은 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
본 발명의 다양한 실시 예들에서, 상기 기록 매체는 커뮤니케이션을 위한 대화 상대와 관련된 정보를 표시하는 제1 영역(예: 대화 상대 표시 영역)과 상기 대화 상대와 공유하는 내용을 표시하는 제2 영역(예: 공유 영역)을 포함하는 유저 인터페이스를 표시하는 동작, 상기 유저 인터페이스에 기반하여 상기 커뮤니케이션에 대응하는 이벤트 송수신 및 관련 정보 표시를 처리하는 동작을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
그리고 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부 480 자체로 구현될 수 있다. 또한 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수도 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치 400이 수행하는 기능 중의 적어도 일부는 그 외부 장치(예: 서버 106)에 의해 수행될 수 있다. 예를 들면, 상기 서버 106은 제어부 480에 대응하는 처리 모듈을 포함하고, 상기 처리 모듈을 이용하여 전자 장치 400에서 전송되는 정보의 적어도 일부에 기반하여 전자 장치 400의 커뮤니케이션 기능 실행을 제어하는 것과 관련된 기능의 적어도 일부를 처리하고 그 결과를 전자 장치 400에 전송할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치 400은, 통신 모듈; 터치스크린 디스플레이; 상기 통신 모듈 및 상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서; 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하며, 상기 메모리는, 상기 통신 모듈을 이용하여 외부 전자 장치와 데이터를 송수신하도록 구성된 어플리케이션 프로그램, 및 상기 어플리케이션 프로그램 실행 시에, 상기 프로세서가, 상기 어플리케이션 프로그램의 유저 인터페이스를 상기 터치스크린 디스플레이 상에 표시하도록 하는 명령어들(instructions)을 저장하고, 상기 유저 인터페이스는, 상기 외부 전자 장치와 연관된 사용자와 관련된 이미지 또는 텍스트 중 적어도 하나를 표시하는 제1 영역, 상기 외부 전자 장치와 공유하는 데이터를 표시하는 제2 영역을 포함하고, 상기 제1 영역은 상기 제2 영역에 적어도 일부 중첩되는 것을 특징으로 포함할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치 400은, 통신 모듈; 터치스크린 디스플레이; 상기 통신 모듈 및 상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서; 및 상기 프로세서와 전기적으로 연결된 메모리를 포함하며, 상기 메모리는, 상기 통신 모듈을 이용하여 외부 전자 장치와 데이터를 송수신하도록 구성된 어플리케이션 프로그램, 및 상기 어플리케이션 프로그램 실행 시에, 상기 프로세서가, 상기 외부 전자 장치와 연관된 사용자와 관련된 이미지 또는 텍스트 중 적어도 하나를 표시하는 제1 영역, 및 상기 외부 전자 장치와 공유하는 데이터를 표시하는 제2 영역을 포함하는 상기 어플리케이션 프로그램의 유저 인터페이스를 상기 터치스크린 디스플레이 상에 표시하고, 상기 제 1 영역 또는 상기 제 2 영역의 적어도 일부를 통하여 입력을 수신하고, 상기 수신된 입력에 적어도 일부 기초하여, 상기 통신 모듈을 통하여 데이터를 송신하도록 하는 명령어들(instructions)을 저장하는 것을 특징으로 포함할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치 400은, 대화 상대를 표시하는 제1 영역(예: 대화 상대 표시 영역)과 상기 대화 상대와 공유되는 내용을 표시하는 제2 영역(예: 공유 영역)을 포함하는 유저 인터페이스를 표시(예: 디스플레이 431)하고, 상기 제1 영역 또는 상기 제2 영역에 기반하여 사용자 입력을 수신(예: 터치 감지부 433)하는 터치스크린 430(예: 터치스크린 디스플레이), 상기 제1 영역 또는 상기 제2 영역에 기반하여 이벤트를 전송하거나, 대화 상대의 전자 장치로부터 이벤트를 수신하는 통신부(예: 이동통신 모듈 411, 무선 랜 모듈 413), 상기 제1 영역 또는 상기 제2 영역에 기반하는 사용자 입력에 대응하여 이벤트를 인식하고, 상기 이벤트에 대응하는 피드백 효과를 상기 사용자 입력이 감지되는 제1 영역 또는 제2 영역을 통해 표시하고, 상기 이벤트를 상기 제1 영역의 대화 상대의 전자 장치에 전송하고, 상기 전자 장치로부터 상기 이벤트에 대응하여 수신하는 응답과 관련된 정보를 상기 제1 영역 또는 상기 제2 영역을 통해 표시하도록 제어하는 제어부 480을 포함할 수 있다.
도 5 및 도 6은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스의 다양한 화면 구성 예시를 도시하는 도면들이다.
상기 도 5 및 상기 도 6을 참조하면, 전자 장치 400은 디스플레이 431의 적어도 일부 영역에 대화 상대 표시 영역 500과 공유 영역 600(또는 대화 영역)을 포함하여 커뮤니케이션을 위한 유저 인터페이스를 제공할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 유저 인터페이스는 구현에 따라서 상기 공유 영역 600을 제어하는 인터페이스 영역 700(또는 제어 영역)을 더 포함할 수 있다.
상기 대화 상대 표시 영역 500은 등록된 대화 상대 중 적어도 한 명 이상의 대화 상대(예: 커뮤니케이션을 위한 타겟 사용자)에 대한 정보를 표시하는 영역을 나타낼 수 있다. 본 발명의 다양한 실시 예들에서 상기 대화 상대는 연락처, 계정, 기기 또는 IP(internet protocol) 주소, 위치 정보 등을 기반으로 등록될 수 있다. 상기 대화 상대(예: 정보) 표시는 이미지, 문자 또는 이들의 조합으로 구성될 수 있다. 상기 대화 상대 표시 영역 500은 대화 상대를 알 수 있도록 표시하는 기능 외에도 사용자의 입력을 수신 받을 수 있다. 상기 대화 상대 표시 영역 500은 하나 이상의 다른 전자 장치의 사용자(예: 대화 상대)의 정보를 표시할 수 있고, 다양한 형태의 구성이 가능하다. 본 발명의 다양한 실시 예들에서 상기 대화 상대 표시 영역 500은 상기 공유 영역 600과 동일하거나 유사한 형태의 도형으로 구성될 수 있다.
상기 공유 영역 600은 다른 전자 장치의 사용자(예: 대화 상대)와 공유되는 내용을 표시하는 영역을 나타낼 수 있다. 예를 들어, 상기 공유 영역 600은 메시지 또는 콘텐츠를 공유하기 위한 영역을 나타낼 수 있다. 본 발명의 다양한 실시 예들에서 상기 메시지는 사용자의 터치, 펜, 제스처 등의 터치 이벤트 기반의 입력에 의한 Knock, Hand Write, 문자 등이 포함될 수 있다. 본 발명의 다양한 실시 예들에서 상기 콘텐츠는 전자 장치 내부 또는 외부에 저장된 사진 또는 동영상 등이 포함될 수 있다. 본 발명의 다양한 실시 예들에서 상기 콘텐츠는 실시간으로 촬영되는 이미지, 동영상 또는 음성 등이 포함될 수 있다. 상기 공유 영역 600은 동영상이나 애니메이션 이미지 재생 시 그를 표시하는 재생 영역으로 이용할 수 있다. 본 발명의 다양한 실시 예들에서 상기 공유 영역 600은 메시지와 콘텐츠를 공유할 뿐만 아니라, 다양한 콘텐츠를 생성하기 위한 공유 데이터 생성 영역으로 이용할 수 있다. 예를 들어, 상기 공유 영역 600은 카메라 프리뷰 영역으로 사용하거나, 또는 이모티콘(emoticon) 생성을 위한 작업 영역으로 사용할 수 있다. 상기 공유 영역 600은 다른 전자 장치와 공유하는 화면을 표시할 수 있고, 다양한 형태의 구성이 가능하다. 본 발명의 다양한 실시 예들에서 상기 공유 영역 600은 상기 대화 상대 표시 영역 500과 동일하거나 유사한 형태의 도형 또는 다른 형태의 도형으로 구성될 수 있고, 상기 대화 상대 표시 영역 500에 인접하거나 중첩되어 제공될 수 있다.
상기 인터페이스 영역 700은 상기 공유 영역 600을 통해 실행하고자 하는 기능(동작)을 선택하기 위한 제1 인터페이스를 제공할 수 있고, 또한 상기 공유 영역 600에서 실행(표시)되는 기능과 관련된 제어를 수행할 수 있는 제2 인터페이스가 제공될 수 있다. 상기 인터페이스 영역 700에서 상기 제1 인터페이스와 상기 제2 인터페이스는 주종 관계를 이룰 수 있다. 한 실시 예에 따르면, 제1 인터페이스를 통해 특정 기능이 실행될 시 상기 제1 인터페이스는 상기 특정 기능에 대응하는 제2 인터페이스로 전환될 수 있다. 상기 인터페이스 영역 700은 하나 이상의 기능을 포함할 수 있으며, 멀티 기능을 하나의 인터페이스로 제공할 수도 있다. 한 실시 예에 따르면, 상기 인터페이스 영역 700은 복수의 기능들(예: 사진 촬영과 전송)을 한 번에 수행할 수 있는 아이템(예: 아이콘, 버튼, 조그 다이얼)을 제공할 수 있다. 본 발명의 다양한 실시 예들에서 상기 인터페이스 영역 700은 미포함 할 수도 있다.
본 발명의 다양한 실시 예들에서 상기 대화 상대 표시 영역 500, 상기 공유 영역 600 및 상기 인터페이스 영역 700(선택적으로 포함)을 포함하는 유저 인터페이스는, 상기 도 5의 (A), (B), (C), (D), (E), (F) 예시들에 도시한 바와 같이, 전자 장치 400의 설정에 대응하여 다양하게 구성(배치)될 수 있다. 본 발명의 다양한 실시 예들에서 유저 인터페이스는 상기에서 설명한 영역들을 포함하는 다양한 형태의 구성이 가능하다. 이하의 설명에서는, 본 발명의 다양한 실시 예들에 따른 유저 인터페이스가 상기 도 5의 (D) 예시와 같은 형태로 구성되는 것을 예시로 설명한다.
상기 도 6을 참조하면, 상기 도 6은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스의 구성을 설명하기 위한 일 예시를 나타낸 것이다. 이하의 설명에서, 설명의 편의상 대화 상대 표시 영역 500은 서클(circle)이라는 용어로 대체하여 사용될 수 있고, 공유 영역 600은 쉐어드 월(shared wall)이라는 용어로 대체하여 사용될 수 있다.
상기 대화 상대 표시 영역 500(또는 서클)은 사용자의 프로필(profile) 사진, 프레즌스(presence) 정보, 실시간 신호(signal)(예: 터치 이벤트에 대응하는 신호) 송수신, 또는 언리드 플래그(unread flag) 등을 표시할 수 있다.
상기 공유 영역 600(또는 쉐어드 월)은 연결(connection)을 맺은 대화 상대(상대방)과 함께 공유하는 화면을 나타낼 수 있으며, 예를 들면, 사용자 입력에 대응하는 사진, 동영상, 메모, 또는 이모티콘 등 적어도 일부가 포함되어 표시될 수 있다. 본 발명의 다양한 실시 예에서 상기 공유 영역 600은 유저 인터페이스가 최초 실행(최초 진입) 시 웰컴(welcome) 문구 또는 가이드 등이 제공될 수 있고, 동영상 최초 확인 시 오토 플레이(auto play) 및 플레이백(playback) 버튼이 표시될 수 있다. 상기 공유 영역 600은 공유 영역 600 내에서 공유(또는 표시)되는 화면(내용)을 전자 장치 400에 저장할 수 있는 아이템을 제공할 수 있다.
상기 인터페이스 영역 700은 상기 공유 영역 600에 공유(표시)되는 내용을 입력하거나 제어할 수 있는 다양한 아이템(예: 버튼)이 제공될 수 있다. 예를 들어, 상기 인터페이스 영역 700은 카메라 관련 기능(예: photo, video 등) 진입을 위한 버튼 710, 갤러리(gallery) 기능 진입을 위한 버튼 720, 메모(memo) 기능 진입을 위한 버튼 730, 이모티콘 기능 진입을 위한 버튼 740, 또는 메시지(message) 기능 진입을 위한 버튼 750 등을 포함할 수 있다. 본 발명의 다양한 실시 예들에서 상기 인터페이스 영역 700은 상기에서 설명한 아이템들 전체 또는 일부가 포함될 수 있고, 전자 장치 400의 설정에 따라 다양한 아이템들이 더 포함되어 구현될 수 있다. 또한 상기 인터페이스 영역 700은 상기한 버튼들 중 특정 버튼에 의해 해당 기능에 진입될 시 진입되는 기능에 대응하는 하위 기능의 다른 아이템으로 대체되거나, 진입되는 기능에 따라 인터페이스 영역 700의 표시가 생략될 수도 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 인터페이스 영역 700에서 별도의 통신 어플리케이션(communication application)(예: 메시지(SMS, MMS), 메신저(IM), 화상통화(video call) 등)과 링크(link) 기반으로 동작하는 기능에 대해서는 해당 컨택트(contact)와 수행할 수 있는 대화 뷰(conversation view)를 전환하여 표시할 수 있다. 한 실시 예에 따르면, 메시지 기능과 관련된 버튼인 경우, 해당 버튼 입력에 반응하여 메시지 기능을 실행할 수 있고, 상기 대화 상대 표시 영역 500의 대화 상대가 수신처로 자동 입력된 메시지 작성 화면으로 전환되어 표시될 수 있다. 한 실시 예에 따르면, 메신저 기능과 관련된 버튼인 경우, 해당 버튼 입력에 반응하여 메신저 기능을 실행할 수 있고, 상기 대화 상대 표시 영역 500의 대화 상대와의 대화 화면으로 전환되어 표시될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 인터페이스 영역 700에서 별도의 통신 어플리케이션(예: 메시지(SMS, MMS), 메신저(IM), 화상통화(video call)과 링크(link) 기반으로 동작하는 기능에 대해서는 상기 공유 영역 600에 해당 컨택트(contact)와 수행할 수 있는 대화 뷰(conversation view)를 제공할 수 있다. 한 실시 예에 따르면, 화상통화와 관련된 버튼인 경우, 해당 버튼 입력에 반응하여 상기 공유 영역 600에 상기 대화 상대 표시 영역 500의 대화 상대를 수신처로 하는 화상통화 기능을 실행 할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 도 6의 예시와 같이 유저 인터페이스가 확장된 상태(예: 상기 영역들(500, 600, 700)이 모두 표시되는 상태 또는 익스팬디드 서클)에서, 축소된 상태(예: 대화 상대 표시 영역 500의 대화 상대의 정보에 기반하여 위젯 또는 아이콘 형태로 표시되는 상태 또는 플로팅 서클로 표시되는 상태)로 전환하기 위한 아이템 선택, 또는 상기 유저 인터페이스의 제 1영역과 제 2 영역 및 제 3 영역을 제외한 영역 선택 시 상기 익스팬디드 서클(expanded circle)이 상기 플로팅 서클(floating circle)로 표시될 수 있고, 백그라운드(background)로 동작 중인 어플리케이션들 중 어느 하나(예: 백그라운드로 실행 중인 어플리케이션들 중 최상위 어플리케이션 또는 바로 이전에 사용된 어플리케이션)가 포그라운드(foreground) 어플리케이션으로 선택되어 제공될 수 있다. 이에 대한 화면 예시가 도 7에 도시된다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치 400에서 커뮤니케이션을 지원하기 위한 유저 인터페이스는, 커뮤니케이션을 위한 대화 상대와 관련된 정보를 표시하는 제1 영역(예: 대화 상대 표시 영역 500), 상기 대화 상대와 공유하는 내용을 표시하는 제2 영역(예: 공유 영역 600)을 포함하고, 상기 제1 영역과 상기 제2 영역은 유사한 형태의 도형(예: 서클 형태 등)으로 구성되며, 상기 제2 영역은 상기 제1 영역에 인접하거나 적어도 일부 중첩되는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 유저 인터페이스는 상기 제2 영역을 제어하는 제3 영역(예: 인터페이스 영역 700)을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제1 영역은 커뮤니케이션을 위해 등록된 대화 상대 중 적어도 하나의 대화 상대와 관련된 정보를 표시하고, 상기 대화 상대는 연락처, 계정, 기기 또는 IP(internet protocol) 주소, 위치 정보에 기반하여 등록하며, 상기 정보는 이미지, 문자 또는 이들 조합에 의해 구성되는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제1 영역 및 상기 제2 영역은 사용자 입력을 수신하고, 상기 사용자 입력에 대응하는 데이터를 표시하며, 상기 사용자 입력은 상기 제1 영역 또는 상기 제2 영역에서 이루어지는 터치 기반의 입력을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제2 영역은 사용자 입력에 대응하여 데이터 표시 영역, 콘텐츠 재생 영역, 카메라 프리뷰 영역 또는 이모티콘 생성 영역으로 이용하는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제3 영역은 상기 제2 영역을 통해 기능을 실행하기 위한 제1 인터페이스, 상기 제2 영역에서 실행되는 기능과 관련된 제어를 수행하기 위한 제2 인터페이스를 포함하고, 상기 제1 인터페이스와 상기 제2 인터페이스는 주종 관계를 가지며, 제1 인터페이스에 의한 상기 기능 실행에 대응하여 상기 제1 인터페이스가 상기 제2 인터페이스로 전환되는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제3 영역은 상기 제2 영역을 통한 기능 실행에 대응하는 하나 이상의 인터페이스(예: 단일 기능 버튼 또는 조그 다이얼 형태의 선택 버튼), 상기 제2 영역을 통한 기능 실행 및 데이터 공유를 위한 멀티 기능에 대응하는 인터페이스(예: 멀티 기능 버튼)를 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 유저 인터페이스는 전체 화면 또는 일부 화면으로 표시하고, 상기 제1 영역 및 상기 제2 영역을 제외한 다른 부분은 투명 또는 반투명하게 표시하거나 상기 전자 장치400또는 외부 전자 장치에 저장된 이미지를 필터 처리(예: 블러(blur), 흑백)하여 표시하는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제1 영역 및 상기 제2 영역을 제외한 영역에서 사용자 입력에 기반하여, 상기 제1 영역 및 상기 제2 영역을 포함하는 제1 유저 인터페이스(예: 익스팬디드 서클)에서, 상기 제1 영역을 포함하는 제2 유저 인터페이스(예: 플로팅 서클)로 전환하는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제2 유저 인터페이스는 상기 제2 영역에 대응하는 정보 수신 알림을 표시하는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제1 영역 또는 상기 제2 영역에 기반하는 사용자 입력에 응답하여 상기 대화 상대의 전자 장치에 이벤트를 전송하고, 상기 제1 영역 또는 상기 제2 영역에 기반하여 상기 이벤트에 대한 상기 대화 상대의 상태를 통지하는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 사용자의 상태 통지는 상기 제1 영역 또는 상기 제2 영역에 기반하여 상기 이벤트에 대한 사용자 확인 여부(예: 리드/언리드), 프레즌스 정보를 표시하는 것을 포함할 수 있다.
도 7은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스의 예시를 도시하는 도면이다.
상기 도 7을 참조하면, 상기 도 7은 유저 인터페이스가 플로팅 서클로 전환되어 제공되는 화면 예시를 나타낸 것이다. 본 발명의 다양한 실시 예들에 따르면, 익스팬디드 서클 형태의 유저 인터페이스(이하, 익스팬디드 서클)에서 사용자 입력에 기반하여 플로팅 서클 형태의 유저 인터페이스(이하, 플로팅 서클 705)로 전환될 수 있고, 그 역도 가능하다. 본 발명의 다양한 실시 예들에 따르면, 상기 도 7의 참조부호 705에 도시한 바와 같이 플로팅 서클은 상기 익스팬디드 서클의 대화 상대 표시 영역 500에 기반하여 제공할 수 있다. 또한 상기 플로팅 서클로 전환 시 백그라운드로 동작 중인 어플리케이션들 중 어느 하나가 포그라운드 어플리케이션으로 선택되어 그의 화면 701이 제공될 수 있다. 본 발명의 다양한 실시 예들에 따르면, 상기 플로팅 서클 705는 상기 화면 701의 임의의 영역으로 자유롭게 이동될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 유저 인터페이스에 기반하여 수행하는 커뮤니케이션을 종료(예: 기능(동작) 종료)(dismiss)할 수 있는 별도의 종료 영역 707이 제공될 수 있다. 한 실시 예에 따르면, 사용자는 상기 플로팅 서클 705를 상기 종료 영역 707으로 이동(예: 드래그앤드롭(drag & drop))하여 커뮤니케이션 기능을 종료할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자 입력에 대응하여 대화 상대를 전환(선택)할 수 있는 멤버 트레이(member tray) 703(또는 스위치 리스트(switch list))이 제공될 수 있다. 상기 멤버 트레이 703은 상기 플로팅 서클 705에 기반하여 설정된 특정 입력(예: 롱프레스(long press))이 이루어질 시 표시될 수 있고, 또는 멤버 트레이 703의 표시를 위한 아이템(버튼) 선택에 반응하여 표시될 수 있다. 상기 멤버 트레이 703은 상기 유저 인터페이스에 기반하여 커뮤니케이션을 수행하기 위해 등록된 다른 전자 장치의 사용자(대화 상대) 중 적어도 하나 이상의 사용자가 표시될 수 있다. 본 발명의 다양한 실시 예들에 따르면, 사용자는 상기 멤버 트레이 703에서 특정 대화 상대를 지시하는 아이템(아이콘)을 선택하여 대화 상대를 전환할 수 있고, 또는 상기 아이템(아이콘)을 선택하여 상기 플로팅 서클 707로 이동(예: 드래그앤드롭)하여 대화 상대를 전환할 수도 있다. 본 발명의 다양한 실시 예들에 따르면, 멤버 트레이 703 상에서 사용자 입력에 기반하여 대화 상대들의 위치가 서로 변경될 수 있다. 한 실시 예에 따르면, 사용자는 멤버 트레이 703에서 특정 대화 상대의 아이템을 선택한 후 위치를 변경하고자 하는 다른 대화 상대의 아이템으로 이동하여 해제하는 사용자 입력(예: 드래그앤릴리즈(drag & release)에 기반하여 구성 멤버들 간의 위치를 상호 변경할 수 있다. 한 실시 예에 따르면, 사용자 멤버 트레이 703에서 특정 대화 상대로부터 이벤트가 수신되면 상기 특정 대화 상대에 인접하여 상기 이벤트 수신을 알리는 알림 708을 표시할 수 있다.
도 8 내지 도 10은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스에서 대화 상대를 관리하는 예시를 도시하는 도면들이다.
상기 도 8을 참조하면, 상기 도 8은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스에 기반하여 커뮤니케이션을 최초 실행하는 화면 예시를 나타낸 것이다.
상기 도 8에 도시한 바와 같이, 전자 장치 400은 사용자에 의해 유저 인터페이스에 기반하여 어플리케이션(예: 커뮤니케이션 기능)이 최초 실행되면, 상기 도 8의 예시와 같이 유저 인터페이스에 의한 커뮤니케이션 수행에 따른 다양한 기능들과 관련하여 가이드(소개)할 수 있고, 이후 상기 도 9의 예시와 같이 멤버 등록 화면을 제공할 수 있다.
상기 도 9를 참조하면, 사용자는 전자 장치 400에 미리 설정되는 연락처, 계정, IP(internet protocol) 또는 기기 등의 정보(예: 통신 방식, 근접 여부, 위치 정보 등)에 기반하여 멤버를 등록할 수 있다. 전자 장치 400은 상기 도 9의 (A), (B), (C), (D)의 화면 예시와 같이, 사용자 입력에 반응하여 등록되는 멤버에 대해 표시할 수 있고, 또한 멤버 등록 화면에서 사용자 입력에 반응하여 새로운 멤버를 추가하는 화면을 표시할 수 있다. 한 실시 예에 따르면, 사용자는 상기 멤버 등록 화면에서 멤버 등록 아이템 910을 이용하여 연락처를 활성화 할 수 있고, 활성화된 연락처에서 대화 상대 선택을 통해 멤버를 등록할 수 있다. 전자 장치 400은 상기 사용자 입력에 대응하는 대화 상대의 정보(예: 이미지, 텍스트, 전화번호 등)의 적어도 일부에 기반하여 멤버 등록 화면에 표시(예: 도 9의 (A), (B), (C), (D) 화면)할 수 있다.
또한 전자 장치 400은 상기 도 9의 (E)의 화면 예시와 같이, 상기 멤버 등록 화면에서 사용자자 입력에 반응하여 이전에 등록된 멤버를 삭제하는 화면을 표시할 수 있다. 한 실시 예에 따르면, 사용자는 상기 멤버 등록 화면에서 이미 등록된 멤버를 선택하여 멤버 삭제 아이템 930으로 이동하는 입력(예: 드래그앤드롭)에 기반하여 멤버를 삭제할 수 있다. 전자 장치 400은 상기 사용자 입력에 대응하는 대화 상대의 정보를 상기 멤버 등록 화면에서 그 표시를 생략할 수 있다.
본 발명의 다양한 실시 예들에서 상기 멤버는 연락처 기반으로 추가 또는 삭제할 수 있으며, 또한 전화번호, 계정, IP 또는 기기 정보(예: 통신 방식, 근접 여부, 위치 정보) 기반으로 수행할 수도 있다.
상기 도 10을 참조하면, 상기 도 9에서와 같은 방식으로 상기 유저 인터페이스에 기반하는 커뮤니케이션에 멤버 등록 시, 멤버로 등록 요청되는 대화 상대에게 초대 메시지를 생성하여 상기 대화 상대의 전자 장치에 전송할 수 있다. 상기 도 10은 상기와 같이 다른 전자 장치의 사용자로부터 상기 도 9의 방식으로 등록 요청되는 대화 상대의 전자 장치 400에서 상기 초대 메시지를 수신하는 경우, 그에 반응하여 제공되는 화면 예시를 나타낼 수 있다.
상기 도 10에 도시한 바와 같이, 전자 장치 400은 초대 메시지 수신에 반응하여 커뮤니케이션에 초대한 사용자(초대 메시지를 전송하는 전자 장치의 사용자)에 대한 정보 1010및 초대 요청 메시지를 제공할 수 있다. 또한 전자 장치 400은 상기 초대 메시지에 대응하여 초대에 대한 수락 또는 거부를 선택할 수 있는 확인 아이템 1030을 제공할 수 있다. 본 발명의 다양한 실시 예들에서 상기 초대 메시지는 사용자의 수락 또는 거부에 대응하는 확인이 이루어지기 전까지 계속하여 제공되거나, 또는 설정된 기간 동안 관리 후 자동 삭제될 수도 있다. 본 발명의 다양한 실시 예들에서 상기 초대 메시지는 복수의 다른 사용자들로부터 수신될 수 있고, 전자 장치 400은 복수의 다른 사용자들로부터 수신된 복수의 초대 메시지들을 표시할 수 있고, 각 초대 메시지들 별로 해당 커뮤니케이션의 수락 또는 거부 선택을 위한 확인 아이템이 각각 제공될 수 있다.
도 11 및 도 12는 본 발명의 다양한 실시 예들에 따른 유저 인터페이스를 전환하는 동작을 설명하기 위해 도시하는 도면들이다.
상기 도 11 및 상기 도 12를 참조하면, 발명의 다양한 실시 예들에 따른 유저 인터페이스에서, 대화 상대는 리스트(도 11의 (A)), 플로팅 서클(도 11의 (B)), 익스팬디드 서클(도 11의 (C))과 같이 다양한 형태로 표시할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자에 의해 상기 도 11의 (B) 화면 예시의 플로팅 서클 1110을 선택(예: 탭(Tap))되면, 상기 도 11의 (C) 화면 예시와 같이 상기 플로팅 서클 1110이 확장되어 익스팬디드 서클 1130으로 전환될 수 있다. 이와 같이, 상기 플로팅 서클 1110 상태에서 상기 익스팬디드 서클 1130 상태로 전환되는 동작 화면 예시가 상기 도 12의 (A)에 도시되어 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 익스팬디드 서클 1130과 같은 상태에서는 주변 영역 1150(예: 익스팬디드 서클 1130이 표시되는 영역 외의 영역)이 선택되면, 상기 익스팬디드 서클 1130이 축소되어 상기 플로팅 서클 1110으로 전환될 수 있다. 이와 같이, 상기 익스팬디드 서클 1130 상태에서 상기 플로팅 서클 1110 상태로 전환되는 동작 화면 예시가 상기 도 12의 (B)에 도시되어 있다.
도 13은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스에서 대화 상대 선택을 위한 멤버 트레이 운영 동작을 설명하기 위해 도시하는 도면이다.
상기 도 13을 참조하면, 상기 도 13은 멤버 트레이를 표시하는 동작 화면 예시를 나타낸 것이다. 본 발명의 다양한 실시 예들에 따르면, 익스팬디드 서클 상태에서 대화 상대 표시 영역에 표시된 멤버 외에 다른 멤버는 멤버 트레이 1330을 통해 표시할 수 있다. 한 실시 예에 따르면, 사용자는 화면의 일정 영역(예: 화면 우상단)에 표시된 비주얼 큐(visual cue) 1310을 선택(예: 탭(Tap))할 수 있고, 전자 장치 400은 사용자 입력에 응답하여 멤버 트레이 1330을 표시할 수 있다. 또한 상기 멤버 트레이 1330이 표시된 상태에서 사용자는 상기 비주얼 큐 1310을 선택할 수 있고, 전자 장치 400은 사용자 입력에 응답하여 멤버 트레이 1330을 화면에서 그 표시를 제거할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 앞서 설명한 바와 같이 플로팅 서클 상태에서는 플로팅 서클을 선택(예: 롱프레스(long press)하는 사용자 입력에 반응하여 멤버 트레이 1130이 표시될 수 있다.
도 14 및 도 15는 본 발명의 다양한 실시 예들에 따른 유저 인터페이스에서 대화 상대 선택을 위한 멤버 트레이 운영 동작을 설명하기 위해 도시하는 도면들이다.
상기 도 14를 참조하면, 상기 도 14는 플로팅 서클 상태에서 상기 멤버 트레이 1330을 활성화 하여 대화 상대를 변경하는 동작 화면 예시를 나타낸 것이다.
예를 들어, 상기 도 14에서는 플로팅 서클 형태로 표시하는 중에 다른 대화 상대로 변경하는 과정을 나타낸 화면 예시이다. 본 발명의 다양한 실시 예들에 따르면, 사용자는 플로팅 서클을 선택(예: 롱프레스)할 수 있고, 전자 장치 400은 사용자 입력에 응답하여 멤버 트레이 1330을 화면 상단에 표시할 수 있다. 여기서, 상기 사용자 입력은 플로팅 서클에 계속 유지되고 있는 상태일 수 있다.
이어서, 사용자는 상기 플로팅 서클의 선택 상태(예: 롱프레스 상태)에서 상기 플로팅 서클을 멤버 트레이 1330으로 이동(예: 드래그(drag))하여, 멤버 트레이 1330의 다른 특정 멤버 상에서 입력을 해제(release)할 수 있다. 전자 장치 400은 상기와 같은 사용자 입력에 응답하여 플로팅 서클의 대화 상대를 변경하여 표시할 수 있다. 한 실시 예에 따르면, 이전의 플로팅 서클의 대화 상대는 멤버 트레이 1330에서 사용자 입력에 해제되는 다른 특정 멤버의 위치에서 대체될 수 있고, 상기 다른 특정 멤버에 대응하는 대화 상대가 플로팅 서클을 통해 표시될 수 있다.
상기 도 15를 참조하면, 상기 도 15는 익스팬디드 서클 상태에서 상기 멤버 트레이 1330을 활성화 하여 대화 상대를 변경하는 동작 화면 예시를 나타낸 것이다.
예를 들어, 상기 도 15에서는 익스팬디드 서클 형태로 표시하는 중에 다른 대화 상대로 변하는 과정을 나타낸 화면 예시이다. 본 발명의 다양한 실시 예들에 따르면, 사용자가 익스팬디드 서클에서 대화 상대 표시 영역을 선택하여 이동(예: 탭앤드래그(tap & drag)을 시작하면, 화면의 일 영역(예: 화면 상단)에 멤버 트레이 1330이 표시될 수 있다. 전자 장치 400은 상기 사용자 입력에 반응하여 익스팬디드 서클에서 대화 상대 표시 영역에 표시되는 정보에 기반하여 대화 상대를 지시하는 아이템 1510(예: 대화 상대 표시 영역에 대응하는 이미지)을 생성하여 표시할 수 있다. 또한 전자 장치 400은 상기 아이템 1510 생성 및 표시에 대응하여 익스팬디드 서클을 점차적으로 흐리게 표시하고, 이후 상기 아이템 1510이 이동되어 멤버 트레이 1330으로 진입될 시 상기 익스팬디드 서클의 표시를 제거할 수 있다. 또한 전자 장치 400은 사용자 입력에 따라 멤버 트레이 1330 방향으로 이동할 시 사용자 입력 위치(예: 아이템 1510의 위치)와 멤버 트레이 1330의 거리 변화에 대응하여 상기 아이템 1510의 크기를 설정된 크기(예: 멤버 트레이 1330의 대화 상대 아이콘들의 크기에 대응하는 크기)까지 점차적으로 줄이면서 표시하는 효과를 제공할 수 있다.
사용자는 상기 아이템 1510을 이동하여 멤버 트레이 1330 내의 다른 특정 멤버의 위치 상에서 해제(release)할 수 있고, 전자 장치 400은 사용자 입력에 반응하여 대화 상대를 변경할 수 있다. 예를 들어, 전자 장치 400은 익스팬디드 서클의 대화 상대 표시 영역의 대상이 상기 다른 특정 멤버의 대화 상대로 변경하여 표시할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치 400은 대화 상대를 변경하여 표시할 때, 변경되는 대화 상대에 대응하는 아이템 1550이 멤버 트레이 1330에서 익스팬디드 서클의 대화 상대 표시 영역으로 이동되어 표시하는 효과를 제공할 수 있다. 여기서, 전자 장치 400은 상기 아이템 1550이 이동되는 거리 변화에 대응하여 상기 아이템 1550의 크기를 설정된 크기(예: 대화 상대 표시 영역의 대화 상대 아이콘의 크기에 대응하는 크기)까지 점차적으로 증가하면서 표시할 수 있고, 상기 이동되는 거리 변화에 대응하여 익스팬디드 서클이 점차적으로 표시되는 효과를 제공할 수 있다. 이후, 상기 익스팬디드 서클이 완전하게 표시되는 시점과 동시에 상기 아이템 1550에 대응하는 대화 상대의 정보가 익스팬디드 서클의 대화 상대 표시 영역에 위치되어 표시될 수 있다.
도 16은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스를 이용한 운영 동작 예시를 설명하기 위해 도시하는 도면이다.
상기 도 16을 참조하면, 상기 도 16은 커뮤니케이션을 위한 대화 상대를 직관적으로 전환(예: 멤버 네비게이션(member navigation))하는 동작 화면 예시를 나타낸 것이다. 본 발명의 다양한 실시 예들에 따르면, 대화 상대 지정을 위한 멤버 전환은, 멤버 트레이를 이용한 전환 또는 익스팬디드 서클의 공유 영역 또는 대화 상대 표시 영역을 이용한 전환이 가능하다. 상기 도 16에서는 익스펜디드 서클의 공유 영역 상에서 사용자 입력(예: 스와이프(swipe) 제스처)에 대응하여 대화 상대를 위한 멤버 전환이 이루어지는 화면 예시를 나타낼 수 있다.
한 실시 예에 따르면, 사용자는 공유 영역을 통해 우에서 좌 방향의 스와이프 제스처 또는 좌에서 우 방향의 스와이프 제스처를 입력할 수 있고, 전자 장치 400은 사용자 입력에 응답하여 대화 상대 표시 영역의 대화 상대를 멤버 트레이에 표시된 순서대로 전환하여 표시할 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면, 상기 대화 상대 표시 영역의 대화 상대를 전환하는 것에 반응하여 공유 영역 내에 표시되는 내용을, 전환되는 대화 상대와 이전에 공유된 내용으로 전환하여 표시할 수 있다. 즉, 본 발명의 다양한 실시 예들에 따르면, 멤버 전환에 대응하여 대화 상대 표시 영역의 정보와 공유 영역의 정보가 함께 변경될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치 400은 사용자 입력에 따라 멤버들 간의 전환이 수행되는 시점에서 그 수행이 완료되기 전까지는 멤버 트레이가 표시될 수 있고, 멤버 트레이 내에서도 멤버 전환에 따른 비주얼 효과가 제공될 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면 전자 장치 400은 멤버 전환의 동작 수행이 완료(예: 멤버 전환 후 설정된 일정 시간 동안 사용자 입력이 없는 경우)를 결정하는 경우, 화면 상에서 멤버 트레이의 표시를 제거할 수 있다.
상기 도 16에서는 도시하지 않았으나, 본 발명의 다양한 실시 예들에 따르면, 상기 도 16과 같이 공유 영역에서 이루어지는 사용자 입력(예: 스와이프 제스처)에 대해 다른 기능을 수행하도록 설정할 수도 있다. 한 실시 예에 따르면, 공유 영역에서 이루어지는 상기 사용자 입력에 대응하여, 대화 상대 표시 영역의 현재 대화 상대와 공유된 정보들에 대한 히스토리(history)를, 공유된 순서대로 전환하여 표시할 수 있다. 즉, 본 발명의 다양한 실시 예들에 따르면, 현재 대화 상대와 주고 받은 다양한 데이터들에 대한 정보의 네비게이션을 제공할 수 있다.
도 17은 본 발명의 다양한 실시 예들에 따른 유저 인터페이스에 기반한 커뮤니케이션을 종료하는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 17을 참조하면, 상기 도 17은 플로팅 서클 상태에서 상기 플로팅 서클을 이용하여 커뮤니케이션을 종료(dismiss)하는 동작 화면 예시를 나타낸 것이다.
본 발명의 다양한 실시 예들에 따르면, 사용자는 커뮤니케이션 종료(예: 대화 상대 표시 제거)를 위해 플로팅 서클 1710을 롱프레스할 수 있다. 전자 장치 400은 플로팅 서클 1710의 롱프레스를 감지할 수 있고, 이에 반응하여 종료 영역 1710을 활성화 할 수 있다. 한 실시 예에 따르면, 전자 장치 400은 화면의 일 영역(예: 화면 하단)에 종료 영역 1730을 생성하여 상기 종료 영역 1730 상에 직관적인 아이템(예: “X”)을 표시할 수 있다.
사용자는 상기 플로팅 서클 1710에 대한 입력(예: 롱프레스)을 유지하는 상태에서 상기 프로팅 서클 1710을 상기 종료 영역 1730(예: “X”가 표시된 영역) 상에 이동(예: 드래그(drag))하여 해제(예: 드래그앤드롭)할 수 있다. 전자 장치 400은 사용자 입력(예: 드래그앤드롭)을 감지할 수 있고, 상기 사용자 입력에 반응하여 커뮤니케이션을 종료할 수 있다.
이상의 설명에서는, 본 발명의 다양한 실시 예들에서 사용자들 간의 커뮤니케이션을 지원하기 위해 제공되는 유저 인터페이스에 대하여 설명하였다. 이하의 설명에서는, 상기와 같은 유저 인터페이스에 기반하여 사용자들 간의 커뮤니케이션을 수행하는 본 발명의 다양한 실시 예들에 따른 동작에 대하여 살펴보기로 한다.
도 18 및 도 19는 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면들이다.
상기 도 18을 참조하면, 상기 도 18은 익스팬디드 서클 상태에서 대화 상대 표시 영역의 대화 상대와 커뮤니케이션 수행에서, 사용자 입력에 대응하는 신호를 상기 대화 상대의 다른 전자 장치에 전송하는 경우의 동작 화면 예시를 나타낸 것이다. 본 발명의 다양한 실시 예들에 따르면, 플로팅 서클 상태에서도 대화 상대와 커뮤니케이션 수행을 위한 사용자 입력에 대응하는 신호를 대화 상대의 다른 전자 장치에 전송할 수도 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치 400은 플로팅 서클 또는 익스팬디드 서클의 대화 상대 표시 영역을 선택하는 사용자 입력(예: 터치)을 감지하면, 상기 사용자 입력을 대화 상대와 커뮤니케이션을 위한 노크 이벤트(knock event)로 인식할 수 있다. 전자 장치 400은 상기 노크 이벤트에 대응하여 플로팅 서클 또는 익스팬디드 서클의 대화 상대 표시 영역 또는 대화 상대 표시 영역의 주위에 노크 비주얼 효과(예: 파동 효과)를 표시할 수 있다. 또한 전자 장치 400은 상기 노크 이벤트에 대응하여 대화 상대의 전자 장치에게 상기 노크 이벤트에 대응하는 메시지(이하, 노크 이벤트 메시지)를 전송할 수 있다. 본 발명의 다양한 실시 예들에서 상기 노크 이벤트 메시지에는 이벤트 종류(예: knock), 송수신자 정보, 메시지 전송시간, 이벤트 개수, 이벤트 시작 시간 중 적어도 하나 이상이 포함될 수 있으며, 구현에 따라서는 다른 추가 정보를 더 포함할 수 있다. 상기 노크 이벤트 메시지에 대해서는 후술하는 도 20을 참조한 설명 부분에서 설명된다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치 400은 사용자의 터치 입력이 감지되면 피드백 효과를 제공할 수 있고, 수신된 터치 입력을 노크 이벤트(예: 대화 상대 표시 영역에 기반하는 터치 입력에 대한 처리 신호) 또는 핸드라이팅 이벤트(예: 공유 영역에 기반하는 터치 입력에 대한 처리 신호)로 변환하여 대화 상대의 전자 장치에게 전송할 수 있다. 한 실시 예에 따르면, 제1 전자 장치에서 터치 인식 및 해당 이벤트(예: 노크 이벤트, 핸드라인팅 이벤트)를 생성하고, 이를 제2 전자 장치에 전송하는 것을 예시로 살펴보면 다음과 같다.
상기 제 1 전자 장치는 대화 상대 표시 영역 또는 공유 영역에 대한 터치 입력을 수신할 수 있다. 상기 터치 입력을 위한 수단은 손, 펜 외에 포인팅이 가능한 다양한 물체가 사용될 수 있다. 상기 제1 전자 장치는 사용자에 의한 터치 입력을 감지하면, 상기 터치 입력이 감지되는 영역(예: 대화 상대 표시 영역 또는 공유 영역)에 따라 노크 이벤트(예: 탭(Tap)) 또는 핸드라이팅 이벤트(예: 스트로크(stroke))로 인식할 수 있다. 예를 들어, 본 발명의 다양한 실시 예들에서는 대화 상대 표시 영역에서의 터치 입력은 노크 이벤트, 공유 영역에서의 터치 입력은 핸드라이팅 이벤트로 변환하는 것을 예시로 할 수 있다.
제1 전자 장치는 터치 입력이 감지되는 영역 또는 인식 이벤트에 따라 관련 피드백 효과를 사용자에게 제공할 수 있다. 예를 들어, 제1 전자 장치는 파동 효과와 같은 애니메이션, 색상 변화, 진동, 소리, 핸드라이팅에 따른 정보 등을 사용자에게 제공할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치 400은 상기 노크 이벤트와 상기 핸드라이팅 이벤트 모두에 대해 터치 시작 시점(예: 터치 입력을 위한 수단이 터치스크린 430에 닿은 시점)과 터치 완료 시점(예: 터치 입력을 위한 수단이 터치스크린 430으로부터 해제되는 시점)을 구분할 수 있다.
상기 도 19를 참조하면, 상기 도 19는 상기 도 18에서 설명한 바와 같은 노크 이벤트가 연속적인 사용자 입력에 대응하여 복수로 발생하는 경우의 동작 화면 예시를 나타낸 것이다. 본 발명의 다양한 실시 예들에 따르면, 사용자는 연속으로 일정 시간 내에 프레스(press), 해제(release)를 특정 횟수 이상 반복하는 터치 입력을 수행할 수 있고, 전자 장치 400은 반복적인 터치 입력을 감지하면, 상기 터치 입력에 대하여 긴급 이벤트(urgent event)로 인식할 수 있다. 전자 장치 400은 상기 긴급 이벤트에 대응하여 다양한 효과(예: 색상 효과, 흔들림 효과, 관성 효과, 반복적인 파동 효과 등)를 발생하여 표시할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 노크 이벤트의 경우 익스팬디드 서클에서뿐만 아니라, 플로팅 서클에서도 가능하며, 상기 익스팬디드 서클에서 제공되는 효과에 대응하는 효과가 제공될 수 있다.
도 20은 본 발명의 다양한 실시 예들에 따른 노크 이벤트 메시지 포맷의 예시를 도시하는 도면이다.
상기 도 20을 참조하면, 본 발명의 다양한 실시 예들에서, 전자 장치 400은 사용자 입력에 대응하여 노크 이벤트 메시지를 생성할 수 있고, 상기 노크 이벤트 메시지를 대화 상대의 전자 장치 또는 서버에 전달할 수 있다. 예를 들어, 제1 전자 장치는 상기 노크 이벤트 메시지를 P2P(peer to peer) 방식 또는 서버-클라이언트 방식을 통해 대화 상대의 전자 장치(이하, 제2 전자 장치)에게 전송할 수 있다. 상기 도 20에서는 상기 서버-클라이언트 방식을 대상으로 전송되는 노크 이벤트 메시지를 예시로 설명한다.
상기 도 20에 도시한 바와 같이, 본 발명의 다양한 실시 예들에 따른 상기 노크 이벤트 메시지는, 이벤트 타입, 송신측 정보, 수신측 정보, 메시지 전송시간, 이벤트 개수, 이벤트 중 적어도 하나 이상에 관련되는 다양한 필드를 포함하는 포맷으로 구현될 수 있다. 상기 노크 이벤트 메시지 포맷에 따른 각 필드는 아래 <표 1>의 예시와 같이 정의될 수 있다.
Figure 112015019820651-pat00001
상기 <표 1>의 예시에 기반하여 제공되는 노크 이벤트 메시지의 예시를 살펴보면 아래 <표 2>와 같이 나타낼 수 있다. 아래의 <표 2>의 예시에서는 모두 3개의 노크 이벤트가 포함되는 경우를 나타낼 수 있다.
Figure 112015019820651-pat00002
도 21 내지 도 23은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 수신 이벤트에 대해 처리하는 화면 예시를 도시하는 도면들이다.
상기 도 21을 참조하면, 본 발명의 다양한 실시 예들에 따르면 전자 장치 400은 다른 전자 장치로부터 수신된 이벤트(예: 노크 이벤트 메시지, 핸드라이팅 이벤트 메시지)를 기반으로 관련 이벤트(예: 노크 이벤트 또는 핸드라이팅 이벤트)에 대응하는 정보를 표시할 수 있다.
제 1 전자 장치는 대화 상대 표시 영역 또는 공유 영역에 대한 터치 입력을 감지되면, 감지되는 영역에 따라 노크 이벤트 또는 핸드라이팅 이벤트로 인식할 수 있다. 상기 제1 전자 장치는 상기 인식하는 이벤트에 대응하는 메시지를 생성하여 대화 상대의 제2 전자 장치를 목적지로 전송할 수 있다.
상기 제2 전자 장치는 상기 이벤트를 수신하면 그에 응답하여 플로팅 서클 또는 익스팬디드 서클에 기반하여 상기 이벤트에 대한 정보를 표시할 수 있다.
한 실시 예에 따르면, 상기 도 21에 도시한 바와 같이, 제2 전자 장치는 사용자에 의해 특정 어플리케이션을 실행하고 그에 대응하는 화면을 표시하는 중일 수 있다. 여기서, 상기 도 21에서는 제2 전자 장치에서 커뮤니케이션을 위한 유저 인터페이스가 미표시된 상태에서 상기 이벤트를 수신하면, 상기 이벤트를 발신한 제1 전자 장치의 사용자에 대응하는 정보를 표시할 수 있다. 예를 들어, 플로팅 서클을 표시할 수 있다. 상기 제1 전자 장치의 사용자에 대응하는 표시 상에 또는 근접하여 상기 수신 이벤트에 따른 효과를 제공할 수 있다. 예를 들어, 상기 효과는 시각적 효과, 진동 효과 또는 소리 효과를 제공할 수 있다.
상기 제2 전자 장치는, 설정된 일정 시간 동안 제2 전자 장치의 사용자로부터 인터랙션이 없는 경우, 상기 플로팅 서클의 표시를 제거할 수 있다. 이에 대한 동작 화면 예시가 상기 도 22에 도시되어 있다.
상기 도 22를 참조하면, 제2 전자 장치는 이벤트에 대한 동작 처리(예: 플로팅 서클 표시) 이후, 미리 설정된 일정 시간 동안 사용자로부터 인터랙션이 감지되지 않는 경우 화면 상에서 플로팅 서클을 점차적으로 사라지도록 처리할 수 있다. 이후, 전자 장치 400에 사용자 인터랙션이 감지되는 경우 플로팅 서클을 표시할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 제2 전자 장치는 본 발명의 다양한 실시 예들에 따른 커뮤니케이션 방법에 따라 제1 전자 장치로부터 이벤트를 수신할 수 있다. 상기 제2 전자 장치는 상기와 같은 상태에서 상기 이벤트를 수신하면 본 발명의 다양한 실시 예들에 따른 표시 방법으로 상기 이벤트에 대한 알림을 표시할 수 있다. 이에 대한 동작 화면 예시가 상기 도 23에 도시되어 있다.
상기 도 23을 참조하면, 제2 전자 장치는 익스팬디드 서클이 표시된 상태에서 대화 상대로부터 이벤트가 수신될 시 대화 상대 표시 영역을 통해 상기 이벤트에 따른 다양한 효과를 제공할 수 있다. 예를 들어, 색상, 파동과 같은 시각적 효과, 진동 효과 또는 소리 효과 등 사용자에게 알림을 줄 수 있는 다양한 효과가 가능하다. 상기 도 23에서는 상기 이벤트가 노크 이벤트에 대응하는 경우의 예시를 나타낸다. 본 발명의 다양한 실시 예들에서 상기 이벤트가 핸드라이팅 이벤트에 대응하는 경우, 그에 대한 알림은 공유 영역을 통해 제공될 수 있으며, 이의 동작은 후술하는 도면을 참조하여 설명된다.
도 24 및 도 25는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 수신 이벤트에 대해 처리하는 화면 예시를 도시하는 도면들이다.
상기 도 24를 참조하면, 상기 도 24는 복수의 다른 전자 장치들로부터 적어도 하나 이상의 이벤트가 수신되는 경우 그에 대응하여 이벤트를 알림하는 동작 예시를 나타낸 것이다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치 400은, 만일 다수의 발신자로부터 이벤트를 수신하면, 이벤트가 수신되는 순서대로 최신 이벤트를 이전의 이벤트와 대체하여 표시할 수 있다.
한 실시 예에 따르면, 상기 도 24에 도시한 바와 같이, 제1 이벤트를 표시하는 상태에서 제2 이벤트와 제3 이벤트가 연속적으로 수신되고, 상기 제3 이벤트 이후에 다시 상기 제2 이벤트의 대화 상대로부터 이벤트가 수신될 수 있다.전자 장치 400은 상기 플로팅 서클 2410을 표시하는 상태에서 제2 이벤트 수신에 반응하여 제2 이벤트의 대화 상대의 정보를 포함하는 플로팅 서클 2420을 상기 플로팅 서클 2410에 대체하여 표시할 수 있다. 전자 장치 400은 상기 플로팅 서클 2420을 표시하는 상태에서 제3 이벤트 수신에 반응하여 제3 이벤트의 대화 상대의 정보를 포함하는 플로팅 서클 2430을 상기 플로팅 서클 2420에 대체하여 표시할 수 있다. 또한 전자 장치 400은 상기 플로팅 서클 2430을 표시하는 상태에서 상기 제2 이벤트에 대응하는 대화 상대로부터 추가 이벤트 수신에 반응하여 상기 제2 이벤트의 대화 상대의 정보를 포함하는 플로팅 서클 2420을 상기 플로팅 서클 2430에 대체하여 표시할 수 있다.
상기 도 25를 참조하면, 상기 도 25는 전자 장치 400의 사용자와 대화 상대 표시 영역 2500의 사용자가 서로에게 동시 또는 거의 동시에 이벤트를 발신할 경우 그에 대응하여 전자 장치 400에서 이벤트를 알리는 동작에 대한 예시이다.
전자 장치 400은 미리 설정된 시간 이내에 대화 상대 표시 영역 2500에 대응하는 사용자에게 이벤트를 전달하기 위한 전자 장치 400의 사용자 입력과 전자 장치 400의 사용자에 대한 대화 상대 표시 영역 2500에 대응하는 사용자의 이벤트 수신이 감지될 경우 미리 설정된 효과를 표시할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 도 25에 도시한 바와 같이 (A)와 같은 상태에서 미리 설정된 시간 이내에 전자 장치 400의 이벤트 발신을 위한 사용자 입력과 대화 상대로부터의 이벤트 수신이 감지될 경우, (B), (C), (D)와 같이 버블 애니메이션(bubble animation) 2550 효과를 제공할 수 있다. 다양한 실시 예들에 따르면, 버블 애니메이션 2550 효과는 설정된 시간 동안 표시할 수 있고, 상기 설정된 시간 경과 후 (E)와 같이 버블 애니메이션 2550 효과는 사라질 수 있다.
도 26은 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 26을 참조하면, 상기 도 26은 익스팬디드 서클 상태에서 대화 상대 표시 영역의 대화 상대와 커뮤니케이션 수행에서, 사용자 입력에 대응하는 신호를 상기 대화 상대의 다른 전자 장치에 전송하는 경우의 동작 화면 예시를 나타낸 것이다. 상기 도 26의 예시에서는 핸드라이팅 이벤트를 발생하는 동작 화면 예시를 나타낼 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자는 익스팬디드 서클의 공유 영역을 이용하여 메모를 작성할 수 있다. 예를 들어, 사용자는 인터페이스 영역에서 메모 작성을 위한 메모 버튼2610을 선택할 수 있다. 전자 장치 400은 메모 버튼 2610을 선택하는 사용자 입력을 감지하면, 메모 작성 모드 전환으로 인식할 수 있다. 전자 장치 400은 상기 메모 작성 모드 인식에 대응하여 관련 제어 인터페이스(예: 메모 색상 설정 인터페이스 2620)를 표시할 수 있다. 사용자는 상기 제어 인터페이스 2620을 통해 메모 색상을 선택할 수 있으며, 전자 장치 400은 사용자의 색상 선택을 인지할 수 있다.
전자 장치 400은 사용자가 선택한 색상을 도 26의 (B)에 도시한 바와 같이 메모 버튼 2610에 반영하여 표시할 수 있다. 그리고 사용자는 공유 영역을 통해 대화 상대와 공유(전송)하고자 하는 메모 2630를 핸드라이팅 입력(예: 터치)을 통해 작성할 수 있다. 전자 장치 400은 공유 영역 기반의 사용자 입력(예: 터치)에 대응하여 핸드라이팅 메모 2630를 공유 영역 내에 표시할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자는 공유 영역 상에 메모 2630을 작성하고, 이를 커뮤니케이션 대화 상대에게 공유(전송)할 수 있다. 예를 들어, 전자 장치 400은 사용자 입력이 발생하면 실시간으로 메모 2630을 대화 상대와 공유할 수 있으며, 또는 공유(전송) 버튼 2640에 기반한 사용자 입력을 통해 메모 2630을 대화 상대와 공유할 수 있다. 전자 장치 400은 인터페이스 영역에서 공유(전송) 버튼 2640을 선택하는 사용자 입력(예: 터치)을 감지하면, 상기 사용자 입력을 대화 상대와 커뮤니케이션에서 메모 2630 전송을 위한 핸드라이팅 이벤트로 인식할 수 있다. 전자 장치 400은 핸드라이팅 이벤트 인식에 반응하여, 대화 상대의 전자 장치에게 상기 핸드라이팅 이벤트에 대응하는 메시지(이하, 핸드라이팅 이벤트 메시지)를 전송할 수 있다. 본 발명의 다양한 실시 예들에서 상기 핸드라이팅 이벤트 메시지에는 이벤트 종류(예: handwriting), 송수신자 정보, 메시지 전송시간, 이벤트 개수, 이벤트 시작 시간 등이 포함될 수 있으며, 구현에 따라서는 다른 추가 정보를 더 포함할 수 있다. 상기 핸드라이팅 이벤트 메시지에 대해서는 후술하는 도 27을 참조한 설명 부분에서 설명된다.
도 27은 본 발명의 다양한 실시 예들에 따른 핸드라이팅 이벤트 메시지 포맷의 예시를 도시하는 도면이다.
상기 도 27을 참조하면, 본 발명의 다양한 실시 예들에서, 전자 장치 400은 사용자 입력에 대응하여 핸드라이팅 이벤트 메시지를 생성할 수 있고, 상기 핸드라이팅 이벤트 메시지를 대화 상대의 전자 장치 또는 서버에 전달할 수 있다. 예를 들어, 제1 전자 장치는 상기 핸드라이팅 이벤트 메시지를 P2P 방식 또는 서버-클라이언트 방식을 통해 대화 상대의 전자 장치(이하, 제2 전자 장치)에게 전송할 수 있다.
상기 도 27에 도시한 바와 같이, 본 발명의 다양한 실시 예들에 따른 상기 핸드라이팅 이벤트 메시지는, 이벤트 타입, 송신측 정보, 수신측 정보, 메시지 전송시간, 이벤트 개수, 이벤트 중 적어도 하나 이상에 대응하는 필드를 포함하는 포맷으로 구현될 수 있다. 상기 핸드라이팅 이벤트 메시지 포맷에 따른 각 필드는 아래 <표 3>의 예시와 같이 정의될 수 있다.
Figure 112015019820651-pat00003
상기 <표 3>의 예시에 기반하여 제공되는 핸드라이팅 이벤트 메시지의 예시를 살펴보면 아래 <표 4>와 같이 나타낼 수 있다. 아래의 <표 4>의 예시에서는 모두 73개의 핸드라이팅 이벤트가 하나의 메시지에 포함되는 경우를 나타낼 수 있다.
Figure 112015019820651-pat00004
도 28은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 커뮤니케이션이 수행되는 동작 화면 예시를 도시하는 도면이다.
상기 도 28을 참조하면, 사용자는 도 28의 (A)에 나타낸 바와 같이 공유 영역을 통해 작성한 메모를 공유(전송) 버튼을 이용하여 대화 상대에게 전송할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치 400은 상기 메모와 같이 데이터 전송 중에는 전송 중임을 직관적으로 알 수 있는 효과를 사용자에게 제공할 수 있다. 예를 들어, 도 28의 (B), (C), (D)에 나타낸 바와 같이 공유 영역 주변으로 테두리 2820이 전송 진행 정도에 대응하여 점차적으로 완성되는 비주얼 효과(예: 원형의 테두리 2820이 시계 방향으로 특정 색상이 채워지는 효과)를 표시할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치 400은 데이터의 전송 후에는 대화 상대가 상기 데이터 확인 여부를 알 수 있는 정보를 표시할 수 있다. 예를 들어, 도 28의 (E)에 나타낸 바와 같이, 상기 데이터를 수신하는 전자 장치의 대화 상대가 상기 전송된 데이터를 확인하지 않은 경우, 전자 장치 400은 그에 대하여 확인 여부 표시자(예: 아이콘, 텍스트 등) 2830을 대화 상대 표시 영역이나 공유 영역 상에 또는 인접하여 제공할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 만약 대화 상대에서 상기 전송된 데이터에 대해 확인 메시지를 수신하면 해당 표시는 미표시 되거나 다른 표시자로 변경 될 수 있다. 예를 들어, 상기 확인 여부 표시자 2830를 화면에서 사라지도록 할 수 있다. 예를 들어, 상기 다른 표시자는 수신 확인 표시자가 될 수 있다.
도 29는 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 29를 참조하면, 상기 도 29는 익스팬디드 서클 상태에서 대화 상대 표시 영역의 대화 상대와 커뮤니케이션 수행에서, 사용자 입력에 대응하는 신호를 상기 대화 상대의 다른 전자 장치에 전송하는 경우의 동작 화면 예시를 나타낸 것이다. 상기 도 29의 예시에서는 이모티콘 이벤트를 발생하는 동작 화면 예시를 나타낼 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자는 익스팬디드 서클의 공유 영역을 통해 대화 상대에게 이모티콘을 전송할 수 있다. 예를 들어, 사용자는 인터페이스 영역에서 이모티콘 선택, 작성 또는 전송을 위한 이모티콘 버튼을 선택할 수 있다. 본 발명의 다양한 실시 예들에서 상기 이모티콘은 애니메이션 효과를 가진 것일 수 있다. 또한 상기 이모티콘은 내장된 것일 수 있으며 사용자가 직접 제작한 것일 수 있다.
전자 장치 400은 이모티콘 버튼을 선택하는 사용자 입력을 감지하면, 상기 사용자 입력을 대화 상대와 커뮤니케이션(예: 이모티콘 공유(전송))을 위한 이모티콘 선택 또는 작성 모드 전환으로 인식할 수 있다. 전자 장치 400은 상기 이모티콘 선택 또는 작성 모드 인식에 대응하여, 상기 인터페이스 영역을 상기 이모티콘 관련 제어 인터페이스(예: 이모티콘 설정 인터페이스 2910)로 전환하여 표시할 수 있다. 사용자는 상기 제어 인터페이스 2910을 통해 선택 가능한 이모티콘을 표시하거나 사용자가 직접 이모티콘을 제작할 수 있는 인터페이스를 포함할 수 있다.
전자 장치 400은 사용자가 선택 또는 제작한 이모티콘 2930을 공유 영역을 통해 표시할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 상기 이모티콘 2930은 사용자 입력에 반응하여 공유 영역 내에서 점차적으로 선명하게 나타나는 장면 전환 효과(예: 페이드인(fade in) 효과)로 표시할 수 있다.
전자 장치 400은 이모티콘 2930을 표시한 상태에서 일정 시간 경과 후 자동 방식, 또는 사용자 선택에 의한 수동 방식에 기반하여 상기 이모티콘 2930을 대화 상대의 전자 장치에게 전송할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치 400은 상기 자동 방식 또는 수동 방식에 따라 상기 이모티콘 2930의 전송이 결정될 시, 상기 이모티콘 2930을 대화 상대 표시 영역으로 이동하면서 점차적으로 흐릿하게 작아지면서 사라지는 장면 전환 효과(예: 페이드아웃(fade out) 효과)를 제공할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자는 공유 영역 상에 이모티콘 2930을 작성하고, 이를 커뮤니케이션 대화 상대에게 공유(전송)할 수 있다. 전자 장치 400은 자동 방식 또는 수동 방식에 기반하여 이모티콘 2930의 전송을 감지하면, 이모티콘 이벤트로 인식할 수 있다. 전자 장치 400은 이모티콘 이벤트 인식에 반응하여, 대화 상대의 전자 장치에게 상기 이모티콘 이벤트에 대응하는 메시지(이하, 이모티콘 이벤트 메시지)를 전송할 수 있다. 본 발명의 다양한 실시 예들에서 상기 이모티콘 이벤트 메시지에는 이벤트 종류(예: emoticon), 송수신자 정보, 메시지 전송시간, 이모티콘 정보 등이 포함될 수 있으며, 구현에 따라서는 다른 추가 정보를 더 포함할 수 있다. 상기 이모티콘 이벤트 메시지에 대해서는 후술하는 도 30을 참조한 설명 부분에서 설명된다.
도 30은 본 발명의 다양한 실시 예들에 따른 이모티콘 이벤트 메시지 포맷의 예시를 도시하는 도면이다.
상기 도 30을 참조하면, 본 발명의 다양한 실시 예들에서, 전자 장치 400은 이모티콘 이벤트 메시지를 생성할 수 있고, 상기 이모티콘 이벤트 메시지를 대화 상대의 전자 장치 또는 서버에 전달할 수 있다. 예를 들어, 제1 전자 장치는 상기 이모티콘 이벤트 메시지를 P2P 방식 또는 서버-클라이언트 방식을 통해 대화 상대의 전자 장치(이하, 제2 전자 장치)에게 전송할 수 있다.
상기 도 30에 도시한 바와 같이, 본 발명의 다양한 실시 예들에 따른 상기 이모티콘 이벤트 메시지는, 이벤트 타입, 송신측 정보, 수신측 정보, 메시지 전송시간, 이모티콘 정보 중 적어도 하나 이상에 관련되는 다양한 필드를 포함하는 포맷으로 구현될 수 있다. 상기 이모티콘 이벤트 메시지 포맷에 따른 각 필드는 아래 <표 5>의 예시와 같이 정의될 수 있다.
Figure 112015019820651-pat00005
상기 <표 5>의 예시에 기반하여 제공되는 이모티콘 이벤트 메시지의 예시를 살펴보면 아래 <표 6>과 같이 나타낼 수 있다. 아래의 <표 6>의 예시에서는 모두 1개의 이모티콘 이벤트가 포함되는 경우를 나타낼 수 있다.
Figure 112015019820651-pat00006
도 31은 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 31을 참조하면, 상기 도 31은 익스팬디드 서클 상태에서 대화 상대 표시 영역의 대화 상대와 커뮤니케이션 수행에서, 사용자 입력에 대응하는 신호를 상기 대화 상대의 다른 전자 장치에 공유하는 경우의 동작 화면 예시를 나타낸 것이다. 상기 도 31의 예시에서는 갤러리의 사진을 공유하기 위한 동작 화면 예시를 나타낼 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자는 익스팬디드 서클의 공유 영역을 이용하여 이미지를 공유할 수 있다. 예를 들어, 사용자는 도 31의 (A)에 도시한 바와 같이 인터페이스 영역에서 이미지 선택을 위한 이미지 버튼 3110을 선택할 수 있다. 본 발명의 다양한 실시 예들에서 상기 이미지는 전자 장치 400의 내부 또는 외부 서버에 저장된 것일 수 있으며, 사용자가 직접 촬영하여 생성하는 것일 수 있다. 상기 이미지는 영상도 포함할 수 있다.
전자 장치 400은 이미지 버튼 3110을 선택하는 사용자 입력(예: 터치)을 감지하면, 상기 사용자 입력을 대화 상대와 커뮤니케이션을 위한 이미지 선택 모드 전환으로 인식할 수 있다. 전자 장치 400은 상기 이미지 선택 모드 인식에 대응하여 도 31의 (B), (C), (D)에 도시한 바와 같이 공유 영역의 내용을 사용자가 선택한 이미지로 대체할 수 있고, 선택된 이미지를 표시하는 장면 전환 효과(예: 페이드인 효과)를 제공할 수 있다. 예를 들어, 도 31의 (B)에서 현재 표시 중인 배경 이미지 3130을, 도 31의 (C)에서와 같이 점차적으로 흐리게 표시하면서 그 위에 선택된 이미지 3140을 점차적으로 선명하게 오버레이(overlay) 하여 표시하고, 도 31의 (D)에서와 같이 배경 이미지 3130은 사라지고 선택된 이미지 3140을 완전히 표시하는 효과를 제공할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자는 도 31의 (D)와 같이 공유 영역을 통해 사용자가 선택한 이미지 3140가 표시되면, 상기 선택된 이미지 3140을 커뮤니케이션 대화 상대에게 공유(전송)할 수 있다. 또는 사용자는 상기 선택된 이미지 이미지 3140을 공유(전송)하기 전에 상기 선택된 이미지 3140을 편집한 후 공유(전송)할 수도 있다. 예를 들어, 사용자는 도 31의 (E)에 도시한 바와 같이 인터페이스 영역에서 메모 버튼 3150을 선택한 후, 공유 영역의 상기 선택된 이미지 3140에 메모(예: 핸드라이팅)를 작성할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치 400 또는 외부 전자 장치에 저장된 이미지의 공유뿐만 아니라, 사용자가 직접 촬영하는 사진을 공유할 수도 있다. 예를 들어, 사용자가 직접 촬영하여 사진을 공유하고자 하는 경우, 사용자는 도 31의 (A)에 도시한 바와 같이 상기 인터페이스 영역에서 사진 촬영을 위한 카메라 버튼 3120을 선택할 수 있다.
전자 장치 400은 카메라 버튼 3120을 선택하는 사용자 입력을 감지하면, 상기 사용자 입력을 대화 상대와 커뮤니케이션(예: 사진 또는 동영상 공유(전송))을 위한 카메라 촬영 모드 전환으로 인식할 수 있다. 전자 장치 400은 상기 카메라 촬영 모드 인식에 대응하여 관련 제어 인터페이스(예: 사진 또는 동영상 촬영과 관련된 인터페이스)를 표시할 수 있다. 전자 장치 400은 카메라 촬영 모드 전환에 대응하여 공유 영역을 통해 카메라 프리뷰(preview)를 표시할 수 있다. 사용자는 상기 공유 영역을 통해 카메라 프리뷰가 표시되는 상태에서 사진 촬영 또는 동영상 촬영 등을 수행할 수 있다. 예를 들어, 사용자는 상기 제어 인터페이스의 촬영 버튼을 선택할 수 있고, 전자 장치 400은 상기 촬영 버튼 선택을 감지하면 카메라 촬영을 수행할 수 있다. 전자 장치 400은 촬영 이후 상기 공유 영역에 촬영된 사진(또는 사진 이미지)를 표시할 수 있다. 이어서, 전자 장치 400은 상기 촬영된 사진 이미지 또는 상기 촬영된 사진 이미지에 추가적인 편집(예: 메모)이 수행된 사진 이미지를 대화 상대의 다른 전자 장치에 공유(전송)할 수 있다.
또한 본 발명의 다양한 실시 예들에 따르면, 상기 카메라 기능과 연동하여 커뮤니케이션을 수행하는 경우, 제어 인터페이스에서 촬영과 전송 동작을 위한 하나의 버튼에 기반하여 동작할 수 있다. 한 실시 예에 따르면, 공유 영역을 통해 카메라 프리뷰가 표시된 상태에서 촬영 버튼에 의해 촬영을 수행하는 경우, 전자 장치 400은 촬영된 사진 이미지를 공유 영역에 표시하면서, 동시에 촬영된 사진 이미지를 대화 상대에게 바로 전송할 수도 있다.
본 발명의 다양한 실시 예들에 따르면, 상기한 바와 같이 사용자가 직접 촬영한 사진의 공유뿐만 아니라, 전자 장치 400의 내부 또는 외부에 존재하는 다른 이미지 또는 사진을 사용자가 선택하여 공유할 수 있다.
도 32는 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 32를 참조하면, 상기 도 32는 공유 영역을 이용하여 상기 도 31과 같이 촬영되는 사진에 필터 효과를 부여하는 동작 화면 예시를 나타낸 것이다. 예를 들어, 상기 도 31의 (D)에 도시한 바와 같이 공유 영역에 사용자에 의해 촬영된 사진이 표시된 상태에서 메모 버튼 3150이 선택될 수 있다. 전자 장치 400은 메모 버튼 3150의 선택에 응답하여 도 32의 (A)에 도시한 바와 같이 사진에 대한 편집과 관련된 제어 인터페이스를 표시할 수 있다.
예를 들어, 전자 장치 400은 전술한 바와 같은 메모 색상 선택을 위한 인터페이스 3240와, 상기 공유 영역의 테두리 3230을 통해 사진에 대한 편집(예: 필터(filter) 조절)을 위한 인터페이스(예: 설정 필터 정보 3210, 필터 변경을 위한 핸들러 3220)를 제공할 수 있다. 사용자는 상기 인터페이스 3240을 위해 메모 작성을 위한 메모 색상을 선택할 수 있고, 상기 핸들러 3220을 통해 필터를 선택할 수 있다. 한 실시 예에 따르면, 필터 변경 전에는 상기 도 32의 (A)에 도시한 바와 같이 설정 필터 정보 3210에 “Original”이 표시될 수 있다. 이후 사용자에 의해 핸들러 3220이 테두리 3230를 따라 이동(예: 시계 방향으로 회전)될되면, 도 32의 (B)에 도시한 바와 같이 공유 영역의 사진에 핸들러 3220의 이동 지점에 대응하는 필터(예: “Gray”)가 적용되어 표시될 수 있다. 본 발명의 다양한 실시 예들에 따르면 상기 핸들러 3220의 이동에 대응하여 상기 설정 필터 정보 3210의 표시되는 정보가 실시간으로 반영되어 표시될 수 있다.
도 33은 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 33을 참조하면, 상기 도 33은 익스팬디드 서클 상태에서 대화 상대 표시 영역의 대화 상대와 커뮤니케이션 수행에서, 사용자 입력에 대응하는 신호를 상기 대화 상대의 다른 전자 장치에 공유하는 경우의 동작 화면 예시를 나타낸 것이다. 상기 도 33의 예시에서는 동영상을 공유하기 위한 동작 화면 예시를 나타낼 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자는 익스팬디드 서클의 공유 영역을 이용하여 비디오 레코딩(video recording)된 동영상을 공유할 수 있다. 예를 들어, 사용자는 도 33의 (A)에 도시한 바와 같이 인터페이스 영역에서 비디오 레코딩을 위한 촬영 버튼 3310을 선택할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 도 33의 (A) 화면의 경우 공유 영역을 통해 카메라 프리뷰를 표시할 수 있다.
전자 장치 400은 촬영 버튼 3310을 선택하는 사용자 입력을 감지하면, 상기 사용자 입력을 대화 상대와 커뮤니케이션(예: 동영상 공유(전송))을 위한 비디오 레코딩 모드 전환으로 인식할 수 있다. 전자 장치 400은 상기 비디오 레코딩 모드 인식에 대응하여 비디오 레코딩을 진행하고, 도 33의 (B), (C), (D)에 도시한 바와 같이 공유 영역을 통해 비디오 레코딩 진행에 대응하는 다양한 정보를 표시할 수 있다. 예를 들어, 도 33의 (B), (C)에 도시한 바와 같이 촬영 버튼 3310을 비디오 레코딩 중임을 알리도록 변경하여 표시할 수 있고, 시각적 효과를 부여하여 비디오 레코딩 경과 시간을 사용자가 알 수 있도록 할 수 있다. 예를 들어, 공유 영역의 테두리 3360를 시간에 따라서 색상이 변하도록 하여 비디오 레코딩 진행 정도를 표시할 수 있다. 다양한 실시 예들에 따르면, 비디오 레코딩 최대 시간을 미리 설정 할 수 있다. 한 실시 예에 따르면, 테두리 색상 변화와 같은 시각적 효과를 통해 비디오 레코딩 가능한 잔여 시간 또는 비디오 레코딩 진행 시간을 표시할 수 있다. 상기 진행 정도는 상기 테두리 3360을 따라 이동되는 구분자 3330을 통해 표시할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 비디오 레코딩 시간 경과에 대응하게 상기 구분자 3330이 반시계 방향 또는 시계 방향으로 이동될 수 있고, 상기 구분자 3330이 지나간 경로의 색상은 변경(예: 반전)하여 표시할 수 있다. 사용자는 상기 도 33의 (B), (C)와 같이 비디오 레코딩 진행 중에 촬영 버튼 3310을 이용하여 그 동작을 종료할 수 있고, 전자 장치 400은 비디오 레코딩을 종료하는 사용자 입력에 응답하여 비디오 레코딩을 종료할 수 있다. 전자 장치 400은 비디오 레코딩 종료 시 도 33의 (D)에 도시한 바와 같이 비디오 레코딩된 동영상을 재생(또는 재생 및 전송 기능 포함)할 수 있는 버튼 3340을 제공할 수 있다. 전자 장치 400은 비디오 레코딩이 종료될 시 공유 영역 내에 표시되는 상태 정보(예: “REC”)와 공유 영역의 테두리 3360 상의 구분자 3330의 표시를 제거할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 레코딩이 종료되면 대화 상대 표시 영역의 대화 상대에게 레코딩된 정보를 자동으로 또는 사용자 입력에 의해 송신할 수 있다.
도 34는 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 34를 참조하면, 상기 도 34는 익스팬디드 서클 상태에서 대화 상대 표시 영역의 대화 상대와 커뮤니케이션 수행에서, 사용자 입력에 대응하는 신호를 상기 대화 상대의 다른 전자 장치에 공유하는 경우, 발신측과 수신측의 동작 화면 예시를 나타낸 것이다. 상기 도 34의 예시에서는 스트리밍 콘텐츠(streaming contents)를 공유하기 위한 동작 화면 예시를 나타낼 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자들 간에 공유 영역을 이용하여 스트리밍 콘텐츠를 재생하고 공유할 수 있다. 본 발명의 다양한 실시 예들에서, 스트리밍 콘텐츠는 전자 장치의 내부 또는 외부의 콘텐츠 재생에 의해 이루어질 수 있다. 예를 들어, 재생 기능은 전자 장치에 저장된 콘텐츠에 기반하여 서비스하거나, 또는 유튜브(Youtube)와 같은 스트리밍 서비스를 인터페이스 하거나, 전용 콘텐츠 서버를 통해 서비스할 수 있다.
상기 도 34의 (A)에 도시한 바와 같이, 발신측 전자 장치의 사용자는 공유 영역을 통해 대화 상대와 공유하고자 하는 스트리밍 콘텐츠를 선택할 수 있고, 상기 스트리밍 콘텐츠가 선택될 시 상기 공유 영역은 상기 스트리밍 콘텐츠를 서로 공유 할 수 있다. 상기 인터페이스 영역에는 콘텐츠 선택, 공유 또는 재생과 관련된 인터페이스가 표시될 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 인터페이스 영역에는 재생 제어와 공유 기능에 대응하는 다양한 버튼들을 포함할 수 있다. 발신측 전자 장치의 사용자는 공유 기능을 이용하여 대화 상대에게 스트리밍 정보(예: 스트리밍 콘텐츠의 재생 주소(예: URL(uniform resource locator))를 전송할 수 있다. 다양한 실시 예들에 따르면, 자동 재생 여부, 음량, 표시 크기 등의 정보를 더 포함하여 전송 할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 스트리밍 콘텐츠 공유 시 수신 상대는 대화 상대 표시 영역을 통해 확인할 수 있고, 재생할 수 있다. 대화 상대 표시 영역의 대화 상대가 자동으로 수신 상대로 지정될 수 있으므로, 사용자는 별도로 수신자 정보를 입력하거나 지정할 필요가 없다. 추가적으로, 발신측 전자 장치의 사용자가 콘텐츠를 여러 대화 상대들에게 공유(전송)하고 싶은 경우에는, 추가 수신자를 지정할 수 있다. 본 발명의 다양한 실시 예들에서, 복수의 수신자 정보를 지정하는 방법에 대해서는 후술하는 도면을 참조하여 설명하기로 한다.
본 발명의 다양한 실시 예들에 따르면, 수신측 전자 장치에서는 상기 발신측 전자 장치로부터 스트리밍 정보를 수신할 수 있고, 상기 스트리밍 정보 수신에 대응하여 상기 도 34의 (B)에 도시한 바와 같이 스트리밍 정보가 수신되었음을 알림 표시할 수 있다. 한 실시 예에 따르면, 수신측 전자 장치에서 커뮤니케이션을 위한 유저 인터페이스가 비활성화 상태(예: 커뮤니케이션이 실행 중이지 않은 상태)이거나, 플로팅 서클에 기반하여 동작하는 경우, 상기 도 34의 (B)와 같이 플로팅 서클 3410을 통해 상기 스트리밍 정보 알림을 제공할 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면, 수신측 전자 장치에서 익스팬디드 서클에 기반하여 동작 중인 경우 대화 상대 표시 영역 또는 공유 영역을 통해 스트리밍 정보 알림을 표시하는 것도 가능하다.
본 발명의 다양한 실시 예들에 따르면, 수신측 전자 장치는 도 34의 (B)와 같은 상태에서 사용자가 플로팅 서클 3410을 통해 스트리밍 콘??츠 재생을 선택(예: 터치)할 시 상기 스트리밍 정보에 대응하는 스트리밍 콘텐츠를 획득할 수 있고, 획득된 스트리밍 콘텐츠를 도 34의 (C)와 같이 공유 영역을 통해 표시할 수 있다. 예를 들어, 수신측 전자 장치는 상기 스트리밍 정보에 대응하는 서버(예: Youtube, 삼성 Mike 등)에 접속하여 상기 스트리밍 콘텐츠의 스트리밍 서비스 동작을 개시할 수 있고, 상기 서버로부터 상기 스트리밍 콘텐츠를 수신하여 자동 또는 수동으로 재생할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 발신측 전자 장치는 스트리밍 콘텐츠의 재생 위치 정보를 함께 전달할 수 있고, 수신측 전자 장치는 상기 재생 위치 정보(예: 재생 구간)에 기반하여, 상기 발신측 전자 장치와 동일한 위치(예: 재생 구간)에서 콘텐츠를 재생할 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면, 재생 목록을 전달하여 하나 이상의 콘텐츠를 재생할 수도 있다. 또한 본 발명의 다양한 실시 예들에 따르면 콘텐츠를 재생하기 위해 접근 권한이 필요한 경우, 전송 불가 메시지를 표시하거나 수신측 전자 장치에서 재생 불가 메시지를 표시할 수 있다. 또는 본 발명의 다양한 실시 예들에 따르면 스트리밍 정보 전송 시 권한 정보를 암호화하여 함께 전달하여 재생할 수도 있다.
이상에서 살펴본 바와 같은 본 발명의 다양한 실시 예들에서 설명하는 다양한 이벤트는 실시간으로 대화 상대에게 전달되거나, 또는 일정 조건을 만족할 경우에 전송될 수 있다. 본 발명의 다양한 실시 예에서, 상기 일정 조건은 이벤트 누적을 위한 기준을 나타낼 수 있다. 한 실시 예에 따르면, 상기 이벤트 전송 일정 시간(예: 3000ms)동안 누적된 이벤트를 전송할 수 있고, 마지막 이벤트 발생 후 일정 시간(예: 700ms) 이벤트 미발생 시 상기 마지막 이벤트까지 누적된 이벤트를 전송할 수 있고, 또는 일정 개수(예: 40개) 이상 이벤트 누적 시 이벤트를 전송할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 상기 시간 및 개수는 사전에 정의되거나 통신 응답 시간을 바탕으로 재정의 될 수 있다.
한편, 본 발명의 다양한 실시 예들에 따르면, 전자 장치 400은 외부의 다른 전자 장치에 콘텐츠(예: 이미지, 음악, 동영상 등)를 전송할 시 콘텐츠와 상기 콘텐츠를 전송하는 당시의 다양한 상황 정보(예: 송수신자, 어플리케이션, 시간, 통신 방식, 콘텐츠 송수신 완료 여부 등의 정보)를 함께 제공할 수 있다. 또는 전자 장치 400은 외부의 다른 전자 장치로부터 콘텐츠(예: 이미지, 음악, 동영상 등)를 수신할 시 콘텐츠와 상기 콘텐츠를 수신하는 당시의 상황 정보(예: 송수신자, 어플리케이션, 시간, 통신 방식, 콘텐츠 송수신 완료 여부 등의 정보)를 생성하여 상기 콘텐츠와 함께 저장할 수 있고, 수신한 콘텐츠를 표시할 때 상기 상황 정보를 함께 표시할 수 있다. 이하 도 35를 참조하여, 본 발명의 다양한 실시 예들에 따라 제공되는 콘텐츠와 상기 콘텐츠와 관계 되는 상황 정보를 수신하여 저장하고, 수신된 상황 정보에 따라 콘텐츠를 출력하는 동작에 대하여 살펴보기로 한다.
도 35는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 콘텐츠 관리 방법을 도시하는 흐름도이다.
상기 도 35를 참조하면, 동작 3501에서, 전자 장치 400의 제어부 480은 외부의 다른 장치(예: 서버, 클라우드(cloud), 다른 전자 장치 등)로부터 콘텐츠를 수신하면, 동작 3503에서, 상기 콘텐츠를 수신하는 당시의 수신 상황 정보를 생성할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 수신 상황 정보는 송수신자, 송수신 기기, 콘텐츠 명칭, 콘텐츠 타입, 콘텐츠 크기, 송수신 어플리케이션, 통신 방식, 송수신 시간, 저장 경로 중 적어도 하나를 포함할 수 있다.
동작 3505에서, 제어부 480은 상기 콘텐츠와 상기 수신 상황 정보를 저장할 수 있다. 상기 수신 상황 정보는 콘텐츠 내에 저장되거나 별도로 저장될 수 있다. 상기 수신 상황 정보가 별도로 저장되는 경우 콘텐츠와 수신 상황 정보 간의 링크 정보를 추가로 관리할 수 있다.
동작 3507에서, 제어부 480은 사용자로부터 콘텐츠 출력 요청이 수신되면, 동작 3509에서, 출력 요청된 콘텐츠에 관련되는 수신 상황 정보의 존재 유무를 확인할 수 있다. 예를 들어, 제어부 480은 사용자 요청에 의해 수신된 콘텐츠를 출력해야 하는 경우, 상기 콘텐츠에 관계되는 수신 상황 정보의 유무를 확인할 수 있고, 상기 수신 상황 정보의 존재 여부에 따라 콘텐츠 출력을 다르게 처리할 수 있다.
상기 동작 3509에서, 제어부 480은 상기 콘텐츠에 관계되는 수신 상황 정보가 없는 것으로 판단하는 경우(동작 3509의 NO), 동작 3513에서, 상기 콘텐츠의 출력을 처리할 수 있다. 예를 들어, 제어부 480은 상기 콘텐츠에 대해 수신 상황 정보와 관계 없이 상기 콘텐츠에 대한 출력을 처리할 수 있다.
상기 동작 3509에서, 제어부 480은 상기 콘텐츠에 관계되는 수신 상황 정보가 있는 것을 판단하는 경우(동작 3509의 YES), 동작 3511에서, 상기 수신 상황 정보를 획득하고 상기 수신 상황 정보에 기반하여 콘텐츠 출력 방식을 결정할 수 있다.
동작 3513에서, 제어부 480은 상기 결정하는 출력 방식에 기반하여 상기 콘텐츠의 출력을 처리할 수 있다. 예를 들어, 제어부 480은 획득한 수신 상황 정보에 기반하여 콘텐츠를 출력하거나, 콘텐츠 출력 시에 상기 수신 상황 정보의 적어도 일부를 함께 출력할 수 있다. 한 실시 예에 따르면, 제어부 480은 메시지 어플리케이션을 통해 전달 받은 콘텐츠를 로딩할 시 상기 메시지 어플리케이션을 통해 콘텐츠 및 수신자를 함께 출력할 수 있다. 다양한 실시 예들에 따르면, 제어부 480은 이메일 클라이언트를 통해 다운로드 받은 첨부 파일을 로딩할 시 상기 첨부 파일이 속한 이메일을 검색하여 제공하거나, 상기 첨부 파일의 발송자를 수신자로 하는 이메일 작성 윈도우를 표시할 수 있다. 다양한 실시 예들에 따르면, 제어부 480은 웹사이트에서 다운로드 받은 이미지를 로딩할 시 상기 이미지를 다운로드 받은 웹사이트로 이동(접속)하고 해당 이미지의 위치를 표시할 수 있다.
도 36 및 도 37은 본 발명의 다양한 실시 예들에 따른 전자 장치를 이용하여 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면들이다.
상기 도 36을 참조하면, 상기 도 36은 플로팅 서클이 제공된 상태에서 전자 장치 400이 다른 전자 장치에서 전송되는 콘텐츠를 수신할 시, 콘텐츠 수신에 대응하는 알림(notification)을 제공하는 동작 화면 예시를 나타낼 수 있다.
본 발명의 다양한 실시 예들에 따르면, 앞서 살펴본 바와 같이 커뮤니케이션의 대화 상대의 전자 장치에서 발생하는 다양한 이벤트에 대응하여 다양한 콘텐츠(예: 메모, 사진, 이모티콘 등)가 수신될 수 있다. 전자 장치 400은 커뮤니케이션 중인 대화 상대의 전자 장치로부터 콘텐츠가 수신되면 다양한 방법으로 사용자에게 통지할 수 있다. 예를 들어, 전자 장치 400은 상기 도 36의 (A), (B), (C)에 도시한 바와 같이, 플로팅 서클을 이용하여 수신 콘텐츠가 있음을 알리는 비주얼 효과(예: 뱃지 효과)를 제공할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 비주얼 효과는 수신되는 콘텐츠의 종류(예: 메모, 사진, 이모티콘)를 식별할 수 있도록 콘텐츠의 종류에 대응하는 이미지, 텍스트, 아이콘 또는 이들의 조합으로 제공될 수 있으며, 상기 플로팅 서클에 인접하거나 중첩되어 제공될 수 있다. 한 실시 예에 따르면, (A)에 도시한 뱃지 3610(예: 사진), (B)에 도시한 뱃지 3620(예: 메모), (C)의 뱃지 3630(예: 이모티콘) 등과 같이 수신한 이벤트 종류에 기반하여 다른 모양의 뱃지가 표시될 수 있다.
또한 본 발명의 다양한 실시 예들에서, 상기 수신 콘텐츠에 대한 통지는 미리 설정되는 조건에 대응하여 다양한 소리에 기반하는 청각적 효과 또는 다양한 진동에 기반하는 촉각적 효과에 의해 제공될 수 있다. 예를 들어, 수신 콘텐츠에 대한 통지는 상기 도 37에 예시한 바와 같은 설정에 기반하여 제공될 수 있다. 본 발명의 다양한 실시 예들에 따르면, 상기 수신 콘텐츠에 대한 통지는 전자 장치 400의 설정에 따라, 비주얼 효과, 청각적 효과 또는 촉각적 효과 중 적어도 일부에 기반하여 통지하는 것이 가능하다.
상기 도 37를 참조하면, 본 발명의 다양한 실시 예들에서 수신 콘텐츠의 통지는 전자 장치 400에서 제공되는 통지 설정 메뉴를 통해 설정될 수 있다. 한 실시 예에 따르면, 사용자는 전자 장치 400을 조작하여 통지 설정 메뉴를 표시할 수 있고, 통지 설정 메뉴에서 통지 방식(예: 비주얼, 사운드, 진동 등 하나 이상 설정)을 결정하고, 각 통지 방식에 대한 세부 옵션(예: 비주얼의 하위 옵션, 사운드의 하위 옵션, 진도의 하위 옵션 등)을 설정할 수 있다. 또한 사용자는 콘텐츠의 수신을 통지할 콘텐츠의 종류를 설정할 수 있다. 예를 들어, 특정 어느 하나의 콘텐츠에 대해서만 콘텐츠 수신을 통지하도록 할 수 있고, 둘 이상의 콘텐츠들에 대해 콘텐츠 수신을 통지하도록 설정할 수 있다. 이와 같이, 본 발명의 다양한 실시 예들에 따르면, 사용자 기반의 다양한 설정(조정)을 통해 콘텐츠 수신에 대한 다양한 통지 방법 및 효과를 제공할 수 있다.
도 38은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 커뮤니케이션을 위해 제공되는 인터페이스의 다른 예시를 도시하는 도면이다.
상기 도 38을 참조하면, 상기 도 38은 전자 장치 400에 홈 화면에 커뮤니케이션 빠른 실행을 위해 제공하는 위젯(widget)(예: intimae circle 위젯)의 화면 예시를 나타낸 것이다. 상기 도 38의 (A) 화면의 경우 커뮤니케이션을 위해 등록된 대화 상대를 포함하여 제공하는 형태의 예시일 수 있다. 상기 도 38의 (B) 화면의 경우 커뮤니케이션을 위해 등록된 대화 상대가 없거나 최초 설치 시에 제공하는 형태의 예시일 수 있으며, 위젯의 기능 또는 개략 설명(예: stay in close touch with the people you care about the most)을 포함할 수 있다. 상기 도 38에 도시한 바와 같이, 사용자는 위젯을 이용하여 커뮤니케이션의 대화 상대를 선택하면서, 앞서 살펴본 바와 같은 유저 인터페이스에 기반한 커뮤니케이션을 바로 수행할 수 있다.
도 39는 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 39를 참조하면, 상기 도 39는 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 커뮤니케이션에 대응하는 콘텐츠를 송수신하는 동작을 설명하기 위한 시스템 구성의 예시를 나타낼 수 있다. 본 발명의 다양한 실시 예들에 따른 시스템은, 제1 전자 장치 3900, 서버 4000, 그리고 제2 전자 장치 4100을 포함하여 구현될 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제1 전자 장치 3900과 제2 전자 장치 4100 각각은, 예를 들면, 상기 도 4에 도시된 전자 장치 400의 전체 또는 일부를 포함할 수 있고, 전자 장치 400과 동일한 또는 다른 종류의 장치일 수 있다. 상기 도 39에서는 상기 제1 전자 장치 3900이 콘텐츠를 송신하는 발신측 전자 장치로 동작하고, 상기 제2 전자 장치 4100이 콘텐츠를 수신하는 수신측 전자 장치로 동작하는 것을 예시로 설명한다.
본 발명의 다양한 실시 예들에서, 상기 서버 4000은 콘텐츠 서버 4010과 메시지 서버 4020을 포함할 수 있다. 상기 도 39에서는 콘텐츠 서버 4010과 메시지 서버 4020은 설명의 편의를 위해 구분하여 설명하지만, 서버 4000에 의해 통합 운영될 수도 있다. 상기 콘텐츠 서버 4010은 제1 전자 장치 3900과 제2 전자 장치 4100 간의 커뮤니케이션에서 제1 전자 장치 3900으로부터 전달되는 콘텐츠를 수신하여, 제2 전자 장치 4100의 요청에 응답 또는 자동으로 제2 전자 장치 4100에 전달할 수 있다. 상기 메시지 서버 4020은 제1 전자 장치 3900과 제2 전자 장치 4100 간의 커뮤니케이션에서 제1 전자 장치 3900으로부터 전달되는 메시지를 수신하여, 제2 전자 장치 4100의 요청에 응답 또는 자동으로 제2 전자 장치 4100에 전달할 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면, 제1 전자 장치 3900과 제2 전자 장치 4100이 P2P 방식에 기반하여 커뮤니케이션을 수행하는 경우 상기 서버 4000의 구성은 생략될 수 있다.
상기 도 39의 예시에 도시한 바와 같이, 본 발명의 다양한 실시 예들에 따르면 전자 장치들 간에 커뮤니케이션에서, 사용자 입력에 대응하는 이벤트(또는 신호)(예: 터치 정보) 외에 콘텐츠를 송수신할 수 있다. 본 발명의 다양한 실시 예들에서, 역할에 따라 상기 서버 4000은 메시지 서버 4010과 콘텐츠 서버 4020으로 구분할 수 있다. 또한 구현에 따라서는 상기 메시지 서버 4010과 상기 콘텐츠 서버 4020을 하나의 서버 4000으로 구현도 가능하다.
상기 제1 전자 장치 3900은 상기 제2 전자 장치 4100에게 콘텐츠를 전송할 때, 해당 콘텐츠를 콘텐츠 서버 4010에 업로드(upload) 할 수 있고, 메시지 서버 4020을 통해 제2 전자 장치 4100에 콘텐츠 메시지(예: 콘텐츠의 위치 주소(예: URL))를 전송할 수 있다.
상기 서버 4000은 상기 제1 전자 장치 3900이 업로드 요청하는 콘텐츠를 수신하여 콘텐츠 서버 4010에 저장할 수 있고, 상기 제1 전자 장치 3900이 전송 요청하는 콘텐츠 메시지를 메시지 서버 4020에서 처리하여 수신측인 제2 전자 장치 4100에 전송할 수 있다.
상기 제2 전자 장치 4100은 상기 메시지 서버 4020을 통해 상기 제1 전자 장치 3900이 전송하는 상기 콘텐츠 메시지를 수신하면, 상기 콘텐츠 메시지에 기반하여 상기 콘텐츠 서버 4010에 접속하여 상기 콘텐츠를 요청하여 다운로드 받을 수 있다. 여기서, 상기 콘텐츠 요청은 URL 형식이 이용될 수 있다.
도 40은 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 40을 참조하면, 상기 도 40은 본 발명의 양한 실시 예들에 따른 시스템에서 제1 전자 장치 3900에서 발생하는 이벤트(예: 터치 정보)에 대응하여 커뮤니케이션 수행 시, 상기 이벤트에 대응하는 콘텐츠를 송신하는 동작 및 상기 콘텐츠 수신에 대응하는 응답을 송신하는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 40에 도시한 바와 같이, 동작 4001에서, 제1 전자 장치 3900은 플로팅 서클 또는 익스팬디드 서클에 기반하여 터치 입력을 수신할 수 있다.
동작 4003 및 동작 4007에서, 제1 전자 장치 3900은 상기 터치 입력에 대응하여 메시지(예: Message 1, Message 2)를 생성할 수 있고, 상기 메시지를 서버 4000에 전송할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 메시지는 시간, 신호(예: 터치 정보), 전화번호 등의 정보를 포함할 수 있으며, 상기 메시지 포맷의 예시가 후술하는 도면을 참조한 설명 부분에서 설명된다.
동작 4005 및 동작 4009에서, 서버 4000은 상기 제1 전자 장치 4000으로부터 수신한 메시지를 상기 제2 전자 장치 4100에 전달할 수 있다. 예를 들어, 본 발명의 다양한 실시 예들에서, 상기 서버 4000은 상기 메시지 수신에 응답하여 상기 메시지에 포함된 수신측 정보에 기반하여 상기 메시지의 목적지를 확인(예: 제2 전자 장치 4100 판단)할 수 있고, 상기 메시지의 목적지인 제2 전자 장치 4100에 상기 메시지를 전달할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 메시지는 상기 제1 전자 장치 3900으로부터 전달받은 것과 동일할 수 있으며, 상기 서버 4000에 의해 일부 정보가 추가 될 수도 있다.
동작 4011에서, 제2 전자 장치 4100은 사용자의 상기 메시지 확인에 응답하여 확인 메시지(confirm message)를 생성할 수 있고, 상기 확인 메시지를 서버 4000에 전송할 수 있다. 예를 들어, 제2 전자 장치 4100은 상기 메시지 수신에 대응하여 사용자에게 통지할 수 있고, 상기 메시지에 대한 사용자의 확인 여부를 판단할 수 있다. 제2 전자 장치 4100은 사용자에 의해 상기 메시지가 확인되면 상기 확인 메시지 전송을 처리할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 확인 메시지는 시간, 전화번호 등의 정보를 포함할 수 있으며, 상기 확인 메시지 포맷의 예시가 후술하는 도면을 참조한 설명 부분에서 설명된다.
동작 4013에서, 서버 4000은 상기 제2 전자 장치 4100으로부터 상기 확인 메시지 수신에 응답하여 상기 확인 메시지의 목적지를 확인할 수 있고, 상기 확인 메시지의 목적지인 제1 전자 장치 3900에 상기 확인 메시지를 전달할 수 있다.
도 41은 본 발명의 다양한 실시 예들에 따른 콘텐츠 이벤트 메시지 포맷의 예시를 도시하는 도면이다.
상기 도 41을 참조하면, 본 발명의 다양한 실시 예들에서, 전자 장치 400은 사용자 입력에 대응하여 콘텐츠 이벤트 메시지를 생성할 수 있고, 상기 콘텐츠 이벤트 메시지를 서버 4000 또는 대화 상대의 제2 전자 장치 4100에 전달할 수 있다. 예를 들어, 제1 전자 장치 3900은 상기 콘텐츠 이벤트 메시지를 서버-클라이언트 방식 또는 P2P 방식을 통해 대화 상대의 제2 전자 장치 4100에게 전송할 수 있다. 상기 도 41에서는 상기 서버-클라이언트 방식을 대상으로 전송되는 콘텐츠 이벤트 메시지를 예시로 설명한다.
상기 도 41에 도시한 바와 같이, 본 발명의 다양한 실시 예들에 따른 상기 콘텐츠 이벤트 메시지는, 이벤트 타입, 송신측 정보, 수신측 정보, 메시지 전송시간, 콘텐츠 URL 중 적어도 하나 이상에 관련되는 다양한 필드를 포함하는 포맷으로 구현될 수 있으며, 구현에 따라서는 다른 추가 정보를 더 포함할 수 있다. 상기 콘텐츠 이벤트 메시지 포맷에 따른 각 필드는 아래 <표 7>의 예시와 같이 정의될 수 있다.
Figure 112015019820651-pat00007
상기 <표 7>의 예시에 기반하여 제공되는 콘텐츠 이벤트 메시지의 예시를 살펴보면 아래 <표 8>과 같이 나타낼 수 있다. 아래의 <표 8>의 예시에서는 다양한 콘텐츠들 중 이미지가 공유되는 것을 가정하며, 그에 대응하여 콘텐츠 이벤트 메시지가 이미지 공유 메시지인 경우의 예시를 나타낼 수 있다.
Figure 112015019820651-pat00008
도 42는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 커뮤니케이션 수행에 대응하여 수신하는 메시지 종류별 화면 예시를 도시하는 도면이다.
상기 도 42를 참조하면, 본 발명의 다양한 실시 예들에 따르면, 제2 전자 장치 4100은 수신한 정보를 기반으로 동작을 수행할 수 있다. 다양한 실시 예들에 따르면, 제2 전자 장치 4100은 서버 4000으로부터 수신한 메시지를 통해 해당 이벤트의 타입과 발신측 정보를 확인할 수 있고, 해당 발신인과 연계된 영역에 메시지에 포함된 정보를 표시할 수 있다.
다양한 실시 예들에 따르면, 제2 전자 장치 4100은 메시지를 수신할 시, 진동을 발생하고 발신인과 연계된 서클(예: 플로팅 서클 또는 익스팬디드 서클)을 표시함으로써 알림을 줄 수 있다. 한 실시 예에 따르면, 상기 도 42의 (A) 화면 예시에 도시한 바와 같이, 노크 이벤트는 메시지에 포함된 이벤트 개수의 신호만큼의 진동 발생과 함께 서클(예: 플로팅 서클)에 비주얼 큐(visual cue)를 표시할 수 있다. 다른 실시 예에 따르면, 상기 도 42의 (B) 화면 예시에 도시한 바와 같이, 핸드라이팅 이벤트는 메시지에 포함된 스트로크 개수, 두께, 색상을 기초로 익스팬디드 서클의 공유 영역에 스트로크를 표시할 수 있다. 또 다른 실시 예에 따르면, 상기 도 42의 (C) 화면 예시에 도시한 바와 같이, 콘텐츠 전송 이벤트는 메시지에 포함된 URL 정보를 기반으로 특정 서버(예: 파일 서버(file server)로부터 해당 콘텐츠를 수신하여 익스팬디드 서클의 공유 영역에 표시할 수 있다. 한 실시 예에 따르면, 상기 도 42의 (C) 화면 예시에 도시한 바와 같이, 콘텐츠(예: 이미지)를 수신하면 공유 영역에 이미 표시 중인 콘텐츠를 수신한 콘텐츠(예: 이미지)로 변경하여 표시할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 노크 이벤트의 메시지는 적어도 하나 이상의 터치 신호와 각 신호 발생 시간으로 구성될 수 있다. 제2 전자 장치 4100은 메시지에 포함된 각 신호들의 발생 시간 차를 계산하여 각 신호 간의 간격을 구할 수 있으며, 이를 기반으로 제2 전자 장치 4100에서 진동 발생 및 비주얼 큐 표시 간격을 제1 전자 장치 3900의 입력 간격과 유사하게 제공할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 핸드라이팅 이벤트의 경우 각 스트로크가 신호 형태로 존재할 수 있므로, 메시지에 포함된 신호의 터치 발생 시간을 기반으로 스트로크 표시 순서를 결정 할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 제2 전자 장치 4100은 사용자의 메시지 확인 여부에 대하여 제1 전자 장치 3900에 전달할 수 있다. 예를 들어, 제1 전자 장치 3900으로부터 수신한 메시지를 제2 전자 장치 4100의 사용자가 공유 영역을 통해 확인하면, 제2 전자 장치 4100은 서버 4000에게 후술하는 도 43의 예시와 같은 확인 메시지를 전달할 수 있다. 서버 4000은 상기 수신한 확인 메시지를 제1 전자 장치 3900에게 전달 할 수 있다. 제1 전자 장치 3900에서는 상기 확인 메시지를 수신하면 전송한 메시지를 대화 상대(제2 전자 장치 4100의 사용자)가 확인한 것으로 판단하여 제1 전자 장치 3900의 사용자에게 통지할 수 있다.
도 43은 본 발명의 다양한 실시 예들에 따른 확인 메시지 포맷의 예시를 도시하는 도면이다.
상기 도 43을 참조하면, 본 발명의 다양한 실시 예들에서, 전자 장치 400은 수신한 메시지에 대한 사용자 확인에 응답하여 확인 메시지를 생성할 수 있고, 상기 확인 메시지를 서버 또는 대화 상대의 전자 장치에 전달할 수 있다. 예를 들어, 제2 전자 장치 4100은 상기 확인 메시지를 서버-클라이언트 방식 또는 P2P 방식을 통해 대화 상대의 제1 전자 장치 3900에게 전송할 수 있다. 상기 도 43에서는 상기 서버-클라이언트 방식을 대상으로 전송되는 확인 메시지를 예시로 설명한다.
상기 도 43에 도시한 바와 같이, 본 발명의 다양한 실시 예들에 따른 상기 확인 메시지는, 이벤트 타입, 송신측 정보, 수신측 정보, 메시지 전송시간, 수신한 메시지 전송시간, 추가 정보 등에 관련되는 다양한 필드를 포함하는 포맷으로 구현될 수 있으며, 구현에 따라서는 다른 추가 정보를 더 포함할 수 있다. 상기 확인 메시지 포맷에 따른 각 필드는 아래 <표 9>의 예시와 같이 정의될 수 있다.
Figure 112015019820651-pat00009
상기 <표 9>의 예시에 기반하여 제공되는 확인 메시지의 예시를 살펴보면 아래 <표 10>과 같이 나타낼 수 있다.
Figure 112015019820651-pat00010
도 44는 본 발명의 다양한 실시 예들에 따른 커뮤니케이션 수행에서 메시지 수신 전자 장치를 결정하는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 44를 참조하면, 본 발명의 다양한 실시 예들에서, 메시지 송수신을 위한 사용자들 간 식별 방법은 다양한 형태가 가능하다. 예를 들어, 전화번호 기반, 계정 기반, 기기들 간 식별이 가능한 기기 기반, 어플리케이션들 간 식별이 가능한 어플리케이션 기반 등과 같이 다양한 형태 중 적어도 일부에 기반하여 사용자들 간 식별이 가능하다.
본 발명의 다양한 실시 예들에서, 고유한 식별 값을 가지는 전화번호, 기기, 또는 어플리케이션을 기반으로, 메시지를 수신할 사용자를 식별할 경우에는 해당 메시지의 수신 통지를 전달 받을 기기가 유일할 수 있다.
본 발명의 다양한 실시 예들에서, 사용자 계정에는 복수의 기기가 등록되어 있을 수 있다. 따라서 본 발명의 다양한 실시 예들에서, 계정 기반으로, 메시지를 수신할 사용자를 식별할 경우에는 해당 계정의 복수의 기기들 중 어느 기기로 메시지 수신 통지를 전달할 지 결정하는 동작을 더 포함할 수 있다.
상기 도 44에 도시한 바와 같이, 상기 도 44는 하나의 동일 계정에 복수의 사용자 기기들이 등록된 경우의 예시를 나타낼 수 있다. 예를 들어, A 계정 4410 사용자가 B 계정 4420 사용자에게 메시지를 전송하는 경우, 서버 4430은 B 계정 4420 사용자의 사용기기로 등록된 기기들(예: B-1, B-2, B-3) 중 어느 기기로 메시지 수신 통지를 보낼 지 결정하고, 결정하는 결과에 기반하여 B 계정 4420 사용자의 등록된 기기들(예: B-1, B-2, B-3) 중 적어도 일부에 수신 통지를 전달할 수 있다.
한 실시 예에 따르면, 서버 4430은 메시지 수신자의 계정으로 등록된 모든 기기에 메시지 수신 통지를 전송할 수 있다. 또는 다른 실시 예에 따르면, 서버 4430은 메시지 수신이 가능한 기기를 판단(예: 커뮤니케이션을 위해 사전 등록된 기기)할 수 있고, 판단된 적어도 하나의 기기에 대해서 메시지 수신 통지를 전송할 수 있다. 또는 후술하는 도 45를 참조한 설명 부분에서 설명하는 바와 같이 사용자가 검출되는 기기에 대해서만 메시지 수신 통지를 전송할 수 있다.
도 45는 본 발명의 다양한 실시 예에 따른 커뮤니케이션 수행에서 메시지 수신 전자 장치를 결정하는 동작을 도시하는 흐름도이다.
상기 도 45를 참조하면, 상기 도 45는 상기 도 44의 서버 4430의 메시지 중계를 위한 동작 예시를 나타낼 수 있다. 본 발명의 다양한 실시 예들에 따르면, 상기 서버 4430의 메시지 중계에 의하여 메시지 수신 통신이 선별적으로 송수신되더라도 수신자(제2 계정4430의 사용자)는 동일 계정으로 등록된 기기를 통해 수신 메시지를 확인할 수 있다.
동작 4401에서, 상기 서버 4430은 이벤트 수신을 감지하면, 동작 4403에서, 상기 이벤트를 전송하는 계정을 확인할 수 있다.
동작 4405에서, 상기 서버 4430은 상기 확인 동작을 통해 상기 이벤트를 전송하는 계정에 등록된 등록기기를 판단할 수 있고, 동작 4407에서, 상기 계정에 복수의 기기들이 등록되어 있는지 판단할 수 있다.
상기 동작 4407에서, 상기 서버 4430은 상기 계정에 하나의 기기가 등록된 것으로 판단하는 경우(동작 4407의 NO), 동작 4415에서, 상기 이벤트를 상기 계정의 하나의 등록 기기에 전송할 수 있다.
상기 동작 4407에서, 상기 서버 4430은 상기 계정에 복수의 기기가 등록된 것으로 판단하는 경우(동작 4407의 YES), 동작 4413에서, 상기 계정의 복수의 등록 기기들 중 전송 대상 기기를 결정할 수 있다. 본 발명의 다양한 실시 예들에서 상기 전송 대상 기기 결정은, 사용자가 검출되는 기기를 결정할 수 있다. 예를 들어, 동작 4409에서, 상기 서버 4430은 상기 계정의 등록 기기들에게 기기 상태 정보 및 사용자 검출 정보를 요청할 수 있다. 동작 4411에서, 상기 서버 4430은 상기 등록 기기들로부터 수신하는 회신 정보를 분석할 수 있다. 동작 4413에서, 상기 서버 4430은 상기 수신된 회신 정보를 분석하는 결과에 기반하여 상기 계정의 등록 기기들 중 전송 대상 기기를 결정할 수 있다.
동작 4415에서, 상기 서버 4430은 상기 이벤트를 상기 계정의 등록 기기들 중 전송 대상 기기로 결정하는 하나 이상의 기기에 전송할 수 있다.
도 46은 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 46을 참조하면, 상기 도 40은 본 발명의 다양한 실시 예들에 따른 시스템에서 제1 전자 장치 3900에서 발생하는 이벤트(예: 터치 정보)에 대응하여 커뮤니케이션 수행 시, 상기 이벤트에 대응하는 콘텐츠를 송신하는 동작 및 상기 콘텐츠 수신에 대응하는 응답을 송신하는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 46에 도시한 바와 같이, 동작 4601에서, 제1 전자 장치 3900은 플로팅 서클 또는 익스팬디드 서클에 기반하여 터치 입력을 수신할 수 있다.
동작 4603 및 동작 4607에서, 제1 전자 장치 3900은 상기 터치 입력에 대응하여 메시지(예: Message 1, Message 2)를 생성할 수 있고, 상기 메시지를 서버 4000에 전송할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 메시지는 시간, 신호(예: 터치 정보), 전화번호 등의 정보를 포함할 수 있으며, 상기 메시지 포맷의 예시는 상기 도 41을 참조한 설명 부분에서 설명한 바와 같다.
동작 4605 및 동작 4609에서, 서버 4000은 상기 제1 전자 장치 4000으로부터 수신한 메시지를 상기 제2 전자 장치 4100에 전달할 수 있다. 예를 들어, 본 발명의 다양한 실시 예들에서, 상기 서버 4000은 상기 메시지 수신에 응답하여 상기 메시지에 포함된 수신측 정보에 기반하여 상기 메시지의 목적지를 확인(예: 제2 전자 장치 4100 판단)할 수 있고, 상기 메시지의 목적지인 제2 전자 장치 4100에 상기 메시지를 전달할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 메시지는 상기 제1 전자 장치 3900으로부터 전달받은 것과 동일할 수 있으며, 상기 서버 4000에 의해 일부 정보가 추가 될 수도 있다.
동작 4611에서, 제2 전자 장치 4100은 수신 메시지에 대해 사용자의 확인이 없을 경우 프레즌스 메시지(presence message)를 생성할 수 있고, 상기 프레즌스 메시지를 서버 4000에 전송할 수 있다. 예를 들어, 제2 전자 장치 4100은 상기 메시지 수신에 대응하여 사용자에게 통지할 수 있고, 상기 메시지에 대한 사용자의 확인 여부를 판단할 수 있다. 제2 전자 장치 4100은 사용자에 의해 상기 메시지가 확인되지 않으면 상기 프레즌스 메시지 전송을 처리할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 프레즌스 메시지는 시간, 프레즌스 등의 정보를 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 제2 전자 장치 4100의 프레즌스는, 상황 인지 기술(context cognition technology)에 기반하여 제2 전자 장치 4100의 사용자에 대한 다양한 상황(예: 운전 상황, 이동 상황, 수면 상황 등)을 트래킹(tracking)(또는 상황 인지)을 수행할 수 있다. 상기 제2 전자 장치 4100은 상태 트래킹에 대응하여 적어도 하나의 상황 정보(context information)를 생성할 수 있다. 한 실시 예에 따르면, 상기 제2 전자 장치 4100은 제2 전자 장치 4100에 대한 상황 인지에 의해 제2 전자 장치 4100의 동작 정보, 제2 전자 장치 4100의 사용 정보, 제2 전자 장치 4100의 주변 환경 정보, 또는 제2 전자 장치 4100의 통신 정보 등 중 적어도 일부에 기반하여 상기 상황 정보를 획득할 수 있다. 상기 제2 전자 장치 4100은 상기 상태 정보에 기반하여 사용자의 상황(예: 운전 상황)를 포함하는 상기 프레즌스 메시지를 생성할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 제2 전자 장치 4100은 제2 전자 장치 4100의 상황 인지를 위한 다양한 센서에 의해 상황 인지를 수행할 수 있다.
동작 4613에서, 서버 4000은 상기 제2 전자 장치 4100으로부터 상기 프레즌스 메시지 수신에 응답하여 상기 프레즌시 메시지의 목적지를 확인할 수 있고, 상기 프레즌스 메시지의 목적지인 제1 전자 장치 3900에 상기 프레즌스 메시지를 전달할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상기 프레즌스 메시지를 수신하는 제1 전자 장치 3900에서는 상기 프레즌스 메시지 수신에 응답하여, 상기 프레즌스 메시지의 상황 정보에 대응하는 표시를 처리할 수 있다. 이에 대한 예시가 후술하는 도 47을 참조한 설명 부분에서 설명된다.
도 47은 본 발명의 다양한 실시 예들에 따른 전자 장치들 간에 커뮤니케이션이 수행되는 동작을 설명하기 위해 도시하는 도면이다.
상기 도 47을 참조하면, 상기 도 47은 제1 전자 장치 3900이 플로팅 서클 상태에서 대화 상대 표시 영역의 대화 상대와 커뮤니케이션 수행에서, 사용자 입력에 대응하는 신호(예: 노크 이벤트)를 상기 대화 상대의 제2 전자 장치 4100에 공유하는 경우, 발신측과 수신측의 동작 화면 예시를 나타낸 것이다.
상기 도 47의 예시에서는 제1 전자 장치 3900의 노크 이벤트에 대해 제2 전자 장치 4100의 사용자가 확인하지 않는 경우의 예시를 나타낼 수 있다. 상기 도 47의 예시에서는 상기 제2 전자 장치 4100은 상기 노크 이벤트에 대한 사용자의 미확인에 따라 프레즌시 메시지를 제1 전자 장치 3900에 전송하고, 상기 제1 전자 장치 3900에서 상기 프레즌시 메시지 수신에 응답하여 상기 대화 상대에 대한 상황 정보를 표시하는 동작 화면 예시를 나타낼 수 있다.
상기 도 47의 (A)에 도시한 바와 같이, 제1 전자 장치 3900의 사용자는 플로팅 서클을 통해 대화 상대와 커뮤니케이션을 위한 이벤트(예: 노크 이벤트)(예: 터치 또는 연속적인 터치)를 입력할 수 있다. 상기 제1 전자 장치 3900은 사용자의 이벤트 입력에 응답하여, 상기 플로팅 서클의 대화 상대에 대응하는 제2 전자 장치 4100에 상기 이벤트를 전송할 수 있다.
상기 도 47의 (B)에 도시한 바와 같이, 제2 전자 장치 4100에서는 상기 제1 전자 장치 3900로부터 이벤트 수신에 응답하여, 상기 이벤트에 대응하는 알림(예: 플로팅 서클에 기반하는 파동 효과 등) 4710을 제공할 수 있다. 상기 제2 전자 장치 4100은 상기 이벤트 수신에 대한 사용자의 확인 여부를 판단할 수 있고, 만약 상기 이벤트에 대한 사용자의 확인이 감지되지 않으면, 상기 제2 전자 장치 4100의 상황 정보(센서 정보)를 기반으로 사용자의 프레즌스를 판단할 수 있다. 상기 제2 전자 장치 4100은 사용자가 응답이 어려운 상태(예: 운전 상황)로 판단하면, 제2 전자 장치 4100의 프레즌스를 상기 제1 전자 장치에 전송할 수 있다. 즉, 상기 제2 전자 장치 4100은 상기 제1 전자 장치 3900에 프레즌스 메시지를 전달할 수 있다.
상기 도 47의 (C)에 도시한 바와 같이, 제1 전자 장치 3900은 상기 제2 전자 장치 4100로부터 프레즌시 메시지를 수신하면, 상기 대화 상대의 플로팅 서클에 기반하여 상기 대화 상대의 프레즌스 정보 4720을 표시할 수 있다.
한편, 상기와 같은 상태에서, 제1 전자 장치 3900의 사용자는 플로팅 서클을 통해 추가적인 벤트를 입력할 수 있고, 제1 전자 장치 3900은 사용자의 이벤트 입력에 응답하여, 상기 제2 전자 장치 4100에 추가 이벤트를 전송할 수 있다.
상기 도 47의 (D)에 도시한 바와 같이, 제2 전자 장치 4100은 이전 이벤트에 따른 사용자 확인이 없는 상태에서, 상기 추가 이벤트가 수신되는 경우, 제2 전자 장치 4100의 센서 정보를 기반으로 사용자의 프레즌스를 판단할 수 있다. 제2 전자 장치 4100은 상기 판단하는 결과에 기반하여 사용자가 응답하기 어려운 상태인 것으로 판단하면, 제2 전자 장치 4100의 프레즌스를 제1 전자 장치 3900에 전송할 수 있고, 상기 추가 이벤트에 대한 알림은 제공하지 않을 수 있다. 예를 들어, 도 47의 (B) 화면 예시에서 알림 4710과 달리, 이전 이벤트에 대한 확인이 수행되지 않음을 알리는 정보 4730만이 제공될 수 있다. 반면, 제2 전자 장치 4100은 상기 판단하는 결과에 기반하여 사용자가 이벤트에 대해 확인하는 것으로 판단하는 경우, 상기 추가 이벤트에 대한 알림을 제공할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 이벤트를 수신하는 제2 전자 장치 4100에서 프레즌스 정보 전송은 전자 장치 400의 설정에 대응하여 다양하게 구현될 수 있다.
한 실시 예에 따르, 제1 전자 장치 3900에서 제2 전자 장치 4100에 이전 이벤트를 전송히고 이후 추가 이벤트를 전송하는 경우에서, 제2 전자 장치 4100은 상기 추가 이벤트에 대해 제2 전자 장치 4100의 사용자가 확인하지 않는 경우 제2 전자 장치 4100 사용자의 프레즌스를 판단할 수 있다. 제2 전자 장치 4100은 그 판단하는 결과에 기반하여 제1 전자 장치 3900에 프레즌스 정보를 전송하고 상기 추가 이벤트에 대한 알림은 미 제공할 수 있다.
다른 실시 예들에 따르면, 제1 전자 장치 3900에서 최초 이벤트를 전송하는 경우에서, 제2 전자 장치 4100은 상기 최초 이벤트에 대해 사용자가 일정 시간 이상 확인이 없는 경우 제2 전자 장치 4100 사용자의 프레즌스를 판단할 수 있다. 제2 전자 장치 4100은 그 판단하는 결과에 기반하여 제1 전자 장치 3900에 프레즌스 정보를 전송하고 이후 추가 이벤트에 대한 알림을 미 제공할 수 있다.
도 48은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 커뮤니케이션 수행에 따른 대화 상대를 선택하는 동작 예시를 도시하는 도면이다.
상기 도 48을 참조하면, 상기 도 48은 익스팬디드 서클 상태에서 대화 상대 표시 영역을 통해 복수의 대화 상대를 제공하고, 복수의 대화 상대들 중에서 커뮤니케이션을 위한 대화 상대를 하나 또는 복수로 선택하여 커뮤니케이션을 수행하는 동작 화면 예시를 나타낼 수 있다.
본 발명의 다양한 실시 예들에 따르면, 커뮤니케이션 수행을 위한 대화 상대를 대화 상대 목록에서 선택하거나, 대화 상대 표시 영역을 복수로 구현하여 각 대화 상대 표시 영역마다 대화 상대를 추가 배치하여 선택할 수 있다.
예를 들어, 상기 도 48에 도시한 바와 같이, 사용자는 대화 상대 표시 영역을 통해 A 사용자, B 사용자, C 사용자를 대화 상대로 설정할 수 있고, 전자 장치 400은 사용자 설정에 반응하여 A 사용자, B 사용자, C 사용자에 대응하는 3개의 대화 상대 표시 영역을 제공할 수 있다. 사용자는 공유 영역을 통해 공유하고자 하는 내용을 입력할 수 있고, 전자 장치 400은 사용자 입력에 대응하는 이벤트(메시지)를 생성하여, A 사용자, B 사용자, C 사용자에 대응하는 각각의 다른 전자 장치들에 상기 이벤트를 전송할 수 있다. 사용자, B 사용자, C 사용자의 각 전자 장치에서는 전자 장치 400으로부터 이벤트를 각각 수신할 수 있고, 수신된 이벤트를 공유 영역을 통해 표시할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 복수의 대화 상대 표시 영역에 대응하는 복수의 대화 상대들에 대해, 사용자의 선택에 대응하여 모든 대화 상대들 기반의 그룹 커뮤니케이션 또는 특정 하나 이상의 대화 상대 기반의 개별 커뮤니케이션을 수행할 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면, 대화 상대 표시 영역의 대화 상대는 사용자 입력에 기반하여 삭제, 편집 또는 추가될 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면, 대화 상대 표시 영역을 통해 대화 상대 별로 메시지(이벤트) 전송 일시 정지, 메시지(이벤트) 전송 재개, 단독 대화 인터페이스 등을 제공할 수 있다.
상기 도 48에 도시한 바와 같이, A 사용자, B 사용자, C 사용자에 대응하는 각 전자 장치들에서는 하나의 대화 상대 표시 영역에서 상기 사용자에 대한 정보를 표시할 수 있고, 상기 대화 상대로부터 수신된 이벤트에 대응하는 내용을 공유 영역을 통해 표시할 수 있다. 여기서, 상기 도 48에 도시한 바와 같이, A 사용자, B 사용자, C 사용자에 대응하는 각 전자 장치들에서는 배경 화면은 유지하면서 수신된 이벤트의 내용(예: 메모(예: Good ^.^)만을 공유 영역을 통해 표시할 수 있고, 전자 장치 400의 공유 영역에 표시되는 내용과 동일한 위치에 동일한 내용을 표시할 수 있다.
도 49는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 커뮤니케이션이 수행되는 동작 화면 예시를 도시하는 도면이다.
상기 도 49를 참조하면, 상기 도 49는 익스팬디드 서클 상태에서 대화 상대 표시 영역의 대화 상대와 커뮤니케이션 수행에서, 사용자 입력에 대응하는 신호를 상기 대화 상대의 다른 전자 장치에 전송하는 경우의 동작 화면 예시를 나타낸 것이다. 상기 도 49의 예시에서는 프로필(profile) 이벤트를 발생하고 그에 따라 대화 상대에게 특정 사용자의 프로필(예: 연락처 등)을 공유하는 동작 화면 예시를 나타낼 수 있다.
상기 도 49에 도시한 바와 같이, 본 발명의 다양한 실시 예들에 따르면, 사용자는 익스팬디드 서클의 공유 영역을 이용하여 대화 상대에게 연락처를 공유할 수 있다. 예를 들어, 사용자는 멤버 트레이를 활성화 할 수 있고, 상기 멤버 트레이서 특정 사용자의 서클을 멤버 트레이에서 공유 영역으로 이동하는 입력(예: 드래그앤드롭)을 수행할 수 있다. 전자 장치 400은 사용자 입력에 응답하여 공유 영역으로 이동된 상기 서클의 사용자의 프로필 정보(예: 연락처 등)의 전체 또는 일부를 공유할 수 있다. 한 실시 예에 따르면, 전자 장치 400은 사용자 입력에 응답하여 공유 영역으로 이동된 서클의 사용자의 프로필 정보(예: 연락처(예: 010-3288-4726))를 추출할 수 있고, 추출된 프로필 정보를 공유 영역을 통해 표시하면서, 대화 상대의 전자 장치에 프로필 이벤트 메시지를 전송할 수 있다.
한편, 본 발명의 다양한 실시 예들에서 도시하지는 않았으나, 본 발명의 다양한 실시 예들에 따르면 전술한 바와 같은 다양한 실시 예들에 기반하여, 본 문서에서 개시되지 않은 다양한 콘텐츠의 공유도 가능할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 캡처(capture)를 이용하여 캡처된 콘텐츠를 공유할 수 있다. 본 발명의 다양한 실시 예들에서, 전자 장치 400은 공유 영역에 표시되는 화면에 대한 화면 캡처 기능 및 캡처 데이터 공유 기능을 제공할 수 있다. 한 실시 예에 따르면, 공유 영역을 캡처 대상 지정용으로 사용하고, 공유 영역 주변 영역(예: 인터페이스 영역)에 화면 캡처를 위한 인터페이스가 제공될 수 있다.
전자 장치 400은 상기 인터페이스 영역을 통해 사용자로부터 캡처 기능 실행 요청을 감지하면, 공유 영역을 투명하게 처리하여 공유 영역 하단 화면을 표시되도록 할 수 있다. 한 실시 예에 따르면, 전자 장치 400은 공유 영역 하단에서 실행 중인 어플리케이션의 텍스트 또는 이미지(예: 썸네일, 아이콘 또는 스크린샷 등)을 표시할 수 있다. 상기 어플리케이션은 홈 화면, 메뉴 화면 등을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 사용자는 공유 영역 하단 화면 중 원하는 영역이 공유 영역을 통해 표시되도록 영역을 조절한 후 캡처를 실행할 수 있다. 전자 장치 400은 캡처 실행에 응답하여 공유 영역을 통해 표시되는 하위 윈도우의 화면을 캡처 할 수 있다. 본 발명의 다양한 실시 예들에서, 캡처되는 영역은 화면 전체이거나 공유 영역의 크기 또는 형태와 동일하거나 유사할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 화면 캡처 외에 캡처 대상과 관련된 정보를 획득하여 제공할 수 있다. 예를 들어, 캡처 대상이 웹 브라우저인 경우에는 URL을 추가적으로 획득할 수 있다. 또한 캡처 대상이 이미지 뷰어인 경우에는 표시 중인 이미지의 명칭, 저장 경로 등을 획득할 수 있다. 또한 캡처 대상이 음악 또는 영상 등과 같이 재생되는 콘텐츠인 경우에는 콘텐츠 명칭, 콘텐츠 위치, 콘텐츠 재생 위치, 콘텐츠 접근을 위한 보안 정보 등을 획득할 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면, 보안 정보를 필요로 하는 콘텐츠의 경우에는 정보 획득을 제한 할 수도 있다. 또한 캡처 대상이 메시징 또는 메일인 경우에는 대화 상대 및 대화 내용을 획득할 수 있다. 또한 캡쳐 대상이 텍스트인 경우에는 OCR 등을 수행하여 텍스트 내용을 획득할 수도 있다. 그리고 본 발명의 다양한 실시 예들에 따르면, 캡처된 내용은 사용자의 요청 또는 자동으로 대화 상대 표시 영역의 대화 상대의 전자 장치에 전송될 수 있다.
또한 본 발명의 다양한 실시 예들에 따르면, 문자 메시지 송수신에 따른 메시지 내용을 익스팬디드 서클의 공유 영역을 통해 표시할 수 있고, 이를 대화 상대와 공유할 수도 있다.
또한 본 발명의 다양한 실시 예들에 따르면, 커뮤니케이션 어플리케이션을 통해 최근 송수신된 정보(예: 컨택트 정보)를 익스팬디드 서클의 공유 영역을 통해 표시할 수 있고, 이를 대화 상대와 공유할 수도 있다.
또한 본 발명의 다양한 실시 예들에 따르면, 커뮤니케이션 수행을 위한 유저 인터페이스는 다양한 어플리케이션들의 실행 화면에서도 호출 가능한 다양한 형태의 인터페이스(예: 플로팅 서클 형태)로 제공될 수 있다.
또한 본 발명의 다양한 실시 예들에 따르면, 전자 장치들 간에 커뮤니케이션에서, 사용자의 위치를 상호 간에 공유하여 표시할 수 있다. 예를 들어, 익스팬디드 서클의 공유 영역을 통해 대화 상대에게 사용자의 현재 위치를 대화 상대에게 전달할 수 있다. 본 발명의 다양한 실시 예들에서 상기 사용자의 현재 위치를 위치 좌표를 전달하거나, 또는 전자 장치 400에서 실행 가능한 지도 어플리케이션에서 사용자의 현재 위치를 마킹할 수 있고, 상기 사용자의 현재 위치가 마킹된 지도 데이터를 대화 상대에게 전달할 수 있다. 또한 본 발명의 다양한 실시 예들에 따르면, 인터페이스 영역 상에 사용자의 위치를 공유하기 위한 인터페이스가 제공될 수 있고, 상기 인터페이스에 기반하여 사용자의 위치 획득, 지도 어플리케이션 실행 또는 사용자의 위치 공유 등의 동작이 개별 또는 한 번에 자동으로 이루어질 수 있다.
도 50은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 사용자 입력에 대응하는 이벤트 처리 방법을 도시하는 흐름도이다.
상기 도 50을 참조하면, 동작 5001에서, 제어부 480은 사용자의 커뮤니케이션 수행에 응답하여 커뮤니케이션을 위한 서클(예: 플로팅 서클, 익스팬디드 서클) 기반의 유저 인터페이스를 표시할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 사용자의 커뮤니케이션을 지원하기 위한 상기 유저 인터페이스는 앞서 설명한 바와 같이 다양한 형태로 구현될 수 있다.
동작 5003에서, 제어부 480은 상기 유저 인터페이스에 기반하여 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 플로팅 서클에 기반하여 터치 입력을 수행하거나, 익스팬디드 서클의 공유 영역에 기반하여 터치 입력을 수행할 수 있다.
동작 5005에서, 제어부 480은 상기 사용자 입력에 대응하는 데이터를 생성할 수 있다. 예를 들어, 제어부 480은 상기 플로팅 서클 또는 상기 익스팬디드 서클의 공유 영역을 통해 사용자의 터치 입력이 감지되면, 상기 터치 입력이 감지되는 영역(예: 플로팅 서클 또는 공유 영역)에 따라 노크 이벤트, 핸드라이팅 이벤트, 이모티콘 이벤트, 콘텐츠 공유 이벤트 등과 같은 이벤트의 종류를 인식할 수 있고, 그에 대응하는 데이터를 생성할 수 있다.
동작 5007에서, 제어부 480은 사용자 입력 기반 효과 표시를 제어할 수 있다. 예를 들어, 제어부 480은 터치 입력이 감지되는 영역(예: 입력이 수신된 영역) 또는 상기 사용자 입력의 적어도 일부에 기초하여 효과를 사용자에게 출력(예: 표시)할 수 있다. 예를 들어, 제어부 480은 앞서 다양한 실시 예들에서 살펴본 바와 같이, 파동 효과 등과 같은 다양한 애니메이션을 표시하거나, 또는 색상 변화, 진동, 핸드라이팅에 따른 이미지 또는 텍스트 등을 표시할 수 있다.
동작 5009에서, 제어부 480은 데이터 전송 방식을 확인할 수 있고, 동작 5011에서 상기 데이터 전송 방식이 실시간 전송 방식인지, 또는 누적 전송 방식인지 판단할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 입력 이벤트에 대응하게 생성하는 데이터는 실시간으로 대화 상대에게 전달되거나, 또는 일정 조건을 만족하는 경우에 대화 상대에게 전달될 수 있다.
상기 동작 5011에서, 제어부 480은 실시간 전송 방식인 것으로 판단하는 경우(동작 5011의 YES), 동작 5013에서, 상기 데이터를 대화 상대의 전자 장치에 전송할 수 있다. 본 발명의 다양한 실시 예들에서, 이벤트는 P2P 방식 또는 서버-클라이언트 방식을 통해 대화 상대의 전자 장치에 전송될 수 있다.
상기 동작 5011에서, 제어부 480은 누적 전송 방식인 것으로 판단하는 경우(동작 5011의 NO), 동작 5015에서, 데이터를 누적할 수 있다.
동작 5017에서, 제어부 480은 누적하는 데이터가 설정된 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 제어부 480은 누적하는 데이터가 설정된 시간만큼 누적되는지, 또는 설정된 개수만큼 누적되는지 등을 판단할 수 있다.
상기 동작 5017에서, 제어부 480은 누적하는 데이터가 설정된 조건을 만족하지 않는 것으로 판단하는 경우(동작 5017의 NO), 동작 5015로 진행하여 이하의 동작 수행을 처리할 수 있다.
상기 동작 5017에서, 제어부 480은 누적하는 데이터가 설정된 조건을 만족하는 것으로 판단하는 경우(동작 5017의 YES), 동작 5019에서, 누적 데이터를 대화 상대의 전자 장치에게 전송할 수 있다. 본 발명의 다양한 실시 예들에서, 누적 데이터는 P2P 방식 또는 서버-클라이언트 방식을 통해 대화 상대의 전자 장치에 전송될 수 있다.
도 51은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 이벤트에 대응하는 응답에 대한 처리 방법을 도시하는 흐름도이다.
상기 도 51을 참조하면, 동작 5101에서, 제어부 480은 이벤트 전송에 대한 응답을 수신할 수 있다. 예를 들어, 상기 도 50을 참조한 설명 부분에서 설명한 바와 같이, 제어부 480은 대화 상대의 전자 장치에 이벤트를 전송할 수 있고, 상기 대화 상대의 전자 장치로부터 상기 이벤트에 대응하는 응답을 수신할 수 있다.
동작 5103에서, 제어부 480은 상기 대화 상대의 전자 장치로부터 수신된 응답의 종류를 확인할 수 있다.
동작 5105 및 동작 5109에서, 제어부 480은 상기 확인하는 결과에 기반하여 상기 응답이 확인 메시지인지, 프레즌스 메시지인지, 또는 미확인 메시지인지 등을 판단할 수 있다.
상기 동작 5105에서, 제어부 480은 상기 응답의 종류가 확인 메시지인 것으로 판단하는 경우(동작 5105의 YES), 동작 5107에서, 전송된 이벤트에 대해 대화 상대가 확인하였음을 통지(예: 읽음 표시)할 수 있다.
상기 동작 5105에서, 제어부 480은 상기 응답의 종류가 확인 메시지가 아닌 것으로 판단하는 경우(동작 5105의 NO), 동작 5109로 진행하여 이하의 동작 수행을 처리할 수 있다.
상기 동작 5109에서, 제어부 480은 상기 응답의 종류가 프레즌스 메시지인 것으로 판단하는 경우(동작 5109의 NO), 동작 5111에서, 전송된 이벤트에 대해 대화 상대가 확인할 수 없는 상태임을 통지(예: 프레즌스 정보 표시)할 수 있다.
상기 동작 5109에서, 제어부 480은 상기 응답의 종류가 미확인 메시지인 것으로 판단하는 경우(동작 5109의 NO), 동작 5113에서, 전송된 이벤트에 대해 대화 상대가 미확인 상태임을 통지(예: 언리드 정보 표시)할 수 있다.
도 52는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 이벤트에 수신에 대한 처리 방법을 도시하는 흐름도이다.
상기 도 52를 참조하면, 동작 5201에서, 제어부 480은 대화 상대의 전자 장치로부터 이벤트를 수신할 수 있다.
동작 5203에서, 제어부 480은 상기 수신하는 이벤트에 대응하는 이벤트 종류를 확인할 수 있다. 예를 들어, 제어부 480은 플로팅 서클 또는 익스팬디드 서클의 공유 영역과 같이 이벤트가 전달되는 영역에 따라 노크 이벤트, 핸드라이팅 이벤트, 이모티콘 이벤트, 콘텐츠 공유 이벤트 등과 같은 이벤트의 종류를 판단할 수 있다.
동작 5205에서, 제어부 480은 이벤트 종류의 결과에 따라 이벤트 출력(예: 표시)를 처리할 수 있다. 예를 들어, 제어부 480은 앞서 다양한 실시 예들에서 살펴본 바와 같이, 파동 효과 등과 같은 다양한 애니메이션을 표시하거나, 또는 색상 변화, 진동, 핸드라이팅에 따른 이미지 또는 텍스트 등을 표시할 수 있다.
동작 5207 및 동작 5209에서, 제어부 480은 상기 이벤트 출력을 처리한 후 상기 이벤트에 대한 사용자의 확인 여부를 판단할 수 있다.
상기 동작 5209에서, 제어부 480은 상기 이벤트가 사용자에 의해 확인되는 것으로 판단하는 경우(동작 5209의 YES), 동작 5211에서, 확인 메시지를 생성할 수 있고, 동작 5213에서, 상기 확인 메시지를 대화 상대의 전자 장치에게 전송할 수 있다.
상기 동작 5209에서, 제어부 480은 상기 이벤트가 사용자에 의해 확인되지 않는 것으로 판단하는 경우(동작 5209의 NO), 동작 5215에서, 전자 장치 400의 다양한 센서 정보를 기반으로 사용자의 프레즌스를 판단할 수 있다.
동작 5217에서, 제어부 480은 상기 판단하는 결과에 기반하여 사용자의 프레즌스가 설정된 프레즌스 상태인지 여부를 판단할 수 있다. 예를 들어, 제어부 480은 전자 장치 400의 사용자가 이벤트에 대해 응답을 할 수 없는 상황(예: 운전 중)인지 판단할 수 있다.
상기 동작 5217에서, 제어부 480은 사용자의 프레즌스가 설정된 프레즌스 상태가 아닌 것으로 판단하면(동작 5217의 NO), 동작 5219에서, 해당 동작 수행을 처리할 수 있다. 예를 들어, 제어부 480은 사용자의 상기 이벤트 미확인에 대한 미확인 메시지를 생성하여 대화 상대의 전자 장치에 전송하거나, 또는 사용자의 프레즌스 상태 모니터링을 계속하여 수행하면서 추가 이벤트 수신에 대한 동적을 처리하거나, 상기 이벤트 수신에 대한 알림을 반복하여 출력할 수 있다.
상기 동작 5217에서, 제어부 480은 사용자의 프레즌스가 설정된 프레즌스 상태인 것으로 판단하면(동작 5217의 YES), 동작 5221에서, 프레즌스 정보를 생성할 수 있고, 동작 5223에서, 상기 프레즌스 정보를 대화 상대의 전자 장치에 전송할 수 있다.
도 53은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 사용자의 프레즌스 상태에 대한 처리 방법을 도시하는 흐름도이다.
상기 도 53을 참조하면, 동작 5301에서, 제어부 480은 사용자의 프레즌스가 설정된 프레즌스 상태인 것으로 판단하면, 동작 5303에서, 프레즌스 모드 전환을 처리할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 프레즌스 모드는 사용자가 이벤트에 응답하기 어려운 설정된 특정 상황(예: 운전 상황)인 경우, 이벤트 수신에 대한 알림(통지)을 차단하는 모드를 나타낼 수 있다.
동작 5305에서, 제어부 480은 상기 프레즌스 모드에서 이벤트 수신을 감지하면, 동작 5307에서 상기 이벤트에 대한 출력을 차단할 수 있다. 예를 들어, 제어부 480은 상기 수신 이벤트에 대한 알림이 출력되지 않도록 처리할 수 있다.
동작 5309에서, 제어부 480은 상기 프레즌스 모드 상태에서 사용자의 프레즌스를 계속하여 판단할 수 있다. 예를 들어, 제어부 480은 다양한 센서 정보에 기반하여 사용자의 프레즌스를 모니터링 할 수 있다.
동작 5311에서, 제어부 480은 상기 사용자의 프레즌스를 판단하는 결과에 기반하여 설정된 프레즌스 상태의 해제 여부를 판단할 수 있다. 예를 들어, 제어부 480은 다양한 센서 정보를 기반으로 사용자의 프레즌스 모니터링을 수행할 수 있고, 상기 모니터링 결과에 기반하여 사용자의 운전 상황이 해제되었는지 여부를 판단할 수 있다.
상기 동작 5311에서, 제어부 480은 설정된 프레즌스 상태가 해제되지 않는 것으로 판단하는 경우(동작 5311의 NO), 동작 5309로 진행하여 이하의 동작 수행을 처리할 수 있다.
상기 동작 5311에서, 제어부 480은 설정된 프레즌스 상태가 해제되는 것으로 판단하는 경우(동작 5311의 YES), 동작 5313에서, 상기 프레즌스 모드를 해제할 수 있다.
동작 5315에서, 제어부 480은 상기 프레즌스 모드 해제에 반응하여 프레즌스 해제 메시지를 대화 상대의 전자 장치에 전송할 수 있다.
동작 5317에서, 제어부 480은 상기 프레즌스 모드가 해제된 상태에 이벤트를 수신할 시, 동작 5319에서, 상기 수신 이벤트에 대한 출력(알림)을 처리할 수 있다.
도 54는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 사용자 입력에 기반하여 데이터를 전송하는 동작을 도시하는 흐름도이다.
상기 도 54를 참조하면, 동작 5401에서, 제어부 480은 사용자의 커뮤니케이션 수행에 응답하여 커뮤니케이션을 위한 유저 인터페이스를 표시할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 유저 인터페이스는 외부 전자 장치와 연관된 사용자와 관련된 이미지 또는 텍스트 중 적어도 하나를 표시하는 제1 영역, 상기 외부 전자 장치와 공유하는 데이터를 표시하는 제2 영역을 포함할 수 있고, 상기 제1 영역은 상기 제2 영역에 적어도 일부 중첩되어 배치될 수 있다. 본 발명의 다양한 실시 예들에서, 상기 외부 전자 장치는 연락처, 계정, 기기 또는 IP 주소, 위치 정보에 기반하여 데이터를 송수신할 수 있다.
동작 5403에서, 제어부 480은 사용자 입력을 수신할 수 있다. 예를 들어, 제어부 480은 상기 제1 영역 또는 상기 제2 영역의 적어도 일부에 기반하여 상기 사용자 입력을 수신할 수 있다.
동작 5405에서, 제어부 480은 입력 수신 영역을 확인할 수 있다. 예를 들어, 제어부 480은 상기 사용자 입력이 상기 제1 영역에 기반하여 수신되는지 또는 상기 제2 영역에 기반하여 수신되는지, 또는 제1 영역 및 제2 영역 모두에 기반하여 수신되는지 판단할 수 있다.
동작 5407에서, 제어부 480은 상기 입력이 수신된 영역 및 상기 수신한 입력의 적어도 일부에 기초하여 송신할 데이터를 생성할 수 있다. 예를 들어, 제어부 480 사용자 입력을 수신하는 위치(예: 제1 영역, 제2 영역)에 따라 전송할 데이터의 종류를 다르게 생성할 수 있다. 한 실시 예에 따르면, 제어부 480은 입력 종류, 입력 발생 시간, 입력 발생 순서, 입력 좌표, 입력 위치, 색상 정보, 입력 업/다운 정보, 콘텐츠 정보 중 적어도 하나 이상을 포함하여 데이터를 생성할 수 있다.
동작 5409에서, 제어부 480은 데이터 전송을 제어할 수 있다. 예를 들어, 제어부 480은 상기 제1 영역 또는 상기 제2 영역의 적어도 일부를 통해 수신된 입력의 적어도 일부 기초하여, 통신 모듈을 통해 상기 데이터를 전송하도록 제어할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 제어부 480은 상기 데이터 전송에 응답하여 상기 외부 전자 장치가 전송하는 데이터를 수신할 수 있다. 한 실시 예에 따르면, 제어부 480은 상기 외부 전자 장치로부터 수신한 적어도 일부 데이터에 기반하여, 상기 송신하는 데이터에 대한 상기 외부 전자 장치와 연관된 사용자의 수신 상태 또는 상기 사용자의 상태의 적어도 하나를 상기 제1 영역 또는 상기 제2 영역의 적어도 일부를 통해 표시하도록 처리할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치 400의 동작 방법은, 외부 전자 장치와 연관된 사용자와 관련된 이미지 또는 텍스트 중 적어도 하나를 표시하는 제1 영역과 상기 외부 전자 장치와 공유하는 데이터를 표시하는 제2 영역을 포함하는 유저 인터페이스를 표시하는 동작, 상기 제1 영역 또는 상기 제2 영역의 적어도 일부를 통하여 입력을 수신하는 동작, 상기 수신된 입력에 대응하는 효과를 표시하는 동작, 상기 수신된 입력에 적어도 일부 기초하여 상기 외부 전자 장치에 데이터를 송신하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 유저 인터페이스를 표시하는 동작은 터치스크린 디스플레이의 적어도 일부 화면으로 표시하고, 상기 제1 영역 및 상기 제2 영역을 제외한 나머지 영역의 적어도 일부 영역은 투명 또는 반투명하게 표시하거나 상기 전자 장치 400 또는 외부 전자 장치에 저장된 이미지를 필터 처리(예: 블러, 흑백)하여 표시하는 것을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 데이터를 송신하는 동작은 상기 제1 영역 또는 상기 제2 영역의 적어도 일부를 통하여 입력을 수신하는 동작, 상기 수신된 입력에 적어도 일부 기초하여 상기 데이터를 상기 외부 전자 장치에 송신하는 동작을 포함하고, 상기 데이터는 상기 입력이 수신된 영역 및 상기 수신한 입력의 적어도 일부에 기초하여 결정할 수 있다. 본 발명의 다양한 실시 예들에서, 상기 데이터는 입력 종류, 입력 발생 시간, 입력 발생 순서, 입력 좌표, 입력 위치, 색상 정보, 입력 업/다운 정보, 콘텐츠 정보 중 적어도 하나 이상을 포함할 수 있다.
이상에서 살펴본 바와 같이, 본 발명의 다양한 실시 예들에 따른 전자 장치 400의 동작 방법은, 커뮤니케이션 개시에 응답하여 대화 상대를 표시하는 제1 영역(예: 대화 상대 표시 영역)과 상기 대화 상대와 공유되는 내용을 표시하는 제2 영역(예: 공유 영역)을 포함하는 유저 인터페이스를 표시하는 동작, 상기 제1 영역 또는 상기 제2 영역에 기반하는 사용자 입력에 대응하여 이벤트(예: 노크 이벤트, 핸드라이팅 이벤트 등)를 인식하는 동작, 상기 이벤트에 대응하는 피드백 효과를 출력하는 동작, 상기 이벤트를 상기 제1 영역의 대화 상대의 전자 장치에 전송하는 동작, 상기 전자 장치로부터 상기 이벤트에 대응하는 응답을 수신하는 동작, 상기 응답과 관련된 정보를 상기 제1 영역 또는 상기 제2 영역을 통해 표시하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 이벤트를 전송하는 동작은 상기 이벤트의 전송 방식을 결정하는 동작, 상기 결정하는 동작에 기반하여 상기 이벤트를 실시간으로 전송하는 동작, 상기 결정하는 동작에 기반하여 상기 이벤트를 누적한 후 누적 이벤트를 전송하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 누적 이벤트를 전송하는 동작은 사용자 입력에 대응하는 이벤트를 설정된 조건만큼 누적한 후 누적 이벤트를 전송하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 응답과 관련된 정보를 표시하는 동작은 상기 대화 상대의 전자 장치로부터 수신된 응답의 종류를 확인하는 동작, 상기 응답의 종류가 확인 메시지이면, 상기 제1 영역에 기반하여 읽음 표시를 처리하는 동작, 상기 응답의 종류가 프레즌스 메시지이면, 상기 제1 영역에 기반하여 프레즌스 정보 표시를 처리하는 동작, 상기 응답의 종류가 미확인 메시지이면, 상기 제1 영역에 기반하여 언리드 정보 표시를 처리하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 응답과 관련된 정보를 표시하는 동작은 상기 대화 상대의 전자 장치로부터 이벤트를 수신하는 동작, 상기 제1 영역 또는 상기 제2 영역을 통해 상기 이벤트에 대응하는 정보를 출력하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 정보를 출력하는 동작은 상기 제1 영역에 기반하여 상기 이벤트 수신 알림을 표시하는 동작, 상기 제2 영역에 기반하여 상기 이벤트에 따른 내용을 표시하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 이벤트가 사용자에 의해 확인되지 않으면, 사용자의 프레즌스를 판단하는 동작, 상기 사용자의 프레즌스가 설정된 프레즌스 상태인지 판단하는 동작, 상기 사용자의 프레즌스가 상기 설정된 프레즌스 상태이면, 프레즌스 메시지를 대화 상대의 전자 장치에 전송하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 설정된 프레즌스 상태인 것으로 판단하면, 프레즌스 모드로 전환하는 동작, 상기 프레즌스 모드에서 이벤트 수신을 감지하면, 상기 이벤트에 대한 출력을 차단하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 프레즌스 모드 상태에서 사용자의 프레즌스를 모니터링 하는 동작, 상기 모니터링 하는 결과에 기반하여 상기 설정된 프레즌스 상태의 해제를 감지하는 동작, 상기 설정된 프레즌스 상태의 해제 감지에 응답하여 상기 프레즌스 모드를 해제하는 동작, 상기 프레즌스 모드가 해제된 상태에 이벤트를 수신할 시 상기 이벤트에 대한 출력을 처리하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예들에서, 상기 프레즌스 모드 해제에 반응하여 프레즌스 해제 메시지를 대화 상대의 전자 장치에 전송하는 동작을 더 포함할 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
400: 전자 장치
410: 무선 통신부 411: 이동통신 모듈
413: 무선 랜 모듈 420: 사용자 입력부
430: 터치스크린 431: 디스플레이
433: 터치감지부 440: 오디오 처리부
441: 스피커 443: 마이크
450: 메모리 460: 인터페이스부
470: 카메라 모듈 480: 제어부
490: 전원 공급부

Claims (24)

  1. 전자 장치에 있어서,
    통신 모듈;
    터치스크린 디스플레이;
    상기 통신 모듈 및 상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서; 및
    상기 프로세서와 전기적으로 연결되고 명령어들을 저장하는 메모리를 포함하며,
    상기 명령어들은, 실행 시에, 상기 프로세서가,
    상기 통신 모듈을 이용하여, 외부 전자 장치로부터 지정된 이벤트를 나타내는 신호를 수신하고,
    상기 신호의 수신에 응답하여, 제1 유저 인터페이스의 일부 상에 플로팅되고 드래그 입력을 통해 이동 가능한 제2 유저 인터페이스를 상기 터치스크린 디스플레이에 표시하고,
    상기 제2 유저 인터페이스가 표시된 후 미리 설정된 시간 동안 상기 제2 유저 인터페이스의 적어도 일부 상에서의 터치 입력이 감지되는지를 식별하고,
    상기 미리 설정된 시간 동안 상기 터치 입력이 감지되었다는 식별에 응답하여, 상기 제2 유저 인터페이스를 상기 제1 유저 인터페이스의 일부 상에 플로팅되는 확장된 유저 인터페이스로 전환하되, 상기 확장된 유저 인터페이스는 상기 외부 전자 장치의 사용자와 관련된 이미지 및 텍스트 중 적어도 하나를 표시하는 제1 영역 및 상기 외부 전자 장치와 공유되는 메시지 및 컨텐츠를 표시하는 제2 영역을 포함하고,
    상기 확장된 유저 인터페이스가 표시되는 중에 상기 통신 모듈을 이용하여, 상기 외부 전자 장치로부터 메시지 또는 컨텐츠를 수신하고,
    상기 메시지 또는 컨텐츠의 수신에 응답하여, 상기 수신된 메시지 또는 컨텐츠를 상기 제2 영역에 표시하고,
    상기 미리 설정된 시간 동안 상기 터치 입력이 감지되지 않았다는 식별에 응답하여, 상기 제2 유저 인터페이스를 상기 터치스크린 디스플레이에서 제거하도록 하는 전자 장치.
  2. 제1항에 있어서,
    상기 제1 영역과 상기 제2 영역은 동일하거나 유사한 형태의 도형으로 구성되며,
    상기 확장된 유저 인터페이스는 상기 제2 영역을 제어하는 제3 영역을 포함하는 전자 장치.
  3. 제1항에 있어서, 상기 외부 전자 장치는
    연락처, 계정, 기기 또는 IP(internet protocol) 주소, 위치 정보에 기반하여 데이터를 송수신하는 전자 장치.
  4. 제1항에 있어서, 상기 명령어들은, 실행 시에, 상기 프로세서가,
    상기 제1 영역 또는 상기 제2 영역의 적어도 일부에 기반하여 입력을 수신하고,
    상기 입력에 대응하는 효과를 표시하도록 하는 전자 장치.
  5. 제4항에 있어서,
    상기 제2 영역은 데이터 표시 영역, 콘텐츠 재생 영역, 카메라 프리뷰 영역 또는 이모티콘 생성 영역으로 이용되는 전자 장치.
  6. 제2항에 있어서, 상기 제3 영역은,
    상기 제2 영역을 통해 기능을 실행하기 위한 제1 인터페이스, 및
    상기 제2 영역에서 실행되는 상기 기능과 관련된 제어를 수행하기 위한 제2 인터페이스를 포함하고,
    상기 제1 인터페이스와 상기 제2 인터페이스는 주종 관계를 가지며,
    상기 제1 인터페이스는 상기 제1 인터페이스에 의한 상기 기능의 실행에 응답하여 상기 제2 인터페이스로 전환되는 전자 장치.
  7. 제6항에 있어서, 상기 제3 영역은,
    상기 제2 영역을 통한 기능의 실행에 대응하는 하나 이상의 인터페이스들, 및
    상기 제2 영역을 통한 기능의 실행 및 데이터의 공유를 위한 멀티 기능에 대응하는 인터페이스를 포함하는 전자 장치.
  8. 제1항에 있어서,
    상기 확장된 유저 인터페이스는 상기 터치스크린 디스플레이의 적어도 일부 화면으로 표시되고,
    상기 제1 영역 및 상기 제2 영역을 제외한 나머지 영역의 적어도 일부 영역은 투명 또는 반투명하게 표시되는 전자 장치.
  9. 제1항에 있어서,
    상기 제1 영역 또는 상기 제2 영역은 상기 외부 전자 장치로부터 수신한 데이터의 적어도 일부에 기초하여 효과를 표시하는 전자 장치.
  10. 전자 장치에 있어서,
    통신 모듈;
    터치스크린 디스플레이;
    상기 통신 모듈 및 상기 터치스크린 디스플레이와 전기적으로 연결된 프로세서; 및
    상기 프로세서와 전기적으로 연결되고 명령어들을 저장하는 메모리를 포함하며,
    상기 명령어들은, 실행 시에, 상기 프로세서가,
    상기 통신 모듈을 이용하여, 외부 전자 장치로부터 지정된 이벤트를 나타내는 신호를 수신하고,
    상기 신호의 수신에 응답하여, 어플리케이션 프로그램의 유저 인터페이스를 상기 터치스크린 디스플레이에 표시하고,
    상기 유저 인터페이스가 표시된 후 미리 설정된 시간 동안 상기 유저 인터페이스의 적어도 일부 상에서의 터치 입력이 감지되는지를 식별하고,
    상기 미리 설정된 시간 동안 상기 터치 입력이 감지되었다는 식별에 응답하여, 상기 유저 인터페이스를 확장된 유저 인터페이스로 전환하되, 상기 확장된 유저 인터페이스는 상기 외부 전자 장치의 사용자와 관련된 이미지 및 텍스트 중 적어도 하나를 표시하는 제1 영역 및 상기 외부 전자 장치와 공유되는 메시지 및 컨텐츠를 표시하는 제2 영역을 포함하고,
    상기 확장된 유저 인터페이스가 표시되는 중에 상기 통신 모듈을 이용하여, 상기 외부 전자 장치로부터 메시지 또는 컨텐츠를 수신하고,
    상기 메시지 또는 컨텐츠의 수신에 응답하여, 상기 수신된 메시지 또는 컨텐츠를 상기 제2 영역에 표시하고,
    상기 미리 설정된 시간 동안 상기 터치 입력이 감지되지 않았다는 식별에 응답하여, 상기 유저 인터페이스를 상기 터치스크린 디스플레이에서 제거하도록 하고,
    상기 명령어들은, 실행 시에, 상기 프로세서가,
    상기 제1 영역 또는 상기 제2 영역에 기반하여 적어도 하나의 터치 입력을 수신하고,
    상기 제1 영역 상에서의 상기 적어도 하나의 터치 입력의 수신에 응답하여, 상기 외부 전자 장치에서 알림을 제공하도록 상기 외부 전자 장치에 요청하고,
    상기 제2 영역 상에서의 상기 적어도 하나의 터치 입력의 수신에 응답하여, 상기 제2 영역 상에서 상기 적어도 하나의 터치 입력이 수신된 위치에 대응하는 데이터를 상기 외부 전자 장치로 전송하도록 하는 전자 장치.
  11. 제10항에 있어서,
    상기 데이터는, 상기 적어도 하나의 터치 입력이 수신된 영역 및 상기 수신된 적어도 하나의 터치 입력의 적어도 일부에 기초하여 결정되는 전자 장치.
  12. 제10항에 있어서,
    상기 데이터는, 상기 적어도 하나의 터치 입력의 종류, 상기 적어도 하나의 터치 입력의 발생 시간, 상기 적어도 하나의 터치 입력의 발생 순서, 상기 적어도 하나의 터치 입력의 좌표, 상기 적어도 하나의 터치 입력의 위치, 색상 정보, 상기 적어도 하나의 터치 입력의 업/다운 정보, 및 콘텐츠 정보 중 적어도 하나를 포함하는 전자 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 통신 모듈을 이용하여, 외부 전자 장치로부터 지정된 이벤트를 나타내는 신호를 수신하는 동작;
    상기 신호의 수신에 응답하여, 제1 유저 인터페이스의 일부 상에 플로팅되고 드래그 입력을 통해 이동 가능한 제2 유저 인터페이스를 상기 전자 장치의 터치스크린 디스플레이에 표시하는 동작;
    상기 제2 유저 인터페이스가 표시된 후 미리 설정된 시간 동안 상기 제2 유저 인터페이스의 적어도 일부 상에서의 터치 입력이 감지되는지를 식별하는 동작;
    상기 미리 설정된 시간 동안 상기 터치 입력이 감지되었다는 식별에 응답하여, 상기 제2 유저 인터페이스를 상기 제1 유저 인터페이스의 일부 상에서 플로팅되는 확장된 유저 인터페이스로 전환하는 동작, 상기 확장된 유저 인터페이스는 상기 외부 전자 장치의 사용자와 관련된 이미지 및 텍스트 중 적어도 하나를 표시하는 제1 영역 및 상기 외부 전자 장치와 공유되는 메시지 및 컨텐츠를 표시하는 제2 영역을 포함하고;
    상기 확장된 유저 인터페이스가 표시되는 중에 상기 통신 모듈을 이용하여, 상기 외부 전자 장치로부터 메시지 또는 컨텐츠를 수신하는 동작;
    상기 메시지 또는 컨텐츠의 수신에 응답하여, 상기 수신된 메시지 또는 컨텐츠를 상기 제2 영역에 표시하는 동작; 및
    상기 미리 설정된 시간 동안 상기 터치 입력이 감지되지 않았다는 식별에 응답하여, 상기 제2 유저 인터페이스를 상기 터치스크린 디스플레이에서 제거하는 동작을 포함하는 전자 장치의 동작 방법.
  17. 삭제
  18. 제16항에 있어서, 상기 확장된 유저 인터페이스로 전환하는 동작은,
    상기 확장된 유저 인터페이스를 상기 터치스크린 디스플레이의 적어도 일부 화면으로 표시하는 동작; 및
    상기 제1 영역 및 상기 제2 영역을 제외한 나머지 영역의 적어도 일부 영역을 투명 또는 반투명하게 표시하는 동작을 포함하는 전자 장치의 동작 방법.
  19. 제16항에 있어서,
    상기 외부 전자 장치로부터 수신한 데이터의 적어도 일부에 기초하여, 상기 제1 영역 또는 상기 제2 영역을 통해 효과를 표시하는 동작을 더 포함하는 전자 장치의 동작 방법.
  20. 제16항에 있어서,
    상기 제1 영역 또는 상기 제2 영역의 적어도 일부를 통하여 입력을 수신하는 동작; 및
    상기 수신된 입력에 적어도 일부 기초하여 데이터를 상기 외부 전자 장치에 송신하는 동작을 더 포함하고,
    상기 데이터는,
    상기 입력이 수신된 영역 및 상기 수신된 입력의 적어도 일부에 기초하여 결정되는 전자 장치의 동작 방법.
  21. 제20항에 있어서,
    상기 데이터는, 상기 입력의 종류, 상기 입력의 발생 시간, 상기 입력의 발생 순서, 상기 입력의 좌표, 상기 입력의 위치, 색상 정보, 상기 입력의 업/다운 정보, 및 콘텐츠 정보 중 적어도 하나를 포함하는 전자 장치의 동작 방법.
  22. 제20항에 있어서,
    상기 외부 전자 장치로부터 수신한 적어도 일부 데이터에 기반하여, 상기 송신하는 데이터에 대한 상기 외부 전자 장치와 연관된 사용자의 수신 상태 또는 상기 사용자의 상태의 적어도 하나를 상기 제1 영역 또는 상기 제2 영역의 적어도 일부를 통해 표시하는 동작을 더 포함하는 전자 장치의 동작 방법.
  23. 제20항에 있어서, 상기 데이터를 송신하는 동작은,
    상기 데이터의 전송 방식을 결정하는 동작; 및
    상기 결정하는 동작에 기반하여 상기 데이터를 실시간으로 전송하는 동작을 포함하는 전자 장치의 동작 방법.
  24. 제20항에 있어서, 상기 데이터를 송신하는 동작은,
    상기 데이터의 전송 방식을 결정하는 동작; 및
    상기 결정하는 동작에 기반하여 상기 데이터를 누적한 후 누적 데이터를 전송하는 동작을 포함하는 전자 장치의 동작 방법.
KR1020150028160A 2015-02-27 2015-02-27 전자 장치에서 커뮤니케이션 지원 방법 및 장치 KR102377277B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020150028160A KR102377277B1 (ko) 2015-02-27 2015-02-27 전자 장치에서 커뮤니케이션 지원 방법 및 장치
US15/054,796 US10802708B2 (en) 2015-02-27 2016-02-26 Method and apparatus for supporting communication in electronic device
EP16157673.1A EP3062207B1 (en) 2015-02-27 2016-02-26 Method and apparatus for supporting communication in electronic device
AU2016224180A AU2016224180B2 (en) 2015-02-27 2016-02-29 Method and apparatus for supporting communication in electronic device
PCT/KR2016/001973 WO2016137299A1 (en) 2015-02-27 2016-02-29 Method and apparatus for supporting communication in electronic device
CN201610113232.7A CN105930073B (zh) 2015-02-27 2016-02-29 用于支持电子设备中的通信的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150028160A KR102377277B1 (ko) 2015-02-27 2015-02-27 전자 장치에서 커뮤니케이션 지원 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160105030A KR20160105030A (ko) 2016-09-06
KR102377277B1 true KR102377277B1 (ko) 2022-03-23

Family

ID=55484831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150028160A KR102377277B1 (ko) 2015-02-27 2015-02-27 전자 장치에서 커뮤니케이션 지원 방법 및 장치

Country Status (6)

Country Link
US (1) US10802708B2 (ko)
EP (1) EP3062207B1 (ko)
KR (1) KR102377277B1 (ko)
CN (1) CN105930073B (ko)
AU (1) AU2016224180B2 (ko)
WO (1) WO2016137299A1 (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8370770B2 (en) 2005-06-10 2013-02-05 T-Mobile Usa, Inc. Variable path management of user contacts
US9369542B2 (en) 2009-03-27 2016-06-14 T-Mobile Usa, Inc. Network-based processing of data requests for contact information
KR102377277B1 (ko) 2015-02-27 2022-03-23 삼성전자주식회사 전자 장치에서 커뮤니케이션 지원 방법 및 장치
US9774693B2 (en) 2015-04-29 2017-09-26 Facebook, Inc. Methods and systems for viewing user feedback
USD786914S1 (en) * 2015-09-07 2017-05-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR102412283B1 (ko) * 2016-02-17 2022-06-23 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 공유 제어 방법
KR102544716B1 (ko) * 2016-03-25 2023-06-16 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
USD812079S1 (en) * 2016-04-28 2018-03-06 Verizon Patent And Licensing Inc. Display panel or screen with graphical user interface
USD826961S1 (en) 2016-05-17 2018-08-28 Google Llc Display screen with an animated radial menu in a graphical user interface
USD794065S1 (en) * 2016-06-17 2017-08-08 Google Inc. Display screen with an animated graphical user interface
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
USD846560S1 (en) * 2016-10-19 2019-04-23 Huawei Technologies Co., Ltd. Display screen or portion thereof with animated graphical user interface
KR20180046609A (ko) * 2016-10-28 2018-05-09 삼성전자주식회사 홀 영역을 가지는 전자 장치 및 전자 장치의 홀 영역 제어방법
CN106549445B (zh) * 2016-10-28 2020-11-27 太仓市昊博技术服务有限公司 移动终端及充电切换控制方法
KR101841583B1 (ko) * 2016-12-05 2018-03-26 삼성전자주식회사 전자 장치의 모듈 배치 구조
US11762843B2 (en) 2016-12-16 2023-09-19 Steve Richardson System, method, and apparatus for common contact management
US10863014B2 (en) 2016-12-16 2020-12-08 Steve Richardson System, method, and apparatus for common contact management
USD841672S1 (en) * 2016-12-16 2019-02-26 Asustek Computer Inc. Display screen with graphical user interface
US10205812B2 (en) * 2016-12-16 2019-02-12 Steve Richardson System, method, and apparatus for common contact management
CN106681590B (zh) * 2016-12-29 2020-02-11 北京奇虎科技有限公司 一种行车记录装置屏幕内容的展示方法和装置
KR101982260B1 (ko) * 2017-01-12 2019-05-24 주식회사 하이 홈 소셜 로봇
USD834612S1 (en) * 2017-03-14 2018-11-27 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface
USD826968S1 (en) * 2017-03-14 2018-08-28 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface
KR102365678B1 (ko) * 2017-03-29 2022-02-21 삼성전자주식회사 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치
KR102339857B1 (ko) * 2017-03-29 2021-12-16 삼성전자주식회사 외부의 IoT 장치를 관리 및 제어하는 방법 및 이를 지원하는 전자 장치
USD820305S1 (en) * 2017-03-30 2018-06-12 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface
KR102339819B1 (ko) * 2017-04-05 2021-12-15 삼성전자주식회사 프레임워크를 이용한 자연어 표현 생성 방법 및 장치
KR20180113109A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 화면 표시 방법
KR102308289B1 (ko) * 2017-04-06 2021-10-06 삼성전자주식회사 외부 전자 장치에 연결하고 데이터를 업데이트 하는 전자 장치
USD861021S1 (en) * 2017-08-03 2019-09-24 Health Management Systems, Inc. Mobile display screen with animated graphical user interface
KR102396147B1 (ko) * 2017-08-22 2022-05-10 삼성전자 주식회사 음성 명령을 이용한 동작을 수행하는 전자 장치 및 전자 장치의 동작 방법
KR102405752B1 (ko) * 2017-08-23 2022-06-08 삼성전자주식회사 어플리케이션 프로그램의 권한을 제어하는 방법 및 전자 장치
JP7081099B2 (ja) * 2017-09-11 2022-06-07 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
WO2019071872A1 (zh) * 2017-10-09 2019-04-18 华为技术有限公司 一种文件分享方法及终端
US10846109B2 (en) * 2017-12-20 2020-11-24 Google Llc Suggesting actions based on machine learning
USD877771S1 (en) 2018-01-30 2020-03-10 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
USD892131S1 (en) * 2018-03-16 2020-08-04 Magic Leap, Inc. Display panel or portion thereof with a graphical user interface
USD872764S1 (en) * 2018-03-16 2020-01-14 Magic Leap, Inc. Display panel or portion thereof with graphical user interface
KR20190113130A (ko) * 2018-03-27 2019-10-08 삼성전자주식회사 사용자 음성 입력을 처리하는 장치
USD890205S1 (en) * 2018-06-14 2020-07-14 Kai Os Technologies (hong Kong) Limited Display screen or portion thereof with animated graphical user interface
USD903699S1 (en) * 2018-09-17 2020-12-01 Facebook, Inc. Display screen with animated graphical user interface
USD916723S1 (en) * 2018-10-05 2021-04-20 Google Llc Display screen with animated graphical user interface
GB2578789A (en) * 2018-11-09 2020-05-27 Sony Corp A method, apparatus and computer program for image processing
CN109947521B (zh) * 2019-03-28 2022-12-27 北京小米移动软件有限公司 界面切换方法、装置以及存储介质
US11803628B2 (en) * 2019-06-21 2023-10-31 Magic Leap, Inc. Secure authorization via modal window
US20210110912A1 (en) * 2019-10-11 2021-04-15 GE Precision Healthcare LLC Systems and methods for improved report collaboration
US10956016B1 (en) * 2019-11-14 2021-03-23 Rockwell Collins, Inc. No look touchscreen panel / CDU
KR20210059177A (ko) 2019-11-15 2021-05-25 삼성전자주식회사 전자장치 및 그 제어방법
KR102266138B1 (ko) * 2020-06-17 2021-06-17 (주)인티그리트 통합 멀티미디어 제공 시스템 및 방법, 이를 이용한 자율 주행 장치
USD981426S1 (en) * 2020-11-10 2023-03-21 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Display screen with graphical user interface
USD976942S1 (en) * 2020-11-17 2023-01-31 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
CN113055276B (zh) * 2021-03-09 2022-07-22 井冈山大学 一种基于智能手机的圈聊创建方法、显示方法及其系统
DE102021112061A1 (de) * 2021-05-08 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Kommunikationseinheit zur Augmentation einer Kommunikation
US11782569B2 (en) * 2021-07-26 2023-10-10 Google Llc Contextual triggering of assistive functions
WO2023163403A1 (ko) * 2022-02-28 2023-08-31 삼성전자주식회사 스크린샷 생성 방법 및 상기 방법을 수행하는 전자 장치
WO2023174200A1 (zh) * 2022-03-14 2023-09-21 华为技术有限公司 界面显示方法及相关装置
CN116048436B (zh) * 2022-06-17 2024-03-08 荣耀终端有限公司 应用界面显示方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100774928B1 (ko) 2006-09-27 2007-11-09 엘지전자 주식회사 투명아이콘이 디스플레이되는 이동단말기 및 이를 이용한투명아이콘의 디스플레이방법
JP2008171166A (ja) 2007-01-11 2008-07-24 Yokogawa Electric Corp 操作監視装置
JP2014096821A (ja) 2013-12-25 2014-05-22 Olympus Imaging Corp 表示制御装置、表示制御方法、及びプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7051282B2 (en) 2003-06-13 2006-05-23 Microsoft Corporation Multi-layer graphical user interface
KR101405933B1 (ko) 2007-07-12 2014-06-12 엘지전자 주식회사 휴대 단말기 및 휴대 단말기의 위치 정보 표시 방법
US7937479B2 (en) 2008-01-04 2011-05-03 Mitel Networks Corporation System and method for associating communication devices
KR20100029611A (ko) * 2008-09-08 2010-03-17 엘지전자 주식회사 이동 단말기 및 그의 아이콘 디스플레이 방법
KR101528848B1 (ko) 2008-11-26 2015-06-15 엘지전자 주식회사 휴대단말기 및 그 제어방법
US20100251127A1 (en) 2009-03-30 2010-09-30 Avaya Inc. System and method for managing trusted relationships in communication sessions using a graphical metaphor
US9298260B2 (en) 2010-03-12 2016-03-29 Broadcom Corporation Tactile communication system with communications based on capabilities of a remote system
KR101226560B1 (ko) * 2011-03-29 2013-01-25 (주)티아이스퀘어 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
US8694916B2 (en) * 2011-06-01 2014-04-08 Nokia Corporation Method and apparatus for spatially indicating notifications
US8869068B2 (en) 2011-11-22 2014-10-21 Backplane, Inc. Content sharing application utilizing radially-distributed menus
US10289660B2 (en) 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
KR101960306B1 (ko) * 2012-07-13 2019-03-20 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
WO2014033867A1 (ja) * 2012-08-29 2014-03-06 富士通株式会社 画像変換プログラム、記録媒体、画像変換装置、および画像変換方法
US8787888B2 (en) 2012-08-29 2014-07-22 Facebook, Inc. Sharing location information during a communication session
KR20140035183A (ko) * 2012-09-13 2014-03-21 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9699271B2 (en) 2013-01-29 2017-07-04 Blackberry Limited Method and apparatus for suspending screen sharing during confidential data entry
KR102049855B1 (ko) * 2013-01-31 2019-11-28 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US10728716B2 (en) * 2013-06-28 2020-07-28 Blackberry Limited Context sensitive message notifications
US9419935B2 (en) * 2013-08-02 2016-08-16 Whatsapp Inc. Voice communications with real-time status notifications
US20150089389A1 (en) * 2013-09-24 2015-03-26 Sap Ag Multiple mode messaging
US9424558B2 (en) * 2013-10-10 2016-08-23 Facebook, Inc. Positioning of components in a user interface
US9722962B2 (en) * 2014-03-21 2017-08-01 Facebook, Inc. Providing message status notifications during electronic messaging
US10338793B2 (en) * 2014-04-25 2019-07-02 Timothy Isaac FISHER Messaging with drawn graphic input
US10845982B2 (en) * 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
CN104216752B (zh) * 2014-09-30 2017-06-09 珠海市君天电子科技有限公司 一种基于窗口的信息加载方法及装置
US10165111B2 (en) * 2014-10-02 2018-12-25 Lenovo (Singapore) Pte. Ltd. Identifying an unknown contact
US20160103608A1 (en) * 2014-10-09 2016-04-14 Vellum Tech Corporation Virtual keyboard of a computing device to create a rich output and associated methods
CN104506646A (zh) * 2014-12-14 2015-04-08 杨平 一种移动社交网络平台以及基于该移动社交网络进行搜索分享的方法
KR102377277B1 (ko) 2015-02-27 2022-03-23 삼성전자주식회사 전자 장치에서 커뮤니케이션 지원 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100774928B1 (ko) 2006-09-27 2007-11-09 엘지전자 주식회사 투명아이콘이 디스플레이되는 이동단말기 및 이를 이용한투명아이콘의 디스플레이방법
JP2008171166A (ja) 2007-01-11 2008-07-24 Yokogawa Electric Corp 操作監視装置
JP2014096821A (ja) 2013-12-25 2014-05-22 Olympus Imaging Corp 表示制御装置、表示制御方法、及びプログラム

Also Published As

Publication number Publication date
WO2016137299A1 (en) 2016-09-01
CN105930073A (zh) 2016-09-07
KR20160105030A (ko) 2016-09-06
AU2016224180B2 (en) 2020-10-15
US20160253083A1 (en) 2016-09-01
CN105930073B (zh) 2021-08-10
AU2016224180A1 (en) 2017-04-13
US10802708B2 (en) 2020-10-13
EP3062207B1 (en) 2022-04-06
EP3062207A1 (en) 2016-08-31

Similar Documents

Publication Publication Date Title
KR102377277B1 (ko) 전자 장치에서 커뮤니케이션 지원 방법 및 장치
US11928317B2 (en) Device, method, and graphical user interface for sharing content from a respective application
US11435882B2 (en) Messaging system with message transmission user interface
US10942574B2 (en) Apparatus and method for using blank area in screen
KR102352172B1 (ko) 전자 장치들의 연동 방법 및 장치
US11265275B2 (en) Electronic device and method for image control thereof
KR102360067B1 (ko) 전자 장치 및 전자 장치의 정보 공유 방법
KR102481687B1 (ko) 업무 정보 처리 방법 및 이를 지원하는 전자 장치
CN110476189B (zh) 用于在电子装置中提供增强现实功能的方法和设备
EP3009816B1 (en) Method and apparatus for adjusting color
KR102247817B1 (ko) 락스크린 제공 방법 및 장치
US10299110B2 (en) Information transmission method and system, device, and computer readable recording medium thereof
KR20170091913A (ko) 영상 서비스 제공 방법 및 장치
KR20160126354A (ko) 전자 장치 및 전자 장치에서 메시지 표시 방법
KR20170017289A (ko) 콘텐츠를 송수신하는 전자 장치 및 방법
EP3001300B1 (en) Method and apparatus for generating preview data
US20170353525A1 (en) Method for sharing file and electronic device for the same
US20180239511A1 (en) Mobile terminal and control method therefor
KR102559407B1 (ko) 영상을 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
KR102379898B1 (ko) 포커스에 대한 그래픽 인디케이터를 제공하는 전자 장치와 이의 동작 방법
KR102448223B1 (ko) 그래픽 사용자 인터페이스를 위한 미디어 캡처 잠금 어포던스
KR102271811B1 (ko) 전자장치 및 전자장치의 컨텐트 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right