KR102360067B1 - 전자 장치 및 전자 장치의 정보 공유 방법 - Google Patents

전자 장치 및 전자 장치의 정보 공유 방법 Download PDF

Info

Publication number
KR102360067B1
KR102360067B1 KR1020150114130A KR20150114130A KR102360067B1 KR 102360067 B1 KR102360067 B1 KR 102360067B1 KR 1020150114130 A KR1020150114130 A KR 1020150114130A KR 20150114130 A KR20150114130 A KR 20150114130A KR 102360067 B1 KR102360067 B1 KR 102360067B1
Authority
KR
South Korea
Prior art keywords
electronic device
communication
external electronic
content
information
Prior art date
Application number
KR1020150114130A
Other languages
English (en)
Other versions
KR20170019816A (ko
Inventor
추세엽
권양희
김영림
박선영
윤영성
이진구
임완수
최병우
최현식
최현석
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020150114130A priority Critical patent/KR102360067B1/ko
Priority to US15/234,505 priority patent/US10082998B2/en
Publication of KR20170019816A publication Critical patent/KR20170019816A/ko
Application granted granted Critical
Publication of KR102360067B1 publication Critical patent/KR102360067B1/ko

Links

Images

Classifications

    • H04L67/24—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1089—In-session procedures by adding media; by removing media
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/36—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H04N1/00214—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax details of transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

본 발명의 다양한 실시예에 따른 전자 장치는 유저 인터페이스; 제1 통신 채널 또는 제2 통신 채널 중 적어도 하나를 통해 상기 전자 장치를 적어도 하나의 외부 전자 장치와 연결하도록 구성된(configured to) 통신 회로; 메모리; 및 상기 유저 인터페이스, 상기 통신 회로 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고; 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 제1 통신 채널 및 상기 제2 통신 채널을 통해 상기 외부 전자 장치와 통신 연결을 수립하고, 상기 제2 통신 채널을 통해 상기 외부 전자 장치로 컨텐츠를 전송하며, 상기 컨텐츠와 관련하여 상기 외부 전자 장치에서 수신된 입력 정보 및/또는 상기 외부 전자 장치의 상태 정보를 상기 제2 통신 채널을 통해 수신하며, 상기 입력 정보 또는 상기 상태 정보중 적어도 하나에 기초하여 상기 컨텐츠와 관련된 피드백 정보를 생성하고, 상기 생성된 피드백 정보를 상기 유저 인터페이스를 통해 출력하도록 하는 인스트럭션들을 저장할 수 있다.

Description

전자 장치 및 전자 장치의 정보 공유 방법{ELECTRONIC DEVICE AND METHOD FOR SHARING INFORMATION THEREOF}
본 발명의 다양한 실시예들은 쌍방향 통신 중 다른 전자 장치와 영상을 공유하고 영상과 관련된 정보를 기반으로 피드백 정보를 제공하는 전자 장치 및 전자 장치의 정보 공유 방법에 관한 것이다.
종래 휴대 단말기와 같은 전자 장치에서의 쌍방향 통신은 전자 장치가 음성 통화 등의 기능을 이용하여 상대 전자 장치와 음성 신호를 송수신 하는 방식으로 이루어지고 있다.
이러한 쌍방향 통신 중 특정 컨텐츠와 같은 정보를 상대방과 공유하고자 하는 경우, 전자 장치의 사용자는 SMS 어플리케이션 또는 Third party 어플리케이션을 통해 특정 컨텐츠를 상대방에게 전송할 수 있다.
종래 쌍방향 통신을 통한 화면 공유 기능에서 전자 장치의 사용자는 다른 전자 장치로 전송한 컨텐츠에 대해서 상대방 전자 장치의 사용자가 해당 컨텐츠에 대해 어떻게 반응하고 있는지를 판단하기 어렵다. 예를 들어, 전자 장치의 사용자는 다른 전자 장치와 공유하고 있는 화면에 대해서 상대방 전자 장치의 사용자가 공유되고 있는 화면을 보고 있는지 여부를 판단하기가 어렵다. 이 경우, 전자 장치의 사용자는 상대방에게 효과적으로 컨텐츠의 내용을 전달하기 어려울 수 있다.
본 발명의 다양한 실시예는 상기와 같은 문제점을 개선시킬 수 있는 전자 장치 및 전자 장치의 화면 공유 방법을 제공한다.
본 발명의 다양한 실시예에 따른 전자 장치는 유저 인터페이스; 제1 통신 채널 또는 제2 통신 채널 중 적어도 하나를 통해 상기 전자 장치를 적어도 하나의 외부 전자 장치와 연결하도록 구성된(configured to) 통신 회로; 메모리; 및 상기 유저 인터페이스, 상기 통신 회로 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고; 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 제1 통신 채널 및 상기 제2 통신 채널을 통해 상기 외부 전자 장치와 통신 연결을 수립하고, 상기 제2 통신 채널을 통해 상기 외부 전자 장치로 컨텐츠를 전송하며, 상기 컨텐츠와 관련하여 상기 외부 전자 장치에서 수신된 입력 정보 및/또는 상기 외부 전자 장치의 상태 정보를 상기 제2 통신 채널을 통해 수신하며, 상기 입력 정보 또는 상기 상태 정보중 적어도 하나에 기초하여 상기 컨텐츠와 관련된 피드백 정보를 생성하고, 상기 생성된 피드백 정보를 상기 유저 인터페이스를 통해 출력하도록 하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 적어도 하나의 화면을 표시하도록 구성된 유저 인터페이스; 제1 통신 채널 또는 제2 통신 채널 중 적어도 하나를 통해 상기 전자 장치를 적어도 하나의 외부 전자 장치와 연결하도록 구성된 통신 회로; 메모리; 및 상기 유저 인터페이스, 상기 통신 회로 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 제1 통신 채널 및 상기 제2 통신 채널을 통해 상기 외부 전자 장치와 통신 연결을 수립하고, 상기 제2 통신 채널을 통해 상기 외부 전자 장치로부터 컨텐츠를 수신하며, 상기 컨텐츠를 상기 유저 인터페이스를 통해 출력하고, 상기 출력된 컨텐츠와 관련하여 상기 전자 장치에서 수신된 입력 정보 또는 상기 전자 장치의 상태 정보 중 적어도 하나를 상기 제2 통신 채널을 통해 상기 외부 전자 장치로 전송하도록 하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 제1 외부 전자 장치와 제2 외부 전자 장치간 컨텐츠를 공유하기 위한 통신 채널을 형성하도록 구성된 통신 회로; 메모리; 및 상기 통신 회로 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 제1 외부 전자 장치로부터 상기 통신 채널 형성과 관련된 요청을 수신하고, 상기 제2 외부 전자 장치로 상기 요청을 전달하며, 상기 제2 외부 전자 장치로부터 상기 요청에 대한 확인 메시지를 수신하는 것에 응답하여 상기 수신된 확인 메시지를 상기 제1 외부 전자 장치로 전달하고 상기 통신 채널을 형성하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 정보 공유 방법은 제1 통신 채널 및 제2 통신 채널을 통해 상기 외부 전자 장치와 통신 연결을 수립하는 동작; 상기 제2 통신 채널을 통해 상기 외부 전자 장치로 컨텐츠를 전송하는 동작; 상기 컨텐츠와 관련하여 상기 외부 전자 장치에서 수신된 입력 정보 및/또는 상기 외부 전자 장치의 상태 정보를 상기 제2 통신 채널을 통해 수신하는 동작; 및 상기 입력 정보 또는 상기 상태 정보 중 적어도 하나에 기초하여 상기 컨텐츠와 관련된 피드백 정보를 생성하고 출력하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 정보 공유 방법은 제1 통신 채널 및 제2 통신 채널을 통해 상기 외부 전자 장치와 통신 연결을 수립하는 동작; 상기 제2 통신 채널을 통해 상기 외부 전자 장치로부터 컨텐츠를 수신하는 동작; 상기 수신된 컨텐츠를 출력하는 동작; 및 상기 컨텐츠와 관련하여 상기 전자 장치에서 수신된 입력 정보 또는 상기 전자 장치의 상태 정보 중 적어도 하나를 상기 제2 통신 채널을 통해 상기 외부 전자 장치로 전송하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따라 전자 장치가 상대방 전자 장치와 공유하고 있는 컨텐츠에 대해 상대방 전자 장치의 상태 정보를 수신하는 것에 의해 전자 장치의 사용자는 상대방과 공유하고자 하는 컨텐츠의 내용을 효과적으로 전달할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 네트워크 환경내의 전자 장치를 도시하는 블록도이다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치(201)의 블록도이다.
도 3은 본 발명의 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
도 4는 본 발명의 다양한 실시예에 따른 통신 시스템을 나타내는 구성도이다.
도 5는 본 발명의 다양한 실시예에 따른 전자 장치가 제2 통신 채널을 통해 다른 전자 장치와 정보를 교환하는 동작을 나타내는 흐름도이다.
도 6내지 도 7은 본 발명의 다양한 실시예에 따른 전자 장치가 서버를 통해 다른 전자 장치와 통신 연결을 수립하는 동작을 나타내는 흐름도이다.
도 8은 본 발명의 다양한 실시예에 따른 제1 전자 장치, 제2 전자 장치 및 서버간의 통신을 나타내는 흐름도이다.
도 9는 본 발명의 다양한 실시예에 따른 제2 전자 장치가 제1 전자 장치로부터 수신된 컨텐츠에 대해 사용자의 인식 여부에 대한 정보를 제1 전자 장치로 전송하는 동작을 나타내는 흐름도이다.
도 10a 및 도 10b는 본 발명의 다양한 실시예에 따른 제1 전자 장치가 제2 전자 장치로부터 제2 전자 장치의 상태 정보를 수신하고 피드백 정보를 출력하는 동작을 나타내는 예시도이다.
도 11a 및 도 11b는 본 발명의 다양한 실시예에 따른 제1 전자 장치가 제2 전자 장치로부터 제2 전자 장치의 상태 정보를 수신함에 따라 피드백 정보를 출력하는 동작을 나타내는 예시도이다.
도 12는 본 발명의 다양한 실시예에 따른 제1 전자 장치가 카메라 프리뷰 영상과 관련된 정보를 제2 통신 채널을 통해 제2 전자 장치와 교환하는 동작을 나타내는 흐름도이다.
도 13a 및 도 13b는 본 발명의 한 실시예에 따라 제1 전자 장치 및 제2 전자 장치에서 프리뷰 영상과 관련된 정보를 제2 통신을 통해 교환하는 동작을 나타내는 예시도이다.
도 14a 및 도 14b는 본 발명의 다른 실시예에 따라 제1 전자 장치 및 제2 전자 장치에서 프리뷰 영상과 관련된 정보를 제2 통신을 통해 교환하는 동작을 나타내는 예시도이다.
도 15a 및 15b는 본 발명의 또다른 실시예에 따라 제1 전자 장치 및 제2 전자 장치에서 프리뷰 영상과 관련된 정보를 제2 통신을 통해 교환하는 동작을 나타내는 예시도이다.
도 16은 본 발명의 다양한 실시예에 따른 제1 전자 장치가 제2 전자 장치로부터 제2 전자 장치의 상태 정보를 수신하고 피드백 정보를 출력하는 동작을 나타내는 흐름도이다.
도 17a 및 17b는 제2 전자 장치에서 컨텐츠에 대한 제2 사용자의 시선 정보에 따라 제1 전자 장치에서 피드백 정보를 출력하는 동작을 나타내는 예시도이다.
도 18은 본 발명의 다양한 실시예에 따른 제1 전자 장치 및 제2 전자 장치에서 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)의 전환과 관련된 동작들을 나타내는 흐름도이다.
도 19a 및 19b는 제2 전자 장치에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드로 전환된 경우, 제1 전자 장치에서 제2 전자 장치로 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 복귀 요청을 전송하는 동작을 나타내는 예시도이다.
도 20a 내지 20c는 제2 전자 장치에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드로 전환된 경우, 제1 전자 장치에서 제2 전자 장치로 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)의 복귀를 가이드하는 동작을 나타내는 예시도이다.
도 21은 제2 전자 장치에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드로 상태로 전환되어 실행되는 경우, 음성 인식에 따라 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 복귀되는 동작을 나타내는 예시도이다.
도 22a 내지 22c는 본 발명의 다양한 실시예에 따른 제1 전자 장치가 제1 통신 연결을 종료하고 제2 통신만을 연결하는 동작을 나타내는 예시도이다.
도 23은 본 발명의 다양한 실시예에 따른 제1 전자 장치 및 제2 전자 장치가 제1 통신 연결 없이 제2 통신만을 연결하는 동작을 나타내는 흐름도이다.
이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서 언급하는 “쌍방향 통신”은 제1 통신 채널(430) 또는 제2 통신 채널(440)을 통해 전자 장치(101)가 다른 전자 장치와 데이터를 송수신하는 통신을 의미할 수 있다. 예를 들어, 제1 통신 채널(430)의 쌍방향 통신은 기지국 통신을 이용한 음성 통화를 지원하는 통신 방식일 수 있다. 또한, 제2 통신 채널(440)의 쌍방향 통신은 서버를 통해 형성되는 제2 통신 채널(440)을 통해 전자 장치(101)가 다른 전자 장치와 데이터를 송수신하는 통신 방식일 수 있다. 이러한 제1 통신 채널(430)과 제2 통신 채널(440)은 서로 다른 네트워크 기반의 통신 채널일 수 있다. 또한, 제1 통신 연결은 제1 통신 채널(430)을 통해 이루어지는 통신 방식일 수 있으며, 제2 통신 연결을 제2 통신 채널(440)을 통해 이루어지는 통신 방식일 수 있다.
본 문서에서 언급하는 “컨텐츠”는 전자 장치(101)의 유저 인터페이스(예를 들어, 디스플레이(160))에서 표시될 수 있는 모든 오브젝트를 의미할 수 있다. 예를 들어, 컨텐츠는 전자 장치(101)에서 표시될 수 있는 홈 화면, 실행 화면, 메뉴, 아이콘, 이미지 데이터, 정지 영상 데이터, 동영상 데이터, 썸네일 등의 다양한 오브젝트를 포함할 수 있다. 이러한 컨텐츠는 문자, 숫자, 이미지, 또는 UI 아이템 중 적어도 하나 이상의 조합으로 다양하게 구성될 수 있다. 또한, 컨텐츠는 카메라 구동에 따라 표시되는 프리뷰 이미지를 포함할 수 있다.
본 문서에서 언급하는 “SWIS(See What I See) 통신”은 본 발명의 다양한 실시예에 따라 전자 장치(101)와 다른 전자 장치가 제2 통신 채널(440)을 통해 컨텐츠를 공유하는 동작을 의미할 수 있다. 따라서, SWIS 통신 연결은 제2 통신 연결일 수 있으며, SWIS 통신 채널은 제2 통신 채널(440)일 수 있다. 이러한 SWIS 통신은 2G, 3G, 4G, 또는 5G 기반의 모바일 네트워크를 통한 데이터 통신 방식으로 지원될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 다양한 실시예에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(110)는, 예를 들면, 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(120)는, 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(application programming interface(API))(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템(operating system(OS))으로 지칭될 수 있다.
한 실시예에 따르면, 메모리(130) 또는 프로그램 모듈(310)은 콜 어플리케이션, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 또는 SWIS agent 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 콜 어플리케이션은 제1 통신 연결을 지원할 수 있고, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)은 제2 통신 연결(예를 들어, SWIS 통신 연결)을 지원할 수 있다. SWIS agent는 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)의 구동과 관련된 기능을 지원할 수 있다.
다양한 실시예에 따르면, 메모리(130)는 제2 통신(예를 들어, SWIS 통신) 채널을 통한 컨텐츠 공유와 관련된 프로그램, 알고리즘, 루틴, 및 명령어 중 적어도 하나를 포함할 수 있다. 뿐만 아니라, 메모리(130)는 프로세서(120)의 제어 하에 본 문서에서 언급되는 프로세서(120)의 각 동작을 지시하는 instruction 들을 포함할 수 있다.
커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여할 수 있다. 예컨대, 미들웨어(143)는 상기 적어도 하나에 부여된 우선 순위에 따라 상기 하나 이상의 작업 요청들을 처리함으로써, 상기 하나 이상의 작업 요청들에 대한 스케쥴링 또는 로드 밸런싱 등을 수행할 수 있다.
API(145)는, 예를 들면, 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스(150)는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신(164)을 포함할 수 있다. 근거리 통신(164)은, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system 중 적어도 하나를 포함할 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 한 실시예에 따르면, 서버(106)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치(201)의 블록도이다. 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP(application processor))(210), 통신 모듈(220), (가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다.
프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈(220)은, 도 1의 통신 인터페이스(170)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227)(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(228) 및 RF(radio frequency) 모듈(229)를 포함할 수 있다.
셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서 모듈(240)은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(touch panel)(252),(디지털) 펜 센서(pen sensor)(254), 키(key)(256), 또는 초음파(ultrasonic) 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 포함할 수 있다. 패널(262)은, 도 1의 디스플레이(160)와 동일 또는 유사한 구성을 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 디스플레이(260)는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스(270)는, 예를 들면, HDMI(high-definition multimedia interface)(272), USB(universal serial bus)(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로(additionally and alternatively), 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치(201)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 전자 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다. 한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제(operating system(OS)) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, 안드로이드(android), iOS, 윈도우즈(windows), 심비안(symbian), 타이젠(tizen), 또는 바다(bada) 등이 될 수 있다.
프로그램 모듈(310)은 커널(320), 미들웨어(330), 어플리케이션 프로그래밍 인터페이스(application programming interface (API))(360), 및/또는 어플리케이션(370)을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드(download) 가능하다.
커널(320)(예: 커널(141))은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)(예: 미들웨어(143))는 런타임 라이브러리(335), 어플리케이션 매니저(application manager)(341), 윈도우 매니저(window manager)(342), 멀티미디어 매니저(multimedia manager)(343), 리소스 매니저(resource manager)(344), 파워 매니저(power manager)(345), 데이터베이스 매니저(database manager)(346), 패키지 매니저(package manager)(347), 연결 매니저(connectivity manager)(348), 통지 매니저(notification manager)(349), 위치 매니저(location manager)(350), 그래픽 매니저(graphic manager)(351), 또는 보안 매니저(security manager)(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370) 중 적어도 하나의 어플리케이션의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저(345)는, 예를 들면, 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저(346)는 어플리케이션(370) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 업데이트를 관리할 수 있다.
연결 매니저(348)는, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저(349)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저(350)는 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시예에 따르면, 전자 장치(예: 전자 장치(101))가 전화 기능을 포함한 경우, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager)를 더 포함할 수 있다.
미들웨어(330)는 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 미들웨어(330)는 차별화된 기능을 제공하기 위해 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API(360)(예: API(145))는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)(예: 어플리케이션 프로그램(147))은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 또는 시계(384), 건강 관리(health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공(예: 기압, 습도, 또는 온도 정보 등을 제공), 콜(385) 및 SWIS(386) 등의 기능을 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다.
한 실시예에 따르면, 어플리케이션(370)은 전자 장치(예: 전자 장치(101))와 외부 전자 장치(예: 전자 장치(102, 104)) 사이의 정보 교환을 지원하는 어플리케이션(이하, 설명의 편의 상, "정보 교환 어플리케이션")을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션(예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생된 알림 정보를 외부 전자 장치(예: 전자 장치(102, 104))로 전달하는 기능을 포함할 수 있다. 또한, 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치(예: 전자 장치(102, 104))의 적어도 하나의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스(예: 통화 서비스 또는 메시지 서비스 등)를 관리(예: 설치, 삭제, 또는 업데이트)할 수 있다.
한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치(예: 전자 장치(102, 104))의 속성(에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션 등)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치(예: 서버(106) 또는 전자 장치(102, 104))로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 프리로드 어플리케이션(preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션(third party application)을 포함할 수 있다. 도시된 실시예에 따른 프로그램 모듈(310)의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.
다양한 실시예에 따르면, 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 프로그램 모듈(310)의 적어도 일부는, 예를 들면, 프로세서(예: 프로세서(210))에 의해 구현(implement)(예: 실행)될 수 있다. 프로그램 모듈(310)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
도 4는 본 발명의 다양한 실시예에 따른 통신 시스템을 나타내는 구성도이다. 한 실시예에 따르면, 통신 시스템은 제1 전자 장치(400), 제2 전자 장치(410), 서버(420), 제1 통신 채널(430), 및 제2 통신 채널(440)을 포함할 수 있다.
제1 전자 장치(400) 및 제2 전자 장치(410)는 전자 장치(101)와 동일하거나 유사한 구성을 가질 수 있다. 예를 들어, 제1 전자 장치(400) 및 제2 전자 장치(410)는 전자 장치(101)의 구성 중 적어도 일부를 포함할 수 있다. 다양한 실시예에 따르면, 제1 전자 장치(400)는 음성 통화의 발신자 또는 제2 통신(예를 들어, SWIS 통신) 연결의 발신자가 사용하는 전자 장치(101)일 수 있으며, 제2 전자 장치(410)는 음성 통화의 수신자 또는 SWIS통신 연결의 수신자가 사용하는 전자 장치(101)일 수 있다. 이러한 제1 전자 장치(400)는 제2 전자 장치(410)를 기준으로 외부 전자 장치일 수 있으며, 제2 전자 장치(410)는 제1 전자 장치(400)를 기준으로 외부 전자 장치일 수 있다.
서버(420)는 제2 통신(예를 들어, SWIS 통신)을 위해 제2 통신 채널(440)을 형성할 수 있고, 제1 전자 장치(400) 및 제2 전자 장치(410)를 중개하여 제2 통신 채널(440)형성에 필요한 다양한 동작을 수행할 수 있다. 예를 들어, 서버(420)는 제1 전자 장치(400) 및/또는 제2 전자 장치(410)의 아이디와 같은 식별 정보를 확인할 수 있고, 제1 전자 장치(400) 및/또는 제2 전자 장치(410)의 인증을 수행할 수 있다. 뿐만 아니라, 서버(420)는 제1 전자 장치(400) 및 제2 전자 장치(410)간 제2 통신 채널(440)을 통해 공유되는 정보를 제1 전자 장치(400) 및/또는 제2 전자 장치(410) 중 적어도 하나로부터 수신할 수 있다. 이러한 서버(420)는 집약적인 처리 기능을 가지는 서브 시스템일 수 있으며, 하드웨어, 소프트웨어 또는 이를 기반으로 한 펌웨어로 구현될 수 있다.
다양한 실시예에 따르면, 제1 통신 채널(430)은 쌍방향 통신을 지원하는 통신 채널로서, 기지국, 사업자 네트워크(Circuit Switch, CS 또는 Packet Switch, PS) 등을 통해 형성될 수 있다. 또한, 제2 통신 채널(440)은 제1 전자 장치(400)와 제2 전자 장치(410)가 데이터 공유를 위해 연결되는 채널, 예를 들어Peer-to-Peer(P2P) 방식으로 연결되는 채널일 수 있다. 다양한 실시예에 따르면 제2 통신 채널(440)은 서버(420), 사업자 네트워크, 또는 WIFI와 같은 단거리 무선통신 등을 통해서 제공될 수 있다.
상기와 같은 구성을 가지는 통신 시스템은 제1 전자 장치(400)가 제1 통신 채널(430)을 통해 제2 전자 장치(410)와 제1 통신 연결(예컨대, 음성 통화)을 수행할 수 있다. 제1 통신 연결을 통해 쌍방향 통신을 수행하는 중, 제1 전자 장치(400)는 서버(420)로 제2 통신 연결(예를 들어, SWIS 통신 연결)을 요청할 수 있고, 서버(420)는 제2 통신 연결 요청에 응답하여 제1 전자 장치(400)와 제2 전자 장치(410)간의 제2 통신 채널(예를 들어, SWIS 통신 채널, 440)을 형성할 수 있다. 제1 전자 장치(400) 및/또는 제2 전자 장치(410)는 제2 통신 채널(440)을 통해 본 발명의 다양한 실시예에 따라 컨텐츠를 공유할 수 있고, 제1 전자 장치(400)는 제2 전자 장치로(410)로부터 수신되는 정보를 기반으로 피드백 정보를 생성하여 출력할 수 있다. 도 4의 구성과 관련된 구체적인 동작들은 이하의 도면들을 통해 개시하도록 한다.
본 발명의 한 실시예에 따른 전자 장치(101)는 유저 인터페이스; 제1 통신 채널(430) 또는 제2 통신 채널(440) 중 적어도 하나를 통해 상기 전자 장치를 적어도 하나의 외부 전자 장치와 연결하도록 구성된(configured to) 통신 회로; 메모리(130); 및 상기 유저 인터페이스, 상기 통신 회로 및 상기 메모리(130)와 전기적으로 연결된 프로세서(120)를 포함하고; 상기 메모리(130)는, 실행 시에, 상기 프로세서(120)가, 상기 제1 통신 채널(430) 및 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치와 통신 연결을 수립하고, 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치로 컨텐츠를 전송하며, 상기 컨텐츠와 관련하여 상기 외부 전자 장치에서 수신된 입력 정보 및/또는 상기 외부 전자 장치의 상태 정보를 상기 제2 통신 채널을 통해 수신하며, 상기 입력 정보 또는 상기 상태 정보중 적어도 하나에 기초하여 상기 컨텐츠와 관련된 피드백 정보를 생성하고, 상기 생성된 피드백 정보를 상기 유저 인터페이스를 통해 출력하도록 하는 인스트럭션들을 저장할 수 있다. 이 경우 유저 인터페이스는 디스플레이(160), 오디오 모듈(280), 진동 소자 또는 LED 소자 등의 다양한 구성을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)에서, 상기 제1 통신 채널(430)은 사업자 망을 통한 CS 또는 PS로 연결된 음성통신을 위한 채널이며, 상기 제2 통신 채널(440)은 서버(420)를 통해 상기 외부 전자 장치와 상기 컨텐츠를 공유하기 위한 채널일 수 있다.
본 발명의 한 실시예에 따른 인스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 제2 통신 채널(440)을 형성하기 위한 요청을 서버(420)로 전송하고, 상기 서버(420)를 통해 형성되는 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치와 직접적으로 통신 연결을 수립하도록 상기 통신 회로를 제어하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 인스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 제2 통신 채널(440)을 형성하기 위한 요청을 서버(420)로 전송하고, 정해진 시간 내에 상기 서버(420)로부터 상기 전자 장치(101)로 상기 외부 전자 장치의 확인 메시지가 수신되는지를 확인하며, 상기 정해진 시간 내에 상기 확인 메시지가 수신되지 않는 경우 상기 제1 통신 연결을 종료하도록 상기 통신 회로를 제어하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 인스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 정해진 시간 내에 상기 확인 메시지가 수신되는 경우 미리 정의된 시간 내에 상기 서버(420)로부터 제2 통신 채널 생성 메시지가 수신되는지를 확인하고, 상기 미리 정의된 시간 내에 제2 통신 채널 생성 메시지가 수신되지 않는 경우 상기 제1 통신 연결을 종료하도록 상기 통신 회로를 제어하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)는 카메라 모듈(291)을 더 포함하고, 상기 컨텐츠는 상기 카메라 모듈(291) 구동에 따라 출력되는 프리뷰 영상을 포함하며, 상기 인스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 프리뷰 영상과 관련된 외부 전자 장치의 상태 정보를 기반으로 상기 프리뷰 영상에 대한 카메라 기능을 수행하도록 상기 카메라 모듈(291)을 제어하고, 상기 카메라 기능 수행에 따라 출력되는 프리뷰 영상을 상기 피드백 정보로서 출력하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)에서, 상기 입력 정보는 상기 프리뷰 영상 중 특정 영역에 대한 상기 외부 전자 장치 사용자의 입력 정보를 포함하고, 상기 카메라 기능은 상기 특정 영역을 기준으로 상기 프리뷰 영상의 초점을 조절하는 기능 또는 상기 특정 영역에 대해서 상기 프리뷰 영상의 아웃 포커스를 조절하는 기능 중 적어도 하나를 포함하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 익스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 외부 전자 장치의 상기 컨텐츠를 출력하는 화면이 오프되는 것을 감지하거나 상기 외부 전자 장치의 컨텐츠를 출력하는 화면이 상기 컨텐츠를 포함하지 않는 화면으로 전환되는 것을 감지하는 경우, 상기 컨텐츠를 상기 외부 전자 장치에서 다시 출력하도록 요청하는 제어 신호 또는 상기 컨텐츠를 상기 외부 전자 장치에서 다시 출력하기 위한 활성화 아이콘을 상기 외부 전자 장치에서 출력하도록 요청하는 제어 신호 중 적어도 하나를 상기 외부 전자 장치로 전송하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 익스트럭션들은, 실행 시에, 상기 프로세서(120)가, 상기 제1 통신 채널(430) 및 상기 제2 통신 채널(440)을 동시에 연결할 수 없다는 정보를 수신하는 경우 상기 제1 통신 채널(430)을 종료하도록 상기 통신 회로를 제어하는 것을 포함할 수 있다. 이 경우, 유저 인터페이스는 오디오 회로를 더 포함할 수 있고, 상기 인스트럭션들은, 실행 시에, 상기 프로세서(120)가, 상기 제1 통신 채널(430)을 종료하는 경우 상기 전자 장치(101)에서 수집되는 음성 신호를 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치로 전송하고, 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치로부터 수신되는 음성 신호를 출력하도록 상기 오디오 회로 및 상기 통신 회로를 제어하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)에서, 상기 외부 전자 장치의 상태 정보는 상기 외부 전자 장치의 유저 인터페이스에서 상기 컨텐츠가 출력되는지에 대한 정보; 상기 외부 전자 장치 사용자의 얼굴이 상기 외부 전자 장치에 접촉되는지에 대한 정보; 및 상기 외부 전자 장치에서 출력되는 상기 컨텐츠에 대한 사용자의 인터렉션 입력 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)는 적어도 하나의 화면을 표시하도록 구성된 유저 인터페이스; 제1 통신 채널(430) 또는 제2 통신 채널(440) 중 적어도 하나를 통해 상기 전자 장치(101)를 적어도 하나의 외부 전자 장치와 연결하도록 구성된 통신 회로; 메모리(130); 및 상기 유저 인터페이스, 상기 통신 회로 및 상기 메모리(130)와 전기적으로 연결된 프로세서(120)를 포함하고, 상기 메모리(130)는, 실행 시에, 상기 프로세서(120)가, 상기 제1 통신 채널(430) 및 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치와 통신 연결을 수립하고, 상기 제2 통신 채널(430)을 통해 상기 외부 전자 장치로부터 컨텐츠를 수신하며, 상기 컨텐츠를 상기 유저 인터페이스를 통해 출력하고, 상기 출력된 컨텐츠와 관련하여 상기 전자 장치(101)에서 수신된 입력 정보 또는 상기 전자 장치(101)의 상태 정보 중 적어도 하나를 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치로 전송하도록 하는 인스트럭션들을 저장할 수 있다.
본 발명의 한 실시예에 따른 익스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 제2 통신 채널(440)을 형성하기 위한 상기 외부 전자 장치의 요청을 서버를 통해 수신하고, 상기 서버(420)를 통해 형성되는 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치와 직접적으로 통신 연결을 수립하도록 상기 통신 회로를 제어하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 익스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 전자 장치(101)에서 상기 컨텐츠를 포함하는 화면이 오프되거나 상기 전자 장치(101)에서 상기 컨텐츠를 포함하는 화면이 상기 컨텐츠를 포함하지 않는 화면으로 전환되는 경우, 상기 컨텐츠가 공유되지 않는다는 정보를 상기 전자 장치(101)의 상태 정보로서 상기 외부 전자 장치로 제공하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 익스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 전자 장치(101)에서 상기 컨텐츠를 포함하는 화면이 상기 컨텐츠를 포함하지 않는 화면으로 전환되는 경우, 상기 컨텐츠를 상기 전자 장치(101)에서 다시 출력할 수 있는 활성화 아이템을 상기 전환 화면에 표시하고, 상기 활성화 아이템에 대한 사용자 선택 입력에 응답하여 상기 전환된 화면을 상기 컨텐츠를 포함하는 화면으로 다시 전환하도록 상기 유저 인터페이스를 제어하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 익스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 유저 인터페이스 또는 센서 회로를 통해 상기 전자 장치(101) 사용자의 얼굴이 상기 전자 장치(101)에 접촉되는지를 감지하고, 상기 전자 장치(101) 사용자의 얼굴이 상기 전자 장치(101)에 접촉되는 경우, 상기 전자 장치(101) 사용자가 상기 출력된 컨텐츠를 인식하지 않는다는 정보를 상기 전자 장치(101)의 상태 정보로서 상기 외부 전자 장치로 제공하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)에서, 상기 컨텐츠는 상기 외부 전자 장치의 카메라 모듈(291)의 구동에 따라 출력되는 프리뷰 영상을 포함하며, 상기 인스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 프리뷰 영상에 대한 상기 전자 장치(101) 사용자의 인터렉션 입력의 수신을 상기 전자 장치(101)의 상태 정보로서 상기 외부 전자 장치에 제공하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 익스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 전자 장치(101)의 상태 정보를 기반으로 상기 카메라 모듈(291)의 기능 수행에 따라 상기 외부 전자 장치에서 출력되는 컨텐츠를 상기 외부 전자 장치로부터 수신하도록 상기 통신 회로를 제어하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 익스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 컨텐츠 중 적어도 일부 영역에 대한 전자 장치(101) 사용자의 시선 정보를 수신하고, 상기 적어도 일부 영역에 대한 전자 장치(101) 사용자의 시선 정보를 상기 전자 장치(101)의 상태 정보로서 상기 외부 전자 장치에 제공하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)는 오디오 회로를 더 포함하고, 상기 인스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 제1 통신 채널(430)이 종료되는 경우, 상기 전자 장치(101)에서 수집되는 음성 신호를 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치로 전송하고, 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치로부터 수신되는 음성 신호를 출력하도록 상기 오디오 회로 및 상기 통신 회로를 제어하는 것을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(예를 들어, 서버(420))는 제1 외부 전자 장치(예를 들어, 제1 전자 장치(400))와 제2 외부 전자 장치(예를 들어, 제2 전자 장치(410))간 컨텐츠를 공유하기 위한 통신 채널(예를 들어, 제2 통신 채널(440)을 형성하도록 구성된 통신 회로; 메모리(130); 및 상기 통신 회로 및 상기 메모리와 전기적으로 연결된 프로세서(120)를 포함하고, 상기 메모리(130)는, 실행 시에, 상기 프로세서(120)가, 상기 제1 외부 전자 장치로부터 상기 통신 채널 형성과 관련된 요청을 수신하고, 상기 제2 외부 전자 장치로 상기 요청을 전달하며, 상기 제2 외부 전자 장치로부터 상기 요청에 대한 확인 메시지를 수신하는 것에 응답하여 상기 수신된 확인 메시지를 상기 제1 외부 전자 장치로 전달하고 상기 통신 채널을 형성하는 인스트럭션들을 저장할 수 있다.
본 발명의 한 실시예에 따른 익스트럭션들은, 상기 인스트럭션들은, 실행 시에, 상기 프로세서(120)가 상기 통신 채널과 관련된 상기 제1 외부 전자 장치의 인증 또는 상기 통신 채널과 관련된 상기 제2 외부 전자 장치의 인증 중 적어도 하나를 수행하도록 하는 것을 포함할 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 전자 장치(101)가 제2 통신 채널(440)을 통해 다른 전자 장치와 정보를 교환하는 동작을 나타내는 흐름도이다. 도 5에서 개시되는 제1 전자 장치(400)는 전자 장치(101)에 대응될 수 있고 제2 전자 장치(400)는 다른 전자 장치에 대응될 수 있다. 설명의 편의를 위해, 제1 전자 장치(400)의 사용자(제1 사용자)가 제1 통신 연결 및/또는 제2 통신 연결의 발신자이고, 제2 전자 장치(410)의 사용자(제2 사용자)가 제1 통신 연결 및/또는 제2 통신 연결의 수신자임을 가정하여 설명하도록 한다.
한 실시예에 따르면, 505동작에서, 제1전자 장치(400)는 제1 통신 채널(430)을 통해 제2 전자 장치(410)와 통신할 수 있다. 제1 전자 장치(400)의 프로세서(120)는 제1 통신 채널(430)을 통해 제2 전자 장치(410)와 제1 통신 연결을 수립하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다. 예를 들어, 제1 전자 장치(400)의 사용자는 제1 통신 채널(430)을 통해 제2 전자 장치(410)의 사용자와 음성 통화를 수행할 수 있다.
한 실시예에 따르면, 510 동작에서, 제1 전자 장치(400)는 서버(420)를 통해 제2 전자 장치(410)와 제2 통신 채널(440)을 형성할 수 있다. 제1 전자 장치(400)의 프로세서(120)는 서버(420)로 제2 통신 연결을 요청하는 메시지를 전송하는 것에 의해 제2 통신 채널(440)의 형성을 요청할 수 있다. 서버를 통해 제2 통신 채널(440)이 형성됨으로써, 제1 전자 장치(400)는 제2 통신 채널(440)을 통해 제2 전자 장치(410)와 본 발명의 다양한 실시예에 따른 제2 통신(예를 들어, SWIS 통신)을 수행할 수 있다.
한 실시예에 따르면, 515 동작에서, 제1 전자 장치(400)는 제2 통신 채널(440)을 통해 제2 전자 장치로 컨텐츠를 전송할 수 있다. 제1 전자 장치(400)의 프로세서(120)는 메모리(130)에 저장된 컨텐츠 또는 제1 전자 장치(400)의 유저 인터페이스(예를 들어, 디스플레이(160))를 통해 출력되는 컨텐츠를 제2 전자 장치(410)로 전송하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다. 예를 들어, 제1 전자 장치(400)는 사진 이미지를 제2 전자 장치(410)로 전송할 수 있다. 이 경우, 제1 전자 장치(400)와 제2 전자 장치(410)는 사진 이미지를 공유함으로써 사진 이미지를 동일하거나 유사하게 출력할 수 있다.
한 실시예에 따르면, 520 동작에서, 제1 전자 장치(400)는 제2 전자 장치(410)로부터 컨텐츠와 관련하여 제2 전자 장치(410)에서 수신된 입력 정보 및/또는 제2 전자 장치(410)의 상태 정보를 수신할 수 있다. 다양한 실시예에 따르면, 제1 전자 장치(400)의 프로세서(120)는 통신 인터페이스(160) 또는 통신 모듈(220)을 통해 제1 통신 채널(430) 또는 제2 통신 채널(440)을 경유하여 제2 전자 장치(410)로부터 제2 전자 장치(410)의 상태 정보를 수신할 수 있다.
한 실시예에 따르면, 제2 전자 장치(410)의 상태 정보는 컨텐츠 출력과 관련된 제2 전자 장치(410)의 유저 인터페이스(예를 들어, 디스플레이(160))의 상태 정보를 포함할 수 있다. 예를 들어, 제2 전자 장치(410)의 상태 정보는 제2 전자 장치(410)의 유저 인터페이스(예를 들어, 디스플레이(160))에서 제1 전자 장치(400)와 공유하고 있는 컨텐츠를 표시하고 있는지 여부에 대한 정보를 포함할 수 있다. 구체인 예 중에 하나로, 제1 전자 장치(400)를 통해 수신된 컨텐츠가 제2 전자 장치(410)의 유저 인터페이스(예를 들어, 디스플레이(160))에서 출력되고 있는 중에, 제2 전자 장치(410)의 사용자가 홈 버튼 등을 누르는 것에 의하여 출력되고 있던 컨텐츠가 다른 화면으로 대체(replace)되거나 전환되는 경우, 제2 전자 장치(410)의 프로세서(120)는 현재 컨텐츠를 표시하고 있지 않는다는 정보를 제2 전자 장치(410)의 상태 정보로서 제1 전자 장치(400)로 전송할 수 있다.
한 실시예에 따르면, 제2 전자 장치(410)의 상태 정보는 제2 전자 장치(410)의 디스플레이(160) 또는 센서 모듈(240)을 통해 감지되는 정보일 수 있다. 예를 들어, 제2 전자 장치(410)는 제2 통신(예를 들어, SWIS 통신)을 통해 제1 전자 장치(400)와 컨텐츠를 공유하는 중, 근접 센서 또는 디스플레이(160)를 통해 제2 전자 장치(410) 사용자의 얼굴(예컨대, 귀 등)이 제2 전자 장치(410)에 접촉되는 것을 감지할 수 있다. 이 경우, 제2 전자 장치(410)는 공유된 컨텐츠를 표시하는 화면을 사용자가 보지 않고 여전히 제2 전자 장치(410)를 얼굴에 대고 음성 통화를 수행하는 것으로 판단할 수 있다. 제2 전자 장치(410)의 프로세서(120)는 디스플레이(160)에 접촉되는 면적 범위, 면적 패턴, 면적 압력 등과 같은 정보 또는 근접 센서를 통해 사용자의 얼굴이 제2 전자 장치(410)에 접촉되는 것을 인식할 수 있고, 인식된 정보를 제2 전자 장치(410)의 상태 정보로서 제1 전자 장치(400)에 전송할 수 있다.
한 실시예에 따르면, 제2 전자 장치(410)의 상태 정보는 제2 전자 장치(410)에서 출력되는 컨텐츠에 대한 인터렉션 입력을 포함할 수 있다. 다양한 실시예에 따르면, 제2 전자 장치(410)의 프로세서(120)는 유저 인터페이스(예를 들어, 디스플레이(160))를 통해 출력되는 컨텐츠에 대한 사용자의 터치 입력 또는 다양한 인터랙션 입력들을 수신할 수 있다. 제2 전자 장치(410)의 프로세서(120)는 이러한 터치 입력 또는 인터랙션 입력들에 의해 발생되는 입력 신호를 컨텐츠에 대한 상태 정보로서 제1 전자 장치(400)에 전송할 수 있다. 예를 들어, 제2 전자 장치(410)에서 출력되는 사진 이미지에 대하여 사용자로부터 터치 입력 또는 드래그 앤 드롭(drag and drop)등의 인터랙션 입력을 수신하는 경우, 제2 전자 장치(410)는 이러한 입력 신호를 제1 전자 장치(400)로 전송할 수 있다.
한 실시예에 따르면, 컨텐츠에 대한 사용자의 인터렉션 입력은 제2 전자 장치(410)에서 출력되는 컨텐츠에 대한 제2 사용자의 시선 정보일 수 있다. 다양한 실시예에 따르면, 시선 정보는 프로세서(120)등의 하드웨어 또는 어플리케이션 모듈(310)을 통해 감지될 수 있다. 제2 전자 장치(410)는 제2 전자 장치(410)의 프로세서(120) 또는 어플리케이션 모듈(310)을 통해 제2 전자 장치(410)에서 출력되는 컨텐츠에 대한 제2 사용자의 시선 정보를 획득할 수 있다. 예를 들어, 제2 전자 장치(410)의 프로세서(120)는 사용자의 눈동자 위치를 감지하고, 감지한 눈동자의 위치를 이용하여 시선의 위치를 포함하는 시선 정보를 수집할 수 있다.
시선 정보를 수집하는 방법은 다양한 알고리즘으로 수행될 수 있다. 예를 들어, 제2 전자 장치(410)는 광학적인 방법 또는 전기장/자기장 변화를 이용한 방법을 통해서 제2 사용자의 시선 정보를 수집할 수 있다. 제2 전자 장치(410)의 프로세서(120)는 카메라 모듈(291)와 같은 다양한 구성들을 제어하여 시선 정보를 수집할 수 있다.
광학적인 방법의 한 실시예로서, 제2 전자 장치(410)는 제2 사용자의 각막의 앞, 뒤 표면으로부터 빛의 반사를 인식하고, 기하학적으로 빛의 반사 방향을 계산하여 시선을 인식하는 듀얼-푸르키네 방식(Dual Purkinje System)에 의해 시선 정보를 수집할 수 있다. 또한, 광학적인 방법의 다른 실시예로서, 제2 전자 장치(410)는 제2 사용자의 눈에 조사되는 적외선에 따라 제2 사용자의 각막에서 반사되는 빛(Light)를 추적하여 시선을 인식하는 맑은 눈동자 방식(Bright Pupil System)을 이용하여 시선 정보를 수집할 수 있다. 뿐만 아니라, 광학적인 방법의 다른 실시예로서, 제2 전자 장치(410)는 제2 사용자의 눈에 특정 각도로 조사되는 적외선에 따라 제2 사용자의 동공(pupil)의 콘트라스트 정보를 이용하는 어두운 눈동자 방식(Dark Pupil System)을 통해 제2 사용자의 시선 정보를 수집할 수 있다.
전기적 변화를 이용한 방법의 한 실시예로서, 제2 전자 장치(410)는 제2 사용자의 눈의 극성차이에 따른 전기장 변화를 추적하는 전기 안구 조영법(Electrical Oculography, EOG)을 통해 제2 사용자의 시선 정보를 인식할 수 있다. 또한, 전기적 변화를 이용한 방법의 다른 실시예로서, 제2 전자 장치(410)는 제2 사용자의 눈 주변에 부착된 마그네틱 코일의 자기장을 추적하는 코일 방식(Coil System)을 이용하여 제2 사용자의 시선 정보를 인식할 수 있다.
다양한 실시예에 따르면, 제2 전자 장치(410)는 전술한 다양한 방식을 통해 컨텐츠에 대한 제2 사용자의 시선 정보를 수집할 수 있다. 또한, 제2 전자 장치(410)의 프로세서(120)는 컨텐츠 중 특정 위치 또는 컨텐츠를 구성하는 특정 객체에 대한 제2 사용자의 시선 정보를 감지할 수 있다. 제2 사용자의 시선 정보에 따라 감지될 수 있는 특정 위치의 범위는 시선 인식 방식에 따라 다양한 범위를 가질 수 있다.
한 실시예에 따르면, 525 동작에서, 제1 전자 장치(400)는 수신된 정보를 기반으로 피드백 정보를 생성할 수 있고, 생성된 피드백 정보를 출력할 수 있다. 제1 전자 장치의 프로세서(120)는 제2 전자 장치(410)로부터 수신된 상태 정보(예를 들어, 컨텐츠와 관련된 제2 전자 장치의 상태 정보)를 기반으로 피드백 정보를 생성할 수 있다. 이러한 피드백 정보는 제1 전자 장치(400)가 전송한 컨텐츠에 대해서 제2 전자 장치(410) 또는 제2 전자 장치(410)의 사용자가 어떻게 반응하고 있는지를 나타낼 수 있다. 다양한 실시예에 따르면, 피드백 정보는 UI 메뉴 또는 UI 아이템으로 생성될 수 있다. 제1 전자 장치(400)는 생성된 피드백 정보를 디스플레이(160) 또는 오디오 모듈(280)과 같은 유저 인터페이스를 통해 출력함으로써, 제1 사용자에게 제2 전자 장치(410)의 상태 정보를 알림할 수 있다.
도 6 내지 도 7은 본 발명의 다양한 실시예에 따른 전자 장치(101)가 서버(420)를 통해 다른 전자 장치와 통신 연결을 수립하는 동작을 나타내는 흐름도이다. 도 6내지 도7 에서 개시되는 제1 전자 장치(400)는 전자 장치(101)에 대응될 수 있고 제2 전자 장치(410)는 다른 전자 장치에 대응될 수 있다. 설명의 편의를 위해, 제1 전자 장치(400)의 사용자(제1 사용자)가 제1 통신 연결 및 제2 통신 연결의 발신자이고, 제2 전자 장치(410)의 사용자(제2 사용자)가 제1 통신 연결 및 제2 통신 연결의 수신자임을 가정하여 설명하도록 한다.
한 실시예에 따르면, 605 동작에서, 제1 전자 장치(400)는 제2 전자 장치(410)와의 제1 통신 연결을 요청할 수 있다. 입출력 인터페이스(150) 또는 디스플레이(160)를 통해 제1 통신 연결을 요청하는 입력을 수신하는 경우, 제1 전자 장치(400)의 프로세서(120)는 기지국으로 제2 전자 장치(410)와 제1 통신 연결을 요청하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다. 예를 들어, 제1 전자 장치(400)는 제1 사용자로부터 제2 전자 장치(410)의 다이얼 및 통화 연결 버튼을 선택하는 입력을 수신하는 것에 응답하여 기지국으로 제2 전자 장치(410)와의 음성 통화 연결을 요청할 수 있다.
한 실시예에 따르면, 610 동작에서, 제1 전자 장치(400)는 제2 전자 장치(410)와 제1 통신 채널(430)을 통해 통신할 수 있다. 예를 들어, 제1 사용자는 제1 연결 채널을 통해 제2 사용자와 음성 통화를 수행할 수 있다.
한 실시예에 따르면, 615 동작에서, 제1 전자 장치(400)는 제2 통신 연결 요청이 수신되는지를 판단할 수 있다. 제1 전자 장치(400)의 프로세서(120)는 입출력 인터페이스(150) 또는 디스플레이(160)를 통해 제1 사용자로부터 제2 통신(예를 들어, SWIS 통신) 연결 요청 입력을 수신할 수 있다. 예를 들어, 제1 사용자가 제1 전자 장치(400)의 유저 인터페이스(예를 들어, 디스플레이(160))에 출력되는 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 아이콘을 클릭하는 경우, 제1 전자 장치(400)의 프로세서(120) 또는 어플리케이션 모듈(310)은 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 실행할 수 있다.
한 실시예에 따르면, 제2 통신 연결 요청이 수신되는 경우 제1 전자 장치(400)는 625 동작에서 서버(420)로 제2 통신 연결 요청 메시지를 전송할 수 있다. 다른 실시예에 따르면, 제2 통신 연결 요청이 수신되지 않는 경우 제1 전자 장치(400)는 620 동작에서 제1 통신 연결을 종료할지 여부를 확인할 수 있다. 사용자 입력 또는 제1 전자 장치(400)의 운용 정책에 따라 제1 통신 연결을 종료하게 되는 경우, 제1 전자 장치(400)는 도 6의 동작을 종료할 수 있다. 그러나, 제1 통신 연결이 종료되지 않는 경우 제1 전자 장치(400)는 610 동작으로 분기하여 제2 전자 장치(410)와 제1 통신 채널(430)을 통해 계속하여 통신할 수 있다.
한 실시예에 따르면, 630 동작에서, 제1 전자 장치(400)는 정해진 시간 내에 제2 전자 장치(410)의 확인 메시지가 서버(420)로부터 수신되는지 여부를 체크할 수 있다. 제2 전자 장치(410)의 확인 메시지는 서버(420)로부터 제1 전자 장치(400)에서의 연결 요청 메시지를 받은 제2 전자 장치(410)가 제 2 통신 (예를 들어,SWIS 통신)을 할 수 있음을 알리는 메시지일 수 있다. 제2 전자 장치(410)가 SWIS 모듈, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 또는 제2 통신(예를 들어, SWIS 통신) 기능을 제공하도록 구성된(configured) 프로세서(120)를 포함하는 경우, 제2 전자 장치(410)의 프로세서(120)는 통신 인터페이스(170) 또는 통신 모듈(220)을 통해 서버(420)로 확인 메시지를 전송할 수 있다. 뿐만 아니라, 제2 전자 장치(410)의 확인 메시지는 제2 전자 장치(410)가 현재 제2 통신(예를 들어, SWIS 통신)이 가능하다는 메시지를 의미할 수 있다. 만약, 제2 전자 장치(410)가 제2 통신(예를 들어, SWIS 통신) 모듈 등을 구비하고 있다 하더라도, 제2 전자 장치(410)의 온라인 네트워크 상태가 불안정하거나 결함이 감지되는 경우, 제2 전자 장치(410)의 프로세서(120)는 확인 메시지를 전송하지 못할 수 있다.
다양한 실시예에 따르면, 서버(420)는 제 2 전자 장치(410)로부터 수신된 확인 메시지를 제1 전자 장치(400)로 전달(forward)할 수 있고, 이와 동시에 또는 순차적으로 제1 전자 장치(400) 및 제2 전자 장치(410)의 인증을 수행할 수 있다. 예를 들어, 서버(420)는 제1 전자 장치(400) 및 제2 전자 장치(410)가 제2 통신(예를 들어, SWIS 통신)을 하기 위해 서버(420)에 저장된 장치인지를 판단할 수 있다. 다양한 실시예에 따르면, 서버(420)는 제1 전자 장치(400) 및 제2 전자 장치(410)로부터 수신되는 식별 정보를 인식하여 서버(420)에 등록된 장치인지를 확인할 수 있다. 이러한 식별 정보는 제1 전자 장치(400) 및 제2 전자 장치(410)의 전화 번호, 고유 기기 정보 등일 수 있다.
다양한 실시예에 따르면, 이러한 인증 동작은 제1 전자 장치(400) 및 제2 전자 장치(410)가 사전에(previously) SWIS 모듈을 설치하는 경우, 각 전자 장치(400,410)의 사용자가 서버(420)와 인증 정보를 교환하거나 서버(420)에 인증 정보를 등록시킴으로써 이루어질 수 있다. 본 발명이 이에 한정하는 것은 아니며, 다양한 실시예에 따르면, 제1 전자 장치(400), 제2 전자 장치(410), 및 서버(420)는 동일한 인증 키 알고리즘 또는 암호화와 복호화가 상호 가능한 인증키 알고리즘을 저장할 수 있다. 이에 의해, 제1 전자 장치(400) 및 제2 전자 장치(410)는 서버(420)와 지원 가능한 알고리즘을 교환하거나, 암호화 키를 교환하는 메시지 인증 방식으로 인증을 수행할 수도 있다.
다양한 실시예에 따르면, 제1 전자 장치(400) 또는 제2 전자 장치(410) 중 적어도 하나는 제1 통신(예를 들어, 음성 통화) 중 제2 통신(예를 들어, SWIS 통신)과 관련된 서비스 가입 확인 동작을 수행할 수 있다. 제1 전자 장치(400) 또는 제2 전자 장치(410) 중 적어도 하나는 서버(420)를 통해 제2 통신과 관련된 서비스 가입 확인 동작을 수행할 수 있다.
한 실시예에 따르면, 정해진 시간 내에 제2 전자 장치(410)의 확인 메시지를 서버(420)로부터 수신하지 못하는 경우, 제1 전자 장치(400)는 615 동작으로 분기하여 제2 통신 연결이 재 요청되는지를 체크할 수 있다. 이러한 동작에 의해, 제1 전자 장치(400)의 사용자는 음성 통화와 같은 쌍“‡향 통신 중 데이터 통신이 되지 않는 상황으로 판단할 수 있다.
한 실시예에 따르면, 정해진 시간 내에 제2 전자 장치(410)의 확인 메시지를 서버(420)로부터 수신하는 경우, 제1 전자 장치(400)는 635 동작에서 정해진 시간 내에 제2 통신 채널 생성 메시지가 서버(420)로부터 수신되는지 여부를 확인할 수 있다. 제2 통신 채널 생성 메시지는 서버(420)가 제1 전자 장치(400) 또는 제2 전자 장치(410)로부터 수신되는 제2 연결 요청 신호에 따라 제2 통신 채널(440)을 형성하였음을 알리는 메시지일 수 있다. 서버(420)는 제2 통신 채널(440) 형성에 따라 제1 전자 장치(400) 및 제2 전자 장치(410)에 제2 통신 채널(440)에 참여되었음을 알리는 제2 통신 채널 생성 메시지를 전송할 수 있다.
한 실시예에 따르면, 정해진 시간 내에 제2 통신 채널 생성 메시지를 수신하지 못하는 경우, 제1 전자 장치(400)는 615 동작으로 분기하여 제2 통신 연결이 재 요청되는지를 체크할 수 있다. 이러한 동작에 의해, 제1 전자 장치(400)의 사용자는 제2 전자 장치(410)와 데이터 통신은 가능하지만 데이터 통신 품질이 좋지 않은 상황으로 판단하여 SWIS 연결 실패로 간주할 수 있다. 한 실시예에 따르면, 정해진 시간 내에 제2 통신 채널 생성 메시지를 수신하는 경우, 제1 전자 장치(400)는 640 동작에서 제2 통신 채널(440)을 통해 제2 전자 장치(410)와 컨텐츠를 공유할 수 있다. 예를 들어, 제1 전자 장치(400)의 프로세서(120)는 제2 통신 연결이 수립되면 사용자 요청에 따른 특정 컨텐츠를 제2 통신 채널(440)을 통해 제2 전자 장치(410)로 전송하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다.
한 실시 예에 따르면, 정해진 시간 내의 제 2 통신 채널 생성 메시지를 수신하지 못하는 경우 통신을 종료하는 경우는 연결 과정에서 생략이 가능할 수 있다. 한 실시예에 따르면, 645 동작에서, 제1 전자 장치(400)는 제2 통신 채널(440)을 통해 제2 전자 장치(410)로부터 컨텐츠 관련 상태 정보를 수신할 수 있고, 컨텐츠 관련 상태 정보를 기반으로 피드백 정보를 생성하여 출력할 수 있다.
다양한 실시예에 따르면, 상기와 같은 640 동작 및 645동작은 도 5의 515동작 내지 525 동작에 대응될 수 있다.
한 실시예에 따르면, 650 동작에서, 제1 전자 장치(400)는 제1 통신 연결(430) 및 제2 통신 연결(440) 중 적어도 하나를 종료할지를 판단할 수 있다. 제1 통신 연결(430) 및 제2 통신 연결(440)이 모두 종료되지 않는다면, 제1 전자 장치(400)는 640 동작으로 분기하여 제2 통신 채널(440)을 통해 제2 전자 장치와 컨텐츠를 공유할 수 있다. 이 경우, 제1 통신 연결 또한 유지될 수 있다.
제1 통신 연결(430) 및 제2 통신 연결(440) 중 적어도 하나가 종료되는 경우, 제1 전자 장치(410)는 도 7의 동작에서 각 상황에 따라 정해진 동작을 수행할 수 있다.
한 실시예에 따르면, 705 동작에서 제1 통신 연결(430)을 종료하고 제2 통신 연결(440)을 유지되는 경우, 제1 전자 장치(400)는 710 동작으로 분기하여 제 1통신 연결(430)을 종료할 수 있다. 또한, 715 동작에서, 제1 전자 장치(400)는 제2 통신 채널(440)을 통해 제2 전자 장치(410)와 통신할 수 있다. 또한, 720 동작에서 제2 통신 연결이 종료되는 경우, 제1 전자 장치(400)는 도 7의 동작을 종료할 수 있다. 720 동작에서 제2 통신 연결이 종료되지 않는 경우, 제1 전자 장치(400)는 715 동작으로 분기하여 제2 통신 채널(440)을 통해 제2 전자 장치(410)와 계속하여 통신할 수 있다.
한 실시예에 따르면, 725 동작에서 제1 통신 연결(430)을 유지하고 제2 통신 연결(440)을 종료되는 경우, 제1 전자 장치(400)는 도 6의 610 동작으로 분기하여 제2 전자 장치(410)와 제1 통신 채널(430)을 통해 통신할 수 있다.
한 실시예에 따르면, 725 동작에서 제1 통신 연결(430)과 제2 통신 연결(440) 모두 종료되는 경우, 제1 전자 장치(410)는 730 동작에서 제1 통신 연결(430) 및 제2 통신 연결(440)을 모두 종료하고 도 7의 동작을 종료할 수 있다.
도 8은 본 발명의 다양한 실시예에 따른 제1 전자 장치(800), 제2 전자 장치(801) 및 서버(802)간의 통신을 나타내는 흐름도이다. 도 8의 제1 전자 장치(800), 제2 전자 장치(801), 및 서버(802)는 도 4의 제1 전자 장치(400), 제2 전자 장치(410), 및 서버(420)의 하나의 예시일 수 있다. 도 8에서 개시되는 제 2 통신 채널은 도 4의 제2 통신 채널(440)을 이용한 제2 통신 연결을 의미할 수 있다. 또한, 제2 통신 연결은 예를 들어 SWIS 통신일 수 있다.
한 실시예에 따르면, 805 동작에서, 제1 전자 장치(800)와 제 2 전자 장치(801)는 제1 통신 연결될 수 있다. 예를 들어, 제1 사용자와 제2 사용자는 음성 통화를 수행할 수 있다.
한 실시예에 따르면, 810 동작에서, 제1 전자 장치(800)는 사용자 요청에 따라 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 실행할 수 있다. 다양한 실시예에 따르면, 제1 전자 장치(800)의 프로세서(120)는 디스플레이(160)와 같은 유저 인터페이스에 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)과 관련된 아이콘을 표시할 수 있고, 사용자로부터 상기 아이콘에 대한 선택(예컨대, 터치 입력 등) 입력을 수신할 수 있다. 제1전자 장치(800)의 프로세서(120)는 아이콘에 대한 선택 입력을 수신하는 것에 응답하여 상기 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 실행할 수 있다. 이에 의해, 제1 전자 장치(800)는 SWIS통신에 필요한 실행 리소스 및 GUI 리소스들을 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)에 할당할 수 있고, 데이터 통신과 관련된 기능을 지원하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다.
한 실시예에 따르면, 815 동작에서, 제1 전자 장치(800)는 제2 전자 장치(801)와 제2 통신(예를 들어, SWIS 통신)을 수립하기 위한 제2 통신(예를 들어, SWIS 통신) 초대 메시지를 서버(802)로 전송할 수 있다. 예를 들어, 제1 전자 장치(800)의 프로세서(120)는 제2 통신(예를 들어, SWIS 통신) 초대 메시지를 서버(802)로 전송하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다. 이러한 제2 통신(예를 들어, SWIS 통신) 초대 메시지는 도 6의 625 동작에서 언급된 제2 통신 연결 요청 메시지에 대응될 수 있다.
도시되어 있지 않으나, 제1 전자 장치(800)로부터 제2 통신(예를 들어, SWIS 통신) 초대 메시지를 수신하는 경우, 서버(802)는 제2 통신(예를 들어, SWIS 통신)과 관련된 제1 전자 장치(400)의 인증 동작을 수행할 수 있다. 다양한 실시예에 따르면, 서버(802)는 다양한 인증 알고리즘에 의해 제1 전자 장치(800)가 제2 통신(예를 들어, SWIS 통신)과 관련하여 서버(802)에 등록된 장치인지 여부 또는 인증된 장치인지 여부를 판단할 수 있다. 다양한 실시예에 따르면 이러한 제1 전자 장치(800)의 인증 동작은 805 동작과 840 동작 사이의 특정 시점에 이루어질 수 있다. 제1 전자 장치(800)에 대한 인증이 완료되는 경우, 서버(802)는 제1 전자 장치(800)가 전송한 제2 통신(예를 들어, SWIS 통신) 초대 메시지를 제2 전자 장치(801)로 전달할 수 있다.
다양한 실시예에 따르면, 제1 전자 장치(800)가 제2 통신(예를 들어, SWIS 통신)과 관련하여 서버(802)에 등록된 장치가 아니거나 인증된 장치가 아닌 경우, 제2 전자 장치(802)로 제2 통신(예를 들어, SWIS 통신) 초대 메시지를 전송하지 않을 수 있다. 이 경우, 서버(802)는 제1 전자 장치(800)로 새로운 인증 절차 동작을 안내할 수 있다. 예컨대, 서버(802)는 제1 전자 장치(800)로 제2 통신(예를 들어, SWIS 통신)을 이용할 수 있는 인증 정보 또는 장치의 등록을 요청할 수 있다.
한 실시예에 따르면, 820 동작에서, 서버(802)는 제1 전자 장치(800)로부터 수신된 제2 통신(예를 들어, SWIS 통신) 초대 메시지를 제2 전자 장치(801)로 전달할 수 있다. 다양한 실시예에 따르면, 제2 전자 장치(801)의 프로세서(120)는 통신 인터페이스(170) 또는 통신 모듈(220)을 통해 서버(802)로부터 제2 통신(예를 들어, SWIS 통신) 초대 메시지를 수신할 수 있다.
한 실시예에 따르면, 825 동작에서, 제2 전자 장치(801)는 확인 메시지를 서버(802)로 전송할 수 있다. 다양한 실시예에 따르면, 제2 전자 장치(801)의 프로세서(120)는 서버(802)로부터 제2 통신(예를 들어, SWIS 통신) 초대 메시지를 수신하는 것에 응답하여 제2 전자 장치(801)가 제2 통신(예를 들어, SWIS 통신)을 수행할 수 있는지를 판단할 수 있다. 예를 들어, 제2 전자 장치(801)의 프로세서(120)는 제2 통신(예를 들어, SWIS 통신) 기능을 지원하는 어플리케이션, 하드웨어와 같은 구성(component)의 존재 및 네트워크 상태 중 적어도 하나를 기반으로 제2 전자 장치(801)가 제2 통신(예를 들어, SWIS 통신)을 수행할 수 있는지를 판단할 수 있다. 제2 전자 장치(801)가 제2 통신(예를 들어, SWIS 통신)을 할 수 있는 상태로 판단되는 경우, 제2 전자 장치(801)의 프로세서(120)는 확인 메시지를 생성하여 서버(802)로 전송할 수 있다.
도시되어 있지 않으나, 서버(802)는 제2 전자 장치(801)가 인증된 장치인지 여부를 확인할 수 있다. 예를 들어, 서버(802)는 미리 저장된 인증 장치 정보와 제2 전자 장치(801)를 비교하여 제2 전자 장치(801)가 제2 통신(예를 들어, SWIS 통신) 기능을 제공받을 수 있는 장치인지를 확인할 수 있다. 뿐만 아니라, 서버(802)는 다양한 인증 알고리즘을 통해 제2 전자 장치(801)의 제2 통신(예를 들어, SWIS 통신) 관련 인증 동작을 수행할 수 있다. 다양한 실시예에 따르면, 이러한 제2 전자 장치(801)의 인증 동작은 805 동작과 840 동작 사이의 특정 시점에 이루어질 수 있다.
한 실시예에 따르면, 830 동작에서, 제2 전자 장치(801)는 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 실행할 수 있다. 이에 의해, 제2 전자 장치(801)는 SWIS통신에 필요한 실행 리소스 및 GUI 리소스들을 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)에 할당할 수 있고, 데이터 통신과 관련된 기능을 지원하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다.
도 8에서는 825 동작 이후 830 동작이 이루어지는 것으로 도시되나 본 발명이 이에 한정하는 것은 아니다. 예를 들어, 제2 전자 장치(801)는 서버(802)로부터 제2 통신(예를 들어, SWIS 통신) 초대 메시지를 수신하는 것에 응답하여 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 실행할 수 있고, 이와 동시에 또는 순차적으로 확인 메시지를 서버(802)로 전송할 수도 있다.
한 실시예에 따르면, 835 동작에서, 서버(802)는 제2 전자 장치(801)로부터 수신된 확인 메시지를 제 1 전자 장치(800)로 전달할 수 있다.
한 실시예에 따르면, 840 동작에서, 서버(802)는 제2 통신(예를 들어, SWIS 통신) 채널을 형성할 수 있고, 제1 전자 장치(800) 및 제2 전자 장치(801)는 상기 제2 통신(예를 들어, SWIS 통신) 채널을 통해 데이터를 송수신할 수 있다. 다양한 실시예에 따르면, 제2 통신(예를 들어, SWIS 통신) 채널은 P2P(Peer-to-Peer)방식으로 지원되는 통신 채널일 수 있다.
한 실시예에 따르면, 845 동작에서, 제1 전자 장치(800)와 제2 전자 장치(801)는 제2 통신(예를 들어, SWIS 통신) 채널을 통해 컨텐츠를 공유할 수 있다. 다양한 실시예에 따르면, 컨텐츠는 제1 전자 장치(800)의 유저 인터페이스(예를 들어, 디스플레이(160) 등) 또는 제2 전자 장치(801)의 유저 인터페이스(예를 들어, 디스플레이(160) 등)에서 표시될 수 있는 모든 오브젝트를 의미할 수 있다. 예를 들어, 컨텐츠는 제1 전자 장치(800) 또는 제2 전자 장치(801)에서 표시될 수 있는 홈 화면 또는 실행 화면등과 같은 화면, 메뉴, 아이콘, 이미지 데이터, 정지 영상 데이터, 동영상 데이터, 또는 썸네일 등의 다양한 오브젝트를 포함할 수 있다. 이러한 컨텐츠는 문자, 숫자, 이미지, 또는 UI 아이템 중 적어도 하나 이상의 조합으로 구성될 수 있다.
다양한 실시예에 따르면, 850 동작에서, 제1 전자 장치(800)는 서버(802)와 컨텐츠를 공유할 수도 있다. 예를 들어, 제1 전자 장치(800)는 컨텐츠를 서버(802)에 업로드 할 수 있다. 이 경우 도시되어 있지 않으나, 제2 전자 장치(801)는 서버(802)로부터 공유된 컨텐츠를 수신할 수 있다. 예를 들어, 제2 전자 장치(801)의 프로세서(120)는 서버(802)에 저장된 컨텐츠를 다운로드 할 수 있다.
한 실시예에 따르면, 855 동작에서, 제2 전자 장치(802)의 프로세서(120)는 제2 전자 장치(802)의 상태 정보를 감지할 수 있다. 855 동작과 관련된 다양한 실시예는 후술한 도면들을 통해서 구체적으로 설명하도록 한다.
한 실시예에 따르면, 865 동작에서, 제2 전자 장치(801)는 감지된 상태 정보를 제1 전자 장치(800)로 전송할 수 있다. 예를 들어, 제2 전자 장치(801)의 프로세서(120)는 제2 전자 장치(801)의 상태 정보를 제 1 전자 장치(800)로 전송하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다.
한 실시예에 따르면, 870 동작에서, 제2 전자 장치(801)는 감지된 상태 정보를 서버(802)에 업로드할 수 있다. 예를 들어, 제2 전자 장치(801)의 프로세서(120)는 제2 전자 장치(801)의 상태 정보를 서버(802)로 전송하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다.
한 실시예에 따르면, 875 동작에서, 제1 전자 장치(800)는 서버(802)에 업로드된 상태 정보를 다운로드 할 수 있다. 예를 들어, 제1 전자 장치(800)의 프로세서(120)는 서버(802)에 저장된 상태 정보를 수신하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다.
한 실시예에 따르면, 880 동작에서, 제1 전자 장치(800)는 피드백 정보를 생성할 수 있다. 다양한 실시예에 따르면, 제1 전자 장치(800)의 프로세서(120)는 제2 전자 장치(801)의 상태 정보를 기반으로 피드백 정보를 생성할 수 있다.
한 실시예에 따르면, 885 동작에서, 제1 전자 장치(800)는 피드백 정보를 출력할 수 있다. 다양한 실시예에 따르면, 제1 전자 장치(800)의 프로세서(120)는 생성된 피드백 정보를 출력하도록 디스플레이(160) 또는 오디오 모듈(280)을 포함한 출력장치(유저 인터페이스)를 제어할 수 있다.
한 실시예에 따르면, 890동작에서, 제1 전자 장치(800)와 제2 전자 장치(801)는 피드백 정보를 공유할 수 있다.
도 9는 본 발명의 다양한 실시예에 따른 제2 전자 장치(410)가 제1 전자 장치(400)로부터 수신된 컨텐츠에 대해 사용자의 인식 여부에 대한 정보를 제1 전자 장치(400)로 전송하는 동작을 나타내는 흐름도이다.
한 실시예에 따르면, 905 동작에서, 제2 전자 장치(410)는 제1 전자 장치(400)와 제1 통신 연결 중 제1 전자 장치(400)와 제2 통신 연결을 수립할 수 있다. 예를 들어, 제2 전자 장치(410)는 제1 전자 장치(400)와 음성 통화를 수행하던 중 제1 전자 장치(400)로부터 제2 통신(예를 들어, SWIS 통신) 연결 요청을 수신할 수 있고, 서버(420)를 통해 제1 전자 장치(400)와 제2 통신(예를 들어, SWIS 통신) 연결을 수립할 수 있다.
한 실시예에 따르면, 910 동작에서, 제2 전자 장치(410)는 제2 통신 채널(440)을 통해 제1 전자 장치(400)로부터 컨텐츠를 수신할 수 있다. 제2 전자 장치(410)는 제1 전자 장치(400)로부터 수신된 컨텐츠를 다양한 인터페이스, 예를 들어 디스플레이(160)를 통해 출력할 수 있다.
한 실시예에 따르면, 915 동작에서, 제2 전자 장치(410)는 제2 전자 장치(410)의 상태 정보를 감지할 수 있다. 예를 들어, 제2 전자 장치(410)의 프로세서(120)는 제2사용자로부터 컨텐츠에 대한 인터렉션 입력을 수신할 수 있다. 예를 들어, 제2 전자 장치(410)는 전술한 다양한 시선 정보 인식 알고리즘을 통해 컨텐츠에 대한 제2 사용자의 시선 정보를 감지할 수 있다.
한 실시예에 따르면, 제2 사용자가 컨텐츠를 인식하고 있지 않은 경우, 제2 전자 장치(410)는 925 동작에서 제1 전자 장치(410)로 컨텐츠 미 인식 정보를 전송할 수 있다. 컨텐츠 미 인식 정보는 컨텐츠에 대한 제2 사용자의 시선 정보가 감지되지 않음을 나타내는 정보일 수 있다.
한 실시예에 따르면, 제2 사용자가 컨텐츠를 인식하는 경우, 제2 전자 장치(410)는 920 동작에서 컨텐츠 관련 기능을 제2 통신 채널을 통해 제1 전자 장치(410)와 수행할 수 있다.
도 10a 및 도 10b는 본 발명의 다양한 실시예에 따른 제1 전자 장치(400)가 제2 전자 장치(410)로부터 제2 전자 장치(410)의 상태 정보를 수신하고 피드백 정보를 출력하는 동작을 나타내는 예시도이다. 도 10a 및 도 10b에서 제1 전자 장치(400)와 제2 전자 장치(410)는 제2 통신 연결 예를 들어, SWIS 통신 중임을 전제로 설명하도록 한다.
도 10a에서 제1 전자 장치(400)의 프로세서(120)는 사용자 요청에 따라 제1 전자 장치(400)의 유저 인터페이스(예를 들어, 디스플레이(160))를 통해 표시되고 있는 컨텐츠를 제2 통신(예를 들어, SWIS 통신) 채널을 통해 전송하도록 요청할 수 있다. 도시되는 바와 같이, 제1 전자 장치(400)는 제2 전자 장치(410)로 제2 통신(예를 들어, SWIS 통신)을 연결하는 요청 화면을 표시할 수 있고, 제2 통신(예를 들어, SWIS 통신) 연결이 수립되면 제1 전자 장치(400)의 유저 인터페이스(예를 들어, 디스플레이(160))에서 표시되는 화면(1005)을 제2 통신(예를 들어, SWIS 통신) 채널을 통해 전송하도록 요청할 수 있다. 도시되어 있지 않으나, 제2 전자 장치(410)는 제1 전자 장치(400)의 제2 통신(예를 들어, SWIS 통신) 요청을 수락하는 제2 사용자의 입력을 통해 제1 전자 장치(400)와 제2 통신(예를 들어, SWIS 통신)을 연결할 수 있고, SWIS 채널을 통해 제1 전자 장치(400)가 전송한 화면을 출력할 수 있다.
도 10b에서, 제1 전자 장치(400)는 제2 전자 장치(410)의 사용자(제2 사용자)가 컨텐츠(1005)를 보지 않고 있다는 상태 정보를 수신하고, 상태 정보를 기반으로 메시지 창(1015) 형태의 피드백 정보를 생성 및 출력할 수 있다. 예를 들어, 제2 전자 장치(410)는 제2 사용자의 시선 정보를 감지할 수 있다. 감지된 시선 정보를 기반으로 현재 제2 사용자가 컨텐츠를 보고 있지 않다고 판단되는 경우, 제2 전자 장치(410)는 제2 사용자가 컨텐츠를 보고 있지 않다는 상태 정보를 생성하여 제1 전자 장치(400)로 전송할 수 있다. 제1 전자 장치(400)는 제2 전자 장치(400)로부터 전송된 상태 정보를 기반으로 제2 사용자가 컨텐츠를 인식하지 않는다는 피드백 정보를 UI 아이템(1015)으로서 생성하고, 생성된 UI 아이템(1015)을 출력할 수 있다. 이에 의해, 제1 사용자는 제1 통신 연결(음성 통화 등)을 통해 제2 사용자에게 현재 공유되고 있는 컨텐츠를 보도록 이야기 함으로써 컨텐츠 공유를 유도할 수 있다.
다양한 실시예에 따르면, 제1 전자 장치(400)는 제1 전자 장치(400)에 포함된 센서 모듈(240) 또는 모터(298) 등을 통해 피드백 정보를 출력할 수 있다. 예를 들어, 제1 전자 장치(400)는 센서 모듈(240) 또는 모터(298)를 통해 진동과 같은 형태로 피드백 정보를 사용자에게 전달하거나, 제 1 전자장치와 연결된 또 다른 전자장치(예를 들어, 웨어러블 전자장치)를 통해서 사용자에게 피드백 정보를 제공할 수 있다.
도 11a 및 도 11b는 본 발명의 다양한 실시예에 따른 제1 전자 장치(400)가 제2 전자 장치(410)로부터 제2 전자 장치(410)의 상태 정보를 수신함에 따라 피드백 정보를 출력하는 동작을 나타내는 예시도이다. 도 11a 및 도 11b에서 제1 전자 장치(400)와 제2 전자 장치(410)는 제2 통신(예를 들어, SWIS 통신) 중임을 전제로 설명하도록 한다. 다양한 실시예에 따르면 전자 장치(1110)는 제1 전자 장치(400) 또는 제2 전자 장치(410)이 한 예시일 수 있다.
제1 전자 장치(400)는 도 11a에서 도시되는 화면(1105)을 제2 통신 채널(440)을 통해 제2 전자 장치(410)로 전송할 수 있다. 제2 전자 장치(410)는 제1 전자 장치(400)로부터 수신한 화면(1105)을 출력하는 중, 제2 전자 장치(410)의 유저 인터페이스(예를 들어, 디스플레이(160))를 통해 표시되는 화면(1105)을 오프시키는 입력을 수신할 수 있다. 예를 들어, 제2 전자 장치(410)의 사용자는 외부 키 등을 이용하여 유저 인터페이스(예를 들어, 디스플레이(160))를 비활성화 시킬 수 있다. 이 경우, 제 2 전자 장치(410)의 프로세서(120)는 유저 인터페이스(예를 들어, 디스플레이(160))가 비활성화 됨에 따라 더 이상 컨텐츠를 표시할 수 없는 상태를 컨텐츠에 대한 제2 전자 장치(410)의 상태 정보로서 확인할 수 있다. 제2 전자 장치(410)는 확인된 제2 전자 장치(410)의 상태 정보를 제1 전자 장치(400)로 전송할 수 있다. 제1 전자 장치(400)는 수신된 제2 전자 장치(410)의 컨텐츠에 대한 상태 정보를 기반으로 피드백 정보를 UI 창(1115)의 형태로 생성할 수 있고, 생성된 피드백 정보를 출력할 수 있다.
도 12는 본 발명의 다양한 실시예에 따른 제1 전자 장치(1200)가 카메라 프리뷰 영상과 관련된 정보를 제2 통신(예를 들어, SWIS 통신) 채널을 통해 제2 전자 장치(1201)와 교환하는 동작을 나타내는 흐름도이다. 도 12에서 제1 전자 장치(1200)와 제2 전자 장치(1201)는 제1 통신 연결(예컨대, 음성 통화) 중일 수 있다. 도 12의 제1 전자 장치(1200), 제2 전자 장치(1201), 및 서버(1202)는 도 4의 제1 전자 장치(400), 제2 전자 장치(410), 및 서버(420)의 한 예시일 수 있다.
한 실시예에 따르면, 1205 동작에서, 서버(420)를 통해 제1 전자 장치(400) 및 제2 전자 장치(410)간 제2 통신(예를 들어, SWIS 통신) 채널이 형성될 수 있다.
한 실시예에 따르면, 1210 동작에서, 제1 전자 장치(1200)는 카메라를 구동할 수 있다. 다양한 실시예에 따르면 제1 전자 장치(1200)의 프로세서(120)는 카메라 모듈(291)을 구동시킴으로써 프리뷰 영상을 출력할 수 있다. 다양한 실시예에 따르면, 1210 동작에서 구동되는 카메라는 제1 전자 장치(1200)에 포함될 수 있으나 반드시 제1 전자 장치(1200)에 포함되는 것으로 한정하지는 않는다. 예를 들어, 카메라는 제1 전자 장치(1200)와 물리적으로 구분된 별도의 모듈일 수 있다.
한 실시예에 따르면, 1215 동작에서, 제1 전자 장치(1200) 및 제2 전자 장치(1201)는 카메라 구동에 따른 프리뷰 영상을 공유할 수 있다. 예를 들어, 제1 전자 장치(1200)의 프로세서(120)는 유저 인터페이스(예를 들어, 디스플레이(160))에 출력되는 프리뷰 영상을 제2 통신(예를 들어, SWIS 통신) 채널을 통해 제2 전자 장치(1201)로 전송할 수 있고, 제2 전자 장치(1201)의 프로세서(120)는 제1 전자 장치(1200)로부터 수신되는 프리뷰 영상을 출력하도록 제2 전자 장치(410)의 유저 인터페이스(예를 들어, 디스플레이(160))를 제어할 수 있다.
한 실시예에 따르면, 1220 동작에서, 제2 전자 장치(1201)는 프리뷰 영상 중 특정 위치에 대한 사용자 입력을 수신할 수 있다. 예를 들어, 제2 전자 장치(1201)의 프로세서(120)는 유저 인터페이스(예를 들어, 디스플레이(160))를 통해 출력되는 프리뷰 영상에 대한 사용자의 입력(예컨대, 터치 입력 등)을 수신할 수 있고, 프리뷰 영상 중 사용자의 입력이 수신된 특정 위치의 입력 신호를 감지할 수 있다.
한 실시예에 따르면, 1225 동작에서, 제2 전자 장치(1201)는 사용자 입력이 수신된 특정 위치에 대한 정보를 제1 전자 장치(1200)로 전송할 수 있다. 예를 들어, 제2 전자 장치(1201)의 프로세서(120)는 프리뷰 영상의 특정 위치에서 발생하는 사용자의 입력 신호를 제1 전자 장치(1200)로 전송하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다.
한 실시예에 따르면, 1230 동작에서, 제1 전자 장치(1200)는 제2 전자 장치(1201)로부터 수신된 특정 위치에 대한 정보를 기반으로 카메라 기능을 수행할 수 있다. 다양한 실시예에 따르면, 제1 전자 장치(1200)의 프로세서(120)는 프리뷰 영상 중 제2 전자 장치(1201)로부터 수신된 정보를 기반으로 프리뷰 영상의 특정 영역에 대해서 카메라의 초점을 설정할 수 있다. 이에 의해, 제2 전자 장치(1201)의 사용자는 사용자 입력에 해당하는 프리뷰 영상의 특정 영역으로 카메라의 초점을 맞추도록 제1 전자 장치(1200), 제1 전자 장치(1200)의 카메라, 또는 카메라 모듈을 제어할 수 있다.
한 실시예에 따르면, 1235 동작에서, 제1 전자 장치(1200)와 제2 전자 장치(1201)는 1230동작에서 수행되는 카메라 기능에 따른 정보를 공유할 수 있다. 예를 들어, 제1 전자 장치(1200)는 초점 변화에 따른 프리뷰 영상의 변화를 제2 전자 장치(1201)로 전송할 수 있고, 제2 전자 장치(1201)는 초점 변화에 따른 프리뷰 영상의 변화를 출력할 수 있다.
도 13a 및 도 13b는 본 발명의 한 실시예에 따라 제1 전자 장치(400) 및 제2 전자 장치(410)에서 프리뷰 영상과 관련된 정보를 제2 통신(예를 들어, SWIS 통신)을 통해 교환하는 동작을 나타내는 예시도이다.
도 13a에서 제2 통신(예를 들어, SWIS 통신) 연결 시간 정보(1305)가 표시된다. 또한, 제1 전자 장치(400)에서는 제2 통신(예를 들어, SWIS 통신)에서의 카메라 구동과 관련된 기능 메뉴(1310)를 출력할 수 있다. 예를 들어, 카메라 구동과 관련된 기능 메뉴(1310)는 이미지 캡쳐, 이미지 레코딩, 카메라 앞/뒤 방향 전환, 듀얼 카메라 기능, 또는 포인터 기능 등의 카메라 또는 카메라 모듈에 대한 동작을 포함할 수 있다. 또한, 제1 전자 장치(400) 및 제2 전자 장치(410)는 제2 통신(예를 들어, SWIS 통신) 제어 메뉴(1320)를 출력할 수 있다.
다양한 실시예 중에 하나로, 제1 전자 장치(400) 및 제2 전자 장치(410)는 프리뷰 영상(1315)을 공유할 수 있으며, 제2 전자 장치(410)의 사용자는 프리뷰 영상 중 특정 영역(1320)를 선택할 수 있다.
도 13b에서, 제2 전자 장치(410)는 사용자가 선택한 특정 영역(1320)에 대한 정보를 제1 전자 장치(400)로 전송할 수 있고, 제1 전자 장치(400)는 제2 전자 장치(410)로부터 수신된 정보를 기반으로 프리뷰 영상 중 특정 영역(1325)에 대하여 초점을 맞출 수 있다. 제1 전자 장치(400)는 초점 제어에 따라 변화되는 프리뷰 영상 또는 초점 제어 완료에 따른 정보를 실시간으로 또는 주기적으로 제2 전자 장치(410)에 전송할 수 있다. 이러한 초점 제어 완료 정보는 영상에 표시되지 않는 디지털 정보로 구성될 수 있고, 도 13b에서 도시되는 바와 같이 초점 위치를 표시하는 아이템으로 구성될 수도 있다. 제2 전자 장치(410)의 사용자는 초점 제어 완료 정보를 인식하고 화면 캡쳐를 요청하는 신호 또는 재 초점 요청 신호를 입력하여 제1 전자 장치(400)로 전송할 수 있다.
다양한 실시예에 따르면, 초점 제어 완료에 따른 정보를 제1 전자 장치(400)로부터 수신하는 경우, 제2 전자 장치(410)는 현재 수신되고 있는 공유 영상 데이터에서 이미지를 직접 캡쳐할 수도 있다.
도 14a 및 도 14b는 본 발명의 다른 실시예에 따라 제1 전자 장치(400) 및 제2 전자 장치(410)에서 프리뷰 영상과 관련된 정보를 제2 통신(예를 들어, SWIS 통신)을 통해 교환하는 동작을 나타내는 예시도이다.
도 14a에서 제1 전자 장치(400) 및 제2 전자 장치(410)는 제2 통신(예를 들어, SWIS 통신) 연결 시간 정보(1405) 및 제2 통신(예를 들어, SWIS 통신) 제어 메뉴(1430)를 출력할 수 있다. 제1 전자 장치(400)는 제2 통신(예를 들어, SWIS 통신)에서의 카메라 구동과 관련된 기능 메뉴(1430) 및 가로 모드로 지원되는 프리뷰 영상(1415)을 출력할 수 있다. 제2 전자 장치(410)는 세로 모드로 지원되는 프리뷰 영상(1420)을 출력할 수 있고, 사용자로부터 특정 객체(1425)를 선택하는 터치 입력을 수신할 수 있다. 제1 전자 장치(400)에서 출력되는 프리뷰 영상(1415)과 제2 전자 장치(410)에서 출력되는 프리뷰 영상(1425)은 동일한 이미지를 기반으로 가로 또는 세로가 각각 소정의 비율로 축소되거나 확대된 이미지일 수 있다. 또는 제1 전자 장치(400)에서 출력되는 프리뷰 영상(1415)과 제2 전자 장치(410)에서 출력되는 프리뷰 영상(1425)은 동일한 이미지를 기반으로 회전된 이미지일 수 있다.
도 14b에서 제2 전자 장치(410)는 특정 객체(1425)를 선택하는 터치 입력에 따라 상기 특정 객체(1425)의 위치와 관련된 정보를 제1 전자 장치(400)로 출력할 수 있고, 제1 전자 장치(400)는 특정 객체(1425)의 위치와 관련된 정보를 기반으로 초점 제어 완료 정보를 출력할 수 있다. 다양한 실시예 중에 하나로 초점 제어 정보는 위치에 해당되는 좌표로 도착할 수 있고, 위치에 해당되는 관련된 이미지와 같은 데이터로 도착할 수도 있다.
도 14c는 본 발명의 도 14b에서 제2 전자 장치(410)가 프리뷰 영상의 특정 객체에 대한 사용자 입력에 따라 특정 객체의 구체적인 위치를 인식하는 동작을 나타내는 예시도이다. 도시되는 바와 같이, 제2 전자 장치(410)는 프리뷰 영상(1435)을 기준으로 프리뷰 영상(1435) 중 사용자 선택 영역(1440)의 좌표 또는 비율 정보를 확인할 수 있다. 예를 들어, 제2 전자 장치(410)는 사용자 선택 영역(1440)의 좌표가 프리뷰 영상(1435)의 가로 길이의 1/5비율에 해당하는 지점이고, 프리뷰 영상(1435)의 세로 길이의 3/7 비율에 해당하는 지점임을 확인할 수 있다. 제2 전자 장치(410)는 상기 프리뷰 영상(1435)에 대한 사용자의 선택 영역(1440)의 좌표 또는 비율 정보를 제1 전자 장치(400)로 전송할 수 있다. 이에 의해, 제1 전자 장치(400)의 프로세서(120)는 제1 전자 장치(400)에서 지원되는 가로 모드 또는 세로 모드에 따라 변화되는 이미지의 비율 정보에 상기 수신된 좌표,비율 정보 또는 각각 전자장치의 해상도를 추가적으로 고려하여 객체를 선택할 수 있다.
도 15a 및 15b는 본 발명의 또다른 실시예에 따라 제1 전자 장치(400) 및 제2 전자 장치(410)에서 프리뷰 영상과 관련된 정보를 제2 통신(예를 들어, SWIS 통신)을 통해 교환하는 동작을 나타내는 예시도이다.
도 15a에서, 제1 전자 장치(400) 및 제2 전자 장치(410)는 제2 통신(예를 들어, SWIS 통신) 연결 시간 정보(1505), 프리뷰 영상(1515) 및 제2 통신(예를 들어, SWIS 통신) 제어 메뉴(1525)를 출력할 수 있다. 제1 전자 장치(400)에서는 제2 통신(예를 들어, SWIS 통신)에서의 카메라 구동과 관련된 기능 메뉴(1510)를 출력할 수 있다.
다양한 실시예에 따르면, 제2 전자 장치(410)는 사용자로부터 특정 영역(1520)을 선택하는 인터렉션을 수신할 수 있다. 예를 들어, 제2 전자 장치(410)의 사용자는 손가락을 이용하여 프리뷰 영상(1515) 중 특정 영역(1520)을 선택하는 원 형태의 폐곡선을 입력할 수 있다. 제2 전자 장치(410)의 프로세서(120)는 사용자가 입력한 영역에 대한 정보를 제1 전자 장치(400)로 전송할 수 있다.
도 15b에서, 제1 전자 장치(400)는 제2 전자 장치(410)의 사용자가 입력한 영역을 중심으로 프리뷰 영상(1530)에 대한 아웃 포커싱 기능을 수행할 수 있다. 예를 들어, 제1 전자 장치(400)의 프로세서(120)는 도 15a에서 제2 전자 장치(410)의 사용자가 선택한 영역을 기반으로 프리뷰 영상(1530)에 대한 아웃 포커스 기능을 실행하도록 카메라 모듈(291)을 제어할 수 있다.
도 16은 본 발명의 다양한 실시예에 따른 제1 전자 장치(1600)가 제2 전자 장치(1601)로부터 제2 전자 장치(1601)의 상태 정보를 수신하고 피드백 정보를 출력하는 동작을 나타내는 흐름도이다. 도 16에서 제1 전자 장치(1600)와 제2 전자 장치(1601)는 제1 통신 연결(예컨대, 음성 통화) 중일 수 있다. 다양한 실시예에 따르면, 도 16의 제1 전자 장치(1600), 제2전자 장치(1601), 및 서버(1602)는 도 4의 제1 전자 장치(400), 제2 전자 장치(410), 및 서버(420)의 한 예시일 수 있다.
한 실시예에 따르면, 1605 동작에서, 서버(1602)를 통해 제1 전자 장치(1600) 및 제2 전자 장치(1601)간 제2 통신(예를 들어, SWIS 통신) 채널이 형성될 수 있다. 한 실시예에 따르면, 1610 동작에서, 제1 전자 장치(1600) 및 제2 전자 장치(1601)는 컨텐츠를 공유할 수 있다.
한 실시예에 따르면, 1615 동작에서, 제2 전자 장치(1601)는 컨텐츠의 특정 위치 또는 특정 영역에 대한 사용자 시선 정보를 수신할 수 있다. 예를 들어, 제 2 전자 장치(1601)의 프로세서(120)는 카메라 모듈(291), 센서 모듈 (240) 및 시선 정보 인식 알고리즘 중 적어도 하나를 통해 컨텐츠에 포함된 특정 객체에 대한 사용자의 시선 정보를 감지할 수 있다.
한 실시예에 따르면, 1620 동작에서, 제2 전자 장치(1601)는 사용자의 시선 정보를 제1 전자 장치(1600)로 전송할 수 있다. 예를 들어, 제2 전자 장치(1602)의 프로세서(120)는 컨텐츠 중 특정 객체에 대한 제2 사용자의 시선 정보를 제1 전자 장치(1600)로 전송하도록 통신 인터페이스(170) 또는 통신 모듈(220)을 제어할 수 있다.
한 실시예에 따르면, 1625 동작에서, 제1 전자 장치(1600)는 제2 전자 장치(1601)로부터 수신된 시선 정보를 기반으로 피드백 정보를 생성할 수 있다. 또한, 1630 동작에서, 제1 전자 장치(1600)는 생성된 피드백 정보를 출력할 수 있다.
다양한 실시예에 따르면, 제1 전자 장치(1600) 및 제2 전자 장치(1601)는 1635 동작에서 피드백 정보를 공유할 수 있다. 예를 들어, 제1 전자 장치(1600)는 피드백 정보를 제2 전자 장치(1601)로 전송할 수 있고, 제2 전자 장치(1601)는 제1 전자 장치(1600)로부터 수신된 피드백 정보를 출력할 수 있다.
도 17a 및 17b는 제2 전자 장치(410)에서 컨텐츠에 대한 제2 사용자의 시선 정보에 따라 제1 전자 장치에서 피드백 정보를 출력하는 동작을 나타내는 예시도이다.
도 17a에서, 제1 전자 장치(400) 및 제2 전자 장치(410)는 제2 통신(예를 들어, SWIS 통신) 연결 시간 정보(1705), 컨텐츠(1715) 및 제2 통신(예를 들어, SWIS 통신) 제어 메뉴(1735)를 출력할 수 있고, 제1 전자 장치(400)는 제2 통신(예를 들어, SWIS 통신)에서의 카메라 구동과 관련된 기능 메뉴(1510)를 출력할 수 있다. 제2 전자 장치(410)는 제2 전자 장치(410)의 사용자로부터 컨텐츠(1715) 중 특정 객체(1725)에 대한 시선 정보를 감지할 수 있다. 제2 전자 장치(410)는 감지된 시선 정보를 제1 전자 장치(400)로 전송할 수 있고, 제1 전자 장치(400)는 제2 전자 장치(410)로부터 수신된 시선 정보를 기반으로 컨텐츠의 출력을 변경할 수 있다.
다양한 실시예에 따르면, 제1 전자 장치(400)는 도 17a와 같이 제2 사용자가 바라보는 객체(1725)에 대응되는 객체(1720)에 대한 포인터(1720)를 출력할 수 있다. 다양한 실시예에 따르면, 제1 전자 장치(400)는 도 17b와 같이 제2 사용자가 바라보는 객체(1725)에 대응되는 객체(1740)를 중심으로 컨텐츠(1715)에 대한 선명도를 조절할 수 있다. 예를 들어, 제1 전자 장치(400)의 프로세서(120)는 객체(1725)에 해당하는 영역을 컨텐츠(1715)의 다른 영역보다 더 선명하게 표시되도록 유저 인터페이스(예를 들어, 디스플레이(160))를 제어할 수 있다.
도 18은 본 발명의 다양한 실시예에 따른 제1 전자 장치(1800) 및 제2 전자 장치(1801)에서 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)의 전환과 관련된 동작들을 나타내는 흐름도이다. 다양한 실시예에 따르면, 도 18의 제1 전자 장치(1800), 제2 전자 장치(1801), 및 서버(1802)는 도 4의 제1 전자 장치(400), 제2 전자 장치(410), 및 서버(420)의 한 예시일 수 있다.
한 실시예에 따르면, 1805 동작에서, 서버(1802)를 통해 제1 전자 장치(1800) 및 제2 전자 장치(1801)간 제2 통신(예를 들어, SWIS 통신) 채널이 형성될 수 있다. 한 실시예에 따르면, 1810 동작에서, 제1 전자 장치(1800) 및 제2 전자 장치(1801)는 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 실행에 따라 SWIS 채널을 통해 컨텐츠를 공유할 수 있다.
한 실시예에 따르면, 1815 동작에서, 제2 전자 장치(1801)는 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 다른 어플리케이션으로 전환되는 것을 감지할 수 있다. 제2 전자 장치(1801)의 프로세서(120)는 포어 그라운드(foreground)에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 다른 어플리케이션 실행에 따라 백그라운드(background)로 전환됨을 감지할 수 있다. 이 경우, 1820 동작에서, 제2 전자 장치(1801)는 제1 전자 장치(1800)로 어플리케이션의 전환 정보를 전송할 수 있다. 예를 들어, 제2 전자 장치(1801)의 프로세서(120)는 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백그라운드에서 실행되고 다른 어플리케이션이 포어 그라운드에서 실행된다는 정보를 제1 전자 장치(1800)로 전송할 수 있다.
한 실시예에 따르면, 1825 동작에서, 제1 전자 장치(1800)는 제2 전자 장치(1801)의 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 복귀를 요청하는 신호를 수신할 수 있다. 다양한 실시예에 따르면, 제1 전자 장치(1800)는 제2 전자 장치(1801)에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백그라운드로 실행되고 있음을 출력할 수 있다. 예를 들어, 제1 전자 장치(1800)의 프로세서(120)는 제2 전자 장치(1801)로부터 수신된 정보를 기반으로 피드백 정보를 생성하여 출력할 수 있다. 여기서 피드백 정보는 제2 전자 장치(1801)에서 출력되던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 다른 어플리케이션 실행에 따라 백그라운드로 전환되었음을 나타내는 UI 형태의 정보일 수 있다. 제1 전자 장치(1800)의 사용자는 제2 전자 장치(1801)가 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 다시 포어 그라운드에서 실행하도록 제1 전자 장치(1800)에 요청할 수 있다.
한 실시예에 따르면, 1830 동작에서, 제1 전자 장치(1800)는 제2 전자 장치(1801)로 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 복귀 요청 신호를 전송할 수 있다. 1835 동작에서, 제 2 전자 장치(1801)는 제1 전자 장치(1800)로부터 수신한 복귀 요청 신호에 응답하여 백그라운드에서 실행 중이던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 포어 그라운드에서 실행할 수 있다.
다양한 실시예에 따르면, 1840 동작에서, 제2 전자 장치(1801)는 제1 전자 장치(1800)의 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 복귀 요청 신호를 수신하는 경우 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 활성화 아이콘을 출력할 수 있다. 이를 위해, 제1 전자 장치(1800)는 제2 전자 장치(1801)의 유저 인터페이스(예를 들어, 디스플레이(160))에 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 전환 아이콘을 출력하도록 요청하는 신호를 제2 전자 장치(1801)로 전송할 수 있다. 제2 전자 장치(1801)는 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 전환 아이콘에 대한 사용자 입력(예컨대, 터치 등)을 수신하면, 백 그라운드에서 실행 중이던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 포어 그라운드에서 실행할 수 있고, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 기능 수행과 관련된 화면을 출력할 수 있다.
다양한 실시예에 따르면, 1845 동작에서, 제2 전자 장치(1801)는 자체적으로 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 활성화 아이콘을 출력할 수 있다. 제2 전자 장치(1801)의 프로세서(120)는 제2 전자 장치(1801)에서 실행 중이던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 다른 어플리케이션 실행에 따라 백 그라운드로 전환되는 것을 감지할 수 있다. 이 경우, 제2 전자 장치(1801)의 프로세서(120)는 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)과 관련된 활성화 아이콘을 유저 인터페이스(예를 들어, 디스플레이(160))에 출력할 수 있다. 사용자에 의해 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 활성화 아이콘이 선택되는 경우, 제2 전자 장치(1801)의 프로세서(120)는 백 그라운드에서 실행 중이던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 포어 그라운드에서 실행할 수 있고, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 기능 수행과 관련된 화면을 출력할 수 있다.
다양한 실시예에 따르면, 1815 동작과 관련하여, 제2 전자 장치(1801)는 다른 어플리케이션 실행에 따라 제1 전자 장치(1800)와 공유하는 화면이 하위 레이어로 표시되거나 적어도 일부 이상의 화면이 다른 어플리케이션의 화면과 겹치거나 가려지는 것을 감지할 수 있다. 예를 들어, 제1 전자 장치(1800)와 화면을 공유하는 중 SMS 또는 노티 어플리케이션 등의 적어도 일부 이상의 영역을 차지하는 윈도우가 표시되는 경우, 제2 전자 장치(1801)는 제1 전자 장치(1800)와 공유하는 화면이 일정 비율 이상 가려지는 것을 감지할 수 있다. 이 경우, 1820 동작과 관련하여, 제2 전자 장치(1801)는 제1 전자 장치(1800)와 공유 중인 화면이 일정 비율 이상 다른 어플리케이션과 관련된 화면에 의해 가려진다는 정보를 제1 전자 장치(1800)로 전송할 수 있다.
도 19a 및 19b는 제2 전자 장치(410)에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드로 전환된 경우, 제1 전자 장치(400)에서 제2 전자 장치(410)로 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 복귀 요청을 전송하는 동작을 나타내는 예시도이다.
도 19a에서, 제1 전자 장치(400) 및 제2 전자 장치(410)는 제2 통신(예를 들어, SWIS 통신)을 통해 컨텐츠(1905)를 공유할 수 있다. 이후 도 19b에서, 제2 전자 장치(410)에서 실행 중이던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드로 전환되거나 종료될 수 있다. 예를 들어, 사용자가 홈 버튼을 누름으로써 제2 전자 장치(410)는 홈 화면(1930)을 출력하는 홈 어플리케이션을 실행할 수 있고, 제2 전자 장치(410)의 프로세서(120)는 실행 중이던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 프로그램을 백 그라운드에서 대기하도록 제어할 수 있다.
제2 전자 장치(410)는 포어 그라운드에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드로 전환되고, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)과 관련된 화면이 더 이상 출력되지 않음을 제1 전자 장치(400)로 전송할 수 있다. 제 1 전자 장치(400)는 제2 전자 장치(410)로부터 수신한 정보를 기반으로 피드백 정보를 생성할 수 있다. 예를 들어, 제1 전자 장치(400)는 제2 전자 장치(410)에서 백 그라운드 상태로 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 포어 그라운드에서 실행하도록 요청할지에 대한 문의 화면(1915)을 출력할 수 있다. 사용자가 아이템(1920)을 클릭하는 경우, 제1 전자 장치(400)는 제2 전자 장치(410)로 백 그라운드에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 포어 그라운드로 복귀하도록 요청하는 신호를 전송할 수 있다. 도시되어 있지 않으나, 제2 전자 장치(410)는 제1 전자 장치(400)로부터 수신된 복귀 요청 신호에 응답하여 백 그라운드에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 활성화시킬 수 있고, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)과 관련된 화면을 도 19a에서와 같이 출력할 수 있다. 반면, 사용자가 다른 아이템(1925)을 클릭하는 경우, 제1 전자 장치(400)는 별도의 동작 없이 사용자의 입력을 대기할 수 있다.
도 20a 내지 20c는 제2 전자 장치(410)에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드로 전환된 경우, 제1 전자 장치(400)에서 제2 전자 장치(410)로 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)의 복귀를 가이드하는 동작을 나타내는 예시도이다.
도 20a에서, 제1 전자 장치(400) 및 제2 전자 장치(410)는 제2 통신(예를 들어, SWIS 통신)을 통해 컨텐츠(2005)를 공유할 수 있다. 이후 도 20b에서, 제2 전자 장치(410)에서 실행 중이던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드로 전환되거나 종료될 수 있다. 예를 들어, 제2 전자 장치(410)는 홈 어플리케이션 실행에 따라 홈 화면(2030)을 출력할 수 있고, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 백 그라운드에서 동작하도록 제어할 수 있다.
제2 전자 장치(410)는 포어 그라운드에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드로 전환되고, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)과 관련된 화면이 더 이상 출력되지 않음을 제1 전자 장치(400)로 전송할 수 있다. 제 1 전자 장치(400)는 제2 전자 장치(410)로부터 수신한 정보를 기반으로 피드백 정보를 생성할 수 있다. 예를 들어, 제1 전자 장치(400)는 제2 전자 장치(410)의 화면에 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 활성화 아이콘을 출력하도록 요청할지에 대한 문의 화면(2015)을 출력할 수 있다. 사용자가 아이템(2020)을 클릭하는 경우, 제1 전자 장치(400)는 제2 전자 장치(410)로 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 활성화 아이콘을 출력하도록 요청하는 신호를 전송할 수 있다. 이 경우, 도 20c에서 도시되는 바와 같이, 제2 전자 장치(410)는 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 활성화 아이콘(2035)을 출력할 수 있다. 사용자로부터 활성화 아이콘(2035)을 선택하는 입력(예컨대, 터치 등)을 수신하는 경우, 제2 전자 장치(410)는 백 그라운드에서 실행 중이던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 포어 그라운드에서 실행되도록 제어하고, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)과 관련된 화면을 출력할 수 있다.
도 21은 제2 전자 장치(410)에서 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드로 상태로 전환되어 실행되는 경우, 음성 인식에 따라 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 복귀되는 동작을 나타내는 예시도이다.
제1 전자 장치(400) 및 제2 전자 장치(410)에서 제2 통신(예를 들어, SWIS 통신)을 통해 컨텐츠(2105)가 공유되던 중, 제2 전자 장치(410)에서 실행 중이던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 백 그라운드 상태로 전환되어 운용될 수 있다.
제2 전자 장치(410)의 프로세서(120)는 제1 전자 장치(400) 또는 제2 전자 장치(410)로부터 수신되는 요청에 따라 음성인식 기능을 활성화할 수 있다. 예를 들어, 제2 전자 장치(410)의 프로세서(120)는 실행 중인 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션) 백 그라운드로 전환되어 운용되는 경우 음성 인식 기능을 활성화할 수 있고, 특정 음성에 따라 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)이 활성화될 수 있음을 나타내는 창(2115)을 출력할 수 있다. 사용자에 의해 특정 음성(예컨대, “SWIS” 등)을 수신하는 경우, 제2 전자 장치(410)의 프로세서(120)는 백 그라운드에서 실행 중이던 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 포어 그라운드에서 동작하도록 제2 전자 장치(410)를 제어하고, 제2 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)과 관련된 화면을 출력하도록 제2 전자 장치(410)의 유저 인터페이스(예를 들어, 디스플레이(160))를 제어할 수 있다.
도 22a 내지 22c는 본 발명의 다양한 실시예에 따른 제1 전자 장치(400)가 제1 통신 연결을 종료하고 제2 통신(예를 들어, SWIS 통신)만을 연결하는 동작을 나타내는 예시도이다.
도 22a를 참조하면, 제1 전자 장치(410)는 제2 전자 장치(410)와 제1 통신 채널(430)을 통해 음성 통화를 수행 중임을 나타내는 화면(2205) 및 제1 전자 장치(400)의 다양한 기능과 관련된 화면(2210)을 표시할 수 있다. 제1 전자 장치(400)의 다양한 기능과 관련된 화면(2210)은 SWIS 연결 아이콘(2215)을 포함할 수 있다.
도 22b에서, 다양한 네트워크 통신 상의 문제가 발생하는 경우, 제1 전자 장치(400)는 사용자로부터 SWIS 연결아이콘(2210)에 대한 선택 입력을 수신하는 것에 응답해서 제1 통신과 제2 통신(SWIS 통신)을 동시에 진행할 수 없다는 알림 창(2220)을 표시할 수 있다. 알림 창(2220)은 제1 통신 연결(통화)을 종료한다는 메시지와 함께 확인 아이템(2230) 및 취소아이템(2225)을 표시할 수 있다. 사용자에 의해 확인 아이템(2230)이 선택되는 경우, 제1 전자 장치(400)는 음성 통화를 종료하고 도 22c와 같이 제2 통신(예를 들어, SWIS 통신) 연결을 요청할 수 있고, 제2 통신 연결 요청에 따른 화면(2235)을 출력할 수 있다. 이에 의해, 제1 전자 장치(400) 및 제2 전자 장치(410)는 통화 연결 없이 제2 통신(예를 들어, SWIS 통신) 연결만을 수행할 수 있다. 다양한 실시예에 따르면, 통화 연결 없이 제2 통신(예를 들어, SWIS 통신) 연결만을 수행하는 경우, 제1전자 장치(400)는 제1 전자 장치(400) 사용자의 음성 신호를 제2 통신(예를 들어, SWIS 통신) 채널을 통해 제2 전자 장치(410)로 전송할 수 있다. 예를 들어, 제1 전자 장치(400)의 프로세서(120)는 오디오 모듈(280)을 통해 제1 전자 장치(400) 사용자의 음성 데이터를 수집할 수 있고, 수집된 음성 데이터를 디지털 신호로 변환하여 제2 전자 장치(410)로 전송할 수 있다.
상기와 같은 구성에 의해, 다양한 네트워크 상의 문제로 제2 통신(예를 들어, SWIS 통신) 채널만으로 제1 전자 장치(400)와 제2 전자 장치(410)가 연결되더라도, 제1 전자 장치(400) 및 제2 전자 장치(410)는 음성 신호 또는 음성 신호와 대체되는 데이터를 공유할 수 있다. 예를 들어, 음성신호를 STT(speech to text)와 같은 방법으로 글자로 표현할 수도 있다.
상기 도 4 내지 도 22C에서는 제1 통신이 연결된 상태에서 제2 통신이 연결되는 것으로 개시하고 있으나 본 발명이 이에 한정하는 것은 아니다. 예를 들어, 제1 전자 장치(400)는 제1 통신 연결이 없이도 제2 통신 연결을 수행할 수 있다. 이러한 경우 제1 전자 장치(400) 및 제2 전자 장치(410)는 후술할 도 23과 같이 제1 통신 연결 없이 제2 통신 연결을 수행하고 컨텐츠 정보를 공유하는 동작을 수행할 수 있다.
도 23은 본 발명의 다양한 실시예에 따른 제1 전자 장치(2300) 및 제2 전자 장치(2301)가 제1 통신 연결 없이 제2 통신만을 연결하는 동작을 나타내는 흐름도이다. 다양한 실시예에 따르면, 도 23의 제1 전자 장치(2300), 제2전자 장치(2301), 및 서버(2302)는 도 4의 제1 전자 장치(400), 제2 전자 장치(410), 및 서버(420)의 한 예시일 수 있다.
한 실시예에 따르면, 2305 동작에서, 제1 전자 장치(2300)는 사용자 요청에 따라 영상 등과 같은 컨텐츠를 공유하기 위한 어플리케이션(예를 들어, SWIS 어플리케이션)을 실행할 수 있다.
한 실시예에 따르면, 2310 동작에서, 제1 전자 장치(2300)는 제2 전자 장치(2301)와 컨텐츠를 공유하기 위한 통신(예를 들어, SWIS 통신)을 수립하기 위한 통신 초대 메시지를 서버(2302)로 전송할 수 있다.
한 실시예에 따르면, 2315 동작에서, 서버(2302)는 제1 전자 장치(2300)로부터 수신된 통신(예를 들어, SWIS 통신) 초대 메시지를 제2 전자 장치(2301)로 전달할 수 있다.
한 실시예에 따르면, 2320 동작에서, 제2 전자 장치(2301)는 확인 메시지를 서버(2302)로 전송할 수 있다. 한 실시예에 따르면, 2325 동작에서, 제2 전자 장치(2301)는 컨텐츠 공유를 위한 통신과 관련된 어플리케이션(예를 들어, SWIS 어플리케이션)을 실행할 수 있다.
한 실시예에 따르면, 2330 동작에서, 서버(2302)는 제2 전자 장치(2301)로부터 수신된 확인 메시지를 제 1 전자 장치(2300)로 전달할 수 있다.
한 실시예에 따르면, 2335 동작에서, 서버(2302)는 컨텐츠 공유를 위한 통신(예를 들어, SWIS 통신) 채널을 형성할 수 있고, 제1 전자 장치(2300) 및 제2 전자 장치(2301)는 상기 컨텐츠 공유를 위한 통신(예를 들어, SWIS 통신) 채널을 통해 데이터를 송수신할 수 있다. 다양한 실시예에 따르면, 컨텐츠 공유를 위한 통신(예를 들어, SWIS 통신) 채널은 P2P(Peer-to-Peer)방식으로 지원되는 통신 채널일 수 있다.
한 실시예에 따르면, 2340 동작에서, 제1 전자 장치(2300)와 제2 전자 장치(2301)는 컨텐츠 공유를 위한 통신(예를 들어, SWIS 통신) 채널을 통해 컨텐츠를 공유할 수 있다. 다양한 실시예에 따르면, 2345 동작에서, 제1 전자 장치(2300)는 서버(2302)와 컨텐츠를 공유할 수도 있다. 예를 들어, 제1 전자 장치(2300)는 컨텐츠를 서버(2302)에 업로드 할 수 있다. 이 경우 도시되어 있지 않으나, 제2 전자 장치(2301)는 서버(2302)로부터 공유된 컨텐츠를 수신할 수 있다.
한 실시예에 따르면, 2350 동작에서, 제2 전자 장치(2302)의 프로세서(120)는 컨텐츠에 대한 입력 정보 또는 제2 전자 장치(2302)의 상태 정보 중 적어도 하나를 감지할 수 있다.
한 실시예에 따르면, 2355 동작에서, 제2 전자 장치(2301)는 감지된 상태 정보를 제1 전자 장치(2300)로 전송할 수 있다. 한 실시예에 따르면, 2360 동작에서, 제2 전자 장치(2301)는 감지된 상태 정보를 서버(2302)에 업로드할 수 있다.
한 실시예에 따르면, 2365 동작에서, 제1 전자 장치(2300)는 서버(2302)에 업로드된 상태 정보를 다운로드 할 수 있다. 한 실시예에 따르면, 2370 동작에서, 제1 전자 장치(2300)는 피드백 정보를 생성할 수 있다. 한 실시예에 따르면, 2375 동작에서, 제1 전자 장치(2300)는 피드백 정보를 출력할 수 있다. 또한, 2380 동작에서, 제1 전자 장치(2300)와 제2 전자 장치(2301)는 피드백 정보를 공유할 수 있다.
상기와 같은 도 23의 내용은 제1 통신(예컨대 음성 통화) 없이도 제2 통신 (예컨대, SWIS 통신)을 수행할 수 있는 점을 제외하고, 도 8의 내용에서 개시한 실시예를 포함할 수 있다. 다양한 실시예에 따르면, 제1 통신(예컨대, 음성 통화) 연결은 도 23의 어느 시점에서도 수행될 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)의 정보 공유 방법은 제1 통신 채널(430) 및 제2 통신 채널(440)을 통해 외부 전자 장치와 통신 연결을 수립하는 동작; 상기 제2 통신 채널을 통해 상기 외부 전자 장치로 컨텐츠를 전송하는 동작; 상기 컨텐츠와 관련하여 상기 외부 전자 장치에서 수신된 입력 정보 및/또는 상기 외부 전자 장치의 상태 정보를 상기 제2 통신 채널(440)을 통해 수신하는 동작; 및 상기 입력 정보 또는 상기 상태 정보 중 적어도 하나에 기초하여 상기 컨텐츠와 관련된 피드백 정보를 생성하고 출력하는 동작을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)의 정보 공유 방법에서 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치와 통신 연결을 수립하는 동작은, 상기 제2 통신 채널(440)을 형성하기 위한 요청을 서버(420)로 전송하는 동작; 및 상기 서버(420)를 통해 형성되는 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치와 직접적으로 통신 연결을 수립하는 동작을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)의 정보 공유 방법에서 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치와 통신 연결을 수립하는 동작은, 상기 제2 통신 채널(440)을 형성하기 위한 요청을 서버(420)로 전송하는 동작; 정해진 시간 내에 상기 서버(420)로부터 상기 전자 장치(101)로 상기 외부 전자 장치의 확인 메시지가 수신되는지를 확인하는 동작; 및 상기 정해진 시간 내에 상기 확인 메시지가 수신되지 않는 경우 상기 제1 통신 연결을 종료하는 동작을 포함할 수 있다. 또한, 상기 정해진 시간 내에 상기 확인 메시지가 수신되는 경우 미리 정의된 시간 내에 상기 서버(420)로부터 제2 통신 채널 생성 메시지가 수신되는지를 확인하는 동작; 및 상기 미리 정의된 시간 내에 제2 통신 채널 생성 메시지가 수신되지 않는 경우 상기 제1 통신 연결을 종료하는 동작을 더 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)의 정보 공유 방법에서 상기 제1 통신 채널(430) 및 상기 제2 통신 채널(440)을 동시에 연결할 수 없다는 정보를 수신하는 경우 상기 제1 통신 채널(430)을 종료하는 동작을 더 포함하고, 상기 제1 통신 채널(430)을 종료하는 경우, 상기 전자 장치(101)에서 수집되는 음성 신호를 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치로 전송하고, 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치로부터 수신되는 음성 신호를 출력하는 동작을 더 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)의 정보 공유 방법은 제1 통신 채널(430) 및 제2 통신 채널(440)을 통해 상기 외부 전자 장치와 통신 연결을 수립하는 동작; 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치로부터 컨텐츠를 수신하는 동작; 상기 수신된 컨텐츠를 출력하는 동작; 및 상기 컨텐츠와 관련하여 상기 전자 장치에서 수신된 입력 정보 또는 상기 전자 장치(101)의 상태 정보 중 적어도 하나를 상기 제2 통신 채널(440)을 통해 상기 외부 전자 장치로 전송하는 동작을 포함할 수 있다. 또한, 상기 전자 장치(101)의 상태 정보를 상기 외부 전자 장치로 전송하는 동작은, 상기 전자 장치(101)에서 상기 컨텐츠를 포함하는 화면이 오프되거나, 상기 전자 장치에서 상기 컨텐츠를 포함하는 화면이 상기 컨텐츠를 포함하지 않는 화면으로 전환되는 경우, 상기 컨텐츠가 공유되지 않는다는 정보를 상기 전자 장치(101)의 상태 정보로서 상기 외부 전자 장치로 전송하는 동작을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)의 정보 공유 방법에서 상기 전자 장치(101)의 상태 정보를 상기 외부 전자 장치로 전송하는 동작은 전자 장치(101) 사용자의 얼굴이 상기 전자 장치(101)에 접촉되는지를 감지하는 동작; 및 상기 전자 장치 사용자의 얼굴이 상기 전자 장치(101)에 접촉되는 경우, 상기 전자 장치 사용자가 상기 출력된 컨텐츠를 인식하지 않는다는 정보를 상기 전자 장치(101) 상태 정보로서 상기 외부 전자 장치로 제공하는 동작을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)의 정보 공유 방법에서 상기 컨텐츠는 상기 외부 전자 장치의 카메라 모듈의 구동에 따라 출력되는 프리뷰 영상을 포함하며, 상기 전자 장치(101)의 상태 정보를 상기 외부 전자 장치로 전송하는 동작은 상기 전자 장치(101)에서 출력되는 프리뷰 영상에 대한 상기 전자 장치(101) 사용자의 인터렉션 입력의 수신을 상기 전자 장치(101)의 상태 정보로서 상기 외부 전자 장치에 제공하는 동작을 포함할 수 있다.
본 발명의 한 실시예에 따른 전자 장치(101)의 정보 공유 방법에서 상기 전자 장치(101)의 상태 정보를 상기 외부 전자 장치로 전송하는 동작은 상기 전자 장치(101)에서 출력되는 상기 컨텐츠 중 적어도 일부 영역에 대한 전자 장치(101) 사용자의 시선 정보를 수신하고, 상기 일부 영역에 대한 전자 장치(101) 사용자의 시선 정보를 상기 전자 장치(101)의 상태 정보로서 상기 외부 전자 장치에 제공하는 동작을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은, 예를 들면, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component), 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면,"모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(130)가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.
101: 전자 장치 400: 제1 전자 장치
410: 제2 전자 장치 420: 서버
430: 제1 통신 채널 440: 제2 통신 채널

Claims (32)

  1. 전자 장치에 있어서,
    유저 인터페이스를 표시하는 디스플레이;
    외부 전자 장치와의 음성 통신을 위한 채널을 포함하는 제1 통신 채널 또는 상기 외부 전자 장치와 컨텐츠를 공유하기 위한 채널을 포함하는 제2 통신 채널 중 적어도 하나를 통해 상기 전자 장치를 상기 외부 전자 장치와 연결하도록 구성된(configured to) 통신 회로;
    인스트럭션들(instructions)을 저장하는 메모리; 및
    상기 디스플레이, 상기 통신 회로, 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고;
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 제1 통신 채널을 통해 상기 외부 전자 장치와 통신 연결을 수립하고,
    상기 제1 통신 채널을 이용하여 상기 외부 전자 장치와 음성 통신을 수행하는 동안 상기 제2 통신 채널을 이용하여 상기 외부 전자 장치로 컨텐츠를 전송하고,
    상기 컨텐츠와 관련하여 상기 외부 전자 장치의 상태 정보를 상기 외부 전자 장치로부터 상기 제2 통신 채널을 통해 수신하고,
    상기 수신된 상태 정보가 상기 외부 전자 장치에 상기 컨텐츠가 표시되지 않은 상태에 대한 정보를 포함하는 경우, 상기 상태 정보에 기초하여 상기 컨텐츠와 관련된 제1 피드백 정보를 생성하고, 상기 수신된 상태 정보가 상기 외부 전자 장치의 사용자가 상기 컨텐츠를 미 인식하는 상태에 대한 정보를 포함하는 경우, 상기 상태 정보에 기초하여 상기 컨텐츠와 관련된 제2 피드백 정보를 생성하고,
    상기 제1 피드백 정보 또는 상기 제2 피드백 정보를 상기 디스플레이에 출력하도록 상기 디스플레이를 제어하고, 및
    상기 수신된 상태 정보가 상기 외부 전자 장치에 상기 컨텐츠가 표시되지 않은 상태에 대한 정보를 포함하는 경우, 상기 컨텐츠를 상기 외부 전자 장치의 디스플레이에 출력하도록 요청하는 신호를 상기 제1 통신 채널을 이용하여 상기 외부 전자 장치로 전송하고, 상기 수신된 상태 정보가 상기 외부 전자 장치의 사용자가 상기 컨텐츠를 미 인식하는 상태에 대한 정보를 포함하는 경우, 상기 컨텐츠를 인식하도록 요청하는 신호를 상기 제1 통신 채널을 이용하여 상기 외부 전자 장치로 전송하는 전자 장치.
  2. 제 1 항에 있어서,
    상기 제1 통신 채널은 사업자 망을 통한 CS 또는 PS로 연결된 상기 음성 통신을 위한 채널이며,
    상기 제2 통신 채널은 서버를 통해 상기 외부 전자 장치와 상기 컨텐츠를 공유하기 위한 채널인 것을 특징으로 하는 전자 장치.
  3. 제 1 항에 있어서,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가
    상기 제2 통신 채널을 형성하기 위한 요청을 서버로 전송하고, 상기 서버를 통해 형성되는 상기 제2 통신 채널을 통해 상기 외부 전자 장치와 직접적으로 통신 연결을 수립하도록 상기 통신 회로를 제어하는 것을 포함하는 전자 장치.
  4. 제 1 항에 있어서,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 제2 통신 채널을 형성하기 위한 요청을 서버로 전송하고,
    정해진 시간 내에 상기 서버로부터 상기 외부 전자 장치에 의해 송신되는 확인 메시지가 수신되는지를 확인하고,
    상기 정해진 시간 내에 상기 확인 메시지가 수신되지 않는 경우 상기 통신 연결을 종료하도록 상기 통신 회로를 제어하고,
    상기 정해진 시간 내에 상기 확인 메시지가 수신되는 경우 미리 정의된 시간 내에 상기 서버로부터 제2 통신 채널 생성 메시지가 수신되는지를 확인하고,
    상기 미리 정의된 시간 내에 상기 제2 통신 채널 생성 메시지가 수신되지 않는 경우 상기 통신 연결을 종료하도록 상기 통신 회로를 제어하는 것을 포함하는 전자 장치.
  5. 제 1 항에 있어서,
    카메라 모듈을 더 포함하고,
    상기 컨텐츠는 상기 카메라 모듈의 구동에 따라 출력되는 프리뷰 영상을 포함하며,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 프리뷰 영상과 관련된 상기 전자 장치의 상태 정보를 기반으로 상기 프리뷰 영상에 대한 카메라 기능을 수행하도록 상기 카메라 모듈을 제어하고,
    상기 카메라 기능에 의해 처리된 프리뷰 영상을 피드백 정보로서 출력하는 것을 포함하는 전자 장치.
  6. 제 5 항에 있어서,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 컨텐츠와 관련하여 상기 외부 전자 장치에서 수신된 입력 정보를 상기 외부 전자 장치로부터 상기 제2 통신 채널을 통해 수신하고,
    상기 입력 정보는 상기 프리뷰 영상 중 특정 영역에 대한 상기 외부 전자 장치의 사용자의 입력 정보를 포함하고,
    상기 카메라 기능은 상기 특정 영역을 기준으로 상기 프리뷰 영상의 초점을 조절하는 기능 또는 상기 특정 영역에 대해 상기 프리뷰 영상의 아웃 포커스를 조절하는 기능 중 적어도 하나를 포함하는 것을 포함하는 전자 장치.
  7. 제 1 항에 있어서,
    상기 외부 전자 장치에 상기 컨텐츠가 표시되지 않은 상태는 상기 외부 전자 장치의 상기 컨텐츠를 출력하는 화면이 오프되는 상태, 또는 상기 외부 전자 장치의 컨텐츠를 출력하는 화면이 상기 컨텐츠를 포함하지 않는 화면으로 전환되는 상태를 포함하며,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 외부 전자 장치에 상기 컨텐츠가 표시되지 않은 상태를 포함하는 상기 상태 정보를 상기 외부 전자 장치로부터 수신하는 것에 기반하여, 상기 컨텐츠를 상기 외부 전자 장치에서 다시 출력하기 위한 활성화 아이콘을 상기 외부 전자 장치에서 출력하도록 요청하는 신호를 상기 외부 전자 장치로 전송하는 것을 포함하는 전자 장치.
  8. 제 1 항에 있어서,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 제1 통신 채널 및 상기 제2 통신 채널을 동시에 연결할 수 없다는 정보를 수신하는 경우 상기 제1 통신 채널을 종료하도록 상기 통신 회로를 제어하는 것을 포함하는 전자 장치.
  9. 제 8 항에 있어서,
    오디오 회로를 더 포함하고,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 제1 통신 채널을 종료하는 경우 상기 전자 장치에서 수집되는 음성 신호를 상기 제2 통신 채널을 이용하여 상기 외부 전자 장치로 전송하고, 상기 제2 통신 채널을 통해 상기 외부 전자 장치로부터 수신되는 음성 신호를 출력하도록 상기 오디오 회로 및 상기 통신 회로를 제어하는 것을 포함하는 전자 장치.
  10. 제 1 항에 있어서,
    상기 외부 전자 장치의 상태 정보는,
    상기 외부 전자 장치에서 출력되는 상기 컨텐츠에 대한 사용자의 인터렉션 입력에 대한 정보를 더 포함하는 것을 특징으로 하는 전자 장치.
  11. 전자 장치에 있어서,
    유저 인터페이스를 표시하는 디스플레이;
    외부 전자 장치와의 음성 통신을 위한 채널을 포함하는 제1 통신 채널 또는 상기 외부 전자 장치와 컨텐츠를 공유하기 위한 채널을 포함하는 제2 통신 채널 중 적어도 하나를 통해 상기 전자 장치를 상기 외부 전자 장치와 연결하도록 구성된 통신 회로;
    인스트럭션들(instructions)을 저장하는 메모리; 및
    상기 디스플레이, 상기 통신 회로, 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 제1 통신 채널을 통해 상기 외부 전자 장치와 통신 연결을 수립하고,
    제1 통신 채널을 이용하여 상기 외부 전자 장치와의 음성 통신을 수행하는 동안 상기 제2 통신 채널을 통해 상기 외부 전자 장치로부터 컨텐츠를 수신하고,
    상기 컨텐츠를 상기 유저 인터페이스를 통해 출력하도록 상기 디스플레이를 제어하고,
    상기 출력된 컨텐츠와 관련하여 상기 전자 장치의 상태 정보를 상기 제2 통신 채널을 이용하여 상기 외부 전자 장치로 전송하고, 및
    상기 디스플레이에 상기 컨텐츠가 표시되지 않은 상태에 대한 정보를 포함하는 상기 상태 정보를 상기 외부 전자 장치로 전송한 경우, 상기 컨텐츠를 상기 디스플레이에 출력하도록 요청하는 신호를 상기 제1 통신 채널을 통해 상기 외부 전자 장치로부터 수신하고, 상기 전자 장치의 사용자가 상기 컨텐츠를 미 인식하는 상태에 대한 정보를 포함하는 상기 상태 정보를 상기 외부 전자 장치로 전송한 경우, 상기 컨텐츠를 인식하도록 요청하는 신호를 상기 제1 통신 채널을 통해 상기 외부 전자 장치로부터 수신하는 전자 장치.
  12. 제 11 항에 있어서,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 제2 통신 채널을 형성하기 위한 상기 외부 전자 장치의 요청을 서버를 통해 수신하고,
    상기 서버를 통해 형성되는 상기 제2 통신 채널을 통해 상기 외부 전자 장치와 직접적으로 통신 연결을 수립하도록 상기 통신 회로를 제어하는 것을 특징으로 하는 전자 장치.
  13. 제 11 항에 있어서,
    상기 디스플레이에 상기 컨텐츠가 표시되지 않은 상태는, 상기 전자 장치에서 상기 컨텐츠를 포함하는 화면이 오프되는 상태, 또는 상기 전자 장치에서 상기 컨텐츠를 포함하는 화면이 상기 컨텐츠를 포함하지 않는 화면으로 전환되는 상태를 포함하는 전자 장치.
  14. 제 13 항에 있어서,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 전자 장치에서 상기 컨텐츠를 포함하는 화면이 상기 컨텐츠를 포함하지 않는 화면으로 전환되는 경우, 상기 컨텐츠를 상기 전자 장치에서 다시 출력할 수 있는 활성화 아이템을 상기 전환된 컨텐츠를 포함하지 않는 화면에 표시하고,
    상기 활성화 아이템에 대한 사용자 선택 입력에 응답하여 상기 전환된 컨텐츠를 포함하지 않는 화면을 상기 컨텐츠를 포함하는 화면으로 다시 전환하여 표시하도록 상기 디스플레이를 제어하는 것을 포함하는 전자 장치.
  15. 제 11 항에 있어서,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 디스플레이 또는 센서 회로를 통해 상기 전자 장치의 사용자의 얼굴이 상기 전자 장치에 접촉되는지를 감지하고,
    상기 전자 장치의 사용자의 얼굴이 상기 전자 장치에 접촉되는 경우, 상기 전자 장치의 사용자가 상기 컨텐츠를 미 인식하는 상태로 확인하고, 상기 컨텐츠를 미 인식하는 상태에 대한 정보를 포함하는 상기 전자 장치의 상태 정보를 상기 외부 전자 장치에 전송하는 것을 포함하는 전자 장치.
  16. 제 11 항에 있어서,
    상기 컨텐츠는 상기 외부 전자 장치의 카메라 모듈의 구동에 따라 출력되는 프리뷰 영상을 포함하며,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 프리뷰 영상과 관련된 상기 전자 장치의 사용자의 인터렉션 입력에 대한 정보를 포함하는 상기 전자 장치의 상태 정보를 상기 외부 전자 장치에 전송하고,
    상기 전자 장치의 상태 정보를 기반으로 상기 카메라 모듈의 기능에 의해 처리된 프리뷰 영상을 상기 외부 전자 장치로부터 수신하는 것을 포함하는 전자 장치.
  17. 제 11 항에 있어서,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 컨텐츠 중 적어도 일부 영역에 대한 상기 전자 장치의 사용자의 시선 정보를 수신하고,
    상기 적어도 일부 영역에 대한 상기 전자 장치의 사용자의 시선 정보를 포함하는 상기 전자 장치의 상태 정보를 상기 외부 전자 장치에 전송하는 것을 포함하는 전자 장치.
  18. 제 11 항에 있어서,
    오디오 회로를 더 포함하고,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 제1 통신 채널이 종료되는 경우, 상기 전자 장치에서 수집되는 음성 신호를 상기 제2 통신 채널을 이용하여 상기 외부 전자 장치로 전송하도록 상기 통신 회로를 제어하고,
    상기 제2 통신 채널을 통해 상기 외부 전자 장치로부터 수신되는 음성 신호를 출력하도록 상기 오디오 회로 및 상기 통신 회로를 제어하는 것을 포함하는 전자 장치.
  19. 전자 장치에 있어서,
    제1 외부 전자 장치와 제2 외부 전자 장치간 컨텐츠를 공유하기 위한 통신 채널을 형성하도록 구성된 통신 회로;
    인스트럭션들(instructions)을 저장하는 메모리; 및
    상기 통신 회로 및 상기 메모리와 전기적으로 연결된 프로세서를 포함하고,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치가 음성 통신을 수행하는 동안 상기 통신 회로를 통해 상기 제1 외부 전자 장치로부터 컨텐츠를 수신하고,
    상기 통신 회로를 이용하여 상기 제2 외부 전자 장치에 상기 수신된 컨텐츠를 전송하고,
    상기 통신 회로를 통해 상기 제2 외부 전자 장치로부터 상기 제2 외부 전자 장치의 컨텐츠와 관련하여 상기 제2 외부 전자 장치의 상태 정보를 수신하고,
    상기 통신 회로를 이용하여 상기 제2 외부 전자 장치의 상태 정보를 상기 제1 외부 전자 장치에 전송하고,
    상기 통신 회로를 이용하여 상기 컨텐츠가 표시되지 않은 상태에 대한 정보를 포함하는 상기 제2 외부 전자 장치의 상태 정보를 상기 제1 외부 전자 장치에 전송한 경우, 상기 제1 외부 전자 장치로부터 수신한 상기 컨텐츠를 상기 제2 외부 전자 장치의 디스플레이에 출력하도록 요청하는 신호를 상기 제2 외부 전자 장치에 전송하고, 및
    상기 통신 회로를 이용하여 상기 제2 외부 전자 장치의 사용자가 상기 컨텐츠를 미 인식하는 상태에 대한 정보를 포함하는 상기 제2 외부 전자 장치의 상태 정보를 상기 제1 외부 전자 장치에 전송한 경우, 상기 제1 외부 전자 장치로부터 수신한 상기 컨텐츠를 인식하도록 요청하는 신호를 상기 제2 외부 전자 장치에 전송하는 전자 장치.
  20. 제 19 항에 있어서,
    상기 인스트럭션들은, 실행 시에, 상기 프로세서가,
    상기 제1 외부 전자 장치로부터 상기 통신 채널의 형성과 관련된 요청을 수신하고,
    상기 통신 채널의 형성과 관련된 요청을 상기 제2 외부 전자 장치에 전달하고,
    상기 요청에 응답하여 상기 제2 외부 전자 장치로부터 수신된 확인 메시지를 상기 제1 외부 전자 장치에 전달하고,
    상기 통신 채널을 형성하고,
    상기 통신 채널과 관련된 상기 제1 외부 전자 장치 및 상기 제2 외부 전자 장치 중 적어도 하나의 인증을 수행하도록 하는 것을 포함하는 전자 장치.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
KR1020150114130A 2015-08-12 2015-08-12 전자 장치 및 전자 장치의 정보 공유 방법 KR102360067B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150114130A KR102360067B1 (ko) 2015-08-12 2015-08-12 전자 장치 및 전자 장치의 정보 공유 방법
US15/234,505 US10082998B2 (en) 2015-08-12 2016-08-11 Electronic device and information sharing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150114130A KR102360067B1 (ko) 2015-08-12 2015-08-12 전자 장치 및 전자 장치의 정보 공유 방법

Publications (2)

Publication Number Publication Date
KR20170019816A KR20170019816A (ko) 2017-02-22
KR102360067B1 true KR102360067B1 (ko) 2022-02-07

Family

ID=57994220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150114130A KR102360067B1 (ko) 2015-08-12 2015-08-12 전자 장치 및 전자 장치의 정보 공유 방법

Country Status (2)

Country Link
US (1) US10082998B2 (ko)
KR (1) KR102360067B1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380573B2 (en) 2008-09-30 2019-08-13 Apple Inc. Peer-to-peer financial transaction devices and methods
US20100078472A1 (en) 2008-09-30 2010-04-01 Apple Inc. Group peer-to-peer financial transactions
KR102412283B1 (ko) * 2016-02-17 2022-06-23 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 공유 제어 방법
JP6597435B2 (ja) * 2016-03-23 2019-10-30 コニカミノルタ株式会社 画面表示システム、画面表示方法、画像処理装置及び画面表示プログラム
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
US20180068313A1 (en) 2016-09-06 2018-03-08 Apple Inc. User interfaces for stored-value accounts
US11221744B2 (en) 2017-05-16 2022-01-11 Apple Inc. User interfaces for peer-to-peer transfers
CN111490926B (zh) 2017-05-16 2022-01-21 苹果公司 用于操作电子设备的方法、计算机可读存储介质以及电子设备
USD890774S1 (en) * 2018-02-22 2020-07-21 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
KR102472010B1 (ko) * 2018-05-04 2022-11-30 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
CN112997143A (zh) * 2018-05-07 2021-06-18 谷歌有限责任公司 提供用于控制连接设备的复合图形助理界面的方法、系统和装置
US11100498B2 (en) 2018-06-03 2021-08-24 Apple Inc. User interfaces for transfer accounts
CN112561537A (zh) 2018-06-03 2021-03-26 苹果公司 用于转账账户的用户界面
USD894926S1 (en) * 2018-10-04 2020-09-01 Facebook, Inc. Display screen with a graphical user interface
KR102652361B1 (ko) 2019-02-08 2024-03-29 삼성전자주식회사 콘텐트 공유 방법 및 그 전자 장치
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
USD937285S1 (en) * 2019-05-10 2021-11-30 Huawei Technologies Co., Ltd. Display screen or portion thereof with graphical user interface
KR20220014519A (ko) 2020-07-29 2022-02-07 삼성전자주식회사 외부 장치들이 출력하는 컨텐츠의 출력 시점을 동기화하는 전자 장치 및 전자 장치의 동작 방법
CN114500725B (zh) * 2020-11-13 2023-06-27 华为技术有限公司 目标内容传输方法、主设备、从设备和存储介质
CN114911603A (zh) * 2021-02-09 2022-08-16 华为技术有限公司 分布式设备能力虚拟化方法、介质和电子设备
US20220263656A1 (en) * 2021-02-18 2022-08-18 Spideroak, Inc. Secure orbit communication
KR20220149803A (ko) * 2021-04-23 2022-11-08 삼성전자주식회사 정보를 공유하기 위한 전자 장치 및 그 동작 방법
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11784956B2 (en) 2021-09-20 2023-10-10 Apple Inc. Requests to add assets to an asset account

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110275391A1 (en) * 2010-05-07 2011-11-10 Lg Electronics Inc. Mobile terminal and controlling method thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010081872A (ko) * 2000-02-19 2001-08-29 김지윤 무선 단말기의 음성 통화방법 및 이를 제공하는 방법
JP4543513B2 (ja) 2000-07-17 2010-09-15 ソニー株式会社 双方向通信システム、表示装置、ベース装置および双方向通信方法
KR20040083241A (ko) 2003-03-21 2004-10-01 주식회사 인터윈도 모바일 인터넷을 이용한 보험 서비스 시스템 및 방법
KR20050051408A (ko) * 2003-11-27 2005-06-01 에스케이텔레텍주식회사 얼굴 접촉을 감지하여 입력부와 마이크를 동작시키는이동통신단말기
KR101624528B1 (ko) * 2009-12-02 2016-06-07 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101306802B1 (ko) * 2012-01-31 2013-09-10 (주)제이이모바일 이동통신단말기를 이용한 통화중 콘텐츠 공유방법
TWI528266B (zh) * 2013-05-16 2016-04-01 緯創資通股份有限公司 電子裝置及螢幕內容分享方法
KR102169522B1 (ko) * 2013-07-08 2020-10-23 삼성전자 주식회사 모바일장치의 다중화면표시 방법 및 다중화면표시가 가능한 모바일장치
US9532221B2 (en) * 2014-11-18 2016-12-27 Motorola Mobility Llc Communicating credentials and content between multiple mobile electronic devices located within content sharing geographical area

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110275391A1 (en) * 2010-05-07 2011-11-10 Lg Electronics Inc. Mobile terminal and controlling method thereof

Also Published As

Publication number Publication date
US10082998B2 (en) 2018-09-25
KR20170019816A (ko) 2017-02-22
US20170046111A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
KR102360067B1 (ko) 전자 장치 및 전자 장치의 정보 공유 방법
KR102422353B1 (ko) 스크린 미러링 서비스 제공장치 및 방법
US11113552B2 (en) Electronic device and method for displaying image for iris recognition in electronic device
KR102344045B1 (ko) 화면을 표시하는 전자 장치 및 그 제어 방법
KR102532366B1 (ko) 무선 충전을 수행하는 전자 장치 및 방법
KR102451469B1 (ko) 외부 전자 장치를 제어하기 위한 방법 및 전자 장치
KR102360453B1 (ko) 카메라 설정 방법 및 장치
KR102489876B1 (ko) 알림을 제공하기 위한 방법 및 그 전자 장치
KR102553886B1 (ko) 전자 장치 및 전자 장치의 이미지 제어 방법
KR102264806B1 (ko) 스크린 미러링 서비스 제공방법 및 장치
KR102412283B1 (ko) 전자 장치 및 전자 장치의 영상 공유 제어 방법
KR102324074B1 (ko) 사운드 출력 제어 방법 및 전자 장치
KR102329821B1 (ko) 개인 인증 전자 장치 및 방법
KR20160120551A (ko) 전자 장치들의 연동 방법 및 장치
KR102399764B1 (ko) 전자 장치 및 촬영 방법
KR20160054840A (ko) 정보를 공유하기 위한 가상 환경
US10943404B2 (en) Content output method and electronic device for supporting same
KR20170097835A (ko) 스마트 홈 시스템에서 스마트 홈 장치를 등록하기 위한 전자 장치 및 방법
KR102371683B1 (ko) 컨텐츠 공유 방법 및 이를 지원하는 전자 장치
KR102458444B1 (ko) 전자 장치 및 그 동작 방법
KR20170110469A (ko) 영상 통화를 제공하기 위한 방법 및 이를 위한 전자 장치
KR102366289B1 (ko) 디스플레이 제어 방법 및 그 전자 장치
KR102477580B1 (ko) 전자 장치 및 그의 동작 방법
KR102483836B1 (ko) 전자 장치 및 그의 동작 방법
KR102451405B1 (ko) 복수의 디스플레이들을 갖는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant