WO2022186578A1 - 외부 전자 장치와 인터랙션하는 전자 장치 및 그의 인터랙션 방법 - Google Patents

외부 전자 장치와 인터랙션하는 전자 장치 및 그의 인터랙션 방법 Download PDF

Info

Publication number
WO2022186578A1
WO2022186578A1 PCT/KR2022/002883 KR2022002883W WO2022186578A1 WO 2022186578 A1 WO2022186578 A1 WO 2022186578A1 KR 2022002883 W KR2022002883 W KR 2022002883W WO 2022186578 A1 WO2022186578 A1 WO 2022186578A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
screen
connection mode
displayed
task
Prior art date
Application number
PCT/KR2022/002883
Other languages
English (en)
French (fr)
Inventor
서호영
박용기
안지현
하다윤
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022186578A1 publication Critical patent/WO2022186578A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H04M1/72502—Cordless telephones with one base station connected to a single line
    • H04M1/72505—Radio link set-up procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface

Definitions

  • This document relates to an electronic device and an interaction method thereof, and more particularly, to an electronic device interacting with an external electronic device and an interaction method thereof.
  • Electronic devices may be implemented in various types (eg, smart phones, mobile terminals, tablets, and wearable devices (eg, smart watches, smart glasses)) to interact with each other.
  • types eg, smart phones, mobile terminals, tablets, and wearable devices (eg, smart watches, smart glasses) to interact with each other.
  • a smart watch may operate independently or as a peripheral device that interworks with a smart phone. Since the smart watch can be worn on the human body, the user's biometric information (eg, heart rate, body temperature) can be acquired from time to time, and a signal can also be sent to the user in an intuitive way (eg, haptic output such as vibration). Since a smart watch has a wrist watch shape, it may have a relatively small screen compared to a smart phone. By interworking with the screen of the smart phone, the input/output environment of the smart watch can be improved.
  • biometric information eg, heart rate, body temperature
  • a signal can also be sent to the user in an intuitive way (eg, haptic output such as vibration).
  • a smart watch has a wrist watch shape, it may have a relatively small screen compared to a smart phone. By interworking with the screen of the smart phone, the input/output environment of the smart watch can be improved.
  • a user interface change that is inconsistent or causes user inconvenience may occur depending on the type of each electronic device or the type of shared data.
  • an operation scenario in which a user using a smart phone temporarily uses his/her smart watch as a peripheral device of the smart phone while continuing a screen viewed on the smart phone or a task being performed may be considered.
  • an operation scenario in which the screen of the smart watch is converted into a smart phone having a relatively large screen size and processed may be considered.
  • Another object of the present disclosure is to provide an electronic device capable of improving usability and convenience by providing a consistent user interface regardless of the type of each electronic device during an interaction operation between electronic devices, and an interaction method thereof.
  • Another object of the present disclosure is to provide an electronic device capable of supporting unidirectional as well as continuous bidirectional processing during an interaction operation, and an interaction method thereof.
  • Another object of the present disclosure is to provide an electronic device capable of implementing various user-centered operation scenarios regardless of the type of each electronic device or the type of shared data, and an interaction method thereof.
  • the first electronic device may include a wireless communication circuit, a display, at least one processor, and a memory.
  • the memory may be connected to the wireless communication circuitry, the display, and the at least one processor.
  • the memory when executed, is configured to perform a device connection mode based on the at least one processor connecting a short-range wireless communication with a second electronic device through the wireless communication circuit, and the proximity of the second electronic device within a threshold distance a visual element indicating that the user can use is displayed through the display, the device connection mode is activated according to a user input for the visual element, Instructions for transmitting sharing information related to at least a part of one screen to the second electronic device may be stored.
  • the second electronic device may include a wireless communication circuit, a display, at least one processor, and a memory.
  • the memory may be connected to the wireless communication circuitry, the display, and the at least one processor.
  • the memory When executed, the memory is configured to perform a device connection mode based on the at least one processor connecting short-range wireless communication with a first electronic device through the wireless communication circuit, and the proximity of the first electronic device within a threshold distance.
  • a visual element indicating that the user can be used is displayed through the display, the device connection mode is activated according to a user input for the visual element, and in the device connection mode, the device is connected to the first electronic device through the short-range wireless communication.
  • An interaction method of a first electronic device represents an operation of connecting a short-range wireless communication with a second electronic device, indicating that a device connection mode can be used based on the proximity of the second electronic device within a threshold distance
  • An interaction method of a second electronic device includes an operation of connecting a short-range wireless communication with a first electronic device, indicating that a device connection mode can be used based on the proximity of the first electronic device within a threshold distance Displaying a visual element, activating the device connection mode according to a user input for the visual element, in the device connection mode, through the short-range wireless communication,
  • the method may include receiving shared information related to at least a portion, and displaying a second screen corresponding to at least a portion of the first screen based on the shared information.
  • a user may intuitively recognize that an interaction between electronic devices is possible and support to easily use a corresponding function.
  • various user-centered operation scenarios may be implemented regardless of the type of each electronic device or the type of shared data.
  • FIG. 1 is a block diagram of an electronic device according to an exemplary embodiment.
  • FIG. 2 is a flowchart illustrating an interaction method between electronic devices according to an exemplary embodiment.
  • 3A is a flowchart illustrating an interaction method of an electronic device according to an exemplary embodiment.
  • 3B is a flowchart illustrating an interaction method of an electronic device according to another exemplary embodiment.
  • 4A is an example of a visual element applicable to an electronic device according to an exemplary embodiment.
  • 4B is various examples of visual elements applicable to an electronic device according to an exemplary embodiment.
  • 5A is an example of a user interface for interaction between electronic devices according to an embodiment.
  • 5B is another example of a user interface for interaction between electronic devices according to an embodiment.
  • 6A is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 6B is another example of a user interface for interaction between electronic devices according to another embodiment.
  • 7A is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 7B is another example of a user interface for interaction between electronic devices according to another embodiment.
  • 8A is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 8B is another example of a user interface for interaction between electronic devices according to another embodiment.
  • 9A is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 9B is another example of a user interface for interaction between electronic devices according to another embodiment.
  • FIG. 10 is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 11A is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 11B is another example of a user interface for interaction between electronic devices according to another embodiment.
  • 12A is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 12B is another example of a user interface for interaction between electronic devices according to another embodiment.
  • 12C is another example of a user interface for interaction between electronic devices according to another embodiment.
  • 13A is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 13B is another example of a user interface for interaction between electronic devices according to another embodiment.
  • 13C is another example of a user interface for interaction between electronic devices according to another embodiment.
  • 13D is a diagram illustrating a structure of a user interface for interaction between electronic devices according to another embodiment.
  • 15A is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 15B is another example of a user interface for interaction between electronic devices according to another embodiment.
  • 16A is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 16B is another example of a user interface for interaction between electronic devices according to another embodiment.
  • 17A is an example of a user interface for interaction between electronic devices according to another embodiment.
  • 17B is another example of a user interface for interaction between electronic devices according to another embodiment.
  • FIG. 18 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device according to an exemplary embodiment.
  • the electronic device may be the first electronic device 110 or the second electronic device 120 .
  • the first electronic device 110 and the second electronic device 120 may interact with each other.
  • the second electronic device 120 may be configured the same as or similar to the first electronic device 110 .
  • the second electronic device 120 may be the same as or different from the first electronic device 110 .
  • the first electronic device 110 may be either a smart phone type or a smart watch type, and the second electronic device 120 may be the other one of a smart phone type or a smart watch type.
  • the second electronic device 120 may be an external electronic device of the first electronic device 110 .
  • the first electronic device 110 may be an external electronic device of the second electronic device 120 .
  • a first electronic device 110 may include a display 111 , a processor 113 , a memory 115 , and a wireless communication circuit 117 .
  • the display 111 , the processor 113 , the memory 115 , and the wireless communication circuit 117 included in the first electronic device 110 are electrically and/or operatively connected to each other to transmit signals (eg, commands) to each other. or data).
  • the first electronic device 110 may include at least a part of the first electronic device 1801 illustrated in FIG. 18 .
  • the display 111 may be the display module 1860 of FIG. 18 .
  • the processor 113 may be the processor 1820 or 1823 of FIG. 18 .
  • the memory 115 may include at least a portion of the memory 1830 of FIG. 18 .
  • the wireless communication circuit 117 may be the wireless communication module 1890 of FIG. 18 .
  • the processor 113 may include at least one processor.
  • the processor 113 may include at least one of an application processor (AP) (eg, a main processor 1821 ) and a communication processor (CP) (eg, an auxiliary processor 1823 ).
  • AP application processor
  • CP communication processor
  • the processor 113 may execute and/or control various functions supported by the first electronic device 110 .
  • the processor 113 may control the display 111 , the memory 115 , and/or the wireless communication circuit 117 .
  • the processor 113 may execute an application by executing a code written in a programming language stored in the memory 115 of the first electronic device 110 , and may control various hardware.
  • the processor 113 may execute an application to execute a task set (one or more tasks) of the application on an application execution screen or provide various functions supported by the application.
  • an operation of the processor 113 may be performed.
  • the processor 113 may control the display 111 .
  • the screen of the first electronic device 110 may be displayed through the display 111 .
  • the wireless communication circuit 117 may support short-range wireless communication (eg, Bluetooth, Wi-Fi direct, and Bluetooth low energy (BLE)).
  • short-range wireless communication eg, Bluetooth, Wi-Fi direct, and Bluetooth low energy (BLE)
  • BLE Bluetooth low energy
  • the processor 113 may connect short-range wireless communication with the second electronic device 120 through the wireless communication circuit 117 .
  • the processor 113 may display, on the display 111 , a first visual element indicating that the device connection mode can be used based on the proximity of the second electronic device 120 within a threshold distance.
  • the processor 113 may perform a communication between the first electronic device 110 and the second electronic device 120 based on a received signal strength (eg, received signal strength, RSSI) or a difference between the transmitted signal strength and the received signal strength. By measuring the relative distance, it may be determined whether the two electronic devices 110 and 120 are close to each other within a threshold distance.
  • a received signal strength eg, received signal strength, RSSI
  • RSSI received signal strength
  • the threshold distance may be shorter than coverage of short-range wireless communication (eg, Bluetooth, Wi-Fi direct, BLE).
  • the threshold distance is a distance that allows screen sharing between devices, or a user visually sees the screen of the first electronic device 110 (eg, one of a smart phone and a smart watch) and the second electronic device 120 . It may be a distance (eg, 0 to 60 cm) so that the screens of (eg, the other of a smart phone and a smart watch) can be viewed together.
  • a threshold distance eg, 60 cm
  • the second electronic device 120 may be brought closer. As the two electronic devices 110 and 120 approach within a threshold distance, a visual element indicating that the device connection mode is available may appear on the screen of at least one of the two electronic devices 110 and 120 .
  • the visual element may be for providing a visual clue indicating that the use of the device connection mode is available.
  • the first visual element may be referred to as a visual cue.
  • the first visual element may be used to induce the user to intuitively recognize that the use of the device connection mode is possible or to easily enter the device connection mode.
  • the first visual element may be an indicator type.
  • the first visual element may be an icon type.
  • the visual element may include a first icon part indicating that use of the device connection mode is possible and a second icon part indicating information about an application or task to be handed off in the device connection mode.
  • the processor 113 may activate the device connection mode according to a user input for the first visual element.
  • the processor 113 transmits sharing information related to at least a part of the first screen being displayed on the first electronic device 110 to the second electronic device 120 through short-range wireless communication. can be sent to The processor 113 may control the wireless communication circuit 117 to perform a transmission operation of the shared information.
  • At least one device connection function among a task handoff function between devices, a mirror screen function, and a multi-screen function may be provided.
  • the processor 113 of the first electronic device 110 may interact with the second electronic device 120 .
  • the processor 113 may support a device connection function by transmitting sharing information on the first screen being displayed.
  • the processor 123 of the second electronic device 120 may interact with the first electronic device 110 .
  • the processor 123 may execute a device connection function based on the shared information received from the first electronic device 110 .
  • the shared information transmitted from the first electronic device 110 to the second electronic device 120 may be for providing a device connection function according to a device connection mode.
  • the sharing information may be information for displaying a second screen for handing off a task related to the first screen of the first electronic device 110 .
  • the sharing information may be information for displaying a second screen that mirrors at least a portion of the first screen being displayed on the first electronic device 110 .
  • the sharing information may be information for displaying a first screen being displayed on the first electronic device 110 and a second screen forming a multi-screen.
  • the second electronic device 120 may display a second screen based on the shared information received from the first electronic device 110 .
  • the first electronic device 110 may receive input information on the second screen displayed on the second electronic device 120 .
  • the first electronic device 110 (or the display of the first electronic device 110 ) may be maintained in an activated state.
  • both of the first electronic device 110 and the second electronic device 120 (or the display of the second electronic device 120 ) may be maintained in an activated state.
  • the activation state of the electronic devices 110 and 120 may be any one of a normal state of the electronic devices 110 and 120 , a state in use, and an on state of a display in the electronic device 110 , 120 .
  • the inactive state of the electronic devices 110 and 120 is one of an idle state, a sleep state, a low power state, a non-use state, or an off state of a display in the electronic device 110 or 120 of the electronic device 110 or 120 . It can be any one.
  • a case in which only one electronic device that has received a task handoff request is activated and the other electronic device is deactivated may be considered.
  • the smart watch may be deactivated.
  • the screens of the two electronic devices may not be fully utilized, and bidirectional task handoff may not be possible, and thus usability or convenience may deteriorate.
  • the display of the first screen that is the current screen being displayed through the display 111 may be substantially maintained.
  • the display of the first screen, which is the current screen may be substantially maintained in the first electronic device 110 .
  • the second screen of the second electronic device 120 is temporarily used together with the first screen, but regardless of user input or task processing in the second electronic device 120 , the first screen is displayed on the first electronic device 110 .
  • the inconvenience of having to switch the screen viewed on the first electronic device 110 or open a plurality of browsing tabs (or windows) may be improved.
  • the first task is executed in response to a user input on the first screen of the first electronic device 110 in the foreground and the second electronic device 120 in the background
  • the second task may be executed in response to input information received from .
  • the user executes a first task (eg, Internet browsing) using the first screen of the first electronic device 110 , and uses the second screen of the second electronic device 120 to view a second task (eg, receiving text) ) can be executed.
  • a first task eg, Internet browsing
  • a second task eg, receiving text
  • the first screen displayed on the first electronic device 110 may be a screen for executing the first task.
  • the shared information transmitted from the first electronic device 110 to the second electronic device 120 may include information for continuously executing the first task or executing the second task.
  • the second task may be any one of a task inducing screen change, an interworking task of the first task, a subsequent task of the first task, or a sub-task of the first task.
  • the first task and the second task may be different tasks executed using the same application (hereinafter, may also be referred to as an 'app').
  • the same app may refer to substantially the same app (eg, a message app installed on a smart phone and a message app installed on a smart watch), an app of the same type, or an app corresponding to each other.
  • the first task may be a task executed using a first app
  • the second task may be a task executed using a second app different from the first app.
  • the second visual element may be displayed on the first screen being displayed on the first electronic device 110 .
  • sharing information related to at least a portion of the first screen being displayed on the first electronic device 110 may be transmitted to the second electronic device 120 .
  • the processor 113 may display a third visual element for selecting content to share through the display 111 .
  • the processor 113 may transmit the selected content according to a user input for the third visual element to the second electronic device 120 through the wireless communication circuit 117 .
  • the second electronic device 120 may include a display 121 , a processor 123 , a memory 125 , and a wireless communication circuit 127 .
  • the display 121 , the processor 123 , the memory 125 , and the wireless communication circuit 127 which are components of the second electronic device 120 are the display 111 which are components of the first electronic device 110 , respectively.
  • the processor 113 , the memory 115 , and the wireless communication circuit 117 so the description of overlapping functions or operations will be omitted.
  • the processor 123 of the second electronic device 120 may establish short-range wireless communication with the first electronic device 110 through the wireless communication circuit 127 .
  • the processor 123 may display, on the display 111 , a visual element indicating that the device connection mode can be used based on the proximity of the first electronic device 110 within a threshold distance.
  • the threshold distance may be shorter than the coverage of the short-range wireless communication.
  • the processor 123 may activate the device connection mode according to a user input for the first visual element.
  • the processor 123 may receive sharing information related to at least a portion of the first screen being displayed on the first electronic device 110 through short-range wireless communication in the device connection mode.
  • the processor 123 may control the wireless communication circuit 117 to perform a reception operation of the shared information.
  • both of the first electronic device 110 and the second electronic device 120 may be maintained in an activated state while the device connection mode is activated.
  • a mirror screen function in which the screen of the second electronic device 120 mirrors at least a portion of the screen of the first electronic device 110 may be provided while the device connection mode is activated.
  • a multi-screen function in which the screen of the second electronic device 120 interworks with the screen of the first electronic device 110 may be provided while the device connection mode is activated.
  • the processor 123 of the second electronic device 120 receives the sharing information related to at least a part of the first screen being displayed on the first electronic device 110 from the first electronic device 110, A second screen corresponding to the first screen may be displayed on the display 121 based on the received sharing information.
  • the second screen includes a screen mirroring at least a part of the first screen, a split screen related to the first screen, a sub screen related to the first screen, and at least a part of the first screen of the second electronic device 120 . It may be at least one of screens reconstructed based on the type.
  • a task may be executed using the second screen.
  • the processor 123 may display the second visual element on the screen of the second electronic device 120 as the device connection mode is activated.
  • the processor 123 may acquire the sharing information from the first electronic device 110 in response to a user input for the second visual element.
  • the processor 123 may process the task through the second screen displayed on the display 121 .
  • the processor 123 may execute a task in response to a user input on the second screen.
  • the processor 123 may transmit the input information for the second screen to the first electronic device 110 so that the first electronic device 110 executes a task according to the input information.
  • a task handoff function between devices may be provided in the device connection mode.
  • the second screen for handing off a task related to the first screen being displayed on the first electronic device 110 based on the shared information received from the first electronic device 110 is displayed on the second electronic device 120 .
  • ) may be displayed through the display 121 of the .
  • task(s) may be selectively executed through screens of the plurality of electronic devices 110 and 120 operating in the device connection mode.
  • sharing information about the file eg: thumbnails
  • the screen of the second electronic device 120 may be temporarily utilized, and sharing information about a file in the first electronic device 110 may be displayed through the screen.
  • a mirror screen function may be provided in the device connection mode.
  • the processor 123 of the second electronic device 120 mirrors all or part of the first screen being displayed on the first electronic device 110 based on the shared information received from the first electronic device 110 .
  • a second screen may be displayed.
  • the second electronic device 120 performs tasks related to the first screen (eg, an email composing screen) being displayed on the first electronic device 110 based on the shared information received from the first electronic device 110 .
  • a second screen for executing some of them eg, an input field for composing an email and a keyboard display screen
  • the type of the first electronic device 110 and/or the second electronic device 120 may be additionally considered.
  • the first electronic device 110 is a smart watch type, and sharing information related to at least a part of the first screen being displayed on the first electronic device 110 is transmitted to the second electronic device 120 of the smart phone type.
  • the second electronic device 120 reconstructs the second screen based on the type of the second electronic device 120 and sharing information related to at least a part of the first screen received from the first electronic device 110 . can be displayed.
  • the second screen that is the screen of the second electronic device 120 may provide more information and/or functions than the first screen that is the screen of the first electronic device 110 .
  • the second screen shows more content (eg, texts, lists, image thumbnails) than the first screen, or switches the screen (e.g., : It can be provided on one screen without scrolling, switching tabs or windows, entering sub-menu).
  • the user interface associated with the first screen and the user interface associated with the second screen may have different shapes. For example, a user interface displayed in a circular shape on the first screen of the first electronic device 110 that is a smart watch type, and an elongated oval or the entire screen of the smart phone on the second screen of the second electronic device 120 that is a smart phone type It may be displayed as a rectangle corresponding to the screen.
  • the The second electronic device 120 provides a first screen for providing some functions related to the first screen that is the screen of the first electronic device 110 (eg, a collection of tabs opened in a browser app, a keypad in a phone app, and a monthly view in a calendar app). 2 screens can be displayed.
  • a multi-screen function may be provided in the device connection mode.
  • first electronic device 110 and the second electronic device 120 are configured to provide the same task
  • various functions of the same task and the configuration of the user interface are displayed on the screens of the two electronic devices 110 and 120 . It can be provided divided through
  • the first screen being displayed on the first electronic device 110 is the execution screen of the first app and execution of the second app is required
  • the second screen that is the execution screen of the second app is displayed on the second electronic device ( 120) can be displayed.
  • the first screen is an execution screen for a task using the first app, and a handoff of the task is required
  • a second screen for taking over and processing the task may be displayed.
  • a second screen for executing the second task may be displayed.
  • the second electronic device A switched screen (eg, a switched tab or window, or an execution screen of a second app different from the first app running in the first electronic device 110 ) may be displayed through the second screen of 120 .
  • the processor 123 may display a third visual element for selecting content to share through the display 121 .
  • the processor 123 may transmit the content selected according to the user input for the third visual element to the second electronic device 120 through the wireless communication circuit 127 .
  • FIGS. 2, 3A, and 3B At least one of the operations of the illustrated interaction method may be omitted or may be performed by another operating entity. Alternatively, the order of some operations may be changed or other operations may be added. Alternatively, the operations of each embodiment may be selectively combined and performed.
  • FIG. 2 is a flowchart illustrating an interaction method between electronic devices according to an exemplary embodiment.
  • the interaction method between electronic devices may include operations 205 to 250 .
  • the first electronic device 110 may be one of a smart phone and a smart watch.
  • the second electronic device 120 may be the other one of a smart phone and a smart watch.
  • short-range wireless communication eg, Bluetooth, Wi-Fi direct, BLE
  • BLE Wi-Fi direct
  • the first electronic device 110 may display a first screen (eg, an execution screen of a message app).
  • a first screen eg, an execution screen of a message app.
  • the first electronic device 110 may determine whether the device connection mode can be used.
  • the first electronic device 110 may perform a relative relationship between the first electronic device 110 and the second electronic device 120 based on the received signal strength (eg, RSSI) or the difference between the transmitted signal strength and the received signal strength. By measuring the distance, it may be determined whether the two electronic devices 110 and 120 are close to each other within a threshold distance.
  • RSSI received signal strength
  • the threshold distance may be shorter than coverage of short-range wireless communication (eg, Bluetooth, Wi-Fi direct, BLE).
  • short-range wireless communication eg, Bluetooth, Wi-Fi direct, BLE.
  • the threshold distance is a distance that allows screen sharing between devices or a distance that allows one user to see the screen of the first electronic device 110 and the screen of the second electronic device 120 together with the naked eye.
  • Operation 215 may be performed by the second electronic device 120 .
  • operation 215 If it is determined in operation 215 that the device connection mode cannot be used (operations 215 - NO), subsequent operations (operations 220 to 250 ) for using the device connection mode may not be performed. Device connection mode may not be activated.
  • operation 215 If it is determined in operation 215 that the device connection mode can be used (operation 215 - Yes), operations 217, 220 and/or 225 may be performed.
  • the first electronic device 110 may transmit a notification signal indicating that the device connection mode is available to the second electronic device 120 .
  • the second electronic device 120 may transmit a notification signal indicating that the device connection mode is available to the first electronic device 110 .
  • a visual element indicating that the device connection mode can be used may be displayed on at least one side of the first electronic device 110 and the second electronic device 120 .
  • the visual element may be for providing a visual clue indicating that the use of the device connection mode is available.
  • the visual element may be used to induce the user to intuitively recognize that the use of the device connection mode is available or to easily enter the device connection mode.
  • the visual element may be an indicator type.
  • the visual element may be an icon type.
  • the visual element may include a first icon part indicating that use of the device connection mode is possible and a second icon part indicating information about an application or task to be handed off in the device connection mode. The user's next action can be naturally induced by intuitively recognizing that the device connection mode is available and the app/task to be handed off in the device connection mode through the first icon part and the second icon part.
  • a visual element may appear on a first screen (eg, a message application execution screen) being displayed on the first electronic device 110 .
  • the second electronic device 120 that is not using a screen is switched from an inactive state to an active state, and a second visual element appears on the second screen (eg, home screen, lock screen) of the second electronic device 120 .
  • visual elements may appear on both sides of a first screen (eg, a message application execution screen) of the first electronic device 110 and a second screen (eg, a home screen, a lock screen) of the second electronic device 120 .
  • Operations 230 and 235 may be for determining whether a user is authenticated.
  • the second electronic device 120 may determine whether user authentication of the second electronic device 120 is required. For example, when the user is logged into his/her account in the second electronic device 120 , it may be determined that user authentication is unnecessary. When the user does not log in to his/her account in the second electronic device 120 , it may be determined that user authentication is required.
  • operation 235 may be performed.
  • the first electronic device 110 may determine whether the user is authenticated by the first electronic device 110 . For example, when the user logs into his/her account in the first electronic device 110 , it may be determined that the user authentication of the first electronic device 110 is performed. When the user does not log in to his/her account in the first electronic device 110 , it may be determined that user authentication is not performed.
  • the user authentication operation in operation 230 and/or operation 235 may be omitted or modified according to an embodiment. Alternatively, the order of the operations may be reversed. As an example, one or more of operations 230 and 235 may be omitted. As another example, at least one side of the first electronic device 110 and the second electronic device 120 may determine whether the user is authenticated or request the user authentication. As another example, the first electronic device 110 may first check whether the user is authenticated, and if the user authentication is not performed, it may check whether the user is authenticated in the second electronic device 120 .
  • operation 240 When user authentication is performed on at least one side of the first electronic device 110 or the second electronic device 120 (operation 230 - No, operation 235 - Yes), operation 240 may be performed. In operation 240, a device connection mode may be activated.
  • the device connection mode may not be activated.
  • a device connection mode may be activated.
  • operations 240 and 250 may be performed.
  • the first electronic device 110 may transmit sharing information related to at least a portion of the first screen to the second electronic device 120 for device connection with the second electronic device 120 .
  • the second electronic device 120 may receive the sharing information for device connection.
  • the second visual element may be displayed on the first screen being displayed on the first electronic device 110 .
  • sharing information related to at least a portion of the first screen being displayed on the first electronic device 110 may be transmitted to the second electronic device 120 .
  • the shared information transmitted from the first electronic device 110 to the second electronic device 120 displays a second screen for handing off a task related to the first screen being displayed in the first electronic device 110 .
  • the sharing information may be information for displaying a second screen that mirrors at least a portion of the first screen being displayed on the first electronic device 110 .
  • the sharing information may be information for displaying a first screen being displayed on the first electronic device 110 and a second screen forming a multi-screen.
  • the second electronic device 120 may display a second screen corresponding to the first screen based on the shared information received from the first electronic device 110 .
  • the second screen includes a screen mirroring at least a portion of the first screen, a split screen related to the first screen, a sub screen related to the first screen, and at least a portion of the first screen of the second electronic device. It may be at least one of screens reconstructed based on the type.
  • a device connection function between the first electronic device 110 and the second electronic device 120 may be executed.
  • the device connection function executable in the device connection mode may be at least one of a task handoff function between devices, a mirror screen function, or a multi-screen function.
  • the second electronic device 120 may display a second screen corresponding to the first screen based on sharing information related to at least a part of the first screen received from the first electronic device 110 . have.
  • a task may be executed using the second screen.
  • the second electronic device 120 may execute a task in response to a user input for the second screen.
  • the second electronic device 120 may transmit the input information on the second screen to the first electronic device 110 so that the first electronic device 110 executes a task according to the input information. .
  • the first electronic device 110 may be maintained in an activated state. Both the first electronic device 110 and the second electronic device 120 may be maintained in an activated state while the device connection mode is activated.
  • the display of the first screen being displayed on the display 111 may be maintained substantially the same (eg, screen switching). keep the first screen without, keep the main view in the first screen, keep more than 90% of the screen the same).
  • the first task is executed using the first screen of the first electronic device 110 and the second task is performed using the second screen of the second electronic device 120 .
  • the first electronic device 110 may receive input information on the second screen from the second electronic device 120 , and execute a task using the received input information. While the device connection mode is activated, the first task is executed in response to a user input on the first screen of the first electronic device 110 in the foreground, and input information received from the second electronic device 120 in the background In response, the second task may be executed.
  • the first screen displayed on the first electronic device 110 may be a screen for executing a first task (eg, Internet browsing).
  • the shared information transmitted from the first electronic device 110 to the second electronic device 120 is information for successively executing the first task (eg, Internet browsing) or executing a second task (eg, viewing received text) may include.
  • the second task may be any one of a task inducing screen change, an interworking task of the first task, a subsequent task of the first task, or a sub-task of the first task.
  • the first task and the second task may be different tasks executed using the same app.
  • the first task may be a task executed using a first app
  • the second task may be a task executed using a second app different from the first app.
  • the same or heterogeneous electronic devices may interact.
  • the first electronic device 110 may be configured as a smart phone type
  • the second electronic device 120 may be configured as a smart watch type to interact with each other.
  • both the first electronic device 110 and the second electronic device 120 are configured as a smart phone type, the two smart phones may interact with each other.
  • the device connection mode or device connection function may be implemented in various ways.
  • a visual element indicating that the device connection mode can be used is displayed in all of the plurality of electronic devices (eg, the first electronic device 110 and the second electronic device 120 ) can be
  • the visual element is displayed on one side (eg, the first electronic device 110 ) among the plurality of electronic devices, and a device connection mode is activated in all of the plurality of electronic devices according to a user input for the visual element. (or triggered).
  • one electronic device responds to a user input for the visual element without user manipulation of the other electronic device (eg, the second electronic device 120 ) in the device connection mode can be activated.
  • one side electronic device eg, the first electronic device 110
  • a visual element may appear indicating that device connection mode is available for use only.
  • the visual element may appear on the other electronic device (eg, the second electronic device 120 ) approaching the one electronic device (eg, the first electronic device 110 ) currently being used.
  • the number of first electronic devices that operate in a device connection mode and interact with each other is exemplified as two, but an embodiment in which two or more first electronic devices are extended may be possible.
  • 3A is a flowchart illustrating an interaction method of an electronic device according to an exemplary embodiment.
  • the interaction method of FIG. 3A is performed by the processor 113 of the first electronic device 110 .
  • Some of the operations of the interaction method illustrated in FIG. 3A may be omitted, the order of some operations may be changed, or other operations may be added.
  • Some of the operations of the interaction method illustrated in FIG. 3A may be performed by another operating entity (eg, the second electronic device 120 or the processor 123 of the second electronic device 120 ). At least one of the operations of the interaction method illustrated in FIG. 3A may correspond to the operation of FIG. 2 .
  • an interaction method of an electronic device may include operations 310 to 340 .
  • the processor 113 of the first electronic device 110 connects a short-range wireless communication (eg, Bluetooth, Wi-Fi direct, BLE) with the second electronic device 120 through the wireless communication circuit 117 .
  • a short-range wireless communication eg, Bluetooth, Wi-Fi direct, BLE
  • Operation 310 may correspond to operation 205 of FIG. 2 .
  • the processor 113 displays, through the display 111 of the first electronic device 110 , a visual element indicating that the use of the device connection mode is possible based on the proximity of the second electronic device 120 within a threshold distance. can be displayed Based on the proximity between the first electronic device 110 and the second electronic device 120 within a threshold distance, a visual element may appear on the first screen being displayed on the first electronic device 110 .
  • Operation 320 may correspond to operation 220 of FIG. 2 .
  • the threshold distance may be shorter than coverage of short-range wireless communication (eg, Bluetooth, Wi-Fi direct, BLE).
  • short-range wireless communication eg, Bluetooth, Wi-Fi direct, BLE.
  • the threshold distance is a distance that allows screen sharing between devices or a distance that allows one user to see the screen of the first electronic device 110 and the screen of the second electronic device 120 together with the naked eye.
  • the visual element may be for providing a visual clue indicating that the use of the device connection mode is available.
  • the visual element may be used to induce the user to intuitively recognize that the use of the device connection mode is available or to easily enter the device connection mode.
  • the visual element may be an indicator type.
  • the visual element may be an icon type.
  • the visual element may include a first icon part indicating that use of the device connection mode is possible and a second icon part indicating information about an application or task to be handed off in the device connection mode.
  • the processor 113 may activate the device connection mode according to a user input for the visual element displayed on the first screen. Operation 330 may correspond to operation 240 of FIG. 2 .
  • the processor 113 transmits, in the device connection mode, sharing information related to at least a portion of the first screen being displayed on the display 111 of the first electronic device 110 through short-range wireless communication to a second electronic device. may be transmitted to the device 120 .
  • Operation 340 may correspond to operation 245 of FIG. 2 .
  • the sharing information includes information for displaying a second screen for handing off a task related to the first screen being displayed on the first electronic device 110 , and displaying a second screen mirroring at least a part of the first screen. It may include at least one of information for displaying a second screen constituting the first screen and the multi-screen.
  • the first screen displayed on the first electronic device 110 may be a screen for executing the first task.
  • the shared information related to at least a part of the first screen transmitted to the second electronic device 120 may include information for continuously executing the first task or executing the second task.
  • the second task may be any one of a task inducing screen change, an interworking task of the first task, a subsequent task of the first task, or a sub-task of the first task.
  • the first task and the second task may be different tasks executed using the same app.
  • the first task may be a task executed using a first app
  • the second task may be a task executed using a second app different from the first app.
  • the processor 113 may support a device connection function between the first electronic device 110 and the second electronic device 120 .
  • a device connection function that can be supported in the device connection mode may be at least one of a task handoff function, a mirror screen function, and a multi-screen function.
  • the first electronic device 110 While the device connection mode is activated, the first electronic device 110 (or the display 111 of the first electronic device 110) may be maintained in an activated state.
  • the display of the first screen being displayed through the display 111 may be maintained substantially the same.
  • the display of the first screen may be maintained until there is a user input to the first electronic device 110 or the first screen that is the current screen.
  • the processor 113 executes the first task in response to a user input for the first screen in the foreground while the device connection mode is activated, and receives the first task from the second electronic device 120 in the background
  • the second task may be executed in response to the input information.
  • the processor 113 may additionally display the second visual element on the first screen being displayed as the device connection mode is activated. In response to a user input for the second visual element, sharing information related to at least a portion of the first screen may be transmitted to the second electronic device 120 .
  • the processor 113 of the first electronic device 110 receives input information on a second screen corresponding to the first screen being displayed from the second electronic device 120 , and the received input information can be used to execute tasks.
  • a first screen eg, a login request screen of a shopping app
  • the first task being performed by the first electronic device 110 eg: user authentication task
  • a second screen eg, a user authentication screen
  • a first task eg, a user authentication task
  • Information eg, authentication success information
  • the processor 113 of the first electronic device 110 may update the displayed first screen to a third screen (eg, a logged-in screen of a shopping app) by reflecting information according to the execution of the first task.
  • the processor 113 of the first electronic device 110 may display a third visual element for selecting content to share through the display 111 .
  • the processor 113 may transmit the content to the second electronic device 120 according to a user input for the third visual element.
  • 3B is a flowchart illustrating an interaction method of an electronic device according to another exemplary embodiment.
  • the method according to the embodiment of FIG. 3B is performed by the processor 123 of the second electronic device 120 .
  • Some of the operations of the interaction method illustrated in FIG. 3B may be omitted, the order of some operations may be changed, or other operations may be added.
  • Some of the operations of the interaction method illustrated in FIG. 3B may be performed by another operating entity (eg, the first electronic device 110 or the processor 113 of the first electronic device 110 ). At least one of the operations of the interaction method illustrated in FIG. 3B may correspond to the operation of FIG. 2 .
  • the electronic device interaction method may include operations 350 to 390 .
  • the processor 123 of the second electronic device 120 connects to the first electronic device 110 through short-range wireless communication (eg, Bluetooth, Wi-Fi direct, BLE) through the wireless communication circuit 127 .
  • short-range wireless communication eg, Bluetooth, Wi-Fi direct, BLE
  • Operation 350 may correspond to operation 205 of FIG. 2 .
  • the processor 123 may display, on the display 121 , a visual element indicating that the device connection mode can be used based on the proximity of the first electronic device 110 within a threshold distance.
  • a visual element may be displayed on the display 121 of the second electronic device 120 based on the proximity between the first electronic device 110 and the second electronic device 120 within a threshold distance.
  • Operation 360 may correspond to operation 225 of FIG. 2 .
  • the threshold distance may be shorter than coverage of short-range wireless communication (eg, Bluetooth, Wi-Fi direct, BLE).
  • short-range wireless communication eg, Bluetooth, Wi-Fi direct, BLE.
  • the threshold distance is a distance that allows screen sharing between devices or a distance that allows one user to see the screen of the first electronic device 110 and the screen of the second electronic device 120 together with the naked eye.
  • the processor 123 may activate a device connection mode according to a user input for a visual element displayed on the display 121 .
  • Operation 370 may correspond to operation 240 of FIG. 2 .
  • the processor 123 may receive sharing information related to at least a part of the first screen being displayed on the first electronic device 110 through short-range wireless communication in the device connection mode. Operation 380 may correspond to operation 245 of FIG. 2 .
  • the processor 123 may additionally display the second visual element on the screen of the display 121 as the device connection mode is activated.
  • the processor 123 may acquire sharing information related to at least a portion of the first screen being displayed on the first electronic device 110 in response to a user input for the second visual element displayed on the display 121 .
  • the sharing information includes information for displaying a second screen for handing off a task related to the first screen being displayed on the first electronic device 110 , and displaying a second screen mirroring at least a part of the first screen. It may include at least one of information for displaying a second screen constituting the first screen and the multi-screen.
  • operation 390 may be performed. Operation 390 may correspond to operation 250 of FIG. 2 .
  • the processor 123 may display a second screen corresponding to the first screen based on sharing information related to at least a part of the first screen received from the first electronic device 110 .
  • the second screen includes a screen mirroring at least a portion of the first screen, a split screen related to the first screen, a sub screen related to the first screen, and at least a portion of the first screen of the second electronic device. It may be at least one of screens reconstructed based on the type.
  • the processor 123 may execute a device connection function between the first electronic device 110 and the second electronic device 120 based on the shared information.
  • the device connection function executable in the device connection mode may be at least one of a task handoff function, a mirror screen function, or a multi-screen function.
  • the first electronic device 110 (or the display 111 of the first electronic device 110) and the second electronic device (or the display 121 of the second electronic device 120) It can remain active.
  • An inter-device task handover function for interacting with the first electronic device 110 and processing a task in the device connection mode may be provided.
  • a mirror screen function in which the screen of the second electronic device 120 mirrors at least a portion of the screen of the first electronic device 110 may be provided.
  • a multi-screen function in which the screen of the second electronic device 120 is interlocked with the screen of the first electronic device 110 may be provided.
  • the processor 123 may process the task through the second screen displayed on the display 121 .
  • the processor 123 may execute a task in response to a user input on the second screen.
  • the processor 123 may transmit the input information for the second screen to the first electronic device 110 so that the first electronic device 110 executes a task according to the input information.
  • the processor 123 of the second electronic device 120 may display a third visual element for selecting content to be shared through the display 121 .
  • the processor 123 may receive the content from the first electronic device 110 according to a user input for the third visual element.
  • FIGS. 4A to 17B various examples of a user interface and/or operation scenario for interaction between electronic devices will be described with reference to FIGS. 4A to 17B .
  • the case where the first electronic device 110 is a smart watch type, the second electronic device 120 is a smart phone type, and the smart watch and the smart phone interact exemplify
  • the type, structure, operation scenario, or user interface of the illustrated electronic device is illustrative only and does not limit the scope of the embodiments.
  • a component of a user interface or screen is referred to as a visual element, indicator, icon, menu, button, bubble, field, etc., but is referred to as a graphic element, user interface element, object, function button, visual affordance, etc. It can also be expressed in terms.
  • the number, arrangement or layout of the components constituting the illustrated user interface or screen, and the type, shape, color, and form of each component may be variously modified, modified, or applied.
  • 4A is an example of a visual element applicable to an electronic device according to an exemplary embodiment.
  • reference numeral 110 exemplifies a first electronic device of a smart watch type.
  • Reference numeral 120 exemplifies a second electronic device of a smart phone type.
  • Reference numerals 410 and 420 illustrate visual elements indicating that the device connection mode can be used.
  • the visual elements 410 and 420 may be of an indicator type.
  • the visual element 410 may be displayed on the first electronic device 110 .
  • the second visual element 420 may be displayed on the second electronic device 120 .
  • the visual elements 410 and 420 may appear simultaneously on both sides of the screen of the first electronic device 110 and the screen of the second electronic device 120 .
  • the visual elements 410 and 420 may be implemented in such a way that the user intuitively recognizes that the use of the device connection mode is possible or induces the user to easily enter the device connection mode.
  • the user can intuitively recognize that the device-to-device connection mode can be used through the visual elements 410 and 420 displayed on the screen, and can easily use the device connection mode.
  • the visual elements 410 and 420 may be a user interface for informing that the screen of the first electronic device 110 can be transferred to the second electronic device 120 .
  • the visual elements 410 and 420 may be a user interface for notifying that a task handoff from the first electronic device 110 to the second electronic device 120 is possible.
  • the visual elements 410 and 420 may be provided based on proximity between the first electronic device 110 and the second electronic device 120 within a threshold distance.
  • the threshold distance may be shorter than coverage of short-range wireless communication (eg, Bluetooth).
  • the visual elements 410 and 420 may appear on at least one side of the first electronic device 110 or the second electronic device 120 .
  • a device connection mode may be activated (or triggered) according to a user input (eg, a touch, a tap) to the visual elements 410 and 420 .
  • the second electronic device 120 When the device connection mode is activated, in the second electronic device 120 performing short-range wireless communication with the first electronic device 110 at a location close to the first electronic device 110 , the second electronic device 110 displayed on the first electronic device 110 .
  • a second screen related to at least a part of the first screen may be displayed.
  • 4B is various examples of visual elements applicable to an electronic device according to an exemplary embodiment.
  • a visual element indicating that the use of the device connection mode is possible may be implemented in various types.
  • the visual element may be an indicator type.
  • the visual element may be an icon type.
  • the appearance, color, form (e.g., pop-up window, text, icon, or combination thereof) and effects (e.g., blinking effect, glow effect) of visual elements are related to the device connection mode. It can be implemented without limitation within the range that can induce the user's intuitive perception or natural behavior.
  • Reference numeral 430 is an example of various pop-up icons that can be used as visual elements.
  • Reference numeral 440 is an example of various icons to which a glow effect that can be used as a visual element is applied.
  • FIG. 5A is an example of a user interface for interaction between electronic devices according to an embodiment.
  • FIG. 5A illustrates a user interface when a user replies to a text confirmed by the first electronic device 110 (eg, a smart watch) from the second electronic device 120 (eg, a smart phone).
  • the first electronic device 110 eg, a smart watch
  • the second electronic device 120 eg, a smart phone
  • reference numeral 510 denotes a first screen displayed on the first electronic device 110 .
  • Reference numeral 520 denotes a second screen displayed on the second electronic device 120 .
  • Reference numeral 530 denotes a third screen displayed on the second electronic device 120 .
  • Reference numeral 540 denotes a fourth screen displayed on the second electronic device 120 .
  • user interfaces such as the second screen 520 , the third screen 530 , and the fourth screen 540 are displayed on the second electronic device 120 may be sequentially output.
  • the first screen 510 eg, an execution screen of the message app
  • the first visual element 511 may be displayed on the first screen 510 (eg, a message application execution screen) being displayed on the first electronic device 110 . While the first visual element 511 is displayed on the first electronic device 110 , the second visual element is displayed on the second screen 520 (eg, home screen, lock screen) being displayed on the second electronic device 120 . 521 may be displayed. For example, as the first electronic device 110 and the second electronic device 120 approach within a predetermined threshold distance, the first visual element 511 appears on the first screen 510 or the second screen A second visual element 521 may appear on 520 .
  • the first visual element 511 provided by the first electronic device 110 and the second visual element 521 provided by the second electronic device 120 may be of the same type.
  • the first visual element 511 and the second visual element 521 may both be of a first type (eg, an indicator type having specific properties (eg, a specific color, a pop-up shape, and a blinking effect)). have.
  • the first visual element 511 and the second visual element 521 may be a user interface indicating that a device connection mode is available.
  • the second screen 520 of the second electronic device 120 is changed to the third screen 530 according to a user input (eg, swipe downward) for the second visual element 521 in the second screen 520 .
  • a user input eg, swipe downward
  • the third screen 530 of the second electronic device 120 may include a third visual element 531 .
  • the third visual element 531 may be a user interface for using the device connection mode.
  • the third visual element 531 includes shared information related to at least a part of the first screen 510 being displayed on the first electronic device 110 (eg, a received text, a sender of the text, and information on a reception date and time of the text).
  • shared information related to at least a portion of the screen may include information about all or part of the screen, information about a task related to the screen, information about an app related to the screen, and running tasks related to the screen (such as a text processing task) may include at least one of information about
  • a device connection mode may be activated according to a user input (eg, a touch or a tap) for the third visual element 531 in the third screen 530 .
  • the third screen 530 of the second electronic device 120 is switched to the fourth screen 540 according to a user input (eg, touch, tap) for the third visual element 531 in the third screen 530 .
  • shared information related to all or part of the screen of the first electronic device 110 may be transmitted to the second electronic device 120 .
  • task handoff from the first electronic device 110 to the second electronic device 120 may be possible.
  • a task eg, a text processing task
  • being executed in the first electronic device 110 may be handed off to the second electronic device 120 .
  • the fourth screen 540 may be a screen corresponding to the first screen 510 .
  • the fourth screen 540 may be a screen mirroring at least a portion of the first screen 510 .
  • the fourth screen 540 may display shared information related to at least a part of the first screen 510 (eg, a received text, a sender of the text, information about a reception date and time of the text) and/or the second electronic device. It may be a screen reconstructed based on the type of 120 .
  • the fourth screen 540 may be a screen for handing off a task (eg, a text processing task) being executed in relation to the first screen 510 .
  • FIG. 5B is another example of a user interface for interaction between electronic devices according to an embodiment.
  • FIG. 5B illustrates a user interface when the user continues the heart rate measurement task started by the second electronic device 120 (eg, a smart phone) in the second electronic device 120 (eg, a smart watch).
  • the second electronic device 120 eg, a smart phone
  • the second electronic device 120 eg, a smart watch
  • reference numeral 550 denotes a first screen displayed on the second electronic device 120 .
  • Reference numeral 560 denotes a second screen displayed on the first electronic device 110 .
  • Reference numeral 570 denotes a third screen displayed on the first electronic device 110 .
  • Reference numeral 580 denotes a fourth screen displayed on the first electronic device 110 .
  • the second electronic device 120 that is displaying the first screen 550 , the second screen 560 , the third screen 570 , and the fourth screen 580 are displayed in the first electronic device 110 .
  • the same user interface may be output sequentially.
  • the first screen 550 eg, an execution screen of the health app
  • the first visual element 561 (eg, indicator type) is displayed on the second screen 560 (eg, home screen, lock screen) being displayed on the first electronic device 110 .
  • the second screen 560 eg, home screen, lock screen
  • the first visual element 561 may appear on the second screen 560 .
  • the second screen 560 is displayed as the third screen 570 in the first electronic device 110 .
  • the third screen 570 may include a second visual element 571 (eg, an icon type, a phone-shaped icon).
  • the second visual element 571 may be a user interface for using the device connection mode.
  • the second visual element 571 includes shared information related to at least a part of the first screen 550 being displayed on the second electronic device 120 (eg, a previous heart rate measurement history displayed on the main view of the first screen 550 ). It may be a user interface that allows you to get information about
  • shared information related to at least a portion of the screen may include information about all or part of the screen, information about a task related to the screen, information about an app related to the screen, and running tasks related to the screen (such as a heart rate task) may include at least one of information about
  • the first visual element 561 and the second visual element 571 are for performing different functions and may be of different types.
  • the first visual element 561 is for indicating that the device connection mode can be used, and may be of a first type (eg, an indicator type).
  • the second visual element 571 is for use of the device connection mode and may be of a second type (eg, an icon type).
  • a device connection mode may be activated according to a user input (eg, a touch, a tap) for the second visual element 571 in the third screen 570 .
  • the third screen 570 of the first electronic device 110 is switched to the fourth screen 580 according to a user input (eg, touch, tap) for the second visual element 571 in the third screen 570 .
  • a user input eg, touch, tap
  • shared information related to all or a part of the screen of the second electronic device 120 may be transmitted to the first electronic device 110 .
  • task handoff from the second electronic device 120 to the first electronic device 110 may be possible.
  • a task (eg, a heart rate measurement task) being executed in the second electronic device 120 may be handed off to the first electronic device 110 .
  • the fourth screen 580 of the first electronic device 110 may be a screen corresponding to the first screen 550 of the second electronic device 120 .
  • the fourth screen 580 may be a mirrored screen of at least a portion of the first screen 550 .
  • the fourth screen 580 may be displayed based on information about at least a part of the first screen 550 (eg, information about a previous heart rate measurement history being displayed) and/or the type of the first electronic device 110 . It may be a reconstructed screen.
  • the fourth screen 580 may be a screen for handing off a task (eg, a heart rate measurement task) being executed in relation to the first screen 550 .
  • 6A and 6B are examples of a user interface for interaction between electronic devices according to another embodiment.
  • a task handoff from the first electronic device 110 (eg, a smart watch) to the second electronic device 120 (eg, a smart phone) may be performed.
  • a first screen 610 (eg, an execution screen of a message app) may be displayed on the first electronic device 110 .
  • a first visual element 615 may be displayed on the first screen 610 being displayed on the first electronic device 110 .
  • the first visual element 615 may be a user interface indicating that a device connection mode is available.
  • the second visual element 630 (eg, a watch icon) is displayed through the second screen 620 of the second electronic device 120 .
  • the second visual element 630 may be a user interface for using the device connection mode.
  • the second visual element 630 is a user interface that enables the first electronic device 110 to obtain information related to at least a part of the first screen 610 (eg, information about a text processing task related to the screen). can be
  • the second visual element 630 may include a first icon part 631 and a second icon part 635 .
  • the first icon part 631 may be a part indicating that a device connection mode can be used.
  • the second icon part 635 may be a part indicating information about an application or task to be handed off in the device connection mode. For example, as illustrated, when the message app (or text processing task) is being executed in the first electronic device 110 , the message application icon in the application list of the second electronic device 120 is the second icon part 635 . ) can be used as A first icon part 631 may be additionally displayed for the message application icon to show that a device connection is possible in relation to the message application icon.
  • a device connection mode may be activated according to a user input (eg, a touch, a tap) for the second visual element 620 in the second screen 630 .
  • the second screen 620 of the second electronic device 120 is switched to the third screen 640 according to a user input (eg, touch, tap) for the second visual element 630 in the second screen 620 .
  • sharing information related to at least a portion of the first screen 610 being displayed on the first electronic device 110 may be transmitted to the second electronic device 120 .
  • the second electronic device 120 may display the third screen 640 based on shared information related to at least a part of the first screen 610 received from the first electronic device 110 .
  • the third screen 640 of the second electronic device 120 may be a screen corresponding to the first screen 610 being displayed on the first electronic device 110 .
  • the third screen 640 may be a screen mirroring at least a portion of the first screen 610 .
  • the third screen 640 may display shared information about at least a part of the first screen 610 (eg, a received text, a sender of the text, information about a reception date and time of the text) and/or a second electronic device. It may be a screen reconstructed based on the type of 120 .
  • the third screen 640 may be a screen for handing off a task (eg, a text processing task) being executed in relation to the first screen 610 .
  • task handoff from the second electronic device 120 (eg, a smart phone) to the first electronic device 110 may be performed.
  • a first screen 650 (eg, an execution screen of a message app) may be displayed on the second electronic device 120 .
  • a first visual element 661 may appear on the first electronic device 110 while the first screen 650 is displayed on the second electronic device 120 . For example, based on proximity between the first electronic device 110 and the second electronic device 120 within a threshold distance, the first electronic device 110 is switched from an inactive state to an active state, and the first electronic device 110 is ), a first visual element 661 may appear on the second screen 660 (eg, a home screen, a lock screen).
  • the second screen 660 eg, a home screen, a lock screen.
  • the display of the first screen 650 may be substantially maintained. If there is no user input to the second electronic device 120 in the device connection mode, the display of the first screen 650 may be substantially maintained.
  • the second screen 660 is displayed on the third screen 670 .
  • the third screen 670 may include a second visual element 671 .
  • a device connection mode may be activated according to a user input (eg, touch, tap) for the second visual element 671 in the third screen 670 .
  • the third screen 670 may be switched to the fourth screen 680 according to a user input (eg, a touch or a tap) for the second visual element 671 in the third screen 670 .
  • sharing information related to at least a portion of the first screen 650 being displayed on the second electronic device 120 may be transmitted to the first electronic device 110 .
  • the first electronic device 110 may display the fourth screen 680 based on shared information related to at least a part of the first screen 650 received from the second electronic device 120 .
  • the fourth screen 680 of the first electronic device 110 may be a screen corresponding to the first screen 650 being displayed on the second electronic device 120 .
  • the fourth screen 680 may be a screen mirroring at least a portion of the first screen 650 .
  • the fourth screen 680 may display shared information related to at least a part of the first screen 650 (eg, a received text, a sender of the text, information about a reception date and time of the text) and/or the first electronic device. It may be a screen reconstructed based on the type of (110).
  • the fourth screen 680 may be a screen for handing off a task (eg, a text processing task) being executed in relation to the first screen 650 .
  • 7A and 7B are examples of a user interface for interaction between electronic devices according to another embodiment.
  • a task (eg, text processing task) handoff may be performed from the first electronic device 110 (eg, a smart watch) to the second electronic device 120 (eg, a smart phone).
  • first electronic device 110 eg, a smart watch
  • second electronic device 120 eg, a smart phone
  • a first screen 710 (eg, an execution screen of a message app) may be displayed on the first electronic device 110 .
  • the first screen 710 may include a first visual element 711 (eg, a phone-shaped icon).
  • the first visual element 711 may be a user interface indicating that a device connection mode is available. For example, based on the proximity between the first electronic device 110 and the second electronic device 120 within a threshold distance, the first electronic device 110 is displayed on the first screen 710 of the first electronic device 110 being used in the activated state.
  • a visual element 711 may appear.
  • the second screen 720 may be displayed on the second electronic device 120 .
  • the second screen 720 may include a second visual element 721 (eg, a menu including a watch icon).
  • a device connection mode may be activated according to a user input (eg, a touch or a tap) for the second visual element 721 .
  • the second screen 720 may be switched to the third screen 730 according to a user input (eg, a touch or a tap) for the second visual element 721 .
  • the second visual element 721 (eg, a watch icon is included through the second screen 720 ) of the second electronic device 120 . menu) may be displayed.
  • the second visual element 721 may be a user interface for use of the device connection mode.
  • the second visual element 721 receives shared information related to at least a part of the first screen 710 being displayed on the first electronic device 110 (eg, information about a text processing task related to the first screen 710 ). It could be a user interface that allows you to import it.
  • a device connection mode may be activated according to a user input (eg, a touch, a tap) for the second visual element 721 in the second screen 720 .
  • the second screen 720 of the second electronic device 120 is switched to the third screen 730 according to a user input (eg, touch, tap) for the second visual element 721 in the second screen 720 .
  • a user input eg, touch, tap
  • sharing information related to at least a portion of the first screen 710 being displayed on the first electronic device 110 may be transmitted to the second electronic device 120 .
  • the second electronic device 120 may display the third screen 730 based on shared information related to at least a part of the first screen 710 received from the first electronic device 110 .
  • the third screen 730 (eg, the execution screen of the message app) of the second electronic device 120 is displayed on the first screen 710 (eg, the execution screen of the message app) being displayed on the first electronic device 110 . It may be a corresponding screen.
  • a task (eg, text processing task) handoff may be performed from the second electronic device 120 (eg, a smart phone) to the first electronic device 110 (eg, a smart watch).
  • the second electronic device 120 eg, a smart phone
  • the first electronic device 110 eg, a smart watch
  • a first screen 750 (eg, an execution screen of a message app) may be displayed on the second electronic device 120 .
  • a second screen 760 (eg, a home screen or a lock screen) may be displayed on the first electronic device 110 .
  • a visual element 761 (eg, a phone-shaped icon) may be displayed on the second screen 760 .
  • the visual element 761 may be a user interface indicating that a device connection mode is available.
  • the first electronic device 110 includes a visual element 761 while transitioning from an inactive state to an active state based on proximity between the first electronic device 110 and the second electronic device 120 within a threshold distance.
  • a second screen 760 may be displayed.
  • a device connection mode may be activated according to a user input (eg, a touch, a tap) for the visual element 761 in the second screen 760 .
  • a user input eg, a touch, a tap
  • the second screen 760 is switched to the third screen 770 in the first electronic device 110 .
  • sharing information related to at least a part of the first screen 750 being displayed on the second electronic device 120 may be transmitted to the first electronic device 110 .
  • the first electronic device 110 may display the third screen 770 based on shared information related to at least a part of the first screen 750 received from the second electronic device 120 .
  • the third screen 770 (eg, an execution screen of a message app) of the first electronic device 110 is a first screen 750 (eg, a message app) being displayed on the first electronic device 110 . It may be a screen corresponding to the execution screen of ).
  • 8A and 8B are examples of a user interface for interaction between electronic devices according to another embodiment.
  • the screen of the second electronic device 120 and The screen of the first electronic device 110 may be used as a multi-screen.
  • the screen of the first electronic device 110 may be temporarily used as a split screen or a sub screen of the second electronic device 120 .
  • the second electronic device 120 may execute a message app through the first electronic device 110 to display the received text.
  • the currently displayed screen may be maintained without a substantial screen change. Accordingly, it is possible to prevent screen switching from occurring due to switching between the authentication app and the message application in the second electronic device 120 .
  • the first screen 810 may be displayed while the second electronic device 120 is being used.
  • the first screen 810 may be a screen for executing a first task (eg, user authentication task) of the first app (eg, authentication app).
  • the first screen 810 may include a visual element 813 (eg, a watch icon).
  • the visual element 813 in the first screen 810 may be a user interface indicating that a device connection mode can be used.
  • An authentication number notification text may be received while the first task is performed.
  • screen switching eg, switching from an authentication app to a message app
  • screen switching may be required in the second electronic device 120 .
  • the screen of the first electronic device 110 and the screen of the second electronic device 120 are connected using the device connection mode. can be used at the same time.
  • sharing information related to at least a part of the first screen 810 may be temporarily transmitted to the first electronic device 110 .
  • the user touches the text reception menu 811 to check the received text by additionally utilizing the screen of the first electronic device 110 without changing the screen of the second electronic device 120 in use.
  • An input of dragging and dropping to the visual element 813 may be performed.
  • the device connection mode may be activated.
  • sharing information related to at least a part of the first screen 810 being displayed on the second electronic device 120 may be transmitted to the first electronic device 110 .
  • the sharing information may include information on a first task (eg, user authentication task) of the first app (eg, authentication app) being performed in relation to the first screen 810 .
  • the shared information is information (eg, received text, sender of the text, information about the date and time of receipt of the text) for executing a second task (eg, received text viewing task) of a second app (eg, a message app) may include.
  • the first electronic device 110 may display the second screen 820 based on the shared information received from the second electronic device 120 .
  • the second screen 820 may be a screen for executing a second task (eg, a received text view task) of a second app (eg, a message app).
  • a first screen 850 may be displayed on the second electronic device 120 (eg, a smart phone).
  • the first screen 850 may be an execution screen of a first app (eg, a message app).
  • the first screen 850 may be a screen for executing a first task (eg, a text processing task) of the first app.
  • a bubble indicating the received text may be temporarily transmitted to the first electronic device 110 (eg, a smart watch) using the device connection mode.
  • a menu including the temporary transmission menu 851 as shown A window may appear on the first screen 850 .
  • Sharing information related to at least a portion of the first screen 850 may be transmitted to the first electronic device 110 according to a user input for selecting the temporary transmission menu 851 .
  • the shared information may include information about a bubble being displayed (eg, a text in a bubble, a sender of the text, and information on a reception date and time of the text).
  • the first electronic device 110 may display the second screen 860 based on the shared information received from the second electronic device 120 .
  • the second screen 860 may correspond to the first screen 850 being displayed on the second electronic device 120 .
  • the second screen 860 may include at least a portion of the first screen 850 .
  • the first screen 850 (eg, a message application execution screen) being displayed on the second electronic device 120 may be switched to a third screen 870 (eg, a login screen).
  • a third screen 870 eg, a login screen
  • 9A and 9B are examples of a user interface for interaction between electronic devices according to another embodiment.
  • a first screen 910 may be displayed on the second electronic device 120 (eg, a smart phone).
  • the first screen 910 may include a captured image 913 .
  • the first screen 910 may be an execution screen of a first app (eg, an album app).
  • the user can temporarily transmit and display the captured image 913 on the first electronic device 110 (eg, smart watch) using the device connection mode .
  • the first electronic device 110 eg, smart watch
  • a menu window including a temporary transmission menu 911 as shown in the first screen (910) may appear.
  • Information on the captured image 913 may be transmitted to the first electronic device 110 according to a user input for selecting the temporary transmission menu 911 .
  • the first electronic device 110 may display the second screen 920 based on the information on the captured image 913 received from the second electronic device 120 .
  • the second screen 920 may correspond to the first screen 910 being displayed on the second electronic device 120 .
  • the second screen 920 may be a screen in which at least a portion of the first screen 910 being displayed on the second electronic device 120 is mirrored.
  • the captured image 913 displayed on the first screen 910 may be mirrored and displayed on the second screen 920 .
  • the second electronic device 120 may execute a second app (eg, a map app) according to a user input.
  • a third screen 930 may be displayed on the second electronic device 120 .
  • the third screen 930 may be an execution screen of the second app.
  • the user sees the captured image 921 being displayed on the second screen 920 of the first electronic device 110 and the address in the captured image 921 through the third screen 930 of the second electronic device 120 . can be entered.
  • a first screen 950 may be displayed on the second electronic device 120 (eg, a smart phone).
  • the first screen 950 may include a thumbnail 953 related to a first app recently used in the second electronic device 120 .
  • the user transmits shared information (eg, screen shot information, rendering/graphic information) for displaying the thumbnail 953 to the first electronic device
  • shared information eg, screen shot information, rendering/graphic information
  • the image 961 corresponding to the thumbnail 953 may be temporarily displayed in the first electronic device 110 by providing it as 110 (eg, a smart watch).
  • the menu window including the temporary transmission menu 951 as shown in the first screen ( 950) may appear. Sharing information for displaying the thumbnail 953 may be transmitted to the first electronic device 110 according to a user input for selecting the temporary transmission menu 951 .
  • the first electronic device 110 may display the second screen 960 including the image 961 corresponding to the thumbnail 953 based on the sharing information received from the first electronic device 110 .
  • FIG. 10 is an example of a user interface for interaction between electronic devices according to another embodiment.
  • the first electronic device 110 may display the first screen 1010 .
  • the first screen 1010 may be a screen that displays a part of an image (eg, a credit card photo).
  • the first screen 1010 may be switched to the second screen 1020 .
  • the second screen 1020 may include a screen shot 1021 (or a captured screen) of the first screen 1010 and a visual element 1023 (eg, a phone icon) for using the device connection mode.
  • a visual element 1023 may appear when a device connection mode is available.
  • a device connection mode may be activated according to a user input for the visual element 1023 (eg, an input for dragging and dropping the screen shot 1021 toward the visual element 1023 ).
  • Information on the screen shot of the first screen 1010 being displayed on the first electronic device 110 in the device connection mode may be transmitted to the second electronic device 120 .
  • the first electronic device 110 temporarily utilizes the screen of the second electronic device 120 without physically transmitting the entire image file for the image (eg, credit card photo) stored in the first electronic device 110 .
  • the image e.g, credit card photo
  • only information about the screen shot being displayed on the first screen 1010 may be provided to the second electronic device 120 as shared information.
  • the second electronic device 120 may display a third screen 1030 corresponding to the second screen 1010 based on the sharing information.
  • the third screen 1030 may include a screen shot 1021 of the first screen 1010 and an input menu 1030 (eg, a menu for inputting card information).
  • 11A and 11B are examples of a user interface for interaction between electronic devices according to another embodiment.
  • the first electronic device 110 may display a first screen 1110 .
  • the first screen 110 may be a screen displaying a text bubble 1111 including an authentication number.
  • a visual element 1113 eg, a phone-shaped icon for using the device connection mode may be displayed on the first screen 1110 .
  • a screen shot 1121 obtained by capturing the first screen 1110 may be transmitted to the second electronic device 120 (eg, a smart phone) according to a user input (eg, touch, tap) on the visual element 1113 . have.
  • the second electronic device 120 may receive the screen shot 1121 of the first screen 1110 and display it as the second screen 1120 .
  • the second electronic device 120 may display a first screen 1150 .
  • the first screen 1150 may be an execution screen of a first app (eg, a browser app).
  • a visual element 1151 (eg, a watch icon) for using the device connection mode may be displayed on the first screen 1150 .
  • Information on a screen shot captured by the first screen 1150 according to a user input (eg, touch, tap) on the visual element 1151 is transmitted to the first electronic device 110 (eg, smart watch) as shared information. can be transmitted.
  • the first electronic device 110 may receive information on a screen shot of the first screen 1150 .
  • the first electronic device 110 may display the second screen 1160 based on the received screen shot information.
  • the screen shot of the first screen 1150 is reconfigured to correspond to the type of the first electronic device 110 as shown. can be displayed.
  • the third screen 1170 may be an execution screen of a second app (eg, a message app).
  • the user can conveniently use the first app (eg, a browser app) and the second app (eg, the message app) without switching screens within one screen by using the screens of both sides of the two electronic devices 110 and 120 together. .
  • the first app eg, a browser app
  • the second app eg, the message app
  • 12A, 12B, and 12C are examples of a user interface for interaction between electronic devices according to another embodiment.
  • the second electronic device 120 may display a first screen 1210 .
  • a thumbnail view 1211 may be displayed on the first screen 1210 .
  • the thumbnail view 1211 may be an execution screen of a recently used first app.
  • the first screen 1210 may include a visual element 1213 (eg, a watch-shaped icon) for using the device connection mode.
  • a visual element 1213 eg, a watch-shaped icon
  • the information on the thumbnail view 1211 is the first shared information.
  • the first electronic device 110 may display the second screen 1220 based on the shared information received from the second electronic device 120 .
  • the second screen 1220 may correspond to the first screen 1210 .
  • the second screen 1220 may correspond to the thumbnail view 1211 in the first screen 1210 .
  • the third screen 1230 may be displayed on the second electronic device 120 according to a user input.
  • the third screen 1230 may be an execution screen of the second app.
  • a user may conveniently use different first and second apps without switching screens within one screen by using screens of both sides of the two electronic devices 110 and 120 together.
  • the second electronic device 120 may display a first screen 1240 .
  • the first screen 1240 may be an execution screen of a first app (eg, a media broadcasting/streaming app).
  • the first screen 1240 may include a visual element 1243 (eg, a watch icon) for using the device connection mode.
  • a notification message 1241 may appear on the first screen 1240 .
  • Information eg, a received text message, a sender of the text message, and information on a reception date and time of the text text message
  • the first electronic device 110 may display the second screen 1250 based on the shared information received from the second electronic device 120 .
  • the second screen 1250 may correspond to the first screen 1240 .
  • the second screen 1250 may be an execution screen of a second app (eg, a message app) that displays a notification message 1251 .
  • the user utilizes the screens of both sides of the two electronic devices 110 and 120 together, and the first app (eg, media broadcasting/streaming app) and the second app (eg, message app) without screen switching or interruption of tasks within one screen ) can be conveniently used.
  • the first app eg, media broadcasting/streaming app
  • the second app eg, message app
  • the second electronic device 120 may display a first screen 1260 .
  • the first screen 1260 may be an execution screen of a first app (eg, a browser app).
  • the first screen 1260 may include a play button 1261 for playing content (eg, a video).
  • the first screen 1260 may include a visual element 1263 (eg, a watch icon) for using the device connection mode.
  • a second task eg, content in a browsing tab related to the first task in the first electronic device 110 using the device connection mode .
  • the content is played and/or Information for display may be transmitted to the first electronic device 110 as shared information.
  • the first electronic device 110 may display the second screen 1270 based on the shared information received from the second electronic device 120 .
  • the second screen 1270 may be a screen corresponding to a part of the first screen 1260 .
  • the content may be reproduced and/or displayed through the second screen 1270 .
  • the first task eg, the browsing task
  • the second task may be continuously executed through the second electronic device 120 .
  • 13A, 13B, and 13C are examples of a user interface for interaction between electronic devices according to another embodiment.
  • a multi-screen function may be provided in the device connection mode.
  • a plurality of screens that are difficult to be displayed simultaneously in one screen may be divided and displayed in each electronic device 110 , 120 .
  • the second electronic device 120 may display a first screen 1310 .
  • the first screen 1310 may be an execution screen of a first app (eg, a shopping app). As illustrated, a plurality of product lists may be displayed on the first screen 1310 .
  • the screen of the first electronic device 110 and the screen of the second electronic device 120 may operate to form a multi-screen.
  • the second screen 1320 displayed on the first electronic device 110 may be used as a split screen or a sub screen of the first screen 1310 .
  • links to products in the first screen 1310 may be displayed on the second screen 1320 of the first electronic device 110 .
  • the user scrolls through the first screen 1310 of the first electronic device 110 while looking at several products and simultaneously selects a link of a product to view in detail through the second screen 1320 to check detailed information of the product.
  • the second electronic device 120 may display a first screen 1330 .
  • the first screen 1330 may be an execution screen of a first app (eg, a phone app).
  • a user interface for a first task (eg, a phone task) of the first app may be displayed on the first screen 1330 .
  • the screen of the first electronic device 110 and the screen of the second electronic device 120 may operate to form a multi-screen.
  • the second screen 1340 displayed on the first electronic device 110 may be used as a split screen or a sub screen of the first screen 1330 .
  • a second task (eg, key input task) that is a sub-task of the first task (eg, phone task)
  • a second screen 1340 for executing . may be displayed through the first electronic device 110 .
  • the second screen 1340 (eg, a keypad screen) may be a split screen or a sub-screen of the first screen 1330 (eg, a phone application execution screen).
  • the user may execute the second task (eg, key input task) of the first app by using the screen of the second electronic device 120 without actually changing the screen of the first electronic device 110 .
  • the second task eg, key input task
  • the second electronic device 120 may display a first screen 1350 .
  • the first screen 1350 may be an execution screen of a first app (eg, a calendar app).
  • the screen of the first electronic device 110 and the screen of the second electronic device 120 may operate to form a multi-screen.
  • the second screen 1360 displayed on the first electronic device 110 may be used as a split screen or a sub screen of the first screen 1350 .
  • the first screen 1350 being displayed on the second electronic device 120 is displayed on the first electronic device (
  • a second screen 1360 reconfigured to correspond to the type 110 eg, a detailed calendar is simplified) may be displayed on the first electronic device 110 .
  • 13D is a diagram illustrating a structure of a user interface for interaction between electronic devices according to another embodiment.
  • the first screen 1371 and the second screen 1372 may be execution screens of the same app.
  • a first screen 1371 for a higher-level task and a second screen 1375 for a lower-level task may be generated.
  • the device When it is necessary to switch from the first screen 1371 to the second screen 1375 during the execution of the first app or to enter the depth-in from the first screen 1371 to the second screen 1375, the device The screen of the first electronic device 110 and the screens of the second electronic device 120 may be simultaneously utilized by using the connection mode.
  • a third screen 1381 corresponding to (eg, identical to) the first screen 1371 may be displayed on the second electronic device 120 .
  • a fourth screen 1385 may be displayed on the first electronic device 110 .
  • the fourth screen 1385 may be a reconfiguration of the second screen 1375 based on the type of the first electronic device 110 .
  • the fourth screen 1385 may be a divided screen or a sub screen of the third screen 1381 .
  • the fourth screen 1385 may be displayed through the first electronic device 110 .
  • a user uses a plurality of electronic devices (eg, the first electronic device 110 and the second electronic device 120) to switch screens (eg, scroll, tap) that are difficult to display on one screen. It can be used conveniently without switching windows or entering sub-menu).
  • a plurality of electronic devices eg, the first electronic device 110 and the second electronic device 120
  • switches screens eg, scroll, tap
  • the second screen 1420 or the third screen 1430 mirroring the first screen 1410 of the first electronic device 110 is displayed on the second electronic device 120 .
  • the first electronic device 110 e.g, smart watch
  • the first electronic device 110 may display a first screen 1410 (eg, an email writing screen).
  • a first screen 1410 eg, an email writing screen
  • Sharing information related to at least a part of the first screen 1410 being displayed by the first electronic device 110 may be transmitted to the second electronic device 120 . have.
  • the user may continuously input text being input in the first electronic device 110 in the second electronic device 120 .
  • the second electronic device 120 may display the second screen 1420 in which the entire area of the first screen 1410 is mirrored.
  • the second screen 1420 may include the entire mirror view area 1421 .
  • An input field 1423 for providing additional functions related to the first screen 1410 and a keyboard may be additionally displayed on the second screen 1420 .
  • Content input through the input field 1423 may be reflected in the entire mirror view area 1421 .
  • the second electronic device 120 may display the third screen 1430 in which only a portion of the first screen 1410 is mirrored.
  • the third screen 1430 may include a partial mirror view area 1435 .
  • An input field 1433 for providing additional functions related to the first screen 1410 and a keyboard may be additionally displayed on the third screen 1430 .
  • Content input through the input field 1433 may be reflected in the partial mirror view area 1435 .
  • the fourth screen (not shown) may be displayed through the second electronic device 120 .
  • 15A and 15B are examples of a user interface for interaction between electronic devices according to another embodiment.
  • a mirror screen function may be provided between the first electronic device 110 and the second electronic device 120 in the device connection mode.
  • a first screen 1510 (eg, an edit menu execution screen in a widget list) may be displayed on the first electronic device 110 (eg, a smart watch).
  • a second screen 1520 (eg, a widget menu execution screen among the wearable list) may be displayed on the second electronic device 120 (eg, a smart phone).
  • the second screen 1520 may include a mirrored area 1525 of the first screen 1510 .
  • the second screen 1520 may include an additional area for providing additional information and/or functions in addition to the area 1525 that mirrors the first screen 1510 .
  • the screen displayed on the one electronic device may provide more information and/or functions than a screen (eg, the first screen 1510) displayed on the other electronic device.
  • the second screen shows more content (eg, texts, lists, image thumbnails) than the first screen, or switches the screen (e.g., : It can be provided on one screen without scrolling, switching tabs or windows, entering sub-menu).
  • the user interface associated with the first screen and the user interface associated with the second screen may have different shapes.
  • a user interface displayed in a circular shape on the first screen of the first electronic device 110 that is a smart watch type, and an elongated oval or the entire screen of the smart phone on the second screen of the second electronic device 120 that is a smart phone type It may be displayed as a rectangle corresponding to the screen.
  • a first screen 1530 may be displayed on the first electronic device 110 (eg, a smart watch).
  • the first screen 1530 may be an execution screen of a first app (eg, an album app).
  • a second screen 1540 may be displayed on the second electronic device 120 (eg, a smart phone).
  • the second screen 1540 may be an execution screen of a first app (eg, an album app).
  • the first app of the second electronic device 120 may be linked with the first app of the first electronic device 110 .
  • a watch-linked album function may be provided.
  • the second screen 1540 may be switched to the third screen 1550 in the second electronic device 120 .
  • the third screen 1550 may include a first area 1551 and a second area 1555 .
  • the first area 1551 may be a mirror view area for bringing images of the first electronic device 110 (eg, a smart watch) to the second electronic device 120 (eg, a smart phone).
  • the second area 1555 may be an area for displaying images stored in the second electronic device 120 .
  • Content stored and/or displayed in the first electronic device 110 may be displayed through the first area 1551 .
  • the content may be copied and/or pasted to the second electronic device 120 through the first area 1551 .
  • thumbnails of images displayed on the album application execution screen being displayed on the first electronic device 110 may be mirrored to the first area 1551 .
  • the first image is transferred to the second electronic device 120 may be copied and/or moved to The first image may be stored and/or displayed in the second electronic device 120 .
  • mirror view area eg, first area 1551
  • copying and/or moving of content eg, large amounts of text, web links, images, videos
  • usability may be improved by using a plurality of screens through device connection between the first electronic device 110 and the second electronic device 120 .
  • a task related to content eg, text, image, video, media file, web link
  • a seamless user experience may be supported.
  • the screen of one electronic device may be easily interlocked with the screen of the other electronic device by using a visual element indicating that the device connection mode is available and/or a visual element for using the device connection mode.
  • the task being executed in one electronic device may be continuously performed in the other electronic device. While the task is being performed, content (eg, text, image, video, media file) that is being stored and/or displayed in each of the one electronic device and the other electronic device may be copied and/or moved to each other.
  • a mirror view area or a multi-view area for sharing information and/or content between devices may be provided.
  • the mirror view area or the multi view area may be a visual element for selecting content to be shared.
  • Various types of content eg, text, images
  • one electronic device eg, one of the first electronic device 110 and the second electronic device 120
  • moving pictures, media files, and web links may be copied and/or moved to the other electronic device (eg, the other one of the first electronic device 110 and the second electronic device 120 ).
  • 16A and 16B are examples of a user interface for interaction between electronic devices according to another embodiment, illustrating an interaction operation when content is text.
  • a first screen 1610 may be displayed on the first electronic device 110 (eg, a smart watch).
  • the first screen 1610 may be a screen related to a first task (eg, a message sending task) of a first app (eg, a message app).
  • the first electronic device 110 is a device having a relatively small screen size, such as a smart watch, and it is necessary to write a long sentence, it is cumbersome to write a sentence due to the limitation of the screen area or the input field space, and all necessary information (eg, written It may be impossible to view sentences, the entire keyboard) on one screen (eg, multiple screens of reference numeral 1617).
  • a visual element 1610 for using the device connection mode may appear on the first screen 1610 .
  • a first task eg, a message sending task
  • the content of the input field being written by the user is displayed using the visual element 1615 . It can be exported to the second electronic device 120 .
  • a second screen 1620 may be displayed on the second electronic device 120 (eg, a smart phone).
  • the second screen 1620 may include a first area 1621 and a second area 1625 .
  • a mirror view area 1623 that mirrors all or part of the first screen 1610 (eg, the content of an input field being written) may be displayed in the first area 1621 .
  • the second area 1625 may be a keyboard area for performing a first task (eg, a message sending task) related to the mirror view area 1623 .
  • a first task eg, a message sending task
  • the first task being performed by the first electronic device 110 may be subsequently performed by the second electronic device 120 .
  • the user may easily perform an input on the second screen 1620 that is wider than the first screen 1610 .
  • the input field content is transferred to the mirror view area 1623 .
  • the first screen 1610 is displayed on the third screen according to a user input to the first electronic device 110 . It may be switched to the screen 1630 .
  • the third screen 1630 may be displayed on the first electronic device 110 .
  • the third screen 1630 may be a home screen or a lock screen.
  • a visual element 1640 for using the device connection mode may be provided on the third screen 1630 .
  • the visual element 1640 may include a first icon part 1641 indicating that the device connection mode can be used.
  • the first icon part 1641 may be a bubble-type ongoing icon.
  • the visual element 1640 may include a second icon part 1645 indicating information about an application or task to be handed off in the device connection mode.
  • the second icon part 1645 may be a tasking icon related to a second app (eg, a browsing app) or a second task (eg, an Internet browsing task) being executed in the second electronic device 120 .
  • the third screen 1630 may be switched to the fourth screen 1647 in the first electronic device 110 .
  • Information related to the second task being performed by the second electronic device 120 eg, information on a collection of open tabs
  • the fourth screen 1647 is a screen reconfigured based on the type of the first electronic device 110 and information related to the second task being performed by the second electronic device 120 (eg, information on the collection of open tabs).
  • information related to the second task being performed by the second electronic device 120 eg, information on the collection of open tabs.
  • information on a collection of tabs opened in the second electronic device 120 may be displayed in the form of a simplified user interface as shown on the first electronic device 110 .
  • a first screen 1650 may be displayed on the first electronic device 110 (eg, a smart watch).
  • the first screen 1650 may be a screen related to a first task (eg, a message sending task) of a first app (eg, a message app).
  • a first visual element 1651 for using the device connection mode may appear on the first screen 1650 .
  • a second screen 1661 may be displayed on the second electronic device 120 (eg, a smart phone).
  • the second screen 1661 may include a first area 1660 and a second area 1665 .
  • a multi-view area 1663 may be displayed in the first area 1660 .
  • the multi-view area 1663 may be a user interface reconfigured based on information on all or part of the first screen 1650 (eg, the content of an input field being written) and/or the type of the second electronic device 120 . have.
  • the second area 1665 may be a keyboard area for performing the first task related to the multi-view area 1663 .
  • the first task being performed by the first electronic device 110 may be subsequently performed by the second electronic device 120 .
  • the user may easily perform an input on the second screen 1661 that is wider than the first screen 1650 .
  • the first screen 1650 is displayed on the third screen according to a user input. (1670).
  • the third screen 1670 may be displayed on the first electronic device 110 .
  • the third screen 1670 may be a home screen or a lock screen.
  • a second visual element 1685 and a third visual element 1687 for using the device connection mode may be provided on the third screen 1670 .
  • the second visual element 1685 may be for handoff of a first task (eg, a foreground task, a message sending task) being performed by the second electronic device 120 .
  • the second visual element 1685 may be a user interface that allows the first task being performed by the second electronic device 120 to be retrieved.
  • the second visual element 1685 includes a first icon part 1681 indicating that a device connection mode is available, and a first app (eg, a message app) or a first task (eg, a message) to be handed off in the device connection mode. a second icon part 1683 indicating information on the outgoing task).
  • the third visual element 1687 may be for handoff of a second task (eg, a background task and an album view task) being performed by the second electronic device 120 .
  • the third visual element 1687 may be a user interface that allows the second task being performed by the second electronic device 120 to be retrieved.
  • the third visual element 1687 includes a first icon part indicating that the device connected mode is available, and a first app (eg, an album app) or a second task (eg, an album view task) to be handed off in the device connected mode. It may include a second icon part indicating information about the .
  • the user can intuitively recognize the app/task that can be used in the device connection mode, thereby helping the user to make a quick selection and easily and naturally induce the user's next action. have.
  • the third screen 1670 is the fourth screen 1690 in the first electronic device 110 .
  • the fourth screen 1690 may be a screen for continuously executing a first task (eg, a message sending task) being executed in the second electronic device 120 .
  • a first task eg, a foreground task, a message sending task
  • the third screen 1670 displays a fifth screen (not shown) for executing the second task (eg, background task, album view task). ) can be converted to
  • a first screen 1710 may be displayed on the second electronic device 120 (eg, a smart phone).
  • a first visual element 1711 for using the device connection mode may appear on the first screen 1710 .
  • the first screen 1710 may be switched to the second screen 1720 or the third screen 1730 according to a user input for selecting the first visual element 1711 .
  • the second screen 1720 may include a first area 1721 .
  • the first area 1721 may be a mirror view area for bringing the content of the first electronic device 110 (eg, a smart watch) to the second electronic device 120 (eg, a smart phone).
  • Content stored and/or displayed in the first electronic device 110 may be displayed through the first area 1721 .
  • the content may be copied and/or moved to the second electronic device 120 through the first area 1721 .
  • thumbnails of images displayed on the album application execution screen being displayed on the first electronic device 110 may be mirrored to the first area 1721 .
  • the first image is transferred to the second electronic device 120 ) can be copied and/or moved.
  • the first image may be stored and/or displayed in the second electronic device 120 .
  • the third screen 1730 may include a second area 1731 .
  • the second area 1731 may be a mirror view area for delivering content of the second electronic device 120 (eg, a smart phone) to the first electronic device 110 (eg, a smart watch).
  • Content eg, an image, video, or media file
  • the second image may be copied and/or moved to the first electronic device 110 .
  • the second image may be stored and/or displayed in the first electronic device 110 .
  • Cross-device copying of content eg large amounts of text, web links, images, videos
  • mirror view areas eg first and second regions 1721 and 1731
  • the movement may be conveniently performed at one time.
  • a fourth screen 1740 may be displayed on the first electronic device 110 .
  • a second visual element 1745 for using the device connection mode may be provided on the fourth screen 1740 .
  • the second visual element 1745 may be for bringing content (eg, a second image) copied and/or moved to the second area 1731 , which is a mirror view area, to the first electronic device 110 .
  • the second visual element 1745 may be for handoff of a task (eg, an album view task) being performed by the second electronic device 120 .
  • the second visual element 1745 may be a user interface that allows a task being performed by the second electronic device 120 to be retrieved.
  • the second visual element 1745 includes a first icon part 1741 indicating that the device connection mode can be used, and a second icon part 1743 indicating information about an application or task to be handed off in the device connection mode. can do.
  • the fourth screen 1740 may be switched to the fifth screen 1750 according to a user input (eg, a touch or a tap) for the second visual element 1745 .
  • the fifth screen 1750 may be an application execution screen (eg, an album application execution screen). Thumbnails of images stored in the first electronic device 110 may be displayed on the fifth screen 1750 .
  • the fifth screen 1750 may include a thumbnail 1753 of the second image copied and/or moved from the second electronic device 120 to the first electronic device 110 .
  • a first screen 1755 may be displayed on the second electronic device 120 (eg, a smart phone).
  • the first screen 1755 may be switched to the second screen 1760 according to a user input for an edge of the first screen 1755 .
  • the second screen 1760 may include a first visual element 1761 for using the device connection mode.
  • the second screen 1760 may be switched to the third screen 1770 according to a user input for the first visual element 1761 .
  • the third screen 1770 may include a first area 1771 .
  • the first area 1771 may be a mirror view area for delivering content of the second electronic device 120 (eg, a smart phone) to the first electronic device 110 (eg, a smart watch).
  • Content eg, images, videos, and media files
  • the first image is It may be copied and/or moved to the first electronic device 110 .
  • the first image may be stored and/or displayed in the first electronic device 110 .
  • a fourth screen 1780 may be displayed on the first electronic device 110 .
  • a second visual element 1785 for using the device connection mode may be provided on the fourth screen 1780 .
  • the second visual element 1785 may be for bringing content (eg, an image) copied and/or moved to the first area 1771 , which is a mirror view area, to the first electronic device 110 .
  • the second visual element 1785 may be for handoff of a task (eg, an album view task) being performed by the second electronic device 120 .
  • the second visual element 1785 may be a user interface that allows a task being performed by the second electronic device 120 to be retrieved.
  • the second visual element 1785 includes a first icon part 1781 indicating that the device connection mode can be used, and a second icon part 1783 indicating information about an application or task to be handed off in the device connection mode. can do.
  • the fourth screen 1780 may be switched to the fifth screen 1790 according to a user input (eg, a touch or a tap) for the second visual element 1785 .
  • the fifth screen 1790 may be an application execution screen (eg, an album application execution screen). Thumbnails of images stored in the first electronic device 110 may be displayed on the fifth screen 1790 .
  • the fifth screen 1790 may include a thumbnail 1793 of the second image copied and/or moved from the second electronic device 120 to the first electronic device 110 .
  • the electronic device 1801 communicates with the electronic device 1802 through a first network 1898 (eg, a short-range wireless communication network) or a second network 1899 . It may communicate with at least one of the electronic device 1804 and the server 1808 through (eg, a remote wireless communication network). According to an embodiment, the electronic device 1801 may communicate with the electronic device 1804 through the server 1808 .
  • a first network 1898 eg, a short-range wireless communication network
  • a second network 1899 e.g., a second network 1899
  • the electronic device 1804 and the server 1808 eg, a remote wireless communication network
  • the electronic device 1801 may communicate with the electronic device 1804 through the server 1808 .
  • the electronic device 1801 includes a processor 1820 , a memory 1830 , an input module 1850 , a sound output module 1855 , a display module 1860 , an audio module 1870 , and a sensor module ( 1876), interface 1877, connection terminal 1878, haptic module 1879, camera module 1880, power management module 1888, battery 1889, communication module 1890, subscriber identification module 1896 , or an antenna module 1897 .
  • at least one of these components eg, the connection terminal 1878
  • some of these components are integrated into one component (eg, display module 1860 ). can be
  • the processor 1820 executes software (eg, a program 1840) to execute at least one other component (eg, a hardware or software component) of the electronic device 1801 connected to the processor 1820. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or computation, the processor 1820 converts commands or data received from other components (eg, the sensor module 1876 or the communication module 1890 ) to the volatile memory 1832 . may store the command or data stored in the volatile memory 1832 , and store the resulting data in the non-volatile memory 1834 .
  • software eg, a program 1840
  • the processor 1820 converts commands or data received from other components (eg, the sensor module 1876 or the communication module 1890 ) to the volatile memory 1832 .
  • the volatile memory 1832 may store the command or data stored in the volatile memory 1832 , and store the resulting data in the non-volatile memory 1834 .
  • the processor 1820 is the main processor 1821 (eg, a central processing unit or an application processor) or a secondary processor 1823 (eg, a graphics processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 1821 e.g, a central processing unit or an application processor
  • a secondary processor 1823 e.g, a graphics processing unit, a neural network processing unit
  • a neural processing unit e.g., a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the main processor 1821 e.g, a central processing unit or an application processor
  • a secondary processor 1823 eg, a graphics processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the electronic device 1801 includes a main processor 1821 and a sub-
  • the coprocessor 1823 may be, for example, on behalf of the main processor 1821 while the main processor 1821 is in an inactive (eg, sleep) state, or the main processor 1821 is active (eg, executing an application). ), together with the main processor 1821, at least one of the components of the electronic device 1801 (eg, the display module 1860, the sensor module 1876, or the communication module 1890) It is possible to control at least some of the related functions or states.
  • coprocessor 1823 eg, image signal processor or communication processor
  • may be implemented as part of another functionally related component eg, camera module 1880 or communication module 1890. have.
  • the auxiliary processor 1823 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 1801 itself on which the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 1808).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 1830 may store various data used by at least one component of the electronic device 1801 (eg, the processor 1820 or the sensor module 1876 ).
  • the data may include, for example, input data or output data for software (eg, a program 1840 ) and commands related thereto.
  • the memory 1830 may include a volatile memory 1832 or a non-volatile memory 1834 .
  • the program 1840 may be stored as software in the memory 1830 , and may include, for example, an operating system 1842 , middleware 1844 , or an application 1846 .
  • the input module 1850 may receive a command or data to be used by a component (eg, the processor 1820 ) of the electronic device 1801 from the outside (eg, a user) of the electronic device 1801 .
  • the input module 1850 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 1855 may output a sound signal to the outside of the electronic device 1801 .
  • the sound output module 1855 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 1860 may visually provide information to the outside (eg, a user) of the electronic device 1801 .
  • the display module 1860 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 1860 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 1870 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1870 acquires a sound through the input module 1850 or an external electronic device (eg, a sound output module 1855 ) directly or wirelessly connected to the electronic device 1801 .
  • the electronic device 1802) eg, a speaker or headphones
  • the sensor module 1876 detects an operating state (eg, power or temperature) of the electronic device 1801 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 1876 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1877 may support one or more specified protocols that may be used for the electronic device 1801 to directly or wirelessly connect with an external electronic device (eg, the electronic device 1802 ).
  • the interface 1877 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1878 may include a connector through which the electronic device 1801 can be physically connected to an external electronic device (eg, the electronic device 1802 ).
  • the connection terminal 1878 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1879 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 1879 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1880 may capture still images and moving images. According to one embodiment, the camera module 1880 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1888 may manage power supplied to the electronic device 1801 .
  • the power management module 1888 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1889 may supply power to at least one component of the electronic device 1801 .
  • battery 1889 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1890 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1801 and an external electronic device (eg, the electronic device 1802, the electronic device 1804, or the server 1808). It can support establishment and communication performance through the established communication channel.
  • the communication module 1890 may include one or more communication processors that operate independently of the processor 1820 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 1890 may include a wireless communication module 1892 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1894 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a corresponding communication module among these communication modules is a first network 1898 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 1899 (eg, legacy).
  • a first network 1898 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 1899 eg, legacy
  • the wireless communication module 1892 uses subscriber information stored in the subscriber identification module 1896 (eg, International Mobile Subscriber Identifier (IMSI)) within a communication network, such as the first network 1898 or the second network 1899 .
  • the electronic device 1801 may be identified or authenticated.
  • the wireless communication module 1892 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 1892 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 1892 uses various technologies for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 1892 may support various requirements specified in the electronic device 1801 , an external electronic device (eg, the electronic device 1804 ), or a network system (eg, the second network 1899 ).
  • the wireless communication module 1892 provides a peak data rate (eg, 20 Gbps or more) for realization of eMBB, loss coverage for realization of mMTC (eg, 164 dB or less), or U-plane latency (for URLLC realization) ( Example: Downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) can be supported.
  • a peak data rate eg, 20 Gbps or more
  • mMTC eg, 164 dB or less
  • U-plane latency for URLLC realization
  • the antenna module 1897 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 1897 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1897 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication scheme used in a communication network such as the first network 1898 or the second network 1899 is connected from the plurality of antennas by, for example, the communication module 1890 . can be selected. A signal or power may be transmitted or received between the communication module 1890 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 1897 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 1801 and the external electronic device 1804 through the server 1808 connected to the second network 1899 .
  • Each of the external electronic devices 1802 or 1804 may be the same or a different type of the electronic device 1801 .
  • all or a part of operations executed in the electronic device 1801 may be executed in one or more external electronic devices 1802 , 1804 , or 1808 .
  • the electronic device 1801 may perform the function or service by itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1801 .
  • the electronic device 1801 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 1801 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 1804 may include an Internet of things (IoT) device.
  • IoT Internet of things
  • the server 1808 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 1804 or the server 1808 may be included in the second network 1899 .
  • the electronic device 1801 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may simply be used to distinguish an element from other elements in question, and may refer elements to other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 1836 or external memory 1838) readable by a machine (eg, electronic device 1801). may be implemented as software (eg, a program 1840) including For example, a processor (eg, processor 1820 ) of a device (eg, electronic device 1801 ) may call at least one command among one or more commands stored from a storage medium and execute it. This makes it possible for the device to be operated to perform at least one function according to the called at least one command.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones).
  • a portion of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. , or one or more other operations may be added.
  • the first electronic device (eg, the first electronic device 110 of FIG. 1 ) according to various embodiments includes a wireless communication circuit (eg, the wireless communication circuit 117 of FIG. 1 ), a display (eg, the display ( ) of FIG. 1 ) 111)), at least one processor (eg, the processor 113 of FIG. 1 ), and a memory (eg, the memory 115 of FIG. 1 ).
  • the memory may be connected to the wireless communication circuitry, the display, and the at least one processor.
  • the memory when executed, is configured to perform a device connection mode based on the at least one processor connecting a short-range wireless communication with a second electronic device through the wireless communication circuit, and the proximity of the second electronic device within a threshold distance a visual element indicating that the user can use is displayed through the display, the device connection mode is activated according to a user input for the visual element, Instructions for transmitting sharing information related to at least a part of one screen to the second electronic device may be stored.
  • the threshold distance may be shorter than the coverage of the short-range wireless communication.
  • the first electronic device may be maintained in an activated state while the device connection mode is activated.
  • the sharing information includes information for displaying a second screen for handing off a task related to the first screen, and information for displaying a second screen mirroring at least a part of the first screen. , or information for displaying a second screen forming a multi-screen with the first screen.
  • the display of the first screen may be substantially maintained through the display while waiting for a user input to the first electronic device in the device connection mode.
  • the first screen displayed on the first electronic device may be a screen for executing a first task.
  • the shared information transmitted to the second electronic device may include information for continuously executing the first task or executing the second task.
  • a second visual element may be displayed on the first screen.
  • the sharing information may be transmitted to the second electronic device in response to a user input for the second visual element.
  • the visual element includes a first icon part indicating that the device connection mode can be used, and a second icon part indicating information on an application or task to be handed off in the device connection mode. can do.
  • the instructions may further receive input information on a second screen corresponding to the first screen from the second electronic device and execute a task using the received input information. have.
  • a first task is executed in response to a user input to the first screen in the foreground, and the input information received from the second electronic device in the background
  • a second task may be executed.
  • the instructions may further display a third visual element for selecting content to share through the display, and display the content according to a user input for the third visual element to the second electronic It can be sent to the device.
  • the second electronic device (eg, the second electronic device 120 of FIG. 1 ) according to various embodiments includes a wireless communication circuit (eg, the wireless communication circuit 127 of FIG. 1 ), a display (eg, the display ( ) of FIG. 1 ) 121)), at least one processor (eg, the processor 123 of FIG. 1 ), and a memory (eg, the memory 125 of FIG. 1 ).
  • the memory may be connected to the wireless communication circuitry, the display, and the at least one processor. When executed, the memory is configured to perform a device connection mode based on the at least one processor connecting short-range wireless communication with a first electronic device through the wireless communication circuit, and the proximity of the first electronic device within a threshold distance.
  • a visual element indicating that the user can be used is displayed through the display, the device connection mode is activated according to a user input for the visual element, and in the device connection mode, the device is connected to the first electronic device through the short-range wireless communication.
  • Receive sharing information related to at least a portion of the first screen being displayed and store instructions for displaying a second screen corresponding to at least a portion of the first screen through the display based on the shared information.
  • the threshold distance may be shorter than the coverage of the short-range wireless communication.
  • the second screen may include a screen mirroring at least a portion of the first screen, a split screen related to the first screen, a sub screen related to the first screen, and at least a portion of the first screen may be at least one of screens reconstructed based on the type of the second electronic device.
  • the second electronic device may be maintained in an activated state while the device connection mode is activated.
  • an inter-device task handover function in which a screen of the second electronic device mirrors at least a part of a screen of the first electronic device, or the second electronic device
  • a mirror screen function in which a screen of the second electronic device mirrors at least a part of a screen of the first electronic device, or the second electronic device
  • One or more of the multi-screen functions in which the screen of is interlocked with the screen of the first electronic device may be provided.
  • a second visual element may be displayed on the screen of the second electronic device.
  • the sharing information may be obtained from the first electronic device in response to a user input for the second visual element.
  • the visual element may include a first icon part indicating that a device connection mode is available and a second icon part indicating information on an application or task to be handed off.
  • An interaction method of a first electronic device represents an operation of connecting a short-range wireless communication with a second electronic device, indicating that a device connection mode can be used based on the proximity of the second electronic device within a threshold distance
  • An interaction method of a second electronic device includes an operation of connecting a short-range wireless communication with a first electronic device, indicating that a device connection mode can be used based on the proximity of the first electronic device within a threshold distance Displaying a visual element, activating the device connection mode according to a user input for the visual element, in the device connection mode, through the short-range wireless communication,
  • the method may include receiving shared information related to at least a portion, and displaying a second screen corresponding to at least a portion of the first screen based on the shared information.

Abstract

외부 전자 장치와 인터랙션하는 전자 장치 및 그의 인터랙션 방법이 개시된다. 전자 장치는 외부 전자 장치와의 근거리 무선 통신을 연결하고, 외부 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 표시할 수 있다. 전자 장치는 시각적 요소에 대한 사용자 입력에 따라 기기 연결 모드를 활성화하고, 기기 연결 모드에서, 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 외부 전자 장치로 전송할 수 있다. 또는, 전자 장치는 기기 연결 모드에서 외부 전자 장치에 표시 중인 제2 화면의 적어도 일부와 관련된 공유 정보를 수신하고, 수신된 공유 정보에 기반하여 제2 화면의 적어도 일부에 대응하는 제3 화면을 디스플레이를 통해 표시할 수 있다. 이 외에, 다양한 다른 실시예들이 가능하다.

Description

외부 전자 장치와 인터랙션하는 전자 장치 및 그의 인터랙션 방법
본 문서는 전자 장치 및 그의 인터랙션 방법에 관한 것으로서, 더욱 상세하게는 외부 전자 장치와 인터랙션하는 전자 장치 및 그의 인터랙션 방법에 관한 것이다.
전자 장치는 다양한 타입(예: 스마트 폰, 모바일 단말, 태블릿, 웨어러블 장치(예: 스마트 워치, 스마트 글래스))으로 구현되어 서로 인터랙션할 수 있다.
예를 들어, 스마트 워치는 독립적으로 또는 스마트 폰과 연동하는 주변 기기로서 동작할 수 있다. 스마트 워치의 경우 인체에 착용 가능하므로, 사용자의 생체 정보(예: 심박수, 체온)를 수시로 획득할 수 있고, 사용자에게 직관적인 방식(예: 진동과 같은 햅틱 출력)으로 신호를 보낼 수도 있다. 스마트 워치는 손목 시계 형태를 가짐으로 인해 스마트 폰에 비해 상대적으로 작은 화면 사이를 가질 수 있다. 스마트 폰의 화면과 연동함으로써 스마트 워치의 입출력 환경이 개선될 수 있다.
스마트 폰의 경우 상대적으로 큰 화면 사이즈로 인해 시인성, 기능성, 조작성 측면에서 강점을 가질 수 있다.
복수의 전자 장치들이 인터랙션할 경우 각 전자 장치의 타입이나 공유되는 데이터의 종류에 따라 일관성이 없거나 사용자 불편을 유발하는 사용자 인터페이스의 전환이 발생할 수 있다.
인터랙션 동작 시 사용성 내지 편의성을 개선하기 위한, 사용자 인터페이스와 사용자 중심의 다양한 동작 시나리오가 필요할 수 있다. 일 예로, 스마트 폰을 이용 중인 사용자가 스마트 폰에서 보던 화면이나 수행 중인 태스크를 계속하면서 자신의 스마트 워치를 일시적으로 스마트 폰의 주변 기기로서 활용하는 동작 시나리오가 고려될 수 있다. 다른 예로, 스마트 워치의 화면을 상대적으로 큰 화면 사이즈를 갖는 스마트 폰으로 전환하여 처리하는 동작 시나리오가 고려될 수 있다.
본 개시의 목적은 사용자가 전자 장치들 간 인터랙션이 가능한 상태임을 직관적으로 인지하고 해당 기능을 쉽게 사용할 수 있도록 하는 전자 장치 및 그의 인터랙션 방법을 제공함에 있다.
본 개시의 다른 목적은 전자 장치들 간 인터랙션 동작 시 각 전자 장치의 타입에 관계없이 일관된 사용자 인터페이스를 제공하여 사용성 내지 편의성을 향상시킬 수 있는 전자 장치 및 그의 인터랙션 방법을 제공함에 있다.
본 개시의 다른 목적은 인터랙션 동작 시 단방향뿐만 아니라 연속적인 양방향 처리를 지원할 수 있는 전자 장치 및 그의 인터랙션 방법을 제공함에 있다.
본 개시의 또 다른 목적은 각 전자 장치의 타입이나 공유되는 데이터의 종류에 관계없이 사용자 중심의 다양한 동작 시나리오를 구현할 수 있는 전자 장치 및 그의 인터랙션 방법을 제공함에 있다.
다양한 실시예에 따른 제1 전자 장치는 무선 통신 회로, 디스플레이, 적어도 하나의 프로세서, 및 메모리를 포함할 수 있다. 상기 메모리는 상기 무선 통신 회로, 상기 디스플레이 및 상기 적어도 하나의 프로세서와 연결될 수 있다. 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 무선 통신 회로를 통해 제2 전자 장치와의 근거리 무선 통신을 연결하고, 상기 제2 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 상기 디스플레이를 통해 표시하고, 상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하고, 상기 기기 연결 모드에서 상기 근거리 무선 통신을 통해 상기 디스플레이에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 상기 제2 전자 장치로 전송하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따른 제2 전자 장치는 무선 통신 회로, 디스플레이, 적어도 하나의 프로세서, 및 메모리를 포함할 수 있다. 상기 메모리는 상기 무선 통신 회로, 상기 디스플레이 및 상기 적어도 하나의 프로세서와 연결될 수 있다. 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 무선 통신 회로를 통해 제1 전자 장치와의 근거리 무선 통신을 연결하고, 상기 제1 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 상기 디스플레이를 통해 표시하고, 상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하고, 상기 기기 연결 모드에서 상기 근거리 무선 통신을 통해 상기 제1 전자 장치에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 수신하고, 상기 공유 정보에 기반하여 상기 제1 화면의 적어도 일부에 대응하는 제2 화면을 상기 디스플레이를 통해 표시하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따른 제1 전자 장치의 인터랙션 방법은, 제2 전자 장치와의 근거리 무선 통신을 연결하는 동작, 상기 제2 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 표시하는 동작, 상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하는 동작, 및 상기 기기 연결 모드에서, 상기 근거리 무선 통신을 통해, 상기 제1 전자 장치에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 상기 제2 전자 장치로 전송하는 동작을 포함할 수 있다.
다양한 실시예에 따른 제2 전자 장치의 인터랙션 방법은, 제1 전자 장치와의 근거리 무선 통신을 연결하는 동작, 상기 제1 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 표시하는 동작, 상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하는 동작, 상기 기기 연결 모드에서, 상기 근거리 무선 통신을 통해, 상기 제1 전자 장치에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 수신하는 동작, 및 상기 공유 정보에 기반하여 상기 제1 화면의 적어도 일부에 대응하는 제2 화면을 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 사용자가 전자 장치들 간 인터랙션이 가능한 상태임을 직관적으로 인지하고 해당 기능을 쉽게 사용하도록 지원할 수 있다.
다양한 실시예들에 따르면, 전자 장치들 간 인터랙션 동작 시 각 전자 장치의 타입에 관계없이 일관된 사용자 인터페이스를 제공하여 사용성 내지 편의성을 향상시킬 수 있다.
다양한 실시예들에 따르면, 인터랙션 동작 시 단방향뿐만 아니라 연속적인 양방향 처리를 지원할 수 있다.
다양한 실시예들에 따르면, 각 전자 장치의 타입이나 공유되는 데이터의 종류에 관계없이 사용자 중심의 다양한 동작 시나리오를 구현할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시예에 따른 전자 장치의 블록도이다.
도 2는 일 실시예에 따른 전자 장치들 간 인터랙션 방법을 나타낸 흐름도이다.
도 3a는 일 실시예에 따른 전자 장치의 인터랙션 방법을 나타낸 흐름도이다.
도 3b는 다른 실시예에 따른 전자 장치의 인터랙션 방법을 나타낸 흐름도이다.
도 4a는 일 실시예에 따른 전자 장치에 적용 가능한 시각적 요소의 예시이다.
도 4b는 일 실시예에 따른 전자 장치에 적용 가능한 시각적 요소의 다양한 예시들이다.
도 5a는 일 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 5b는 일 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 6a는 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 6b는 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 7a는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 7b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 8a는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 8b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 9a는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 9b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 10은 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 11a는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 11b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 12a는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 12b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 12c는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 또 다른 예시이다.
도 13a는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 13b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 13c는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 또 다른 예시이다.
도 13d는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스 구조를 예시한 도면이다.
도 14는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 15a는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 15b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 16a는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 16b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 17a는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
도 17b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다.
도 18은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
이하, 다양한 실시예들이 첨부된 도면들을 참조하여 기재된다.
도 1은 일 실시예에 따른 전자 장치의 블록도이다.
일 실시예에 따른 전자 장치는 제1 전자 장치(110) 또는 제2 전자 장치(120)일 수 있다. 제1 전자 장치(110)와 제2 전자 장치(120)는 서로 인터랙션할 수 있다. 제2 전자 장치(120)는 제1 전자 장치(110)와 동일 또는 유사하게 구성될 수 있다. 제2 전자 장치(120)는 제1 전자 장치(110)와 동종 또는 이종의 장치일 수 있다. 예를 들어, 제1 전자 장치(110)는 스마트 폰 타입 또는 스마트 워치 타입 중 어느 하나이고, 제2 전자 장치(120)는 스마트 폰 타입 또는 스마트 워치 타입 중 다른 하나일 수 있다. 제2 전자 장치(120)는 제1 전자 장치(110)의 외부 전자 장치일 수 있다. 제1 전자 장치(110)는 제2 전자 장치(120)의 외부 전자 장치일 수 있다.
도 1을 참조하면, 일 실시예에 따른 제1 전자 장치(110)는 디스플레이(111), 프로세서(113), 메모리(115) 및 무선 통신 회로(117)를 포함할 수 있다.
제1 전자 장치(110)에 포함된 디스플레이(111), 프로세서(113), 메모리(115) 및 무선 통신 회로(117)는 전기적으로 및/또는 작동적으로 서로 연결되어 상호 간에 신호(예: 명령 또는 데이터)를 교환할 수 있다.
제1 전자 장치(110)는 도 18에 도시된 제1 전자 장치(1801)의 적어도 일부를 포함할 수 있다. 예를 들어, 디스플레이(111)는 도 18의 디스플레이 모듈(1860)일 수 있다. 프로세서(113)는 도 18의 프로세서(1820 또는 1823 중의 하나)일 수 있다. 메모리(115)는 도 18의 메모리(1830) 중 적어도 일부를 포함할 수 있다. 무선 통신 회로(117)는 도 18의 무선 통신 모듈(1890)일 수 있다.
프로세서(113)는 적어도 하나의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(113)는 AP(application processor)(예: 메인 프로세서(1821)) 및 CP(communication processor)(예: 보조 프로세서(1823)) 중 적어도 하나를 포함할 수 있다.
프로세서(113)는 제1 전자 장치(110)에서 지원하는 다양한 기능을 실행 및/또는 제어할 수 있다. 프로세서(113)는 디스플레이(111), 메모리(115) 및/또는 무선 통신 회로(117)를 제어할 수 있다. 프로세서(113)는 제1 전자 장치(110)의 메모리(115)에 저장된 프로그래밍 언어로 작성된 코드를 실행함으로써 어플리케이션을 실행하고, 각종 하드웨어를 제어할 수 있다. 예를 들어, 프로세서(113)는 어플리케이션을 실행하여 어플리케이션 실행 화면에서 상기 어플리케이션의 태스크 셋(하나 이상의 태스크)을 실행하거나 상기 어플리케이션이 지원하는 다양한 기능들을 제공할 수 있다. 메모리(115)에 저장된 인스트럭션들(instructions)이 실행됨에 따라, 프로세서(113)의 동작이 수행될 수 있다.
프로세서(113)는 디스플레이(111)를 제어할 수 있다. 디스플레이(111)를 통해 제1 전자 장치(110)의 화면이 표시될 수 있다.
무선 통신 회로(117)는 근거리 무선 통신(예: 블루투스, Wi-Fi direct, BLE(bluetooth low energy))을 지원할 수 있다. 무선 통신 회로(117)를 통해 제1 전자 장치(110)와 제2 전자 장치(120) 간의 근거리 무선 통신 연결이 수립되어 통신이 수행될 수 있다.
프로세서(113)는 무선 통신 회로(117)를 통해 제2 전자 장치(120)와의 근거리 무선 통신을 연결할 수 있다.
일 실시예에서, 프로세서(113)는 제2 전자 장치(120)가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 제1시각적 요소를 디스플레이(111)를 통해 표시할 수 있다.
예를 들어, 프로세서(113)는 수신 신호 세기(예: received signal strength, RSSI) 또는 송신 신호 세기와 수신 신호 세기 간 차이를 기초로 제1 전자 장치(110)와 제2 전자 장치(120) 간 상대적인 거리를 측정하여 두 전자 장치(110, 120)가 임계 거리 이내로 근접하는지 여부를 판단할 수 있다.
상기 임계 거리는 근거리 무선 통신(예: 블루투스, Wi-Fi direct, BLE)의 커버리지에 비해 짧을 수 있다. 예를 들어, 상기 임계 거리는 기기 간 화면 공유가 가능한 정도의 거리 또는 한 사용자가 육안으로 제1 전자 장치(110)(예: 스마트 폰 및 스마트 워치 중 하나)의 화면 및 제2 전자 장치(120)(예: 스마트 폰 및 스마트 워치 중 다른 하나)의 화면을 함께 볼 수 있는 정도의 거리(예: 0 ~ 60cm)일 수 있다. 제1 전자 장치(110) 및 제2 전자 장치(120) 간 거리가 임계 거리(예: 60cm)를 초과할 경우 상기 두 장치들의 화면들을 공유하거나 상기 두 장치들의 화면들을 둘 다 사용하기가 어려울 수 있다. 예를 들어, 사용자는 제1 전자 장치(110) 및 제2 전자 장치(120)가 근거리 무선 통신(예: 블루투스)으로 연결된 상태에서 제1 전자 장치(110)를 사용하는 중에, 제2 전자 장치(120)의 화면을 활용하기 위해 제2 전자 장치(120)를 가까이 가져올 수 있다. 두 전자 장치들(110, 120)이 임계 거리 이내로 근접함에 따라 두 장치들(110, 120) 중 적어도 일측의 화면에서 기기 연결 모드의 사용이 가능함을 알리는 시각적 요소가 나타날 수 있다.
일 실시예에서, 시각적 요소는 기기 연결 모드의 사용이 가능한 상태임을 알리는 시각적 단서를 제공하기 위한 것일 수 있다. 제1시각적 요소는 시각적 큐(visual cue)로 지칭될 수도 있다. 제1시각적 요소는 사용자가 기기 연결 모드의 사용이 가능한 상태임을 직관적으로 인지하거나 기기 연결 모드로 쉽게 진입하도록 유도하기 위한 것일 수 있다.
일 예로, 제1시각적 요소는 인디케이터 타입일 수 있다. 다른 예로, 제1시각적 요소는 아이콘 타입일 수 있다. 또 다른 예로, 시각적 요소는 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트와, 기기 연결 모드에서 핸드오프될 어플리케이션 또는 태스크에 대한 정보를 나타내는 제2 아이콘 파트를 포함할 수 있다.
프로세서(113)는 제1시각적 요소에 대한 사용자 입력에 따라 기기 연결 모드를 활성화할 수 있다.
일 실시예에 따르면, 프로세서(113)는 기기 연결 모드에서, 근거리 무선 통신을 통해, 제1 전자 장치(110)에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 제2 전자 장치(120)로 전송할 수 있다. 프로세서(113)는 공유 정보의 전송 동작을 수행하도록 무선 통신 회로(117)를 제어할 수 있다.
일 실시예에 따르면, 기기 연결 모드에서, 기기 간 태스크 핸드오프 기능, 미러스크린 기능 또는 멀티스크린 기능 중 적어도 하나의 기기 연결 기능이 제공될 수 있다.
기기 연결 모드에서, 제1 전자 장치(110)의 프로세서(113)는 제2 전자 장치(120)와 인터랙션할 수 있다. 프로세서(113)는 표시 중인 제1 화면에 대한 공유 정보를 전송하여 기기 연결 기능을 지원할 수 있다. 기기 연결 모드에서, 제2 전자 장치(120)의 프로세서(123)는 제1 전자 장치(110)와 인터랙션할 수 있다. 프로세서(123)는 제1 전자 장치(110)로부터 수신된 공유 정보를 기반으로 기기 연결 기능을 실행할 수 있다.
제1 전자 장치(110)에서 제2 전자 장치(120)로 전송되는 공유 정보는 기기 연결 모드에 따른 기기 연결 기능을 제공하기 위한 것일 수 있다. 일 예로, 상기 공유 정보는 제1 전자 장치(110)의 제1 화면과 관련된 태스크를 핸드오프하기 위한 제2 화면을 표시하기 위한 정보일 수 있다. 다른 예로, 상기 공유 정보는 제1 전자 장치(110)에 표시 중인 제1 화면의 적어도 일부를 미러링한 제2 화면을 표시하기 위한 정보일 수 있다. 또 다른 예로, 상기 공유 정보는 제1 전자 장치(110)에 표시 중인 제1 화면과 멀티스크린을 이루는 제2 화면을 표시하기 위한 정보일 수 있다.
기기 연결 모드에서, 제2 전자 장치(120)는 제1 전자 장치(110)로부터 수신된 공유 정보에 기반하여 제2 화면을 표시할 수 있다. 제1 전자 장치(110)는 제2 전자 장치(120)에 표시된 제2 화면에 대한 입력 정보를 수신할 수 있다.
일 실시예에서, 기기 연결 모드가 활성화된 동안 제1 전자 장치(110) (또는 제1 전자 장치(110)의 디스플레이)는 활성화 상태로 유지될 수 있다. 기기 연결 모드가 활성화된 동안 제1 전자 장치(110) 및 제2 전자 장치(120)(또는 제2 전자 장치(120)의 디스플레이) 양측이 모두 활성화 상태로 유지될 수 있다. 기기 연결 모드에서 동작 중인 양측의 전자 장치들(110, 120)이 활성화 상태를 유지할 경우, 복수 개의 장치 화면들을 모두 활용할 수 있음으로 인해 사용성 내지 편의성이 향상될수 있다.
전자 장치(110, 120)의 활성화 상태는 전자 장치(110, 120)의 정상(normal) 상태, 사용 중 상태 또는 전자 장치(110, 120) 내 디스플레이의 온 상태 중 어느 하나일 수 있다. 전자 장치(110, 120)의 비활성화 상태는 전자 장치(110, 120)의 아이들(idle) 상태, 슬립(sleep) 상태, 저전력 상태, 미사용 상태 또는 전자 장치(110, 120) 내 디스플레이의 오프 상태 중 어느 하나일 수 있다.
비교 예로서, 두 전자 장치들 간 기기 연결 시 태스크 핸드오프를 요청받은 일측 전자 장치만 활성화되고 타측 전자 장치는 비활성화되는 경우가 고려될 수 있다. 예를 들어, 스마트 워치에서 스마트 폰으로 단방향의 태스크 핸드오프가 발생한 후 스마트 워치가 비활성화될 수 있다. 이 경우 두 전자 장치들의 화면이 충분히 활용되지 못하고 양방향의 태스크 핸드오프가 불가능해져 사용성 내지 편의성이 저하될 수 있다.
일 실시예에서, 기기 연결 모드에서 제1 전자 장치(110)에 대한 사용자 입력을 대기하는 동안 디스플레이(111)를 통해 표시 중인 현재 화면인 제1 화면의 표시가 실질적으로 유지될 수 있다. 제1 전자 장치(110) 또는 제1 화면에 대한 직접적인 사용자 입력이 없는 한 제1 전자 장치(110)에서 현재 화면인 제1 화면의 표시가 실질적으로 유지될 수 있다. 제2 전자 장치(120)의 제2 화면을 일시적으로 제1 화면과 함께 활용하되 제2 전자 장치(120)에서의 사용자 입력이나 태스크 처리에 관계없이 제1 전자 장치(110)에서 제1 화면의 표시가 유지될 경우, 제1 전자 장치(110)에서 보던 화면을 전환시켜야 하거나 복수 개의 브라우징 탭들(또는 윈도우들)을 열어야 하는 불편을 개선할 수 있다.
일 실시예에서, 기기 연결 모드가 활성화된 동안, 포어그라운드에서 제1 전자 장치(110)의 제1 화면에 대한 사용자 입력에 응답하여 제1 태스크가 실행되고, 백그라운드에서 제2 전자 장치(120)로부터 수신되는 입력 정보에 응답하여 제2 태스크가 실행될 수 있다. 사용자는 제1 전자 장치(110)의 제1 화면을 이용해 제1 태스크(예: 인터넷 브라우징)를 실행하고, 제2 전자 장치(120)의 제2 화면을 이용해 제2 태스크(예: 수신 문자 보기)를 실행할 수 있다.
일 실시예에서, 제1 전자 장치(110)에 표시된 제1 화면은 제1 태스크를 실행하기 위한 화면일 수 있다. 제1 전자 장치(110)로부터 제2 전자 장치(120)로 전송되는 공유 정보는 상기 제1 태스크를 이어서 실행하거나 제2 태스크를 실행하기 위한 정보를 포함할 수 있다. 일 예로, 상기 제2 태스크는 화면 전환을 유도하는 태스크, 상기 제1 태스크의 연동 태스크, 상기 제1 태스크의 후속 태스크, 또는 상기 제1 태스크의 하위 태스크 중 어느 하나일 수 있다. 다른 예로, 상기 제1 태스크 및 상기 제2 태스크는 동일한 어플리케이션(이하, '앱'으로 지칭될 수도 있음)을 이용해 실행되는 상이한 태스크일 수 있다. 동일한 앱이라 함은 실질적으로 동일한 앱(예: 스마트 폰에 설치된 메시지 앱과 스마트 워치에 설치된 메시지 앱), 동일한 종류의 앱, 또는 서로 대응하는 앱을 의미할 수 있다. 또 다른 예로, 상기 제1 태스크는 제1 앱을 이용해 실행되는 태스크이고, 상기 제2 태스크는 상기 제1 앱과 상이한 제2 앱을 이용해 실행되는 태스크일 수 있다.
일 실시예에서, 기기 연결 모드가 활성화됨에 따라 제1 전자 장치(110)에 표시 중인 제1 화면에 제2 시각적 요소가 표시될 수 있다. 상기 제2 시각적 요소에 대한 사용자 입력에 응답하여 제1 전자 장치(110)에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보가 제2 전자 장치(120)로 전송될 수 있다.
일 실시예에서, 프로세서(113)는 공유할 콘텐츠를 선택하기 위한 제3 시각적 요소를 디스플레이(111)를 통해 표시할 수 있다. 프로세서(113)는 상기 제3 시각적 요소에 대한 사용자 입력에 따라 선택된 상기 콘텐츠를 무선 통신 회로(117)를 통해 제2 전자 장치(120)로 전송할 수 있다.
일 실시예에 따른 제2 전자 장치(120)는 디스플레이(121), 프로세서(123), 메모리(125) 및 무선 통신 회로(127)를 포함할 수 있다. 제2 전자 장치(120)의 구성요소들인 디스플레이(121), 프로세서(123), 메모리(125) 및 무선 통신 회로(127)는 각각, 제1 전자 장치(110)의 구성요소들인 디스플레이(111), 프로세서(113), 메모리(115) 및 무선 통신 회로(117)에 대응 가능하므로, 중복되는 기능이나 동작에 대한 설명은 생략한다.
제2 전자 장치(120)의 프로세서(123)는 무선 통신 회로(127)를 통해 제1 전자 장치(110)와의 근거리 무선 통신을 연결할 수 있다. 프로세서(123)는 제1 전자 장치(110)가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 디스플레이(111)를 통해 표시할 수 있다. 상기 임계 거리는 상기 근거리 무선 통신의 커버리지에 비해 짧을 수 있다.
프로세서(123)는 제1시각적 요소에 대한 사용자 입력에 따라 기기 연결 모드를 활성화할 수 있다. 프로세서(123)는 기기 연결 모드에서, 근거리 무선 통신을 통해, 제1 전자 장치(110)에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 수신할 수 있다. 프로세서(123)는 공유 정보의 수신 동작을 수행하도록 무선 통신 회로(117)를 제어할 수 있다.
일 실시예에서, 기기 연결 모드가 활성화된 동안 제1 전자 장치(110) 및 제2 전자 장치(120) 양측이 모두 활성화 상태로 유지될 수 있다. 기기 연결 모드가 활성화된 동안 제2 전자 장치(120)의 화면이 제1 전자 장치(110)의 화면 중 적어도 일부를 미러링하는 미러스크린 기능이 제공될 수 있다. 기기 연결 모드가 활성화된 동안 제2 전자 장치(120)의 화면이 제1 전자 장치(110)의 화면과 연동되는 멀티스크린 기능이 제공될 수 있다.
기기 연결 모드에서, 제2 전자 장치(120)의 프로세서(123)는 제1 전자 장치(110)로부터 제1 전자 장치(110)에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 수신하고, 상기 수신된 공유 정보에 기반하여 상기 제1 화면에 대응하는 제2 화면을 디스플레이(121)를 통해 표시할 수 있다. 제2 화면은 제1 화면의 적어도 일부를 미러링한 화면, 상기 제1 화면과 관련된 분할 화면, 상기 제1 화면과 관련된 서브 화면, 및 상기 제1 화면의 적어도 일부를 제2 전자 장치(120)의 타입에 기반하여 재구성한 화면 중 적어도 하나일 수 있다. 기기 연결 모드에서, 제2 화면을 이용해 태스크가 실행될 수 있다.
일 실시예에서, 프로세서(123)는 기기 연결 모드가 활성화됨에 따라 제2 시각적 요소를 제2 전자 장치(120)의 화면에 표시할 수 있다. 프로세서(123)는 상기 제2 시각적 요소에 대한 사용자 입력에 응답하여 제1 전자 장치(110)로부터 상기 공유 정보를 획득할 수 있다.
일 실시예에서, 프로세서(123)는 디스플레이(121)에 표시된 제2 화면을 통해 태스크를 처리할 수 있다. 일 예로, 프로세서(123)는 상기 제2 화면에 대한 사용자 입력에 응답하여 태스크를 실행할 수 있다. 다른 예로, 프로세서(123)는 상기 제2 화면에 대한 입력 정보를 제1 전자 장치(110)로 전달하여 제1 전자 장치(110)에서 상기 입력 정보에 따른 태스크를 실행하도록 할 수 있다.
일 실시예에 따르면, 기기 연결 모드에서 기기 간 태스크 핸드오프 기능이 제공될 수 있다.
예를 들어, 제1 전자 장치(110)로부터 수신된 공유 정보를 기초로 제1 전자 장치(110)에 표시 중인 제1 화면과 관련된 태스크를 핸드오프하기 위한 제2 화면이 제2 전자 장치(120)의 디스플레이(121)를 통해 표시될 수 있다. 다른 예로, 기기 연결 모드로 동작 중인 복수 개의 전자 장치들(110, 120)의 화면들을 통해 태스크(들)가 선택적으로 실행될 수 있다. 또 다른 예로, 제1 전자 장치(110) 내 파일(예: 이미지 파일)을 제2 전자 장치(120)에서 표시하고자 할 경우 상기 파일 전체를 물리적으로 전송할 필요 없이 상기 파일에 대한 공유 정보(예: 썸네일들)만이 제공될 수 있다. 제2 전자 장치(120)의 화면이 일시적으로 활용되어 상기 화면을 통해 제1 전자 장치(110) 내 파일에 대한 공유 정보가 표시될 수 있다.
일 실시예에 따르면, 기기 연결 모드에서 미러스크린 기능이 제공될 수 있다.
일 예로, 제2 전자 장치(120)의 프로세서(123)는 제1 전자 장치(110)로부터 수신된 공유 정보를 기초로 제1 전자 장치(110)에 표시 중인 제1 화면의 전체 또는 일부를 미러링한 제2 화면을 표시할 수 있다. 다른 예로, 제2 전자 장치(120)는 제1 전자 장치(110)로부터 수신된 공유 정보를 기초로 제1 전자 장치(110)에 표시 중인 제1 화면(예: 이메일 작성 화면)과 관련된 태스크들 중 일부를 실행하기 위한 제2 화면(예: 이메일 작성을 위한 입력 필드와 키보드 표시 화면)을 표시할 수 있다.
미러스크린 기능의 수행 시 제1 전자 장치(110) 및/또는 제2 전자 장치(120)의 타입이 추가로 고려될 수 있다. 예를 들어, 제1 전자 장치(110)가 스마트 워치 타입이고, 제1 전자 장치(110)에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보가 스마트 폰 타입의 제2 전자 장치(120)로 전송되는 경우, 제2 전자 장치(120)는 제1 전자 장치(110)로부터 수신된 제1 화면의 적어도 일부와 관련된 공유 정보 및 제2 전자 장치(120)의 타입을 기초로 제2 화면을 재구성하여 표시할 수 있다.
제2 전자 장치(120)의 화면 크기가 제1 전자 장치(110)보다 크다면(예: 제2 전자 장치(120)가 스마트 폰이고, 제1 전자 장치(110)가 스마트 워치인 경우), 제2 전자 장치(120)의 화면인 제2 화면은 제1 전자 장치(110)의 화면인 제1 화면보다 더 많은 정보 및/또는 기능을 제공할 수 있다. 예를 들어, 제2 화면은 제1 화면보다 많은 콘텐츠(예: texts, lists, image thumbnails)를 보여주거나 제1 화면으로부터 하위 레벨로 진입(depth-in)해야 볼 수 있는 내용을 화면 전환(예: 스크롤, 탭이나 윈도우 전환, 하위 메뉴 진입) 없이 한 화면에서 제공할 수 있다.
제1 화면과 관련된 사용자 인터페이스와 제2 화면과 관련된 사용자 인터페이스는 서로 다른 형태일 수 있다. 예를 들어, 스마트 워치 타입인 제1 전자 장치(110)의 제1 화면에서는 원형으로 표시된 사용자 인터페이스가, 스마트 폰 타입인 제2 전자 장치(120)의 제2 화면에서는 길쭉한 타원형 혹은 스마트 폰의 전체 화면에 대응하는 사각형으로 표시될 수 있다.
제2 전자 장치(120)의 화면 크기가 제1 전자 장치(110)보다 작다면(예: 제2 전자 장치(120)가 스마트 워치이고, 제1 전자 장치(110)가 스마트 폰인 경우), 제2 전자 장치(120)는 제1 전자 장치(110)의 화면인 제1 화면과 관련된 일부 기능(예: 브라우저 앱에서 열린 탭들 모음, 전화 앱에서 키패드, 캘린더 앱에서 월별보기)을 제공하기 위한 제2 화면을 표시할 수 있다.
일 실시예에 따르면, 기기 연결 모드에서 멀티스크린 기능이 제공될 수 있다.
기기 연결 모드에서 제공 가능한 멀티스크린 기능과 관련된 동작 시나리오들을 예시하면 다음과 같다.
일 예로, 제1 전자 장치(110) 및 제2 전자 장치(120)가 동일 태스크를 제공할 수 있도록 구성된 경우 동일 태스크의 다양한 기능과 사용자 인터페이스의 구성이 두 전자 장치들(110, 120)의 화면들을 통해 분할되어 제공될 수 있다. 다른 예로, 제1 전자 장치(110)에 표시 중인 제1 화면이 제1 앱의 실행 화면이고, 제2 앱의 실행이 필요한 경우, 제2 앱의 실행 화면인 제2 화면이 제2 전자 장치(120)를 통해 표시될 수 있다. 또 다른 예로, 제1 화면이 제1 앱을 이용한 한 태스크에 대한 실행 화면이고, 상기 태스크의 핸드오프가 필요한 경우, 상기 태스크를 이어받아 처리하기 위한 제2 화면이 표시될 수 있다. 또 다른 예로, 제1 화면이 제1 앱을 이용한 제1 태스크에 대한 실행 화면이고, 제1 앱을 이용한 제2 태스크의 실행이 필요한 경우, 상기 제2 태스크를 실행하기 위한 제2 화면이 표시될 수 있다. 또 다른 예로, 제1 전자 장치(110)의 제1 화면의 표시 중에 화면 전환이 필요한 경우(예: 메인 뷰의 전환, 브라우징 탭 전환, 윈도우 전환 또는 어플리케이션 전환이 필요한 경우), 제2 전자 장치(120)의 제2 화면을 통해 전환된 화면(예: 전환된 탭이나 윈도우, 또는 제1 전자 장치(110)에서 실행 중인 제1 앱과 상이한 제2 앱의 실행 화면)이 표시될 수 있다.
일 실시예에서, 프로세서(123)는 공유할 콘텐츠를 선택하기 위한 제3 시각적 요소를 디스플레이(121)를 통해 표시할 수 있다. 프로세서(123)는 상기 제3 시각적 요소에 대한 사용자 입력에 따라 선택된 콘텐츠를 무선 통신 회로(127)를 통해 제2 전자 장치(120)로 전송할 수 있다.
이하, 도 2, 도 3a 및 도 3b를 참조하여 다양한 실시예들에 따른 인터랙션 방법을 설명한다. 도시된 인터랙션 방법의 동작들 중 적어도 하나가 생략되거나 다른 동작 주체에 의해 수행될 수 있다. 또는, 일부 동작의 순서가 바뀌거나, 다른 동작이 추가될 수 있다. 또는, 각 실시예의 동작들이 선택적으로 조합되어 수행될 수 있다.
도 2는 일 실시예에 따른 전자 장치들 간 인터랙션 방법을 나타낸 흐름도이다.
일 실시예에 따른 전자 장치들 간 인터랙션 방법은 동작 205 내지 동작 250을 포함할 수 있다. 예를 들어, 제1 전자 장치(110)는 스마트 폰 및 스마트 워치 중 하나일 수 있다. 제2 전자 장치(120)는 스마트 폰 및 스마트 워치 중 다른 하나일 수 있다.
동작 205에서, 제1 전자 장치(110)와 제2 전자 장치(120) 간 근거리 무선 통신(예: 블루투스, Wi-Fi direct, BLE)이 연결될 수 있다.
동작 210에서, 제1 전자 장치(110)는 제1 화면(예: 메시지 앱의 실행 화면)을 표시할 수 있다.
동작 215에서, 제1 전자 장치(110)는 기기 연결 모드의 사용이 가능한지 여부를 판단할 수 있다.
예를 들어, 제1 전자 장치(110)와 제2 전자 장치(120) 간 거리가 임계 거리 이하인 경우 기기 연결 모드의 사용이 가능한 것으로 판단할 수 있다. 제1 전자 장치(110)와 제2 전자 장치(120) 간 거리가 임계 거리를 초과한 경우 기기 연결 모드의 사용이 불가능한 것으로 판단할 수 있다. 예를 들어, 제1 전자 장치(110)는 수신 신호 세기(예: RSSI) 또는 송신 신호 세기와 수신 신호 세기 간 차이를 기초로 제1 전자 장치(110)와 제2 전자 장치(120) 간 상대적인 거리를 측정하여 두 전자 장치(110, 120)가 임계 거리 이내로 근접하는지 여부를 판단할 수 있다.
상기 임계 거리는 근거리 무선 통신(예: 블루투스, Wi-Fi direct, BLE)의 커버리지에 비해 짧을 수 있다. 예를 들어, 상기 임계 거리는 기기 간 화면 공유가 가능한 정도의 거리 또는 한 사용자가 육안으로 제1 전자 장치(110)의 화면 및 제2 전자 장치(120)의 화면을 함께 볼 수 있는 정도의 거리일 수 있다.
동작 215는 제2 전자 장치(120)에서 수행될 수도 있다.
동작 215의 판단 결과 기기 연결 모드의 사용이 불가능한 경우(동작 215 - 아니오), 기기 연결 모드의 사용을 위한 후속 동작들(동작 220 내지 동작 250)이 수행되지 않을 수 있다. 기기 연결 모드가 활성화되지 않을 수 있다.
동작 215의 판단 결과 기기 연결 모드의 사용이 가능한 경우(동작 215 - 예), 동작 217, 동작 220 및/또는 동작 225가 수행될 수 있다.
동작 217에서, 제1 전자 장치(110)는 제2 전자 장치(120)로 기기 연결 모드의 사용이 가능함을 알리는 알림 신호를 전송할 수 있다. 제2 전자 장치(120)에서 동작 215가 수행되는 경우에는, 제2 전자 장치(120)가 제1 전자 장치(110)로 기기 연결 모드의 사용이 가능함을 알리는 알림 신호를 전송할 수 있다.
동작 220 및 동작 225에서, 제1 전자 장치(110) 및 제2 전자 장치(120) 중 적어도 일측에서 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소가 표시될 수 있다.
일 실시예에서, 시각적 요소는 기기 연결 모드의 사용이 가능한 상태임을 알리는 시각적 단서를 제공하기 위한 것일 수 있다. 시각적 요소는 사용자가 기기 연결 모드의 사용이 가능한 상태임을 직관적으로 인지하거나 기기 연결 모드로 쉽게 진입하도록 유도하기 위한 것일 수 있다.
일 예로, 시각적 요소는 인디케이터 타입일 수 있다. 다른 예로, 시각적 요소는 아이콘 타입일 수 있다. 또 다른 예로, 시각적 요소는 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트와, 기기 연결 모드에서 핸드오프될 어플리케이션 또는 태스크에 대한 정보를 나타내는 제2 아이콘 파트를 포함할 수 있다. 제1 아이콘 파트 및 제2 아이콘 파트를 통해 기기 연결 모드의 사용이 가능한 상태임과 기기 연결 모드에서 핸드오프될 앱/태스크를 사용자에게 직관적으로 인지시킴으로써 사용자의 다음 행동을 자연스럽게 유도할 수 있다.
도 2에서는 동작 220 및 동작 225가 둘다 수행되어 제1 전자 장치(110) 및 제2 전자 장치(120) 양측에서 시각적 요소가 표시되는 경우를 예시하였으나, 실시예에 따라, 동작 220 및 동작 225 중 하나가 생략될 수도 있다. 일 예로, 제1 전자 장치(110)에 표시 중인 제1 화면(예: 메시지 어플리케이션 실행 화면)에 시각적 요소가 나타날 수 있다. 다른 예로, 화면 미사용 중인 제2 전자 장치(120)가 비활성화 상태에서 활성화 상태로 전환되고, 제2 전자 장치(120)의 제2 화면(예: 홈 화면, 잠금 화면)에 제2 시각적 요소가 나타날 수 있다. 또 다른 예로, 제1 전자 장치(110)의 제1 화면(예: 메시지 어플리케이션 실행 화면) 및 제2 전자 장치(120)의 제2 화면(예: 홈 화면, 잠금 화면) 양측에서 시각적 요소가 나타날 수 있다.
동작 230 및 동작 235는 사용자 인증 여부를 판단하기 위한 것일 수 있다.
동작 230에서, 제2 전자 장치(120)는 제2 전자 장치(120)의 사용자 인증이 필요한지 여부를 판단할 수 있다. 예를 들어, 제2 전자 장치(120)에서 사용자가 자신의 계정에 로그인한 상태인 경우 사용자 인증이 불필요한 것으로 판단될 수 있다. 제2 전자 장치(120)에서 사용자가 자신의 계정에 로그인하지 않은 상태인 경우 사용자 인증이 필요한 것으로 판단될 수 있다.
사용자 인증이 필요한 경우(동작 230 - 예), 동작 235로 진행될 수 있다. 동작 235에서, 제1 전자 장치(110)는 제1 전자 장치(110)의 사용자 인증이 된 상태인지 여부를 판단할 수 있다. 예를 들어, 제1 전자 장치(110)에서 사용자가 자신의 계정에 로그인한 상태인 경우 제1 전자 장치(110)의 사용자 인증이 수행된 상태로 판단될 수 있다. 제1 전자 장치(110)에서 사용자가 자신의 계정에 로그인하지 않은 상태인 경우 사용자 인증이 수행되지 않은 상태로 판단될 수 있다.
동작 230 및/또는 동작 235의 사용자 인증 동작은 실시예에 따라 생략되거나 변형될 수 있다. 또는, 동작들의 순서가 서로 바뀔 수도 있다. 일 예로, 동작 230 및 동작 235 중 하나 이상이 생략될 수 있다. 다른 예로, 제1 전자 장치(110) 및 제2 전자 장치(120)의 적어도 일측에서 사용자 인증 여부를 판단하거나 사용자 인증을 요구할 수 있다. 또 다른 예로, 제1 전자 장치(110)가 먼저 사용자 인증 여부를 확인하고, 사용자 인증이 수행되지 않은 경우 제2 전자 장치(120)에서의 사용자 인증 여부를 확인할 수 있다.
제1 전자 장치(110) 또는 제2 전자 장치(120) 중 적어도 일측에서 사용자 인증이 수행된 상태인 경우(동작 230 - 아니오, 동작 235 - 예), 동작 240이 수행될 수 있다. 동작 240에서, 기기 연결 모드가 활성화될 수 있다.
제1 전자 장치(110) 및 제2 전자 장치(120) 중 어느 쪽에서도 사용자 인증이 수행되지 않은 상태인 경우(동작 230 - 예, 동작 235 - 아니오), 기기 연결 모드가 활성화되지 않을 수 있다.
동작 240에서, 기기 연결 모드가 활성화될 수 있다. 기기 연결 모드에서, 동작 240 및 동작 250이 수행될 수 있다.
동작 245에서, 제1 전자 장치(110)는 제2 전자 장치(120)와의 기기 연결을 위해 제1 화면의 적어도 일부와 관련된 공유 정보를 제2 전자 장치(120)로 전송할 수 있다. 제2 전자 장치(120)는 기기 연결을 위한 상기 공유 정보를 수신할 수 있다.
일 실시예에서, 기기 연결 모드가 활성화됨에 따라 제1 전자 장치(110)에 표시 중인 제1 화면에 제2 시각적 요소가 표시될 수 있다. 상기 제2 시각적 요소에 대한 사용자 입력에 응답하여 제1 전자 장치(110)에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보가 제2 전자 장치(120)로 전송될 수 있다.
일 예로, 제1 전자 장치(110)에서 제2 전자 장치(120)로 전송되는 공유 정보는 제1 전자 장치(110)에서 표시 중인 제1 화면과 관련된 태스크를 핸드오프하기 위한 제2 화면을 표시하기 위한 정보일 수 있다. 다른 예로, 상기 공유 정보는 제1 전자 장치(110)에 표시 중인 제1 화면의 적어도 일부를 미러링한 제2 화면을 표시하기 위한 정보일 수 있다. 또 다른 예로, 상기 공유 정보는 제1 전자 장치(110)에 표시 중인 제1 화면과 멀티스크린을 이루는 제2 화면을 표시하기 위한 정보일 수 있다.
동작 250에서, 제2 전자 장치(120)는 제1 전자 장치(110)로부터 수신된 공유 정보에 기반하여 제1 화면에 대응하는 제2 화면을 표시할 수 있다. 상기 제2 화면은 상기 제1 화면의 적어도 일부를 미러링한 화면, 상기 제1 화면과 관련된 분할 화면, 상기 제1 화면과 관련된 서브 화면, 및 상기 제1 화면의 적어도 일부를 상기 제2 전자 장치의 타입에 기반하여 재구성한 화면 중 적어도 하나일 수 있다.
동작 250에서, 제1 전자 장치(110) 및 제2 전자 장치(120) 간 기기 연결 기능이 실행될 수 있다. 기기 연결 모드에서 실행 가능한 기기 연결 기능은 기기 간 태스크 핸드오프 기능, 미러스크린 기능 또는 멀티스크린 기능 중 적어도 하나일 수 있다.
기기 연결 모드에서, 제2 전자 장치(120)는 제1 전자 장치(110)로부터 수신된 제1 화면의 적어도 일부와 관련된 공유 정보에 기반하여 상기 제1 화면에 대응하는 제2 화면을 표시할 수 있다. 기기 연결 모드에서, 제2 화면을 이용해 태스크가 실행될 수 있다. 일 예로, 제2 전자 장치(120)는 상기 제2 화면에 대한 사용자 입력에 응답하여 태스크를 실행할 수 있다. 다른 예로, 제2 전자 장치(120)는 상기 제2 화면에 대한 입력 정보를 제1 전자 장치(110)로 전달하여 제1 전자 장치(110)에서 상기 입력 정보에 따른 태스크를 실행하도록 할 수 있다.
일 실시예에서, 기기 연결 모드가 활성화된 동안 제1 전자 장치(110)는 활성화 상태로 유지될 수 있다. 기기 연결 모드가 활성화된 동안 제1 전자 장치(110) 및 제2 전자 장치(120) 양측이 모두 활성화 상태로 유지될 수 있다.
일 실시예에서, 기기 연결 모드에서 제1 전자 장치(110)에 대한 사용자 입력을 대기하는 동안 디스플레이(111)에 표시 중인 제1 화면의 표시가 실질적으로 동일하게 유지될 수 있다(예: 화면 전환 없이 제1 화면 유지, 제1 화면 내 메인 뷰의 유지, 화면의 90% 이상이 동일하게 유지).
일 실시예에서, 기기 연결 모드가 활성화된 동안, 제1 전자 장치(110)의 제1 화면을 이용해 제1 태스크가 실행되고, 제2 전자 장치(120)의 제2 화면을 이용해 제2 태스크가 실행될 수 있다.
일 실시예에서, 제1 전자 장치(110)는 제2 전자 장치(120)로부터 제2 화면에 대한 입력 정보를 수신하고, 상기 수신된 입력 정보를 이용해 태스크를 실행할 수 있다. 기기 연결 모드가 활성화된 동안, 포어그라운드에서 제1 전자 장치(110)의 제1 화면에 대한 사용자 입력에 응답하여 제1 태스크가 실행되고, 백그라운드에서 제2 전자 장치(120)로부터 수신되는 입력 정보에 응답하여 제2 태스크가 실행될 수 있다.
일 실시예에서, 제1 전자 장치(110)에 표시된 제1 화면은 제1 태스크(예: 인터넷 브라우징)를 실행하기 위한 화면일 수 있다. 제1 전자 장치(110)로부터 제2 전자 장치(120)로 전송되는 공유 정보는 상기 제1 태스크(예: 인터넷 브라우징)를 이어서 실행하거나 제2 태스크(예: 수신 문자 보기)를 실행하기 위한 정보를 포함할 수 있다. 일 예로, 상기 제2 태스크는 화면 전환을 유도하는 태스크, 상기 제1 태스크의 연동 태스크, 상기 제1 태스크의 후속 태스크, 또는 상기 제1 태스크의 하위 태스크 중 어느 하나일 수 있다. 다른 예로, 상기 제1 태스크 및 상기 제2 태스크는 동일한 앱을 이용해 실행되는 상이한 태스크일 수 있다. 또 다른 예로, 상기 제1 태스크는 제1 앱을 이용해 실행되는 태스크이고, 상기 제2 태스크는 상기 제1 앱과 상이한 제2 앱을 이용해 실행되는 태스크일 수 있다.
다양한 실시예들에서, 동종 또는 이종의 전자 장치들이 인터랙션할 수 있다. 일 예로, 제1 전자 장치(110)가 스마트 폰 타입으로 구성되고, 제2 전자 장치(120)가 스마트 워치 타입으로 구성되어 상호 인터랙션할 수 있다. 다른 예로, 제1 전자 장치(110) 및 제2 전자 장치(120) 둘다 스마트 폰 타입으로 구성되어 두 스마트 폰들이 상호 인터랙션할 수 있다.
다양한 실시예들에서, 기기 연결 모드 또는 기기 연결 기능은 다양한 방식으로 구현될 수 있다. 일 예로, 기기 연결 모드의 사용이 가능한 경우 복수의 전자 장치들(예: 제1 전자 장치(110) 및 제2 전자 장치(120)) 모두에서 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소가 표시될 수 있다. 다른 예로, 복수의 전자 장치들 중 일측(예: 제1 전자 장치(110))에서 상기 시각적 요소가 표시되고, 상기 시각적 요소에 대한 사용자 입력에 따라 복수의 전자 장치들 모두에서 기기 연결 모드가 활성화(또는 트리거)될 수 있다. 이 경우, 타측 전자 장치(예: 제2 전자 장치(120))에 대한 사용자 조작 없이 일측 전자 장치(예: 제1 전자 장치(110))가 상기 시각적 요소에 대한 사용자 입력에 응답하여 기기 연결 모드를 활성화할 수 있다. 또 다른 예로, 현재 사용 중(예: 이전의 일정 시간 내에 사용자 입력이 감지된 경우, 화면 표시 중인 경우, 또는 디스플레이가 온 상태인 경우)인 일측 전자 장치(예: 제1 전자 장치(110))에만 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소가 나타날 수 있다. 또 다른 예로, 현재 사용 중인 일측 전자 장치(예: 제1 전자 장치(110))로 접근하는 타측 전자 장치(예: 제2 전자 장치(120))에 상기 시각적 요소가 나타날 수 있다.
다양한 실시예들에서, 기기 연결 모드로 동작하여 상호 연동하는 제1 전자 장치들의 개수는 2개로 예시되나 2개 이상으로 확장되는 실시예도 가능할 수 있다.
도 3a는 일 실시예에 따른 전자 장치의 인터랙션 방법을 나타낸 흐름도이다.
편의상, 도 3a의 인터랙션 방법은 제1 전자 장치(110)의 프로세서(113)에 의해 수행되는 것으로 가정한다. 도 3a에 도시된 인터랙션 방법의 동작들 중 일부가 생략되거나, 일부 동작의 순서가 바뀌거나, 다른 동작이 추가될 수 있다. 도 3a에 도시된 인터랙션 방법의 동작들 중 일부가 다른 동작 주체(예: 제2 전자 장치(120) 또는 제2 전자 장치(120)의 프로세서(123))에 의해 수행될 수 있다. 도 3a에 도시된 인터랙션 방법의 동작들 중 적어도 하나가 도 2의 동작에 대응할 수 있다.
도 3a를 참조하면, 일 실시예에 따른 전자 장치의 인터랙션 방법은 동작 310 내지 동작 340을 포함할 수 있다.
동작 310에서, 제1 전자 장치(110)의 프로세서(113)는 무선 통신 회로(117)를 통해 제2 전자 장치(120)와의 근거리 무선 통신(예: 블루투스, Wi-Fi direct, BLE)을 연결할 수 있다. 동작 310은 도 2의 동작 205에 대응할 수 있다.
동작 320에서, 프로세서(113)는 제2 전자 장치(120)가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 제1 전자 장치(110)의 디스플레이(111)를 통해 표시할 수 있다. 제1 전자 장치(110)와 제2 전자 장치(120)가 임계 거리 내로 근접함에 기반하여 제1 전자 장치(110)에 표시 중인 제1 화면 상에 시각적 요소가 나타날 수 있다.
동작 320은 도 2의 동작 220에 대응할 수 있다.
상기 임계 거리는 근거리 무선 통신(예: 블루투스, Wi-Fi direct, BLE)의 커버리지에 비해 짧을 수 있다. 예를 들어, 상기 임계 거리는 기기 간 화면 공유가 가능한 정도의 거리 또는 한 사용자가 육안으로 제1 전자 장치(110)의 화면 및 제2 전자 장치(120)의 화면을 함께 볼 수 있는 정도의 거리일 수 있다.
일 실시예에서, 시각적 요소(또는 시각적 큐)는 기기 연결 모드의 사용이 가능한 상태임을 알리는 시각적 단서를 제공하기 위한 것일 수 있다. 시각적 요소는 사용자가 기기 연결 모드의 사용이 가능한 상태임을 직관적으로 인지하거나 기기 연결 모드로 쉽게 진입하도록 유도하기 위한 것일 수 있다.
일 예로, 시각적 요소는 인디케이터 타입일 수 있다. 다른 예로, 시각적 요소는 아이콘 타입일 수 있다. 또 다른 예로, 시각적 요소는 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트와, 기기 연결 모드에서 핸드오프될 어플리케이션 또는 태스크에 대한 정보를 나타내는 제2 아이콘 파트를 포함할 수 있다.
동작 330에서, 프로세서(113)는 상기 제1 화면에 표시된 시각적 요소에 대한 사용자 입력에 따라 기기 연결 모드를 활성화할 수 있다. 동작 330은 도 2의 동작 240에 대응할 수 있다.
동작 340에서, 프로세서(113)는 기기 연결 모드에서, 근거리 무선 통신을 통해, 제1 전자 장치(110)의 디스플레이(111)에 표시 중인 상기 제1 화면의 적어도 일부와 관련된 공유 정보를 제2 전자 장치(120)로 전송할 수 있다. 동작 340은 도 2의 동작 245에 대응할 수 있다.
상기 공유 정보는 제1 전자 장치(110)에 표시 중인 제1 화면과 관련된 태스크를 핸드오프하기 위한 제2 화면을 표시하기 위한 정보, 상기 제1 화면의 적어도 일부를 미러링한 제2 화면을 표시하기 위한 정보, 또는 상기 제1 화면과 멀티스크린을 이루는 제2 화면을 표시하기 위한 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 제1 전자 장치(110)에 표시된 제1 화면은 제1 태스크를 실행하기 위한 화면일 수 있다. 제2 전자 장치(120)로 전송되는 상기 제1 화면의 적어도 일부와 관련된 공유 정보는 상기 제1 태스크를 이어서 실행하거나 제2 태스크를 실행하기 위한 정보를 포함할 수 있다. 일 예로, 상기 제2 태스크는 화면 전환을 유도하는 태스크, 상기 제1 태스크의 연동 태스크, 상기 제1 태스크의 후속 태스크, 또는 상기 제1 태스크의 하위 태스크 중 어느 하나일 수 있다. 다른 예로, 상기 제1 태스크 및 상기 제2 태스크는 동일한 앱을 이용해 실행되는 상이한 태스크일 수 있다. 또 다른 예로, 상기 제1 태스크는 제1 앱을 이용해 실행되는 태스크이고, 상기 제2 태스크는 상기 제1 앱과 상이한 제2 앱을 이용해 실행되는 태스크일 수 있다.
기기 연결 모드에서, 프로세서(113)는 제1 전자 장치(110) 및 제2 전자 장치(120) 간 기기 연결 기능을 지원할 수 있다. 기기 연결 모드에서 지원 가능한 기기 연결 기능은 태스크 핸드오프 기능, 미러스크린 기능 또는 멀티스크린 기능 중 적어도 하나일 수 있다.
기기 연결 모드가 활성화된 동안 제1 전자 장치(110)(또는 제1 전자 장치(110)의 디스플레이(111))가 활성화 상태로 유지될 수 있다.
일 실시예에서, 기기 연결 모드에서 제1 전자 장치(110)에 대한 사용자 입력을 대기하는 동안 디스플레이(111)를 통해 표시 중인 제1 화면의 표시가 실질적으로 동일하게 유지될 수 있다. 상기 제1 화면의 표시는 제1 전자 장치(110)나 현재 화면인 제1 화면에 대한 사용자 입력이 있을 때까지 유지될 수 있다.
일 실시예에서, 프로세서(113)는 기기 연결 모드가 활성화된 동안, 포어그라운드에서 상기 제1 화면에 대한 사용자 입력에 응답하여 제1 태스크를 실행하고, 백그라운드에서 제2 전자 장치(120)로부터 수신되는 입력 정보에 응답하여 제2 태스크를 실행할 수 있다.
일 실시예에서, 프로세서(113)는 기기 연결 모드가 활성화됨에 따라 표시 중인 제1 화면 상에 제2 시각적 요소를 추가로 표시할 수 있다. 상기 제2 시각적 요소에 대한 사용자 입력에 응답하여 상기 제1 화면의 적어도 일부와 관련된 공유 정보가 제2 전자 장치(120)로 전송될 수 있다.
일 실시예에서, 제1 전자 장치(110)의 프로세서(113)는 제2 전자 장치(120)로부터 표시 중인 제1 화면에 대응하는 제2 화면에 대한 입력 정보를 수신하고, 상기 수신된 입력 정보를 이용해 태스크를 실행할 수 있다.
예를 들어, 제1 전자 장치(110)의 디스플레이(111)에 제1 화면(예: 쇼핑 앱의 로그인 요청 화면)이 표시되는 동안 제1 전자 장치(110)에서 수행 중인 제1 태스크(예: 사용자 인증 태스크)가 제2 전자 장치(120)로 핸드오프되어 제2 전자 장치(120)에서 제1 화면에 대응하는 제2 화면(예: 사용자 인증 화면)이 표시될 수 있다. 제2 화면을 통해 제1 태스크(예: 사용자 인증 태스크)가 이어서 실행될 수 있다. 제1 태스크의 실행에 따른 정보(예: 인증 성공 정보)가 제2 전자 장치(120)에서 제1 전자 장치(110)로 전달될 수 있다. 제1 전자 장치(110)의 프로세서(113)는 제1 태스크의 실행에 따른 정보를 반영하여 표시 중인 제1 화면을 제3 화면(예: 쇼핑 앱의 로그인된 화면)으로 갱신할 수 있다.
일 실시예에서, 제1 전자 장치(110)의 프로세서(113)는 공유할 콘텐츠를 선택하기 위한 제3 시각적 요소를 디스플레이(111)를 통해 표시할 수 있다. 프로세서(113)는 상기 제3 시각적 요소에 대한 사용자 입력에 따라 상기 콘텐츠를 제2 전자 장치(120)로 전송할 수 있다.
도 3b는 다른 실시예에 따른 전자 장치의 인터랙션 방법을 나타낸 흐름도이다.
편의상, 도 3b의 실시예에 따른 방법은 제2 전자 장치(120)의 프로세서(123)에 의해 수행되는 것으로 가정한다. 도 3b에 도시된 인터랙션 방법의 동작들 중 일부가 생략되거나, 일부 동작의 순서가 바뀌거나, 다른 동작이 추가될 수 있다. 도 3b에 도시된 인터랙션 방법의 동작들 중 일부가 다른 동작 주체(예: 제1 전자 장치(110) 또는 제1 전자 장치(110)의 프로세서(113))에 의해 수행될 수 있다. 도 3b에 도시된 인터랙션 방법의 동작들 중 적어도 하나가 도 2의 동작에 대응할 수 있다.
도 3b를 참조하면, 일 실시예에 따른 전자 장치의 인터랙션 방법은 동작 350 내지 동작 390을 포함할 수 있다.
동작 350에서, 제2 전자 장치(120)의 프로세서(123)는 무선 통신 회로(127)를 통해 제1 전자 장치(110)와의 근거리 무선 통신(예: 블루투스, Wi-Fi direct, BLE)을 연결할 수 있다. 동작 350은 도 2의 동작 205에 대응할 수 있다.
동작 360에서, 프로세서(123)는 제1 전자 장치(110)가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 디스플레이(121)를 통해 표시할 수 있다. 제1 전자 장치(110)와 제2 전자 장치(120)가 임계 거리 내로 근접함에 기반하여 제2 전자 장치(120)의 디스플레이(121)에 시각적 요소가 표시될 수 있다.
동작 360은 도 2의 동작 225에 대응할 수 있다.
상기 임계 거리는 근거리 무선 통신(예: 블루투스, Wi-Fi direct, BLE)의 커버리지에 비해 짧을 수 있다. 예를 들어, 상기 임계 거리는 기기 간 화면 공유가 가능한 정도의 거리 또는 한 사용자가 육안으로 제1 전자 장치(110)의 화면 및 제2 전자 장치(120)의 화면을 함께 볼 수 있는 정도의 거리일 수 있다.
동작 370에서, 프로세서(123)는 디스플레이(121)에 표시된 시각적 요소에 대한 사용자 입력에 따라 기기 연결 모드를 활성화할 수 있다. 동작 370은 도 2의 동작 240에 대응할 수 있다.
동작 380에서, 프로세서(123)는 기기 연결 모드에서, 근거리 무선 통신을 통해, 제1 전자 장치(110)에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 수신할 수 있다. 동작 380은 도 2의 동작 245에 대응할 수 있다.
일 실시예에서, 프로세서(123)는 기기 연결 모드가 활성화됨에 따라 디스플레이(121)의 화면 상에 제2 시각적 요소를 추가로 표시할 수 있다. 프로세서(123)는 디스플레이(121)에 표시된 제2 시각적 요소에 대한 사용자 입력에 응답하여 제1 전자 장치(110)에서 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 획득할 수 있다.
상기 공유 정보는 제1 전자 장치(110)에 표시 중인 제1 화면과 관련된 태스크를 핸드오프하기 위한 제2 화면을 표시하기 위한 정보, 상기 제1 화면의 적어도 일부를 미러링한 제2 화면을 표시하기 위한 정보, 또는 상기 제1 화면과 멀티스크린을 이루는 제2 화면을 표시하기 위한 정보 중 적어도 하나를 포함할 수 있다.
기기 연결 모드에서, 동작 390이 수행될 수 있다. 동작 390은 도 2의 동작 250에 대응할 수 있다. 동작 390에서, 프로세서(123)는 제1 전자 장치(110)로부터 수신된 제1 화면의 적어도 일부와 관련된 공유 정보에 기반하여 상기 제1 화면에 대응하는 제2 화면을 표시할 수 있다. 상기 제2 화면은 상기 제1 화면의 적어도 일부를 미러링한 화면, 상기 제1 화면과 관련된 분할 화면, 상기 제1 화면과 관련된 서브 화면, 및 상기 제1 화면의 적어도 일부를 상기 제2 전자 장치의 타입에 기반하여 재구성한 화면 중 적어도 하나일 수 있다.
동작 390에서, 프로세서(123)는 상기 공유 정보에 기반하여 제1 전자 장치(110) 및 제2 전자 장치(120) 간 기기 연결 기능을 실행할 수 있다. 기기 연결 모드에서 실행 가능한 기기 연결 기능은 태스크 핸드오프 기능, 미러스크린 기능 또는 멀티스크린 기능 중 적어도 하나일 수 있다.
기기 연결 모드가 활성화된 동안 제1 전자 장치(110)(또는 제1 전자 장치(110)의 디스플레이(111)) 및 제2 전자 장치(또는 제2 전자 장치(120)의 디스플레이(121))가 활성화 상태로 유지될 수 있다.
기기 연결 모드에서 제1 전자 장치(110)와 인터랙션하여 태스크를 처리하는 기기 간 태스크 핸드오버 기능이 제공될 수 있다. 기기 연결 모드에서 제2 전자 장치(120)의 화면이 제1 전자 장치(110)의 화면 중 적어도 일부를 미러링하는 미러스크린 기능이 제공될 수 있다. 기기 연결 모드에서 제2 전자 장치(120)의 화면이 제1 전자 장치(110)의 화면과 연동되는 멀티스크린 기능이 제공될 수 있다.
일 실시예에서, 프로세서(123)는 디스플레이(121)에 표시된 제2 화면을 통해 태스크를 처리할 수 있다. 일 예로, 프로세서(123)는 상기 제2 화면에 대한 사용자 입력에 응답하여 태스크를 실행할 수 있다. 다른 예로, 프로세서(123)는 상기 제2 화면에 대한 입력 정보를 제1 전자 장치(110)로 전달하여 제1 전자 장치(110)에서 상기 입력 정보에 따른 태스크를 실행하도록 할 수 있다.
일 실시예에서, 제2 전자 장치(120)의 프로세서(123)는 공유할 콘텐츠를 선택하기 위한 제3 시각적 요소를 디스플레이(121)를 통해 표시할 수 있다. 프로세서(123)는 상기 제3 시각적 요소에 대한 사용자 입력에 따라 상기 콘텐츠를 제1 전자 장치(110)로부터 수신할 수 있다.
이하, 도 4a 내지 도 17b을 참조하여 전자 장치들 간 인터랙션을 위한 사용자 인터페이스 및/또는 동작 시나리오의 다양한 예시들을 설명한다.
도 4a 내지 도 17b에 도시된 다양한 실시예들에서, 제1 전자 장치(110)가 스마트 워치 타입이고, 제2 전자 장치(120)가 스마트 폰 타입이며, 스마트 워치와 스마트 폰이 인터랙션하는 경우를 예시한다. 도시된 전자 장치의 타입, 구조, 동작 시나리오 또는 사용자 인터페이스는 예시일 뿐 실시예들의 범위를 제한하지 않는다.
다양한 실시예들에서, 사용자 인터페이스 또는 화면의 구성요소는 시각적 요소, 인디케이터, 아이콘, 메뉴, 버튼, 버블, 필드 등으로 지칭되나, 그래픽 요소, 사용자 인터페이스 요소, 오브젝트, 기능 버튼, 시각적 어포던스와 같은 다른 용어로 표현될 수도 있다. 도시된 사용자 인터페이스 또는 화면을 이루는 구성요소들의 개수, 배치 또는 레이아웃, 각 구성요소의 타입, 모양, 색상, 형태는 다양하게 수정, 변형 또는 응용될 수 있다.
도 4a는 일 실시예에 따른 전자 장치에 적용 가능한 시각적 요소의 예시이다.
도 4a에서, 도면부호 110은 스마트 워치 타입의 제1 전자 장치를 예시한 것이다. 도면부호 120은 스마트 폰 타입의 제2 전자 장치를 예시한 것이다.
도면부호 410 및 420은 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 예시한 것이다. 시각적 요소(410, 420)는 인디케이터 타입일 수 있다. 일 예로, 제1 전자 장치(110)에 시각적 요소(410)가 표시될 수 있다. 다른 예로, 제2 전자 장치(120)에 제2 시각적 요소(420)가 표시될 수 있다. 또 다른 예로, 제1 전자 장치(110)의 화면 및 제2 전자 장치(120)의 화면 양측에서 시각적 요소들(410, 420)이 동시에 나타날 수 있다.
시각적 요소(410, 420)는 사용자가 기기 연결 모드의 사용이 가능한 상태임을 직관적으로 인지하거나 기기 연결 모드로 쉽게 진입할 수 있도록 유도하는 형태로 구현될 수 있다. 사용자는 화면에 나타난 시각적 요소(410, 420)를 통해 기기 간 기기 연결 모드의 사용이 가능한 상태임을 직관적으로 인지하고 기기 연결 모드를 쉽게 사용할 수 있다.
일 예로, 시각적 요소(410, 420)는 제1 전자 장치(110)의 화면을 제2 전자 장치(120)로 전달할 수 있음을 알려주기 위한 사용자 인터페이스일 수 있다. 다른 예로, 시각적 요소(410, 420)는 제1 전자 장치(110)에서 제2 전자 장치(120)로의 태스크 핸드오프가 가능함을 알려주기 위한 사용자 인터페이스일 수 있다.
일 실시예에 따르면, 제1 전자 장치(110)와 제2 전자 장치(120)가 임계 거리 이내로 근접함에 기반하여 시각적 요소(410, 420)가 제공될 수 있다. 상기 임계 거리는 근거리 무선 통신(예: 블루투스)의 커버리지에 비해 짧을 수 있다.
두 전자 장치(110. 120)가 임계 거리 이내로 근접함에 따라 제1 전자 장치(110) 또는 제2 전자 장치(120) 중 적어도 일측에서 시각적 요소(410, 420)가 나타날 수 있다.
시각적 요소(410, 420)에 대한 사용자 입력(예: 터치, 탭)에 따라 기기 연결 모드가 활성화(또는 트리거)될 수 있다.
기기 연결 모드가 활성화되면, 제1 전자 장치(110)에 근접한 위치에서 제1 전자 장치(110)와 근거리 무선 통신 중인 제2 전자 장치(120)에서, 제1 전자 장치(110)에 표시 중인 제1 화면의 적어도 일부분과 관련된 제2 화면이 표시될 수 있다.
제1 전자 장치(110) 및 제2 전자 장치(120) 중 적어도 일측에서 시각적 요소(410, 420)를 표시함으로써 기기 연결 모드의 사용이 가능함을 사용자에게 직관적으로 알려줄 수 있다.
도 4b는 일 실시예에 따른 전자 장치에 적용 가능한 시각적 요소의 다양한 예시들이다.
기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소는 다양한 타입으로 구현될 수 있다. 일 예로, 상기 시각적 요소는 인디케이터 타입일 수 있다. 다른 예로, 상기 시각적 요소는 아이콘 타입일 수 있다. 시각적 요소의 모양, 색상, 형태(예: 팝-업 창(pop-up window), 텍스트, 아이콘, 또는 그 조합), 효과(예: 깜박임 효과, 글로우(glow) 효과)는 기기 연결 모드와 관련된 사용자의 직관적인 인지나 자연스러운 행동을 유도할 수 있는 범위 내에서 제한 없이 구현될 수 있다.
도면부호 430은 시각적 요소로서 사용될 수 있는 다양한 팝-업 아이콘들의 예시이다. 도면부호 440은 시각적 요소로서 사용될 수 있는 글로우 효과가 적용된 다양한 아이콘들의 예시이다.
도 5a는 일 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다. 도 5a는 사용자가 제1 전자 장치(110)(예: 스마트 워치)에서 확인한 문자를 제2 전자 장치(120)(예: 스마트 폰)에서 답장하는 경우의 사용자 인터페이스를 예시한 것이다.
도 5a에서, 도면부호 510은 제1 전자 장치(110)에 표시되는 제1 화면이다. 도면부호 520은 제2 전자 장치(120)에 표시되는 제2 화면이다. 도면부호 530은 제2 전자 장치(120)에 표시되는 제3 화면이다. 도면부호 540은 제2 전자 장치(120)에 표시되는 제4 화면이다.
제1 화면(510)을 표시 중인 제1 전자 장치(110)와의 인터랙션 동작 시, 제2 화면(520), 제3 화면(530) 및 제4 화면(540)과 같은 사용자 인터페이스가 제2 전자 장치(120)를 통해 순차적으로 출력될 수 있다.
제1 전자 장치(110)에서 앱(예: 메시지 앱)과 관련된 태스크(예: 문자 처리 태스크 또는 수신 문자 보기 태스크)가 실행됨에 따라, 제1 화면(510)(예: 메시지 앱의 실행 화면)이 표시될 수 있다.
기기 연결 모드의 사용이 가능한 경우 제1 전자 장치(110)에 표시 중인 제1 화면(510)(예: 메시지 어플리케이션 실행 화면)에 제1 시각적 요소(511)가 표시될 수 있다. 제1 전자 장치(110)에 제1 시각적 요소(511)가 표시되는 동안, 제2 전자 장치(120)에 표시 중인 제2 화면(520)(예: 홈 화면, 잠금 화면)에 제2 시각적 요소(521)가 표시될 수 있다. 예를 들어, 제1 전자 장치(110)와 제2 전자 장치(120)가 미리 지정된 임계 거리 내로 근접함에 따라, 제1 화면(510) 상에 제1 시각적 요소(511)가 나타나거나 제2 화면(520) 상에 제2 시각적 요소(521)가 나타날 수 있다.
도시된 바와 같이, 제1 전자 장치(110)에서 제공되는 제1 시각적 요소(511) 및 제2 전자 장치(120)에서 제공되는 제2 시각적 요소(521)는 동일한 타입일 수 있다. 예를 들어, 제1 시각적 요소(511) 및 제2 시각적 요소(521)는 둘다 제1 타입(예: 특정 속성(예: 특정 색상, 팝-업 형태 및 깜박임 효과)을 갖는 인디케이터 타입)일 수 있다.
제1 시각적 요소(511) 및 제2 시각적 요소(521)는 기기 연결 모드의 사용이 가능함을 나타내는 사용자 인터페이스일 수 있다.
제2 화면(520) 내 제2 시각적 요소(521)에 대한 사용자 입력(예: 아래쪽으로 스와이프)에 따라 제2 전자 장치(120)의 제2 화면(520)이 제3 화면(530)으로 전환될 수 있다.
제2 전자 장치(120)의 제3 화면(530)에는 제3 시각적 요소(531)가 포함될 수 있다. 제3 시각적 요소(531)는 기기 연결 모드의 사용을 위한 사용자 인터페이스일 수 있다. 제3 시각적 요소(531)는 제1 전자 장치(110)에서 표시 중인 제1 화면(510)의 적어도 일부와 관련된 공유 정보(예: 수신 문자, 상기 문자의 발신자, 상기 문자의 수신 일시에 대한 정보)를 가져올 수 있도록 하는 사용자 인터페이스일 수 있다. 예를 들어, 화면의 적어도 일부와 관련된 공유 정보는 화면 전체 또는 일부에 대한 정보, 화면과 관련된 태스크에 대한 정보, 화면과 관련된 앱에 대한 정보, 화면과 관련해 실행 중인 태스크(예: 문자 처리 태스크)에 대한 정보 중 적어도 하나를 포함할 수 있다.
제3 화면(530) 내 제3 시각적 요소(531)에 대한 사용자 입력(예: 터치, 탭)에 따라 기기 연결 모드가 활성화될 수 있다. 제3 화면(530) 내 제3 시각적 요소(531)에 대한 사용자 입력(예: 터치, 탭)에 따라 제2 전자 장치(120)의 제3 화면(530)이 제4 화면(540)으로 전환될 수 있다.
기기 연결 모드에서, 제1 전자 장치(110)의 화면 전체 또는 일부와 관련된 공유 정보가 제2 전자 장치(120)로 전달될 수 있다. 기기 연결 모드에서, 제1 전자 장치(110)에서 제2 전자 장치(120)로의 태스크 핸드오프가 가능할 수 있다. 제1 전자 장치(110)에서 실행 중인 태스크(예: 문자 처리 태스크)가 제2 전자 장치(120)로 핸드오프될 수 있다.
제4 화면(540)은 제1 화면(510)에 대응하는 화면일 수 있다. 일 예로, 제4 화면(540)은 제1 화면(510)의 적어도 일부를 미러링한 화면일 수 있다. 다른 예로, 제4 화면(540)은 제1 화면(510)의 적어도 일부와 관련된 공유 정보(예: 수신 문자, 상기 문자의 발신자, 상기 문자의 수신 일시에 대한 정보) 및/또는 제2 전자 장치(120)의 타입에 기반하여 재구성된 화면일 수 있다. 또 다른 예로, 제4 화면(540)은 제1 화면(510)과 관련해 실행 중인 태스크(예: 문자 처리 태스크)를 핸드오프하기 위한 화면일 수 있다.
도 5b는 일 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 다른 예시이다. 도 5b는 사용자가 제2 전자 장치(120)(예: 스마트 폰)에서 시작한 심박수 측정 태스크를 제2 전자 장치(120)(예: 스마트 워치)에서 이어서 진행하는 경우의 사용자 인터페이스를 예시한 것이다.
도 5b에서, 도면부호 550은 제2 전자 장치(120)에 표시되는 제1 화면이다. 도면부호 560은 제1 전자 장치(110)에 표시되는 제2 화면이다. 도면부호 570은 제1 전자 장치(110)에 표시되는 제3 화면이다. 도면부호 580은 제1 전자 장치(110)에 표시되는 제4 화면이다.
제1 화면(550)을 표시 중인 제2 전자 장치(120)와의 인터랙션 동작 시, 제1 전자 장치(110)에서 제2 화면(560), 제3 화면(570) 및 제4 화면(580)과 같은 사용자 인터페이스가 순차적으로 출력될 수 있다.
제2 전자 장치(120)에서 앱(예: 헬스 앱)과 관련된 태스크(예: 심박수 측정 태스크)가 실행됨에 따라, 제1 화면(550)(예: 헬스 앱의 실행 화면)이 표시될 수 있다.
기기 연결 모드의 사용이 가능한 경우 제1 전자 장치(110)에 표시 중인 제2 화면(560)(예: 홈 화면, 잠금 화면)에 제1 시각적 요소(561)(예: 인디케이터 타입)가 표시될 수 있다. 예를 들어, 제1 전자 장치(110)와 제2 전자 장치(120)가 미리 지정된 임계 거리 내로 근접함에 따라, 제2 화면(560) 상에 제1 시각적 요소(561)가 나타날 수 있다.
제2 화면(560) 내 제1 시각적 요소(561)에 대한 사용자 입력(예: 아래쪽으로 스와이프)에 따라, 제1 전자 장치(110)에서 제2 화면(560)이 제3 화면(570)으로 전환될 수 있다.
제3 화면(570)에는 제2 시각적 요소(571)(예: 아이콘 타입, 폰 모양 아이콘)가 포함될 수 있다. 제2 시각적 요소(571)는 기기 연결 모드의 사용을 위한 사용자 인터페이스일 수 있다. 제2 시각적 요소(571)는 제2 전자 장치(120)에서 표시 중인 제1 화면(550)의 적어도 일부와 관련된 공유 정보(예: 제1 화면(550)의 메인 뷰에 표시 중인 이전 심박수 측정 이력에 대한 정보)를 가져올 수 있도록 하는 사용자 인터페이스일 수 있다. 예를 들어, 화면의 적어도 일부와 관련된 공유 정보는 화면 전체 또는 일부에 대한 정보, 화면과 관련된 태스크에 대한 정보, 화면과 관련된 앱에 대한 정보, 화면과 관련해 실행 중인 태스크(예: 심박수 측정 태스크)에 대한 정보 중 적어도 하나를 포함할 수 있다.
제1 시각적 요소(561) 및 제2 시각적 요소(571)는 상이한 기능을 수행하기 위한 것으로서 상이한 타입일 수 있다. 예를 들어, 제1 시각적 요소(561)는 기기 연결 모드의 사용이 가능함을 나타내기 위한 것으로, 제1 타입(예: 인디케이터 타입)일 수 있다. 제2 시각적 요소(571)는 기기 연결 모드의 사용을 위한 것으로, 제2 타입(예: 아이콘 타입)일 수 있다.
제3 화면(570) 내 제2 시각적 요소(571)에 대한 사용자 입력(예: 터치, 탭)에 따라 기기 연결 모드가 활성화될 수 있다. 제3 화면(570) 내 제2 시각적 요소(571)에 대한 사용자 입력(예: 터치, 탭)에 따라 제1 전자 장치(110)의 제3 화면(570)이 제4 화면(580)으로 전환될 수 있다.
기기 연결 모드에서, 제2 전자 장치(120)의 화면 전체 또는 일부와 관련된 공유 정보가 제1 전자 장치(110)로 전달될 수 있다. 기기 연결 모드에서, 제2 전자 장치(120)에서 제1 전자 장치(110)로의 태스크 핸드오프가 가능할 수 있다. 제2 전자 장치(120)에서 실행 중인 태스크(예: 심박수 측정 태스크)가 제1 전자 장치(110)로 핸드오프될 수 있다.
제1 전자 장치(110)의 제4 화면(580)은 제2 전자 장치(120)의 제1 화면(550)에 대응하는 화면일 수 있다. 일 예로, 제4 화면(580)은 제1 화면(550)의 적어도 일부를 미러링한 화면일 수 있다. 다른 예로, 제4 화면(580)은 제1 화면(550)의 적어도 일부에 관한 정보(예: 표시 중인 이전 심박수 측정 이력에 대한 정보) 및/또는 제1 전자 장치(110)의 타입에 기반하여 재구성된 화면일 수 있다. 또 다른 예로, 제4 화면(580)은 제1 화면(550)과 관련해 실행 중인 태스크(예: 심박수 측정 태스크)를 핸드오프하기 위한 화면일 수 있다.
도 6a 및 도 6b는 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시들이다.
도 6a를 참조하면, 제1 전자 장치(110)(예: 스마트 워치)에서 제2 전자 장치(120)(예: 스마트 폰)로의 태스크 핸드오프가 수행될 수 있다.
제1 전자 장치(110)에서 제1 화면(610)(예: 메시지 앱의 실행 화면)이 표시될 수 있다. 제1 전자 장치(110)에 표시 중인 제1 화면(610) 상에 제1 시각적 요소(615)가 표시될 수 있다. 제1 시각적 요소(615)는 기기 연결 모드의 사용이 가능함을 나타내는 사용자 인터페이스일 수 있다.
제1 전자 장치(110)에 제1 시각적 요소(615)가 표시되는 동안 제2 전자 장치(120)의 제2 화면(620)을 통해 제2 시각적 요소(630)(예: 워치 모양 아이콘)가 표시될 수 있다. 제2 시각적 요소(630)는 기기 연결 모드의 사용을 위한 사용자 인터페이스일 수 있다. 제2 시각적 요소(630)는 제1 전자 장치(110)에서 표시 중인 제1 화면(610)의 적어도 일부와 관련된 정보(예: 화면과 관련된 문자 처리 태스크에 대한 정보)를 가져올 수 있도록 하는 사용자 인터페이스일 수 있다.
제2 시각적 요소(630)는 제1 아이콘 파트(631)와 제2 아이콘 파트(635)를 포함할 수 있다. 제1 아이콘 파트(631)는 기기 연결 모드의 사용이 가능함을 나타내는 부분일 수 있다. 제2 아이콘 파트(635)는 기기 연결 모드에서 핸드오프될 어플리케이션 또는 태스크에 대한 정보를 나타내는 부분일 수 있다. 예를 들어, 도시된 바와 같이, 제1 전자 장치(110)에서 메시지 앱(또는 문자 처리 태스크)이 실행 중인 경우 제2 전자 장치(120)의 어플리케이션 목록 중 메시지 어플리케이션 아이콘이 제2 아이콘 파트(635)로 사용될 수 있다. 상기 메시지 어플리케이션 아이콘과 관련해 기기 연결이 가능한 상태임을 보여주기 위해 상기 메시지 어플리케이션 아이콘에 대해 제1 아이콘 파트(631)가 추가 표시될 수 있다.
제2 화면(630) 내 제2 시각적 요소(620)에 대한 사용자 입력(예: 터치, 탭)에 따라 기기 연결 모드가 활성화될 수 있다. 제2 화면(620) 내 제2 시각적 요소(630)에 대한 사용자 입력(예: 터치, 탭)에 따라 제2 전자 장치(120)의 제2 화면(620)이 제3 화면(640)으로 전환될 수 있다.
기기 연결 모드에서, 제1 전자 장치(110)에 표시 중인 제1 화면(610)의 적어도 일부와 관련된 공유 정보가 제2 전자 장치(120)로 전달될 수 있다.
제2 전자 장치(120)는 제1 전자 장치(110)로부터 수신된, 제1 화면(610)의 적어도 일부와 관련된 공유 정보에 기반하여 제3 화면(640)을 표시할 수 있다.
제2 전자 장치(120)의 제3 화면(640)은 제1 전자 장치(110)에 표시 중인 제1 화면(610)에 대응하는 화면일 수 있다. 일 예로, 제3 화면(640)은 제1 화면(610)의 적어도 일부를 미러링한 화면일 수 있다. 다른 예로, 제3 화면(640)은 제1 화면(610)의 적어도 일부에 관한 공유 정보(예: 수신 문자, 상기 문자의 발신자, 상기 문자의 수신 일시에 대한 정보) 및/또는 제2 전자 장치(120)의 타입에 기반하여 재구성된 화면일 수 있다. 또 다른 예로, 제3 화면(640)은 제1 화면(610)과 관련해 실행 중인 태스크(예: 문자 처리 태스크)를 핸드오프하기 위한 화면일 수 있다.
도 6b를 참조하면, 제2 전자 장치(120)(예: 스마트 폰)에서 제1 전자 장치(110)(예: 스마트 워치)로의 태스크 핸드오프가 수행될 수 있다.
제2 전자 장치(120)에서 제1 화면(650)(예: 메시지 앱의 실행 화면)이 표시될 수 있다.
제2 전자 장치(120)에 제1 화면(650)이 표시되는 동안 제1 전자 장치(110)에 제1 시각적 요소(661)가 나타날 수 있다. 예를 들어, 제1 전자 장치(110)와 제2 전자 장치(120)가 임계 거리 이내로 근접함에 기반하여 제1 전자 장치(110)가 비활성화 상태에서 활성화 상태로 전환되고, 제1 전자 장치(110)의 제2 화면(660)(예: 홈 화면, 잠금 화면)에 제1 시각적 요소(661)가 나타날 수 있다.
기기 연결 모드에서 제2 전자 장치(120)에 대한 사용자 입력을 대기하는 동안 제1 화면(650)의 표시가 실질적으로 유지될 수 있다. 기기 연결 모드에서 제2 전자 장치(120)에 대한 사용자 입력이 없다면 제1 화면(650)의 표시가 실질적으로 유지될 수 있다.
제1 전자 장치(110)에서 제2 화면(660) 내 제1 시각적 요소(661)에 대한 사용자 입력(예: 위쪽으로 스와이프)에 따라, 제2 화면(660)이 제3 화면(670)으로 전환될 수 있다. 제3 화면(670)에는 제2 시각적 요소(671)이 포함될 수 있다.
제3 화면(670) 내 제2 시각적 요소(671)에 대한 사용자 입력(예: 터치, 탭)에 따라 기기 연결 모드가 활성화될 수 있다. 제3 화면(670) 내 제2 시각적 요소(671)에 대한 사용자 입력(예: 터치, 탭)에 따라 제3 화면(670)이 제4 화면(680)으로 전환될 수 있다.
기기 연결 모드에서, 제2 전자 장치(120)에 표시 중인 제1 화면(650)의 적어도 일부와 관련된 공유 정보가 제1 전자 장치(110)로 전달될 수 있다.
제1 전자 장치(110)는 제2 전자 장치(120)로부터 수신된, 제1 화면(650)의 적어도 일부와 관련된 공유 정보에 기반하여 제4 화면(680)을 표시할 수 있다.
제1 전자 장치(110)의 제4 화면(680)은 제2 전자 장치(120)에 표시 중인 제1 화면(650)에 대응하는 화면일 수 있다. 일 예로, 제4 화면(680)은 제1 화면(650)의 적어도 일부를 미러링한 화면일 수 있다. 다른 예로, 제4 화면(680)은 제1 화면(650)의 적어도 일부에 관련된 공유 정보(예: 수신 문자, 상기 문자의 발신자, 상기 문자의 수신 일시에 대한 정보) 및/또는 제1 전자 장치(110)의 타입에 기반하여 재구성된 화면일 수 있다. 또 다른 예로, 제4 화면(680)은 제1 화면(650)과 관련해 실행 중인 태스크(예: 문자 처리 태스크)를 핸드오프하기 위한 화면일 수 있다.
도 7a 및 도 7b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시들이다.
도 7a를 참조하면, 제1 전자 장치(110)(예: 스마트 워치)에서 제2 전자 장치(120)(예: 스마트 폰)로의 태스크(예: 문자 처리 태스크) 핸드오프가 수행될 수 있다.
제1 전자 장치(110)에서 제1 화면(710)(예: 메시지 앱의 실행 화면)이 표시될 수 있다. 제1 화면(710)에는 제1 시각적 요소(711)(예: 폰 모양 아이콘)가 포함될 수 있다. 제1 시각적 요소(711)는 기기 연결 모드의 사용이 가능함을 나타내는 사용자 인터페이스일 수 있다. 예를 들어, 제1 전자 장치(110)와 제2 전자 장치(120)가 임계 거리 이내로 근접함에 기반하여 활성화 상태에서 사용 중인 제1 전자 장치(110)의 제1 화면(710) 상에 제1 시각적 요소(711)가 나타날 수 있다.
제1 전자 장치(110)에서 표시 중인 제1 화면(710) 내 제1 시각적 요소(711)에 대한 사용자 입력에 따라, 제2 전자 장치(120)에서 제2 화면(720)이 표시될 수 있다. 제2 화면(720)에는 제2 시각적 요소(721)(예: 워치 모양 아이콘을 포함하는 메뉴)가 포함될 수 있다.
제2 시각적 요소(721)에 대한 사용자 입력(예: 터치, 탭)에 따라 기기 연결 모드가 활성화될 수 있다. 제2 시각적 요소(721)에 대한 사용자 입력(예: 터치, 탭)에 따라 제2 화면(720)이 제3 화면(730)으로 전환될 수 있다.
제1 전자 장치(110)에 제1 시각적 요소(711)가 표시되는 동안 제2 전자 장치(120)의 제2 화면(720)을 통해 제2 시각적 요소(721)(예: 워치 모양 아이콘을 포함하는 메뉴)가 표시될 수 있다. 제2 시각적 요소(721)는 기기 연결 모드의 사용을 위한 사용자 인터페이스일 수 있다. 제2 시각적 요소(721)는 제1 전자 장치(110)에서 표시 중인 제1 화면(710)의 적어도 일부와 관련된 공유 정보(예: 제1 화면(710)과 관련된 문자 처리 태스크에 대한 정보)를 가져올 수 있도록 하는 사용자 인터페이스일 수 있다.
제2 화면(720) 내 제2 시각적 요소(721)에 대한 사용자 입력(예: 터치, 탭)에 따라 기기 연결 모드가 활성화될 수 있다. 제2 화면(720) 내 제2 시각적 요소(721)에 대한 사용자 입력(예: 터치, 탭)에 따라 제2 전자 장치(120)의 제2 화면(720)이 제3 화면(730)으로 전환될 수 있다.
기기 연결 모드에서, 제1 전자 장치(110)에 표시 중인 제1 화면(710)의 적어도 일부와 관련된 공유 정보가 제2 전자 장치(120)로 전달될 수 있다.
제2 전자 장치(120)는 제1 전자 장치(110)로부터 수신된, 제1 화면(710)의 적어도 일부와 관련된 공유 정보에 기반하여 제3 화면(730)을 표시할 수 있다.
제2 전자 장치(120)의 제3 화면(730)(예: 메시지 앱의 실행 화면)은 제1 전자 장치(110)에 표시 중인 제1 화면(710)(예: 메시지 앱의 실행 화면)에 대응하는 화면일 수 있다.
도 7b를 참조하면, 제2 전자 장치(120)(예: 스마트 폰)에서 제1 전자 장치(110)(예: 스마트 워치)로의 태스크(예: 문자 처리 태스크) 핸드오프가 수행될 수 있다.
제2 전자 장치(120)에서 제1 화면(750)(예: 메시지 앱의 실행 화면)이 표시될 수 있다.
제1 전자 장치(110)에서 제2 화면(760)(예: 홈 화면, 잠금 화면)이 표시될 수 있다. 제2 화면(760)에 시각적 요소(761)(예: 폰 모양 아이콘)가 표시될 수 있다. 시각적 요소(761)는 기기 연결 모드의 사용이 가능함을 나타내는 사용자 인터페이스일 수 있다. 예를 들어, 제1 전자 장치(110)와 제2 전자 장치(120)가 임계 거리 이내로 근접함에 기반하여 제1 전자 장치(110)가 비활성화 상태에서 활성화 상태로 전환하면서 시각적 요소(761)를 포함하는 제2 화면(760)을 표시할 수 있다.
제2 화면(760) 내 시각적 요소(761)에 대한 사용자 입력(예: 터치, 탭)에 따라 기기 연결 모드가 활성화될 수 있다. 제2 화면(760) 내 시각적 요소(761)에 대한 사용자 입력(예: 터치, 탭)에 따라, 제1 전자 장치(110)에서 제2 화면(760)이 제3 화면(770)으로 전환될 수 있다.
기기 연결 모드에서, 제2 전자 장치(120)에 표시 중인 제1 화면(750)의 적어도 일부와 관련된 공유 정보가 제1 전자 장치(110)로 전달될 수 있다.
제1 전자 장치(110)는 제2 전자 장치(120)로부터 수신된, 제1 화면(750)의 적어도 일부와 관련된 공유 정보에 기반하여 제3 화면(770)을 표시할 수 있다.
도시된 바와 같이, 제1 전자 장치(110)의 제3 화면(770)(예: 메시지 앱의 실행 화면)은 제1 전자 장치(110)에 표시 중인 제1 화면(750)(예: 메시지 앱의 실행 화면)에 대응하는 화면일 수 있다.
도 8a 및 도 8b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시들이다.
도 8a를 참조하면, 제2 전자 장치(120)(예: 스마트 폰)에서 인증 앱의 사용 중에 인증번호 통지 문자가 수신되는 경우, 기기 연결 모드를 활성화함으로써 제2 전자 장치(120)의 화면 및 제1 전자 장치(110)(예: 스마트 워치)의 화면을 멀티스크린으로 사용할 수 있다. 제1 전자 장치(110)의 화면이 일시적으로 제2 전자 장치(120)의 분할 화면 또는 서브 화면으로서 사용될 수 있다.
기기 연결 모드에서, 제2 전자 장치(120)는 제1 전자 장치(110)를 통해 메시지 앱을 실행하여 상기 수신 문자가 표시되도록 할 수 있다. 제2 전자 장치(120)에서는 실질적인 화면 전환 없이 표시 중인 화면이 그대로 유지될 수 있다. 그럼으로써, 제2 전자 장치(120)에서 인증 앱과 메시지 어플리케이션 간의 스위칭으로 인해 화면 전환이 발생하는 것을 방지할 수 있다.
제2 전자 장치(120)의 사용 중에 제1 화면(810)이 표시될 수 있다. 제1 화면(810)은 제1 앱(예: 인증 앱)의 제1 태스크(예: 사용자 인증 태스크)를 실행하기 위한 화면일 수 있다. 제1 화면(810)에는 시각적 요소(813)(예: 워치 모양 아이콘)가 포함될 수 있다. 제1 화면(810) 내 시각적 요소(813)는 기기 연결 모드의 사용이 가능함을 나타내는 사용자 인터페이스일 수 있다.
상기 제1 태스크의 수행 중에 인증번호 통지 문자가 수신될 수 있다. 사용자가 상기 수신된 문자를 확인하고자 하는 경우 제2 전자 장치(120)에서 화면 전환(예: 인증 앱에서 메시지 앱으로의 전환)이 필요할 수 있다.
사용자가 하나의 전자 장치(120)에서 보던 화면을 다른 화면으로 전환해야 하는 번거로움을 피하기 위해, 기기 연결 모드를 사용해 제1 전자 장치(110)의 화면 및 제2 전자 장치(120)의 화면을 동시에 활용할 수 있다.
제2 전자 장치(120)에 표시된 제1 화면(810)을 통한 텍스트(예: 인증번호) 입력 도중, 사용자 입력에 따라 제1 화면(810)의 적어도 일부와 관련된 공유 정보(예: 알림 메시지, 문자 버블, 앨범 앱의 이미지, 최근 사용된 썸네일에 대한 정보)가 일시적으로 제1 전자 장치(110)로 전송될 수 있다.
예를 들어, 사용자는 사용 중인 제2 전자 장치(120)에서의 화면 전환 없이, 제1 전자 장치(110)의 화면을 추가로 활용하여 수신 문자를 확인하기 위해 문자 수신 메뉴(811)를 터치하여 시각적 요소(813)로 드래그 앤 드롭하는 입력을 수행할 수 있다. 이러한 사용자 입력(예: 드래그 앤 드롭)에 따라 기기 연결 모드가 활성화될 수 있다.
기기 연결 모드에서, 제2 전자 장치(120)에 표시 중인 제1 화면(810)의 적어도 일부와 관련된 공유 정보가 제1 전자 장치(110)로 전달될 수 있다. 상기 공유 정보는 제1 화면(810)과 관련해 수행 중인 제1 앱(예: 인증 앱)의 제1 태스크(예: 사용자 인증 태스크)에 대한 정보를 포함할 수 있다. 상기 공유 정보는 제2 앱(예: 메시지 앱)의 제2 태스크(예: 수신 문자 보기 태스크)를 실행하기 위한 정보(예: 수신 문자, 상기 문자의 발신자, 상기 문자의 수신 일시에 대한 정보)를 포함할 수 있다.
기기 연결 모드에서, 제1 전자 장치(110)는 제2 전자 장치(120)로부터 수신된 공유 정보에 기반하여 제2 화면(820)을 표시할 수 있다. 제2 화면(820)은 제2 앱(예: 메시지 앱)의 제2 태스크(예: 수신 문자 보기 태스크)를 실행하기 위한 화면일 수 있다.
도 8b를 참조하면, 제2 전자 장치(120)(예: 스마트 폰)에 제1 화면(850)이 표시될 수 있다. 제1 화면(850)은 제1 앱(예: 메시지 앱)의 실행 화면일 수 있다. 제1 화면(850)은 제1 앱의 제1 태스크(예: 문자 처리 태스크)를 실행하기 위한 화면일 수 있다.
문자로 수신된 임시 비밀번호나 링크 주소의 입력이 필요한 경우 기기 연결 모드를 사용해 수신 문자를 나타내는 버블을 제1 전자 장치(110)(예: 스마트 와치)에 일시적으로 전송할 수 있다.
예를 들어, 기기 연결 모드에서 제2 전자 장치(120)에 표시 중인 제1 화면(850) 내 상기 버블에 대한 롱 터치가 입력됨에 따라, 도시된 바와 같이 일시 전송 메뉴(851)를 포함하는 메뉴 창이 제1 화면(850)에 나타날 수 있다. 일시 전송 메뉴(851)를 선택하는 사용자 입력에 따라 제1 화면(850)의 적어도 일부와 관련된 공유 정보가 제1 전자 장치(110)로 전송될 수 있다. 상기 공유 정보는 표시 중인 버블에 대한 정보(예: 버블 내의 문자, 상기 문자의 발신자, 상기 문자의 수신 일시에 대한 정보)를 포함할 수 있다.
제1 전자 장치(110)는 제2 전자 장치(120)로부터 수신된 공유 정보에 기반하여 제2 화면(860)을 표시할 수 있다. 제2 화면(860)은 제2 전자 장치(120)에 표시 중인 제1 화면(850)에 대응할 수 있다. 제2 화면(860)은 제1 화면(850)의 적어도 일부를 포함할 수 있다.
사용자 입력에 따라 제2 전자 장치(120)에 표시 중인 제1 화면(850)(예: 메시지 어플리케이션 실행 화면)이 제3 화면(870)(예: 로그인 화면)으로 전환될 수 있다.
기기 연결 모드가 활성화된 동안, 제1 전자 장치(110)의 제2 화면(860)에 대한 입력 정보는 제2 전자 장치(120)를 통해 처리될 수 있다. 기기 연결 모드가 활성화된 동안, 제2 전자 장치(120)는 제1 전자 장치(110)에 표시된 제2 화면(860)에 대한 입력 정보에 기반하여 태스크를 실행할 수 있다. 예를 들어, 사용자가 제2 화면(860)을 통해 임시 비밀번호 값을 복사하고 제1 화면(850) 내의 비밀번호 메뉴(871)를 롱 터치하는 경우 복사된 임시 비밀번호 값이 비밀번호 메뉴(871) 내에 자동 입력될 수 있다.
도 9a 및 도 9b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시들이다.
도 9a를 참조하면, 제2 전자 장치(120)(예: 스마트 폰)에 제1 화면(910)이 표시될 수 있다. 제1 화면(910)에는 캡처 이미지(913)가 포함될 수 있다. 제1 화면(910)은 제1 앱(예: 앨범 앱)의 실행 화면일 수 있다.
캡처 이미지(913) 내의 주소를 지도 앱에서 입력해야 하는 경우 사용자는 기기 연결 모드를 사용해 캡처 이미지(913)를 제1 전자 장치(110)(예: 스마트 와치)에 일시적으로 전송 및 표시할 수 있다.
예를 들어, 기기 연결 모드에서 제2 전자 장치(120)에 표시 중인 캡처 이미지(913)에 대한 롱 터치가 입력됨에 따라, 도시된 바와 같이 일시 전송 메뉴(911)를 포함하는 메뉴 창이 제1 화면(910)에 나타날 수 있다. 일시 전송 메뉴(911)를 선택하는 사용자 입력에 따라 캡처 이미지(913)에 대한 정보가 제1 전자 장치(110)로 전송될 수 있다.
제1 전자 장치(110)는 제2 전자 장치(120)로부터 수신된 캡처 이미지(913)에 대한 정보에 기반하여 제2 화면(920)을 표시할 수 있다. 제2 화면(920)은 제2 전자 장치(120)에 표시 중인 제1 화면(910)에 대응할 수 있다. 제2 화면(920)은 제2 전자 장치(120)에 표시 중인 제1 화면(910)의 적어도 일부를 미러링한 화면일 수 있다. 제2 화면(920)에는 제1 화면(910)에 표시 중인 캡처 이미지(913)가 미러링되어 표시될 수 있다.
제2 전자 장치(120)는 캡처 이미지(913)를 제1 전자 장치(110)에 전송한 후 사용자 입력에 따라 제2 앱(예: 지도 앱)을 실행할 수 있다. 제2 전자 장치(120)에서 제3 화면(930)이 표시될 수 있다. 제3 화면(930)은 제2 앱의 실행 화면일 수 있다.
사용자는 제1 전자 장치(110)의 제2 화면(920)에 표시 중인 캡처 이미지(921)를 보면서 제2 전자 장치(120)의 제3 화면(930)을 통해 캡처 이미지(921)에 있는 주소를 입력할 수 있다.
도 9b를 참조하면, 제2 전자 장치(120)(예: 스마트 폰)에 제1 화면(950)이 표시될 수 있다. 제1 화면(950)에는 제2 전자 장치(120)에서 최근 사용된 제1 앱과 관련된 썸네일(953)이 포함될 수 있다.
제1 전자 장치(110)(예: 스마트 와치)에 제1 앱이 미설치된 경우 사용자는 썸네일(953)을 표시하기 위한 공유 정보(예: 스크린 샷 정보, 랜더링/그래픽 정보)를 제1 전자 장치(110)(예: 스마트 와치)로 제공하여 제1 전자 장치(110)에서 썸네일(953)에 대응하는 이미지(961)가 일시적으로 표시될 수 있도록 지원할 수 있다.
예를 들어, 기기 연결 모드에서 제2 전자 장치(120)에 표시 중인 썸네일(953)에 대한 롱 터치가 입력됨에 따라, 도시된 바와 같이 일시 전송 메뉴(951)를 포함하는 메뉴 창이 제1 화면(950)에 나타날 수 있다. 일시 전송 메뉴(951)를 선택하는 사용자 입력에 따라 썸네일(953)을 표시하기 위한 공유 정보가 제1 전자 장치(110)로 전송될 수 있다.
제1 전자 장치(110)는 제1 전자 장치(110)로부터 수신된 상기 공유 정보에 기반하여 썸네일(953)에 대응하는 이미지(961)가 포함된 제2 화면(960)을 표시할 수 있다.
도 10은 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
제1 전자 장치(110)는 제1 화면(1010)을 표시할 수 있다. 제1 화면(1010)은 이미지(예: 신용카드 사진)의 일부를 표시하는 화면일 수 있다.
제1 화면(1010)에 대한 사용자 입력(예: 롱 터치)이 있는 경우 제1 화면(1010)이 제2 화면(1020)으로 전환될 수 있다. 제2 화면(1020)은 제1 화면(1010)의 스크릿 샷(1021)(또는 캡처 화면)과 기기 연결 모드의 사용을 위한 시각적 요소(1023)(예: 폰 모양 아이콘)을 포함할 수 있다. 기기 연결 모드의 사용이 가능한 경우 시각적 요소(1023)가 나타날 수 있다.
시각적 요소(1023)에 대한 사용자 입력(예: 스크릿 샷(1021)을 시각적 요소(1023) 측으로 드래그 앤 드롭하는 입력)에 따라 기기 연결 모드가 활성화될 수 있다.
기기 연결 모드에서 제1 전자 장치(110)에 표시 중인 제1 화면(1010)의 스크린 샷에 대한 정보가 제2 전자 장치(120)로 전송될 수 있다.
제1 전자 장치(110)는 제1 전자 장치(110)에 저장된 이미지(예: 신용카드 사진)에 대한 전체 이미지 파일을 물리적으로 전송할 필요 없이, 제2 전자 장치(120)의 화면을 일시적으로 활용하기 위해 제1 화면(1010) 상에 표시 중인 스크린 샷에 대한 정보만을 공유 정보로서 제2 전자 장치(120)로 제공할 수 있다. 제2 전자 장치(120)는 상기 공유 정보에 기반하여 제2 화면(1010)에 대응하는 제3 화면(1030)을 표시할 수 있다.
제3 화면(1030)은 제1 화면(1010)의 스크린 샷(1021)과 입력 메뉴(1030)(예: 카드 정보 입력을 위한 메뉴)를 포함할 수 있다.
도 11a 및 도 11b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시들이다.
도 11a를 참조하면, 제1 전자 장치(110)(예: 스마트 와치)는 제1 화면(1110)을 표시할 수 있다. 제1 화면(110)은 인증번호를 포함하는 문자 버블(1111)을 표시하는 화면일 수 있다. 제1 화면(1110)에 기기 연결 모드의 사용을 위한 시각적 요소(1113)(예: 폰 모양 아이콘)가 표시될 수 있다.
시각적 요소(1113)에 대한 사용자 입력(예: 터치, 탭)에 따라 제1 화면(1110)을 캡처한 스크린 샷(1121)이 제2 전자 장치(120)(예: 스마트 폰)로 전달될 수 있다. 제2 전자 장치(120)는 제1 화면(1110)의 스크린 샷(1121)을 전달받아 제2 화면(1120)으로 표시할 수 있다.
도 11b를 참조하면, 제2 전자 장치(120)(예: 스마트 폰)는 제1 화면(1150)을 표시할 수 있다. 제1 화면(1150)은 제1 앱(예: 브라우저 앱)의 실행 화면일 수 있다.
제1 화면(1150)에 기기 연결 모드의 사용을 위한 시각적 요소(1151)(예: 워치 모양 아이콘)가 표시될 수 있다.
시각적 요소(1151)에 대한 사용자 입력(예: 터치, 탭)에 따라 제1 화면(1150)를 캡처한 스크린 샷에 대한 정보가 공유 정보로서 제1 전자 장치(110)(예: 스마트 와치)로 전송될 수 있다. 제1 전자 장치(110)는 제1 화면(1150)의 스크린 샷에 대한 정보를 수신할 수 있다. 제1 전자 장치(110)는 수신된 스크린 샷에 대한 정보에 기반하여 제2 화면(1160)을 표시할 수 있다. 제1 전자 장치(110)의 화면이 제2 전자 장치(120)의 화면보다 작은 경우, 도시된 바와 같이 제1 전자 장치(110)의 타입에 대응하도록 제1 화면(1150)의 스크린 샷이 재구성되어 표시될 수 있다.
제1 전자 장치(110)에서 제2 화면(1160)이 표시되는 동안, 제2 전자 장치(120)에서 사용자 입력에 따라 제1 화면(1150)이 제3 화면(1170)으로 전환될 수 있다. 제3 화면(1170)은 제2 앱(예: 메시지 앱)의 실행 화면일 수 있다.
사용자는 두 전자 장치(110, 120) 양측의 화면들을 함께 활용하여 한 화면 내에서의 화면 전환 없이 제1 앱(예: 브라우저 앱)과 제2 앱(예: 메시지 앱)을 편리하게 이용할 수 있다.
도 12a, 도 12b 및 도 12c는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시들이다.
도 12a를 참조하면, 제2 전자 장치(120)는 제1 화면(1210)을 표시할 수 있다. 제1 화면(1210)에 썸네일 뷰(1211)가 표시될 수 있다. 썸네일 뷰(1211)는 최근 사용된 제1 앱의 실행 화면일 수 있다.
제1 화면(1210)에는 기기 연결 모드의 사용을 위한 시각적 요소(1213)(예: 워치 모양 아이콘)가 포함될 수 있다. 시각적 요소(1213)에 대한 사용자 입력(예: 썸네일 뷰(1211)를 터치하여 시각적 요소(1213)로 드래그 앤 드롭하는 사용자 입력)에 따라, 썸네일 뷰(1211)에 대한 정보가 공유 정보로서 제1 전자 장치(110)로 전송될 수 있다. 제1 전자 장치(110)는 제2 전자 장치(120)로부터 수신된 공유 정보에 기반하여 제2 화면(1220)을 표시할 수 있다. 제2 화면(1220)은 제1 화면(1210)에 대응할 수 있다. 제2 화면(1220)은 제1 화면(1210) 내 썸네일 뷰(1211)에 대응할 수 있다.
제1 전자 장치(110)에서 제2 화면(1220)이 표시되는 동안, 사용자 입력에 따라 제2 전자 장치(120)에서 제3 화면(1230)이 표시될 수 있다. 제3 화면(1230)은 제2 앱의 실행 화면일 수 있다.
사용자는 두 전자 장치들(110, 120) 양측의 화면들을 함께 활용하여 한 화면 내에서의 화면 전환 없이 상이한 제1 앱과 제2 앱을 편리하게 이용할 수 있다.
도 12b를 참조하면, 제2 전자 장치(120)는 제1 화면(1240)을 표시할 수 있다. 제1 화면(1240)은 제1 앱(예: 미디어 방송/스트리밍 앱)의 실행 화면일 수 있다. 제1 화면(1240)은 기기 연결 모드의 사용을 위한 시각적 요소(1243)(예: 워치 모양 아이콘)를 포함할 수 있다.
제2 전자 장치(120)에서 콘텐츠를 보여주는 제1 앱의 태스크(예: 동영상 시청 태스크)를 수행하는 도중에 제2 앱과 관련된 이벤트(예: 문자 수신)가 발생하는 경우, 상기 이벤트의 발생을 알리는 알림 메시지(1241)가 제1 화면(1240) 상에 나타날 수 있다.
제1 화면(1240) 내 시각적 요소(1243)에 대한 사용자 입력(예: 알림 메시지(1241)를 터치하여 시각적 요소(1243)로 드래그 앤 드롭하는 사용자 입력)에 따라, 알림 메시지(1241)에 대한 정보(예: 수신 문자, 상기 문자의 발신자, 상기 문자의 수신 일시에 대한 정보)가 공유 정보로서 제1 전자 장치(110)로 전송될 수 있다. 제1 전자 장치(110)는 제2 전자 장치(120)로부터 수신된 공유 정보에 기반하여 제2 화면(1250)을 표시할 수 있다. 제2 화면(1250)은 제1 화면(1240)에 대응할 수 있다. 제2 화면(1250)은 알림 메시지(1251)를 보여주는 제2 앱(예: 메시지 앱)의 실행 화면일 수 있다.
사용자는 두 전자 장치(110, 120) 양측의 화면들을 함께 활용하여 한 화면 내에서의 화면 전환이나 태스크의 끊김 없이 제1 앱(예: 미디어 방송/스트리밍 앱)과 제2 앱(예: 메시지 앱)을 편리하게 이용할 수 있다.
도 12c를 참조하면, 제2 전자 장치(120)는 제1 화면(1260)을 표시할 수 있다. 제1 화면(1260)은 제1 앱(예: 브라우저 앱)의 실행 화면일 수 있다. 제1 화면(1260)은 콘텐츠(예: 동영상)를 재생하기 위한 재생 버튼(1261)을 포함할 수 있다. 제1 화면(1260)은 기기 연결 모드의 사용을 위한 시각적 요소(1263)(예: 워치 모양 아이콘)를 포함할 수 있다.
제2 전자 장치(120)에서 제1 태스크(예: 브라우징 태스크)를 수행하는 도중, 기기 연결 모드를 사용해 제1 전자 장치(110)에서 제1 태스크와 관련된 제2 태스크(예: 브라우징 탭 내 콘텐츠를 재생하는 태스크)를 실행하도록 할 수 있다.
제1 화면(1260) 내 시각적 요소(1263)에 대한 사용자 입력(예: 재생 버튼(1261)을 터치하여 시각적 요소(1263)로 드래그 앤 드롭하는 사용자 입력)에 따라, 상기 콘텐츠의 재생 및/또는 표시를 위한 정보가 공유 정보로서 제1 전자 장치(110)로 전송될 수 있다. 제1 전자 장치(110)는 제2 전자 장치(120)로부터 수신된 공유 정보에 기반하여 제2 화면(1270)을 표시할 수 있다. 제2 화면(1270)은 제1 화면(1260)의 일부에 대응하는 화면일 수 있다. 제2 화면(1270)을 통해 상기 콘텐츠가 재생 및/또는 표시될 수 있다.
제1 전자 장치(110)에서 제2 태스크(예: 콘텐츠 재생)가 실행되는 동안 제2 전자 장치(120)를 통해 제1 태스크(예: 브라우징 태스크)가 계속 실행될 수 있다.
도 13a, 도 13b 및 도 13c는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시들이다.
일 실시예에 따르면, 기기 연결 모드에서 멀티스크린 기능이 제공될 수 있다.
복수의 전자 장치들(110, 120) 간 화면들을 상호 연동하는 멀티스크린 기능에 의해, 한 화면 내에서 동시에 보여주기 어려운 복수의 화면들을 각 전자 장치(110, 120)에서 분할하여 표시할 수 있다.
도 13a를 참조하면, 제2 전자 장치(120)는 제1 화면(1310)을 표시할 수 있다. 제1 화면(1310)은 제1 앱(예: 쇼핑 앱)의 실행 화면일 수 있다. 도시된 바와 같이, 제1 화면(1310)에서 복수 개의 제품 목록들이 표시될 수 있다.
기기 연결 모드에서 멀티스크린 기능이 수행될 경우 제1 전자 장치(110)의 화면 및 제2 전자 장치(120)의 화면이 멀티스크린을 이루도록 동작할 수 있다. 제1 전자 장치(110)에 표시되는 제2 화면(1320)은 제1 화면(1310)의 분할 화면 또는 서브 화면으로서 사용될 수 있다.
도시된 바와 같이, 제1 전자 장치(110)의 제2 화면(1320)에 제1 화면(1310) 내 제품들에 대한 링크들이 표시될 수 있다.
사용자는 제1 전자 장치(110)의 제1 화면(1310)을 스크롤하면서 여러 제품들을 살펴봄과 동시에 제2 화면(1320)을 통해 상세 보기를 원하는 제품의 링크를 선택하여 상기 제품의 상세 정보를 확인할 수 있다.
도 13b를 참조하면, 제2 전자 장치(120)는 제1 화면(1330)을 표시할 수 있다. 제1 화면(1330)은 제1 앱(예: 전화 앱)의 실행 화면일 수 있다. 도시된 바와 같이, 제1 화면(1330)에 제1 앱의 제1 태스크(예: 전화 태스크)를 위한 사용자 인터페이스가 표시될 수 있다.
기기 연결 모드에서 멀티스크린 기능이 수행될 경우 제1 전자 장치(110)의 화면 및 제2 전자 장치(120)의 화면이 멀티스크린을 이루도록 동작할 수 있다. 제1 전자 장치(110)에 표시되는 제2 화면(1340)은 제1 화면(1330)의 분할 화면 또는 서브 화면으로서 사용될 수 있다.
제1 화면(1330)에서 키패드 메뉴(1335)에 대한 사용자 입력(예: 터치, 탭)이 있는 경우, 제1 태스크(예: 전화 태스크)의 하위 태스크인 제2 태스크(예: 키 입력 태스크)를 실행하기 위한 제2 화면(1340)이 제1 전자 장치(110)를 통해 표시될 수 있다. 제2 화면(1340)(예: 키패드 화면)은 제1 화면(1330)(예: 전화 어플리케이션 실행 화면)의 분할 화면 또는 서브 화면일 수 있다.
사용자는 제1 전자 장치(110)에서의 실질적인 화면 전환 없이 제2 전자 장치(120)의 화면을 활용해 제1 앱의 제2 태스크(예: 키 입력 태스크)를 실행할 수 있다.
도 13c를 참조하면, 제2 전자 장치(120)는 제1 화면(1350)을 표시할 수 있다. 제1 화면(1350)은 제1 앱(예: 캘린더 앱)의 실행 화면일 수 있다.
기기 연결 모드에서 멀티스크린 기능이 수행될 경우 제1 전자 장치(110)의 화면 및 제2 전자 장치(120)의 화면이 멀티스크린을 이루도록 동작할 수 있다. 제1 전자 장치(110)에 표시되는 제2 화면(1360)은 제1 화면(1350)의 분할 화면 또는 서브 화면으로서 사용될 수 있다.
도시된 바와 같이, 제2 전자 장치(120)가 제1 전자 장치(110)에 비해 화면 크기가 작은 경우, 제2 전자 장치(120)에 표시 중인 제1 화면(1350)을 제1 전자 장치(110)의 타입에 대응하도록 재구성(예: 상세 캘린더를 단순화 처리)한 제2 화면(1360)이 제1 전자 장치(110)에 표시될 수 있다.
도 13d는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스 구조를 예시한 도면이다.
도 13d를 참조하면, 제1 화면(1371)과 제2 화면(1372)은 동일 앱의 실행 화면들일 수 있다. 제1 앱의 실행 환경에서 상위 레벨 태스크를 위한 제1 화면(1371)과 하위 레벨 태스크를 위한 제2 화면(1375)이 생성될 수 있다.
제1 앱의 실행 중에 제1 화면(1371)에서 제2 화면(1375)으로 전환이 필요하거나, 제1 화면(1371)에서 제2 화면(1375)으로 진입(depth-in)이 필요한 경우, 기기 연결 모드를 사용해 제1 전자 장치(110)의 화면과 제2 전자 장치(120)의 화면들을 동시에 활용할 수 있다.
제2 전자 장치(120)에서 제1 화면(1371)에 대응(예: 동일)하는 제3 화면(1381)이 표시될 수 있다. 제1 전자 장치(110)에서 제4 화면(1385)이 표시될 수 있다. 제4 화면(1385)은 제1 전자 장치(110)의 타입을 기반으로 제2 화면(1375)을 재구성한 것일 수 있다. 제4 화면(1385)은 제3 화면(1381)의 분할 화면 또는 서브 화면일 수 있다.
기기 연결 모드에서 제2 전자 장치(120)에 제3 화면(1381)이 표시된 경우 제1 전자 장치(110)를 통해 제4 화면(1385)이 표시될 수 있다.
사용자는 한 화면으로 표시하기 어려운 화면들을 복수의 전자 장치들(예: 제1 전자 장치(110) 및 제2 전자 장치(120))을 활용해 한 전자 장치에서의 화면 전환(예: 스크롤, 탭이나 윈도우 전환, 하위 메뉴 진입) 없이 편리하게 사용할 수 있다.
도 14는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시이다.
기기 연결 모드에서 제1 전자 장치(110)(예: 스마트 워치)의 제1 화면(1410)을 미러링한 제2 화면(1420) 또는 제3 화면(1430)이 제2 전자 장치(120)에 표시될 수 있다.
제1 전자 장치(110)는 제1 화면(1410)(예: 이메일 작성 화면)을 표시할 수 있다.
제1 전자 장치(110)에서 표시 중인 제1 화면(1410)의 적어도 일부와 관련된 공유 정보(예: 입력 중인 텍스트와 표시 중인 사용자 인터페이스에 대한 정보)가 제2 전자 장치(120)로 전송될 수 있다.
사용자는 제1 전자 장치(110)에서 입력 중이던 텍스트를 제2 전자 장치(120)에서 연속적으로 입력할 수 있다.
일 예로, 제2 전자 장치(120)는 제1 화면(1410)의 전체 영역을 미러링한 제2 화면(1420)을 표시할 수 있다. 제2 화면(1420)은 전체 미러 뷰 영역(1421)을 포함할 수 있다. 제2 화면(1420)에는 제1 화면(1410)과 관련된 추가 기능을 제공하기 위한 입력 필드(1423)와 키보드가 추가로 표시될 수 있다. 입력 필드(1423)를 통해 입력되는 내용은 전체 미러 뷰 영역(1421)에 반영될 수 있다.
다른 예로, 제2 전자 장치(120)는 제1 화면(1410)의 일부만 미러링한 제3 화면(1430)을 표시할 수 있다. 제3 화면(1430)은 부분 미러 뷰 영역(1435)을 포함할 수 있다. 제3 화면(1430)에는 제1 화면(1410)과 관련된 추가 기능을 제공하기 위한 입력 필드(1433)와 키보드가 추가로 표시될 수 있다. 입력 필드(1433)를 통해 입력되는 내용은 부분 미러 뷰 영역(1435)에 반영될 수 있다.
또 다른 예로, 제1 전자 장치(110)에서 제1 화면(1410)의 표시가 유지되는 동안, 제1 화면(1410)과 관련된 추가 기능을 제공하기 위해 입력 필드와 키보드만 존재하는 제4 화면(미도시)이 제2 전자 장치(120)를 통해 표시될 수도 있다.
도 15a 및 도 15b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시들이다.
일 실시예에 따르면, 기기 연결 모드에서 제1 전자 장치(110) 및 제2 전자 장치(120) 간 미러스크린 기능이 제공될 수 있다.
도 15a를 참조하면, 제1 전자 장치(110)(예: 스마트 와치)에서 제1 화면(1510)(예: 위젯 리스트 중 편집 메뉴 실행 화면)이 표시될 수 있다. 제2 전자 장치(120)(예: 스마트 폰)에서 제2 화면(1520)(예: 웨어러블 목록 중 위젯 메뉴 실행 화면)이 표시될 수 있다. 제2 화면(1520)은 제1 화면(1510)을 미러링한 영역(1525)을 포함할 수 있다. 제2 화면(1520)은 제1 화면(1510)을 미러링한 영역(1525)에 더하여, 추가적인 정보 및/또는 기능을 제공하기 위한 추가 영역을 포함할 수 있다.
미러스크린 동작 시, 일측 전자 장치(예: 제2 전자 장치(120))의 화면 크기가 타측 전자 장치(예: 제1 전자 장치(120))보다 큰 경우, 일측 전자 장치에 표시되는 화면(예: 제2 화면(1520))은 타측 전자 장치에 표시되는 화면(예: 제1 화면(1510))보다 더 많은 정보 및/또는 기능을 제공할 수 있다. 예를 들어, 제2 화면은 제1 화면보다 많은 콘텐츠(예: texts, lists, image thumbnails)를 보여주거나 제1 화면으로부터 하위 레벨로 진입(depth-in)해야 볼 수 있는 내용을 화면 전환(예: 스크롤, 탭이나 윈도우 전환, 하위 메뉴 진입) 없이 한 화면에서 제공할 수 있다. 제1 화면과 관련된 사용자 인터페이스와 제2 화면과 관련된 사용자 인터페이스는 서로 다른 형태일 수 있다. 예를 들어, 스마트 워치 타입인 제1 전자 장치(110)의 제1 화면에서는 원형으로 표시된 사용자 인터페이스가, 스마트 폰 타입인 제2 전자 장치(120)의 제2 화면에서는 길쭉한 타원형 혹은 스마트 폰의 전체 화면에 대응하는 사각형으로 표시될 수 있다.
도 15b를 참조하면, 제1 전자 장치(110)(예: 스마트 와치)에서 제1 화면(1530)이 표시될 수 있다. 제1 화면(1530)은 제1 앱(예: 앨범 앱)의 실행 화면일 수 있다.
제2 전자 장치(120)(예: 스마트 폰)에서 제2 화면(1540)이 표시될 수 있다. 제2 화면(1540)은 제1 앱(예: 앨범 앱)의 실행 화면일 수 있다.
기기 연결 모드에서 제2 전자 장치(120)의 제1 앱이 제1 전자 장치(110)의 제1 앱과 연동될 수 있다. 예를 들어, 워치 연동 앨범 기능이 제공될 수 있다.
기기 연결 모드가 활성화되는 경우 제2 전자 장치(120)에서 제2 화면(1540)이 제3 화면(1550)으로 전환될 수 있다.
제3 화면(1550)은 제1 영역(1551) 및 제2 영역(1555)을 포함할 수 있다. 제1 영역(1551)은 제1 전자 장치(110)(예: 스마트 워치)의 이미지들을 제2 전자 장치(120)(예: 스마트 폰)로 가져오기 위한 미러 뷰 영역일 수 있다. 제2 영역(1555)은 제2 전자 장치(120)에 저장된 이미지들을 보여주기 위한 영역일 수 있다.
제1 영역(1551)을 통해 제1 전자 장치(110)에 저장 및/또는 표시된 콘텐츠(예: 이미지, 동영상, 미디어 파일)가 표시될 수 있다. 제1 영역(1551)을 통해 상기 콘텐츠가 제2 전자 장치(120)로 복사 및/또는 이동(copy and/or paste)될 수 있다. 예를 들어, 제1 전자 장치(110)에서 표시 중인 앨범 어플리케이션 실행 화면에서 표시된 이미지들의 썸네일들이 제1 영역(1551)으로 미러링 될 수 있다. 제1 영역(1551) 내 제1 이미지의 썸네일(1553)을 제2 영역(1555) 내 뷰(1557)로 드래그 앤 드롭하는 사용자 입력이 있는 경우, 상기 제1 이미지가 제2 전자 장치(120)로 복사 및/또는 이동될 수 있다. 상기 제1 이미지가 제2 전자 장치(120)에 저장 및/또는 표시될 수 있다.
기기 연결 모드에서 미러 뷰 영역(예: 제1 영역(1551))을 활용함으로써 콘텐츠(예: 많은 양의 텍스트, 웹 링크들, 이미지들, 동영상들)의 기기 간 복사 및/또는 이동이 한 번에, 간편하게 수행될 수 있다.
도 16a, 도 16b, 도 17a 및 도 17b의 실시예들에 따르면, 제1 전자 장치(110)와 제2 전자 장치(120) 간의 기기 연결로 복수 화면들을 활용해 사용성을 개선할 수 있다. 콘텐츠(예: 텍스트, 이미지, 동영상, 미디어 파일, 웹 링크) 관련 태스크를 핸드오프 방식으로 수행함에 있어 심리스한 사용자 경험(seamless user experience)이 가능하도록 지원할 수 있다.
기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소 및/또는 기기 연결 모드의 사용을 위한 시각적 요소를 이용해 일측 전자 장치의 화면을 타측 전자 장치의 화면과 쉽게 연동하여 사용할 수 있다. 일측 전자 장치에서 실행 중인 태스크를 타측 전자 장치에서 이어서 수행할 수 있다. 태스크의 수행 중에 일측 전자 장치 및 타측 전자 장치 각각에 저장 및/또는 표시 중인 콘텐츠(예: 텍스트, 이미지, 동영상, 미디어 파일)를 상호 간에 복사 및/또는 이동할 수 있다.
기기 연결 모드에서 기기 간 정보 및/또는 콘텐츠 공유를 위한 미러 뷰 영역 또는 멀티 뷰 영역이 제공될 수 있다.
미러 뷰 영역 또는 멀티 뷰 영역은 공유할 콘텐츠를 선택하기 위한 시각적 요소일 수 있다. 미러 뷰 영역 또는 멀티 뷰 영역을 통해 일측 전자 장치(예: 제1 전자 장치(110) 및 제2 전자 장치(120) 중 하나)에 저장 및/또는 표시 중인 다양한 종류의 콘텐츠(예: 텍스트, 이미지, 동영상, 미디어 파일, 웹 링크)가 타측 전자 장치(예: 제1 전자 장치(110) 및 제2 전자 장치(120) 중 다른 하나)로 복사 및/또는 이동될 수 있다.
도 16a 및 도 16b는 또 다른 실시예에 따른 전자 장치들 간 인터랙션을 위한 사용자 인터페이스의 예시들로서, 콘텐츠가 텍스트인 경우의 인터랙션 동작을 예시한 것이다.
도 16a를 참조하면, 제1 전자 장치(110)(예: 스마트 워치)에서 제1 화면(1610)이 표시될 수 있다. 제1 화면(1610)은 제1 앱(예: 메시지 앱)의 제1 태스크(예: 메시지 발신 태스크)와 관련된 화면일 수 있다.
제1 전자 장치(110)가 스마트 워치와 같이 상대적으로 작은 화면 크기를 가지는 장치이고, 장문의 작성이 필요한 경우, 화면 면적이나 입력 필드 공간의 제약으로 인해 문장 작성이 번거롭고 필요한 모든 정보(예: 작성된 문장, 키보드 전체)를 한 화면으로 보는 것이 불가능할 수 있다(예: 도면부호 1617의 여러 화면들).
기기 연결 모드에서, 제1 화면(1610) 상에 기기 연결 모드의 사용을 위한 시각적 요소(1610)가 나타날 수 있다.
제1 전자 장치(110)에서 수행 중이던 제1 태스크(예: 메시지 발신 태스크)를 제2 전자 장치(120)로 핸드오프하기 위해, 시각적 요소(1615)를 이용해 사용자에 의해 작성 중인 입력 필드 내용을 제2 전자 장치(120)로 내보낼 수 있다.
제2 전자 장치(120)(예: 스마트 폰)에서 제2 화면(1620)이 표시될 수 있다.
제2 화면(1620)은 제1 영역(1621) 및 제2 영역(1625)을 포함할 수 있다.
제1 영역(1621)에는 제1 화면(1610)의 전체 또는 일부(예: 작성 중인 입력 필드 내용)를 미러링한 미러 뷰 영역(1623)이 표시될 수 있다.
제2 영역(1625)은 미러 뷰 영역(1623)과 관련된 제1 태스크(예: 메시지 발신 태스크)를 수행하기 위한 키보드 영역일 수 있다.
제1 전자 장치(110)에서 수행 중이던 제1 태스크가 제2 전자 장치(120)에서 이어서 수행될 수 있다.
사용자는 제1 화면(1610)보다 더 넓은 제2 화면(1620)에서 쉽게 입력을 수행할 수 있다.
사용자 입력이 있는 경우, 예를 들어 사용자가 제2 영역(1625) 내 입력 필드(1627)를 터치하여 미러 뷰 영역(1623)으로 드래그 앤 드롭하는 경우, 입력 필드 내용이 미러 뷰 영역(1623)으로 복사 및/또는 이동될 수 있다.
제2 전자 장치(120)에 제1 화면(1610)을 미러링한 제2 화면(1620)이 표시되는 동안, 제1 전자 장치(110)에 대한 사용자 입력에 따라 제1 화면(1610)이 제3 화면(1630)으로 전환될 수 있다. 예를 들어, 제1 전자 장치(110)에서 최근 사용 어플리케이션 목록 → 핸드오프 메뉴를 선택함에 따라 제1 전자 장치(110)에서 제3 화면(1630)이 표시될 수 있다. 제3 화면(1630)은 홈 화면 또는 잠금 화면일 수 있다.
사용자가 제2 전자 장치(120)의 미러 뷰 영역(1623)에 복사해 놓은 텍스트가 있다면, 제3 화면(1630)에서 기기 연결 모드의 사용을 위한 시각적 요소(1640)가 제공될 수 있다. 예를 들어, 시각적 요소(1640)는 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트(1641)를 포함할 수 있다. 제1 아이콘 파트(1641)는 버블 타입의 진행중 아이콘(ongoing icon)일 수 있다. 시각적 요소(1640)는 기기 연결 모드에서 핸드오프될 어플리케이션 또는 태스크에 대한 정보를 나타내는 제2 아이콘 파트(1645)를 포함할 수 있다. 제2 아이콘 파트(1645)는 제2 전자 장치(120)에서 실행 중인 제2 앱(예: 브라우징 앱) 또는 제2 태스크(예: 인터넷 브라우징 태스크)와 관련된 태스킹 아이콘(tasking icon)일 수 있다.
시작적 요소(1640)에 대한 사용자 입력에 따라, 제1 전자 장치(110)에서 제3 화면(1630)이 제4 화면(1647)으로 전환될 수 있다. 제2 전자 장치(120)에서 수행 중인 제2 태스크와 관련된 정보(예: 열린 탭들 모음에 대한 정보)가 공유 정보로서 제2 전자 장치(120)로부터 제1 전자 장치(110)로 전달될 수 있다.
제4 화면(1647)은 제2 전자 장치(120)에서 수행 중인 제2 태스크와 관련된 정보(예: 열린 탭들 모음에 대한 정보) 및 제1 전자 장치(110)의 타입에 기반하여 재구성된 화면일 수 있다. 예를 들어, 제2 전자 장치(120)에서 열린 탭들 모음에 대한 정보가, 제1 전자 장치(110) 상에서 도시된 바와 같이 단순화된 사용자 인터페이스 형태로 표시될 수 있다.
도 16b를 참조하면, 제1 전자 장치(110)(예: 스마트 워치)에서 제1 화면(1650)이 표시될 수 있다. 제1 화면(1650)은 제1 앱(예: 메시지 앱)의 제1 태스크(예: 메시지 발신 태스크)와 관련된 화면일 수 있다.
기기 연결 모드에서, 제1 화면(1650) 상에 기기 연결 모드의 사용을 위한 제1 시각적 요소(1651)가 나타날 수 있다.
제1 전자 장치(110)에서 수행 중이던 제1 태스크(예: 메시지 발신 태스크)를 제2 전자 장치(120)로 핸드오프하기 위해, 제1 시각적 요소(1651)를 이용해 제1 태스크와 관련된 정보 및/또는 콘텐츠(예: 사용자에 의해 작성 중인 입력 필드 내용)을 제2 전자 장치(120)로 내보낼 수 있다.
제2 전자 장치(120)(예: 스마트 폰)에서 제2 화면(1661)이 표시될 수 있다.
제2 화면(1661)은 제1 영역(1660) 및 제2 영역(1665)을 포함할 수 있다.
제1 영역(1660)에는 멀티 뷰 영역(1663)이 표시될 수 있다. 멀티 뷰 영역(1663)은 제1 화면(1650)의 전체 또는 일부(예: 작성 중인 입력 필드 내용)에 대한 정보 및/또는 제2 전자 장치(120)의 타입에 기반하여 재구성된 사용자 인터페이스일 수 있다.
제2 영역(1665)은 멀티 뷰 영역(1663)과 관련된 제1 태스크를 수행하기 위한 키보드 영역일 수 있다.
제1 전자 장치(110)에서 수행 중이던 제1 태스크가 제2 전자 장치(120)에서 이어서 수행될 수 있다.
사용자는 제1 화면(1650)보다 더 넓은 제2 화면(1661)에서 쉽게 입력을 수행할 수 있다.
제2 전자 장치(120)에 제1 화면(1650)과 관련된 멀티 뷰 영역(1663)을 제공하는 제2 화면(1661)이 표시되는 동안, 사용자 입력에 따라 제1 화면(1650)이 제3 화면(1670)으로 전환될 수 있다.
예를 들어, 제1 전자 장치(110)에서 최근 사용 어플리케이션 목록 → 핸드오프 메뉴를 선택함에 따라 제1 전자 장치(110)에서 제3 화면(1670)이 표시될 수 있다. 제3 화면(1670)은 홈 화면 또는 잠금 화면일 수 있다.
제3 화면(1670)에서 기기 연결 모드의 사용을 위한 제2 시각적 요소(1685) 및 제3 시각적 요소(1687)가 제공될 수 있다.
제2 시각적 요소(1685)는 제2 전자 장치(120)에서 수행 중인 제1 태스크(예: 포어그라운드 태스크, 메시지 발신 태스크)의 핸드오프를 위한 것일 수 있다. 제2 시각적 요소(1685)는 제2 전자 장치(120)에서 수행 중인 제1 태스크를 가져올 수 있도록 하는 사용자 인터페이스일 수 있다.
제2 시각적 요소(1685)는 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트(1681)와, 기기 연결 모드에서 핸드오프될 제1 앱(예: 메시지 앱) 또는 제1 태스크(예: 메시지 발신 태스크)에 대한 정보를 나타내는 제2 아이콘 파트(1683)를 포함할 수 있다.
제3 시각적 요소(1687)는 제2 전자 장치(120)에서 수행 중인 제2 태스크(예: 백그라운드 태스크, 앨범 보기 태스크)의 핸드오프를 위한 것일 수 있다. 제3 시각적 요소(1687)는 제2 전자 장치(120)에서 수행 중인 제2 태스크를 가져올 수 있도록 하는 사용자 인터페이스일 수 있다.
제3 시각적 요소(1687)는 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트와, 기기 연결 모드에서 핸드오프될 제1 앱(예: 앨범 앱) 또는 제2 태스크(예: 앨범 보기 태스크)에 대한 정보를 나타내는 제2 아이콘 파트를 포함할 수 있다.
제2 시각적 요소(1685) 및 제3 시각적 요소(1687)를 통해 기기 연결 모드의 사용이 가능한 앱/태스크를 사용자에게 직관적으로 인지시킴으로써 사용자의 빠른 선택을 돕고 사용자의 다음 행동을 쉽고 자연스럽게 유도할 수 있다.
제3 화면(1670) 내 제2 시각적 요소(1685)에 대한 사용자 입력(예: 터치, 탭)이 있는 경우, 제1 전자 장치(110)에서 제3 화면(1670)이 제4 화면(1690)으로 전환될 수 있다. 제4 화면(1690)은 제2 전자 장치(120)에서 실행 중인 제1 태스크(예: 메시지 발신 태스크)를 이어서 실행하기 위한 화면일 수 있다. 상기 사용자 입력에 따라 제2 전자 장치(120)에서 실행 중인 제1 태스크(예: 포어그라운드 태스크, 메시지 발신 태스크)가 제1 전자 장치(110)로 다시 핸드오프될 수 있다.
제3 화면(1670)에서 제3 시각적 요소(1687)가 선택될 경우에는, 제3 화면(1670)이 제2 태스크(예: 백그라운드 태스크, 앨범 보기 태스크)의 실행을 위한 제5 화면(미도시)으로 전환될 수 있다.
도 17a를 참조하면, 제2 전자 장치(120)(예: 스마트 폰)에서 제1 화면(1710)이 표시될 수 있다. 제1 화면(1710) 상에 기기 연결 모드의 사용을 위한 제1 시각적 요소(1711)가 나타날 수 있다.
제1 시각적 요소(1711)를 선택하는 사용자 입력에 따라 제1 화면(1710)이 제2 화면(1720) 또는 제3 화면(1730)으로 전환될 수 있다.
제2 화면(1720)은 제1 영역(1721)을 포함할 수 있다. 제1 영역(1721)은 제1 전자 장치(110)(예: 스마트 워치)의 콘텐츠를 제2 전자 장치(120)(예: 스마트 폰)로 가져오기 위한 미러 뷰 영역일 수 있다.
제1 영역(1721)을 통해 제1 전자 장치(110)에 저장 및/또는 표시된 콘텐츠(예: 이미지, 동영상, 미디어 파일)가 표시될 수 있다. 제1 영역(1721)을 통해 상기 콘텐츠가 제2 전자 장치(120)로 복사 및/또는 이동될 수 있다. 예를 들어, 제1 전자 장치(110)에서 표시 중인 앨범 어플리케이션 실행 화면에서 표시된 이미지들의 썸네일들이 제1 영역(1721)으로 미러링 될 수 있다. 제1 영역(1721) 내 제1 이미지의 썸네일(1725)을 제1 영역(1721) 외측의 뷰(1723)로 드래그 앤 드롭하는 사용자 입력이 있는 경우, 상기 제1 이미지가 제2 전자 장치(120)로 복사 및/또는 이동될 수 있다. 상기 제1 이미지가 제2 전자 장치(120)에 저장 및/또는 표시될 수 있다.
제3 화면(1730)은 제2 영역(1731)을 포함할 수 있다. 제2 영역(1731)은 제2 전자 장치(120)(예: 스마트 폰)의 콘텐츠를 제1 전자 장치(110)(예: 스마트 와치)로 전달하기 위한 미러 뷰 영역일 수 있다. 제2 영역(1731)을 통해 제2 전자 장치(120)에 저장 및/또는 표시된 콘텐츠(예: 이미지, 동영상, 미디어 파일)가 제1 전자 장치(110)로 복사 및/또는 이동될 수 있다. 예를 들어, 제2 전자 장치(120)에서 표시 중인 제2 이미지의 썸네일(1737)을 제2 영역(1731) 내측의 뷰(1733)로 드래그 앤 드롭하는 사용자 입력이 있는 경우, 상기 제2 이미지가 제1 전자 장치(110)로 복사 및/또는 이동될 수 있다. 상기 제2 이미지가 제1 전자 장치(110)에 저장 및/또는 표시될 수 있다.
기기 연결 모드에서 미러 뷰 영역(예: 제1, 제2 영역(1721, 1731))을 활용함으로써 콘텐츠(예: 많은 양의 텍스트, 웹 링크들, 이미지들, 동영상들)의 기기 간 복사 및/또는 이동이 한 번에, 간편하게 수행될 수 있다.
기기 연결 모드에서, 제1 전자 장치(110)에 제4 화면(1740)이 표시될 수 있다.
제4 화면(1740)에서 기기 연결 모드의 사용을 위한 제2 시각적 요소(1745)가 제공될 수 있다. 제2 시각적 요소(1745)는 미러 뷰 영역인 제2 영역(1731)으로 복사 및/또는 이동된 콘텐츠(예: 제2 이미지)를 제1 전자 장치(110)로 가져오기 위한 것일 수 있다. 제2 시각적 요소(1745)는 제2 전자 장치(120)에서 수행 중인 태스크(예: 앨범 보기 태스크)의 핸드오프를 위한 것일 수 있다. 제2 시각적 요소(1745)는 제2 전자 장치(120)에서 수행 중인 태스크를 가져올 수 있도록 하는 사용자 인터페이스일 수 있다.
제2 시각적 요소(1745)는 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트(1741)와, 기기 연결 모드에서 핸드오프될 어플리케이션 또는 태스크에 대한 정보를 나타내는 제2 아이콘 파트(1743)를 포함할 수 있다.
제2 시각적 요소(1745)에 대한 사용자 입력(예: 터치, 탭)에 따라 제4 화면(1740)이 제5 화면(1750)으로 전환될 수 있다. 제5 화면(1750)은 어플리케이션 실행 화면(예: 앨범 어플리케이션 실행 화면)일 수 있다. 제5 화면(1750)에는 제1 전자 장치(110)에 저장된 이미지들의 썸네일들이 표시될 수 있다. 제5 화면(1750)에는 제2 전자 장치(120)로부터 제1 전자 장치(110)로 복사 및/또는 이동된 제2 이미지의 썸네일(1753)이 포함될 수 있다.
도 17b를 참조하면, 제2 전자 장치(120)(예: 스마트 폰)에서 제1 화면(1755)이 표시될 수 있다. 제1 화면(1755)의 에지(edge)에 대한 사용자 입력에 따라 제1 화면(1755)이 제2 화면(1760)으로 전환될 수 있다. 제2 화면(1760)은 기기 연결 모드의 사용을 위한 제1 시각적 요소(1761)를 포함할 수 있다. 제1 시각적 요소(1761)에 대한 사용자 입력에 따라 제2 화면(1760)이 제3 화면(1770)으로 전환될 수 있다.
제3 화면(1770)은 제1 영역(1771)을 포함할 수 있다. 제1 영역(1771)은 제2 전자 장치(120)(예: 스마트 폰)의 콘텐츠를 제1 전자 장치(110)(예: 스마트 와치)로 전달하기 위한 미러 뷰 영역일 수 있다. 제1 영역(1771)을 통해 제2 전자 장치(120)에 저장 및/또는 표시된 콘텐츠(예: 이미지, 동영상, 미디어 파일)가 제1 전자 장치(110)로 복사 및/또는 이동될 수 있다. 예를 들어, 제2 전자 장치(120)에서 표시 중인 제1 이미지의 썸네일(1777)을 제1 영역(1771) 내 뷰(1773)로 드래그 앤 드롭하는 사용자 입력이 있는 경우, 상기 제1 이미지가 제1 전자 장치(110)로 복사 및/또는 이동될 수 있다. 상기 제1 이미지가 제1 전자 장치(110)에 저장 및/또는 표시될 수 있다.
기기 연결 모드에서, 제1 전자 장치(110)에 제4 화면(1780)이 표시될 수 있다.
제4 화면(1780)에서 기기 연결 모드의 사용을 위한 제2 시각적 요소(1785)가 제공될 수 있다. 제2 시각적 요소(1785)는 미러 뷰 영역인 제1 영역(1771)으로 복사 및/또는 이동된 콘텐츠(예: 이미지)를 제1 전자 장치(110)로 가져오기 위한 것일 수 있다. 제2 시각적 요소(1785)는 제2 전자 장치(120)에서 수행 중인 태스크(예: 앨범 보기 태스크)의 핸드오프를 위한 것일 수 있다. 제2 시각적 요소(1785)는 제2 전자 장치(120)에서 수행 중인 태스크를 가져올 수 있도록 하는 사용자 인터페이스일 수 있다.
제2 시각적 요소(1785)는 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트(1781)와, 기기 연결 모드에서 핸드오프될 어플리케이션 또는 태스크에 대한 정보를 나타내는 제2 아이콘 파트(1783)를 포함할 수 있다.
제2 시각적 요소(1785)에 대한 사용자 입력(예: 터치, 탭)에 따라 제4 화면(1780)이 제5 화면(1790)으로 전환될 수 있다. 제5 화면(1790)은 어플리케이션 실행 화면(예: 앨범 어플리케이션 실행 화면)일 수 있다. 제5 화면(1790)에는 제1 전자 장치(110)에 저장된 이미지들의 썸네일들이 표시될 수 있다. 제5 화면(1790)에는 제2 전자 장치(120)로부터 제1 전자 장치(110)로 복사 및/또는 이동된 제2 이미지의 썸네일(1793)이 포함될 수 있다.
도 18은, 다양한 실시예들에 따른, 네트워크 환경(1800) 내의 전자 장치(1801)의 블록도이다. 도 18을 참조하면, 네트워크 환경(1800)에서 전자 장치(1801)는 제 1 네트워크(1898)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1802)와 통신하거나, 또는 제 2 네트워크(1899)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1804) 또는 서버(1808) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1801)는 서버(1808)를 통하여 전자 장치(1804)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1801)는 프로세서(1820), 메모리(1830), 입력 모듈(1850), 음향 출력 모듈(1855), 디스플레이 모듈(1860), 오디오 모듈(1870), 센서 모듈(1876), 인터페이스(1877), 연결 단자(1878), 햅틱 모듈(1879), 카메라 모듈(1880), 전력 관리 모듈(1888), 배터리(1889), 통신 모듈(1890), 가입자 식별 모듈(1896), 또는 안테나 모듈(1897)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1801)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(1878))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(1876), 카메라 모듈(1880), 또는 안테나 모듈(1897))은 하나의 구성요소(예: 디스플레이 모듈(1860))로 통합될 수 있다.
프로세서(1820)는, 예를 들면, 소프트웨어(예: 프로그램(1840))를 실행하여 프로세서(1820)에 연결된 전자 장치(1801)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1820)는 다른 구성요소(예: 센서 모듈(1876) 또는 통신 모듈(1890))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1832)에 저장하고, 휘발성 메모리(1832)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1834)에 저장할 수 있다. 일실시예에 따르면, 프로세서(1820)는 메인 프로세서(1821)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1823)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(1801)가 메인 프로세서(1821) 및 보조 프로세서(1823)를 포함하는 경우, 보조 프로세서(1823)는 메인 프로세서(1821)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1823)는 메인 프로세서(1821)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1823)는, 예를 들면, 메인 프로세서(1821)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1821)를 대신하여, 또는 메인 프로세서(1821)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1821)와 함께, 전자 장치(1801)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(1860), 센서 모듈(1876), 또는 통신 모듈(1890))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(1823)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(1880) 또는 통신 모듈(1890))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(1823)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(1801) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(1808))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(1830)는, 전자 장치(1801)의 적어도 하나의 구성요소(예: 프로세서(1820) 또는 센서 모듈(1876))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1840)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1830)는, 휘발성 메모리(1832) 또는 비휘발성 메모리(1834)를 포함할 수 있다.
프로그램(1840)은 메모리(1830)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1842), 미들 웨어(1844) 또는 어플리케이션(1846)을 포함할 수 있다.
입력 모듈(1850)은, 전자 장치(1801)의 구성요소(예: 프로세서(1820))에 사용될 명령 또는 데이터를 전자 장치(1801)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(1850)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(1855)은 음향 신호를 전자 장치(1801)의 외부로 출력할 수 있다. 음향 출력 모듈(1855)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(1860)은 전자 장치(1801)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(1860)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(1860)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(1870)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(1870)은, 입력 모듈(1850)을 통해 소리를 획득하거나, 음향 출력 모듈(1855), 또는 전자 장치(1801)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1802))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(1876)은 전자 장치(1801)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(1876)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1877)는 전자 장치(1801)가 외부 전자 장치(예: 전자 장치(1802))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(1877)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1878)는, 그를 통해서 전자 장치(1801)가 외부 전자 장치(예: 전자 장치(1802))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1878)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1879)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(1879)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1880)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1880)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1888)은 전자 장치(1801)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(1888)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1889)는 전자 장치(1801)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(1889)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1890)은 전자 장치(1801)와 외부 전자 장치(예: 전자 장치(1802), 전자 장치(1804), 또는 서버(1808)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1890)은 프로세서(1820)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1890)은 무선 통신 모듈(1892)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1894)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1898)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1899)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(1804)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1892)은 가입자 식별 모듈(1896)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1898) 또는 제 2 네트워크(1899)와 같은 통신 네트워크 내에서 전자 장치(1801)를 확인 또는 인증할 수 있다.
무선 통신 모듈(1892)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(1892)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(1892)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(1892)은 전자 장치(1801), 외부 전자 장치(예: 전자 장치(1804)) 또는 네트워크 시스템(예: 제 2 네트워크(1899))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(1892)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(1897)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(1897)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(1897)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(1898) 또는 제 2 네트워크(1899)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1890)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1890)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(1897)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(1897)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1899)에 연결된 서버(1808)를 통해서 전자 장치(1801)와 외부의 전자 장치(1804)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(1802, 또는 1804) 각각은 전자 장치(1801)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1801)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(1802, 1804, 또는 1808) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1801)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1801)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1801)로 전달할 수 있다. 전자 장치(1801)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(1801)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(1804)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(1808)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(1804) 또는 서버(1808)는 제 2 네트워크(1899) 내에 포함될 수 있다. 전자 장치(1801)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1801)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1836) 또는 외장 메모리(1838))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1840))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1801))의 프로세서(예: 프로세서(1820))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
다양한 실시예에 따른 제1 전자 장치(예: 도 1의 제1 전자 장치(110))는 무선 통신 회로(예: 도 1의 무선 통신 회로(117)), 디스플레이(예: 도 1의 디스플레이(111)), 적어도 하나의 프로세서(예: 도 1의 프로세서(113)), 및 메모리(예: 도 1의 메모리(115))를 포함할 수 있다. 상기 메모리는 상기 무선 통신 회로, 상기 디스플레이 및 상기 적어도 하나의 프로세서와 연결될 수 있다. 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 무선 통신 회로를 통해 제2 전자 장치와의 근거리 무선 통신을 연결하고, 상기 제2 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 상기 디스플레이를 통해 표시하고, 상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하고, 상기 기기 연결 모드에서 상기 근거리 무선 통신을 통해 상기 디스플레이에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 상기 제2 전자 장치로 전송하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예들에 따르면, 상기 임계 거리는 상기 근거리 무선 통신의 커버리지에 비해 짧을 수 있다.
다양한 실시예들에 따르면, 상기 기기 연결 모드가 활성화된 동안 상기 제1 전자 장치가 활성화 상태로 유지될 수 있다.
다양한 실시예들에 따르면, 상기 공유 정보는 상기 제1 화면과 관련된 태스크를 핸드오프하기 위한 제2 화면을 표시하기 위한 정보, 상기 제1 화면의 적어도 일부를 미러링한 제2 화면을 표시하기 위한 정보, 또는 상기 제1 화면과 멀티스크린을 이루는 제2 화면을 표시하기 위한 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 기기 연결 모드에서 상기 제1 전자 장치에 대한 사용자 입력을 대기하는 동안 상기 디스플레이를 통해 상기 제1 화면의 표시가 실질적으로 유지될 수 있다.
다양한 실시예들에 따르면, 상기 제1 전자 장치에 표시된 상기 제1 화면은 제1 태스크를 실행하기 위한 화면일 수 있다. 상기 제2 전자 장치로 전송되는 상기 공유 정보는 상기 제1 태스크를 이어서 실행하거나 제2 태스크를 실행하기 위한 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 기기 연결 모드가 활성화됨에 따라 제2 시각적 요소가 상기 제1 화면에 표시될 수 있다. 상기 제2 시각적 요소에 대한 사용자 입력에 응답하여 상기 공유 정보가 상기 제2 전자 장치로 전송될 수 있다.
다양한 실시예들에 따르면, 상기 시각적 요소는, 상기 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트와, 상기 기기 연결 모드에서 핸드오프될 어플리케이션 또는 태스크에 대한 정보를 나타내는 제2 아이콘 파트를 포함할 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 추가로, 상기 제2 전자 장치로부터 상기 제1 화면에 대응하는 제2 화면에 대한 입력 정보를 수신하고, 상기 수신된 입력 정보를 이용해 태스크를 실행하도록 할 수 있다.
다양한 실시예들에 따르면, 상기 기기 연결 모드가 활성화된 동안, 포어그라운드에서 상기 제1 화면에 대한 사용자 입력에 응답하여 제1 태스크가 실행되고, 백그라운드에서 상기 제2 전자 장치로부터 수신되는 입력 정보에 응답하여 제2 태스크가 실행될 수 있다.
다양한 실시예들에 따르면, 상기 인스트럭션들은 추가로, 공유할 콘텐츠를 선택하기 위한 제3 시각적 요소를 상기 디스플레이를 통해 표시하고, 상기 제3 시각적 요소에 대한 사용자 입력에 따라 상기 콘텐츠를 상기 제2 전자 장치로 전송하도록 할 수 있다.
다양한 실시예에 따른 제2 전자 장치(예: 도 1의 제2 전자 장치(120))는 무선 통신 회로(예: 도 1의 무선 통신 회로(127)), 디스플레이(예: 도 1의 디스플레이(121)), 적어도 하나의 프로세서(예: 도 1의 프로세서(123)), 및 메모리(예: 도 1의 메모리(125))를 포함할 수 있다. 상기 메모리는 상기 무선 통신 회로, 상기 디스플레이 및 상기 적어도 하나의 프로세서와 연결될 수 있다. 상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가, 상기 무선 통신 회로를 통해 제1 전자 장치와의 근거리 무선 통신을 연결하고, 상기 제1 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 상기 디스플레이를 통해 표시하고, 상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하고, 상기 기기 연결 모드에서 상기 근거리 무선 통신을 통해 상기 제1 전자 장치에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 수신하고, 상기 공유 정보에 기반하여 상기 제1 화면의 적어도 일부에 대응하는 제2 화면을 상기 디스플레이를 통해 표시하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예들에 따르면, 상기 임계 거리는 상기 근거리 무선 통신의 커버리지에 비해 짧을 수 있다.
다양한 실시예들에 따르면, 상기 제2 화면은 상기 제1 화면의 적어도 일부를 미러링한 화면, 상기 제1 화면과 관련된 분할 화면, 상기 제1 화면과 관련된 서브 화면, 및 상기 제1 화면의 적어도 일부를 상기 제2 전자 장치의 타입에 기반하여 재구성한 화면 중 적어도 하나일 수 있다.
다양한 실시예들에 따르면, 상기 기기 연결 모드가 활성화된 동안 상기 제2 전자 장치가 활성화 상태로 유지될 수 있다.
다양한 실시예들에 따르면, 상기 기기 연결 모드에서, 기기 간 태스크 핸드오버 기능, 상기 제2 전자 장치의 화면이 상기 제1 전자 장치의 화면 중 적어도 일부를 미러링하는 미러스크린 기능 또는 상기 제2 전자 장치의 화면이 상기 제1 전자 장치의 화면과 연동되는 멀티스크린 기능 중 하나 이상이 제공될 수 있다.
다양한 실시예들에 따르면, 상기 기기 연결 모드가 활성화됨에 따라 제2 시각적 요소가 상기 제2 전자 장치의 화면에 표시될 수 있다. 상기 제2 시각적 요소에 대한 사용자 입력에 응답하여 상기 제1 전자 장치로부터 상기 공유 정보가 획득될 수 있다.
다양한 실시예들에 따르면, 상기 시각적 요소는 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트와, 핸드오프될 어플리케이션 또는 태스크에 대한 정보를 나타내는 제2 아이콘 파트를 포함할 수 있다.
다양한 실시예에 따른 제1 전자 장치의 인터랙션 방법은, 제2 전자 장치와의 근거리 무선 통신을 연결하는 동작, 상기 제2 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 표시하는 동작, 상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하는 동작, 및 상기 기기 연결 모드에서, 상기 근거리 무선 통신을 통해, 상기 제1 전자 장치에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 상기 제2 전자 장치로 전송하는 동작을 포함할 수 있다.
다양한 실시예에 따른 제2 전자 장치의 인터랙션 방법은, 제1 전자 장치와의 근거리 무선 통신을 연결하는 동작, 상기 제1 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 표시하는 동작, 상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하는 동작, 상기 기기 연결 모드에서, 상기 근거리 무선 통신을 통해, 상기 제1 전자 장치에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 수신하는 동작, 및 상기 공유 정보에 기반하여 상기 제1 화면의 적어도 일부에 대응하는 제2 화면을 표시하는 동작을 포함할 수 있다.

Claims (15)

  1. 제1 전자 장치에 있어서,
    무선 통신 회로;
    디스플레이;
    적어도 하나의 프로세서; 및
    상기 무선 통신 회로, 상기 디스플레이 및 상기 적어도 하나의 프로세서와 연결된 메모리를 포함하고,
    상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가,
    상기 무선 통신 회로를 통해 제2 전자 장치와의 근거리 무선 통신을 연결하고,
    상기 제2 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 상기 디스플레이를 통해 표시하고,
    상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하고,
    상기 기기 연결 모드에서 상기 근거리 무선 통신을 통해 상기 디스플레이에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 상기 제2 전자 장치로 전송하도록 하는 인스트럭션들을 저장하는 제1 전자 장치.
  2. 제1항에 있어서,
    상기 임계 거리는 상기 근거리 무선 통신의 커버리지에 비해 짧은 제1 전자 장치.
  3. 제1항에 있어서,
    상기 기기 연결 모드가 활성화된 동안 상기 제1 전자 장치가 활성화 상태로 유지되는 제1 전자 장치.
  4. 제1항에 있어서, 상기 공유 정보는,
    상기 제1 화면과 관련된 태스크를 핸드오프하기 위한 제2 화면을 표시하기 위한 정보;
    상기 제1 화면의 적어도 일부를 미러링한 제2 화면을 표시하기 위한 정보; 또는
    상기 제1 화면과 멀티스크린을 이루는 제2 화면을 표시하기 위한 정보 중 적어도 하나를 포함하는 제1 전자 장치.
  5. 제1항에 있어서,
    상기 기기 연결 모드에서 상기 제1 전자 장치에 대한 사용자 입력을 대기하는 동안 상기 디스플레이를 통해 상기 제1 화면의 표시가 실질적으로 유지되는 제1 전자 장치.
  6. 제1항에 있어서,
    상기 제1 전자 장치에 표시된 상기 제1 화면은 제1 태스크를 실행하기 위한 화면이고,
    상기 제2 전자 장치로 전송되는 상기 공유 정보는 상기 제1 태스크를 이어서 실행하거나 제2 태스크를 실행하기 위한 정보를 포함하는 제1 전자 장치.
  7. 제1항에 있어서,
    상기 기기 연결 모드가 활성화됨에 따라 제2 시각적 요소가 상기 제1 화면에 표시되고,
    상기 제2 시각적 요소에 대한 사용자 입력에 응답하여 상기 공유 정보가 상기 제2 전자 장치로 전송되는 제1 전자 장치.
  8. 제1항에 있어서, 상기 시각적 요소는,
    상기 기기 연결 모드의 사용이 가능함을 나타내는 제1 아이콘 파트와, 상기 기기 연결 모드에서 핸드오프될 어플리케이션 또는 태스크에 대한 정보를 나타내는 제2 아이콘 파트를 포함하는 제1 전자 장치.
  9. 제1항에 있어서, 상기 인스트럭션들은 추가로,
    상기 제2 전자 장치로부터 상기 제1 화면에 대응하는 제2 화면에 대한 입력 정보를 수신하고,
    상기 수신된 입력 정보를 이용해 태스크를 실행하도록 하는 제1 전자 장치.
  10. 제2 전자 장치에 있어서,
    무선 통신 회로;
    디스플레이;
    적어도 하나의 프로세서; 및
    상기 무선 통신 회로, 상기 디스플레이 및 상기 적어도 하나의 프로세서와 연결된 메모리를 포함하고,
    상기 메모리는, 실행 시에, 상기 적어도 하나의 프로세서가,
    상기 무선 통신 회로를 통해 제1 전자 장치와의 근거리 무선 통신을 연결하고,
    상기 제1 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 상기 디스플레이를 통해 표시하고,
    상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하고,
    상기 기기 연결 모드에서 상기 근거리 무선 통신을 통해 상기 제1 전자 장치에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 수신하고,
    상기 공유 정보에 기반하여 상기 제1 화면의 적어도 일부에 대응하는 제2 화면을 상기 디스플레이를 통해 표시하도록 하는 인스트럭션들을 저장하는 제2 전자 장치.
  11. 제10항에 있어서,
    상기 임계 거리는 상기 근거리 무선 통신의 커버리지에 비해 짧은 제2 전자 장치.
  12. 제10항에 있어서, 상기 제2 화면은,
    상기 제1 화면의 적어도 일부를 미러링한 화면;
    상기 제1 화면과 관련된 분할 화면;
    상기 제1 화면과 관련된 서브 화면; 및
    상기 제1 화면의 적어도 일부를 상기 제2 전자 장치의 타입에 기반하여 재구성한 화면 중 적어도 하나인 제2 전자 장치.
  13. 제10항에 있어서,
    상기 기기 연결 모드가 활성화된 동안 상기 제2 전자 장치가 활성화 상태로 유지되는 제2 전자 장치.
  14. 제1 전자 장치의 인터랙션 방법에 있어서,
    제2 전자 장치와의 근거리 무선 통신을 연결하는 동작;
    상기 제2 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 표시하는 동작;
    상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하는 동작; 및
    상기 기기 연결 모드에서, 상기 근거리 무선 통신을 통해, 상기 제1 전자 장치에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 상기 제2 전자 장치로 전송하는 동작을 포함하는 방법.
  15. 제2 전자 장치의 인터랙션 방법에 있어서,
    제1 전자 장치와의 근거리 무선 통신을 연결하는 동작;
    상기 제1 전자 장치가 임계 거리 이내로 근접함에 기반하여 기기 연결 모드의 사용이 가능함을 나타내는 시각적 요소를 표시하는 동작;
    상기 시각적 요소에 대한 사용자 입력에 따라 상기 기기 연결 모드를 활성화하는 동작;
    상기 기기 연결 모드에서, 상기 근거리 무선 통신을 통해, 상기 제1 전자 장치에 표시 중인 제1 화면의 적어도 일부와 관련된 공유 정보를 수신하는 동작; 및
    상기 공유 정보에 기반하여 상기 제1 화면의 적어도 일부에 대응하는 제2 화면을 표시하는 동작을 포함하는 방법.
PCT/KR2022/002883 2021-03-02 2022-02-28 외부 전자 장치와 인터랙션하는 전자 장치 및 그의 인터랙션 방법 WO2022186578A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0027524 2021-03-02
KR1020210027524A KR20220123946A (ko) 2021-03-02 2021-03-02 외부 전자 장치와 인터랙션하는 전자 장치 및 그의 인터랙션 방법

Publications (1)

Publication Number Publication Date
WO2022186578A1 true WO2022186578A1 (ko) 2022-09-09

Family

ID=83155481

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/002883 WO2022186578A1 (ko) 2021-03-02 2022-02-28 외부 전자 장치와 인터랙션하는 전자 장치 및 그의 인터랙션 방법

Country Status (2)

Country Link
KR (1) KR20220123946A (ko)
WO (1) WO2022186578A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140080141A (ko) * 2012-12-20 2014-06-30 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20160020860A (ko) * 2014-08-14 2016-02-24 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20160116436A (ko) * 2015-03-30 2016-10-10 엘지전자 주식회사 정보를 전송하는 이동 단말 장치 및 디스플레이 장치, 단말 장치 및 디스플레이 장치의 제어 방법
US20170034253A1 (en) * 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Automated network connection sharing
KR20180081390A (ko) * 2017-01-06 2018-07-16 삼성전자주식회사 전자 장치 및 그 동작방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140080141A (ko) * 2012-12-20 2014-06-30 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20160020860A (ko) * 2014-08-14 2016-02-24 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20160116436A (ko) * 2015-03-30 2016-10-10 엘지전자 주식회사 정보를 전송하는 이동 단말 장치 및 디스플레이 장치, 단말 장치 및 디스플레이 장치의 제어 방법
US20170034253A1 (en) * 2015-07-28 2017-02-02 Microsoft Technology Licensing, Llc Automated network connection sharing
KR20180081390A (ko) * 2017-01-06 2018-07-16 삼성전자주식회사 전자 장치 및 그 동작방법

Also Published As

Publication number Publication date
KR20220123946A (ko) 2022-09-13

Similar Documents

Publication Publication Date Title
WO2017119531A1 (ko) 이동 단말기 및 그 제어방법
WO2017099276A1 (ko) 롤러블 이동 단말기 및 그 제어방법
WO2015178714A1 (en) Foldable device and method of controlling the same
WO2015093667A1 (ko) 전자기기 및 전자기기의 제어방법
WO2015199381A1 (en) Mobile terminal and method for controlling the same
WO2015093665A1 (ko) 전자기기 및 전자기기의 제어방법
WO2021256890A1 (ko) 아이콘을 통해 정보 및/또는 기능을 제공하는 전자 장치 및 그 제어 방법
WO2021182692A1 (en) A mobile terminal, an electronic device having a mobile terminal, and control method of the electronic device
WO2022030970A1 (ko) 폴더블 전자 장치 및 상기 폴더블 전자 장치에서 정보를 표시하는 방법
WO2022030990A1 (ko) 복수의 디스플레이를 통해 다양한 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2020171318A1 (ko) 이동 단말기 및 이동 단말기를 구비한 전자장치
WO2022025720A1 (ko) 플렉서블한 디스플레이 모듈을 포함하는 전자 장치와 이의 동작 방법
WO2021033808A1 (ko) 이동 단말기 및 이동 단말기를 구비한 전자장치
WO2022019488A1 (ko) 어플리케이션의 실행 화면을 표시하기 위한 전자 장치 및 그 동작 방법
WO2022031049A1 (ko) 멀티 윈도우 모드를 지원하는 전자 장치 및 그의 제어 방법
WO2018105828A1 (ko) 이동 단말기
WO2021045265A1 (ko) 이동 단말기, 이동 단말기를 구비한 전자 장치, 그리고 전자 장치의 제어 방법
WO2022025451A1 (ko) 슬라이딩 가능한 전자 장치 및 이의 제어 방법
WO2022186578A1 (ko) 외부 전자 장치와 인터랙션하는 전자 장치 및 그의 인터랙션 방법
WO2021006388A1 (ko) 이동 단말기 및 이동 단말기를 구비한 전자장치
WO2018030568A1 (ko) 이동단말기 및 그 제어 방법
WO2021040098A1 (ko) 이동 단말기, 이동 단말기를 구비한 전자 장치, 및 전자 장치의 제어 방법
WO2024049126A1 (ko) 어플리케이션의 속성 정보를 제어하는 전자 장치 및 이의 제어 방법
WO2024053988A1 (ko) 플렉서블 디스플레이를 갖는 전자 장치 및 그의 파지 상태에 기반한 제어 객체 제공 방법
WO2021246782A1 (ko) 롤러블 디스플레이를 갖는 전자 장치 및 이를 위한 디스플레이 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22763561

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22763561

Country of ref document: EP

Kind code of ref document: A1