WO2019088793A1 - 전자 장치 및 이를 이용한 화면 공유 방법 - Google Patents

전자 장치 및 이를 이용한 화면 공유 방법 Download PDF

Info

Publication number
WO2019088793A1
WO2019088793A1 PCT/KR2018/013349 KR2018013349W WO2019088793A1 WO 2019088793 A1 WO2019088793 A1 WO 2019088793A1 KR 2018013349 W KR2018013349 W KR 2018013349W WO 2019088793 A1 WO2019088793 A1 WO 2019088793A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
electronic device
audio signal
external electronic
processor
Prior art date
Application number
PCT/KR2018/013349
Other languages
English (en)
French (fr)
Inventor
박상우
남재원
강원석
이은규
임원배
채수환
최미령
하유진
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP18872817.4A priority Critical patent/EP3674881B1/en
Priority to US16/756,992 priority patent/US11487558B2/en
Publication of WO2019088793A1 publication Critical patent/WO2019088793A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/20—Details of the management of multiple sources of image data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Definitions

  • Various embodiments of the present invention relate to an electronic device and a method of sharing a screen using the electronic device.
  • An electronic device can transmit / receive various data to / from an external device through a wired / wireless communication function, and a screen sharing technology (e.g., mirroring technology) capable of simultaneously displaying a screen displayed on the electronic device on an external device is utilized.
  • Screen sharing technology is a technology that can share screen data among various electronic devices having a display.
  • the image displayed on the display of the electronic device can be transmitted to an external device in a peer-to-peer (P2P) manner using short-range wireless communication such as Wi-fi (wireless fidelity) and the external device can simultaneously display the received image with the electronic device .
  • P2P peer-to-peer
  • a plurality of screens When a plurality of screens are displayed on a display of an electronic device in a multi-window form, and when screen data is shared with an external device using the above-described screen sharing technology, a plurality of screens can be displayed on the external device.
  • a plurality of screens include audio signals
  • audio signals may also be entirely shared when sharing screen data with an external device.
  • the operation of sharing the screen data with the external device may be interrupted.
  • an event e.g., a message event, a telephone event, etc.
  • the electronic device can provide only a part of screens of a plurality of screens displayed in a multi-window form on a display so as to be shared with an external device.
  • the electronic device may share only a part of the screen with the external device, and at the same time, the audio signal may also be provided so as to share only the audio signal selected by the user.
  • the electronic device may provide an external device with a function of performing a function corresponding to an event and simultaneously sharing screen data with an external device when an event is received while sharing screen data with an external device.
  • an electronic device includes a communication circuit, a touch screen display, an audio processing circuit, a memory, and at least one of the communication circuit, the touch screen display, the audio processing circuit, And wherein the processor is further configured to display a first screen and a second screen on the touch screen display and to display the first screen and the second screen on the touch screen display when an input for performing a screen sharing function is detected through the touch screen display, Recognizing an external electronic device and transmitting at least one audio signal among at least one of the first screen and the second screen and the audio signals corresponding to the first and second screens to the recognized external electronic device As shown in FIG.
  • a method of sharing a screen of an electronic device includes the steps of displaying a first screen and a second screen on a touch screen display, inputting a screen sharing function through the touch screen display Recognizing an external electronic device connected through a communication circuit when the external electronic device is sensed, and recognizing the external electronic device connected through the communication circuit when the recognized external electronic device is connected to at least one of the first screen and the second screen, And transmitting at least one of the audio signals.
  • an electronic device can provide a screen and audio signal selected by a user to be shared with an external device using a screen sharing technique. Only a screen and an audio signal desired by the user among the screen and audio signals output from the electronic device can be shared with the external device, thereby increasing the satisfaction of the user.
  • the electronic device when an event is received while sharing screen data with an external device, the electronic device can simultaneously perform a function corresponding to the received event without being disturbed by the screen sharing operation have.
  • FIG. 1 is a block diagram of an electronic device in a network environment in accordance with various embodiments.
  • FIG. 2 is a block diagram illustrating an electronic device according to various embodiments of the present invention.
  • FIG. 3 is a flowchart illustrating a screen sharing method according to various embodiments of the present invention.
  • Figures 4A and 4B are diagrams for explaining a screen sharing method when there is one recognized external electronic device according to various embodiments of the present invention.
  • 4C and 4D are views for explaining a screen sharing method when an input for switching a screen according to various embodiments of the present invention is detected.
  • 5A and 5B are diagrams for explaining a screen sharing method when there are a plurality of recognized external electronic devices according to various embodiments of the present invention.
  • FIG. 6 is a flowchart illustrating a screen sharing method when a predetermined event is received while performing a screen sharing function according to various embodiments of the present invention.
  • FIG. 7 is a diagram for explaining a screen sharing method when a predetermined event is received while performing a screen sharing function according to various embodiments of the present invention.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, in accordance with various embodiments.
  • an electronic device 101 in a network environment 100 communicates with an electronic device 102 via a first network 198 (e.g., near-field wireless communication) or a second network 199 (E. G., Remote wireless communication).
  • a first network 198 e.g., near-field wireless communication
  • a second network 199 E. G., Remote wireless communication
  • the electronic device 101 is capable of communicating with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, a sensor module 176, an interface 177, a haptic module 179, a camera module 180, a power management module 188, a battery 189, a communication module 190, a subscriber identity module 196, and an antenna module 197 ).
  • at least one (e.g., display 160 or camera module 180) of these components may be omitted from the electronic device 101, or other components may be added.
  • some components such as, for example, a sensor module 176 (e.g., a fingerprint sensor, an iris sensor, or an illuminance sensor) embedded in a display device 160 Can be integrated.
  • Processor 120 may be configured to operate at least one other component (e.g., hardware or software component) of electronic device 101 connected to processor 120 by driving software, e.g., And can perform various data processing and arithmetic operations.
  • Processor 120 loads and processes commands or data received from other components (e.g., sensor module 176 or communication module 190) into volatile memory 132 and processes the resulting data into nonvolatile memory 134.
  • the processor 120 may operate in conjunction with a main processor 121 (e.g., a central processing unit or an application processor) and, independently, or additionally or alternatively, Or a co-processor 123 (e.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor) specific to the designated function.
  • a main processor 121 e.g., a central processing unit or an application processor
  • a co-processor 123 e.g., a graphics processing unit, an image signal processor, a sensor hub processor, or a communications processor
  • the coprocessor 123 may be operated separately from or embedded in the main processor 121.
  • the coprocessor 123 may be used in place of the main processor 121, for example, while the main processor 121 is in an inactive (e.g., sleep) state, At least one component (e.g., display 160, sensor module 176, or communications module 176) of the components of electronic device 101 (e.g., 190) associated with the function or states.
  • the coprocessor 123 e.g., an image signal processor or communications processor
  • the coprocessor 123 is implemented as a component of some other functionally related component (e.g., camera module 180 or communication module 190) .
  • Memory 130 may store various data used by at least one component (e.g., processor 120 or sensor module 176) of electronic device 101, e.g., software (e.g., program 140) ), And input data or output data for the associated command.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134.
  • the program 140 may be software stored in the memory 130 and may include, for example, an operating system 142, a middleware 144,
  • the input device 150 is an apparatus for receiving a command or data to be used for a component (e.g., processor 120) of the electronic device 101 from the outside (e.g., a user) of the electronic device 101,
  • a component e.g., processor 120
  • a microphone, a mouse, or a keyboard may be included.
  • the sound output device 155 is a device for outputting a sound signal to the outside of the electronic device 101.
  • the sound output device 155 may be a speaker for general use such as a multimedia reproduction or a sound reproduction, .
  • the receiver may be formed integrally or separately with the speaker.
  • Display device 160 may be an apparatus for visually providing information to a user of electronic device 101 and may include, for example, a display, a hologram device, or a projector and control circuitry for controlling the projector. According to one embodiment, the display device 160 may include a touch sensor or a pressure sensor capable of measuring the intensity of the pressure on the touch.
  • the audio module 170 is capable of bi-directionally converting sound and electrical signals. According to one embodiment, the audio module 170 may acquire sound through the input device 150, or may be connected to the audio output device 155, or to an external electronic device (e.g., Electronic device 102 (e.g., a speaker or headphone)).
  • an external electronic device e.g., Electronic device 102 (e.g., a speaker or headphone)
  • the sensor module 176 may generate an electrical signal or data value corresponding to an internal operating state (e.g., power or temperature) of the electronic device 101, or an external environmental condition.
  • the sensor module 176 may be a gesture sensor, a gyro sensor, a barometric sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared sensor, Or an illuminance sensor.
  • the interface 177 may support a designated protocol that may be wired or wirelessly connected to an external electronic device (e.g., the electronic device 102).
  • the interface 177 may include a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital interface
  • audio interface an audio interface
  • the connection terminal 178 may be a connector such as an HDMI connector, a USB connector, an SD card connector, or an audio connector that can physically connect the electronic device 101 and an external electronic device (e.g., the electronic device 102) (E.g., a headphone connector).
  • an HDMI connector such as an HDMI connector, a USB connector, an SD card connector, or an audio connector that can physically connect the electronic device 101 and an external electronic device (e.g., the electronic device 102) (E.g., a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (e.g., vibrations or movements) or electrical stimuli that the user may perceive through tactile or kinesthetic sensations.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture a still image and a moving image.
  • the camera module 180 may include one or more lenses, an image sensor, an image signal processor, or a flash.
  • the power management module 188 is a module for managing the power supplied to the electronic device 101, and may be configured as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 is an apparatus for supplying power to at least one component of the electronic device 101 and may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • the communication module 190 is responsible for establishing a wired or wireless communication channel between the electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108) Lt; / RTI > Communication module 190 may include one or more communication processors that support wired communication or wireless communication, operating independently of processor 120 (e.g., an application processor).
  • the communication module 190 may include a wireless communication module 192 (e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (E.g., a local area network (LAN) communication module, or a power line communication module), and the corresponding communication module may be used to communicate with a first network 198 (e.g., Bluetooth, WiFi direct, Communication network) or a second network 199 (e.g., a telecommunications network such as a cellular network, the Internet, or a computer network (e.g., a LAN or WAN)).
  • a wireless communication module 192 e.g., a cellular communication module, a short range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 E.g., a local area network (LAN) communication module, or a power line communication module
  • the wireless communication module 192 may use the user information stored in the subscriber identification module 196 to identify and authenticate the electronic device 101 within the communication network.
  • the antenna module 197 may include one or more antennas for externally transmitting or receiving signals or power.
  • the communication module 190 e.g., the wireless communication module 192 may transmit signals to or receive signals from an external electronic device via an antenna suitable for the communication method.
  • Some of the components are connected to each other via a communication method (e.g., bus, general purpose input / output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI) (Such as commands or data) can be exchanged between each other.
  • a communication method e.g., bus, general purpose input / output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI) (Such as commands or data) can be exchanged between each other.
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 via the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be the same or a different kind of device as the electronic device 101.
  • all or a portion of the operations performed in the electronic device 101 may be performed in another or a plurality of external electronic devices.
  • the electronic device 101 in the event that the electronic device 101 has to perform some function or service automatically or upon request, the electronic device 101 may be capable of executing the function or service itself, And may request the external electronic device to perform at least some functions associated therewith.
  • the external electronic device receiving the request can execute the requested function or additional function and transmit the result to the electronic device 101.
  • the electronic device 101 can directly or additionally process the received result to provide the requested function or service.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • FIG. 2 is a block diagram illustrating an electronic device according to various embodiments of the present invention.
  • electronic device 101 (e.g., electronic device 101 of FIG. 1) includes a communication circuit 210 (e.g., communication module 190 of FIG. 1), an audio processing circuit 220, (E.g., memory 130 of FIG. 1), a touch screen display 240 (e.g., display 160 of FIG. 1), and a processor 250 (e.g., processor 120 of FIG. 1) .
  • a communication circuit 210 e.g., communication module 190 of FIG. 1
  • an audio processing circuit 220 (E.g., memory 130 of FIG. 1)
  • a touch screen display 240 e.g., display 160 of FIG. 1
  • a processor 250 e.g., processor 120 of FIG. 1.
  • communication circuitry 210 may couple communications with external electronic device 270.
  • the communication circuit 210 may be connected to the network via wireless or wired communication to communicate with the external electronic device 270.
  • the communication circuit 210 may be wired or wirelessly connected to the external electronic device 270 via an interface (e.g., interface 177 of FIG. 1) to transmit and receive data.
  • the communication circuit 210 may be configured to receive data for sharing the screen (e.g., at least one screen And at least one audio signal) to the external electronic device 270.
  • the screen e.g., at least one screen And at least one audio signal
  • the audio processing circuitry 220 may include a speaker and a microphone.
  • the audio processing circuit 220 can process, amplify and output the audio signal.
  • the audio processing circuit 220 may output audio through a speaker of the electronic device 200 or an earphone (or an external speaker) connected to the electronic device 200 by wired or wireless.
  • memory 230 may be electrically coupled to processor 250.
  • the memory 230 may be configured to, based on the type of application corresponding to the at least one screen, when sharing at least one screen displayed on the touch screen display 240 with the external electronic device 270 A program for determining at least one audio signal to be transmitted to the external electronic device 270 may be stored.
  • the touch screen display 240 may be configured as an integral unit that includes a display unit 241 and a touch panel 243.
  • FIG. The display unit 241 may display various screens according to the use of the electronic device 200.
  • the display unit 241 may be a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical systems (MEMS) . ≪ / RTI >
  • the display unit 241 may display various contents (e.g., text, image, video, icons, symbols, etc.) to the user.
  • the touch panel 243 may receive a touch, gesture, proximity, or hovering input using, for example, an electronic pen or a portion of the user's body.
  • the touch screen display 240 may display at least two or more application execution screens in the form of a multi-window according to the execution of at least two applications.
  • the touch screen display 240 may display at least two or more application execution screens in the form of a pop-up window according to the execution of at least two applications.
  • the touch screen display 240 displays at least one of at least two screens to be shared with the external electronic device 270 A pop-up window for determining a screen can be displayed.
  • the touch screen display 240 may display a pop-up window for determining at least one audio signal to be shared with the external electronic device 270 among the audio signals corresponding to the at least two screens.
  • the touch screen display 240 is configured to receive at least one of the at least one of the at least one of the at least one A menu for controlling the at least one screen transmitted to the external electronic device 270 may be displayed in an area where the screen is displayed.
  • processor 250 controls the overall operation of electronic device 200 and the signal flow between the internal configurations of electronic device 200 , Perform data processing, and control power supply from the battery (e.g., battery 189 of FIG. 1) to the configurations.
  • the battery e.g., battery 189 of FIG. 1
  • the processor 250 may include at least two or more screens (e.g., at least two or more application run screens resulting from execution of at least two applications) in a multi-windowed form (or pop- And can be displayed on the display 240.
  • the processor 250 may recognize an external electronic device 270 connected through the communication circuit 210 when an input for performing a screen sharing function is sensed.
  • the processor 250 may determine at least one audio signal among at least one screen to be shared with the recognized external electronic device 270 and audio signals corresponding to two or more screens.
  • the processor 250 may transmit the determined at least one screen and at least one audio signal to the external electronic device 270.
  • the processor 250 may display a menu for controlling at least one screen transmitted to the external electronic device 270 in an area for displaying at least one screen of the touch screen display 240.
  • the processor 250 is configured to transmit at least one screen and at least one audio signal to the external electronic device 240 when the input for switching at least two or more screens displayed on the touch screen display 240 is sensed, And transmit at least one other picture and at least one other audio signal to the external electronic device 270.
  • the processor 250 when the processor 250 receives a predetermined event (e.g., message, telephone, system notification, etc.) while performing a screen sharing function with the external electronic device 270 connected through the communication circuit 210, And may transmit a notification of the received predetermined event to the external electronic device 270.
  • the processor 250 adjusts at least one of a screen and an audio signal that are shared based on the type of the received predetermined event and transmits the adjusted event to the external electronic device 270 can do.
  • the external electronic device 270 may be a device of the same kind as the electronic device 200 or a device having a display as a different kind of device.
  • the electronic device 200 may be a device with a small display
  • the external device 270 may be a device with a large display
  • the external electronic device 270 may be a display device including a earphone, a sound source output device including a speaker or a monitor, and a TV.
  • the external electronic device 270 may include wireless communication capabilities such as wireless fidelity (Wi-Fi), bluetooth, near field communication (NFC), or global navigation satellite system (GNSS).
  • the external electronic device 270 may have a wired communication function such as a universal serial bus (USB), a high definition multimedia interface (HDMI), a recommended standard 232 (RS-232), a power line communication or a plain old telephone service .
  • USB universal serial bus
  • HDMI high definition multimedia interface
  • RS-232 recommended standard 232
  • power line communication or a plain old telephone service .
  • external electronic device 270 can receive shared screen data from wired or wireless communication from electronic device 200 and display it on the display. In addition, the external electronic device 270 can receive and output audio signals from the electronic device 200 via wired or wireless communication.
  • FIG. 3 is a flowchart illustrating a screen sharing method according to various embodiments of the present invention.
  • a processor e.g., processor 250 of FIG. 2
  • processes at least two or more screens such as a first screen and a second screen on a touch screen display (240).
  • each of the first screen and the second screen may be a screen according to application execution.
  • the application execution screen may include a game screen, a music or video playback screen, a call screen, an image screen, a web page screen, and the like.
  • the first screen and the second screen are displayed in a multi-window form in a first area and a second area in which the entire area of the touch screen display is divided, or in a form of a picture in picture (PIP)
  • the second screen may be displayed on a part of the display screen.
  • each of the first and second screens may be displayed as a pop-up window on a touch screen display.
  • the processor may, at operation 303, sense an input to perform a screen sharing function.
  • the input for performing the screen sharing function may be a predetermined gesture sensed on the touch screen display in which the first screen and the second screen are displayed.
  • the predetermined gesture may include a long press on the touch screen display in which the first screen and the second screen are displayed, an input for selecting an icon for the screen sharing function, and the like.
  • the processor in operation 305, responds to an input to perform the screen sharing function by receiving an external electronic device (e.g., External electronic device 270).
  • an external electronic device e.g., External electronic device 270.
  • the processor may display the connected external electronic device list in response to an input for performing the screen sharing function.
  • the connected external electronic device may be at least one or more.
  • the processor may perform the operations described below when a selection of an external electronic device to share a screen in the displayed list of external electronic devices is sensed.
  • the present invention is not limited to this, and if there is one external electronic device connected through a communication circuit, the processor can omit the operation of displaying the list of external electronic devices and perform the operation described below.
  • the connected external electronic device In connection with the case where the connected external electronic device is one, it will be described in detail in Fig. 4A to Fig. 4D which will be described later. Further, in connection with the case where there are two or more connected external electronic devices, will be described in detail later in Figs. 5A and 5B.
  • the processor in operation 307, generates at least one screen to share with an external electronic device and at least one of audio signals (e.g., a first audio signal and a second audio signal) corresponding to the first and second screens One audio signal can be determined.
  • audio signals e.g., a first audio signal and a second audio signal
  • the processor may determine whether to share the first screen and the second screen displayed on the touch screen display with the external electronic device, or to share the screen of either the first screen or the second screen with the external electronic device
  • a pop-up window may be displayed to determine whether or not the user is a user.
  • the processor determines at least one screen to be shared with the external electronic device, and then the processor decides to share at least one of the first audio signal corresponding to the first screen and the second audio signal corresponding to the second screen to the external electronic device A pop-up window for determining at least one audio signal to be played can be further displayed.
  • an audio signal to be transmitted (e.g., shared) to an external electronic device may be pre-set according to the type of application corresponding to the screen.
  • the processor may configure the processor to transmit the moving picture playback screen and a corresponding audio signal to the external electronic device when the moving picture playback screen and the music playback screen are shared by the external electronic device.
  • the image playback screen is displayed as the first screen by executing the photo application and the music playback screen is displayed as the second screen as the music application is executed.
  • the image reproduction screen and the music reproduction screen are shared by an external electronic device, the image reproduction screen has no audio signal, so that the processor converts the audio reproduction screen and the audio reproduction signal To be transmitted to an external electronic device.
  • the processor may, in operation 309, transmit the determined at least one screen and at least one audio signal to the external electronic device via a communication circuit.
  • the processor separates the first audio signal from the first screen, 1 screen to the external electronic device through the communication circuit.
  • the processor can also separate the second audio signal from the second screen and change the output path for the second audio signal.
  • the processor may route the output path for the second audio signal from the audio processing circuitry (e.g., the audio processing circuitry 220 of FIG. 2) of the electronics device (e.g., Can be changed.
  • the processor may transmit a second audio signal through the communication circuit to the external electronic device except for the second screen so that the second audio signal is output through the external electronic device.
  • the processor when transmitting a first screen and a second audio signal to the external electronic device via a communication circuit, may display the first screen and the second screen on the touch screen display.
  • the processor can control the first audio signal separated from the first screen to be output through a speaker of the electronic device or an earphone (or an external speaker) connected to the electronic device by wired or wireless connection.
  • the processor recognizes it and transmits only the first screen to the external electronic device via a communication circuit, and the second audio signal (Or an external speaker) connected to the electronic device through a wired or wireless connection to the electronic device.
  • the processor may, in 311 operation, determine whether an input for switching the screen on the touch screen display is sensed. When an input for switching the screen is sensed, the processor converts at least one of the first and second audio signals and at least one other audio signal of the first and second screens to an external electronic To the device.
  • the processor may include at least one screen (e.g., a first screen) and at least one audio signal (e.g., a second audio signal) And transmit at least one other screen (e.g., a second screen) and at least one other audio signal (e.g., a first audio signal) to the external electronic device.
  • the processor may transmit a second screen separated from the second audio signal to an external electronic device via a communication circuit in response to an input for switching the screen.
  • the processor may change an output path for the first audio signal and the second audio signal in response to an input for switching the screen.
  • the processor may change the output path for the first audio signal from the audio processing circuitry of the electronic device to an external electronics device and change the output path for the second audio signal from the external electronics device to the audio processing circuitry of the electronic device .
  • the processor may transmit the first audio signal to the external electronic device via the communication circuit such that the first audio signal is output through the external electronic device.
  • the input for switching the screen is switched from the area of the first screen (or the area of the second screen) displayed on the touch screen display to the area of the second screen (or the area of the first screen) Swipes, and the like.
  • Figures 4A and 4B are diagrams for explaining a screen sharing method when there is one recognized external electronic device according to various embodiments of the present invention.
  • 4C and 4D are views for explaining a screen sharing method when an input for switching a screen according to various embodiments of the present invention is detected.
  • FIG. 4A-4D which are described below, illustrate one external electronic device 403 (e.g., the external electronic device 270 of FIG. 2) is connected to the electronic device 401 (e.g., the electronic device 200 of FIG. 2) Fig.
  • a processor 451 e.g., processor 250 of FIG. 2 of the electronic device 401 receives a touch screen display 453 (e.g., The first screen 411 and the second screen 413 can be displayed in a multi-window form on the touch screen display 240 of the touch screen.
  • the first screen 411 and the second screen 413 may be displayed on the touch screen display 453 in the form of a pop-up window.
  • the first screen 411 and the second screen 413 will be described as a moving picture playback screen.
  • the processor 451 is configured to receive input (e.g., on a touch screen display 453) to share at least one of the first screen 411 and the second screen 413 with the external electronic device 403 A long press, an input for selecting an icon for the screen sharing function).
  • processor 451 responds to the input for sharing to share with external electronic device 403 of first screen 411 and second screen 413, as shown in ⁇ 420>
  • a pop-up window 421 for determining at least one screen can be displayed.
  • the pop-up window 421 may include a menu for sharing the first screen 411 and the second screen 413 with the external electronic device 403, a menu for sharing the first screen 411, And a menu for sharing the menu 413.
  • the processor 451 may generate a first audio signal corresponding to the first screen 411 and a second audio signal corresponding to the second screen 413, A pop-up window 431 for determining at least one audio signal to be shared with the external electronic device 403 among the corresponding second audio signals.
  • a pop-up window 431 for determining at least one audio signal to be shared with the external electronic device 403 may include a pop-up window 421 for determining at least one screen to share, A menu for sharing the first audio, and a menu for sharing the second audio.
  • the processor 451 may include a menu (e.g., a first screen 411, A first screen 411 and a menu for sharing the first audio signal, a first screen 411, and a second audio signal 411.
  • a menu e.g., a first screen 411, A first screen 411 and a menu for sharing the first audio signal, a first screen 411, and a second audio signal 411.
  • a second screen 413, a menu for sharing the first audio signal, a second screen 413, and a menu for sharing the second audio signal may include a menu (e.g., a first screen 411, A first screen 411 and a menu for sharing the first audio signal, a first screen 411, and a second audio signal 411.
  • the processor 451 communicates at least one screen and at least one audio signal determined via the pop-up windows 421 and 431 to the outside through the communication circuitry 457 (e.g., the communication circuitry 210 of FIG. 2) To the electronic device 403.
  • the communication circuitry 457 e.g., the communication circuitry 210 of FIG. 2
  • the processor 451 displays the first screen 411 and the second audio And transmit the signal to the external electronic device 403 via the communication circuit 457.
  • the processor 451 can separate the first audio signal from the first screen 411 when the first screen 411 is selected in the popup window 421 for determining at least one screen to be shared have.
  • the processor 451 transmits the first screen 411 excluding the first audio signal to the external electronic device 403 through the communication circuit 457 so that the first screen 411 is output to the external electronic device 403 Can be transmitted.
  • the processor 451 separates the second audio signal from the second screen 413 when a second audio signal is selected in a pop-up window 431 for determining at least one audio signal to share,
  • the output path for the second audio signal can be changed.
  • the processor 451 may route the output path for the second audio signal from the audio processing circuitry 455 (e.g., the audio processing circuitry 220 of FIG. 2) of the electronic device 401 to the external electronics device 403 Can be changed.
  • the processor 451 transmits a second audio signal excluding the second screen 413 to the external electronic device 403 through the communication circuit 457 so that the second audio signal is outputted through the external electronic device 403 Can be transmitted.
  • the external electronic device 403 displays on the display a first screen 411 received from the electronic device 401 via the communication circuitry 457 as shown in ⁇ 440> It is possible to output an audio signal.
  • the processor 451 transmits the first screen 411 and the second audio signal to the external electronic device 403 via the communication circuit 457 and the first screen 411 and the second screen 413 via the touchscreen display 453.
  • the processor 451 may output the first audio signal or the second audio signal through the audio processing circuitry 455.
  • the processor 451 may transmit the first audio signal to the audio processing circuit 455 when transmitting the second audio signal to the external electronic device 403 via the communication circuit 457.
  • a processor 481 e.g., processor 250 of FIG. 2 of the electronic device 401 receives a first screen 411 and a second audio signal from the external electronic device 403,
  • the first screen 411 on the touch screen display 483 e.g., the touch screen display 240 of FIG. 2 is displayed as shown in ⁇ 460 >
  • An icon for controlling at least one of a first screen and a second audio signal displayed on the display of the external electronic device 403 e.g., a screen brightness icon, a volume control icon 461) can be displayed.
  • the processor 481 controls the brightness of the first screen 411 output to the external electronic device 403 through the screen brightness icon, or controls the brightness of the external electronic device 403 ) Of the second audio signal.
  • the processor 481 may switch the screen while displaying the first screen 411 and the second screen 413 in multi-window form on the touch screen display 483 as shown in ⁇ 460 &
  • the input 463 for detecting the input signal may include a second screen 413 (or a first screen 411) in an area where the first screen 411 (or the second screen 413) May be a swipe input to the displayed area.
  • the processor 481 in response to the input 463 for switching the screen, stops sending the first screen 411 to the external electronic device 403 as shown in ⁇ 470> And transmit the second screen 413 to the external electronic device 403.
  • the processor 481 responds to an input for switching the screen so that the second screen 413 is communicated with the communication circuit 487 (e.g., the second screen 413) so that the second screen 413 is output to the external electronic device 403. [ To the external electronic device 403 via the communication circuit (210 in Fig. 2).
  • the processor 481 in response to the input 463 for switching the screen, transmits the second screen 413 to the external electronic device 403, It may stop transmitting to the device 403 and transmit the first audio signal to the external electronic device 403.
  • the processor 481 may change the output path for the first audio signal and the second audio signal in response to an input for switching the screen.
  • the processor 481 may route the output path for the first audio signal from the audio processing circuitry 485 (e.g., the audio processing circuitry 220 of FIG. 2) of the electronic device 401 to the external electronics device 403 And change the output path for the second audio signal from the external electronic device 403 to the audio processing circuit 485 of the electronic device 401.
  • the processor 481 may transmit the first audio signal to the external electronic device 403 via the communication circuit 487 such that the first audio signal is output via the external electronic device 403.
  • the electronic device 401 can switch not only the screen transmitted to the external electronic device 403 in response to the input 463 for switching the screen, but also the audio signal therefrom.
  • the processor 481 transmits the second screen 413 and the first audio signal to the external electronic device 403 via the communication circuit 487 and the first screen 411 and the second screen 413 via the touchscreen display 483.
  • the processor 481 may output the first audio signal or the second audio signal through the audio processing circuitry 485.
  • the processor 481 may transmit the second audio signal to the audio processing circuit 485 when transmitting the first audio signal to the external electronic device 403 via the communication circuit 487.
  • 5A and 5B are diagrams for explaining a screen sharing method when there are a plurality of recognized external electronic devices according to various embodiments of the present invention.
  • 5A and 5B described below illustrate two or more external electronic devices 503 and 505 (e.g., external electronic device 270 of FIG. 2) to an electronic device 501 (e.g., electronic device 200 of FIG. 2) Are connected to each other.
  • external electronic devices 503 and 505 e.g., external electronic device 270 of FIG. 2
  • electronic device 501 e.g., electronic device 200 of FIG. 2
  • a processor 545 e.g., processor 250 of FIG. 2 of the electronic device 501 is coupled to a touch screen display 541 (e.g., The first screen 511 and the second screen 513 can be displayed in a multi-window form on the touch-screen display 240 of the display device.
  • the processor 545 is operable to share at least one of the first screen 511 and the second screen 513 with the first external electronic device 503 and the second external electronic device 505 Input can be detected.
  • the processor 545 is responsive to the input to share the first screen 511 and the second screen 511 to be shared by the first external electronic device 503 and the second external electronic device 505, respectively, (513), a first audio signal corresponding to the first screen (511), and a second audio signal corresponding to the second screen (513).
  • the processor 545 may transmit the determined at least one screen and at least one audio signal to the external electronic device via the corresponding communication circuit 547.
  • at least one screen and at least one audio signal to be shared by each of the first external electronic device 503 and the second external electronic device 505 may be the same as the one shown in the above ⁇ 420 > and ⁇ 430 & May be determined similar to the method determined through the pop-up windows 421, 431.
  • the processor 545 may separate the first audio signal from the first screen 511.
  • the processor 545 transmits the first screen 511 excluding the first audio signal to the communication circuit 547 (for example, the communication of FIG. 2, FIG. 2) so that the first screen 511 is outputted to the first external electronic device 503. [ Circuit 210) to the first external electronic device 503.
  • the processor 545 may also separate the second audio signal from the second screen 513 and change the output path for the second audio signal.
  • the processor 545 may route the output path for the second audio signal from the audio processing circuit 543 (e.g., the audio processing circuit 220 of FIG. 2) of the electronic device 501 to the first external electronics 503 ).
  • the processor 545 transmits a second audio signal, except for the second screen 513, to the first external electronic device 503 via the communication circuit 547, such that the second audio signal is output via the first external electronic device 503. [ (503).
  • the first external electronic device 503 displays on the display a first screen 511 received from the electronic device 501 via a communication circuit 547 as shown in ⁇ 520> It is possible to output the second audio signal.
  • the processor 545 receives a second screen 513 separated from the first audio signal and the second audio signal separated from the first screen 511 via a communication circuit 547, To the device 505.
  • the second external electronic device 505 displays on the display a second screen 513 received from the electronic device 501 via the communication circuit 547 as shown in ⁇ 530> And can output the first audio signal.
  • the processor 545 sends a first screen 511 and a second audio signal to a first external electronic device 503, a second screen 513 and a first audio signal to a second external electronic device 503, And transmits the first screen 511 and the second screen 513 through the touch screen display 541.
  • the processor 545 may output the first audio signal or the second audio signal through the audio processing circuit 543.
  • the processor 545 when an input for switching the first screen 511 and the second screen 513 is sensed (not shown), the processor 545 causes the first external electronic device 503 to display the first screen 511 ) And the transmission of the second audio signal can be stopped, and the second screen 513 and the first audio signal can be transmitted. The processor 545 may also stop transmitting the second screen 513 and the first audio signal to the second external electronic device 505 and transmit the first screen 511 and the second audio signal.
  • FIG. 6 is a flowchart illustrating a screen sharing method when a predetermined event is received while performing a screen sharing function according to various embodiments of the present invention.
  • a processor e.g., processor 250 of Figure 2
  • a connected external electronic device e.g., external electronic device 270 of Figure 2
  • Events can be received.
  • the predetermined event may include a message event, a telephone event, a system notification event, and the like.
  • the processor may, in operation 603, send a notification of the received predetermined event to the external electronic device.
  • the external electronic device receives the notification of a predetermined event from the electronic device (e.g., the electronic device 200 of FIG. 2), the external electronic device generates at least one screen and at least one audio signal, You can print a notification about an event.
  • the electronic device e.g., the electronic device 200 of FIG. 2
  • the notification of the predetermined event may be output on the display of the external electronic device and / or audio (e.g., event notification sound) in the form of a message (e.g., a toast message, a popup message) Lt; / RTI >
  • a message e.g., a toast message, a popup message
  • the processor in operation 605, adjusts at least one of at least one screen and at least one audio signal being shared based on the received predetermined event, upon performing a function corresponding to the received predetermined event To the external electronic device. For example, when the type of the received predetermined event includes an audio signal, the volume of the audio signal transmitted to the external electronic device can be adjusted (e.g., the volume is adjusted to be low) and transmitted.
  • FIG. 7 is a diagram for explaining a screen sharing method when a predetermined event is received while performing a screen sharing function according to various embodiments of the present invention.
  • FIG. 7 illustrates a first screen 711 displayed on a touch screen display (e.g., touch screen display 240 of FIG. 2) of an electronic device 701 (e.g., electronic device 200 of FIG. 2) (E.g., a telephone event) while sharing the first audio corresponding to the first screen 711 with the external electronic device 703 (e.g., the external electronic device 270 in FIG. 2)
  • a touch screen display e.g., touch screen display 240 of FIG. 2
  • an electronic device 701 e.g., electronic device 200 of FIG. 2
  • the external electronic device 703 e.g., the external electronic device 270 in FIG. 2
  • the electronic device 701 may share a first audio signal corresponding to the first screen 711 and the first screen 711 to the external electronic device 703, as shown in ⁇ 710> ≪ / RTI &
  • the electronic device 701 displays the first screen 711 on the touch screen display and the second screen 713 indicating that the telephone event has been received in a multi-window form (or a pop-up window form) can do.
  • the electronic device 701 displays the second screen 713 on the touch screen display and may send a notification of the telephonic event to the external device 703.
  • the electronic device 701 may send to the external electronic device 703 at least one of a message and audio (e.g., a ring tone) indicating that the telephone event has been received.
  • a message and audio e.g., a ring tone
  • the electronic device 701 when performing the telephone function as the telephone event is accepted, transmits a first screen 711 that is in a shared state, and the first screen 711 corresponding to the first screen 711 The volume of the audio signal can be adjusted and transmitted to the external electronic device 703.
  • the external electronic device 703 displays a first screen 711 received from the electronic device 701 on the display, outputs a first audio signal whose volume has been adjusted, And a ring tone indicating that the message has been received.
  • the electronic device 701 can send a first audio signal whose volume is adjusted to the external electronic device 703, thereby providing the user with a comfortable environment for performing the telephone function.
  • the user can perform the telephone function through the electronic device 701 while watching the first screen 711 being shared with the external electronic device 703, thereby performing the two functions seamlessly.
  • the electronic device 701 accepts the telephone event and provides a menu for outputting the audio signal as a result of performing the telephone function to the external electronic device 703, or performing a telephone function through the receiver of the electronic device 701 A menu for outputting an audio signal according to the display mode can be further displayed.
  • the electronic device can be various types of devices.
  • the electronic device can include, for example, at least one of a portable communication device (e.g., a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device e.g., a smart phone
  • a computer device e.g., a laptop, a desktop, a smart phone
  • portable multimedia device e.g., a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a portable medical device
  • first component is "(functionally or communicatively) connected” or “connected” to another (second) component, May be connected directly to the component, or may be connected through another component (e.g., a third component).
  • module includes units comprised of hardware, software, or firmware and may be used interchangeably with terms such as, for example, logic, logic blocks, components, or circuits.
  • a module may be an integrally constructed component or a minimum unit or part thereof that performs one or more functions.
  • the module may be configured as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document may include instructions stored on a machine-readable storage medium (e.g., internal memory 136 or external memory 138) readable by a machine (e.g., a computer) Software (e.g., program 140).
  • the device may include an electronic device (e.g., electronic device 101) in accordance with the disclosed embodiments as an apparatus capable of calling stored instructions from the storage medium and operating according to the called instructions.
  • a processor e.g., processor 120
  • the processor may perform the function corresponding to the instruction, either directly or using other components under the control of the processor.
  • the instructions may include code generated or executed by the compiler or interpreter.
  • a device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' means that the storage medium does not include a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily on the storage medium.
  • the method according to various embodiments disclosed herein may be provided in a computer program product.
  • a computer program product can be traded between a seller and a buyer as a product.
  • a computer program product may be distributed in the form of a machine readable storage medium (eg, compact disc read only memory (CD-ROM)) or distributed online through an application store (eg PlayStore TM).
  • CD-ROM compact disc read only memory
  • PlayStore TM application store
  • at least a portion of the computer program product may be temporarily stored, or temporarily created, on a storage medium such as a manufacturer's server, a server of an application store, or a memory of a relay server.
  • Each of the components may be comprised of a single entity or a plurality of entities, and some of the subcomponents described above may be omitted, or other subcomponents May be further included in various embodiments.
  • some components e.g., modules or programs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 전자 장치 및 이를 이용한 화면 공유 방법에 관한 것으로, 본 발명의 다양한 실시예들에 따르면, 전자 장치는, 통신 회로, 터치스크린 디스플레이, 오디오 처리 회로, 메모리, 및 상기 통신 회로, 상기 터치스크린 디스플레이, 상기 오디오 처리 회로, 및 상기 메모리와 전기적으로 연결되는 프로세서를 포함하며, 상기 프로세서는, 제1 화면 및 제2 화면을 상기 터치스크린 디스플레이 상에 표시하고, 화면 공유 기능을 수행하기 위한 입력이 상기 터치스크린 디스플레이를 통해 감지되면, 상기 통신 회로를 통해 연결된 외부 전자 장치를 인식하고, 상기 인식된 외부 전자 장치에 상기 제1 화면 및 상기 제2 화면 중 적어도 하나의 화면과 상기 제1 화면 및 상기 제2 화면에 대응하는 오디오 신호들 중 적어도 하나의 오디오 신호를 송신하도록 설정될 수 있다. 본 발명에 개시된 다양한 실시예들 이외의 다른 다양한 실시예가 가능하다.

Description

전자 장치 및 이를 이용한 화면 공유 방법
본 발명의 다양한 실시예는 전자 장치 및 이를 이용한 화면 공유 방법에 관한 것이다.
전자 장치는 유무선 통신 기능을 통해 외부 장치와 각종 데이터를 송수신할 수 있으며, 전자 장치에 표시된 화면을 외부 장치 상에서 동시에 표시할 수 있는 화면 공유 기술(예: 미러링(mirroring) 기술)이 활용되고 있다. 화면 공유 기술은 디스플레이를 갖는 여러 전자 장치 간에 화면 데이터를 공유할 수 있는 기술이다. 전자 장치의 디스플레이에 표시된 영상을 Wi-fi(wireless fidelity) 등 근거리 무선 통신을 이용해 P2P(peer to peer) 방식으로 외부 장치에 전송하고, 외부 장치는 수신한 영상을 전자 장치와 동시에 표시할 수 있다.
전자 장치의 디스플레이 상에 복수개의 화면이 멀티윈도우 형태로 표시된 상태에서, 전술한 화면 공유 기술을 이용하여 외부 장치와 화면 데이터를 공유하는 경우, 복수개의 화면 전체가 외부 장치 상에 표시될 수 있다. 또한, 복수개의 화면이 오디오 신호를 포함하는 경우, 외부 장치에 화면 데이터를 공유할 때 오디오 신호들 또한 전체가 공유될 수 있다.
이에 따라, 복수개의 화면 전체가 아닌 특정 화면만을 외부 장치 상에 표시하고, 특정 오디오 신호만을 출력하고자 하는 사용자 입장에서는 불편할 수 있다.
또한, 외부 장치에 화면 데이터를 공유하는 중에 수신되는 이벤트(예: 메시지 이벤트, 전화 이벤트 등)에 대응하는 기능을 수행하는 경우, 외부 장치에 화면 데이터가 공유하는 동작은 중단될 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 디스플레이 상에 멀티윈도우 형태로 표시되는 복수개의 화면들 중 일부 화면만을 외부 장치에 공유할 수 있도록 제공할 수 있다. 또한, 전자 장치는 상기 일부 화면만을 외부 장치에 공유하며, 이와 동시에 오디오 신호 또한 사용자에 의해 선택된 오디오 신호만을 공유할 수 있도록 제공할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치는 외부 장치에 화면 데이터를 공유하는 중에 이벤트가 수신되면, 이벤트에 대응하는 기능을 수행하며 동시에 외부 장치에 화면 데이터를 공유할 수 있도록 제공할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는, 통신 회로, 터치스크린 디스플레이, 오디오 처리 회로, 메모리, 및 상기 통신 회로, 상기 터치스크린 디스플레이, 상기 오디오 처리 회로, 및 상기 메모리와 전기적으로 연결되는 프로세서를 포함하며, 상기 프로세서는, 제1 화면 및 제2 화면을 상기 터치스크린 디스플레이 상에 표시하고, 화면 공유 기능을 수행하기 위한 입력이 상기 터치스크린 디스플레이를 통해 감지되면, 상기 통신 회로를 통해 연결된 외부 전자 장치를 인식하고, 상기 인식된 외부 전자 장치에 상기 제1 화면 및 상기 제2 화면 중 적어도 하나의 화면과 상기 제1 화면 및 상기 제2 화면에 대응하는 오디오 신호들 중 적어도 하나의 오디오 신호를 송신하도록 설정될 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치의 화면 공유 방법은, 제1 화면 및 제2 화면을 터치스크린 디스플레이 상에 표시하는 동작, 화면 공유 기능을 수행하기 위한 입력이 상기 터치스크린 디스플레이를 통해 감지되면, 통신 회로를 통해 연결된 외부 전자 장치를 인식하는 동작, 및 상기 인식된 외부 전자 장치에 상기 제1 화면 및 상기 제2 화면 중 적어도 하나의 화면과 상기 제1 화면 및 상기 제2 화면에 대응하는 오디오 신호들 중 적어도 하나의 오디오 신호를 송신하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는 화면 공유 기술을 이용하여 사용자에 의해 선택된 화면 및 오디오 신호를 외부 장치에 공유하도록 제공할 수 있다. 전자 장치에서 출력되는 화면 및 오디오 신호 중 사용자가 원하는 화면 및 오디오 신호만을 외부 장치에 공유할 수 있어, 사용자의 만족도를 높일 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는 외부 장치에 화면 데이터를 공유하는 중에 이벤트가 수신되면, 기 수행 중이던 화면 공유 동작을 방해 받지 않고, 수신된 이벤트에 대응하는 기능을 동시에 수행할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 본 발명의 다양한 실시예들에 따른 전자 장치를 나타내는 블록도이다.
도 3은 본 발명의 다양한 실시예들에 따른 화면 공유 방법을 설명하기 위한 흐름도이다.
도 4a 및 도 4b는 본 발명의 다양한 실시예들에 따른 인식된 외부 전자 장치가 하나인 경우 화면 공유 방법을 설명하기 위한 도면이다.
도 4c 및 도 4d는 본 발명의 다양한 실시예들에 따른 화면을 스위칭하기 위한 입력이 감지된 경우 화면 공유 방법을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 다양한 실시예들에 따른 인식된 외부 전자 장치가 복수개인 경우 화면 공유 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다양한 실시예들에 따른 화면 공유 기능을 수행하는 중에 소정의 이벤트가 수신되는 경우 화면 공유 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 다양한 실시예들에 따른 화면 공유 기능을 수행하는 중에 소정의 이벤트가 수신되는 경우 화면 공유 방법을 설명하기 위한 도면이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 및 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 예를 들면, 표시 장치(160)(예: 디스플레이)에 임베디드된 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)의 경우와 같이, 일부의 구성요소들이 통합되어 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 구동하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 운영되고, 추가적으로 또는 대체적으로, 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화된 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 여기서, 보조 프로세서(123)는 메인 프로세서(121)와 별개로 또는 임베디드되어 운영될 수 있다.
이런 경우, 보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 수행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부 구성 요소로서 구현될 수 있다. 메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 저장되는 소프트웨어로서, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신하기 위한 장치로서, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력하기 위한 장치로서, 예를 들면, 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용되는 스피커와 전화 수신 전용으로 사용되는 리시버를 포함할 수 있다. 일실시예에 따르면, 리시버는 스피커와 일체 또는 별도로 형성될 수 있다.
표시 장치(160)는 전자 장치(101)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치 회로(touch circuitry) 또는 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 유선 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 내부의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 전자 장치(예: 전자 장치(102))와 유선 또는 무선으로 연결할 수 있는 지정된 프로토콜을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는 HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102))를 물리적으로 연결시킬 수 있는 커넥터, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈, 이미지 센서, 이미지 시그널 프로세서, 또는 플래시를 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리하기 위한 모듈로서, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구성될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되는, 유선 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 상술한 여러 종류의 통신 모듈(190)은 하나의 칩으로 구현되거나 또는 각각 별도의 칩으로 구현될 수 있다.
일실시예에 따르면, 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 사용자 정보를 이용하여 통신 네트워크 내에서 전자 장치(101)를 구별 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부로 송신하거나 외부로부터 수신하기 위한 하나 이상의 안테나들을 포함할 수 있다. 일시예에 따르면, 통신 모듈(190)(예: 무선 통신 모듈(192))은 통신 방식에 적합한 안테나를 통하여 신호를 외부 전자 장치로 송신하거나, 외부 전자 장치로부터 수신할 수 있다.
상기 구성요소들 중 일부 구성요소들은 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input/output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되어 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 외부 전자 장치에서 실행될 수 있다. 일실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 외부 전자 장치에게 요청할 수 있다. 상기 요청을 수신한 외부 전자 장치는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 본 발명의 다양한 실시예들에 따른 전자 장치를 나타내는 블록도이다.
도 2를 참조하면, 전자 장치(200)(예: 도 1의 전자 장치(101))는 통신 회로(210)(예: 도 1의 통신 모듈(190)), 오디오 처리 회로(220), 메모리(230)(예: 도 1의 메모리(130)), 터치스크린 디스플레이(240)(예: 도 1의 표시 장치(160)), 및 프로세서(250)(예: 도 1의 프로세서(120))를 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 통신 회로(210)(예: 도 1의 통신 모듈(190))는 외부 전자 장치(270)와 통신을 연결할 수 있다. 예컨대, 상기 통신 회로(210)는 무선 통신 또는 유선 통신을 통해서 네트워크에 연결되어 외부 전자 장치(270)와 통신할 수 있다. 통신 회로(210)는 인터페이스(예: 도 1의 인터페이스(177))를 통해 외부 전자 장치(270)와 유선 또는 무선으로 연결되어 데이터를 송수신할 수 있다.
일 실시예에서, 통신 회로(210)는 프로세서(250)의 제어 하에 연결된 외부 전자 장치(270)에 화면을 공유하기 위한 입력이 감지되면, 상기 화면을 공유하기 위한 데이터(예: 적어도 하나의 화면 및 적어도 하나의 오디오 신호)를 상기 외부 전자 장치(270)에 송신할 수 있다.
본 발명의 다양한 실시예들에 따르면, 오디오 처리 회로(220)는 스피커 및 마이크를 포함할 수 있다. 오디오 처리 회로(220)는 오디오 신호를 처리, 증폭하여 출력할 수 있다. 오디오 처리 회로(220)는 전자 장치(200)의 스피커, 또는 전자 장치(200)에 유무선으로 연결된 이어폰(또는, 외부 스피커)을 통해 오디오를 출력할 수 있다.
본 발명의 다양한 실시예들에 따르면, 메모리(230)(예: 도 1의 메모리(130))는 전기적으로 프로세서(250)와 연결될 수 있다.
일 실시예에서, 메모리(230)는 터치스크린 디스플레이(240) 상에 표시되는 적어도 하나의 화면을 외부 전자 장치(270)에 공유하는 경우, 상기 적어도 하나의 화면에 대응하는 어플리케이션의 타입에 기초하여 상기 외부 전자 장치(270)에 송신할 적어도 하나의 오디오 신호를 결정하기 위한 프로그램을 저장할 수 있다.
본 발명의 다양한 실시예들에 따르면, 터치스크린 디스플레이(240)(예: 도 1의 표시 장치(160))는 표시부(241)와 터치패널(243)을 포함하는 일체형으로 구성될 수 있다. 상기 표시부(241)는 전자 장치(200)의 이용에 따른 다양한 화면들을 표시할 수 있다. 또한 상기 표시부(241)는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems (MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 상기 표시부(241)는 예컨대, 사용자에게 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 상기 터치패널(243)은 예컨대, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근접, 또는 호버링 입력을 수신할 수 있다.
일 실시예에서, 터치스크린 디스플레이(240)는 적어도 두 개 이상의 어플리케이션 실행에 따른 적어도 두 개 이상의 어플리케이션 실행 화면을 멀티윈도우 형태로 표시할 수 있다.
일 실시예에서, 터치스크린 디스플레이(240)는 적어도 두 개 이상의 어플리케이션 실행에 따른 적어도 두 개 이상의 어플리케이션 실행 화면을 팝업 윈도우 형태로 표시할 수 있다.
일 실시예에서, 터치스크린 디스플레이(240)는 프로세서(250)의 제어 하에 화면 공유 기능을 수행하기 위한 입력이 감지되면, 적어도 두 개 이상의 화면들 중 외부 전자 장치(270)에 공유할 적어도 하나의 화면을 결정하기 위한 팝업창을 표시할 수 있다. 터치스크린 디스플레이(240)는 상기 적어도 두 개 이상의 화면들에 대응하는 오디오 신호들 중 상기 외부 전자 장치(270)에 공유할 적어도 하나의 오디오 신호를 결정하기 위한 팝업창을 표시할 수 있다.
일 실시예에서, 터치스크린 디스플레이(240)는 프로세서(250)의 제어 하에 결정된 적어도 하나의 화면 및 오디오 신호를 외부 전자 장치(270)에 송신하는 경우, 터치스크린 디스플레이(240)의 상기 적어도 하나의 화면이 표시되는 영역에 상기 외부 전자 장치(270)로 송신한 상기 적어도 하나의 화면을 제어하기 위한 메뉴를 표시할 수 있다.
본 발명의 다양한 실시예들에 따르면, 프로세서(250)(예: 도 1의 프로세서(120))는 전자 장치(200)의 전반적인 동작 및 전자 장치(200)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터 처리를 수행하고, 배터리(예: 도 1의 배터리(189))에서 상기 구성들로의 전원 공급을 제어할 수 있다.
일 실시예에서, 프로세서(250)는 적어도 두 개 이상의 화면들(예: 적어도 두 개 이상의 어플리케이션 실행에 따른 적어도 두 개 이상의 어플리케이션 실행 화면들)을 멀티윈도우 형태(또는, 팝업 윈도우 형태)로 터치스크린 디스플레이(240)에 표시할 수 있다. 프로세서(250)는 화면 공유 기능을 수행하기 위한 입력이 감지되면, 통신 회로(210)를 통해 연결된 외부 전자 장치(270)를 인식할 수 있다. 프로세서(250)는 상기 인식된 외부 전자 장치(270)에 공유할 적어도 하나의 화면과 두 개 이상의 화면들에 대응하는 오디오 신호들 중 적어도 하나의 오디오 신호를 결정할 수 있다. 프로세서(250)는 상기 외부 전자 장치(270)로 상기 결정된 적어도 하나의 화면과 적어도 하나의 오디오 신호를 송신할 수 있다. 프로세서(250)는 터치스크린 디스플레이(240)의 적어도 하나의 화면을 표시하는 영역에 상기 외부 전자 장치(270)에 송신한 적어도 하나의 화면을 제어하기 위한 메뉴를 표시할 수 있다.
일 실시예에서, 프로세서(250)는 터치스크린 디스플레이(240) 상에 표시된 적어도 두 개 이상의 화면을 스위칭하기 위한 입력이 감지되면, 기 송신 중인 적어도 하나의 화면 및 적어도 하나의 오디오 신호를 외부 전자 장치(270)로 송신하는 것을 중단하고, 적어도 하나의 다른 화면 및 적어도 하나의 다른 오디오 신호를 외부 전자 장치(270)에 송신할 수 있다.
일 실시예에서, 프로세서(250)는 통신 회로(210)를 통해 연결된 외부 전자 장치(270)와 화면 공유 기능을 수행하는 중에 소정의 이벤트(예: 메시지, 전화, 시스템 알림 등)가 수신되면, 상기 수신된 소정의 이벤트에 대한 알림을 상기 외부 전자 장치(270)에 송신할 수 있다. 프로세서(250)는 수신된 소정의 이벤트에 대응하는 기능을 수행 시, 상기 수신된 소정의 이벤트에 대한 타입에 기초하여 공유 중인 화면 및 오디오 신호 중 적어도 하나를 조정하여 외부 전자 장치(270)에 송신할 수 있다.
본 발명의 다양한 실시예들에 따르면, 외부 전자 장치(270)는 전자 장치(200)와 동일한 종류의 장치이거나 다른 종류의 장치로써 디스플레이를 구비한 장치일 수 있다.
일 실시예에서, 전자 장치(200)는 소형 디스플레이를 구비한 장치, 외부 전자 장치(270)는 대형 디스플레이를 구비한 장치일 수 있다. 또한, 외부 전자 장치(270)는 이어폰, 스피커를 포함하는 음원 출력장치 또는 모니터, TV를 포함하는 표시장치일 수 있다.
일 실시예에서, 외부 전자 장치(270)는 Wi-Fi(wireless fidelity), 블루투스(bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 무선 통신 기능을 구비할 수 있다. 또한, 외부 전자 장치(270)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 유선 통신 기능을 구비할 수 있다.
일 실시예에서, 외부 전자 장치(270)는 전자 장치(200)로부터 유선 또는 무선 통신을 통해 공유 화면 데이터를 수신하고 이를 디스플레이 상에 표시할 수 있다. 또한, 외부 전자 장치(270)는 전자 장치(200)로부터 유선 또는 무선 통신을 통해 오디오 신호를 수신하고 이를 출력할 수 있다.
도 3은 본 발명의 다양한 실시예들에 따른 화면 공유 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 프로세서(예: 도 2의 프로세서(250))는 301동작에서, 적어도 두 개 이상의 화면 예컨대, 제1 화면 및 제2 화면을 터치스크린 디스플레이(예: 도 2의 터치스크린 디스플레이(240)) 상에 표시할 수 있다.
일 실시예에서, 상기 제1 화면 및 제2 화면 각각은 어플리케이션 실행에 따른 화면일 수 있다. 예컨대, 상기 어플리케이션 실행에 따른 화면은 게임 화면, 음악 또는 동영상 재생 화면, 통화 화면, 이미지 화면, 웹 페이지 화면 등을 포함할 수 있다.
일 실시예에서, 상기 제1 화면 및 제2 화면은 터치스크린 디스플레이의 전체 영역이 분할된 제1 영역 및 제2 영역에 멀티윈도우 형태로 표시되거나, PIP(picture in picture) 형태로 상기 제1 화면이 표시되는 일부에 상기 제2 화면이 표시될 수 있다.
일 실시예에서, 상기 제1 화면 및 제2 화면 각각은 터치스크린 디스플레이에 팝업 윈도우 형태로 표시될 수 있다.
일 실시예에서, 프로세서는 303동작에서, 화면 공유 기능을 수행하기 위한 입력을 감지할 수 있다.
일 실시예에서, 상기 화면 공유 기능을 수행하기 위한 입력은 제1 화면 및 제2 화면이 표시된 터치스크린 디스플레이 상에서 감지되는 미리 설정된 제스처일 수 있다. 예컨대, 상기 미리 설정된 제스처는 상기 제1 화면 및 상기 제2 화면이 표시된 터치스크린 디스플레이 상에서의 롱 프레스(long press), 화면 공유 기능에 대한 아이콘을 선택하는 입력 등을 포함할 수 있다.
일 실시예에서, 프로세서는 305동작에서, 상기 화면 공유 기능을 수행하기 위한 입력에 응답하여, 통신 회로(예: 도 2의 통신 회로(210))를 통해 연결된 외부 전자 장치(예: 도 2의 외부 전자 장치(270))를 인식할 수 있다.
일 실시예에서, 프로세서는 상기 화면 공유 기능을 수행하기 위한 입력에 응답하여, 상기 연결된 외부 전자 장치 리스트를 표시할 수 있다.
일 실시예에서, 상기 연결된 외부 전자 장치는 적어도 하나 이상일 수 있다.
일 실시예에서, 프로세서는 표시된 외부 전자 장치 리스트에서 화면을 공유할 외부 전자 장치의 선택이 감지되면, 후술하는 동작을 수행할 수 있다. 하지만, 이에 한정하는 것은 아니며, 통신 회로를 통해 연결된 외부 전자 장치가 하나인 경우, 프로세서는 외부 전자 장치 리스트를 표시하는 동작을 생략하고, 후술하는 동작을 수행할 수 있다.
상기 연결된 외부 전자 장치가 하나인 경우와 관련하여, 후술하는 도 4a 내지 도 4d에서, 상세히 설명될 것이다. 또한, 상기 연결된 외부 전자 장치가 두 개 이상인 경우와 관련하여, 후술하는 도 5a 및 도 5b에서, 상세히 설명될 것이다.
일 실시예에서, 프로세서는 307동작에서, 외부 전자 장치에 공유할 적어도 하나의 화면과 제1 화면 및 제2 화면에 대응하는 오디오 신호들(예: 제1 오디오 신호 및 제2 오디오 신호) 중 적어도 하나의 오디오 신호를 결정할 수 있다.
예컨대, 프로세서는 터치스크린 디스플레이 상에 표시된 제1 화면 및 제2 화면을 상기 외부 전자 장치에 공유할 것인지, 또는 상기 제1 화면 및 상기 제2 화면 중 어느 하나의 화면을 상기 외부 전자 장치에 공유할 것인지 여부를 결정하기 위한 팝업창을 표시할 수 있다.
일 실시예에서, 프로세서는 상기 외부 전자 장치에 공유할 적어도 하나의 화면을 결정한 후, 제1 화면에 대응하는 제1 오디오 신호 및 제2 화면에 대응하는 제2 오디오 신호 중 상기 외부 전자 장치에 공유할 적어도 하나의 오디오 신호를 결정하기 위한 팝업창을 더 표시할 수 있다.
일 실시예에서, 외부 전자 장치에 송신(예: 공유)할 오디오 신호는 화면에 대응하는 어플리케이션의 타입에 따라 기 설정될 수 있다.
예컨대, 동영상 재생 어플리케이션을 실행함에 따라 동영상 재생 화면이 제1 화면으로서 표시되고, 음악 재생 어플리케이션을 실행함에 따라 음악 재생 화면이 제2 화면으로서 표시되는 것으로 가정하여 설명한다. 상기 동영상 재생 화면 및 상기 음악 재생 화면 중 상기 동영상 재생 화면을 외부 전자 장치에 공유하는 경우, 프로세서는 상기 동영상 재생 화면 및 이에 대응하는 오디오 신호를 상기 외부 전자 장치에 송신하도록 설정할 수 있다.
또한, 사진 어플리케이션을 실행함에 따라 이미지 재생 화면이 제1 화면으로서 표시되고, 음악 어플리케이션을 실행함에 따라 음악 재생 화면이 제2 화면으로서 표시되는 것으로 가정하여 설명한다. 상기 이미지 재생 화면 및 상기 음악 재생 화면 중 상기 이미지 재생 화면을 외부 전자 장치에 공유하는 경우, 상기 이미지 재생 화면은 오디오 신호가 없기 때문에 프로세서는 상기 이미지 재생 화면 및 상기 음악 재생 화면에 대응하는 오디오 신호를 외부 전자 장치에 송신하도록 설정할 수 있다.
일 실시예에서, 프로세서는 309동작에서, 상기 외부 전자 장치로 상기 결정된 적어도 하나의 화면과 적어도 하나의 오디오 신호를 통신 회로를 통해 송신할 수 있다.
예컨대, 상기 외부 전자 장치에 공유할 화면 및 오디오 신호를 제1 화면 및 제2 오디오 신호로 가정하여 설명하면, 프로세서는 제1 화면으로부터 제1 오디오 신호를 분리하고, 상기 제1 오디오 신호를 제외한 제1 화면을 통신 회로를 통해 외부 전자 장치에 송신할 수 있다. 또한, 프로세서는 제2 화면으로부터 제2 오디오 신호를 분리하고, 상기 제2 오디오 신호에 대한 출력 경로를 변경할 수 있다. 예컨대, 프로세서는 상기 제2 오디오 신호에 대한 출력 경로를 전자 장치(예: 도 2의 전자 장치(200))의 오디오 처리 회로(예: 도 2의 오디오 처리 회로(220))에서 외부 전자 장치로 변경할 수 있다. 프로세서는 상기 제2 오디오 신호가 상기 외부 전자 장치를 통해 출력되도록 상기 제2 화면을 제외한 제2 오디오 신호를 통신 회로를 통해 외부 전자 장치에 송신할 수 있다.
일 실시예에서, 통신 회로를 통해 제1 화면 및 제2 오디오 신호를 상기 외부 전자 장치에 송신하는 경우, 프로세서는 제1 화면 및 제2 화면을 터치스크린 디스플레이 상에 표시할 수 있다. 또한, 프로세서는 제1 화면으로부터 분리된 제1 오디오 신호가 전자 장치의 스피커 또는 상기 전자 장치에 유무선으로 연결된 이어폰(또는, 외부 스피커)을 통해 출력되도록 제어할 수 있다.
일 실시예에서, 외부 전자 장치가 오디오 신호를 출력하는 스피커를 구비하지 않은 경우, 프로세서는 이를 인식하고, 상기 제1 화면만을 통신 회로를 통해 상기 외부 전자 장치에 송신하고, 상기 제2 오디오 신호가 전자 장치의 스피커 또는 상기 전자 장치에 유무선으로 연결된 이어폰(또는, 외부 스피커)을 통해 출력되도록 제어할 수 있다.
일 실시예에서, 프로세서는 311동작에서, 터치스크린 디스플레이 상에서 화면을 스위칭하기 위한 입력이 감지되는지 여부를 결정할 수 있다. 상기 화면을 스위칭하기 위한 입력이 감지되면, 프로세서는 313동작에서, 제1 화면 및 제2 화면 중 적어도 하나의 다른 화면과 제1 오디오 신호 및 제2 오디오 신호 중 적어도 하나의 다른 오디오 신호를 외부 전자 장치에 송신할 수 있다.
일 실시예에서, 상기 화면을 스위칭하기 위한 입력이 감지되면, 프로세서는 외부 전자 장치로 기 공유 중인 적어도 하나의 화면(예: 제1 화면) 및 적어도 하나의 오디오 신호(예: 제2 오디오 신호)의 송신을 중단하고, 적어도 하나의 다른 화면(예: 제2 화면) 및 적어도 하나의 다른 오디오 신호(예: 제1 오디오 신호)를 외부 전자 장치에 송신할 수 있다. 예컨대, 프로세서는 상기 화면을 스위칭하기 위한 입력에 응답하여 제2 오디오 신호와 분리된 제2 화면을 통신 회로를 통해 외부 전자 장치에 송신할 수 있다. 또한, 프로세서는 상기 화면을 스위칭하기 위한 입력에 응답하여 제1 오디오 신호 및 제2 오디오 신호에 대한 출력 경로를 변경할 수 있다. 프로세서는 상기 제1 오디오 신호에 대한 출력 경로를 전자 장치의 오디오 처리 회로에서 외부 전자 장치로 변경하고, 상기 제2 오디오 신호에 대한 출력 경로를 외부 전자 장치에서 전자 장치의 오디오 처리 회로로 변경할 수 있다. 프로세서는 상기 제1 오디오 신호가 외부 전자 장치를 통해 출력되도록 상기 제1 오디오 신호를 통신 회로를 통해 외부 전자 장치에 송신할 수 있다.
일 실시예에서, 상기 화면을 스위칭하기 위한 입력은 터치스크린 디스플레이 상에 표시된 제1 화면의 영역(또는, 제2 화면의 영역)에서 제2 화면의 영역(또는, 제1 화면의 영역)으로의 스와이프(swipe) 등을 포함할 수 있다.
도 4a 및 도 4b는 본 발명의 다양한 실시예들에 따른 인식된 외부 전자 장치가 하나인 경우 화면 공유 방법을 설명하기 위한 도면이다.
도 4c 및 도 4d는 본 발명의 다양한 실시예들에 따른 화면을 스위칭하기 위한 입력이 감지된 경우 화면 공유 방법을 설명하기 위한 도면이다.
이하 설명하는 도 4a 내지 도 4d는 전자 장치(401)(예: 도 2의 전자 장치(200))에 하나의 외부 전자 장치(403)(예: 도 2의 외부 전자 장치(270))가 연결된 경우를 설명하기 위한 도면이다.
도 4a 및 도 4b를 참조하면, 전자 장치(401)의 프로세서(451)(예: 도 2의 프로세서(250))는 <410>에 도시된 바와 같이 터치스크린 디스플레이(453)(예: 도 2의 터치스크린 디스플레이(240)) 상에 제1 화면(411) 및 제2 화면(413)을 멀티윈도우 형태로 표시할 수 있다. 이에 한정하는 것은 아니며, 상기 제1 화면(411) 및 상기 제2 화면(413)은 터치스크린 디스플레이(453) 상에 팝업 윈도우 형태로 표시될 수 있다.
이하, 상기 제1 화면(411) 및 상기 제2 화면(413)은 동영상 재생 화면으로 가정하여 설명한다.
일 실시예에서, 프로세서(451)는 제1 화면(411) 및 제2 화면(413) 중 적어도 하나를 외부 전자 장치(403)에 공유하기 위한 입력(예: 터치스크린 디스플레이(453) 상에서 감지되는 롱 프레스(long press), 화면 공유 기능에 대한 아이콘을 선택하는 입력)을 감지할 수 있다.
일 실시예에서, 프로세서(451)는 상기 공유하기 위한 입력에 응답하여, <420>에 도시된 바와 같이 제1 화면(411) 및 제2 화면(413) 중 외부 전자 장치(403)에 공유할 적어도 하나의 화면을 결정하기 위한 팝업창(421)을 표시할 수 있다. 예컨대, 상기 팝업창(421)은 외부 전자 장치(403)에 제1 화면(411) 및 제2 화면(413)을 공유하기 위한 메뉴, 제1 화면(411)을 공유하기 위한 메뉴, 및 제2 화면(413)을 공유하기 위한 메뉴를 포함할 수 있다.
일 실시예에서, 상기 공유할 적어도 하나의 화면을 결정한 후, 프로세서(451)는 <430>에 도시된 바와 같이 제1 화면(411)에 대응하는 제1 오디오 신호 및 제2 화면(413)에 대응하는 제2 오디오 신호 중 외부 전자 장치(403)에 공유할 적어도 하나의 오디오 신호를 결정하기 위한 팝업창(431)을 더 표시할 수 있다.
예컨대, 상기 외부 전자 장치(403)에 공유할 적어도 하나의 오디오 신호를 결정하기 위한 팝업창(431)은 공유할 적어도 하나의 화면을 결정하기 위한 팝업창(421)과 유사하게 제1 오디오 및 제2 오디오를 공유하기 위한 메뉴, 제1 오디오를 공유하기 위한 메뉴, 및 제2 오디오를 공유하기 위한 메뉴를 포함할 수 있다.
하지만, 이에 한정하는 것은 아니며, 예컨대, 공유하기 위한 입력에 응답하여, 프로세서(451)는 적어도 하나의 화면 및 적어도 하나의 오디오 신호를 동시에 결정할 수 있는 메뉴(예: 제1 화면(411), 제2 화면(413), 제1 오디오 신호, 및 제2 오디오 신호를 공유하기 위한 메뉴, 제1 화면(411) 및 제1 오디오 신호를 공유하기 위한 메뉴, 제1 화면(411) 및 제2 오디오 신호를 공유하기 위한 메뉴, 제2 화면(413) 및 제1 오디오 신호를 공유하기 위한 메뉴, 제2 화면(413) 및 제2 오디오 신호를 공유하기 위한 메뉴)를 포함하는 팝업창을 표시할 수 있다.
일 실시예에서, 프로세서(451)는 팝업창(421, 431)을 통해 결정된 적어도 하나의 화면 및 적어도 하나의 오디오 신호를 통신 회로(457)(예: 도 2의 통신 회로(210))를 통해 외부 전자 장치(403)에 송신할 수 있다.
예컨대, 상기 팝업창(421, 431)에서 제1 화면(411) 및 제2 오디오 신호를 공유하기 위한 메뉴를 선택하는 입력이 감지되면, 프로세서(451)는 상기 제1 화면(411) 및 제2 오디오 신호를 통신 회로(457)를 통해 외부 전자 장치(403)에 송신할 수 있다.
일 실시예에서, 프로세서(451)는 공유할 적어도 하나의 화면을 결정하기 위한 팝업창(421)에서 제1 화면(411)이 선택되면, 제1 화면(411)으로부터 제1 오디오 신호를 분리할 수 있다. 프로세서(451)는 상기 제1 화면(411)이 외부 전자 장치(403)에 출력되도록 상기 제1 오디오 신호를 제외한 제1 화면(411)을 통신 회로(457)를 통해 외부 전자 장치(403)에 송신할 수 있다.
일 실시예에서, 프로세서(451)는 공유할 적어도 하나의 오디오 신호를 결정하기 위한 팝업창(431)에서 제2 오디오 신호가 선택되면, 제2 화면(413)으로부터 제2 오디오 신호를 분리하고, 상기 제2 오디오 신호에 대한 출력 경로를 변경할 수 있다. 예컨대, 프로세서(451)는 상기 제2 오디오 신호에 대한 출력 경로를 전자 장치(401)의 오디오 처리 회로(455)(예: 도 2의 오디오 처리 회로(220))에서 외부 전자 장치(403)로 변경할 수 있다. 프로세서(451)는 상기 제2 오디오 신호가 상기 외부 전자 장치(403)를 통해 출력되도록 상기 제2 화면(413)을 제외한 제2 오디오 신호를 통신 회로(457)를 통해 외부 전자 장치(403)에 송신할 수 있다.
일 실시예에서, 외부 전자 장치(403)는 <440>에 도시된 바와 같이 통신 회로(457)를 통해 전자 장치(401)로부터 수신한 제1 화면(411)을 디스플레이 상에 표시하고, 제2 오디오 신호를 출력할 수 있다.
일 실시예에서, 프로세서(451)는 제1 화면(411) 및 제2 오디오 신호를 통신 회로(457)를 통해 외부 전자 장치(403)로 송신하며, 제1 화면(411) 및 제2 화면(413)을 터치스크린 디스플레이(453)를 통해 출력할 수 있다.
일 실시예에서, 프로세서(451)는 제1 오디오 신호 또는 제2 오디오 신호를 오디오 처리 회로(455)를 통해 출력할 수 있다. 예컨대, 프로세서(451)는 통신 회로(457)를 통해 외부 전자 장치(403)에 제2 오디오 신호를 송신하는 경우, 제1 오디오 신호를 오디오 처리 회로(455)로 송신할 수 있다.
도 4c 및 도 4d를 참조하면, 전자 장치(401)의 프로세서(481)(예: 도 2의 프로세서(250))는 제1 화면(411) 및 제2 오디오 신호를 상기 외부 전자 장치(403)에 공유하는 경우, <460>에 도시된 바와 같이 터치스크린 디스플레이(483)(예: 도 2의 터치스크린 디스플레이(240)) 상의 제1 화면(411)이 표시되는 영역(예: 제1 화면(411)이 표시되는 영역의 적어도 일부)에 상기 외부 전자 장치(403)의 디스플레이에 표시되는 제1 화면 및 제2 오디오 신호 중 적어도 하나를 제어하기 위한 아이콘(예: 화면 밝기 아이콘, 볼륨 조절 아이콘(461))을 표시할 수 있다. 예컨대, 프로세서(481)는 상기 화면 밝기 아이콘을 통해 상기 외부 전자 장치(403)로 출력되는 제1 화면(411)의 밝기를 조절하거나, 상기 볼륨 조절 아이콘(461)을 통해 상기 외부 전자 장치(403)로 출력되는 제2 오디오 신호의 볼륨을 조절할 수 있다.
일 실시예에서, 프로세서(481)는 <460>에 도시된 바와 같이 터치스크린 디스플레이(483) 상에 제1 화면(411) 및 제2 화면(413)을 멀티윈도우 형태로 표시하는 중에 화면을 스위칭하기 위한 입력(463)을 감지할 수 있다. 예컨대, 상기 화면을 스위칭하기 위한 입력(463)은 제1 화면(411)(또는, 제2 화면(413))이 표시되는 영역에서 제2 화면(413)(또는, 제1 화면(411))이 표시되는 영역으로의 스와이프 입력일 수 있다.
일 실시예에서, 상기 화면을 스위칭하기 위한 입력(463)에 응답하여, 프로세서(481)는 <470>에 도시된 바와 같이 제1 화면(411)을 외부 전자 장치(403)로 송신하는 것을 중단하고, 제2 화면(413)을 외부 전자 장치(403)로 송신할 수 있다. 예컨대, 프로세서(481)는 상기 화면을 스위칭하기 위한 입력에 응답하여, 제2 화면(413)이 외부 전자 장치(403)에 출력되도록 상기 제2 화면(413)을 통신 회로(487)(예: 도 2의 통신 회로(210))를 통해 외부 전자 장치(403)에 송신할 수 있다.
일 실시예에서, 상기 화면을 스위칭하기 위한 입력(463)에 응답하여, 프로세서(481)는 외부 전자 장치(403)로 상기 제2 화면(413)을 송신하며, 제2 오디오 신호를 상기 외부 전자 장치(403)로 송신하는 것을 중단하고, 제1 오디오 신호를 외부 전자 장치(403)로 송신할 수 있다. 예컨대, 프로세서(481)는 상기 화면을 스위칭하기 위한 입력에 응답하여 제1 오디오 신호 및 제2 오디오 신호에 대한 출력 경로를 변경할 수 있다. 예컨대, 프로세서(481)는 상기 제1 오디오 신호에 대한 출력 경로를 전자 장치(401)의 오디오 처리 회로(485)(예: 도 2의 오디오 처리 회로(220))에서 외부 전자 장치(403)로 변경하고, 상기 제2 오디오 신호에 대한 출력 경로를 외부 전자 장치(403)에서 전자 장치(401)의 오디오 처리 회로(485)로 변경할 수 있다. 프로세서(481)는 상기 제1 오디오 신호가 외부 전자 장치(403)를 통해 출력되도록 상기 제1 오디오 신호를 통신 회로(487)를 통해 외부 전자 장치(403)에 송신할 수 있다.
다시 말해, 전자 장치(401)는 화면을 스위칭하기 위한 입력(463)에 응답하여 외부 전자 장치(403)로 송신되는 화면뿐만 아니라 이에 따른 오디오 신호 또한 스위칭하여 송신할 수 있다.
일 실시예에서, 프로세서(481)는 제2 화면(413) 및 제1 오디오 신호를 통신 회로(487)를 통해 외부 전자 장치(403)로 송신하며, 제1 화면(411) 및 제2 화면(413)을 터치스크린 디스플레이(483)를 통해 출력할 수 있다.
일 실시예에서, 프로세서(481)는 제1 오디오 신호 또는 제2 오디오 신호를 오디오 처리 회로(485)를 통해 출력할 수 있다. 예컨대, 프로세서(481)는 통신 회로(487)를 통해 외부 전자 장치(403)에 제1 오디오 신호를 송신하는 경우, 제2 오디오 신호를 오디오 처리 회로(485)로 송신할 수 있다.
도 5a 및 도 5b는 본 발명의 다양한 실시예들에 따른 인식된 외부 전자 장치가 복수개인 경우 화면 공유 방법을 설명하기 위한 도면이다.
이하 설명하는 도 5a 및 도 5b는 전자 장치(501)(예: 도 2의 전자 장치(200))에 두 개 이상의 외부 전자 장치(503, 505)(예: 도 2의 외부 전자 장치(270))가 연결된 경우를 설명하기 위한 도면이다.
도 5a 및 도 5b를 참조하면, 전자 장치(501)의 프로세서(545)(예: 도 2의 프로세서(250))는 <510>에 도시된 바와 같이 터치스크린 디스플레이(541)(예: 도 2의 터치스크린 디스플레이(240)) 상에 제1 화면(511) 및 제2 화면(513)을 멀티윈도우 형태로 표시할 수 있다.
일 실시예에서, 프로세서(545)는 상기 제1 화면(511) 및 상기 제2 화면(513) 중 적어도 하나를 제1 외부 전자 장치(503) 및 제2 외부 전자 장치(505)에 공유하기 위한 입력을 감지할 수 있다.
일 실시예에서, 프로세서(545)는 상기 공유하기 위한 입력에 응답하여, 제1 외부 전자 장치(503) 및 제2 외부 전자 장치(505) 각각에 공유할 제 1 화면(511) 및 제2 화면(513) 중 적어도 하나의 화면과 상기 제1 화면(511)에 대응하는 제1 오디오 신호 및 상기 제2 화면(513)에 대응하는 제2 오디오 신호 중 적어도 하나의 오디오 신호를 결정할 수 있다. 프로세서(545)는 상기 결정된 적어도 하나의 화면 및 적어도 하나의 오디오 신호를 해당 통신 회로(547)를 통해 외부 전자 장치에 송신할 수 있다. 예컨대, 상기 제1 외부 전자 장치(503) 및 제2 외부 전자 장치(505) 각각에 공유할 적어도 하나의 화면 및 적어도 하나의 오디오 신호는 전술한 도 4a의 <420> 및 <430>에 도시된 팝업창(421, 431)을 통해 결정된 방법과 유사하게 결정될 수 있다.
일 실시예에서, 제1 외부 전자 장치(503)에 제1 화면(511) 및 제2 오디오를 공유, 제2 외부 전자 장치(505)에 제2 화면(513) 및 제1 오디오를 공유하는 것으로 가정하여 설명한다.
일 실시예에서, 프로세서(545)는 상기 제1 화면(511)으로부터 제1 오디오 신호를 분리할 수 있다. 프로세서(545)는 상기 제1 화면(511)이 제1 외부 전자 장치(503)에 출력되도록 상기 제1 오디오 신호를 제외한 제1 화면(511)을 통신 회로(547)(예: 도 2의 통신 회로(210))를 통해 제1 외부 전자 장치(503)에 송신할 수 있다. 또한, 프로세서(545)는 제2 화면(513)으로부터 제2 오디오 신호를 분리하고, 상기 제2 오디오 신호에 대한 출력 경로를 변경할 수 있다. 예컨대, 프로세서(545)는 상기 제2 오디오 신호에 대한 출력 경로를 전자 장치(501)의 오디오 처리 회로(543)(예: 도 2의 오디오 처리 회로(220))에서 제1 외부 전자 장치(503)로 변경할 수 있다. 프로세서(545)는 상기 제2 오디오 신호가 상기 제1 외부 전자 장치(503)를 통해 출력되도록 상기 제2 화면(513)을 제외한 제2 오디오 신호를 통신 회로(547)를 통해 제1 외부 전자 장치(503)에 송신할 수 있다.
일 실시예에서, 제1 외부 전자 장치(503)는 <520>에 도시된 바와 같이 통신 회로(547)를 통해 전자 장치(501)로부터 수신한 제1 화면(511)을 디스플레이 상에 표시하고, 제2 오디오 신호를 출력할 수 있다.
일 실시예에서, 프로세서(545)는 상기 제1 화면(511)으로부터 분리된 제1 오디오 신호 및 제2 오디오 신호와 분리된 제2 화면(513)을 통신 회로(547)를 통해 제2 외부 전자 장치(505)에 송신할 수 있다.
일 실시예에서, 제2 외부 전자 장치(505)는 <530>에 도시된 바와 같이 통신 회로(547)를 통해 전자 장치(501)로부터 수신한 제2 화면(513)을 디스플레이 상에 표시하고, 제1 오디오 신호를 출력할 수 있다.
일 실시예에서, 프로세서(545)는 제1 화면(511) 및 제2 오디오 신호를 제1 외부 전자 장치(503)로 송신, 제2 화면(513) 및 제1 오디오 신호를 제2 외부 전자 장치(505)로 송신하며, 제1 화면(511) 및 제2 화면(513)을 터치스크린 디스플레이(541)를 통해 출력할 수 있다.
일 실시예에서, 프로세서(545)는 제1 오디오 신호 또는 제2 오디오 신호를 오디오 처리 회로(543)를 통해 출력할 수 있다.
일 실시예에서, 프로세서(545)는 제1 화면(511) 및 제2 화면(513)을 스위칭하기 위한 입력이 감지(미도시)되면, 제1 외부 전자 장치(503)에 제1 화면(511) 및 제2 오디오 신호의 송신을 중단하고, 제2 화면(513) 및 제1 오디오 신호를 송신할 수 있다. 또한, 프로세서(545)는 제2 외부 전자 장치(505)에 제2 화면(513) 및 제1 오디오 신호의 송신을 중단하고, 제1 화면(511) 및 제2 오디오 신호를 송신할 수 있다.
도 6은 본 발명의 다양한 실시예들에 따른 화면 공유 기능을 수행하는 중에 소정의 이벤트가 수신되는 경우 화면 공유 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 프로세서(예: 도 2의 프로세서(250))는 601동작에서, 연결된 외부 전자 장치(예: 도 2의 외부 전자 장치(270))와 화면 공유 기능을 수행하는 중에 소정의 이벤트를 수신할 수 있다. 예컨대, 상기 소정의 이벤트는 메시지 이벤트, 전화 이벤트, 시스템 알림 이벤트 등을 포함할 수 있다.
일 실시예에서, 상기 소정의 이벤트가 수신되면, 프로세서는 603동작에서, 상기 수신된 소정의 이벤트에 대한 알림을 상기 외부 전자 장치에 송신할 수 있다.
상기 외부 전자 장치는 전자 장치(예: 도 2의 전자 장치(200))로부터 소정의 이벤트에 대한 알림을 수신함에 따라, 기 공유되고 있는 적어도 하나의 화면 및 적어도 하나의 오디오 신호와 함께 상기 소정의 이벤트에 대한 알림을 출력할 수 있다.
예컨대, 상기 소정의 이벤트에 대한 알림은 메시지(예: 토스트 메시지(toast message), 팝업 메시지(popup message)) 형태로 상기 외부 전자 장치의 디스플레이 상에 출력 및/또는 오디오(예: 이벤트 알림음)로 출력될 수 있다.
일 실시예에서, 프로세서는 605동작에서, 수신된 소정의 이벤트에 대응하는 기능을 수행 시, 상기 수신된 소정의 이벤트에 기초하여 공유 중인 적어도 하나의 화면 및 적어도 하나의 오디오 신호 중 적어도 하나를 조정하여 외부 전자 장치에 송신할 수 있다. 예컨대, 상기 수신된 소정의 이벤트에 대한 타입이 오디오 신호를 포함하는 경우, 외부 전자 장치에 송신되는 오디오 신호의 볼륨을 조절(예: 볼륨을 낮게 조절)하여 송신할 수 있다.
도 7은 본 발명의 다양한 실시예들에 따른 화면 공유 기능을 수행하는 중에 소정의 이벤트가 수신되는 경우 화면 공유 방법을 설명하기 위한 도면이다.
이하 설명하는 도 7은 전자 장치(701)(예: 도 2의 전자 장치(200))의 터치스크린 디스플레이(예: 도 2의 터치스크린 디스플레이(240)) 상에 표시된 제1 화면(711) 및 상기 제1 화면(711)에 대응하는 제1 오디오를 외부 전자 장치(703)(예: 도 2의 외부 전자 장치(270))에 공유 중인 상태에서 소정의 이벤트(예: 전화 이벤트)를 수신하는 경우에 대해 설명하기 위한 도면이다.
도 7을 참조하면, 전자 장치(701)는 <710>에 도시된 바와 같이 제1 화면(711) 및 상기 제1 화면(711)에 대응하는 제1 오디오 신호를 외부 전자 장치(703)에 공유 중인 상태에서 전화 이벤트를 수신할 수 있다. 전화 이벤트가 수신되면, 전자 장치(701)는 터치스크린 디스플레이 상에 상기 제1 화면(711) 및 전화 이벤트가 수신되었음을 알리는 제2 화면(713)을 멀티윈도우 형태(또는, 팝업 윈도우 형태)로 표시할 수 있다.
일 실시예에서, 전자 장치(701)는 터치스크린 디스플레이 상에 상기 제2 화면(713)을 표시하며, 상기 전화 이벤트에 대한 알림을 외부 전자 장치(703)에 송신할 수 있다. 예컨대, 전자 장치(701)는 상기 전화 이벤트가 수신되었음을 알리는 메시지 및 오디오(예: 벨소리) 중 적어도 하나를 상기 외부 전자 장치(703)에 송신할 수 있다.
일 실시예에서, 전자 장치(701)는 상기 전화 이벤트를 수락함에 따라 전화 기능을 수행하는 경우, 기 공유 중인 제1 화면(711)을 송신하며, 상기 제1 화면(711)에 대응하는 제1 오디오 신호에 대한 볼륨을 조절하여 상기 외부 전자 장치(703)에 송신할 수 있다.
일 실시예에서, 상기 외부 전자 장치(703)는 전자 장치(701)로부터 수신한 제1 화면(711)을 디스플레이 상에 표시하고, 볼륨이 조절된 제1 오디오 신호를 출력하며, 전화 이벤트가 수신되었음을 알리는 메시지 및 벨소리 중 적어도 하나를 출력할 수 있다.
일 실시예에서, 전자 장치(701)는 상기 볼륨이 조절된 제1 오디오 신호를 외부 전자 장치(703)에 송신함으로써, 전화 기능을 수행하기에 편안한 환경을 사용자에게 제공할 수 있다. 또한, 사용자는 외부 전자 장치(703)에 공유 중인 제1 화면(711)을 보면서, 전자 장치(701)를 통해 전화 기능을 수행할 수 있어 두 가지의 기능을 끊김 없이 수행할 수 있다.
일 실시예에서, 전자 장치(701)는 전화 이벤트를 수락하며, 외부 전자 장치(703)로 전화 기능 수행에 따른 오디오 신호를 출력하기 위한 메뉴, 또는 전자 장치(701)의 리시버를 통해 전화 기능 수행에 따른 오디오 신호를 출력하기 위한 메뉴를 더 표시할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치 중 적어도 하나를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램(140))로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(101))를 포함할 수 있다. 상기 명령이 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    통신 회로;
    터치스크린 디스플레이;
    오디오 처리 회로;
    메모리; 및
    상기 통신 회로, 상기 터치스크린 디스플레이, 상기 오디오 처리 회로, 및 상기 메모리와 전기적으로 연결되는 프로세서를 포함하며,
    상기 프로세서는,
    제1 화면 및 제2 화면을 상기 터치스크린 디스플레이 상에 표시하고,
    화면 공유 기능을 수행하기 위한 입력이 상기 터치스크린 디스플레이를 통해 감지되면, 상기 통신 회로를 통해 연결된 외부 전자 장치를 인식하고,
    상기 인식된 외부 전자 장치에 상기 제1 화면 및 상기 제2 화면 중 적어도 하나의 화면과 상기 제1 화면 및 상기 제2 화면에 대응하는 오디오 신호들 중 적어도 하나의 오디오 신호를 송신하도록 설정된 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 화면 및 상기 적어도 하나의 오디오 신호를 상기 외부 전자 장치에 송신하며, 상기 외부 전자 장치에 송신한 적어도 하나의 화면의 속성을 제어하기 위한 메뉴를 상기 터치스크린 디스플레이의 상기 적어도 하나의 화면이 표시된 영역에 표시하도록 설정된 전자 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 연결된 외부 전자 장치가 인식되면, 상기 제1 화면 및 상기 제2 화면 중 상기 인식된 외부 전자 장치에 공유할 적어도 하나의 화면을 결정하도록 설정되고, 상기 제1 화면에 대응하는 제1 오디오 신호 및 상기 제2 화면에 대응하는 제2 오디오 신호 중 상기 인식된 외부 전자 장치에 공유할 적어도 하나의 오디오 신호를 결정하도록 설정된 전자 장치.
  4. 제 3 항에 있어서,
    상기 프로세서는,
    상기 인식된 외부 전자 장치에 공유할 적어도 하나의 화면과 오디오 신호를 결정하기 위한 메뉴를 상기 터치스크린 디스플레이 상에 표시하도록 설정된 전자 장치.
  5. 제 1 항에 있어서,
    상기 프로세서는,
    상기 터치스크린 디스플레이 상에 표시된 상기 제1 화면 및 상기 제2 화면을 스위칭하기 위한 입력이 상기 터치스크린 디스플레이를 통해 감지되면, 상기 적어도 하나의 화면 및 상기 적어도 하나의 오디오 신호의 송신을 중단하고, 상기 제1 화면 및 상기 제2 화면 중 적어도 하나의 다른 화면 및 상기 오디오 신호들 중 상기 적어도 하나의 다른 오디오 신호를 상기 통신 회로를 통해 상기 외부 전자 장치에 송신하도록 설정된 전자 장치.
  6. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 화면과 상기 적어도 하나의 오디오 신호를 송신하는 중에 상기 통신 회로를 통해 소정의 이벤트가 수신되면, 상기 수신된 소정의 이벤트에 대한 알림을 상기 외부 전자 장치에 송신하고, 상기 수신된 소정의 이벤트에 대응하는 기능을 수행하는 경우, 상기 수신된 소정의 이벤트에 기초하여 상기 적어도 하나의 화면 및 상기 적어도 하나의 오디오 신호 중 적어도 하나를 조정하고, 상기 조정된 적어도 하나의 화면 및 적어도 하나의 오디오 신호를 상기 외부 전자 장치에 송신하도록 설정되고,
    상기 수신된 소정의 이벤트가 오디오 신호를 포함하는 경우, 상기 소정의 이벤트에 대응하는 기능은 상기 적어도 하나의 오디오 신호의 볼륨을 조정하는 기능을 포함하는 전자 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 오디오 신호를 상기 통신 회로를 통해 상기 외부 전자 장치에 송신하며, 상기 오디오 신호들 중 적어도 하나의 다른 오디오 신호를 상기 오디오 처리 회로에 송신하도록 설정된 전자 장치.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 화면에 대응하는 어플리케이션의 타입에 기초하여 결정된 오디오 신호를 상기 외부 전자 장치에 송신하도록 설정된 전자 장치.
  9. 제 3 항에 있어서,
    상기 연결된 외부 전자 장치는 복수개의 외부 전자 장치들을 포함하며,
    상기 프로세서는,
    상기 복수개의 외부 전자 장치들 각각에 공유할 적어도 하나의 화면과 적어도 하나의 오디오 신호를 결정하고, 상기 복수개의 외부 전자 장치들 각각에 상기 결정된 적어도 하나의 화면 및 적어도 하나의 오디오 신호를 송신하도록 설정된 전자 장치.
  10. 전자 장치의 화면 공유 방법에 있어서,
    제1 화면 및 제2 화면을 터치스크린 디스플레이 상에 표시하는 동작;
    화면 공유 기능을 수행하기 위한 입력이 상기 터치스크린 디스플레이를 통해 감지되면, 통신 회로를 통해 연결된 외부 전자 장치를 인식하는 동작; 및
    상기 인식된 외부 전자 장치에 상기 제1 화면 및 상기 제2 화면 중 적어도 하나의 화면과 상기 제1 화면 및 상기 제2 화면에 대응하는 오디오 신호들 중 적어도 하나의 오디오 신호를 송신하는 동작을 포함하는 방법.
  11. 제 10 항에 있어서,
    상기 외부 전자 장치에 송신한 적어도 하나의 화면의 속성을 제어하기 위한 메뉴를 상기 터치스크린 디스플레이의 상기 적어도 하나의 화면이 표시된 영역에 표시하는 동작을 더 포함하는 방법.
  12. 제 10 항에 있어서,
    상기 연결된 외부 전자 장치가 인식되면, 상기 제1 화면 및 상기 제2 화면 중 상기 인식된 외부 전자 장치에 공유할 적어도 하나의 화면을 결정하는 동작; 및
    상기 제1 화면에 대응하는 제1 오디오 신호 및 상기 제2 화면에 대응하는 제2 오디오 신호 중 상기 인식된 외부 전자 장치에 공유할 적어도 하나의 오디오 신호를 결정하는 동작을 더 포함하며,
    상기 적어도 하나의 화면을 결정하는 동작 및 상기 적어도 하나의 오디오 신호를 결정하는 동작은,
    상기 연결된 외부 전자 장치가 인식됨에 응답하여, 상기 터치스크린 디스플레이 상에 표시되는 적어도 하나의 화면과 적어도 하나의 오디오 신호를 결정하기 위한 메뉴를 통해 결정하는 동작인 방법.
  13. 제 10 항에 있어서,
    상기 터치스크린 디스플레이 상에 표시된 상기 제1 화면 및 상기 제2 화면을 스위칭하기 위한 입력을 감지하는 동작; 및
    상기 제1 화면 및 상기 제2 화면을 스위칭하기 위한 입력에 응답하여, 상기 적어도 하나의 화면 및 상기 적어도 하나의 오디오 신호의 송신을 중단하고, 상기 제1 화면 및 상기 제2 화면 중 적어도 하나의 다른 화면 및 상기 오디오 신호들 중 상기 적어도 하나의 다른 오디오 신호를 상기 통신 회로를 통해 상기 외부 전자 장치에 송신하는 동작을 더 포함하는 방법.
  14. 제 10 항에 있어서,
    상기 적어도 하나의 화면과 적어도 하나의 오디오 신호를 송신하는 중에 상기 통신 회로를 통해 소정의 이벤트를 수신하는 동작;
    상기 수신된 소정의 이벤트에 대한 알림을 상기 외부 전자 장치에 송신하는 동작;
    상기 수신된 소정의 이벤트에 대응하는 기능을 수행하는 경우, 상기 수신된 소정의 이벤트에 기초하여 상기 적어도 하나의 화면 및 상기 적어도 하나의 오디오 신호 중 적어도 하나를 조정하는 동작; 및
    상기 조정된 적어도 하나의 화면 및 적어도 하나의 오디오 신호를 상기 외부 전자 장치에 송신하는 동작을 더 포함하는 방법.
  15. 제 12 항에 있어서,
    상기 연결된 외부 전자 장치가 복수개인 경우, 상기 복수개의 외부 전자 장치들 각각에 공유할 적어도 하나의 화면과 적어도 하나의 오디오 신호를 결정하는 동작; 및
    상기 복수개의 외부 전자 장치들 각각에 공유할 적어도 하나의 화면 및 적어도 하나의 오디오 신호를 송신하는 동작을 더 포함하는 방법.
PCT/KR2018/013349 2017-11-06 2018-11-06 전자 장치 및 이를 이용한 화면 공유 방법 WO2019088793A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18872817.4A EP3674881B1 (en) 2017-11-06 2018-11-06 Electronic device and screen sharing method using same
US16/756,992 US11487558B2 (en) 2017-11-06 2018-11-06 Electronic device and screen sharing method using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0146579 2017-11-06
KR1020170146579A KR102481894B1 (ko) 2017-11-06 2017-11-06 전자 장치 및 이를 이용한 화면 공유 방법

Publications (1)

Publication Number Publication Date
WO2019088793A1 true WO2019088793A1 (ko) 2019-05-09

Family

ID=66332650

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/013349 WO2019088793A1 (ko) 2017-11-06 2018-11-06 전자 장치 및 이를 이용한 화면 공유 방법

Country Status (4)

Country Link
US (1) US11487558B2 (ko)
EP (1) EP3674881B1 (ko)
KR (1) KR102481894B1 (ko)
WO (1) WO2019088793A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3842920A1 (en) * 2019-11-19 2021-06-30 Samsung Electronics Co., Ltd. Display device, mobile device, screen mirroring method of display device, and screen mirroring method of mobile device
EP4148547A4 (en) * 2020-06-22 2023-11-01 Vivo Mobile Communication Co., Ltd. SHARING METHOD AND APPARATUS AND ELECTRONIC DEVICE

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160019360A1 (en) 2013-12-04 2016-01-21 Apple Inc. Wellness aggregator
KR101776098B1 (ko) 2014-09-02 2017-09-07 애플 인크. 신체적 활동 및 운동 모니터
WO2016144385A1 (en) 2015-03-08 2016-09-15 Apple Inc. Sharing user-configurable graphical constructs
EP4321088A3 (en) 2015-08-20 2024-04-24 Apple Inc. Exercise-based watch face
AU2017100667A4 (en) 2016-06-11 2017-07-06 Apple Inc. Activity and workout updates
US11317833B2 (en) 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
AU2020288139B2 (en) 2019-06-01 2023-02-16 Apple Inc. Multi-modal activity tracking user interface
DK181076B1 (en) 2020-02-14 2022-11-25 Apple Inc USER INTERFACES FOR TRAINING CONTENT
CN111988653A (zh) * 2020-08-25 2020-11-24 京东方科技集团股份有限公司 多视频投屏信息的交互方法、装置、设备及存储介质
KR20220145581A (ko) * 2021-04-22 2022-10-31 삼성전자주식회사 오디오 신호를 처리하기 위한 전자 장치 및 그 작동 방법
CN115314584A (zh) * 2021-05-07 2022-11-08 华为技术有限公司 一种音频播放方法、装置和设备
WO2022245669A1 (en) * 2021-05-15 2022-11-24 Apple Inc. User interfaces for group workouts
CN115033319A (zh) * 2021-06-08 2022-09-09 华为技术有限公司 一种应用界面的分布式显示方法及终端
WO2023043057A1 (ko) * 2021-09-16 2023-03-23 삼성전자 주식회사 화면들 및 화면들에 대응하는 오디오 신호들을 공유하기 위한 전자 장치 및 그 방법
US11977729B2 (en) 2022-06-05 2024-05-07 Apple Inc. Physical activity information user interfaces
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080229202A1 (en) * 2007-03-14 2008-09-18 De Min Fang System of individually and separately displaying and sharing video/audio and method of the same
KR20130119172A (ko) * 2012-04-23 2013-10-31 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20140282229A1 (en) * 2013-03-15 2014-09-18 Chad Dustin Tillman System and method for cooperative sharing of resources of an environment
KR20140143971A (ko) * 2013-06-10 2014-12-18 삼성전자주식회사 홈 화면 공유 장치 및 방법
KR101772076B1 (ko) * 2010-09-08 2017-08-28 엘지전자 주식회사 단말기 및 단말기의 컨텐츠 공유 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000035847A (ja) 1998-07-17 2000-02-02 Sharp Corp 多画面制御可能な情報処理装置
JP2011154478A (ja) 2010-01-26 2011-08-11 Canon Inc 画面共有装置及びその制御方法、プログラム、画面共有システム
KR20110107058A (ko) * 2010-03-24 2011-09-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20120020532A (ko) 2010-08-30 2012-03-08 삼성전자주식회사 오디오 신호 처리 방법 및 장치
US9159298B2 (en) * 2010-09-08 2015-10-13 Lg Electronics Inc. Terminal and contents sharing method for terminal
KR101869095B1 (ko) * 2011-08-23 2018-06-19 삼성전자주식회사 휴대단말기의 표시 방법 및 장치
KR101949737B1 (ko) 2012-08-28 2019-02-19 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
KR102084633B1 (ko) * 2013-09-17 2020-03-04 삼성전자주식회사 화면 미러링 방법 및 그에 따른 소스 기기
KR102107404B1 (ko) * 2013-10-30 2020-05-07 삼성전자주식회사 어플리케이션을 공유하는 전자 장치 및 그 제어 방법
KR102227661B1 (ko) 2014-01-08 2021-03-15 삼성전자주식회사 화면 미러링 방법 및 그에 따른 장치
KR102269481B1 (ko) * 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
US11425079B2 (en) * 2014-12-16 2022-08-23 All Phase Consulting, Inc. Simultaneous uninterrupted media play and call management
KR20160092363A (ko) * 2015-01-27 2016-08-04 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102345610B1 (ko) 2015-02-27 2021-12-30 삼성전자주식회사 스크린 미러링 서비스 제공장치 및 방법
KR102289474B1 (ko) * 2015-02-27 2021-08-13 삼성전자주식회사 오디오를 출력하는 방법 및 이를 위한 전자 장치
US10205906B2 (en) * 2016-07-26 2019-02-12 The Directv Group, Inc. Method and apparatus to present multiple audio content
US20190081993A1 (en) * 2017-09-11 2019-03-14 Akn Korea Inc. Method for sharing user screen in multiple reality environment and server system for the method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080229202A1 (en) * 2007-03-14 2008-09-18 De Min Fang System of individually and separately displaying and sharing video/audio and method of the same
KR101772076B1 (ko) * 2010-09-08 2017-08-28 엘지전자 주식회사 단말기 및 단말기의 컨텐츠 공유 방법
KR20130119172A (ko) * 2012-04-23 2013-10-31 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20140282229A1 (en) * 2013-03-15 2014-09-18 Chad Dustin Tillman System and method for cooperative sharing of resources of an environment
KR20140143971A (ko) * 2013-06-10 2014-12-18 삼성전자주식회사 홈 화면 공유 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3674881A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3842920A1 (en) * 2019-11-19 2021-06-30 Samsung Electronics Co., Ltd. Display device, mobile device, screen mirroring method of display device, and screen mirroring method of mobile device
US11435974B2 (en) 2019-11-19 2022-09-06 Samsung Electronics Co., Ltd. Display device, mobile device, screen mirroring method of display device, and screen mirroring method of mobile device
EP4148547A4 (en) * 2020-06-22 2023-11-01 Vivo Mobile Communication Co., Ltd. SHARING METHOD AND APPARATUS AND ELECTRONIC DEVICE

Also Published As

Publication number Publication date
US20210042132A1 (en) 2021-02-11
EP3674881A1 (en) 2020-07-01
KR20190051198A (ko) 2019-05-15
EP3674881A4 (en) 2020-08-19
KR102481894B1 (ko) 2022-12-28
US11487558B2 (en) 2022-11-01
EP3674881B1 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
WO2019088793A1 (ko) 전자 장치 및 이를 이용한 화면 공유 방법
WO2019160345A1 (ko) 어플리케이션과 관련된 기능 또는 콘텐트를 제공하는 방법 및 이를 수행하는 전자 장치
WO2019117566A1 (ko) 전자 장치 및 그의 입력 제어 방법
WO2019088667A1 (ko) 디스플레이를 이용하여 지문을 인식하기 위한 전자 장치
WO2019050317A1 (ko) 이어폰을 통한 어플리케이션별 오디오 출력 제어 방법 및 이를 구현한 전자 장치
WO2019103396A1 (en) Method for configuring input interface and electronic device using same
WO2019124908A1 (ko) 영상 동기 신호에 기반하여 터치 센서 컨트롤러를 제어하기 위한 전자 장치 및 방법
WO2019059596A1 (ko) 전자 장치의 소프트웨어의 업데이트를 관리하기 위한 장치 및 방법
WO2021086012A1 (en) Method for transmitting data based on multiple communication schemes and electronic device supporting same
WO2020013647A1 (ko) 전자 장치 및 전자 장치의 음량 조절 방법
WO2021071222A1 (ko) 복수의 외부 전자 장치들로 오디오 데이터를 전송하는 전자 장치 및 그 제어 방법
WO2019107719A1 (ko) 360 비디오에서 화자의 음성을 시각적으로 표시하기 위한 장치 및 방법
WO2019117561A1 (ko) 외부 장치에 따라 다른 서비스를 제공하는 전자 장치
WO2021230568A1 (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2019083137A1 (ko) 알림을 제어하기 위한 방법 및 그 전자 장치
WO2019066323A1 (ko) 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
WO2020138909A1 (ko) 콘텐트 공유 방법 및 그 전자 장치
WO2020091530A1 (ko) 디스플레이의 동작 모드에 기반하여 터치 데이터의 보상을 결정하는 방법 및 장치
WO2019164204A1 (ko) 전자 장치 및 그의 동작 방법
WO2019083283A1 (en) ELECTRONIC IMAGE DISPLAY DEVICE AND ITS CONTROL METHOD
WO2021145614A1 (ko) 외부 전자 장치를 제어하기 위한 전자 장치 및 그 방법
WO2021201593A1 (ko) 데이터의 제공 방법 및 이를 지원하는 전자 장치
WO2020159032A1 (ko) 복수의 어플리케이션에 카메라에서 획득한 이미지를 제공하는 전자 장치 및 그의 동작 방법
WO2021101173A1 (ko) 전자 장치 및 이를 이용한 근거리 통신 장치의 사용자 식별 정보 획득 방법
WO2020159213A1 (ko) 상황에 기반한 사용자 맞춤형 설정 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18872817

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018872817

Country of ref document: EP

Effective date: 20200324

NENP Non-entry into the national phase

Ref country code: DE